Si të konfiguroni saktë Robots.txt?

Përmbajtje:

Si të konfiguroni saktë Robots.txt?
Si të konfiguroni saktë Robots.txt?
Anonim

Txt i saktë i Robots për faqen html krijon modele veprimi për robotët e motorëve të kërkimit, duke u treguar atyre se çfarë mund të kontrollojnë. Ky skedar shpesh përmendet si Protokolli i Përjashtimit të Robotit. Gjëja e parë që kërkojnë robotët përpara se të zvarriten një faqe interneti është robots.txt. Mund të tregojë ose t'i thotë Hartës së Faqes që të mos kontrollojë disa nënfusha. Kur dëshironi që motorët e kërkimit të kërkojnë atë që gjendet më shpesh, atëherë robots.txt nuk kërkohet. Është shumë e rëndësishme në këtë proces që skedari të formatohet saktë dhe të mos indeksojë faqen e përdoruesit me të dhënat personale të përdoruesit.

Parimi i skanimit të robotit

Parimi i skanimit të robotëve
Parimi i skanimit të robotëve

Kur një motor kërkimi ndeshet me një skedar dhe sheh një URL të ndaluar, ai nuk e zvarrit atë, por mund ta indeksojë atë. Kjo është për shkak se edhe nëse robotët nuk lejohen të shikojnë përmbajtjen, ata mund të kujtojnë lidhjet prapa që tregojnë URL-në e ndaluar. Për shkak të aksesit të bllokuar në lidhje, URL-ja do të shfaqet në motorët e kërkimit, por pa fragmente. Nese njepër strategjinë e marketingut në hyrje, kërkohet txt e saktë Robots për bitrix (Bitrix), ata ofrojnë verifikimin e faqes me kërkesë të përdoruesit nga skanerët.

Nga ana tjetër, nëse skedari nuk është i formatuar siç duhet, kjo mund të rezultojë që faqja të mos shfaqet në rezultatet e kërkimit dhe të mos gjendet. Motorët e kërkimit nuk mund ta anashkalojnë këtë skedar. Një programues mund të shikojë robots.txt të çdo sajti duke shkuar në domenin e tij dhe duke e ndjekur atë me robots.txt, për shembull, www.domain.com/robots.txt. Duke përdorur një mjet si seksioni i optimizimit të SEO-së të Unamo, ku mund të futni çdo domen dhe shërbimi do të tregojë informacione për ekzistencën e skedarit.

Kufizime për skanim:

  1. Përdoruesi ka përmbajtje të vjetëruar ose të ndjeshme.
  2. Imazhet në sajt nuk do të përfshihen në rezultatet e kërkimit të imazheve.
  3. Sajti nuk është ende gati për demonstrim që do të indeksohet nga roboti.

Kini parasysh se informacioni që një përdorues dëshiron të marrë nga një motor kërkimi është i disponueshëm për këdo që fut URL-në. Mos e përdorni këtë skedar teksti për të fshehur të dhëna të ndjeshme. Nëse domeni ka një gabim 404 (nuk u gjet) ose 410 (kaloi), motori i kërkimit kontrollon faqen pavarësisht nga prania e robots.txt, me ç'rast konsideron se skedari mungon. Gabime të tjera si 500 (Gabim i brendshëm i serverit), 403 (i ndaluar), i skaduar ose "nuk disponohet" respektojnë udhëzimet e robots.txt, megjithatë anashkalimi mund të vonohet derisa skedari të jetë i disponueshëm.

Krijimi i një skedari kërkimi

Krijimi i një skedari kërkimi
Krijimi i një skedari kërkimi

ShumëProgramet CMS si WordPress tashmë kanë një skedar robots.txt. Përpara se të konfiguroni siç duhet Robots txt WordPress, përdoruesi duhet të njihet me aftësitë e tij në mënyrë që të kuptojë se si t'i qaset. Nëse programuesi e krijon vetë skedarin, ai duhet të plotësojë kushtet e mëposhtme:

  1. Duhet të jetë me shkronja të vogla.
  2. Përdor kodimin UTF-8.
  3. Ruaj në një redaktues teksti si skedar (.txt).

Kur një përdorues nuk e di se ku ta vendosë, ai kontakton shitësin e softuerit të serverit të uebit për të gjetur se si të hyjë në rrënjën e një domeni ose të shkojë te tastiera e Google dhe ta shkarkojë atë. Me këtë funksion, Google mund të kontrollojë gjithashtu nëse roboti po funksionon siç duhet dhe listën e sajteve që janë bllokuar duke përdorur skedarin.

Formati kryesor i txt korrekt Robots për bitrix (Bitrix):

  1. Legend robots.txt.
  2. , shton komente që përdoren vetëm si shënime.
  3. Këto komente do të injorohen nga skanerët së bashku me çdo gabim shkrimi të përdoruesit.
  4. User-agent - tregon se në cilin motor kërkimi janë renditur udhëzimet për skedarin.
  5. Shtimi i një ylli () u tregon skanerëve se udhëzimet janë për të gjithë.

Tregimi i një roboti specifik, për shembull, Googlebot, Baiduspider, Applebot. Disallow u tregon zvarritësve se cilat pjesë të faqes së internetit nuk duhet të zvarriten. Duket kështu: Përdoruesi-agjent:. Ylli do të thotë "të gjithë bots". Megjithatë, ju mund të specifikoni faqet për specifikebots. Për ta bërë këtë, duhet të dini emrin e robotit për të cilin janë caktuar rekomandimet.

Txt i saktë i robotëve për Yandex mund të duket kështu:

Robotët e saktë txt për Yandex
Robotët e saktë txt për Yandex

Nëse roboti nuk duhet të zvarritet faqen, mund ta specifikoni atë dhe për të gjetur emrat e agjentëve të përdoruesve, rekomandohet të njiheni me aftësitë online të useragentstring.com.

Optimizimi i faqes

Optimizimi i faqes
Optimizimi i faqes

Dy rreshtat e mëposhtëm konsiderohen si një skedar i plotë robots.txt dhe një skedar i vetëm robotik mund të përmbajë rreshta të shumtë agjentësh përdoruesish dhe direktiva që çaktivizojnë ose mundësojnë zvarritjen. Formati kryesor i txt korrekt Robots:

  1. Agjenti i përdoruesit: [emri i përdoruesit të agjentit].
  2. Mos lejo: [vargu i URL-së që nuk është zvarritur].

Në skedar, çdo bllok direktivash shfaqet si diskrete, i ndarë nga një rresht. Në skedarin pranë drejtorisë së përdoruesit të agjentit, çdo rregull zbatohet në një grup specifik rreshtash të ndara nga seksionet. Nëse një skedar ka një rregull me shumë agjentë, roboti do të marrë parasysh vetëm grupin më specifik të udhëzimeve.

Sintaksë teknike

Sintaksë teknike
Sintaksë teknike

Mund të mendohet si "gjuha" e skedarëve robots.txt. Janë pesë terma që mund të ekzistojnë në këtë format, më kryesorët përfshijnë:

  1. Agjent-përdorues - Zvarritës uebi me udhëzime gjurmimi, zakonisht një motor kërkimi.
  2. Mos lejo është një komandë që përdoret për t'i thënë agjentit të përdoruesit të anashkalojë(mosveprim) i një URL specifike. Ekziston vetëm një kusht i ndaluar për secilin.
  3. Lejo. Për Googlebot që ka akses, edhe faqja e përdoruesit refuzohet.
  4. Zvarritje-vonesa - specifikon sa sekonda do t'i nevojiten zvarritësit përpara se të zvarritet. Kur roboti nuk e konfirmon, shpejtësia vendoset në tastierën e Google.
  5. Harta e faqes - Përdoret për të gjetur çdo hartë XML të lidhur me një URL.

Përputhje modeli

Kur bëhet fjalë për bllokimin e vërtetë të URL-ve ose lejimin e txt të vlefshëm të Robots, operacionet mund të jenë mjaft të ndërlikuara pasi ju lejojnë të përdorni përputhjen e modelit për të mbuluar një numër parametrash të mundshëm URL. Google dhe Bing të dy përdorin dy karaktere që identifikojnë faqet ose nënfolderët që SEO dëshiron të përjashtojë. Dy karakteret janë ylli () dhe shenja e dollarit ($), ku:është një karakteristikë që përfaqëson çdo sekuencë karakteresh. $ - përputhet me fundin e URL-së.

Google ofron një listë të madhe të sintaksave të mundshme të shablloneve që i shpjegojnë përdoruesit se si të konfigurojë siç duhet një skedar txt Robots. Disa raste të përdorimit të zakonshëm përfshijnë:

  1. Parandaloni shfaqjen e përmbajtjes së kopjuar në rezultatet e kërkimit.
  2. Mbaji private të gjitha seksionet e sajtit.
  3. Ruaj faqet e brendshme të rezultateve të kërkimit bazuar në deklaratën e hapur.
  4. Tregoni vendndodhjen.
  5. Parandaloni motorët e kërkimit të indeksojnë disaskedarë.
  6. Përcaktimi i një vonese të zvarritjes për të ndaluar ringarkimin kur skanoni disa zona të përmbajtjes në të njëjtën kohë.

Kontrollo për praninë e një skedari robotik

Nëse nuk ka zona në sajt që duhet të zvarriten, atëherë robots.txt nuk nevojitet fare. Nëse përdoruesi nuk është i sigurt se ky skedar ekziston, ai duhet të futë domenin rrënjë dhe ta shkruajë në fund të URL-së, diçka si kjo: moz.com/robots.txt. Një numër robotësh kërkimi i shpërfillin këta skedarë. Sidoqoftë, si rregull, këta zvarritës nuk i përkasin motorëve të kërkimit me reputacion. Ata janë lloji i dërguesve të bezdisshëm, grumbulluesve të postës dhe llojeve të tjera të robotëve të automatizuar që gjenden me bollëk në internet.

Është shumë e rëndësishme të mbani mend se përdorimi i standardit të përjashtimit të robotëve nuk është një masë sigurie efektive. Në fakt, disa robotë mund të fillojnë me faqe ku përdoruesi i vendos në modalitetin e skanimit. Ka disa pjesë që futen në skedarin standard të përjashtimit. Përpara se t'i tregoni robotit se në cilat faqe nuk duhet të funksionojë, duhet të specifikoni se me cilin robot të bisedoni. Në shumicën e rasteve, përdoruesi do të përdorë një deklaratë të thjeshtë që do të thotë "të gjithë bots".

Optimizimi SEO

Optimizimi i SEO
Optimizimi i SEO

Përpara optimizimit, përdoruesi duhet të sigurohet që të mos bllokojë asnjë përmbajtje ose pjesë të faqes që duhet të anashkalohet. Lidhjet me faqet e bllokuara nga txt e duhur Robots nuk do të respektohen. Kjo do të thotë:

  1. Nëse ato nuk janë të lidhura me faqe të tjera të disponueshme për motorët e kërkimit, p.sh. faqet,nuk bllokohet nga robots.txt ose një meta robot, dhe burimet përkatëse nuk do të zvarriten dhe për këtë arsye nuk mund të indeksohen.
  2. Asnjë lidhje nuk mund të kalohet nga një faqe e bllokuar në destinacionin e lidhjes. Nëse ekziston një faqe e tillë, është më mirë të përdorni një mekanizëm tjetër bllokues sesa robots.txt.

Për shkak se faqet e tjera mund të lidhen drejtpërdrejt me një faqe që përmban informacione personale dhe ju dëshironi ta bllokoni këtë faqe nga rezultatet e kërkimit, përdorni një metodë tjetër, si p.sh. mbrojtja me fjalëkalim ose të dhënat meta pa indeks. Disa motorë kërkimi kanë agjentë të shumtë përdoruesish. Për shembull, Google përdor Googlebot për kërkime organike dhe Googlebot-Image për kërkime imazhesh.

Shumica e agjentëve të përdoruesve nga i njëjti motor kërkimi ndjekin të njëjtat rregulla, kështu që nuk ka nevojë të specifikoni direktiva për secilin nga disa zvarritës, por aftësia për ta bërë këtë mund të rregullojë zvarritjen e përmbajtjes së sajtit. Motori i kërkimit ruan përmbajtjen e skedarit dhe zakonisht përditëson përmbajtjen e memorizuar të paktën një herë në ditë. Nëse përdoruesi ndryshon skedarin dhe dëshiron ta përditësojë më shpejt se zakonisht, ai mund të dorëzojë URL-në robots.txt në Google.

Motorët e kërkimit

Kontrollimi për ekzistencën e një skedari robotik
Kontrollimi për ekzistencën e një skedari robotik

Për të kuptuar se si Robots txt funksionon saktë, duhet të dini për aftësitë e motorëve të kërkimit. Me pak fjalë, aftësia e tyre qëndron në faktin se dërgojnë “skanerë”, që janë programe qëduke shfletuar internetin për informacion. Më pas ata ruajnë disa nga këto informacione për t'ia kaluar më vonë përdoruesit.

Për shumë njerëz, Google është tashmë interneti. Në fakt, ata kanë të drejtë, pasi kjo është ndoshta shpikja e tij më e rëndësishme. Dhe megjithëse motorët e kërkimit kanë ndryshuar shumë që nga fillimi i tyre, parimet themelore janë ende të njëjta. Zvarritësit, të njohur gjithashtu si "bots" ose "merimangat", gjejnë faqe nga miliarda faqe interneti. Motorët e kërkimit u japin atyre udhëzime se ku të shkojnë, ndërsa faqet individuale gjithashtu mund të komunikojnë me bot dhe t'u tregojnë se cilat faqe specifike duhet të shikojnë.

Në përgjithësi, pronarët e faqeve nuk duan të shfaqen në motorët e kërkimit: faqet e administratorit, portalet mbështetëse, kategoritë dhe etiketat dhe faqe të tjera informacioni. Skedari robots.txt mund të përdoret gjithashtu për të parandaluar që motorët e kërkimit të kontrollojnë faqet. Shkurtimisht, robots.txt u tregon zvarritësve të uebit se çfarë të bëjnë.

Ndaloni faqet

Kjo është pjesa kryesore e skedarit të përjashtimit të robotit. Me një deklaratë të thjeshtë, përdoruesi i thotë një roboti ose grupi robotësh që të mos zvarriten faqe të caktuara. Sintaksa është e thjeshtë, për shembull, për të mohuar aksesin në gjithçka në drejtorinë "admin" të sajtit, shkruani: Disallow: /admin. Kjo linjë do të parandalojë që robotët të zvarriten yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html dhe çdo gjë tjetër nën drejtorinë e administratorit.

Për të mos lejuar një faqe, thjesht specifikojeni atë në rreshtin e moslejimit: Disallow: /public/exception.html. Tani faqja "përjashtim".nuk do të migrojë, por gjithçka tjetër në dosjen "publike" do të migrojë.

Për të përfshirë shumë faqe, thjesht rendisni ato:

Drejtoritë dhe faqet
Drejtoritë dhe faqet

Këto katër rreshta të txt të saktë Robots për simfoninë do të zbatohen për çdo agjent përdoruesi të listuar në krye të seksionitrobots.txt për

Ndaloni faqet
Ndaloni faqet

Harta e faqes:

Komanda të tjera:live - mos lejoni zvarritësit e uebit të indeksojnë cpresources/ ose ofruesin/.

Agjenti i përdoruesit:Mos lejo: /cpresources/.

Mohoni: / shitës / Mos lejo: /.env.

Vendosja e standardeve

Përdoruesi mund të specifikojë faqe specifike për bot të ndryshëm duke kombinuar dy elementët e mëparshëm, kështu duket. Një shembull i txt-it të saktë të Robots për të gjithë motorët e kërkimit është paraqitur më poshtë.

Vendosja e standardeve
Vendosja e standardeve

Seksionet "admin" dhe "private" do të jenë të padukshme për Google dhe Bing, por Google do të vazhdojë të shohë drejtorinë "sekret", ndërsa Bing jo. Ju mund të specifikoni rregulla të përgjithshme për të gjithë robotët duke përdorur agjentin e përdoruesit me yll dhe më pas t'u jepni udhëzime specifike robotëve në seksionet e mëposhtme. Me njohuritë e mësipërme, përdoruesi mund të shkruajë një shembull të txt të saktë Robots për të gjithë motorët e kërkimit. Thjesht aktivizoni redaktorin tuaj të preferuar të tekstit dhe tregojuni robotëve se nuk janë të mirëpritur në pjesë të caktuara të sajtit.

Këshilla për përmirësimin e performancës së serverit

SublimeText ështënjë redaktues teksti i gjithanshëm dhe standardi i artë për shumë programues. Këshillat e tij programuese bazohen në kodim efikas, për më tepër. përdoruesit vlerësojnë praninë e shkurtoreve në program. Nëse përdoruesi dëshiron të shohë një shembull të një skedari robots.txt, ai duhet të shkojë në çdo sajt dhe të shtojë "/robots.txt" në fund. Këtu është një pjesë e skedarit robots.txt GiantBicycles.

Programi ofron krijimin e faqeve që përdoruesit nuk duan t'i shfaqin në motorët e kërkimit. Dhe gjithashtu ka disa gjëra ekskluzive për të cilat pak njerëz dinë. Për shembull, ndërsa skedari robots.txt u tregon robotëve se ku të mos shkojnë, skedari i hartës së faqes bën të kundërtën dhe i ndihmon ata të gjejnë atë që kërkojnë, dhe ndërsa motorët e kërkimit ndoshta tashmë e dinë se ku ndodhet harta e faqes, ajo nuk e merr. në rrugë.

Ka dy lloje skedarësh: faqja HTML ose skedari XML. Një faqe HTML është ajo që u tregon vizitorëve të gjitha faqet e disponueshme në një faqe interneti. Në robots.txt-in e vet, duket kështu: Sitemap://www.makeuseof.com/sitemap_index.xml. Nëse faqja nuk është e indeksuar nga motorët e kërkimit, megjithëse është zvarritur disa herë nga robotët e uebit, duhet të siguroheni që skedari është i pranishëm dhe se lejet e tij janë vendosur saktë.

Si parazgjedhje, kjo do të ndodhë me të gjitha instalimet e SeoToaster, por nëse është e nevojshme, mund ta rivendosni si kjo: Skedari robots.txt - 644. Në varësi të serverit PHP, nëse kjo nuk funksionon për përdoruesin, ai rekomandohet të provoni sa më poshtë: Skedari robots.txt - 666.

Cilësimi i vonesës së skanimit

Direktiva e vonesës së anashkalimit informon disamotorët e kërkimit sa shpesh mund të indeksojnë një faqe në sit. Ajo matet në sekonda, megjithëse disa motorë kërkimi e interpretojnë atë paksa ndryshe. Disa njerëz shohin vonesën e zvarritjes 5 kur u thuhet të presin pesë sekonda pas çdo skanimi për të filluar skanimin tjetër.

Të tjerët e interpretojnë këtë si një udhëzim për të skanuar vetëm një faqe çdo pesë sekonda. Roboti nuk mund të skanojë më shpejt për të ruajtur gjerësinë e brezit të serverit. Nëse serveri duhet të përputhet me trafikun, ai mund të vendosë një vonesë anashkalimi. Në përgjithësi, në shumicën e rasteve, përdoruesit nuk kanë nevojë të shqetësohen për këtë. Kështu caktohet vonesa e zvarritjes prej tetë sekondash - Vonesë e zvarritjes: 8.

Por jo të gjithë motorët e kërkimit do t'i binden kësaj direktive, kështu që kur të ndaloni faqet, mund të vendosni vonesa të ndryshme gjurmimi për disa motorë kërkimi. Pasi të jenë konfiguruar të gjitha udhëzimet në skedar, mund ta ngarkoni në sajt, fillimisht sigurohuni që është një skedar teksti i thjeshtë dhe ka emrin robots.txt dhe mund të gjendet në yoursite.com/robots.txt.

Boti më i mirë i WordPress

Boti më i mirë i WordPress
Boti më i mirë i WordPress

Ka disa skedarë dhe drejtori në një sajt të WordPress që duhet të kyçen çdo herë. Drejtoritë që përdoruesit duhet të mos lejojnë janë drejtoria cgi-bin dhe drejtoritë standarde WP. Disa serverë nuk lejojnë hyrjen në drejtorinë cgi-bin, por përdoruesit duhet ta përfshijnë atë në direktivën e moslejimit përpara se të konfigurojnë siç duhet Robots txt WordPress

Direktoritë standarde të WordPress,të cilat duhet të bllokojnë janë wp-admin, wp-content, wp-includes. Këto drejtori nuk përmbajnë të dhëna që fillimisht janë të dobishme për motorët e kërkimit, por ekziston një përjashtim, d.m.th. ekziston një nëndrejtori me emrin ngarkime në drejtorinë wp-content. Kjo nëndrejtori duhet të lejohet në skedarin robot.txt pasi përfshin gjithçka që ngarkohet duke përdorur veçorinë e ngarkimit të mediave WP. WordPress përdor etiketat ose kategoritë për të strukturuar përmbajtjen.

Nëse përdoren kategoritë, atëherë për të bërë txt të saktë Robots për Wordpress, siç specifikohet nga prodhuesi i programit, është e nevojshme të bllokoni arkivat e etiketave nga kërkimi. Së pari, ata kontrollojnë bazën e të dhënave duke shkuar te paneli "Administrimi"> "Cilësimet"> "Lidhja e përhershme".

Si parazgjedhje, baza është etiketa, nëse fusha është bosh: Mos lejo: / etiketë /. Nëse përdoret një kategori, atëherë duhet të çaktivizoni kategorinë në skedarin robot.txt: Disallow: /category/. Si parazgjedhje, baza është etiketa, nëse fusha është bosh: Mos lejo: / etiketë /. Nëse përdoret një kategori, atëherë duhet të çaktivizoni kategorinë në skedarin robot.txt: Mos lejo: / kategori /.

Skedarët e përdorur kryesisht për shfaqjen e përmbajtjes, ato do të bllokohen nga skedari i saktë Robots txt për Wordpress:

Robots txt për wordpress
Robots txt për wordpress

konfigurimi bazë i Joomla

Pasi përdoruesi të ketë instaluar Joomla, ju duhet të shikoni cilësimin e saktë txt të Joomla Robots në konfigurimin global, i cili ndodhet në panelin e kontrollit. Disa cilësime këtu janë shumë të rëndësishme për SEO. Së pari gjeni emrin e faqes dhe sigurohuni qëpërdoret emri i shkurtër i faqes. Pastaj ata gjejnë një grup cilësimesh në të djathtë të të njëjtit ekran, i cili quhet cilësimet e SEO. Ai që patjetër do të duhet të ndryshojë është i dyti: përdorni një URL rishkrimi.

Kjo tingëllon e ndërlikuar, por në thelb ndihmon Joomla-n të krijojë URL më të pastra. Më e dukshme nëse hiqni linjën index.php nga URL-të. Nëse e ndryshoni më vonë, URL-të do të ndryshojnë dhe Google nuk do t'i pëlqejë. Megjithatë, kur ndryshoni këtë cilësim, duhet të ndërmerren disa hapa në të njëjtën kohë për të krijuar txt-in e duhur të robotëve për Joomla:

  1. Gjeni skedarin htaccess.txt në dosjen rrënjë të Joomla.
  2. Shënoje si.htaccess (pa zgjerim).
  3. Përfshi emrin e faqes në titujt e faqeve.
  4. Gjej cilësimet e meta të dhënave në fund të ekranit të konfigurimit global.

Robot në renë MODX

Robot në renë MODX
Robot në renë MODX

Më parë, MODX Cloud u ofroi përdoruesve mundësinë për të kontrolluar sjelljen e lejimit të shërbimit të skedarit robots.txt bazuar në një ndryshim në panelin e kontrollit. Ndërkohë që kjo ishte e dobishme, ishte e mundur që aksidentalisht të lejohej indeksimi në sajtet e vendosjes/devijimit duke ndërruar një opsion në Panel. Në mënyrë të ngjashme, ishte e lehtë të çaktivizonte indeksimin në sitin e prodhimit.

Sot shërbimi supozon praninë e skedarëve robots.txt në sistemin e skedarëve me përjashtimin e mëposhtëm: çdo domen që përfundon me modxcloud.com do të shërbejë si Disallow: /directive për të gjithë agjentët e përdoruesve, pavarësisht nga prania ose mungesa e dosjes. Faqet e prodhimit që marrin trafik të vërtetë vizitorësh do të duhet të përdorin domenin e tyre nëse përdoruesi dëshiron të indeksojë faqen e tyre.

Disa organizata përdorin txt-in e duhur të Robots për modx për të drejtuar uebsajte të shumta nga një instalim i vetëm duke përdorur Contexts. Një rast në të cilin kjo mund të zbatohej do të ishte një sajt i marketingut publik i kombinuar me mikro sajte të faqeve të uljes dhe ndoshta një intranet jo publik.

Tradicionalisht kjo ka qenë e vështirë për t'u bërë për instalimet me shumë përdorues, pasi ata ndajnë të njëjtën rrënjë rrjeti. Me MODX Cloud, kjo është e lehtë. Thjesht ngarkoni një skedar shtesë në një faqe interneti të quajtur robots-intranet.example.com.txt me përmbajtjen e mëposhtme dhe ai do të bllokojë indeksimin me robotë që funksionojnë mirë dhe të gjithë emrat e tjerë të hosteve do të kthehen në skedarë standardë, përveç nëse ka nyje të tjera emrash specifike.

Robots.txt është një skedar i rëndësishëm që ndihmon përdoruesin të lidhet me sitin në Google, motorët kryesorë të kërkimit dhe faqet e tjera të internetit. I vendosur në rrënjën e një serveri ueb, skedari udhëzon robotët e uebit të zvarritin një faqe, të vendosin se cilat dosje duhet ose jo të indeksojë, duke përdorur një grup udhëzimesh të quajtur Protokolli i Përjashtimit të Bot. Një shembull i txt-it të saktë të Robots për të gjithë motorët e kërkimit obots.txt është veçanërisht i lehtë për t'u bërë me SeoToaster. Një menu e veçantë është krijuar për të në panelin e kontrollit, kështu që roboti nuk do të duhet kurrë të punojë tepër për të fituar akses.

Recommended: