Puna e një optimizuesi SEO është shumë e gjerë. Fillestarët këshillohen të shkruajnë algoritmin e optimizimit në mënyrë që të mos humbasin asnjë hap. Përndryshe, promovimi vështirë se do të quhet i suksesshëm, pasi faqja do të përjetojë vazhdimisht dështime dhe gabime që do të duhet të korrigjohen për një kohë të gjatë.
Një nga hapat e optimizimit është puna me skedarin robots.txt. Çdo burim duhet të ketë këtë dokument, sepse pa të do të jetë më e vështirë të përballesh me optimizimin. Ai kryen shumë funksione që do t'ju duhet t'i kuptoni.
Asistenti i robotëve
Skedari robots.txt është një dokument me tekst të thjeshtë që mund të shikohet në Notepad standard të sistemit. Kur e krijoni, duhet ta vendosni kodimin në UTF-8 në mënyrë që të lexohet saktë. Skedari funksionon me protokollet http, https dhe FTP.
Ky dokument është një asistent për kërkimin e robotëve. Në rast se nuk e dini, çdo sistem përdor "merimangat" që zvarriten shpejt në World Wide Web për të kthyer faqet përkatëse për pyetje.përdoruesit. Këta robotë duhet të kenë akses në të dhënat e burimeve, robots.txt funksionon për këtë.
Në mënyrë që merimangat të gjejnë rrugën e tyre, ju duhet të dërgoni dokumentin robots.txt në direktorinë rrënjë. Për të kontrolluar nëse faqja e ka këtë skedar, futni "https://site.com.ua/robots.txt" në shiritin e adresave të shfletuesit. Në vend të "site.com.ua" duhet të futni burimin që ju nevojitet.
Funksionet e dokumentit
Skedari robots.txt u siguron zvarritësve disa lloje informacioni. Mund të japë akses të pjesshëm në mënyrë që "merimanga" të skanojë elementë specifikë të burimit. Qasja e plotë ju lejon të kontrolloni të gjitha faqet e disponueshme. Një ndalim i plotë i pengon robotët që të fillojnë të kontrollojnë dhe ata largohen nga faqja.
Pasi vizitojnë burimin, "merimangat" marrin një përgjigje të përshtatshme për kërkesën. Mund të ketë disa prej tyre, gjithçka varet nga informacioni në robots.txt. Për shembull, nëse skanimi ishte i suksesshëm, roboti do të marrë kodin 2xx.
Ndoshta sajti është ridrejtuar nga një faqe në tjetrën. Në këtë rast, roboti merr kodin 3xx. Nëse ky kod shfaqet disa herë, atëherë merimanga do ta ndjekë atë derisa të marrë një përgjigje tjetër. Edhe pse, si rregull, ai përdor vetëm 5 përpjekje. Përndryshe, shfaqet gabimi popullor 404.
Nëse përgjigjja është 4xx, atëherë roboti lejohet të zvarritet të gjithë përmbajtjen e sajtit. Por në rastin e kodit 5xx, kontrolli mund të ndalojë plotësisht, pasi kjo shpesh tregon gabime të përkohshme të serverit.
Për çfarëkeni nevojë për robots.txt?
Siç mund ta keni marrë me mend, ky skedar është udhëzuesi i robotëve drejt rrënjës së sajtit. Tani përdoret për të kufizuar pjesërisht aksesin në përmbajtje të papërshtatshme:
- faqe me informacione personale të përdoruesve;
- faqe pasqyre;
- rezultatet e kërkimit;
- formularët e dorëzimit të të dhënave, etj.
Nëse nuk ka skedar robots.txt në rrënjën e sajtit, roboti do të zvarritet absolutisht të gjithë përmbajtjen. Prandaj, të dhënat e padëshiruara mund të shfaqen në rezultatet e kërkimit, që do të thotë se ju dhe faqja do të vuani. Nëse ka udhëzime të veçanta në dokumentin robots.txt, atëherë "merimanga" do t'i ndjekë ato dhe do të japë informacionin e dëshiruar nga pronari i burimit.
Puna me një skedar
Për të përdorur robots.txt për të bllokuar sitin nga indeksimi, duhet të kuptoni se si ta krijoni këtë skedar. Për ta bërë këtë, ndiqni udhëzimet:
- Krijoni një dokument në Notepad ose Notepad++.
- Cakto shtesën e skedarit ".txt".
- Fut të dhënat dhe komandat e kërkuara.
- Ruani dokumentin dhe ngarkojeni në rrënjën e sajtit.
Siç mund ta shihni, në një nga fazat është e nevojshme të vendosni komanda për robotët. Ato janë dy llojesh: lejuese (Lejo) dhe ndaluese (Mos lejo). Gjithashtu, disa optimizues mund të specifikojnë shpejtësinë e zvarritjes, hostin dhe lidhjen me hartën e faqes së burimit.
Për të filluar punën me robots.txt dhe për të bllokuar plotësisht faqen nga indeksimi, duhet të kuptoni edhe simbolet e përdorura. Për shembull, në një dokumentpërdorni "/", që tregon se i gjithë faqja është zgjedhur. Nëse përdoret "", atëherë kërkohet një sekuencë karakteresh. Në këtë mënyrë, do të jetë e mundur të specifikoni një dosje specifike që mund të skanohet ose jo.
Veçori e robotëve
"Merimangat" për motorët e kërkimit janë të ndryshme, kështu që nëse punoni për disa motorë kërkimi në të njëjtën kohë, atëherë do të duhet të merrni parasysh këtë moment. Emrat e tyre janë të ndryshëm, që do të thotë se nëse doni të kontaktoni një robot specifik, do të duhet të specifikoni emrin e tij: "Agjenti i përdoruesit: Yandex" (pa thonjëza).
Nëse doni të vendosni direktiva për të gjithë motorët e kërkimit, atëherë duhet të përdorni komandën: "Agjenti i përdoruesit: " (pa thonjëza). Për të bllokuar siç duhet sitin nga indeksimi duke përdorur robots.txt, duhet të dini specifikat e motorëve të njohur të kërkimit.
Fakti është se motorët më të njohur të kërkimit Yandex dhe Google kanë disa robotë. Secila prej tyre ka detyrat e veta. Për shembull, Yandex Bot dhe Googlebot janë "merimangat" kryesore që zvarriten faqen. Duke ditur të gjitha robotët, do të jetë më e lehtë të rregulloni mirë indeksimin e burimit tuaj.
Shembuj
Pra, me ndihmën e robots.txt, mund ta mbyllni faqen nga indeksimi me komanda të thjeshta, gjëja kryesore është të kuptoni se çfarë ju nevojitet konkretisht. Për shembull, nëse dëshironi që Googlebot të mos i afrohet burimit tuaj, duhet t'i jepni atij komandën e duhur. Do të duket si: "Agjenti i përdoruesit: Googlebot Mos lejo: /" (pa thonjëza).
Tani duhet të kuptojmë se çfarë është në këtë komandë dhe si funksionon. Pra, "Agjent i përdoruesit"përdoret për të përdorur një thirrje direkte në një nga robotët. Tjetra, ne tregojmë se cilës, në rastin tonë është Google. Komanda "Disallow" duhet të fillojë në një linjë të re dhe të ndalojë robotin të hyjë në faqe. Simboli i pjerrët në këtë rast tregon se të gjitha faqet e burimit janë zgjedhur për ekzekutimin e komandës.
Në robots.txt, mund të çaktivizoni indeksimin për të gjithë motorët e kërkimit me një komandë të thjeshtë: "Agjent-përdorues:Mos lejo: /" (pa thonjëza). Karakteri yll në këtë rast tregon të gjithë robotët e kërkimit. Në mënyrë tipike, një komandë e tillë nevojitet për të ndalur indeksimin e faqes dhe për të filluar punën kryesore në të, gjë që përndryshe mund të ndikojë në optimizimin.
Nëse burimi është i madh dhe ka shumë faqe, ai shpesh përmban informacion pronësor që ose është i padëshirueshëm për t'u zbuluar, ose mund të ndikojë negativisht në promovimin. Në këtë rast, duhet të kuptoni se si ta mbyllni faqen nga indeksimi në robots.txt.
Mund të fshehësh një dosje ose një skedar. Në rastin e parë, duhet të filloni përsëri duke kontaktuar një bot specifik ose të gjithë, kështu që ne përdorim komandën "User-agent" dhe më poshtë specifikojmë komandën "Mos lejo" për një dosje specifike. Do të duket kështu: "Mos lejo: / dosje /" (pa thonjëza). Në këtë mënyrë ju fshihni të gjithë dosjen. Nëse përmban ndonjë skedar të rëndësishëm që dëshironi të shfaqni, atëherë duhet të shkruani komandën më poshtë: "Lejo: /folder/file.php" (pa thonjëza).
Kontrollo skedarin
Nëse përdorni robots.txt për të mbyllur sajtin ngaKeni pasur sukses në indeksimin, por nuk e dini nëse të gjitha direktivat tuaja funksionuan si duhet, mund të kontrolloni korrektësinë e punës.
Së pari, duhet të kontrolloni sërish vendosjen e dokumentit. Mos harroni se duhet të jetë ekskluzivisht në dosjen rrënjë. Nëse është në dosjen rrënjë, atëherë nuk do të funksionojë. Tjetra, hapni shfletuesin dhe shkruani adresën e mëposhtme atje: "https://yoursite. com/robots.txt" (pa thonjëza). Nëse merrni një gabim në shfletuesin tuaj të internetit, atëherë skedari nuk është aty ku duhet të jetë.
Direktivat mund të kontrollohen në mjete speciale që përdoren nga pothuajse të gjithë webmasterët. Ne po flasim për produktet Google dhe Yandex. Për shembull, në Google Search Console ekziston një shirit veglash ku duhet të hapni "Crawl" dhe më pas të ekzekutoni "Robots.txt File Inspection Tool". Duhet të kopjoni të gjitha të dhënat nga dokumenti në dritare dhe të filloni skanimin. Pikërisht i njëjti kontroll mund të bëhet në Yandex. Webmaster.
