Știai că o singură comandă dintr-un singur fișier poate bloca total accesul motoarelor de căutare la site-ul tău și oricât l-ai promova nu va fi deloc indexat?
Salutare, exploratori ai internetului! Eu sunt Adrian de la ZAO Media, și astăzi vom descoperi secretele fișierului robots.txt, într-o nouă ediție Vitamina de SEO.
De-a lungul anilor am întâlnit multe situații în care deținătorii de site-uri investeau timp și bani în promovarea site-ului lor însă acesta nu apărea deloc în motoarele de căutare.
Am întâlnit cazuri în care un site cu vechime de peste 7 ani în care s-au investit mii de euro în texte optimizate și advertoriale nu apărea cu nicio pagină în Google, nici măcar după numele lui.
Ai pățit și tu așa ceva? Dacă nu, hai să vezi cum poți evita simplu asta.
Dacă ți s-a întâmplat, hai să vedem soluția.
Fișierul robots.txt este paznicul site-ului tău, care le spune motoarelor de căutare unde pot și unde nu pot intra. Este ca un paznic amabil care îndrumă traficul pe site-ul tău.
Cum vezi dacă îl ai? Simplu:
Scrie în browser adresa site-ului tău, urmată de /robots.txt și apasă enter. Dacă îți apare o sintaxă de genul următor înseamnă că există.
Dacă ai o pagină fără conținut sau o pagină de eroare 404, înseamnă că nu există.
Dacă nu există nu este o problemă atât de mare. Cel mai grav este când el există și blochează accesul la motoarele de căutare atunci când tu te aștepți ca site-ul să se indexeze.
Comanda Disallow: / se foloseste atunci cand se lucreaza la un site, pana la finalizarea continutului lui. Dupa ce este publicat site-ul in versiunea finala comanda ar trebui schimbata elimanandu-se slash-ul de dupa cele 2 puncte.
Comanda Disallow: fara slash la urma va permite motoarelor de cautare sa indexeze site-ul.
Hai să trecem la acțiune!
Prin intermediul file manager sau printr-un client FTP intră în rădăcina site-ului tău. De obicei aceasta este public_html.
Vezi dacă acolo există un fișier robots.txt și dă-i editare. Dacă nu există, creează acolo un fișier nou cu acest nume.
Acum, să scriem câteva linii simple. De exemplu, User-agent: * le spune tuturor motoarelor de căutare că urmează niște reguli pentru ele. În loc de steluță poți pune numele unui agent de căutare. Găsești o listă completă pe net.
Disallow: /wp-admin/ le spune să nu indexeze folderul wp-admin. La fel poți face și pentru anumite pagini sau fișiere care nu vrei să apară în google.
Acum, salvează fișierul în directorul rădăcină al site-ului tău.
Directiva Disallow este ca un semn de “accesul interzis” pentru motoarele de căutare. Dacă vrei să blochezi accesul la un folder sau o pagină, acesta este modul de a face asta. Cum îți spuneam mai sus, dacă scrii Disallow: / nu va indexa întreg site-ul.
Directiva Allow este exact opusul. Este ca un semn de “bine ați venit” pentru motoarele de căutare. Le arată ce să indexeze din site. Se poate folosi și pentru a da acces doar la anumite fișiere sau subfoldere dintr-un folder la care nu au acces.
Fișierul Sitemap este ca o hartă a comorii pentru motoarele de căutare, indicându-le unde sunt paginile tale valoroase. Este indicat să pui calea către el și în robots.txt.
Dacă ai terminat de editat, verifică-ți munca! Accesează întâi fișierul din browser și vezi cum arată. Scrie în bara de adrese numele site-ului urmat de /robots.txt
Dacă totul pare ok, accesează Google Search Console, adaugă site-ul tău și apoi navighează la secțiunea ‘robots.txt Tester’. Introdu fișierul tău robots.txt și vei vedea dacă ai făcut totul corect.
Pentru cei care folosesc WordPress, viața este mult mai ușoară! Instalează plugin-ul Yoast SEO, navighează la SEO → Tools → File Editor și voila, poți edita fișierul robots.txt direct de aici.
Dacă ai făcut treaba bună cu robots.txt și sitemap iar site-ul tău are conținut de calitate și backlink-uri va apărea în câteva zile în google.
Așadar, dragi prieteni, cu un fișier robots.txt bine configurat, site-ul vostru este gata să cucerească motoarele de căutare! Dacă ți-a plăcut acest tutorial, dă un like, un share și abonează-te la Vitamina de SEO pentru mai multe doze de cunoaștere SEO. Pa-pa până data viitoare! ????
