User-agent: *\nDisallow: \/blog\/<\/code><\/pre>\nTa regu\u0142a blokuje ca\u0142y katalog \/blog\/<\/code>. Je\u015bli wpisy blogowe maj\u0105 pojawia\u0107 si\u0119 w Google, regu\u0142a jest zbyt szeroka.<\/p>\nRegu\u0142y dodane przez wtyczk\u0119 lub ustawienia testowe<\/h3>\n
Niekt\u00f3re ustawienia strony, wtyczki SEO albo konfiguracje u\u017cywane podczas prac testowych mog\u0105 doda\u0107 regu\u0142y blokuj\u0105ce crawlowanie. Je\u015bli problem pojawi\u0142 si\u0119 po aktualizacji, migracji lub zmianach na stronie, sprawd\u017a robots.txt oraz ustawienia narz\u0119dzia, kt\u00f3re zarz\u0105dza indeksowaniem.<\/p>\n
<\/span>Jak poprawi\u0107 robots.txt bez ods\u0142aniania prywatnych obszar\u00f3w<\/span><\/h2>\n\n- Wypisz adresy, kt\u00f3re maj\u0105 by\u0107 widoczne w Google. Skup si\u0119 na stronie g\u0142\u00f3wnej, wa\u017cnych podstronach, kategoriach, wpisach i stronach ofertowych.<\/li>\n
- Wypisz obszary, kt\u00f3re powinny pozosta\u0107 poza crawlowaniem. Mog\u0105 to by\u0107 katalogi techniczne, panel administracyjny, wyniki wewn\u0119trznego wyszukiwania lub \u015brodowisko staging.<\/li>\n
- Znajd\u017a w robots.txt regu\u0142\u0119
Disallow<\/code>, kt\u00f3ra obejmuje wa\u017cny adres.<\/li>\n- Zmie\u0144 tylko t\u0119 regu\u0142\u0119, kt\u00f3ra powoduje problem. Nie usuwaj ca\u0142ego pliku, je\u015bli zawiera te\u017c potrzebne blokady.<\/li>\n
- Je\u015bli blokada jest zbyt szeroka, zaw\u0119\u017a j\u0105 do konkretnego katalogu technicznego zamiast blokowa\u0107 ca\u0142y serwis lub du\u017cy dzia\u0142 strony.<\/li>\n
- Zapisz zmian\u0119 i ponownie sprawd\u017a kilka adres\u00f3w w Google Search Console.<\/li>\n
- Popro\u015b Google o ponowne sprawdzenie wa\u017cnych adres\u00f3w, je\u015bli narz\u0119dzie udost\u0119pnia tak\u0105 opcj\u0119.<\/li>\n<\/ol>\n
Po poprawce Google potrzebuje czasu na ponowne crawlowanie. To jest oczekiwane zachowanie. Zmiana w robots.txt nie zawsze oznacza natychmiastow\u0105 indeksacj\u0119 strony.<\/p>\n
<\/span>Co powinno pozosta\u0107 zablokowane<\/span><\/h2>\nNie odblokowuj obszar\u00f3w tylko dlatego, \u017ce pojawiaj\u0105 si\u0119 w raporcie. Cz\u0119\u015b\u0107 adres\u00f3w nie musi by\u0107 indeksowana i mo\u017ce pozosta\u0107 wy\u0142\u0105czona z crawlowania.<\/p>\n
\n- Strony logowania i panele administracyjne.<\/li>\n
- Adresy techniczne generowane przez system lub wtyczki.<\/li>\n
- \u015arodowiska staging i wersje testowe strony.<\/li>\n
- Wewn\u0119trzne wyniki wyszukiwania, je\u015bli nie maj\u0105 warto\u015bci dla u\u017cytkownik\u00f3w z Google.<\/li>\n
- Adresy prywatne, kt\u00f3re nie powinny by\u0107 publicznie dost\u0119pne.<\/li>\n<\/ul>\n
Je\u015bli tre\u015b\u0107 ma by\u0107 prywatna, nie polegaj wy\u0142\u0105cznie na robots.txt. Ten plik m\u00f3wi robotom, czego nie crawlowac, ale nie blokuje dost\u0119pu u\u017cytkownikom. Prywatne obszary powinny by\u0107 chronione odpowiednim dost\u0119pem, na przyk\u0142ad logowaniem.<\/p>\n
<\/span>Co sprawdzi\u0107 po zmianie<\/span><\/h2>\n\n- Czy wa\u017cne adresy nie s\u0105 ju\u017c blokowane przez robots.txt w Google Search Console.<\/li>\n
- Czy strony testowe i prywatne nadal nie s\u0105 przeznaczone do crawlowania.<\/li>\n
- Czy plik robots.txt nie zawiera starej regu\u0142y po migracji lub pracach nad stron\u0105.<\/li>\n
- Czy wtyczka lub ustawienie strony nie nadpisuje r\u0119cznych zmian w pliku.<\/li>\n<\/ul>\n
Je\u015bli po zmianie status utrzymuje si\u0119 przez pewien czas, mo\u017ce to oznacza\u0107, \u017ce Google jeszcze nie przetworzy\u0142 nowej wersji pliku albo nie odwiedzi\u0142 ponownie danego adresu. W takiej sytuacji sprawdzaj pojedyncze adresy w Google Search Console i obserwuj raport indeksowania.<\/p>\n
<\/span>Kiedy skontaktowa\u0107 si\u0119 z pomoc\u0105<\/span><\/h2>\nSkontaktuj si\u0119 z pomoc\u0105 techniczn\u0105, je\u015bli nie masz pewno\u015bci, kt\u00f3ra regu\u0142a blokuje wa\u017cne strony, albo je\u015bli robots.txt jest nadpisywany przez system, wtyczk\u0119 lub wcze\u015bniejsz\u0105 konfiguracj\u0119. W zg\u0142oszeniu podaj przyk\u0142adowy adres URL, aktualn\u0105 tre\u015b\u0107 robots.txt oraz informacj\u0119 z Google Search Console.<\/p>\n","protected":false},"author":6,"featured_media":10957,"parent":0,"menu_order":0,"template":"","format":"standard","manualknowledgebasecat":[118,4583],"manual_kb_tag":[7762,550,1778,1683,1784,6655,5640],"class_list":["post-16918","manual_kb","type-manual_kb","status-publish","format-standard","has-post-thumbnail","hentry","manualknowledgebasecat-pozostale","manualknowledgebasecat-seo","manual_kb_tag-crawlowanie","manual_kb_tag-google-search-console","manual_kb_tag-indeksowanie","manual_kb_tag-robots-txt","manual_kb_tag-seo","manual_kb_tag-staging","manual_kb_tag-widocznosc-w-google"],"_links":{"self":[{"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manual_kb\/16918","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manual_kb"}],"about":[{"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/types\/manual_kb"}],"author":[{"embeddable":true,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/users\/6"}],"version-history":[{"count":2,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manual_kb\/16918\/revisions"}],"predecessor-version":[{"id":16928,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manual_kb\/16918\/revisions\/16928"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/media\/10957"}],"wp:attachment":[{"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/media?parent=16918"}],"wp:term":[{"taxonomy":"manualknowledgebasecat","embeddable":true,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manualknowledgebasecat?post=16918"},{"taxonomy":"manual_kb_tag","embeddable":true,"href":"https:\/\/dhosting.pl\/pomoc\/wp-json\/wp\/v2\/manual_kb_tag?post=16918"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}