IgorKa - Информационный ресурс

Перейду сразу к делу. Когда я только начинал вести свой блог на Wordpress, я читал довольно много материала на тему оптимизации сайта для роботов поисковых систем. Нового здесь ничего не напишу, а хочу поделится как оптимизация помогла именно моему блогу. Все кто, так или иначе, занимается сайтами, знают, что для того чтобы твой сайт или блог начали находить в Интернете, его должны находить в поисковых системах. А чтобы его найти в поисковых системах, страницы сайта должны быть на более-менее высоких позициях в выдаче, а для этого нужно, чтобы страницы были, как минимум, проиндексированы поисковой системой.

На определенном этапе я познакомился с инструментом Google Webmasters Tools, создал карту сайта и через некоторое время увидел , что индексация моего сайта находится на уровне 25%. Учитывая, что материал, который я пишу является уникальным для поисковой системы (я пишу его сам), то такой процент меня немного расстроил и я начал разбираться глубже в чем дело. Дело оказалось в том, что в файле robots.txt мой сайт был полностью открыт для индексации. А это значит, что робот заходил не только на страницы со статьями, но и на страницы разделов, меток, календаря и другие. Такое большое количество страниц усложняло индексацию и даже карта сайта (файл sitemap.xml) не спасал. Поэтому следующим шагом было редактирование файла robots.txt с целью запретить роботам Google (а также и Яндекс) заходить на все страницы. Разрешенными я оставил только страницы со статьями.

После того как был отредактирован файл robots.txt посещаемость блога немного снизилась, так как из индекса начали выпадать страницы (категории, метки, комментарии, календарь и т.д.), которые были запрещены. Но затем ситуация выровнялась и посещаемость снова начала расти вместе с процентом проиндексированных страниц.

На момент написания этой заметки, индексация страниц со статьями блога igorka.com.ua в индексе Google составляет почти 100% - 344 страницы из 345:

Нужно будет, кстати, на досуге поискать ту страницу, которая в индекс не попала, чтобы поправить статистику :)

Таким образом, два простых действия - создание карты сайта и оптимизация файла robots.txt позволили мне добиться почти 100% индексации статей в поисковике Google. Как обстоит дело в Яндексе не знаю, так как иструментарий Яндекса не дает такой статистики (или я просто не нашел где она отображается).