Предварительная настройка нашего блога почти закончена, мы в одном шаге от того момента, как он начнет свою работу. После этого перейдем к следующей большой теме: Раскрутка и  продвижение сайта.

Как закрыть от индексации лишние ссылки и страницы, и зачем вообще нужно что-то закрывать?

Внешние ссылки. Наверняка вы слышали о таких вещах как ТИЦ и  PR сайта (на вебмастерском сленге — пузомерки). Позже мы будем рассматривать этот вопрос подробно, а в рамках этого поста я ограничусь лишь общей информацией. Общепринятое мнение — внешних (т.е ведущих на другие сайты) ссылок должно быть как можно меньше. По внешним ссылках уходит «вес» страницы. Для того, чтобы не разбазаривать бессмысленно вес вашей страницы, внешние ссылки стоит закрыть от индексации. Приходя на ваш сайт, поисковый робот анализирует страницу и следует по всем ссылкам, находящимся на ней, если специальными тэгами не дано указание «эти ссылки не учитывать». Большое количество внешних ссылок со страниц сайта будет очень мешать вам в благородном деле заработка на продаже ссылок — вебмастера не станут покупать ссылки с сайта, у которого весь PR ( а тем более, у молодых сайтов он и так не особо впечатляющ)  распыляется на 150 внешних ссылок. Ценность такой ссылки практически нулевая. И цена соответствующая.

Лишние страницы. Одна и та же статья на вашем сайте может находиться сразу по нескольким адресам, например:

http://blogobabki.ru/kak-zarabotat-na-partnerskix-programmax/ — на главной странице

http://blogobabki.ru/category/zarabotok-bez-sajta/kak-zarabotat-na-partnerskix-programmax — на странице рубрик

http://blogobabki.ru/tag/partnerskie-programmy/kak-zarabotat-na-partnerskix-programmax — на странице тэгов

http://blogobabki.ru/archives/2011/kak-zarabotat-na-partnerskix-programmax — на странице архивов

и так далее. С точки зрения поисковиков это дублированный контент, чего они не любят. Если оставить все по умолчанию, то в скором времени за это вам настучат по голове. Поэтому некоторые страницы следует намеренно закрыть от индексации, т. е. дать указания поисковым роботам, что они «не считаются».

Как закрыть от индексации страницы с помощью файла robots.txt

Это служебный файл, который указывает поисковому роботу, какие страницы вашего блога стоит индексировать, а какие нет. Придя на сайт, робот в первую очередь ищет этот файл и если не находит, начинает индексировать все подряд — в том числе и ваши админские страницы, плагины, и прочее, пока ему не надоест. Вам это надо?

По умолчанию в WordPress такого файла нет, поэтому нам нужно его создать.

Открываем обычный Блокнот и вносим в него вот такой текст:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.ваш сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://ваш сайт.ru/sitemap.xml

Не забудьте заменить «ваш  сайт» на ваш адрес . Директива host указывает Яндексу, что считать главным зеркалом вашего сайта. Если ваш сайт доступен по разным адресам (например, www.site.ru и site.ru), то здесь нужно написать тот вариант, в котором его проиндексировал Яндекс. Обзываем файл robots.txt и сохраняем в любом месте.

Открываем ftp-клиент FileZilla и копируем этот файл в корневую папку сайта:

как закрыть от индексации страницы

Сохраняем изменения и все, вопрос закрыт. Подробности можно узнать в статье Разбираемся в файле robots.txt.

Как закрыть от индексации внешние ссылки с помощью атрибутов noindex и nofollow

Далеко не все ненужное можно закрыть с помощью волшебного файла robots.txt. Кое что придется подправить ручками. К примеру, обратите внимание на нижнюю часть вашего сайта. Там наверняка есть что-то вроде «Темы WordPress», или другие ссылки, ведущие на сторонние сайты. Удалять эти ссылки некрасиво — все-таки авторское право и все такое, а вот закрыть от индексации можно.

В админке идем «Внешний вид» — «Редактор»  и открываем на редактирование файл footer.php. Ищем там ссылки, они выглядят вот так:

<a href="http://wordpress.org/" title="Powered by WordPress, state-of-the-art semantic personal publishing platform.">WordPress</a>

Вставляем в них два тэга: noindex  и nofollow. Выглядеть это должно вот так:

<noindex><a rel="nofollow" href="http://wordpress.org/" title="Powered by WordPress, state-of-the-art semantic personal publishing platform.">WordPress</a></noindex>

Теперь открываем поочередно все файлы темы и проделываем ту же экзекуцию над всеми обнаруженными внешними ссылками. Не перестарайтесь только,  Кутузовы, ссылки на самих себя закрывать не надо!

Не забываем сохранять измененные файлы.

Теперь объясняю, что, собственно, мы сделали.

Тэг <noindex> </noindex> запрещает Яндексу (только Яндексу, для других поисковых систем он не указ) индексировать любой контент (это может быть как код, так и обычный текст), находящийся между открывающим <noindex> и закрывающим </noindex> тэгами.

Похожую функцию, но только для поисковика Google выполняет атрибут nofollow. До недавнего времени по ссылкам,  закрытым в «nofolow» статический вес не передавался на сторонние ресурсы, оставаясь на странице и равномерно распределяясь по не закрытым ссылкам (например, внутренним ссылкам, ведущим на другие страницы вашего сайта). Понятно, что раз вес со страницы не убавился, то внутренним ссылкам досталось больше. Но новый финт ушами алгоритм Google запретил раздавать не ушедший вес по незакрытым ссылкам. То есть, вес закрытой в «nofollow» ссылки не уходит, но и не прибавляет веса другим ссылкам, т.е уходит в пустоту,  что как бы намекает нам на то, что Google не поощряет закрытые в «nofollow» внешние ссылки.

С недавнего времени Яндекс тоже научился понимать атрибут «nofollow» , и похоже, теперь закрывать ссылки в <noindex> нет смысла, потому что этот тэг перестал влиять на индексацию. Зато в noindex можно закрывать нетематические куски текста, чтобы не разбавляли вам релевантность.  Чует мое сердце, что коль скоро Яндекс идет по стопам Google, то очень скоро он собезьянничает тот же алгоритм в части тэга «nofollow».

О целесообразности использования тэгов noindex  и nofollow у вебмастеров пока нет единого мнения. Лично я считаю, что в скором времени поисковые системы еще больше повернутся лицом к обычному пользователю и противоположным местом к нам, хитрожопым вебмастерам, и закрывать ссылки в ноуиндекс и ноуфоллоу станет как минимум бесполезно. Последним оплотом запрета индексации станет файл robot.txt. Но пока это светлое время еще не наступило, пока при продаже ссылок требуется как можно меньшее количество исходящих внешних ссылок на странице, я думаю, использовать эти тэги стоит.

Проверяем тему на внешние ссылки с помощью плагина TAC

Помните, когда мы устанавливали самые нужные плагины, то среди прочих установили плагин TAC? Это очень удобная вещь, которая может выдать вам не только явные, но и скрытые,  закодированные в файлах вашей темы ссылки. Пользоваться им очень просто. Если вы его уже установили и активировали, то в панели меню, в пункте «Внешний вид» появится пунктик «ТАС». Жмем на него и видим примерно следующее:

как закрыть от индексации внешние ссылкиМы видим, что в текущей теме этого блога плагин нашел три внешние ссылки. Скрытых или закодированных не нашел, иначе бы вместо зеленого окошка с надписью Theme OK! появилось что-то другое. Кроме того, голубым цветом он услужливо показал нам, в каких именно файлах находятся эти ссылки и добавил кнопочку «Edit» — «Редактировать» (отмечена красным) Жмем на эту кнопу и спокойно прячем указанные ссылки в  nofollow.

Не забудьте также закрыть от индексации всякие счетчики, формы подписки и т.п.