Продолжу третью часть статьи о том как сделать свой сайт дружелюбным к поисковику Яндекс.

Смена структуры сайта

Если на сайте требуется изменить структуру URL страниц, и при этом контент остается прежним или меняется незначительно (между новыми и старыми страницами можно установить однозначное соответствие), рекомендуется настроить серверный редирект со старых URL страниц на новые. В этом случае робот будет переходить по редиректам, индексируя документы, на которые его перенаправляют, и удаляя из поиска ранее известные ему документы. По мере обхода сайта роботом в результатах поиска будут появляться новые документы.

Если же меняется не только структура сайта, но и его тематика, то вам необходимо настроить сервер таким образом, чтобы прежние страницы отдавали в заголовке код HTTP 404. Со временем робот отследит эти изменения, и страницы пропадут из результатов поиска. Чтобы ускорить удаление несуществующих документов, вы можете указать в файле robots.txt запрет на их индексирование. Также позаботьтесь о том, чтобы вновь созданные страницы как можно быстрее попали в поиск.

Продолжу вторую часть статьи о том как сделать свой сайт дружелюбным к поисковику Яндекс.

Использование мета-описаний

Одним из способов влияния на представление своего сайта в результатах поиска (его сниппет) является использование мета-описаний — тега meta description. При формировании сниппета наравне с фрагментами текста страницы рассматривается содержимое этого тега.

Рекомендации по составлению мета-описаний:

1. Мета-описания не должны быть короткими, в несколько слов.
2. Должны описывать конкретную страницу сайта, а не сайт в целом.
3. Мета-описания должны быть написаны для людей, нормальным человеческим языком — развернуто, правильно выстроенными предложениями, без злоупотреблений ключевыми словами, фразами, заглавными буквами, рекламными лозунгами и пр.
4. Мета-описания должны быть емкими и при этом содержательными. Старайтесь выразить основную суть документа в нескольких предложениях.
5. Содержимое тега meta должно быть актуальным, отражать текущее состояние страницы.
6. Мета-описания должны соответствовать языку документа.

Продолжу первую часть статьи о том как сделать свой сайт дружелюбным к поисковику Яндекс.

Индексирование сайта

1. Добавьте сайт в поисковую систему Яндекс.
2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

   • Disallow. Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся страницы с результатами поиска по сайту, статистика посещаемости сайта, дубликаты страниц, разнообразные логи, сервисные страницы баз данных и т.д. Подробнее об этом читайте в специальном разделе помощи, посвященному файлу robots.txt.
   • Crawl delay. Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.

   • Clean param. Нужен для указания поисковым роботам, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. В соответствующем разделе помощи можно прочитать подробнее об использовании директивы clean param.

     Сервис Яндекс.Вебмастер позволяет просмотреть список проиндексированных URL с вашего сайта. Регулярно проверяйте его, так как даже небольшие ошибки в коде могут привести к значительному росту числа ненужных URL на сайте и увеличить нагрузку на сайт.

Десятки миллионов пользователей задают свои вопросы поиску, миллионы сайтов дают на них ответ, и те из них, которые лучше всего ответили на вопрос пользователя, получают благодарных посетителей. Задача поиска Яндекса —- как можно быстрее привести пользователя к ответу.

Хороший сайт — это сайт для людей. Если пользователь может прочитать на нем текст, посмотреть картинки и найти необходимый раздел, то это уже неплохо. Но поисковая система Яндекс — это всего лишь сложная программа. Чтобы поисковая программа «прочитала» всю информацию, которая содержится на вашем сайте, нужно подумать об этом при проектировании сайта.

Это руководство поможет веб-мастерам и владельцам сайтов сделать так, чтобы их сайт без ошибок индексировался и корректно ранжировался поисковой системой Яндекс.

Мы постарались перечислить все основные действия, которые стоит произвести при работе над сайтом. Следование нашим рекомендациям позволит избежать ошибок, которые могут негативно влиять на позиции страниц сайта в результатах поиска, однако не гарантирует приток посетителей с поиска Яндекса на ваш сайт, поскольку в конечном итоге только качество вашего ресурса определяет его популярность.