Продвижение в интернете

В процессе оптимизации проекта нужно создать текстовый файл под названием robots.txt и положить его в корень сайта.

Нужен он:

1. Для запрета индексации служебных директорий.
2. Для определения главного зеркала сайта (с www или без).
3. Для лучшего продвижения сайта в яндексе, он не любит, когда в индекс попадают пустые страницы (типа формы контактов или формы добавления организаций, страницы авторизации).

Ниже приведен robots.txt для сайта или блога на wordpress:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: domen.ru

Давайте рассмотрим каждую строчку в отдельности. Весь файл поделен на две категории, они разделены пустой строчкой. В первом описываются исключения для всех поисковых ботов одновременно. Во втором только для яндекса.

Строчка «User-agent: *» описывает разом всех поисковых ботов.
Строчка «User-agent: Yandex» описывает исключения для яндекса.
Строчки, которые начинаются с «Disallow» это исключения для индексации, в моей подборке это служебные директории, страницы авторизации.

У вас, наверное, возник вопрос, зачем делать две категории с одинаковыми исключениями? Это нужно, для того чтобы зазеркалить домен, то есть, чтобы глазами поисковым систем он значился либо с www, либо без него. Для этого есть строчка «Host» Нужно это для того чтобы в индексе не было двух сайтов (сайт с www и без).

Если есть вопросы, спрашивайте.

Рубрика: SEO