Файл robots.txt

файл robots.txt

Для чего нужен файл robots.txt? В этом файле, в основном, прописано, куда поисковым роботам не надо совать свой «нос».

Вот, представьте: вы несколько дней не заходили на сайт, а за это время некие «милые» люди добавили в комментариях кучу спама. И не просто в виде текста, а со ссылками на разные, не относящиеся к вашей теме, ресурсы, в том числе и порно сайты.



Конечно, ваш сайт защищен от спама замечательным плагином, и вся эта «бяка» дожидается модерации в панели администратора (консоли). Пользователи этих комментариев не видят.

Но! В то же время вашего отсутствия туда зашел поисковый робот и всю эту гадость проиндексировал. После чего поисковая система сделала вывод, что ваш сайт — не просто свалка из нетематических ссылок, а еще и «плохо пахнущая» свалка. И приняла соответствующие меры, например, решила не выдавать ваш сайт в результатах поиска.

Возможно, я сильно утрирую, но действительно, в некоторые разделы сайта поисковых роботов лучше «не пущать».

Честно говоря, мне жалко тратить время на изучение того, как правильно написать этот файл. Поэтому пользуюсь готовыми, то есть , написанными кем-то другим.

Хоть у меня и стоит другой, вам хочу предложить файл robots.txt, который предоставляет своим студентам Тренинг Центр «Твой Старт». Думаю, что он правильнее моего.

Кстати, очень рекомендую! «Твой Старт» не только учит создавать и продвигать сайты, но и зарабатывать на них, а также зарабатывать другими способами. Кроме платных, есть много очень полезных бесплатных курсов.

Раньше у меня были сайты только на движках PHP-Fusion и Joomla. Но в один прекрасный момент мне стало интересно, что за зверь такой – Word Press. Когда узнала, что в «Твой Старт» идет набор на бесплатный курс по созданию сайта именно на этом движке, сразу записалась. Сказать, что я прошла курс обучения, наверное, будет слишком сильно, скорее, я просто поприсутствовала. Но одно могу сказать точно: обучение, хоть и бесплатное, было очень качественным, уроки понятными, а преподаватели объясняли доступным языком.

Кстати, после этого курса я так влюбилась в WordPress, что перенесла на него сайт, на котором вы сейчас находитесь. Раньше он был на движке Joomla.

Но, вернемся к нашим «баранам». Давайте возьмем файл robots.txt и установим его на наш сайт.

Внимание! Этот файл только для движка WordPress! Если у вас сайт на другом движке, нужно искать готовый файл в сети специально для него. Ну, или писать самостоятельно. Материалов по этой теме в сети уйма.

Для начала скачайте и распакуйте файл: Robots.

Прежде, чем устанавливать его на сайт, нужно внести небольшие изменения, точнее указать, что этот файл именно для вашего сайта. Чтобы внести эти поправки, сделайте по скачанному файлу двойной щелчок левой кнопкой мыши.

Он должен открыться в простой программе «Блокнот», которая есть на каждом компьютере. Если вдруг файл открывается в браузере, то запустите сначала программу «Блокнот», нажмите в верхнем меню программы «Файл», выберите «Открыть» и щелкните по файлу robots.txt двойным щелчком мыши. В браузере сохранить изменения не удастся.



В верхней части нам ничего трогать не нужно, поэтому прокручиваем текст к нижней части.



Все надписи «ВАШСАЙТ» нужно заменить своим доменом. Например, если у вас домен moisite.ru, то выглядеть это будет так:


Когда закончите, нажмите «Файл» и выберите «Сохранить». Переименовывать файл ни в коем случае нельзя.

Теперь нужно авторизоваться (ввести логин и пароль) на хостинге, и перейти в Файловый менеджер (я показываю на примере хостинга «Джино»):



Кликаем на папку domains, в которой находится наш сайт:



Кликаем на папку, которая названа аналогично домену сайта, на который нужно загрузить файл:



Внизу, под списком папок и файлов, находим форму загрузки, и нажимаем «Обзор»:



Находим свой файл robots.txt делаем по нему двойной клик мышью, или выделяем и нажимаем внизу окна «Открыть». После этого жмем «Загрузить»:



Наверху, над списком папок и файлов появится сообщение, что загрузка файла robots.txt успешно завершена. Значит, можно уходить с сайта хостинга и спать спокойно. У нашего сайта теперь есть такой простой, но такой необходимый, файл.







Управление сайтом
Понравился материал? Поделитесь с друзьями в социальных сетях, нажимайте на кнопочки!

4 комментария

  • Юрий

    Спасибо за статью , очень помогла для моего сайта mj-fan.ru

    Ответить
    • Светлана Канаева

      Рада, что моя статья оказалась полезной.

      Ответить
  • миха

    оч понятно!!!

    Ответить
  • Людмила

    Спасибо, разжевали, получилось! :x

    Ответить

Ваш email не будет опубликован. Обязательные поля отмечены *
Имя *
Email *
Сайт
Ваш комментарий
;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: