Технологии
Карта сайта и robots.txt - вопрос №273399
Здравствуйте!
Подскажите пожалуйста по поводу карты сайта и файла роботс.
На хостинге эти файлы открыты для всеобщего доступа,
Можно ли как-то сделать так, чтобы они были у поисковиков, но недоступны для общего доступа.
Дело в том, что у сайтов, стоящих в топ яндекс, нет этих файлов в общем доступе, но я сомневаюсь, что они не используют карту сайта и robots.txt.
Как с этим
С уважением,
Ирина
май 19, 2012 г.
-
Всего ответов: 4
-
права на просмотр или сокрытие документов задаются на вебсервере
если у Вас хостинг на Apache это можно сделать с помощью httpaccess
если IIS — c помощью web.config
боле подробные консультации в чате
ps мой основной профиль IIS, но если по Apache ни кто не подскажет — тоже разберемся ))
-
Эти файлы не стоит закрывать. Во первых — в них нет секретных данных, во вторых — как Вы будете отфильтровывать посетителей? ведь если бот зайдет — ему нужно открыть. Не делайте себе геморой из ничего.
-
robots.txt — трогать не вижу смысла. Имеет смысл переместить карту сайта, что бы не производился скан сайта для различных целей. Это делается проще простого- создайте на хостинге папку с произвольным названием, переместите туда файл sitemap.xml. Постел этого в панели вебмастера google и yandex пропишите относительный путь /папка/sitemap.xml
-
Эти файлы — служебные файлы поисковых систем их присутсвие способствует продвижени, при правильной настройке robots.txt.
понятие ТОП растежимо. Есть ТОП 10, ТОП 50, ТОП 100
Кроме того есть огромное колличество запросов.
Нет смысла закрывать эти файлы. По сути и без карты сайта я могу просканировать ваш сайт. Если хотите закрыть сайт от всех ставьте Dissalow:/ в robots.txt. Нет сайта нет проблем.
А по сути не городите лишние проблемы)))
P.S. Dissalow:/ — закрывает сайт от поисковых машин.
Не делайте ошибочных выводов! Настройте правильно robots.txt, регулярно обновляйте sitemap
Похожие вопросы