В последнее время попасть на первую страницу результатов поисковых систем стало крайне трудным. Появились десятки тысяч страниц-конкурентов. Вход идут все способы, в том числе и нечестные. Лично, что касается меня, то я - человек результата и меня не интересует, каким способом добиваться достойного места при поиске. Главное – это МОЙ РЕЙТИНГ. Ибо каждый вебмастер считает свой ресурс достойным, чтобы его нашли и посетили, а потому мы поговорим о способах ведения войны за поисковые системы.

Многие администраторы ресурсов часто задают вопрос: «Почему поисковые роботы так редко заходят на мой сайт?». Ответ очевиден: «Все, что ни делается — делается к лучшему», — так успокаивают себя слабые люди.

Поисковые системы индексируют любой сайт, который найдут, и у которого в HTTP-заголовке будет статус «200 Ok». Влиять meta-тегами на поисковые машины сейчас неактуально, ни один уважающий себя поисковик не обращает ни малейшего внимания на теги устаревания контента.

Для того, чтобы поисковые роботы глубже проходили по вашему сайту, нужно, во-первых, сделать файл robots.txt в корне сервера, во-вторых, карту сайта со ссылками на все страницы, при чем ссылка на карту сайта должна быть с главной страницы, в-третьих, при добавлении новой страницы нужно отображать это в новостях со ссылкой на нее, в-четвертых, надо чаще обновлять сайт и страницы на нем, и, в-пятых, все страницы сайта должны отдавать Last-Modified документов.

Файл robots.txt должен называться именно так и не иначе, либо поисковые системы просто не будут обращать на него внимание. Так же, расположение этого файла на сервере должно быть таким:

http://www.artpix.ru/robots.txt