|
 |
 |
|
|
Этот загадочный Google Dance.
Я думаю, вам определённо стоит почитать этот раздел, чтобы понять, как именно работает база данных Google и его роботы. Хотя уже достаточно много известно о ежемесячных обновлениях базы данных (их ещё любя называют “Google Dance”),
но в последнее время они всё больше и больше не похожи один на другой.
Каждый “танец” начинается с главного, глобального поиска. Назовём это “Поиском А”. Что же происходит в это время? В принципе, ничего особенного — пауки посещают всю базу данных (более 3,6 млрд. страничек по последним подсчётам).
Для этого в распоряжении Google находится более 16,000 компьютеров, которые разбросаны по всему миру и находятся в различных дата-центрах. В это время Googlebot’ы посещают все странички из базы, а также ищут новые, которые недавно появились на свет. После окончания “Поиска А”, когда все странички зафиксированы в базе для следующего обновления, следует второй поиск, приблизительно через 2 недели после первого.
Google в это время полностью обновляет свою базу данных, и результаты становятся доступны на www2.google.com и www3.google.com. Также в это же самое время происходит обновление главной базы данных, но как уже указывалось выше — Google использует более 16,000 серверов, а поэтому случается так, что в разных частях света результаты поиска могут отличаться друг от друга, пока не произойдёт полное обновление базы данных.
“Google Dance” будет продолжаться ещё несколько дней, но обычно не более недели.
В любом случае, как во время, так и сразу же после обновления базы данных, Google начнёт второй глобальный поиск, назовём его “Поиском Б”. Во время него будут посещены все существующие странички в текущей базе данных, а также новые, недавно запущенные ресурсы, которые уже засекли пауки. После этого поиска цикл начинается сначала для следующего месяца.
Как “словить” Googlebot в нужное время?
Каждый опытный вебмастер знает, что для того, чтобы попасть в базу Google или обновить уже существующую там информацию, нужно тщательно всё спланировать и “поймать” Googlebot именно в нужной точке ежемесячного цикла. Большинство экспертов по оптимизации выделяют первый поиск, который проводит Googlebot в начале месяца, и второй — во время и сразу же после обновления базы данных.
Итак, у нас стоит задача поместить сайт в базу данных Google.
Вопрос: гарантировано ли включение сайта в базу данных при посещении его роботом системы во время этих поисков? Судя по нашему опыту — не всегда. Будучи более точным, если паук посещает сайт в начале месяца, то есть все шансы на то, что он не будет включён в обновление этого месяца. Если же паук зашёл на сайт во время второго поиска, который следует сразу же за обновлением, то очень вероятно (но не гарантированно), что он зайдёт на него и во время следующего поиска, а затем включит в обновление на следующий месяц.
Иногда паук может просто зайти на новый сайт и просмотреть только его главную страницу и файл Robots.txt.
Это хороший знак, так как это значит, что Googlebot вернётся сюда во время следующего большого поиска и сайт будет включён в обновление, которое следует за вторым поиском. Итак, для того чтобы новому сайту попасть в базу данных, потребуется два визита Googlebot, хотя исключения из этого правила тоже случаются.
Чтобы обеспечить как можно более быстрое индексирование и включение страниц в базу данных, можно предпринять следующие шаги: если паук зайдёт на сайт первый раз во время или после обновления, то данный сайт практически гарантировано будет включён в Google Dance на следующий месяц. Если же паук не зашёл в это время на ваш сайт,
а сделал это только во время следующего визита, то время ожидания появления сайта в базе данных значительно увеличится.
В свете всего этого, что же может сделать простой смертный вебмастер для того, чтобы “словить” Googlebot в нужное время? Естественно можно молиться и ставить свечи в церкви, а также прыгать с бубном вокруг сервера, но иногда бывает намного проще просто составить план действий. Если у вас уже есть ресурсы, которые находятся в базе данных Google, то вы можете наблюдать за процессом “глобального поиска” и всеми обновлениями, и в соответствии с этим планировать запуск новых проектов. В случае же, если таких сайтов у нас ещё нет, то можно следить за обновлениями на www.google.com.
Хотя никогда нет 100% гарантии того, что вашу страничку проиндексируют (частично или полностью), есть несколько методов, которые дадут Googlebot’у знак, что надо посетить данный сайт.
Один из них — обмен ссылками с сайтами, у которых высокий Page Rank. Чем выше уровень PageRank у сайта, тем больше шансов на то, что данный сайт будет посещаться роботами Google чаще, а это в свою очередь означает, что и ваш URL попадёт в базу намного быстрее. Пару слов о релевантности ссылок: если сайт посвящён продаже мебели, а ссылки с него ведут на сайты компаний-производителей, дистрибьюторов и т.д., то Google оценит ваш сайт выше, чем если бы вы разместили ссылки не по теме вашего сайта.
Следующий метод — поместить сайт в базу данных, используя раздел “Аdd url”. Хотя это и ничего не гарантирует, но пренебрегать этим не следует. Приём номер три — вебмастер может установить Google Toolbar и зайти на свою страничку, используя его. Уже со второго полугодия 2002 года отмечается прямая зависимость между включением сайта в базу данных и посещениями с включённым Google Toolbar.
Также неплохим началом для попадания в базу данных Google будет размещение в каталоге Yahoo за US $299 ежегодно. Сервис Yahoo ещё хорош и тем, что они обычно помещают сайты в каталог в течение всего лишь 7 дней. Не забывайте и про DMOZ (Open Directory Project или ODP), размещение в котором тоже будет большим плюсом для включения в базу данных, хотя это и может занять немного дольше времени. В последнее время глюки у серверов DMOZ заметно участились.
Вся техническая информация, доступная вебмастерам и оптимизаторам, которая относится к периодам активности пауков Google и сроках обновления базы данных, несомненно может помочь в выборе методов планирования и оптимизации сайта для поисковых систем. Больше всего эти знания могут помочь при запуске новых проектов и обновлений,
которые должны запускаться строго в определённый момент, для того чтобы попасть в базу данных поисковика. А так как Google был и остаётся источником хорошего траффика, то знания всех этих премудростей окажет вам неоценимую помощь.
По материалам сайта http://www.searchengines.ru/
|
|
|
|
|
|
|
