Как работают поисковые системы, или кто такие пауки, кравлеры и боты.

Постовой: www.rcso.ru; раскрутка информационных сайтов
блог на WordPress – под силу каждому
Лучшие новости Беларуси
продвижение сайта в Украине

Мы все не только слышим, но и сами часто любым ввернуть в разговор словечки типа «Бот», «кравлер», «поисковый алгоритм». А знаем ли мы до конца что это вообще такое и с чем его едят? Лично я не могу с уверенностью ответить «Да» на этот вопрос. Как когда-то был номер «Уездного города» в КВН. Про то как интеллигент и работник физического руда тянули канат. Интеллигент постоянно задавал вопросы и сам же начинал отвечать: «Интуитивно я догадываюсь…». так вот, я тоже «интуитивно догадываюсь». Но решила превратить догадки в уверенность.
Итак, как же работают поисковые системы.
Я встречала несколько классификаций составных элементов поисковой системы. Одни более подробные (5 элементов), другая – 3 элемента. Но суть одна.
1. Сбор информации по Сети.
2. Помещение собранной информации в Базу данных, хранение ее там.
3. Непосредственно взаимодействие с пользователем – механизм, который в ответ на запрос шерстит базу и выдает то, что, как ему кажется, подходит.

Наибольшее количество «прикольных словечек» связано именно с первой составляющей.
паук (spider) – лазит по Инету и «фотографирует» попадающиеся ему странички.
краулер (crawler) - оценивает и просматривает эти самые странички. Считается, что они оценивают только заголовки и могут перейти по ссылкам, находящимся на странице – но только на 1 уровень.
роботы (боты) – самые активные из «ползунов» – они ходят по ссылкам, находящимся на странице причем они могут путешествовать бесконечно – от ссылки к ссылке – то есть перескакивая не то что во внутренне вложенным страницам, а и на другие сайты, если у вас есть на них ссылки. И там продолжать свое изучение. Поэтому, грамотные люди советуют, что если у вас не все в порядке с навигацией и структурой сайта – не пускайте туда поискового робота. Есть такой замечательный тег Noindex с помощью которого можно это сделать. Иначе, робот может заблудится, расстроится, зависнуть, умереть с тоски… А зачем вам в коде трупы роботов?

Самый ответственный для всех пункт – пункт третий. Там, где поисковая машина (поисковые агенты) выбирают что именно показать пользователю из всей их огромной базы данных. Тут уже вступают в права такие изречения как «релевантность», «алгоритм ранжирования» и т.д. Как себя ведет поисковая машина в таких ситуациях? А вот уже много зависит от конкретного поисковика. наиболее общепринятыми для всех являются:
1. Плотность ключевых слов (текста запроса) в документе (на странице). Но опять таки – сейчас не 93-й год, чтобы в рядочек писать на страничке «избушка на курьих ножках», «избушка на курьих ножках», «избушка на курьих ножках». Это поймут как спам. Напомню, что оптимальной плотностью считается показатель от 3 до 5%, иногда допускается 7%.
2. Располагаются ли ключевые слова (текст запроса) в тегах. И если да, то в каких. Известно, что самым любимым тегом является тег «title», но это не значит, что следует забывать про остальные.
3. Местоположение ключевых слов в документе.

Существуют еще принципы, которыми руководствуются не все поисковые системы. Но наши любимые гиганты о них как раз, в большинстве своем, помнят.
1. Как долго страница находится в базе. Грубо говоря, как долго существует ваш сайт и как долго о нем знает поисковая система. Такая страховка от сайтов-однодневок.
2. Индекс цитирования, PR и т.д. – в основе которого находится понятие ссылочной популярности – как много внешних ссылок ведут на эту страницу.

Вот такой вот ликбез. Который я написала прежде всего, для себя. Но буду рада, если он кому-то пригодится.

Похожие публикации

• Еще один способ заработать в сети. Подойдет и для ботаников.