Яндекс, известный большинству пользователей как поисковая система, предоставляющая еще и несколько дополнительных сервисов, по сути, является крупной компанией. Яндекс, помимо поисковой машины – это десятки интернет-сервисов и программных продуктов. Кроме того, компания Яндекс ведет и активную образовательную деятельность. Школа анализа данных Яндекса, открытая в 2007 году, предоставляет своим слушателям возможность прохождения двухгодичного курса по двум направлениям, преподаваемым лучшими российскими учеными. Разработка лидирующего в России и входящего в пятерку лучших в мире сервиса Яндекса была начата еще в 80-х годах и активно продолжается по сей день.

История

Собственно компания "Яндекс" была образована только в 2000 году. При этом годом рождения самой поисковой системы считается 1997 – 23 сентября 1997 года поисковая система Yandex.Ru была представлена на московской выставке информационных и коммуникационных технологий Softool. Сами же разработки поисковой программы были начаты еще в 80-х годах сотрудниками компании "Аркадия" (будущей составляющей CompTek). Уже тогда разработчики "Аркадии" создали русскоязычную поисковую программу – "Международный классификатор изобретений и поиск по Библии". И уже в 1995 году была начата разработка программы, которая бы осуществляла поиск в ограниченном кругу Интернет-ресурсов, а в дальнейшем – и по всему Рунету.

У истоков создания Яндекса стояли два человека, знакомые еще со школьных времен – генеральный директор компании Аркадий Волож и программист, а ныне директор по технологиям и разработке Илья Сегалович. Они же и придумали само слово "Яндекс", ставшее уже чуть ли не именем нарицательным. Так как англоязычный вариант слова поиск – "searh" – не слишком благозвучен в русской транскрипции, было принято решение взять за основу слово index, из которого и было образовано слово Yandex (yet another indexer, что переводится крайне скромно: "еще один индексатор"). Русский вариант "Яндекс" расшифровывается просто как "Языковой иНдекс". Логотип же был создан с помощью совмещения русского и английского названия: Яndex, что, в видении дизайнера сайта Яндекса Артемия Лебедева означает "Я" плюс index, так как "i" переводится с английского как "я". Впрочем, как заявляют сами авторы, они готовы рассматривать самые разнообразные трактовки названия своего детища.

Функции первой поисковой программы Яндекс были достаточно ограниченны. На выставке Softool создатели Яндекса предоставили своим пользователям такие возможности как проверка документов на уникальность, поиск по словам с учетом морфологии русского языка, поиск словосочетаний, а также анализ найденных текстов согласно запросам (сколько раз в тексте встречается слово запроса, частота его использования и положение относительно других слов). Серьезные изменения в работе сайта произошли в 1999 году, когда объем Рунета и количество пользователей выросло в десятки раз относительно начала 90-х. Тогда был создан новый поисковый робот, позволяющий значительно ускорить обработку данных и поиск соответствия на русскоязычных сайтах. Тогда же появилась возможность осуществлять поиск по ссылкам, изображениям и различным частям текста (заголовкам, адресам, внутренним ссылкам и т. д.).

В 1999 году Яндекс первый во всем Рунете ввел понятие "индекс цитирования" и дополнительные сервисы: почту, новости, открытки, товары, закладки и короткий адрес ya.ru для минималистического варианта сайта (страница, на которой можно осуществлять только простой классический поиск). Активная деятельность Яндекса и постоянные обновления сервисов и собственно системы поиска привели к тому, что в 2010 году более 60% всех поисковых запросов Рунета приходились именно на Яндекс. Тогда стало ясно, что пора выходить на мировой уровень, и была запущена англоязычная версия поисковика. Не ограничиваясь лишь русскоязычными и англоговорящими пользователями, создатели решили охватить СНГ по максимуму и запустили отдельный сервис для Белоруссии, вариант поиска на татарском языке, а также возможность регионального поиска по уанету (как на русском, так и на украинском языках). К тому же, были расширены дополнительные сервисы – появились такие закладки как Недвижимость, Работа, Услуги, Музыка и Карты, для чего Яндекс даже выкупил картографическую компанию "ГИС Технологии".

Весь следующий год Яндекс активно развивает свой картографический сервис: открывает геосправочники, предлагает предприятиям возможность размещения информации на карте, добавляет возможность прокладки маршрутов, просмотра панорам, а также просмотра мест возможных автомобильных заторов.

В 2012 году Яндекс продолжает расширять рынок и количество языков, доступных для поиска. Теперь к русскому, английскому, украинскому, белорусскому и татарскому языкам добавились еще и казахский, турецкий, немецкий и французский, причем, поиск на всех указанных языках производится с применением морфологического анализа. Кроме того, разработчики добавили в Яндекс-сервисы диски для хранения информации, запустили платное музыкальное приложение для Iphone, открыли собственный браузер и обновили почтовый интерфейс.

Сегодня Яндекс в качестве основной поисковой системы установлен на таких крупных ресурсах как mail.ru и rambler. В мировом рейтинге поисковых систем Яндекс занимает пятое место по количеству обработанных поисковых запросов (по данным на 2011 год на Яндекс приходился 1,7% от всех запросов в мире, что составило более 3 миллиардов запросов). По популярности (то есть частоте обращения относительно других поисковых систем) Яндекс занимает 18 место в мире и первое – в России. Главный офис компании Яндекс расположен в Москве, кроме того работают представительства в Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани, Ростове-на-Дону; в Киеве, Одессе и Симферополе, в Минске, в Стамбуле и Калифорнии. Количество сотрудников "Яндекса" по всему миру уже превышает четыре тысячи, а выручка компании за прошлый, 2011 год составила 622,2 миллиона долларов США, что почти на 200 миллионов больше выручки 2010-го года.

Принцип работы

Принцип работы Яндекса, как и любой поисковой машины, трехуровневый: обработка запроса, поиск ответа среди индексированных ресурсов, выдача информации. При этом, каждый из этих уровней в свою очередь состоит из нескольких задач и их решений. Сначала поисковая машина получает запрос на определенном языке, после чего проводит его анализ соответственно морфологии данного языка. Язык определяется автоматически исходя из используемого алфавита и буквосочетаний. Анализ запроса позволяет найти ресурсы, где слово или словосочетание запроса будет встречаться не только в прямом вхождении, но и в других словоформах (например, при запросе "гостиницы Киева" Яндекс проведет и анализ ресурсов по словоформам "киевские гостиницы", "гостиница в Киеве" и т. д.). Кроме того, поисковая система проводит ранжирование и распознавание имен собственных, а также устоявшихся выражений. Также Яндекс исправляет форму запроса согласно грамматике и правилам русского языка (либо автоматическим транслитом в случае набора не в той раскладке) и уже в соответствии с исправленным запросом производит поиск. В случае двойственного смысла запроса Яндекс предоставляет результаты, соответствующие каждому смысловому варианту по отдельности.

После детальной обработки запроса Яндекс выдает пользователю страницу с результатами – ссылками на подходящие ресурсы и кратким их описанием. При выборе ресурсов для формирования страницы результатов учитывается множество факторов. Например, скорее попадут на страницу результатов те ресурсы, в материалах которых требуемые слова или словосочетания встречаются в длинных текстах и предложениях, а не в перечислениях. Также увеличивает шансы на попадание в результаты поиска и расположение слов-запросов в различных фрагментах текста, так как это говорит о его специальной направленности. Иногда в качестве дополнительной информации на странице результатов Яндекс выводит фото и видео фрагменты или, например, стоимость товара (если запрос касался купли-продажи).

Качество поиска, как и факторы, по которым он проводится, за время существования Яндекса менялось несколько раз. Последний раз перемены (по крайней мере, официально объявленные) произошли на Яндексе в декабре 2010-го года вместе с внедрением поисковой технологии "Спектр", которая позволяет выдавать ответы не только на четко сформулированные запросы, но и на подразумеваемые (например, по запросу "1980" можно получить ссылки как на ресурсы по истории ХХ века, так и на сайты, связанные с кинофильмом "1980"). Кроме того, на сегодняшний день достаточно четко определен список ресурсов, индексирование которых ограниченно либо не производится вовсе. В данный "черный список" попали":

• сайты с автоматической переадресацией на сторонние ресурсы;
• сайты, полностью копирующие содержание других порталов;
• сайты с бессмысленным контентом (автоматически сгенерированным)
• сайты, которые наполнены списками с ключевыми словами (поисковыми запросами), не введенными в осмысленный текст;
• сайты с одинаковыми товарами и услугами, принадлежащие одному и тому же владельцу или компании;
• сайты с обманными внешними ссылками (не являющимися реальными рекомендациями);
• пары или группы сайтов с большим количеством ссылок друг на друга (либо исключительно с ссылками друг на друга);
• доски объявлений и форумы без модерации с большим количеством спама;
• сайты с плохо различаемым текстом либо ссылками.

Кроме всего прочего, поиск в Яндексе поддается уточненной настройке. Например, используя символ ! можно отключить морфологический анализ для конкретного слова, а выделив слово восклицательными знаками с двух сторон можно отключить поиск по словоформам (то есть, Яндекс будет искать только одну заданную форму слова). Знак ~~ позволяет исключить ненужную информацию и выключить поиск по подразумеваемым запросам.

Что влияет на положение сайта в поиске

Положение ресурса на странице результатов поиска более или менее поддается влиянию. В первую очередь, ресурс должен быть добавлен на индексацию в Яндекс, так как без этого простого условия сайт попросту не будет учитываться при поиске необходимой информации. После чего возможно использование поисковой оптимизации. Следует учитывать, что Яндекс индексирует не только сайты в формате HTML, но и RSS, а также документы в форматах PDF и RTF, Word, Excel и Power Point при условии использования расширения. Кроме того, стоит обратить внимание на приведенный выше список ресурсов, не подпадающий под индексацию в Яндексе.

Главным показателем при отборе ресурсов для отображения в результатах является релевантность страницы, то есть ее максимальное соответствие запросу. На релевантность страницы для Яндекса влияет ее актуальность на данный момент времени, популярность, соответствие текста запросу, ссылочная структура сайта и другие факторы, которыми в той или иной мере возможно манипулировать. На сегодняшний день вероятность попадания в список результатов только по ключевым словам, совершенно не соответствующим содержанию ресурса, практически равна нулю. Поэтому псевдооптимизация с автоматически сгенерированным текстом из одних ключевых слов является бессмысленной.

Тем не менее, влиять на положение в поиске возможно, так как существуют очевидные факторы, по которым определяется содержание страницы результатов. Во-первых, Яндекс всегда использует существующий заголовок страницы для описания ресурса (если он не чрезмерно длинный). Во-вторых, при выдаче результатов Яндекс учитывает и плотность слов-запросов в тексте. В-третьих, Яндекс учитывает также и url страницы, и теги, и названия иллюстраций и уникальность контента.

Дополнительные сервисы Яндекс

Существует несколько групп сервисов Яндекса. Первые, которые отвечают основной задаче портала – это собственно поисковые. На сегодняшний день поиск в Яндексе можно осуществлять как по словам и словосочетаниям, так и по изображениям (сервис images.yandex.ru), музыке (music.yandex.ru) или видео (video.yandex.ru). Также Яндекс предоставляет возможность поиска профайлов людей в различных социальных сетях (сервис Яндекс.Люди). Также Яндекс осуществляет поиск по новостям или блогам и предоставляет своим пользователям пополняемый вручную каталог сайтов по индексу цитирования, в который можно попасть как на бесплатной основе (благодаря высокой индексации), так и на коммерческой, с помощью платной регистрации.

Также Яндекс оснащен некоторыми рыночными сервисами (работа, недвижимость, маркет, услуги и др.) и различными справочными службами – словарями, картами, расписаниями движения транспорта, переводчиками и сервисами телепрограммы и гидрометеостанций. Также на сайте работают хостинги для хранения информации (бесплатные), электронная почта и своя социальная сеть. Из необычных сервисов на Яндексе можно найти, например, Яндекс.Дзен – так называемый "медитативный" поиск, генерирующий страницу результатов на основании различных запросов пользователей. Или "Народную карту" – сервис, предоставляющий всем желающим схематически изобразить карту известной пользователю местности с собственноручно расставленными "точками интереса".

Помимо прочего, на Яндексе активно работают и коммерческие сервисы, такие как, например, Яндекс.Партнер, позволяющий владельцам сайтов получать оплату за размещение блоков Яндекса на своих ресурсах, или Яндекс.Директ, размещающий платную контекстную рекламу. Кроме того, Яндекс предлагает сервис Метрика, который на основании анализа поведения пользователей может просчитать, например, эффективность той или иной рекламной акции и кампании.

Также активно используются и персонализированные сервисы Яндекса, позволяющие создавать личные закладки, запоминать запросы и общаться с помощью онлайн-мессенджера. И, конечно, немаловажным сервисом Яндекса является платежная система Яндекс.Деньги, которая позволяет как тратить (и зарабатывать) средства в определенном сегменте Рунета, так и выводить их в качестве реальных денежных единиц.

Интересное

Первые запросы в Яндексе чаще всего не превышали одного слова - средняя длина поискового запроса в 1997 году составила 1,2 слова. При этом, уже в 2009 году средний поисковой запрос состоял уже из трех слов. Сегодня в Яндексе ищут не только словосочетания, но и предложения, а также не только текстовый контент.

Первая реклама сайта на русскоязычном телевидении была именно рекламой Яндекса – в 2000 году Яндекс запустил на TV ролик со слоганом "Найдется все".

Вплоть до 2009 года Яндекс проводил свой Кубок – соревнования по скоростному поиску в интернете, причем, победитель получал почетное звание "Человек, который нашел все". Всего у Кубка Яндекса 9 победителей и Чемпион чемпионов, победивший в последнем соревновании среди всех обладателей кубка. Сегодня подобных соревнований Яндекс не проводит.