В блоге Диего Баша (Diego Basch’s Blog) появилась довольно любопытная история, повествующая о том, как в начале 2000-х гг., тогда еще начинающий поисковик Google, уничтожил гиганта №1 поискового рынка Запада – Inktomi.

Напомним, что в марте 2000 года рыночная капитализация Inktomi составляла 25 млрд. долл. США, однако, спустя год, стоимость акций компании упала на 99,9%. В результате Inktomi был куплен Yahoo за 250 млн. долл. США. Причиной тому стал выход Google на поисковый рынок Запада. Как же нынешнему интеренет-гиганту удалось столь стремительно прорваться на рынок, устранив большинство возможных конкурентов?

Вот что рассказывает Диего Баш, на тот момент исполнительный директор Inktomi:

«На тот момент наша цель сводилась исключительно к расширению индексной базы и повышению релевантности выдачи. После того, как наша индексная база расширилась — стало ясно, что немаловажную роль должна играть актуальность документов. Конечно же, вполне возможно отфильтровать наиболее свежие и релевантные результаты из десяти миллионов документов с несколькими хорошо подобранными ключевыми словами. Однако, если в вашей базе — миллиарды документов – сделать это, не обладая сложным алгоритмом ранжирования практически невозможно. В 1999 году Google первым предложил решение этой проблемы, представив собственную версию PageRank. Тогда никто из представителей отрасли не отнесся к этому серьёзно. Впоследствии именно этот фактор и стал ключевым.

Мой небольшой вклад в определение релевантности документа заключался в создании простой формулы, которая сводилась к подсчету ключевых слов в ссылках, указывающих на страницы. На тот момент в индексной базе Yahoo.com было около 1 млн. экземпляров документов, содержащих в ссылках ключевые слова.

Еще одной проблемой был учет запросов «по длинному хвосту», по которым пользователи также приходят на сайты. Тогда я решил использовать для подсчета логарифм, исчисляющий рост употребления какого-либо слова в документе для последующего анализа запросов. Конечно, формула была не такой сложной, как расчет PageRank Google, но тогда для нас это был огромный шаг вперед.

Кроме того при формировании результатов поисковой выдачи нашими приоритетами были: 1. релевантность 2. релевантность и 3. еще раз релевантность.

Что же помешало нам добиться успеха?

Inktomi никогда не стремился контролировать внешнее пространство. В отличие от Google, который всегда контролировал скорость рендеринга конечного отображения результатов поиска, мы предоставляли результаты своим партнерам, используя API. В результате, задержки в передаче данных нанесли компании непоправимый ущерб.
Кроме того, Inktomi никогда не поддерживал сниппеты и кэширование документов. Наше руководство утверждало, что без кэширования цикл сканирования страниц краулером будет намного короче, чем у Google; а вместо сниппетов у нас существовала система автоматической генерации кратких рефератов документа. Конечно, такой подход был совершенно бесполезен, когда пользователь искал, к примеру, технические характеристики устройства, употреблявшиеся «где-то глубоко внутри текста» и не попавшие в автоматически сгенерированное описание документа.

В отличие от нас представители Google поняли, что поисковая система — не просто поиск «десяти подходящих ссылок», по которым должен кликать пользователь, чтобы найти нужное. Именно поэтому они выбрали подход удовлетворения естественной человеческой потребности в информации. В этом- то и заключается основное преимущество Google как гиганта поиска.

К сожалению мы не смогли шагнуть дальше краулинга и автоматизированного синтеза информации, за что и поплатились своим существованием как самостоятельной поисковой компании».

В заключение отметим, что в последние годы Inktomi сосредоточился на предоставлении информации о посещенных роботом сайтах для LookSmart, MSN, Hotbot, Overture и некоторых других сетей и каталогов. Система не имеет собственного интерфейса, однако осуществляет платный краулинг для других поисковых машин. После известного краха доткомов поисковая система Inktomi была признана одним из крупнейших «мыльных пузырей» десятилетия.