4.2.1. Web-индексы

Стали первым средством систематизации содержимого документов, доступных через Интернет. В начале 90-х годов на заре развития WWW в ряде американских университетов были разработаны программные продукты на основе алгоритмов искусственного интеллекта, которые обладают способностью самостоятельно путешествовать по сети в поисках новых документов.

Создание Web-индексов предполагает создание и непрерывное пополнение огромной базы данных по индексированным документам, выполняемое исключительно компьютерами и в этом их принципиальное отличие. Яркими представителями этой ветви серверов являются по настоящее время hotbot.com.

Поисковые системы этого типа обладают очень большими базами данных и фантастической скоростью обработки запросов, но степень обработки материалов зачастую оставляет желать лучшего. Как правило, в ответ на ввод ключевых слов, они вываливают ссылки на огромное количество документов, в которых действительно встречаются указанные пользователем ключевые слова, но по смыслу подавляющее большинство этих документов имеет отдаленное отношение к теме, интересующей пользователя.