Где родилась всемирная паутина. А Вы знаете, кто придумал интернет? Что такое Интернет

Знаете ли Вы, кто и когда изобрел интернет? Вообразите, «папа всемирной паутины», связавший в одну большую сеть миллиарды людей британец Тим Бернерс-Ли, жив-здоров и внимательно следит за судьбой своего 25-летнего виртуального детища. «Папа Тим» обеспокоен современной угрозе интернету со стороны спецслужб. Когда в 1989 году ученый впервые разработал для организации Cern и Европейского центра ядерных исследований, специальный виртуальный проект по публикации и пересылке глобальных текстовых документов, он думал лишь об облегчении и скорости поиска информации. Однако, изобретенные в ходе этой разработки идентификаторы URI и URL, протокол HTTP и язык HTML, стали настоящей революцией в электронике и легли в основу современной всемирной паутины, без которой сегодня трудно вообразить жизнь современного человека. Увы, у любой медали есть две стороны. В своей статье, Тим Бернерс-Ли, подчеркнул: «Потенциальные возможности интернета меня по-прежнему вдохновляют, но теперь еще и тревожат, потому что сегодня интернет оказался под угрозой злоупотреблений как со стороны правительств, так и со стороны многочисленных преступных сообществ». Наибольшую обеспокоенность ученого вызывают программы электронного шпионажа в США и Великобритании, о которых поведал миру бывший сотрудник американских спецслужб Эдвард Сноуден (получивший политическое убежище в России). Фактически любой житель планеты Земля сегодня - под потенциальным колпаком спецслужб, и этот факт глубоко возмутил создателя интернета. Изобретенное им средство массовой коммуникации может со временем как в фантастических романах - превратиться во Всемирное зло, и потому мистер Бернерс-Ли заговорил о децентрализации Сети, в частности, он сказал: «Мы должны сохранять бдительность перед лицом чрезмерной концентрации, а также поддерживать web открытым для всех, чтобы любая платформа была бы свободна в использовании того программного обеспечения, которое она хочет установить. В то же время, необходимо немедленно начать борьбу за защиту права на частную жизнь и свободу самовыражения: запретить или ограничить цензуру и обязательно разоблачать шпионские программы. Считаю необходимым принять законы против неограниченной массовой слежки». К сожалению позиция создателя интернета относится, скорее, к развитым странам мира, поскольку до сих пор более 60% населения планеты не имеют доступа в интернет. Коммуникации и цены на услуги провайдеров, для большинства жителей Азии, Африки и Южной Америки - заоблачны, а потому всемирная паутина для них - до сих пор виртуальность, а не реальность. По мнению Тима Бернерса-Ли, основная задача развитых стран - помочь бедным странам преодолеть этот барьер, что является гораздо благородным делом, нежели бездумная трата миллиардов долларов на государственный и частный шпионаж.

Уже сегодня количество пользователей Интернета достигает 3,5 миллиарда человек, а это почти половина населения Земли. И, конечно же, всем известно, что Всемирная паутина окончательно окутала нашу планету . Но до сих пор далеко не все могут сказать, есть ли различие между понятиями Интернет и Всемирная паутина. Как ни странно, многие абсолютно уверенны, что это синонимы, но прошаренные ребята могут привести доводы, которые эту уверенность поубавят.

Что такое Интернет?

Не вдаваясь в сложные технические подробности, можно сказать, что Интернет – это система, которая объединяет компьютерные сети по всему миру . Компьютеры подразделяются на две группы – клиенты и серверы.

Клиентами называют обычные пользовательские устройства, куда входят и персональные компьютеры, и ноутбуки, и планшеты, и, конечно же, смартфоны. Они отправляют запрос, получают и отображают информацию.

Всю информацию хранят сервера, которые могут классифицироваться по разным назначениям:

• веб-сервера,
• почтовые,
• чаты,
• системы трансляции радио и телевидения,
• обмен файлами.

Серверами являются мощные компьютеры, работающие непрерывно. Кроме хранения информации они получают запросы от клиентов и отправляют необходимый ответ. При этом обрабатывают они сотни таких запросов.

Ещё в нашем кратком ликбезе необходимо упомянуть стоит упомянуть интернет-провайдеров , которые обеспечивают связь клиента и сервера. Провайдер – это такая организация со своим интернет-сервером, к которому подключены все её клиенты. Провайдеры обеспечивают связь по телефонному кабелю, выделенному каналу или беспроводной сети.

Вот таким образом вы попадаете в Интернет

Можно ли обойтись без провайдера и напрямую подключиться к сети Интернет? Теоретически можно! Вам придётся стать самому себе провайдером и потратить за огромную сумму денег, чтобы добраться к центральным серверам. Так что не ругайте сильно своего поставщика интернета за высокие тарифы – этим ребятам тоже нужно оплачивать многие вещи и тратиться на обслуживание оборудования.

Всемирная паутина опутала весь мир

World Wide Web или просто web – «паутина». Фактически она представлена огромным количеством страниц, которые связанны между собой. Эта связь обеспечивается ссылками, посредством которых можно переходить из одной страницы на другую, даже если она расположена другом компьютере, подключённом к .

Всемирная паутина – самая популярная и большая служба Интернета

Всемирная паутина для своей работы использует специальные веб-серверы. На них хранятся веб-страницы (одну из них вы видите сейчас). Страницы, связанные ссылками, имеющие с общую тематику, внешний вид, и обычно расположенные на одном сервере называются веб-сайтом.

Для просмотра страниц и документов паутины используются специальные программы – браузеры.

Именно Всемирная паутина включает в себя форумы, блоги и социальные сети. А вот непосредственно её работу и существование обеспечивает сеть Интернет…

Велико ли различие?

На самом деле разница между Интернетом и Всемирной паутиной достаточно большая. Если Интернет – это огромная сеть, связующая миллионы компьютеров по всей планете для совместного использовании информации, то Всемирная паутина лишь один из способов обмена этой информацией. Кроме обеспечения работы World Wide Web, Интернет позволяет использовать электронную почту и различные мессенджеры, а также передавать файлы по по FTP-протоколу,

Интернет – это то, что связывает многочисленные компьютерные сети.

Всемирная паутина – это все страницы, которые хранятся на специальных серверах Интернета.

Заключение

Теперь вы знаете, что Всемирная сеть Интернет и Всемирная паутина – вещи разные. А самое главное, вы сможете блеснуть умом и объяснить друзьям в чём заключается эта разница.

25 лет назад, 23 августа 1991 года, британский ученый Тимоти Бернерс-Ли официально представил первый в мире интернет-сайт. За это время мир изменился кардинально.

Однако то, что представляет собой интернет сейчас, уже не совпадает с изначальным замыслом Бернерса-Ли. Плохо это или хорошо – спорный вопрос. Что по этому поводу думает создатель WWW? Какой путь прошел сам Бернерс-Ли?

Тимоти Джон Бернерс-Ли родом из Великобритании. Он появился на свет 8 июня 1955 года в Лондоне. Его родители – Конвэй Бернерс-Ли и Мэри Ли Вудс – были учеными-математиками. Они тоже были связаны с ИТ: вели исследования в области создания одного из первых компьютеров – Manchester Mark I.

Кроме этого предпосылками для изобретения WWW послужила идея американского ученого Ванневара Буша, который придумал концепцию гипертекста.

В более широком понимании гипертекстом является литературное произведение, словарь или энциклопедия, где содержатся конфигурации (patterns), использование которых позволяет соотносить не связанные линейной последовательностью части текста, рассматривая их как воплощение смыслового единства.

В компьютерной терминологии гипертекст - это текст, сформированный с помощью языка разметки с расчетом на использование гиперссылок.

Через несколько лет после рождения Тима Бернерса-Ли Тед Нельсон выступил с предложением о создании «документальной вселенной», где все тексты, когда-либо написанные человечеством, были бы связаны воедино при помощи того, что мы сегодня назвали бы «перекрестными ссылками».

Детство и юность

В 12 лет Тим поступил в частную школу Эмануэль в городке Вэндсворт. Там мальчик начал проявлять интерес к точным наукам. После окончания школы он поступил в колледж при Оксфорде. Однажды его лишили доступа к учебным компьютерам за серьезный проступок – хакерскую атаку (по другой версии, его застукали за компьютером лаборатории ядерной физики за компьютерными играми). В те времена компьютеры были большими, а компьютерное время стоило дорого.

Это обстоятельство натолкнуло Тима на мысль, что он может собрать компьютер сам. Через некоторое время у него появился самодельный компьютер на базе процессора М6800, с обычным телевизором вместо монитора и сломанным калькулятором – вместо клавиатуры.

Карьера

Бернерс-Ли окончил Оксфорд в 1976 году, по специальности «Физика», после чего начал свою карьеру в компании Plessey Telecommunications Ltd. в графстве Дорсет. Сферой его деятельности на тот момент были распределенные транзакции. Уже через пару лет он перешел в другую компанию – DG Nash Ltd, где разрабатывал программное обеспечение для принтеров.

Следующее место работы сыграло решающую роль в судьбе Тима, да и всего человечества. Европейская лаборатория по ядерным исследованиям (CERN, ЦЕРН) располагалась в Женеве (Швейцария). Там Бернерс-Ли разработал программу Enquire (дословный перевод с английского звучит как «дознаватель», «справочная» или «записная книжка»), которая использовала метод случайных ассоциаций. Принцип ее работы, во многом, явился основой для создания Всемирной паутины.

Затем Тим три года работал системным архитектором. А в рамках научной работы в CERN он разработал ряд распределенных систем для сбора данных.

С 1981 по 1984 год Тим Бернерс-Ли работал в компании Image Computer Systems Ltd.

WWW

В 1984 году он вернулся в CERN, получив там стипендию. В это время он работал над системой «FASTBUS» и разработал собственную систему RPC (англ. Remote Procedure Call, удалённый вызов процедуры). Кроме того, переработке подверглась программа Enquire.

На новом этапе развития она уже должна была не только поддерживать произвольные гипертекстовые ссылки, облегчая поиск в базе, но и стать многопользовательской и кроссплатформенной системой.

Главная задача новой программы заключалась в публикации гипертекстовых документов, которые были бы связаны между собой гиперссылками. Это позволяло заметно облегчить поиск информации, ее систематизацию и хранение. Первоначально предполагалось, что проект будет реализован во внутренней сети CERN для локальных исследовательских нужд, как современная альтернатива библиотеке и другим хранилищам данных. При этом, загрузка данных и доступ к ним были возможны с любого компьютера, подключенного к WWW.

Несмотря на скептическое отношение старших коллег, в 1989 году проект, получивший название «World Wide Web» был утвержден и реализован. Огромную помощь в этой работе Тиму оказал Роберт Кайо (Robert Cailliau).

Осенью 1990 года сотрудники CERN получили в пользование первый «веб-сервер» и «веб-браузер», написанные собственноручно господином Бернерсом-Ли в среде NeXTStep. Летом 91-го года проект WWW, покоривший научный мир Европы, пересёк океан и влился в американский Internet.

Работа над проектом продолжалась с 1991 по 1993 год: разработчики собирали отзывы пользователей и на их базе осуществляли доработку всемирной паутины. В частности, уже тогда были предложены первые версии протоколов URL (как частный случай идентификатора URI), HTTP и HTML. Также был внедрен первый веб-браузер на основе гипертекста World Wide Web и редактор WYSIWYG.

Одним из ключевых свойств WWW всегда считалась децентрализация узлов. Как и у прародителей интернета (сетей ARPANET и NSFNet), она обеспечивала надёжность функционирования, отсутствие географических границ и политических барьеров.

С тех пор как в 1991 году веб начал своё бурное развитие, он постепенно менялся, утрачивая свои главные черты. Корневые DNS-серверы оказались сосредоточены на территории США, что сделало Сеть более уязвимой.

Забегая вперед, приведем цитату Тима о том, к чему все это привело:

Монополия на интернет-сервисы формируется стандартным образом: сначала людям предлагается удобный способ делать что-либо в Сети бесплатно. Искать в интернете и на карте, на компьютере и смартфоне, общаться в почте, чате и соцсети, смотреть видео и размещать своё, планировать дела и отпуск, работать с документами прямо из браузера… Если каких-то аналогов популярных служб не хватает, то их просто покупают у других компаний, не давая последним вырасти в крупный холдинг и составить конкуренцию.

В какой-то момент всё ставшее привычным для многих оказывается на серверах единственной компании, которая знает о каждом человеке и об их взаимодействиях слишком много. Google, Microsoft, Yahoo, Apple, Facebook… Пока вы думаете, что пользуетесь их продуктами, они используют ваши данные, делят интернет между собой и начинают диктовать всё более жёсткие условия. Залогиньтесь в Google, чтобы оставить комментарий на YouTube. Разрешите отслеживание местоположения, предоставьте сведения о своём профиле и списке друзей…

Страница первого в мире сайта

Первый в мире веб-сайт Бернерс-Ли создал по адресу info.cern.ch/ , теперь сайт хранится в архиве. Этот сайт появился в Интернете 6 августа 1991 года. Его содержанием была ознакомительная и вспомогательная информация. На сайте описывалось что такое Всемирная паутина, как установить веб-сервер, как получить браузер и так далее. Этот сайт также являлся первым в мире интернет-каталогом, потому что позже Тим Бернерс-Ли разместил и поддерживал там список ссылок на другие сайты.

Дальнейшее развитие Паутины

С 1994 года Бернерс-Ли возглавляет в Лаборатории информатики MIT (сейчас – Лаборатория информатики и искусственного интеллекта, совместно с Массачусетским институтом) кафедру Основателей 3Com, где работает в качестве ведущего исследователя.

В 1994 году при Лаборатории им был основан Консорциум Всемирной паутины MIT (W3C), который и по сей день осуществляет разработку и внедрение стандартов для сети интернет. В частности, Консорциум работает над тем, чтобы обеспечить Всемирной паутине стабильное и непрерывное развитие – в соответствии с последними требованиями пользователей и уровнем технического прогресса. W3C ставит перед собой задачу полностью раскрыть потенциал Всемирной паутины, сочетая стабильность стандартов с их быстрой эволюцией.

В 1999 году Бернерса-Ли выпустил книгу под названием «Плетя паутину: итоги и будущее Всемирной паутины». В ней подробно описывается процесс работы над ключевым проектом в жизни автора. Он также написал о перспективах развития интернета и интернет-технологий и обозначает ряд важнейших принципов:

1. Возможность редактировать информацию Паутины не менее важна, чем возможность серфинга. В этом смысле Бернерс-Ли очень рассчитывал на концепцию WYSIWYG.

2. Компьютеры могут быть использованы для «фоновых процессов», помогающих людям работать сообща.

3. Каждый аспект Интернета должен работать как паутина, а не как иерархия. В этом смысле неприятным исключением является система имён доменов (англ. Domain Name System, DNS), управляемая организацией ICANN.

4. ИТ-специалисты несут не только техническую ответственность, но и моральную.

В 2004 году Бернерс-Ли стал профессором Саутгемптонского университета, где работал над проектом семантической паутины. Она представляет собой новую версию Всемирной паутины, где все данные пригодны для обработки при помощи специальных программ. Это – своего рода «надстройка», предполагающая, что у каждого ресурса будет не только обычный текст «для людей», но и специальным образом закодированный контент, понятный компьютеру.

Семантическая паутина открывает доступ к чётко структурированной информации для любых приложений, независимо от платформы и независимо от языков программирования. Программы смогут сами находить нужные ресурсы, классифицировать данные, выявлять логические связи, делать выводы и даже принимать решения на основе этих выводов. По мнению Бернерса-Ли, при широком распространении и грамотном внедрении семантическая паутина может вызвать революцию в Интернете.

В 2005 году была издана его вторая книга – «Пройдя семантическую паутину: полное раскрытие потенциала Всемирной паутины».

На настоящий момент Тим Бернерс-Ли является Выдающимся членом Британского компьютерного общества, иностранным членом Национальной академии наук США и многих других. Его труд был отмечен множеством наград, включая Орден заслуг, место в списке «100 величайших умов века» по версии журнала Time Magazine (1999 год), премию «Квадрига» в номинации «Сеть знаний» (2005), премию М.С.Горбачева в номинации «Перестройка» - «Человек, изменивший мир» (2011) и другие.
12 марта 2014 года вебу исполнилось 25 лет. По этому поводу создатель WWW написал в своем блоге:

В 1993 году мне удалось убедить ЦЕРН объявить WWW технологией, которая будет доступна всем и всегда, без каких либо лицензионных выплат.

Это решение позволило десяткам тысяч людей начать вместе строить паутину. Сегодня около 40% населения планеты пользуются ею. Веб уже принёс пользу мировой экономике на триллионы долларов, преобразовал образование и медицину и послужил распространению демократии во всем мире. И это только начало.

Сегодняшний день - праздник для нас. Но это и повод задуматься, обсудить и начать действовать. Давно пора принимать ключевые решения об управлении интернетом и его развитии, и жизненно важно, чтобы мы все приняли участие в обсуждении будущего Всемирной паутины. Как мы сможем быть уверенны, что остальные 60% человечества быстро получат доступ в интернет? Как мы можем быть уверенны, что веб будет поддерживать все языки и культуры, а не только несколько самых распространённых?

Как мы сможем договориться по поводу открытых стандартов грядущего интернета вещей? Позволим ли мы кому-то расфасовывать и ограничивать наше общение в сети или защитим магию открытой паутины и ту власть говорить, открывать и создавать, которую она даёт? Как мы можем построить систему сдержек и противовесов, которая гарантирует подотчётность обществу тех групп, которые могут шпионить за сетью? Такие вопросы приходят в голову мне. А вам?

Влияние Бернерса-Ли на ИТ-индустрию, да и на мир в целом, сложно переоценить. Однако он не стремился получать сверхприбыли от своих проектов и изобретений. Он не стал очередным Гейтсом, Цукербергом или Джобсом. Он остался самим собой.

Всемирная паутина (сокращенно World Wide Web или WWW) - это единство информационных ресурсов, которые связаны между собой средствами телекоммуникаций и основаны на гипертекстовом представлении данных, разбросанных по всему миру.

Годом рождения Всемирной паутины считается 1989 год. Именно в этом году Тим Бернерс-Ли предложил общий гипертекстовый проект, который получил впоследствии название Всемирной паутины.

Создатель «паутины» Тим Бернес-Ли, работая в лаборатории физики элементарных частиц европейского центра ядерных исследований «CERN» В Женеве (Швейцария), совместно с партнером Робертом Кайо занимались проблемами применения идей гипертекста для построения информационной среды, которая упростила бы обмен информацией между физиками.

Итогом данной работы явился документ, в котором рассматривались понятия, имеющие принципиальное значение для «паутины» в ее современном виде, и были предложены идентификаторы URI, протокол HTTR и язык HTML. Без данных технологий уже нельзя представить современный Интернет.

Бернерс-Ли создал первый в мире веб-сервер и первый в мире гипертекстовый веб-браузер. На первом в мире веб-сайте он описал, что такое Всемирная паутина и как установить веб-сервер, как использовать браузер и т.п. Этот сайт являлся и первым в мире Интернет-каталогом.

Начиная с 1994 года самые главные задачи по развитию Всемирной паутины взял на себя Консорциум Всемирной паутины (World Wide Web Consortium, WЗС ), который организовал и до сих пор возглавляет Ким Бернес-Ли. Консорциум разрабатывает и внедряет технологические стандарты для Интернета и Всемирной паутины. Миссия WЗС: «Полностью раскрыть потенциал Всемирной паутины, путем создания протоколов и принципов, гарантирующих долгосрочное развитие Сети» . WЗС разрабатывает «Рекомендации», что бы достичь совместимость между программными продуктами и аппаратурой различных компаний, что делает Всемирную сеть более совершенной, универсальной и удобной.

Поисковые системы: состав, функции, принципы работы.

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Опишем основные характеристики поисковых систем :

Полнота

Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

Точность

Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность

Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

Скорость поиска

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

Наглядность

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.одробные пояснения по странице результатов поиска, например у «Яндекса» можно посмотреть по ссылке http://help.yandex.ru/search/?id=481937 .

Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

URL страницы

дата, когда страница была скачана

http-заголовок ответа сервера

тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).

Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.

В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).

Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.

Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

Ни одна поисковая система не охватывает все ресурсы Интернет.

Каждая поисковая система собирает сведения о ресурсах Интернет, применяя свои уникальные методы, и формирует собственную периодически обновляемую базу данных. Доступ к этой базе предоставляется пользователю.

Поисковые системы реализуют два способа поиска ресурса:

Поиск по тематическим каталогам - информация представляется в виде иерархической структуры. На верхнем уровне - общие категории (“Интернет”, “Бизнес”, “Искусство”, “Образование” и т.д.), на следующем уровне категории делятся на разделы и т.д. Самый нижний уровень - ссылки на конкретные веб-страницы или другие информационные ресурсы.

Поиск по ключевым словам (индексный поиск или детальный) - пользователь отправляет поисковой системе запрос , состоящий из ключевых слов. Система возвращает пользователю перечень найденных по запросу ресурсов.

Большинство поисковых систем сочетают оба способа поиска.

Поисковые системы могут быть локальными, глобальными, региональными и специализированными.

В русской части Интернет (Рунет) наиболее популярны сейчас поисковые системы общего назначения Rambler (www.rambler.ru), Яндекс (www.yandex.ru), Апорт (www.aport.ru), Гугл (www.google.ru).

Большинство поисковых систем реализовано в виде порталов.

Портал (от англ. portal - главный вход, ворота) -это веб-сайт, который интегрирует различные сервисы Интернет: средства поиска, почту, новости, словари и т.д.

Порталы могут быть специализированными (как, www . museum . ru ) и общими (например, www . km . ru ).

Поиск по ключевым словам

Набор ключевых слов, по которым ведется поиск, называют также критерием поиска или темой поиска.

Запрос может состоять как из одного слова, так и из сочетания слов, объединенных операторами - символами, по которым система определяет, какое действие ей нужно произвести. Например: запрос “Москва Питер” содержит оператор И (так воспринимается пробел), который указывает, что надо искать документы, в которых есть оба слова - и Москва, и Питер.

Для того, чтобы поиск был релевантным (от англ. relevant -уместный, относящийся к делу), следует учитывать несколько общих правил:

Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его словоформы по правилам русского языка. Например, по запросу “билет” будут найдены и слова “билетом”, “билету” и т.д.

Заглавные буквы следует использовать только в именах собственных, чтобы не просматривать лишние ссылки. По запросу “кузнецов”, например, будут найдены документы, где говорится и о кузнецах, и о Кузнецовых.

Желательно сужать круг поиска, используя несколько ключевых слов.

Если нужного адреса нет среди первой двадцатки найденных адресов, следует изменить запрос.

Каждая поисковая система использует свой язык запросов. Для знакомства с ним, пользуйтесь встроенной справкой поисковой системы

Крупные сайты могут иметь встроенные системы поиска информации в пределах своих веб-страниц.

Запросы в подобных системах поиска, как правило, строятся по тем же правилам, что и в глобальных поисковых системах, однако знакомство со справкой и здесь не будет лишним.

Расширенный поиск

Поисковые системы могут предоставлять в распоряжение пользователя механизм, позволяющий формировать сложный запрос. Переход по ссылке Расширенный поиск дает возможность редактировать параметры поиска, указывать дополнительные параметры и выбирать наиболее удобную форму показа результатов поиска. Ниже описаны параметры, которые могут быть заданы при расширенном поиске в системах Япс1ех и Rambler.

Описание параметра	Название в Яндекс	Название в Rambler
Где искать ключевые слова (заголовок документа, основной текст и т.д.)	Словарный фильтр	Поиск по тексту...
Какие слова должны или не должны присутствовать в документе и насколько точным должно быть совпадение	Словарный фильтр	Искать слова запроса... Исключить документы, содержащие следующие слова...
На каком расстоянии друг от друга должны располагаться ключевые слова	Словарный фильтр	Расстояние между словами запроса...
Ограничение на дату документа		Дата документа...
Ограничение поиска пределами одного или нескольких сайтов	Сайт/Вершина	Искать документы только на следующих сайтах...
Ограничение поиска по языку документа		Язык документа...
Поиск документов, содержащих картинку с определенным именем или подписью	Изображение
Поиск страниц, содержащих объекты	Специальные объекты
Форма представления результатов поиска	Формат выдачи	Вывод результатов поиска

Некоторые поисковые системы (например, Яндекс) позволяют вводить запросы на естественном языке. Вы пишите, что нужно найти (например: заказ билетов на поезд из Москвы в Питер). Система анализирует запрос и выдает результат. Если он Вас не устраивает, переходите на язык запросов.