В Google и других поисковых системах можно найти только часть информации, содержащейся в Интернете. Данные, хранящиеся в так называемом «глубоком» и «темном вебе», для них закрыты. Эта огромная параллельная вселенная служит как законным, так и незаконным целям.
Поисковые системы, такие как Google и «Яндекс», являются единственными воротами в онлайн для большинства пользователей Интернета: тот, кому требуется отыскать что-либо в мировой Глобальной сети, обычно вводит свой запрос в поисковую форму одного из этих сервисов и выбирает именно ту информацию, которая появляется в результатах поиска, — причем, как правило, только сайты, находящиеся на первых страницах поисковой выдачи. Но даже если бы у путешественника по просторам Всемирной паутины хватило терпения открыть все показанные ему тысячи ссылок, он увидел бы лишь часть того, что доступно в Интернете, потому что Google и другие поисковые машины вовсе не всеведущи. Если кому-то нужно скрыть что-нибудь в Сети от поисковиков, он может с легкостью сделать это.
Тайные общества в Интернете?
Возможность прятать данные от поисковых систем используют как владельцы обычных сайтов, так и организаторы анонимных сетей, частично составляющих так называемый «темный веб» — сегменты мировой Глобальной сети, не связанные с Интернетом. Идея, которая лежит в основе анонимных пользовательских сетей, похожа на концепцию тайных обществ и масонских лож реального мира. Кстати, сама по себе она не имеет ничего общего с незаконной деятельностью. Принцип прост: тот, кто лично знаком хотя бы с одним членом ложи, может быть приглашен на общие встречи всех членов. Они проходят в общественно доступных местах, но только посвященные знают, что именно происходит, когда и где. В Интернете это выглядит так: анонимные сети используют те же технологии, что и другие онлайн-службы: веб-страницы, электронную почту, обмен файлами. В принципе, они могли бы быть доступны каждому — но лишь в том случае, если этот «каждый» использует определенное программное обеспечение и знает, что и кого ему нужно найти.
Анонимные сети зародились как ответ компьютерного сообщества на чрезмерное рвение правообладателей и властей по ограничению распространения цифрового контента и информации еще в конце 90-х годов прошлого века и с тех пор постоянно совершенствуются. После того как правоохранительные органы всего мира обратили свое внимание на файлообменные сервисы и начали преследовать их наиболее активных участников, владельцы таких ресурсов стали искать способы беспрепятственно продолжать свою деятельность и разработали скрытый аналог децентрализованных пиринговых сетей (Peer-to-Peer, P2P, «равный к равному»), таких как Napster, EDonkey или BitTorrent.
В файлообменных сетях P2P обычно существуют центральные серверы, называемые трекерами, которые позволяют всем пользователям находить друг друга и обмениваться файлами MP3, видео, программами, изображениями и любой другой информацией в цифровом виде, — естественно, не заботясь об авторских правах и других связанных с законностью деталях. В анонимных сетях таких серверов нет — вся информация хранится распределенно на компьютерах пользователей.
Дружеский обмен
В отличие от Интернета, некоторые анонимные сети доступны далеко не для всех. Их создатели ставили одну цель: избежать надзора со стороны властей, которые сами зачастую нарушают закон, следя за своими гражданами. Разработанная для этого система анонимности привлекла не только борцов за свободу информации и обмена мнениями, но и любителей различного нелегального контента и пиратских копий.
Созданные внутри Интернета скрытые сети по аналогии с P2P стали сокращенно называть F2F (Friend-to-Friend, «друг к другу»). Впервые этот термин был введен в обиход в 2000 году программистом Даниэлем Бриклином, который прославился как разработчик первой электронной таблицы для ПК. В отличие от некоторых сетей P2P, они не имеют центральных серверов, а пользователи не могут обмениваться файлами с кем угодно. Чтобы входить в контакт со своими друзьями, каждый участник сети должен знать их адреса и иметь их цифровые визитные карточки (сертификаты). У непосвященных нет возможности отслеживать обмен файлами.
Если у друзей отсутствует интересующая вас информация, то на помощь придет анонимный режим функционирования, который поддерживается большинством существующих F2F-сетей. В данном случае допускается установление соединения между незнакомыми пользователями. Адреса компьютеров и все личные данные их владельцев при этом остаются тайной.
Freenet как спасение от цензуры
Одной из наиболее популярных сетей типа F2F является Freenet (не путать с названием некоторых интернет-провайдеров). Благодаря специальному программному обеспечению она использует уже существующую инфраструктуру Всемирной паутины и обычных сетевых операторов с их доступом к Интернету — но в то же время всеми силами отгораживается от традиционной Сети.
Freenet предназначена не только для обмена информацией между отдельными людьми. Внутри этой анонимной сети существуют и классические веб-сайты, однако URL-адреса в привычном для пользователей Интернета понимании отсутствуют. Кроме того, здесь есть изолированная от Паутины система электронной почты, дискуссионные форумы (FMS и Frost) и аналог социальной сети (Sone). Вся информация, доступная во Freenet, хранится распределенно на жестких дисках компьютеров пользователей в зашифрованном виде, для доступа к ней используется сложная система маршрутизации. Все это гарантирует практически полную анонимность, но накладывает ряд ограничений. По сравнению с Интернетом сеть Free-net работает значительно медленнее. В ней пока недоступны некоторые современные технологии — например, динамическая генерация контента с использованием баз данных и скриптов, широко применяемая в Интернете.
Целью основателей проекта Freenet было создание такой глобальной сети, где все пользователи смогли бы сохранять анонимность и никому не было бы позволено решать, что приемлемо, а что нет. В этой сети поддерживается дух свободного обмена информацией и свободы слова; даже у создателей Freenet нет полного контроля над системой. В таких странах, как, например, Китай, людям особенно нужен свободный обмен информацией без страха перед репрессиями со стороны государства.
Полная анонимность во Freenet и подобных ей сетях достигается только тогда, когда пользователи вступают в контакт друг с другом абсолютно целенаправленно. Но даже в том случае, если разрешить установку соединения с незнакомыми людьми, вычислить компьютеры, обменивающиеся информацией, будет невероятно трудно. Коммуникация между двумя партнерами зашифрована и идет не напрямую. Потоки данных передаются через компьютеры других пользователей. Постороннему человеку чрезвычайно сложно проследить связи между отдельными участниками.
Сайты внутри Freenet остаются невидимыми для традиционных поисковых систем и никакой прямой связи с Глобальной сетью не имеют. Попасть на них можно только в том случае, если вы установите на свой компьютер бесплатное программное обеспечение Freenet и подключитесь к сети. Также полностью анонимными остаются личные данные их создателей и адреса компьютеров, на которых они размещаются.
С течением времени сеть Freenet развивалась и быстро росла. В настоящее время существует каталог сайтов со свободным доступом, который называется Linkageddon. В нем нет функции поиска, и пользователям Freenet приходится просматривать нерассортированный массив с помощью прокрутки, встречая при этом самые неожиданные вещи. В списке, кроме запрещенного контента, попадаются страницы, которые предлагают пиратские копии. Здесь же, рядом с ресурсами, публикующими достоверную информацию, можно обнаружить страницу какого-нибудь сумасброда, который с псевдонаучной тщательностью повторяет всевозможные ложные измышления. Не исключено, что отсутствие цензуры широко используется кем-то для расследования незаконной деятельности.
«Темный веб» без темных махинаций
Анонимные сети не обязательно должны быть площадкой для незаконной деятельности, считают Билли Хоффман и Мэтт Вуд. Оба работают в научно-исследовательском отделе ИТ-гиганта Hewlett-Packard. В 2009 году они впервые представили Veiled (англ. «скрытый») — новое программное обеспечение для организации пользовательских анонимных сетей.
«Мы убеждены, что анонимные сети могли бы распространиться гораздо более широко, если бы для пользователей не существовало барьеров в виде загрузки, установки и настройки программного обеспечения», — говорит Билли Хоффман. А если бы анонимные сети стали доступны для более широкой аудитории, сразу нашлось бы много возможностей их применения в законных целях, полагают специалисты.
Создавая Veiled, исследователи думали о том, как обезопасить от давления властей сайты, подобные WikiLeaks, публикующие конфиденциальные документы правительств. До сих пор владельцы проекта WikiLeaks используют обычные веб-серверы, которые из-за юридического или политического давления могут в один прекрасный день исчезнуть из Сети. Если бы все их материалы распространялись децентрализовано через анонимную сеть, противники WikiLeaks превратились бы в борцов с ветряными мельницами, поскольку документы, которые обращаются в анонимных сетях, хранятся не на серверах, а распределены небольшими частями среди разных пользователей. По такому принципу работает, например, упомянутая выше сеть Freenet.
Исследователи из HP хотят упростить анонимные сети и для этого используют в своей программе технологию обычного браузера. Veiled работает без загрузки и установки на таких устройствах, как iPhone, а также на компьютерах под управлением операционных систем Windows, Mac и Linux. На первый взгляд Veiled кажется не таким мощным, как зрелое и специализированное программное обеспечение для анонимных сетей, однако имеет все важнейшие функции, необходимые для анонимной сети, среди которых — шифрование всех данных, передаваемых участниками, и возможность общаться в чате. Хоффман и Вуд подготовили подробную документацию по \feiled, чтобы другие программисты могли воссоздать их замысел. Vfeiled хорош, но двое исследователей из HP никогда не станут публиковать эту программу. Причина — возможный правовой конфликт с компанией, в которой они работают. Тем не менее авторы выставили в Сети настолько подробную презентацию, что, по мнению Хоффмана, другие программисты смогут без труда разработать аналог Veiled.
«Глубокий веб»: больше, чем WWW
«Темный Интернет» также невидим для поисковых систем и их пользователей, но организован совершенно иначе, чем анонимные сети. Его формируют огромные базы данных с различной информацией и страницы обычного Интернета, в силу ряда причин недоступные для популярных поисковых систем. Пользователи могут получить доступ к ним лишь в том случае, если отправят к базе данных специальный запрос или зайдут на страницы, адреса которых им заранее известны.
Сейчас владелец каждого веб-сайта может сам определить, какая часть его контента должна попасть в индекс Google и других поисковых систем, и должна ли попасть туда вообще. Если владелец закроет доступ на свой ресурс для поисковых роботов, запретит незарегистрированным пользователям просматривать страницы или же не удосужится должным образом оптимизировать свой сервис, то его информация не появится в списках результатов поиска даже в том случае, когда на нее есть ссылки с десятков тысяч сайтов, проиндексированных поисковыми системами. При обычных обстоятельствах это гарантировало бы самое высокое место в результатах выдачи. Поисковые машины как бы слепы на один глаз — и показывают своим пользователям только часть того, что есть на просторах Интернета.
Хорошим примером «глубокого веба» являются каталоги библиотек. Хотя эти списки книг и журналов хранятся в основном на традиционных веб-серверах, доступ к ним разрешается только после регистрации, выполнить которую поисковые системы не в состоянии. Им остается лишь в некотором роде «посмотреть снаружи на запертую дверь» и идти дальше. То же самое относится к базам данных с информацией об авиарейсах, специальных медицинских материалах, различной производственной документацией, социальным сетям и т. д. Правда, Google, купив IТА Software (подразделение, разрабатывающее ПО для транспортной индустрии, ранее — независимая компания), решила хотя бы проблему с авиаперелетами: американские пользователи Google уже могут вводить поисковые запросы типа «самый дешевый рейс из Нью-Йорка в Лас-Вегас» и получать результат.
Иногда владельцы ресурсов, информация которых не должна попадать в Сеть, допускают технические ошибки, вследствие которых конфиденциальные сведения оказываются в результатах поиска (все эти данные также относятся к «глубокому вебу»). Подобный случай произошел 18 июля 2011 года, когда «Яндекс» проиндексировал часть SMS-сообщений, отправленных с сайта фирмы «Мегафон» абонентам сотового оператора. Как впоследствии пояснили специалисты «Яндекса», в разделе отправки SMS на странице «Мегафона» в момент индексации поисковой системой отсутствовал файл robots.txt, в котором содержатся команды поисковому роботу. В нем, в частности, должен быть обозначен запрет на индексацию конфиденциальных разделов сайта. Сейчас эта информация уже удалена из результатов поиска, но внимательные пользователи успели ее сохранить и выложить в файлообменные сети, где она доступна и по сей день. Однако это еще не полное погружение в «глубокий веб».
Сталкеры «глубокого веба»
Открыть доступ к недрам Интернета обещают такие поисковые системы, как CompletePlanet и Scirus. Они устроены иначе, чем Google и «Яндекс», и позволяют находить информацию в таких базах данных, перед которыми традиционные поисковые системы пасуют. Например, CompletePlanet, как утверждают ее создатели, предоставляет доступ примерно к 70 000 сложноиндексируемых баз, a Scirus поможет отыскать информацию в различных научных архивах с данными.
Их работа стала возможной благодаря передовым поисковым роботам (часть поисковой системы, ответственная за сбор информации на сайтах). Они, в частности, способны генерировать вполне осмысленные запросы к базам данных и заполнять за пользователя формы благодаря поддержке специфичных языков.
Традиционные поисковые системы тоже стремятся добраться до информации, которая находится в глубоком Интернете, что неудивительно — по оценкам экспертов, там ее содержится в тысячу раз больше, чем в поверхностном. Компания Google, например, разработала особый формат для карт сайтов, благодаря чему ее поисковые роботы посещают даже те страницы, ссылки на которые с других ресурсов отсутствуют. Разумеется, сперва такую карту должен создать владелец сайта. Постепенно поисковики будут индексировать все больше информации, находящейся в глубоком Интернете, и граница между «поверхностным» и «глубоким вебом» размоется. Но некоторая ее часть все равно останется недоступной для поиска — например, предоставляемый только по подписке платный контент.