Темы  /  Эксперт

Открытые данные: от теории к практике

25 декабря 2013
opendata_logo

После публичной лекции российского эксперта Ивана Бегтина «Государственные органы онлайн: от доступа к информации к открытым данным», которая состоялась в конце октября благодаря Центру правовой трансформации «Lawtrend» и «Лятучаму універсітэту», определенные круги белорусской общественности начали активно обсуждать тему открытых данных и их развития в Беларуси.

Однако прежде чем перейти к поиску ответов о реализации проекта в нашей стране, стоит подробнее разобрать само понятие открытых данных, их важность и отличие от свободы доступа к информации. Особое внимание также следует уделить международному и российскому опыту их внедрения, так как он может стать основой для дальнейшей работы и в нашей стране

Что такое открытые данные?

Открытые данные – это общедоступная структурированная информация, представленная в машиночитаемом формате. Другими словами, это

Open data — упорядоченные данные, находящиеся в том виде, в котором разработчик может их загрузить в специализированные базы, проанализировать и впоследствии представить в наглядной форме.

Чтобы называться «открытыми» и быть освобожденными от ограничений авторского права необходимо получение свободных лицензий, то есть публикация должна быть организована юридически чистым образом, например, с использованием лицензии Creative Commons.

Другими словами, «открытость» данных формируется за счет предпринимаемых технических и юридических мер, то есть благодаря машиночитаемости и открытым лицензиям. И делается это с целью обеспечения прозрачности деятельности государства и поддержки бизнеса на знаниях.

Иван Бегтин подчеркивает и еще одно определение открытых данных, характеризуя их как культуру работы с информацией. Один из проектов российского эксперта как раз и носит название «Информационная культура» – это неправительственное партнерство или «центр компетенций», целью которого является развитие и популяризация концепций “Open government” (открытого государства) и “Open data” (открытых данных)[1].

Суть концепции открытых данных раскрывается через 8 базовых принципов:

  1. полнота (информация должна быть предоставлена в полном объеме);
  2. первичность (публикация данных «сырыми, как есть», без фильтрования);
  3. своевременность (моментальное открытие данных общественности, они должны быть актуальными, а не годовой и более давности);
  4. доступность (без каких-либо уровней доступа, такие данные по определению открыты и доступны всем желающим для ознакомления и дальнейшего использования);
  5. пригодность к машинной обработке (обязательно использование специальных форматов XML, CSV, RDF и JSON, а не DOC, PDF и т.д.);
  6. отсутствие дискриминации к доступу (данные должны открываться одинаково как на разных типах браузеров, так и в разных операционных системах);
  7. отсутствие проприетарных форматов (обязательно использование открытых форматов);
  8. лицензионная чистота (процесс получения данных должен быть юридически чист).

Зачем нужны открытые данные?

В статье “Скрытый капитал открытых данных” эксперт по открытым данным и блогер Алексей Медвецкий отмечает: основная цель движения за раскрытие данных заключается в том, чтобы вернуть в экономический оборот всевозможную (но главным образом государственную) статистику, которая хоть и собирается, но “пылится в бумажных архивах, теряется в отраслевых сборниках и ведомственных отчетах”. Правильно обработанная и выложенная в открытый доступ информация предоставит возможность журналистам, аналитикам, исследователям, юристам и иным заинтересованным лицам буквально в несколько кликов мыши получить все необходимые для анализа и аргументации данные.

Эксперт подчеркивает, что простота и оперативность работы со структурированными данными становятся возможными благодаря специальным машиночитаемым форматам: xml, csv, rdf и др. То, насколько такая подача информации позволяет по-настоящему раскрыть данные, можно проследить на примере публикаций отчета о внешней торговле на сайте Белстата и на сайте комитета статистики Канады. На первый взгляд отличие, конечно, не так существенно, однако разница в удобстве, время- и трудозатратах на обработку столь по-разному преподнесенных данных колоссальна.

То есть, используя открытые данные, главные их потребители (исследовательские центры, информационные агентства, СМИ, гражданские проекты и др.) смогут уделить больше времени самим исследованиям. Ведь на рутинную работу по поиску, сбору и структурированию информации уйдет куда меньше времени.

В целом же открытые данные необходимы для:

  • общественного контроля государственной деятельности и ее улучшения;
  • бизнеса;
  • аналитики и исследований;
  • персональных проектов.

Отличие открытых данных от свободы доступа к информации

Свобода доступа к информации и открытые данные зачастую ошибочно принимают за синонимы. Однако при видимой схожести понятий, они имеют различное значение и характеристики.

Свобода доступа к информации приравнивается к «праву знать», то есть праву получать информацию, созданную на деньги налогоплательщиков. Она также включает доступ к информации как по умолчанию, так и по запросу. Что же касается открытых данных, то для них на первом месте стоят технологии.

Стоит отметить и еще два существенных отличия между свободой доступа к информации и открытыми данными:

  1. Разница в способе подачи. Открытые данные оформляются только в машиночитаемом формате.
  2. Экономический эффект. Открытые данные представляют исключительный интерес для коммерческого сектора (мы остановимся подробнее на этом аспекте в следующем подразделе статьи).

Наглядно представить основные отличия свободы доступа информации и открытых данных поможет приведенная ниже таблица:

image Источник: официальная презентация лекции И. Бегтина.

В определенной степени, именно благодаря свободе доступа к информации появляются открытые данные, — это своеобразный “фундамент для фундамента”.

Экономический эффект открытых данных

Необходимо подробней остановиться на ключевом аспекте открытых данных – экономическом эффекте. Ведь открытая информация (например, статистика) – это настоящий национальный ресурс, который:

  • во-первых, поддерживает здоровое развитие экономики;
  • во-вторых, сам является продуктом на рынке.

То есть открытая информация может быть использована коммерческими компаниями и активистами с целью создания качественных информационных продуктов, которые призваны решать следующие задачи: :

  • побуждать граждан к повторному использованию информации;
  • популяризировать эффективный инструмент, который позволяет создавать и развивать общественное благо;
  • подтолкнуть коммерческий сектор к созданию инновационных продуктов на конкурентной основе.

Все это необходимо для того, чтобы любой человек, обладающий техническими навыками, мог беспрепятственно создать общественно полезные сервисы/приложения. К тому же подобная работа приводит к экономии бюджетных средств, а следовательно, выгодна для государства:

  • разработчики делают приложения самостоятельно, освобождая от этой работы представителей государства;
  • активисты корректируют данные (проекты GisLab, OpenStreetMap) – исправляют ошибки, совершенствуют подачу и т.д.;
  • гражданские активисты выявляют нецелевое и неэффективное расходование средств (данные по госзакупкам и госконтрактам) и др.

Помимо государства, открытые данные должны поддерживаться и крупными компаниями. К примеру, такие корпорации как Yandex, Google, Microsoft и Yahoo уже сегодня активно выступают за использование открытых данных и развиват это направление сами.

Мировой опыт работы с открытыми данными: от истории к сегодняшним дням

Открытые данные – это далеко не новое явление, они существуют в различных формах и в рамках разных идеологий задолго до появления Интернета. К примеру, один из родоначальников социологии науки Р.К.Мертон рассказывал о неоспоримых преимуществах использования открытых данных в науке еще в 1942 году. В частности Мертон призывал обеспечить доступность и открытость результатов научных исследований для международного академического сообщества[2]. Другой пример: открытый исходный код и свободные лицензии используются уже несколько десятилетий.

Сегодня же развитые государства со всего мира все больше стремятся к открытости данных. Хорошее тому подтверждение – подписание в июле 2013 г. Хартии G8, инициированной Великобританией. Принципы, которые провозглашает документ:

  • открытость данных по умолчанию;
  • обеспечение качества информации;
  • своевременность публикации;
  • машиночитаемый формат;
  • обеспечение условий, способствующих разработке приложений на основе открытых данных.

Одним из неоспоримых достоинств открытых данных, по мнению авторов Хартии является потенциал для создания новых идей и сервисов: «Люди могут использовать открытые данные, чтобы генерировать идеи и создавать сервисы, которые будут делать наш мир лучше».

Международные ресурсы открытых данных

За последние несколько лет многие крупные международные организации открыли на своих официальных сайтах специальные каталоги открытых данных. На сегодняшний день наиболее значимыми и известными ресурсами, предоставляющими открытые данные, являются:

Наряду с проектами международного уровня развиваются и национальные каталоги. Так при поддержке государств действуют порталы открытых данных в Великобритании, Франции, Норвегии и Австралии. А благодаря инициативности активистов развиваются каталоги в Германии, Испании, Польше, а также России.

Подробный список каталогов представлен на портале Datacatalogs.org.

Однако абсолютными лидерами в сфере открытых данных сегодня являются США и Великобритания. В последнее время активно декларировать готовность к раскрытию данных стала и Россия. Правда, согласно проведенному в июне 2013 г. исследованию Open Knowledge Foundation она пока находится на последнем месте по открытости среди стран G8, набрав в оценке лишь 30 баллов из 60 возможных.

Состояние рынка открытых данных

Как отметил в своей презентации Бегтин, ряд зарубежных исследований по разным странам, которые проводились на основе различных критериев (капитализации стартапов, ревенью и т.д.) доказывает, что сегодня объем мирового рынка открытых данных доходит до миллиардов долларов.

Что же касается России, то про «рынок» в полном смысле слова пока говорить рано.

Однако уже появилось множество коммерческих проектов, которые неплохо зарабатывают на открытой информации. Оценить их объем пока еще довольно сложно, но по предварительным данным он представляет собой несколько сотен миллионов долларов.

Открытые данные в России: вчера и сегодня

Открытые данные стали активно развиваться в в России в 2009 году благодаря появлению веб-ресурса OpenGovData.ru – публичного каталога доступных государственных данных. Все данные на сайте были представлены исключительно в машиночитаемом формате XML. Проект был создан не государственным ведомством или госструктурой, а частным лицом, — И.Бегтиным. И уже спустя 4 года он продолжает существовать по-прежнему как личная инициатива.

Помимо инициативы активиста, в популяризации открытых данных в России сыграли роль два других фактора:

  1. при каждой встрече с чиновниками заинтересованные лица по возможности озвучивали тему необходимости развития открытых данных в стране;
  2. на международном уровне также заговорили об их необходимости внедрения их в практику государства.

В связи с этим понемногу чиновники начали прописывать вопросы по открытым данным в концепциях как глобального, так и локального уровня. Это, в свою очередь повлияло и на появление еще большего числа заинтересованных лиц среди государственных чиновников. То есть, определенную роль в распространении идеи сыграло общественное давление, которое и стало толчком к масштабной работе над открытыми данными в России.

Сегодня открытые данные в РФ регулируются следующими основными нормативными документами:

- Распоряжения ФСТ и ФАС России по раскрытию информации естественными монополиями и т.д.

Как работают открытые данные в России?

  1. Координацию работы с открытыми данными в России осуществляет специальный Совет при Правительственной комиссии.
  2. Методологией занимается Минэкономразвития.
  3. Движущей силой развития открытых данных в России являются НП «Инфокультура», Высшая школа экономики, Крупные ИТ-игроки.

На сегодняшний день в России в области открытых данных на повестке дня находятся следующие ключевые вопросы:

  1. развитие единого портала открытых данных;
  2. раскрытие ФОИВами ключевых наборов данных;
  3. формирование четкой методологии;
  4. внедрение практики открытых данных на уровне субъектов федерации.

Однако одна из главных проблем открытых данных в России заключается в том, что ни один из ключевых массивов до сих пор не опубликован правильно, юридически чистым образом с получением лицензий Creative Commons или Open Data Commons. Не сделаны попытки и по разработке собственной лицензии. Это основная причина, почему Россия все еще сильно отстает от других стран G8.

Сегодня Россия довольно активно выдвинулась в направлении развития открытых данных. Однако чтобы от «приоткрывания» перейти к полной «открытости» следует уже сейчас сделать открытые лицензии нормой.

Открытые данные стали одной из ключевых тем как раз сейчас, когда накопилась критическая масса информации, и появился квалифицированный пользователь, который может с ними работать. Ведь важно понимать, что накопленные огромные массивы неправильно оформленных данных – все это упущенные возможности как для государства, так и для бизнеса.

О перспективах развития открытых данных в Беларуси и возможностях развития концепции читайте во второй части статьи.

Вероника Юренкова

Презентация и видео выступлении российского эксперта по открытым данным И. Бегтина в Минске:

http://lawtrend.org/ru/content/about/news/publichnaya-lekcija-ivana-begtina/

http://www.youtube.com/watch?v=iauKVfqtxus.

Также полезна для ознакомления другая презентация И. Бегтина:

http://www.slideshare.net/socamp2011/socamp-opengovdata

Источник первой картинки: http://neuroinformatics2012.org/abstracts/the-informatics-backbone-of-the-brain-genomics-superstruct-project-open-data-release


[1] Для большей наглядности Бегтин предлагал рассматривать процесс работы с открытыми данными по аналогии с приготовлением блюда, в котором ингредиенты сравниваются с самими данными, процесс готовки с информацией, презентация приготовленного блюда с интерфейсом (т.е. публичное представление), съеденное блюдо со знаниями.

[2] См. подробней об истории открытых данных: http://www.paristechreview.com/2013/03/29/brief-history-open-data/

Мнения:

Метки

Книги