Аналитик и исследователь Бьярн Берг рассказал на лекции в Digital October о роли больших массивов неструктурированной информации в современном мире и глобальной базе данных, которая должна спровоцировать новую техническую революцию. T&P выбрали из его выступления самые главные тезисы.
Big data сейчас — это то, о чем стоит задуматься каждому. Мир переживает Большой взрыв в области данных — 90% информации, которую можно найти сегодня в сети, появилась там за последние три года. Данные создаются быстрее, чем производятся компьютеры, которые смогут их хранить. При этом точки постоянного соприкосновения с данными — СМИ, картинки, видео, переписка, покупки, — все они очень не структурированы.
Wallmart увеличил свои продажи на $9,6 млрд, научившись предсказывать тренды, собранные при помощи собственных хранилищ данных. Но сейчас мы все еще находимся в каменном веке вычислительных возможностей. Прогресс сдерживают реляционные базы данных и жесткие диски — их отмирание сейчас кажется столь же естественным, как и переход от перфокарт к айпадам.
Уже существуют платформы, которые берут данные непосредственно из оперативной памяти и мгновенно обрабатывают миллиарды записей — например, SAP HANA. То, что раньше занимало часы, теперь делается за несколько мгновений. Количество пользователей в системе не имеет никакого значения. Аналитика становится все более графически ориентированной и удобной для восприятия. А высокая скорость составления отчетов позволяет перенести многие решения с уровня высшего руководства на менеджеров среднего звена.
Поверх этой системы можно запускать сразу несколько инструментов аналитики одновременно, интегрировать ее с Google Maps, новостными и множеством других сервисов. На ее основе можно построить единую глобальную базу данных — что на самом деле уже происходит.
Врачи смогут пользоваться глобальным хранилищем снимков и диагнозов, чтобы значительно улучшить качество ранней диагностики. За очень короткое время можно будет осуществлять распознавание лиц на тысячах часах видеозаписи с камер наблюдения — так борьба с преступностью станет эффективнее. Прогноз погоды станет более точным, так как моделирование будет происходить значительно быстрее. Можно пойти еще дальше и создать глобальную сеть анализа и сбора данных, которая позволит лучше управлять ресурсами планеты. Но сначала нам предстоит заменить все традиционные системы хранения данных. И тогда нас ждет прорыв, сравнимый с распространением парового двигателя в XIX веке.
Посмотреть лекцию полностью можно на сайте Digital October.