Некоторые исследователи утверждают, что мы приближаемся к границе технологической сингулярности или уже перешагнули ее. Как бы там ни было, машинное обучение и big data будут оказывать огромное влияние на наше общество и бизнес в дальнейшем. Компьютерный «разум» перемещается в сеть, и нам придется научиться приспосабливаться к изменениям, если хотим достичь успеха. В статье мы рассмотрели суть, роль и значение данных технологий.
Суть больших данных и машинного обучения
Неважно насколько образован человек, в современном мире невозможно знать все. Времена истинных эрудитов и мастеров на все руки ушли. Человек может быть очень умен, но для того чтобы выжить он должен быть специалистом. Мир стал слишком сложным для людей, даже для того, чтобы просто попытаться узнать значимую часть доступной информации.
В решении этой задачи нам помогают компьютеры, но они также имеют ограниченные возможности. У машин есть память для хранения информации и конкретные вычислительные мощности, определяющие количество производимых расчетов в секунду. Хотя эти показатели могут существенно отличаться, но сейчас даже компьютеры сталкиваются с настолько большим объемом данных, что традиционные методы анализа начинают давать сбои.
Под big data подразумевают именно такие огромные массивы данных, неподвластные нашему разуму и даже технике, которые невозможно обработать привычными способами. Для решения подобных вопросов разрабатывают специальные алгоритмы, объединяющие в себе искусственный интеллект, компьютерное программирование, бизнес и философию. Они собирают колоссальные объемы данных, чтобы решать различные задачи с целью достижения наилучшего результата.
Хотя невозможность полного охвата и сложность анализа представляют серьезную проблему, но в тоже время открывают новые перспективы для предприимчивых людей, которые могут применять автоматизированные методы для достижения поставленных задач.
Простым примером является фондовый рынок. Аналитик может просматривать все виды доступной информации и время от времени заключать хорошие сделки, но он не сможет идти в ногу с автоматизированными торговыми платформами, которые выполняют тысячи подобных операций в секунду.
Почему это так важно?
В подобных ситуациях на помощь приходят компьютеризированные инструменты, позволяющие получать все данные, которые относятся к проблеме. Машинное обучение – это технология, помогающая людям решать различные задачи, даже не понимая как это сделать, или почему работает определенный подход. Компьютеры могут опробовать каждый возможный вариант и сделать это очень быстро.
Например, если существует миллион вариантов, но только один из них правильный, машина создаст модели каждого из них и систематически определит правильный. Хотя научная фантастика идеализировала возможности искусственного интеллекта и нейронных сетей, но современные алгоритмы действительно могут решать достаточно серьезные проблемы, особенно в бизнесе и культурной сфере.
Предположим, что вы являетесь основным поставщиком продукции в мировом масштабе. Пусть это будут обычные молотки, широко используемые в строительстве и быту. Возникает вопрос: нужно ли открыть еще один завод по производству молотков? Как найти верный ответ и объективно оценить изменения спроса в глобальном масштабе?
Один из подходов заключается в том, чтобы взять огромную кучу данных, скажем, 50 миллионов выписок по банковским картам, и попытаться определить, покупают ли молотки больше людей или меньше. Однако для обработки такого количества записей потребуется несколько жизней.
Машинное обучение и большие данные могут решить эту проблему с молотками или, по крайней мере, укажут нам правильное направление. В мире существует множество подобных проблем, и данные технологии начинают успешно решать их.
Новые стандарты и угроза чрезмерного регулирования
Постепенно правительства устанавливают все больше норм для регулирования деятельности в информационном пространстве. Наиболее продвинутым на сегодня является «Общий регламент по защите данных» (GDPR), который вступил в силу весной 2018 года на территории всего Евросоюза. Он не только предоставляет жителям больше прав для контроля личной информации, но и минимизирует их использование. Постановление вызвало большой резонанс среди сообщества разработчиков и массу споров на этот счет.
Все хотят быть в безопасности, и никому не понравится, если его приватные данные станут публичными или попадут в чужие руки. Однако существует опасность того, что политическое регулирование упускает некоторые моменты.
Одна из концепций GDPR предусматривает, что пользователь владеет данными о себе и сервисы должны запрашивать их только для тех целей, для которых они были собраны. Поэтому некоторые разработчики считают, что это создает ограничения для определенных видов машинного обучения. Однако это не совсем так.
Дело в том, что компьютерные алгоритмы способны идентифицировать людей необычными способами, которые для нас не являются очевидным и некоторые мы не сможет даже понять. Это приводит к формированию ложного чувства безопасности в отношении «личных» данных.
Хотя это может быть не так уж и плохо, и у правительства есть законные основания использовать аналитику машинного обучения для выявления угроз. Представьте мир, в котором любой желающий сможет купить взрывчатку, а затем запретить использовать эту информацию для выяснения личности подрывника. Поэтому в данном вопросе крайности недопустимы и огромное поле для дискуссий.
Информационная эра
Несмотря на все достижения, общество пока не до конца осознает потенциал big data и машинного обучения. Существует множество данных и человечество продолжит разрабатывать технические инструменты для их обработки. В любом случае мы живем в информационной эпохе, и хотя никто точно не знает, к чему это приведет, но движемся туда мы все вместе.
текст: Илья Бауэр, фото: Unsplash, elgibborsms