Исследователи находят новые способы обмана систем распознавания, заставляющие алгоритмы неправильно определять объекты, расстояние до них или вовсе делают их «невидимыми».
Алгоритмы глубокого обучения отлично анализируют формы и цвета, чтобы определять отличия между людьми и животными, легковыми и грузовыми автомобилями и так далее. Они используются в различных приложениях и сферах деятельности, часто выполняя важные задачи, такие как безопасность дорожного движения или сохранность имущества. Однако группа инженеров из Юго-Западного НИИ (SwRI) занимается определением уязвимостей данных систем, для исправления их в будущем.
Исследователи разработали специальные модели изображений, которые заставляют камеры неправильно классифицировать расположенные рядом объекты при анализе. Если человек оденет футболку с таким рисунком, установит его на транспортном средства или просто разместит на улице, то алгоритмы будут думать, что перед ними не то, что на самом деле или объект находится не там, где фактически расположен. При этом такие образцы не должны покрывать всю поверхность или быть параллельными камере, чтобы обмануть систему.
Хотя внешне они кажутся человеку обычными красочными изображениями, но в определенных ситуациях это может нарушить работу детекторов и стать причиной хаоса в рамках системы. Например, неудачная реклама на автобусе может заставить нейронную сеть автомобиля сзади видеть не транспортное средство, а продвигаемый товар, что может привести к столкновению.
В ходе проверки алгоритмов команда тестирует различные модели и оценивает их влияние. В конечном итоге это поможет повысить уровень безопасности систем обнаружения.
Системы идентификации личности начинают применяться и в розничной торговле. В конце прошлого года крупнейшая японская сеть небольших магазинов 7-Eleven открыла отделение, в котором оплата товаров производится автоматически, путем распознавания лиц клиентов.
текст: Илья Бауэр, фото: Southwest Research Institute