Исследователи представили технологию Knocker, которая идентифицирует объекты и выполняет необходимые действия после постукивания по ним смартфоном. Программное обеспечение на базе машинного обучения автоматически выполняет предписания пользователя.
Ранее для распознавания объектов использовалась технология компьютерного зрения с камерами или аппаратное обеспечение с радиочастотной идентификацией. Все эти решения имеют свои ограничения. В первом случае пользователи должны делать фотографии каждого предмета и технология не работает в условиях плохого освещения, а использование RFID требует дополнительных затрат, времени и труда.
Knocker может идентифицировать объекты даже в темноте только с помощью смартфона, не требуя какого-либо специального оборудования или камеры. Технология использует встроенные в смартфон датчики, такие как микрофон, акселерометр и гироскоп, для захвата уникального набора откликов, генерируемых при столкновении смартфона с поверхностью предмета. Машинное обучение используется для анализа этих сигналов, классификации и идентификации объектов.
Команда разработчиков из Корейского института передовых технологий испытывала первый вариант приложения на различных повседневных предметах, таких как ноутбуки, книги, бутылки с водой и велосипеды. В тихом помещении точность составляла 98%, но в шумном кафе или у обочины дороги показатель снижался до 83%.
Исследователи утверждают, что эта технология открывает массу новых возможностей для взаимодействия с окружающими объектами. Например, при интеграции с устройствами интернета вещей, стуком по кровати можно выключить свет и установить будильник. Команда уже предложила и реализовала 15 вариантов применения Knocker.
Ранее мы также сообщали о разработке умных кроссовок, которые могут подсказать, куда нужно повернуть, подсчитают шаги и потраченные калории.
текст: Илья Бауэр, фото: The Korea Advanced Institute of Science and Technology