Sony представила матрицы Vision Sensors с искусственным интеллектом

В продолжение опубликованного оптимистичного отчета по производству фотосенсоров, компания Sony представила первые в мире датчики с искусственным интеллектом Vision Sensors. Это матрицы размером 1/2.3”, предназначенные для применения в промышленном и торговом оборудовании, где требуются технологии машинного распознавания и управления. Подобные датчики сегодня не применяются при производстве фотокамер, однако на этом примере можно проследить тенденции развития технологий производства сенсоров в будущем, ведь ни для кого не секрет, что матрицы компании Sony установлены в камеры других известных брендов, а если говорить про камеры смартфонов, то большинство из них снимают на сенсоры, разработанные именно этим японским техногигантом.

На производстве есть масса сфер применения технологиям искусственного интеллекта, и если предположить, что подобная функция будет встроена непосредственно в матрицу захвата изображения, это поможет процессору обрабатывать и анализировать данные, в разы ускорив таким образом работу всей системы. То же самое можно уверенно сказать про съёмку фото и видео, где уже на этапе съёмки того или иного объекта мы могли бы иметь, например, отрисованную трёхмерную анимированную его модель, или получить уже отделённый от фона объект, сглаженный шум, применённый эффект, исправленную перспективу и так далее – перечислять и фантазировать можно без конца.

Датчики IMX500 и IMX501 

Новые датчики Sony IMX500 и IMX501 имеют усложнённую конфигурацию, состоящую из чипа, работающего с пикселями изображения и чипа, выполняющего логические задачи. 

Принцип работы датчика с ИИ

Чип для работы с пикселями нам хорошо знаком – это датчик с обратной засветкой разрешением примерно 12,3 эффективных мегапикселей для захвата информации. В дополнение к датчику изображений имеется логическая микросхема, предназначенная для обработки сигналов ИИ и памятью для работы ИИ. Таким образом, Sony переложила решение части задач на матрицу, освободив от этой работы процессоры и внешнюю память, что делает эту систему идеальной для современных систем искусственного интеллекта.

Например, при съёмке видео с использованием обычных матриц захвата изображения, датчик посылает каждый снятый кадр для обработки в процессор с ИИ, забивая таким образом канал передачи данных, особенно при съёмке с высоким битрейтом и разрешением, которые с каждым днём становятся все выше и выше. Таким образом, перенос части функций логической обработки в матрицу просто неизбежен, и выглядит весьма своевременным решением.

Технические характеристики новых матриц Sony IMX500 и IMX501 с ИИ

Новые матрицы IMX500 и IMX501 будут доступны уже в начале лета 2020 года и обойдутся в $93 и $185, соответственно, по всей видимости, это цены для крупных заказчиков. 

Новые матрицы уже доступны заказчикам

Анонс от компании Sony: