Искусственный интеллект (ИИ) становится все более распространенным в фотографии, от программного обеспечения на основе ИИ до автофокуса на основе ИИ. Производители со всего мира внедряют технологии ИИ для улучшения редактирования изображений и производительности камер, чтобы помочь фотографам. На ресурсе DPReview появилась довольно интересная статья на эту тему.
ИИ широко используется в новейших смартфонах, чтобы помочь получить максимальную отдачу от небольших сенсоров и объективов. Вообще говоря, вычислительная фотография — это большая часть работы мобильной фотографии. Но насколько далеко ИИ может продвинуть технологии камеры смартфона? Представители Android Authority пообщались с вице-президентом Qualcomm по управлению продуктами Джаддом Хипом (Judd Heape), и он многое рассказал об ИИ, в том числе о том, что ИИ когда-нибудь поможет смартфонам превзойти специализированные камеры.
Хип рассказал, как сейчас искусственный интеллект используется в камерах. Машинное обучение помогло улучшить шумоподавление, уменьшить дрожания видео, удалять объекты во время редактирования и многое другое. ИИ используется для различных задач и может помочь смартфону различать объект и фон, кожу, волосы и другое. В зависимости от того, как ваш смартфон воспринимает части изображения, он может обрабатывать изображение.
OPPO начала выпускать смартфоны в сотрудничестве с Hasselblad'ом
Хип считает, что в фотографии есть четыре этапа работы ИИ. Во-первых, это базовое распознавание сцен, например, идентификация определенного объекта в кадре. На втором этапе ИИ управляет такими функциями, как автофокус, автоматический баланс белого и автоматическая экспозиция. Руководитель Qualcomm считает, что современная технология ИИ для смартфонов сейчас находится на третьем этапе, который представляет собой признание в продвинутом сегменте. Это не просто видение определенного объекта в кадре, а возможность определить почти все в сцене и соответствующим образом настроить параметры. Телефоны теперь могут определять, искривлен ли горизонт или требуется ли корректировка экспозиции для определенного лица на фотографии. Этот этап развития ИИ также включает передовые технологии автофокусировки/автоэкспозиции, такие как распознавание лиц и глаз.
Xiaomi 11T Pro оснащён
камерой 108 Мп и может снимать 8K видео, а также 4K, 1080p и HDR10+
Четвертый этап, до которого, по мнению Хипа, индустрия дойдет примерно через три-пять лет, — это когда ИИ будет обрабатывать изображение целиком. Хип говорит: «Представьте себе мир из будущего, где вы бы сказали: «Я хочу, чтобы картинка выглядела как эта сцена National Geographic», а ИИ ответил бы: «Хорошо, я собираюсь настроить цвета и текстуру, баланс белого, и все, чтобы выглядеть и ощущаться как на изображении, которое вы мне только что показали».
Xiaomi
12S Ultra – еще пример сотрудничества производителя смартфонов с Leica
Это передовая технология искусственного интеллекта, но достаточно ли этого, чтобы помочь смартфонам затмить специализированные системы камер? Ранее в этом году президент и главный исполнительный директор Sony Semiconductor Solutions Теруши Симидзу (Terushi Shimizu) сказал, что прорывы в области смартфонов могут помочь мобильным камерам превзойти зеркальные и беззеркальные камеры (ILC) уже в 2024 году. Хип соглашается, но отмечает, что физические ограничения для смартфонов все еще существуют.
И датчики изображения в смартфонах значительно меньше, и оптические компоненты в объективах. Тем не менее, Хип считает, что вычислительная мощность смартфонов выше, чем у современных фотокамер, это поможет сократить разрыв и преодолеть физические проблемы, связанные с размерами сенсоров и объективов. Верно также и то, что некоторые крупные игроки на рынке смартфонов вкладывают значительные средства и инженерную мощь в разработку смартфонов. Да, системные камеры становятся все более совершенными, но разница в размерах рынков фотокамер и смартфонов огромна.
По-прежнему существует большая разница в потенциальном качестве изображения между смартфонами и фотокамерами с большими сенсорами, такими как Micro-4/3”, APS-C, полнокадровыми и среднеформатными. Несмотря на то, что некоторые смартфоны предлагают более 100 мегапикселей, больше, чем любая полнокадровая камера на рынке, качество пикселей отличается. Качество объективов тоже сильно отличается. 108-мегапиксельный смартфон не дает более четкого изображения, чем 100-мегапиксельная среднеформатная да и любая современная ILC, если уж на то пошло. Смартфон может иметь больше пикселей, но эти пиксели гораздо меньшего размера. ИИ может помочь компенсировать физические ограничения, но пока ИИ не смог их преодолеть.
Следующим великим рубежом для смартографии может стать сочетание искусственного интеллекта и пересмотренной конструкции объектива. Можно включить анаморфотные линзы, а затем восстановить правильное изображение с помощью точно настроенных алгоритмов. Хотя это еще не было сделано в коммерчески доступных продуктах, идея установки большего количества и лучшего стекла на меньшей площади заманчива. Хотя это не так экстремально, как линзы необычной формы, мы наблюдаем огромный прогресс в области ILC, когда инженеры-оптики комбинируют лучшее стекло и гораздо более сложную программную коррекцию линз для достижения впечатляющих результатов. На рынке смартфонов также есть много возможностей для роста с оптическими технологиями, особенно по мере увеличения вычислительной мощности.
Мы также видели, как Sony использует настоящий оптический зум в своих смартфонах Xperia. Вполне возможно, что другие компании разрабатывают аналогичные или, возможно, даже лучшие модели с механическим зумом, которые повысят общее удобство использования смартфонов для более широкого спектра приложений.
Есть много поводов для успеха. Тем не менее, оптимизм Хипа в отношении того, что смартфоны могут превзойти специализированные системы камер с точки зрения качества изображения, все еще кажется слишком оптимистичным. Нет никаких сомнений в том, что улучшения в программном обеспечении, оборудовании и технологии искусственного интеллекта помогли смартфонам добиться значительных успехов в области фото и видео. Верно и то, что многим пользователям вполне достаточно изображений со смартфона. Тем не менее, чтобы преодолеть физику и свести на нет преимущества, предлагаемые более крупными сенсорами, более крупными пикселями и чрезвычайно продвинутыми объективами, потребуется гораздо больше, чем мощные процессоры и более сложная обработка изображений.
