Что такое LOFIC камера

Камеры смартфонов уже несколько лет развиваются примерно по одному сценарию: сенсоры становятся крупнее, алгоритмы — сложнее, а HDR все агрессивнее вытягивает темные участки и спасает пересвеченное небо. На бумаге все это звучит отлично, но у привычного HDR есть фундаментальная проблема — он часто зависит от склейки нескольких кадров.

Пока в сцене ничего не движется, такой подход работает почти идеально. Но стоит человеку повернуть голову, машине проехать мимо или листьям закачаться на ветру, как могут появиться артефакты. Именно здесь на сцену выходит LOFIC — технология сенсоров, которая позволяет значительно расширить динамический диапазон уже во время одного экспонирования.

Что такое LOFIC

LOFIC расшифровывается как Lateral Overflow Integration Capacitor — примерно это можно перевести как «латеральный конденсатор накопления переполняющего заряда». Название сложное, но идея довольно простая. Каждый пиксель матрицы камеры собирает фотоны света и превращает их в электрический заряд. Чем больше света попадает на пиксель, тем больше заряда он накапливает. Но у любого пикселя есть предел, после которого он уже не может корректно различать дальнейшее увеличение яркости.

Если света становится слишком много, пиксель переполняется, и информация о самых ярких участках теряется. Именно поэтому на фотографии вместо облаков, яркой лампы или вывески иногда появляется просто белое пятно. LOFIC добавляет к пикселю дополнительную емкость, куда может уходить избыточный заряд. Проще говоря, у пикселя появляется дополнительный резервуар для света, который помогает сохранить информацию там, где обычный сенсор уже достиг бы насыщения.

Представим это на примере стакана

Обычный пиксель можно представить как небольшой стакан. Пока воды мало, все нормально, но если налить слишком много, вода начинает переливаться через край. В камере происходит примерно то же самое. Когда света становится слишком много, пиксель достигает максимальной емкости и перестает корректно различать дальнейший рост яркости.

LOFIC фактически добавляет рядом второй резервуар. Когда основной «стакан» заполняется, лишний заряд уходит туда, благодаря чему сенсор может измерить намного больший диапазон яркости. И что особенно важно — все это происходит за одну экспозицию, без обязательной склейки нескольких кадров с разной выдержкой.

Зачем нужен большой динамический диапазон

Динамический диапазон показывает, насколько большую разницу между самыми темными и самыми яркими участками сцены способна одновременно зафиксировать камера. Чем он шире, тем меньше вероятность получить одновременно проваленные тени и пересвеченные источники света. Один из классических примеров — человек стоит перед окном. Обычная камера часто вынуждена выбирать: либо нормально показать лицо, но превратить окно в белое пятно, либо сохранить пейзаж за окном, но сделать человека слишком темным.

Современные смартфоны решают эту проблему HDR-алгоритмами. Они снимают несколько изображений с разной выдержкой, а затем объединяют их в один кадр. LOFIC позволяет перенести значительную часть этой работы непосредственно на уровень сенсора.

Главное преимущество LOFIC 

Обычный HDR на смартфоне обычно делает короткую экспозицию для ярких участков и более длинную для теней, после чего процессор объединяет результат. Для статичных сцен это работает очень хорошо и часто позволяет получить впечатляющий результат даже на маленьком мобильном сенсоре. Проблемы начинаются, когда что-то движется. К моменту второй или третьей экспозиции объект уже может оказаться в немного другом месте, и алгоритму приходится угадывать, как правильно совместить кадры.

Отсюда появляются знакомые проблемы мобильной фотографии: двойные контуры, странные детали на волосах, артефакты вокруг рук, смазанные машины или неестественные листья на деревьях. LOFIC снижает зависимость от такой многокадровой склейки, потому что больше информации о светах и тенях сенсор способен сохранить сразу.

Особенно сильно это должно помочь видео

На фотографиях программный HDR уже научился творить чудеса. У смартфона есть время снять несколько кадров и относительно спокойно их объединить. С видео все сложнее. Камера должна обрабатывать 30, 60, а иногда и 120 кадров каждую секунду, при этом в сцене постоянно что-то движется. Из-за этого агрессивная многокадровая обработка может приводить к нестабильной экспозиции, ореолам вокруг объектов и другим артефактам.

LOFIC потенциально позволяет камере записывать больше информации непосредственно с матрицы на каждом отдельном кадре. Для пользователя это должно выглядеть просто: меньше выбитого неба, больше деталей в тенях и более естественные переходы между светлыми и темными участками. Особенно заметна разница может быть при съемке против солнца, ночью рядом с яркими вывесками или внутри помещения с окнами. Именно такие сцены особенно тяжело даются обычным HDR-алгоритмам.

Ночная съемка тоже станет лучше

На первый взгляд LOFIC кажется технологией исключительно для ярких участков. Но большой динамический диапазон важен и ночью, потому что ночная сцена часто одновременно содержит почти черные и очень яркие области. Представьте ночную улицу. В одном кадре находятся темное небо, слабо освещенные здания, яркие фонари и неоновые вывески. Обычная камера часто либо пересвечивает вывески, либо делает темные участки слишком шумными.

LOFIC помогает сенсору сохранить больше информации в таких сценах. В результате алгоритмам обработки проще работать с исходным изображением, а конечный кадр может выглядеть естественнее и содержать больше деталей одновременно в тенях и светах.

LOFIC не означает, что HDR больше не нужен

Здесь есть важный момент. LOFIC не отменяет вычислительную фотографию и не означает, что смартфоны внезапно перестанут использовать HDR. Смартфон все равно будет применять алгоритмы обработки, шумоподавление, тональную компрессию, локальную коррекцию яркости и другие методы. Просто исходный материал для этих алгоритмов становится лучше.

Если сенсор изначально сохранил детали в окне, смартфону уже не нужно пытаться восстановить их из нескольких разных кадров. Чем больше информации сохранила матрица, тем меньше приходится агрессивно «рисовать» итоговую фотографию программными методами. Именно поэтому LOFIC интересен не только цифрами динамического диапазона, но и потенциальным влиянием на общий характер мобильной фотографии.

Почему о LOFIC заговорили именно сейчас

Сама идея LOFIC далеко не новая. Подобные сенсоры исследуют уже много лет, а разные производители постепенно совершенствуют архитектуру и пытаются адаптировать ее под компактные мобильные камеры.

Главная проблема заключалась в том, чтобы разместить дополнительную емкость внутри очень маленького пикселя и при этом не ухудшить остальные характеристики сенсора. Производителю все равно нужно сохранить хорошую светочувствительность, высокую скорость считывания и приемлемое энергопотребление.

Теперь технология постепенно выходит из лабораторий в коммерческие сенсоры. Производители CMOS-матриц все активнее используют архитектуры, построенные вокруг идеи дополнительного накопления заряда, поэтому LOFIC становится реальным инструментом для мобильной фотографии, а не просто красивым техническим термином.

Есть ли у LOFIC недостатки

Чудес в сенсорах не бывает. Добавление дополнительных компонентов внутрь каждого пикселя усложняет конструкцию матрицы и делает разработку дороже. Производителям приходится одновременно бороться за размер пикселя, чувствительность, скорость считывания, энергопотребление и стоимость производства. Улучшение одного параметра почти всегда влияет на другие.

Кроме того, огромный динамический диапазон самого сенсора еще не гарантирует красивую фотографию. Если алгоритмы неправильно обработают изображение, кадр все равно может выглядеть плоским, слишком ярким или неестественным. LOFIC дает камере больше исходной информации. А вот что смартфон сделает с этой информацией — уже зависит от производителя.

Может ли LOFIC заменить большие сенсоры

Нет, потому что размер сенсора и оптика по-прежнему имеют огромное значение. Большая матрица обычно собирает больше света, помогает уменьшить шум и дает производителю больше возможностей при съемке в сложных условиях. LOFIC решает другую задачу — увеличивает диапазон яркости, который способен записать пиксель. Поэтому эта технология скорее дополняет крупные сенсоры, чем заменяет их.

Идеальная комбинация выглядит примерно так: крупная матрица, качественная оптика, LOFIC и хорошие алгоритмы обработки. Если все это соединить вместе, мобильная камера может заметно приблизиться к более серьезным фото- и видеорешениям именно по работе со сложным светом.

Итог

LOFIC — одна из тех технологий, которые сложно красиво показать на презентации одним слайдом, но которые способны заметно изменить качество съемки. Ее главное преимущество заключается в возможности записывать очень широкий динамический диапазон за одну экспозицию. Для фотографий это означает меньше пересветов и больше деталей в сложных сценах. Для видео преимущества еще интереснее: меньше артефактов HDR, меньше проблем с движением и более стабильная картинка при резкой смене освещения.

Именно поэтому в ближайшие годы LOFIC может стать таким же важным параметром камер смартфонов, каким когда-то стали размер сенсора, оптическая стабилизация и перископический зум. А самое интересное в том, что пользователю вообще не придется знать, как работает эта технология. Достаточно будет достать смартфон, нажать кнопку съемки и получить кадр, в котором одновременно видно и лицо человека, и облака за его спиной.