Как компьютерная фотография улучшает фотографии на смартфонах
Гайд в разделе Интересное "Как компьютерная фотография улучшает фотографии на смартфонах" содержит информацию, советы и подсказки, которые помогут изучить самые важные моменты и тонкости вопроса….
Hadrian / Shutterstock.com
Когда дело доходит до камер смартфонов, дело уже не только в оборудовании. Современные смартфоны автоматически используют методы «вычислительной фотографии» для улучшения каждой отдельной фотографии, которую вы делаете.
Использование программного обеспечения для улучшения камеры смартфона
Компьютерная фотография – это широкий термин, обозначающий множество различных методов, использующих программное обеспечение для улучшения или расширения возможностей цифровой камеры. Важно отметить, что вычислительная фотография начинается с фотографии и заканчивается чем-то, что все еще выглядит как фотография (даже если ее невозможно было сделать обычной камерой).
Как работает традиционная фотография
Прежде чем углубляться в подробности, давайте быстро перейдем над тем, что происходит, когда вы делаете снимок на старый пленочный фотоаппарат. Что-то вроде зеркалки, которую вы (или ваши родители) использовали в 80-х.
Я снимал это на пленочную камеру в 1989 году. Это почти не требует вычислений.
Когда вы нажимаете спусковую кнопку затвора, затвор открывается на долю секунды и позволяет свету попадать на пленку. Весь свет фокусируется физической линзой, которая определяет, как все будет выглядеть на фотографии. Чтобы приблизить далеких птиц, вы используете телеобъектив с большим фокусным расстоянием, а для широкоугольных снимков всего пейзажа вы используете что-то с гораздо меньшим фокусным расстоянием. Точно так же диафрагма объектива регулирует глубину резкости или то, какая часть изображения находится в фокусе. Когда свет попадает на пленку, он обнажает светочувствительные соединения, изменяя их химический состав. Изображение в основном выгравировано на пленке.
Все, что это означает, так это то, что физические свойства оборудования, которое вы используете, контролируют все, что касается изображения, которое вы делаете. После создания изображение нельзя обновить или изменить.
Вычислительная фотография добавляет к процессу несколько дополнительных шагов и, как таковая, работает только с цифровыми камерами. Цифровые датчики не только фиксируют оптически определенную сцену, но и могут записывать дополнительные данные, например, какой был цвет и интенсивность света, падающего на датчик. Одновременно можно сделать несколько фотографий с разной степенью экспозиции, чтобы получить больше информации о сцене. Дополнительные датчики могут записывать, насколько далеко находились объект и фон. И компьютер может использовать всю эту дополнительную информацию, чтобы что-то сделать с изображением.
Хотя некоторые зеркальные и беззеркальные камеры имеют встроенные базовые функции вычислительной фотографии, настоящие звезды шоу – смартфоны. Google и Apple, в частности, использовали программное обеспечение для расширения возможностей небольших камер с физическими ограничениями в своих устройствах. Например, взгляните на функцию камеры Deep Fusion в iPhone.
На что способна компьютерная фотография?
До сих пор мы говорили о возможностях и общих чертах. А теперь давайте рассмотрим некоторые конкретные примеры того, что позволяет делать компьютерная фотография.
Портретный режим 
Этот портретный режим очень похож на фотографию, сделанную на зеркальную камеру с широкоугольным объективом. Есть некоторые подсказки, что это не переходы между мной и фоном, но это очень впечатляет.
Портретный режим – один из самых больших успехов компьютерной фотографии. Маленькие линзы в камерах смартфонов физически не могут снимать классические портреты с размытым фоном. Однако с помощью датчика глубины (или алгоритмов машинного обучения) они могут идентифицировать объект и фон вашего изображения и выборочно размывать фон, что дает вам нечто, очень похожее на классический портрет.
Это прекрасный пример того, как компьютерная фотография начинается с фотографии и заканчивается чем-то похожим на фотографию, но с помощью программного обеспечения создает то, чего не может физическая камера.
Делайте лучшие фотографии в the Dark 
Google запечатлел это на телефоне Pixel. Это просто смешно. Большинство зеркалок не делают так хорошо ночные фотографии.Google
Фотографировать в темноте с помощью традиционной цифровой камеры сложно, просто не так много света, с которым можно работать, поэтому вам придется идти на компромисс. Смартфоны, однако, лучше справляются с компьютерной фотографией.
Делая несколько фотографий с разным уровнем экспозиции и смешивая их вместе, смартфоны могут выделить больше деталей из теней и получить лучший конечный результат, чем дал бы любое отдельное изображение, особенно с крошечными сенсорами в смартфонах.
Эта техника, называемая Google Night Sight, Apple Night Mode и что-то подобное от других производителей, не лишена компромиссов. Съемка мультиэкспозиции может занять несколько секунд. Для достижения наилучших результатов вы должны крепко держать смартфон между ними, но он позволяет делать фотографии в темноте.
Лучше экспонировать фотографии в сложных условиях освещения 
Для этого на моем iPhone сработал Smart HDR выстрел. Вот почему в тенях и светах все еще есть детали. На самом деле это делает снимок здесь немного странным, но это хороший пример его возможностей.
Смешивание нескольких изображений не только улучшает качество снимков в темноте, но и работает во многих других сложных ситуациях. HDR или фотография с расширенным динамическим диапазоном существуют уже давно и могут выполняться вручную с изображениями DSLR, но теперь это стандартная и автоматическая фотография на последних iPhone и телефонах Google Pixel. (Apple называет это Smart HDR, а Google – HDR +.)
HDR, как бы он ни назывался, работает путем комбинирования фотографий с приоритетом светлых участков с фотографиями с приоритетом теней, а затем сглаживания любых несоответствий. Раньше HDR-изображения были перенасыщенными и почти мультяшными, но теперь процессы стали намного лучше. Они все еще могут выглядеть немного странно, но по большей части смартфоны отлично справляются с использованием HDR для преодоления ограниченного динамического диапазона своих цифровых датчиков.
И многое другое
Это лишь некоторые из наиболее требовательных вычислительных функций, встроенных в современные смартфоны. Они могут предложить множество дополнительных функций, таких как вставка элементов дополненной реальности в ваши композиции, автоматическое редактирование фотографий для вас, создание изображений с длинной выдержкой, объединение нескольких кадров для улучшения глубины резкости конечной фотографии и даже предложение скромных режим панорамы, работа которого также зависит от программного обеспечения.
Компьютерная фотография: этого нельзя избежать
Обычно в статье, подобной этой, мы заканчиваем работу, предлагая способы создания компьютерных фотографий или рекомендуя поэкспериментировать с идеями самостоятельно. Однако, как должно быть довольно ясно из приведенных выше примеров, если у вас есть смартфон, вы не можете избежать компьютерной фотографии. Каждая фотография, которую вы делаете с помощью современного смартфона, автоматически проходит какой-то вычислительный процесс.
А методы компьютерной фотографии становятся все более распространенными. За последние полдесятилетия развитие аппаратного обеспечения камер замедлилось, поскольку производители достигли физических и практических ограничений и вынуждены их обходить. Улучшения программного обеспечения не имеют таких жестких ограничений. (IPhone, например, имел аналогичные 12-мегапиксельные камеры со времен iPhone 6. Дело не в том, что новые камеры не лучше, но скачок в качестве сенсора между iPhone 6 и iPhone 11 намного менее значительный, чем между iPhone 6 и iPhone 4.)
В течение следующих нескольких лет камеры смартфонов будут продолжать становиться более функциональными, поскольку алгоритмы машинного обучения улучшаются, а идеи переходят из исследовательских лабораторий в потребительские технологии.