Google создала систему автоматической ретуши в реальном времени фотографий, снятых на смартфон
Компания Google в партнерстве с Массачусетским технологическим институтом занялась разработкой системы, которая будет автоматически ретушировать снимки, снятые на смартфон, и уже продемонстрировала видеоролик, в котором видно, как технология работает в режиме реального времени.
Разработка базируется на нейросетях, и, в отличие от существующих алгоритмов, она обрабатывает кадры в реальном времени, используя непосредственно производительность телефона. Инженеры натренировали алгоритм на наборе из пяти тысяч пар фотографий: исходных и отретушированных профессиональными фотографами. В реальном тестировании алгоритм смог выдавать на экран обработанное изображение с разрешением 1920×1080 пикселей и частотой обновления в 40–50 герц.
Полностью обрабатывать изображение в высоком разрешении и в реальном времени пока не получится из-за недостаточной мощности потребительских устройств, потому алгоритм работает над уменьшенной копией исходного изображения, а потом переносит результаты на фотографию в высоком разрешении.
Как было и когда ждать?
Ранее Google внедрила технологию HDR в фирменные Nexus и Pixel, эта система делала несколько кадров с разной экспозицией, после чего сшивала их, тем самым расширяя динамический диапазон. Разница между HDR и новым алгоритмом плохо видна на предоставленных примерах, но сам факт, что пользователь может видеть результат еще до того, как нажал на спуск, радует:
Разработчики считают, что эта технология может быть внедрена в смартфоны в обозримой перспективе и позволит пользователям видеть качественно обработанные фотографии еще до того, как они сняты, не опасаясь при этом за расход заряда аккумулятора. Разработка будет представлена на конференции по компьютерной графике SIGGRAPH 2017, а посвященная ей статья опубликована в журнале ACM Transactions on Graphics.
Загрузка ...
