Безочковое 3D видео с Triaxes DepthGate: настройка генерации multiview.

Дисплеи, создающие эффект объема без использования очков, называются автостереоскопическими — AS3D (AutoStereoscopic 3D).
Такие дисплеи требуют на вход видеоматериалы в специальных форматах.
Наиболее распространены AS3D форматы: 2D+Depth и несколько видов Multiview (5-view, 8-view, 9-view).
Программа Triaxes DepthGate предназначена для создания материалов в таких форматах.
Исходными данными для программы служит видео в формате стерео 3D — два канала, которые обычно используются в 3D TV или кинотеатрах с очками.

Итак, программа DepthGate умеет преобразовать «3D видео в очках» в «3D видео без очков».
Рассмотрим далее как выполняется такая конвертация и обратим внимание на некоторые особенности, позволяющие добиться лучших результатов.

Исходными данными у нас является видовой фильм про фонтаны Петергофа в формате side-by-side, разрешение 1920×1080.
Вот один из кадров этого фильма (Рис. 1).

Рис. 1. Кадр из исходного видео в формате стереопара.

 Так как это настоящая стереопара, в ней уже содержится информация о глубине сцены. Программа DepthGate умеет извлечь эту информацию — рассчитать карту глубины (Depth map).
Для расчета и просмотра Depth надо выделить интересующий кадр и перейти на закладку DepthMap (Рис. 2). Программа автоматически рассчитает карту глубины для этого кадра.
Данный пример — кадр с брызгами — взят намеренно. Это сложный случай для представления в формате 2D+Depth, т.к. у нас возникает неоднозначная ситуация — необходимо сделать выбор, какую удаленность поставить — расстояние до капель воды, или до заднего плана, который проглядывает сквозь брызги. Даже для человека непросто сделать выбор, тем более для автоматического алгоритма.

Рис. 2. Переход на закладку Depthmap и получение стереопары.

Ползунок Depth позволяет регулировать прозрачность — это удобно для просмотра, так как карта глубины соответствует исходному изображению (Рис.3). Эта регулировка сделана для удобства просмотра на экране и не влияет на экспорт.
Видно, что программа отделила объекты переднего плана (брызги воды) от заднего плана — склона, поросшего травой.

Рис. 3. Регулировка прозрачности при наложении Depthmap на исходный кадр.

Видео в формате 2D+Depth уже достаточно для некоторых AS3D дисплеев — уже сейчас мы можем выполнить экспорт изображения в таком формате (Рис.4).

Рис. 4. Кадр в формате 2D+Depth. Видео такого формата умеют воспроизводить 3D дисплеи Philips, Dimenco и некоторые другие модели.

Для экспорта видео в формате 2D+Depth вызываем диалог экспорта и настраиваем параметры (Рис. 5).

Рис. 5. Диалог экспорта. Выбор формата 2D+Depth.

Информация Depth используется дисплеем для расчета нескольких ракурсов (видов) на изображение, микролинзовый слой экрана создает у зрителя 3D эффект.

Как было отмечено, это сложный пример из-за обилия брызг и полупрозрачных объектов, тем не менее, такой способ позволяет показать на экране 3D эффект.
Смоделировать этот эффект на обычном (2D) экране нам поможет генерация видов на эту сцену и анимация — последовательный показ кадров (Рис.6).

Рис. 6. Анимированный просмотр кадров, созданных на основе 2D+Depth.

Некоторые марки AS3D дисплеев (Philips, Dimenco и др.) умеют воспроизводить видео в формате 2D+Depth. Расчет «видов» — разных ракурсов — выполняется средствами дисплеев.

Другие марки дисплеев, например Realcel, Alioscopy и др. принимают на вход видеоматериалы в формате Multiview.
Программа DepthGate умеет выполнить расчет и подготовить видео в таком формате.

Для расчета переходим на закладку Multiview (Рис. 7). Программа автоматически выполняет расчет заданного количества кадров (9, 8, или 5) и показывает полученные кадры в режиме мозаики.

Рис. 7. Расчет и показ 9 кадров в режиме мозаики.

Полученные кадры Multiview можно более детально рассмотреть в режиме «Select Frame» кадр за кадром, либо в режиме анимации кадров (Рис.8 ).

Рис 8. Просмотр кадров Multiview в режиме анимации.

Наконец мы подошли к самому интересному. Мы недаром выбрали сложный кадр, а с целью показать, как программа DepthGate справится с таким случаем.
Действительно, неоднозначность в назначении удаленности от наблюдателя при определении Depth на прозрачных объектах ведет к тому, что задний план искажается в местах перекрытия полупрозрачными объектами.
Например, на Рис. 8 видно, как изменяются контуры людей и объектов на склоне холма, которые видны сквозь брызги воды (Рис.8 — на участке между стрелками).
DepthGate во многих случаях позволяет исправить ситуацию. Для этого используется алгоритм генерации кадров с учетом двух исходных кадров стереопары.
На Рис. 9 показаны настройки, которые надо сделать чтобы воспользоваться методом генерации по двум кадрам.

Рис. 9 Два метода генерации. Слева в режиме 2D+Depth, справа — режим по двум исходным кадрам.

Сравнение двух типов генерации показано на рис 10.

Рис. 10. Два типа генерации. Слева — по одному кадру и карте глубины. Справа — по двум исходным кадрам.

 Подобные ситуации с полупрозрачными объектами встречаются в случаях, когда в видеоматериале есть стекло, отражения, вода, дым и т.п.
Приведем еще примеры использования расчета по двум кадрам.

Пыль. На Рис. 11 показана серия, созданная по одному кадру и карте глубины (2D+Depth). На Рис. 12 — серия, полученная по двум кадрам.

Рис. 11. Генерация по 2D+Depth — обратите внимание, как искажаются контуры колеса и части гусеницы на заднем плане.

Рис. 12. Генерация по двум кадрам 2(2D+Depth). Колеса и задняя гусеница, проглядывающая сквозь пыль, выглядят более натурально.

Полупрозрачность. На Рис. 13 показан кадр стереоизображения со стрекозой и карта глубины, рассчитанная DepthGate для каждого кадра. Крылья насекомого полупрозрачные — это особый случай для преобразования в многоракурсное 3D. На рис 14 показано, как DepthGate справился с этой задачей-  серия из 9 кадров (9-view), созданная по двум кадрам (и двум картам глубины) . На Рис. 15 — эта же серия в виде анимации.

Рис. 14. Стереопара и карта глубины для каждого кадра

Рис. 14. 9 кадров получены путем рендеринга по двум кадрам стереопары

Рис. 15. Генерация по двум кадрам 2D+Depth — изображение выглядит более реалистичным.

Заключение.

Генерация по двум кадрам позволяет получить более реалистичное изображение во многих случаях.
Генерация по одному кадру и карте глубины дает возможность более широко менять настройки параллакса (силу 3D эффекта).
В зависимости от характера сцены пользователь может выбирать метод генерации, чтобы добиться лучшего эффекта.
Для каждой сцены в видео могут быть свои настройки генерации.
В результате при конвертации видео можно добиваться оптимальных результатов для каждой сцены.