RU2600524C2 - Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение - Google Patents
Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение Download PDFInfo
- Publication number
- RU2600524C2 RU2600524C2 RU2014129256/08A RU2014129256A RU2600524C2 RU 2600524 C2 RU2600524 C2 RU 2600524C2 RU 2014129256/08 A RU2014129256/08 A RU 2014129256/08A RU 2014129256 A RU2014129256 A RU 2014129256A RU 2600524 C2 RU2600524 C2 RU 2600524C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- images
- converting
- stereoscopic
- quasi
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Изобретение относится к области мультимедиа, обработке или генерации данных изображения. Техническим результатом является автоматизация процесса конвертации изображения. Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары характеризуется тем, что указанную поверхность формируют небольшим количеством простых поверхностей, например плоскостей, или Гауссовых поверхностей, или фрагментов цилиндрических поверхностей, или фрагментов поверхностей эллипсоидов. 3 ил.
Description
Настоящее изобретение относится к области мультимедиа, обработке или генерации данных изображения.
В настоящее время в Интернете предлагается большое количество приложений, в том числе бесплатных, для конвертации 2D-изображений и 2D-видео в формат 3D. Примером могут служить приложения:
- Axara 2D to 3D Video Converter,
- MakeMe3D,
- Xilisoft 3D Video Converter,
- T3D - 2D to 3D Converter и ряд др.
В этих приложениях применены сравнительно несложные способы конвертации, при этом результат конвертации оказывается невысокого качества, о чем отмечается в ряде сайтов. В настоящее время конвертацией 2D-фильмов в 3D-формат занимаются компании и студии, например: Warner Bros, Walt Disney, Lionsgate, Samsung, Hive Studio, Twentieth Century Fox, которые в своей работе для получения качественных результатов используют более совершенные способы, чем использующиеся в приложениях, представленных в Интернете.
Рассмотрим эти способы.
1. Способ конвертации 2D-изображений и фильмов в 3D-формат, при реализации которого:
- вначале выполняется моделирование в 3D-средах объектов, близких по параметрам к объектам, изображенным на 2D-изображениях, т.е. всего, что имеется в 2D-изображениях. В качестве таких сред могут быть программы 3Ds max, Maya, Poser и др.;
- затем выполняется проецирование изображений всех объектов, взятых из плоской картинки, на эти модели;
- далее посредством фотографирования двумя виртуальными камерами получаются левое и правое изображения стереопары этих объектов.
Другими словами, здесь речь идет о том, что вначале путем ручного моделирования создается 3D-изображение той части сцены, которая представлена на 2D-изображении, а затем посредством двух виртуальных камер фотографируется стереоскопическая пара изображений этой сцены.
Приводимая Фиг. 1 поясняет описанный выше способ на примере конвертации исходного 2D-изображения одного-единственного объекта, которым является голова человека, в 3D-формат. На этом рисунке показаны модель объекта, близкая по параметрам к объекту, изображенному на исходном изображении (головы человека), созданная посредством программы 3Ds max, и две виртуальные камеры, направленные на эту модель слева и справа. Перед тем как делать фотографии левого и правого изображения стереопары, на модель спереди (т.е. от зрителя) проецируется исходное 2D-изображение. После того как получены левое и правое изображения стереопары, они объединяются в один из стандартных форматов, например анаглифный или МРО, посредством одной из хорошо известных программ, во множестве представленных в Интернете, например StereoPhotoMaker.
Недостатком этого способа является высокая трудоемкость процесса моделирования объектов, близких по параметрам к объектам, изображенным на исходных 2D-изображениях, поскольку процесс моделирования должен выполняться вручную [Сайт ″Конвертация 2d в 3d. Что такое псевдостерео?″ http://www.televizor-3d.ru/konvertaciya-2-d-v-3d.html]
2. Компания Stereo D осуществляет конвертацию обычных 2D-фильмов в 3D формат путем рисования масок с последующим ручным построением карты глубины. Как отмечают представители этой компании, недостатком данной технологии являются большие затраты труда. Так, по сообщению компании, над конвертацией фильма Титаник, продолжающегося 194 минуты, работали 300 человек в течение 15 месяцев, и стоила эта работа 18 миллионов долларов. Принимая во внимание, что фильм содержит 270 тысяч кадров, а также, что месяц состоит из 25 рабочих дней, а рабочий день из 8 часов, найдем, что конвертация каждого отдельного кадра в среднем занимала около 200 минут или около 2-х с лишним часов [Сайт ″Конвертация 2d в 3d. Что такое псевдостерео?″ http://www.televizor-3d.ru/konvertaciya-2-d-v-3d.html]. [Сайт ″Почему ″Титаник″ стоит смотреть в стерео 3D″ http://total3d.ru/diy/92707/].
3. Компания Samsung, рекламируя выпускаемые ею 3D-телевизоры, приводит лишь поверхностное описание используемого способа и реализующего его алгоритма конвертации 2D-изображений в 3D. Согласно этому описанию конвертация обеспечивается сверхмощным видеопроцессором 3D Hyper Real Engine, управляющим каждым пикселем цифрового изображения. Процесс конвертации изображения проходит в режиме реального времени и разделен на четыре этапа:
- на первом этапе искусственный интеллект анализирует картинку, разбивая ее на отдельные условные объекты - «человек», «деревья», «дорога» и т.д.;
- во время второго этапа алгоритм определяет дальность расположения объектов от зрителя на основе нескольких критериев - размер, четкость, яркость. Чем детальней прорисовка текстур и крупней габариты, тем меньшей окажется вычисленная дистанция;
- затем проводится вычисление бинокулярного смещения: достигая больших значений на переднем плане, оно пропорционально уменьшается на среднем и заднем планах;
- в завершении процесса конвертации алгоритм прорисовывает парное бинокулярное изображение, которое в сочетании с исходной плоской картинкой создает эффект 3D-глубины. Из этого описания неясно, каким образом, не привлекая человека, удается осуществить ″разбиение″ (сегментацию) картинки на ″отдельные условные объекты″, поскольку в случае даже не очень сложных изображений этот процесс должен быть семантическим (смысловым). Как известно, проблема семантической сегментации в общем случае до настоящего времени остается нерешенной. Если же судить по результатам работы 3D-телевизоров в режиме конвертации, то, как отмечают многие эксперты, а также авторы предлагаемого решения, результат получается очень слабым. [Сайт ″Как работает технология конвертации изображения из 2D в 3D компании Samsung″ http://www.upweek.ru/kak-rabotaet-texnologiya-konvertacii-izobrazheniya-iz-2d-v-3d-kompanii-samsung.html].
4. В случае простейших преобразователей 2D-изображений в 3D-изображения (аналогично фильмам), которые можно найти в Интернете, прибегают к простейшему способу, заключающемуся в том, что из исходного 2D-изображения изготавливают два изображения, смещенных от исходного изображения вправо и влево на небольшую постоянную величину. При этом, наблюдая такую пару изображений на экране 3D-телевизора, создается впечатление, что наблюдаемое изображение смещено в пространстве относительно экрана вперед или назад. Однако изображенные на картинке объекты по-прежнему находятся в одной плоскости - плоскости исходного изображения, смещенного относительно экрана вперед или назад и соответственно несколько уменьшенного или увеличенного. Слабый эффект, возникающий при наблюдении границ изображения, выдвинутых из плоскости экрана вперед или вдвинутых назад, практически не создает иллюзии объема. Это неоднократно отмечалось экспертами. Примером таких программ является программа компании Engelmann Media Software MakeMe3D [Сайт разработчика: http://www.engelmann.com/eng/makeme3d.php].
5. Патент №2471239 относится к формированию 3D-изображения на основе набора 2D-изображений, полученных при "фотографировании" объекта под различными углами за счет его вращения вокруг своей оси. Наличие в качестве исходных данных не одного, а ряда изображений, т.е. набора, позволяет сформировать целиком 3D-изображение объекта, которое при необходимости можно, поворачивая, рассматривать со всех сторон. Такая необходимость, например, часто возникает в медицине. Эта особенность принципиально отличает запатентованный способ от любого способа конвертации 2D-изображения в 3D-изображение, поскольку при конвертации в качестве исходного имеется, а, следовательно, и используется только одно изображение и не более. Имея в качестве исходного всего одно 2D-изображение, невозможно сформировать 3D-изображение, однако можно с той или иной степенью приближения конвертировать его в стереоскопическое изображение, которое можно рассматривать только с одной стороны. Т.е. конвертация решает более скромную задачу. В настоящее время конвертацию часто применяют для преобразования обычных фильмов в стереоскопические, которые в рекламных целях называют 3D-фильмами.
Наиболее близким к заявленному способу конвертации 2D-изображений в квазистереоскопические 3D-изображения является способ конвертации 2D-фильмов в 3D формат, описанный в пункте 1, который выбран в качестве прототипа. Сущность этого способа заключается в изготовлении в 3D средах 3D моделей для каждого из объектов, присутствующих в конвертируемых 2D-изображениях, с последующей проекцией 2D-изображений этих объектов на изготовленные модели, т.е. в ручном изготовлении (по существу, рисовании) 3D-изображения сцены с последующим изготовлением стереопары посредством двух виртуальных камер.
Недостатком технического решения, использованного в прототипе, являются большие затраты времени и ручного труда, поскольку изготовление 3D-моделей объектов, например изготовление 3D-модели человека, дерева, дороги, автомобиля, используя для этой цели даже такие мощные программы, как 3Ds max, Maya, Poser и др., требует много времени и ручного труда.
Технический результат предлагаемого решения
Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение позволяет существенно сократить объем ручного труда при обеспечении высокого качества конечного результата и тем самым существенно уменьшить время, а следовательно, и стоимость конвертации по сравнению с существующими в настоящее время, т.е. значительно повысить производительность труда.
Сущность предлагаемого решения
Предлагается способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары, характеризующийся тем, что указанную поверхность формируют не менее одной простой поверхностью, по меньшей мере плоскостью, или Гауссовой поверхностью, или фрагментом цилиндрической поверхности, или фрагментом поверхности эллипсоида.
Заявляемый способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение возник в результате исследований моделей функционирования зрительной системы человека, проводимых авторами изобретения в течение последних 15 лет и опубликованных в отечественной и зарубежной печати [Сайт Н.Н. Красильникова http://guap.ru/guap/kaf53old42/prep03_main.shtml].
В результате этих исследований было экспериментально показано, что при формировании стереоскопического изображения могут быть допущены весьма большие искажения в передаче глубины отдельных участков передаваемой сцены и при этом они остаются незаметными для зрителя, не нарушая ощущения глубины наблюдаемой сцены.
Благодаря этой особенности зрительного восприятия человека в отличие от прототипа оказывается возможным заменить формирование 3D моделей для каждого из объектов, присутствующих в конвертируемом изображении, что трудоемко, формированием поверхности, составленной из небольшого количества простых поверхностей без внесения в стереоскопическое изображение заметных зрителю искажений. В качестве таких поверхностей, как показали экспериментальные исследования, хорошие результаты дает применение плоскостей, Гауссовых поверхностей, фрагментов цилиндрических поверхностей и фрагментов поверхностей эллипсоидов. Параметры этих поверхностей легко подбираются экспериментально для каждого конвертируемого изображения.
Дальнейшая процедура получения стереоскопической пары изображений (в нашем случае мы применяем термин квазистереоскопической пары), а именно проецирование изображения плоской картинки на созданную таким образом поверхность и последующее фотографирование получившегося результата двумя виртуальными камерами для получения левого и правого изображений стереопары, не отличается от процедуры, применяемой в прототипе. Здесь, как и в прототипе, после того как получены левое и правое изображения стереопары, они объединяются в один из стандартных форматов, например анаглифный или МРО, посредством одной из хорошо известных программ, во множестве представленных в Интернете, например StereoPhotoMaker.
На фиг. 2 приведен случай, когда поверхность, на которую спереди проецируется 2D-изображение и затем фотографируется двумя виртуальными камерами, состоит из двух плоскостей, помещенных под углом друг к другу.
На фиг. 3а, 3б и 3в в качестве примера показаны виды Гауссовой поверхности, фрагмента цилиндрической поверхности и фрагмента поверхности эллипсоида.
Замена 3D моделей объектов, используемых в прототипе, на поверхность, составленную из небольшого количества простых поверхностей, предлагаемая в данном изобретении, позволяет достичь главного результата - существенного сокращения объема ручного труда, а следовательно, времени и стоимости конвертации. Многочисленные эксперименты по конвертации самых различных изображений показали, что при рассматривании полученных таким образом квазистереоскопических 3D-изображений возникает полная иллюзия глубины наблюдаемой сцены и в то же время оказываются неразличимы искажения, обусловленные тем, что при формировании квазистереоскопического 3D-изображения описанным способом были допущены искажения в передаче глубины отдельных участков передаваемой сцены.
Заявляемый способ может быть применен:
- для конвертации 2D-изображений в квазистереоскопические 3D-изображения;
- для конвертации 2D-фильмов в квазистереоскопические 3D-фильмы;
- для реализации функции конвертации 2D-видео в квазистереоскопическое 3D-видео в современных 3D-телевизорах.
Claims (1)
- Способ конвертации 2D-изображения в квазистереоскопическое 3D-изображение путем проецирования на составную 3D-поверхность исходного 2D-изображения с последующим фотографированием этой поверхности двумя виртуальными камерами для получения левого и правого изображений стереопары, отличающийся тем, что указанную поверхность формируют не менее одной простой поверхностью, по меньшей мере плоскостью, или Гауссовой поверхностью, или фрагментом цилиндрической поверхности, или фрагментом поверхности эллипсоида.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2014129256/08A RU2600524C2 (ru) | 2014-07-15 | 2014-07-15 | Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2014129256/08A RU2600524C2 (ru) | 2014-07-15 | 2014-07-15 | Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2014129256A RU2014129256A (ru) | 2016-02-10 |
RU2600524C2 true RU2600524C2 (ru) | 2016-10-20 |
Family
ID=55313122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014129256/08A RU2600524C2 (ru) | 2014-07-15 | 2014-07-15 | Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2600524C2 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2752421C1 (ru) * | 2018-05-23 | 2021-07-28 | Сцивита Медикал Текнолоджи Ко., Лтд. | Способ и устройство обработки изображений и система трехмерной визуализации |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2202860C2 (ru) * | 2001-06-08 | 2003-04-20 | ЕЖОВ Василий Александрович | Способ и устройство (его варианты) для получения объемного изображения |
RU2519518C2 (ru) * | 2008-06-06 | 2014-06-10 | Сони Корпорейшн | Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа |
-
2014
- 2014-07-15 RU RU2014129256/08A patent/RU2600524C2/ru active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2202860C2 (ru) * | 2001-06-08 | 2003-04-20 | ЕЖОВ Василий Александрович | Способ и устройство (его варианты) для получения объемного изображения |
RU2519518C2 (ru) * | 2008-06-06 | 2014-06-10 | Сони Корпорейшн | Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2752421C1 (ru) * | 2018-05-23 | 2021-07-28 | Сцивита Медикал Текнолоджи Ко., Лтд. | Способ и устройство обработки изображений и система трехмерной визуализации |
Also Published As
Publication number | Publication date |
---|---|
RU2014129256A (ru) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20120176481A1 (en) | Processing image data from multiple cameras for motion pictures | |
JP4963124B2 (ja) | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム | |
CN102362495A (zh) | 用于具有显示墙的视频会议端点的多个相机的组合视图 | |
TW201243763A (en) | Method for 3D video content generation | |
JP2005529559A (ja) | モノスコープ・イメージから立体的なイメージを生成するための方法 | |
TWI508529B (zh) | 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式 | |
KR101828805B1 (ko) | 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치 | |
Rotem et al. | Automatic video to stereoscopic video conversion | |
CN103716615A (zh) | 基于样本学习和深度图像传播的2d视频立体化方法 | |
Maruyama et al. | A 3-d display pipeline from coded-aperture camera to tensor light-field display through cnn | |
RU2600524C2 (ru) | Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение | |
JP6441552B2 (ja) | 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム | |
JP5373931B2 (ja) | 仮想視点画像生成方法,仮想視点画像生成装置および仮想視点画像生成プログラム | |
JP2015019326A (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
KR101028342B1 (ko) | 2차원 플래시 애니메이션을 입체 3차원 플래시 애니메이션으로 변환하는 방법 | |
JP7257152B2 (ja) | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム | |
US9866813B2 (en) | Autostereo tapestry representation | |
WO2012014494A1 (en) | Image processing apparatus and method and program | |
JP7393931B2 (ja) | 画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラム | |
KR101633634B1 (ko) | 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치 | |
KR101231661B1 (ko) | 컬러세그먼트 추출과 깊이지도를 활용한 입체영상 제작 방법 | |
JP4764516B1 (ja) | 多視点画像符号化装置 | |
TW201605241A (zh) | 用於嵌入立體影像的系統、方法及其軟體產品 | |
Yanaka et al. | P‐9: Integral Imaging of 3‐D CG Animation Using a Laptop PC and General‐purpose Fly's Eye Lens | |
Chandran | novel algorithm for converting 2D image to stereoscopic image with depth control using image fusion |