RU2010123652A - Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником - Google Patents

Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником Download PDF

Info

Publication number
RU2010123652A
RU2010123652A RU2010123652/07A RU2010123652A RU2010123652A RU 2010123652 A RU2010123652 A RU 2010123652A RU 2010123652/07 A RU2010123652/07 A RU 2010123652/07A RU 2010123652 A RU2010123652 A RU 2010123652A RU 2010123652 A RU2010123652 A RU 2010123652A
Authority
RU
Russia
Prior art keywords
image
depth
pixel
images
disparity
Prior art date
Application number
RU2010123652/07A
Other languages
English (en)
Inventor
Артём Константинович Игнатов (RU)
Артём Константинович Игнатов
Original Assignee
Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR)
Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR), Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." filed Critical Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR)
Priority to RU2010123652/07A priority Critical patent/RU2010123652A/ru
Priority to US13/105,938 priority patent/US20110304708A1/en
Publication of RU2010123652A publication Critical patent/RU2010123652A/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. Способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающий выполнение следующих операций: ! - выполняют начальную оценку диспарантности/глубины для исходного стереоизображения; ! - подстраивают параметры восприятия глубины; ! - формируют новое стереоизображение в соответствии с параметрами восприятия глубины; ! - выполняют пост-обработку нового стереоизображения с помощью пространственного фильтра дизоклюзий; ! - формируют многовидовые изображения в соответствии с параметрами восприятия глубины и сформированным стереоизображением; ! - выполняют пост-обработку многовидовых изображений с помощью пространственного фильтра дизоклюзий. ! 2. Способ по п.1, отличающийся тем, что параметры восприятия глубины подстраивают с помощью пользовательского управления. ! 3. Способ по п.1, отличающийся тем, что параметр восприятия глубины представляют параметром D, который изменяется от -0,5 до 0,5, причем значение D ниже 0 соответствует увеличению стереоскопического параллакса между изображениями для левого глаза и правого глаза, а значение D выше 0 соответствует уменьшению стереоскопического параллакса между изображениями для левого глаза и правого глаза. ! 4. Способ по п.1, отличающийся тем, что новое стереоизображение синтезируют путем визуализации виртуального изображения для левого глаза из исходного изображения для левого глаза, а визуализацию виртуального изображения для правого глаза осуществляют из исходного изображения для правого глаза. ! 5. Способ по п.1, отличающийся тем, что для нов�

Claims (17)

1. Способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающий выполнение следующих операций:
- выполняют начальную оценку диспарантности/глубины для исходного стереоизображения;
- подстраивают параметры восприятия глубины;
- формируют новое стереоизображение в соответствии с параметрами восприятия глубины;
- выполняют пост-обработку нового стереоизображения с помощью пространственного фильтра дизоклюзий;
- формируют многовидовые изображения в соответствии с параметрами восприятия глубины и сформированным стереоизображением;
- выполняют пост-обработку многовидовых изображений с помощью пространственного фильтра дизоклюзий.
2. Способ по п.1, отличающийся тем, что параметры восприятия глубины подстраивают с помощью пользовательского управления.
3. Способ по п.1, отличающийся тем, что параметр восприятия глубины представляют параметром D, который изменяется от -0,5 до 0,5, причем значение D ниже 0 соответствует увеличению стереоскопического параллакса между изображениями для левого глаза и правого глаза, а значение D выше 0 соответствует уменьшению стереоскопического параллакса между изображениями для левого глаза и правого глаза.
4. Способ по п.1, отличающийся тем, что новое стереоизображение синтезируют путем визуализации виртуального изображения для левого глаза из исходного изображения для левого глаза, а визуализацию виртуального изображения для правого глаза осуществляют из исходного изображения для правого глаза.
5. Способ по п.1, отличающийся тем, что для нового стереоизображения устанавливают уменьшенный стереоскопический параллакс и соответственно уменьшенное восприятие глубины в сравнении с исходным стереоизображением за счет формирования виртуального изображения для левого глаза в отрицательном направлении оси Х исходного изображения для левого глаза и формирования виртуального изображения для правого глаза в положительном направлении оси Х исходного изображения для правого глаза, причем центр координат системы координат для исходных изображений для левого и правого глаза помещают в левом нижнем углу изображений.
6. Способ по п.1, отличающийся тем, что для нового
стереоизображения устанавливают увеличенный стереоскопический параллакс и соответственно увеличенное восприятие глубины в сравнении с исходным стереоизображением за счет формирования виртуального изображения для левого глаза в положительном направлении оси Х исходного изображения для левого глаза и формирования виртуального изображения для правого глаза в отрицательном направлении оси Х исходного изображения для правого глаза, причем центр координат системы координат для исходных изображений для левого и правого глаза помещают в левом нижнем углу изображений.
7. Способ по любому из пп.5 и 6, отличающийся тем, что виртуальное изображение формируют в отрицательном направлении оси Х опорного изображения при помощи фильтра отображения виртуального изображения на основе карты диспарантности как
Figure 00000001
,
где v - сформированное виртуальное изображение; S(x, y) - пиксел RGB из опорного изображения с координатами (x, y); Dcr - значение диспарантности для пикселя (x, y) опорного изображения; width - ширина изображения; height - высота изображения; Ph(x, y) - размер ядра фильтра отображения виртуального изображения для пикселя опорного изображения с координатами (x, y), причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
8. Способ по п.7, отличающийся тем, что размер ядра Ph(x, y) фильтра отображения виртуального изображения для пикселя (x, y) определяют как
Figure 00000002
где Dpr - значение диспарантности для пикселя (х-1, y);
Dcr - значение диспарантности для пикселя (x, y).
9. Способ по любому из пп.5 и 6, отличающийся тем, что маску для фильтра дизоклюзии формируют по нижеприведенной формуле, если виртуальное изображение должно быть визуализировано в отрицательном направлении оси Х опорного изображения
Figure 00000003
где m - бинарная маска, в которой 0 обозначает область дизоклюзии, и 1 обозначает область нормального пикселя;
Е(х, y) пиксел из бинарного изображения I, в котором все пиксели установлены на 1;
Dcr - вектор диспарантности для текущего пикселя (х, y) на карте диспарантности d;
width - ширина изображения; и height - высота изображения, причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
10. Способ по любому из пп.5 и 6, отличающийся тем, что виртуальное изображение формируют в положительном направлении оси Х опорного изображения при помощи фильтра отображения виртуального изображения на основе карты диспарантности как
Figure 00000004
где v - сформированное виртуальное изображение; S(х, y) - пиксел RGB из опорного изображения координатами (х, y); Dcr - значение диспарантности для пикселя (х, y) опорного изображения; width - ширина изображения; height - высота изображения; Ph(х, y) - размер ядра фильтра отображения виртуального изображения для пикселя опорного изображения с координатами (х, y), причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
11. Способ по п.10, отличающийся тем, что размер ядра Ph(х, y) фильтра отображения виртуального изображения для пикселя (х, y) определяют как
Figure 00000005
где Dpr - значение диспарантности для пикселя (х-1, y);
Dcr - значение диспарантности для пикселя (х, y).
12. Способ по любому из пп.5 и 6, отличающийся тем, что маску для фильтра дизоклюзии формируют по нижеприведенной формуле, если виртуальное изображение должно быть визуализировано в положительном направлении оси Х опорного изображения
Figure 00000006
,
где m - бинарная маска, в которой 0 обозначает область дизоклюзии, и 1 обозначает область нормального пикселя;
Е(х, y) - пиксель из бинарного изображения I, в котором все пиксели установлены на 1;
Dcr - вектор диспарантности для текущего пикселя (х, y) на карте диспарантности d;
width - ширина изображения; и height - высота изображения, причем центр координат системы координат для опорного изображения помещают в левом нижнем углу изображения.
13. Способ по п.1, отличающийся тем, что в процесс постобработки виртуального изображения включают фильтрацию для областей дизоклюзии, для которых бинарная маска m=0
Figure 00000007
,
где SpatialFilter () является функцией для вычисления отфильтрованного значения для пикселей RGB по соседству с пикселем (х, y);
I(х, y) - пиксель виртуального изображения.
14. Способ по п.13, отличающийся тем, что для пост-обработки используют Гауссовский фильтр.
15. Способ по п.1, отличающийся тем, что крайнее виртуальное изображение для левого глаза и крайнее виртуальное изображение для правого глаза формируют вместе с их картой глубины для визуализации последовательности многовидовых изображений, с последующей визуализацией промежуточных виртуальных изображений, причем промежуточные виртуальные изображения формируют с использованием крайних изображений и их карт глубин.
16. Система визуализации стереоизображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающая в себя: блок 102 оценки диспарантности, блок 103 управления глубиной, блок 104 визуализации, при этом первый выход блока 102 оценки диспарантности связан с первым входом блока 104 визуализации изображения, и второй выход блока 102 оценки диспарантности связан с входом блока 103 управления глубиной, выход которого связан со вторым входом блока 104 визуализации изображения.
17. Система визуализации многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником, включающая в себя блок 202 оценки диспарантности, блок 203 управления глубиной, блок 204 визуализации изображения, при этом первый выход блока 202 оценки диспарантности связан с первым входом блока 204 визуализации изображения, и второй выход 202 блока оценки диспарантности связан со входом блока 203 управления глубиной, выход которого связан со вторым входом блока 204 визуализации изображения.
RU2010123652/07A 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником RU2010123652A (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US13/105,938 US20110304708A1 (en) 2010-06-10 2011-05-12 System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником

Publications (1)

Publication Number Publication Date
RU2010123652A true RU2010123652A (ru) 2011-12-20

Family

ID=45095931

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010123652/07A RU2010123652A (ru) 2010-06-10 2010-06-10 Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником

Country Status (2)

Country Link
US (1) US20110304708A1 (ru)
RU (1) RU2010123652A (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530660C1 (ru) * 2013-02-26 2014-10-10 Владимир Николаевич Антипов Способ выявления диапазона условий восприятия глубины образов плоскостных изображений

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013013356A2 (pt) * 2010-12-03 2016-09-13 Sharp Kk dispositivo de processamento de imagem, método de processamento de imagem e programa de processamento de imagem
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
CN103518221B (zh) * 2011-05-11 2017-03-08 I<sup>3</sup>研究所股份有限公司 图像处理装置及方法、用计算机程序进行图像处理的方法
JP2014528190A (ja) * 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP6113411B2 (ja) * 2011-09-13 2017-04-12 シャープ株式会社 画像処理装置
US9451232B2 (en) 2011-09-29 2016-09-20 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9392251B2 (en) * 2011-12-29 2016-07-12 Samsung Electronics Co., Ltd. Display apparatus, glasses apparatus and method for controlling depth
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3ｄ 영상을 출력하기 위한 장치 및 방법
WO2013143113A1 (en) 2012-03-30 2013-10-03 Intel Corporation Techniques for media quality control
US20130265395A1 (en) * 2012-04-10 2013-10-10 John D. Vala System and Method for Generation of Stereo Imagery
US9106908B2 (en) * 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US20140160256A1 (en) * 2012-12-10 2014-06-12 Daniel Avrahami Apparatus and techniques to provide variable depth display
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
WO2014156257A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9866813B2 (en) 2013-07-05 2018-01-09 Dolby Laboratories Licensing Corporation Autostereo tapestry representation
KR102130123B1 (ko) 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
EP2950269A1 (en) * 2014-05-27 2015-12-02 Thomson Licensing Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
CN104185011B (zh) * 2014-08-26 2016-06-01 四川虹微技术有限公司 一种多视点图像融合装置
CN104717514B (zh) * 2015-02-04 2018-03-02 四川长虹电器股份有限公司 多视点图像渲染系统及方法
CN108141593B (zh) * 2015-07-31 2022-05-03 港大科桥有限公司 用于针对深度视频的高效帧内编码的基于深度不连续的方法
US11463676B2 (en) * 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US9681801B1 (en) 2017-01-09 2017-06-20 Marvin Efron Efron stereopter
JP7227165B2 (ja) * 2017-03-07 2023-02-21 ８２５９４０２ カナダ インコーポレイテッド ディスプレイにおける虚像を制御する方法
CN117873313A (zh) 2017-03-17 2024-04-12 奇跃公司 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
WO2020023383A1 (en) * 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10885702B2 (en) * 2018-08-10 2021-01-05 Htc Corporation Facial expression modeling method, apparatus and non-transitory computer readable medium of the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
JP3942789B2 (ja) * 2000-02-22 2007-07-11 独立行政法人科学技術振興機構 背景付き立体像再生装置
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
JP2004070793A (ja) * 2002-08-08 2004-03-04 Ge Medical Systems Global Technology Co Llc ３次元空間フィルタ装置および方法
AU2002355052A1 (en) * 2002-11-28 2004-06-18 Seijiro Tomita Three-dimensional image signal producing circuit and three-dimensional image display apparatus
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530660C1 (ru) * 2013-02-26 2014-10-10 Владимир Николаевич Антипов Способ выявления диапазона условий восприятия глубины образов плоскостных изображений

Also Published As

Publication number Publication date
US20110304708A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
RU2010123652A (ru) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US9401039B2 (en) Image processing device, image processing method, program, and integrated circuit
WO2011052389A1 (ja) 画像処理装置及び画像処理方法
EP2469870A2 (en) Image processing device, image processing method, and program
KR20130079580A (ko) 사용자 선호도들에 기초하여 3d 비디오 렌더링을 조정하기 위한 3d 비디오 제어 시스템
US9172939B2 (en) System and method for adjusting perceived depth of stereoscopic images
US9596445B2 (en) Different-view image generating apparatus and different-view image generating method
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
JP2012138885A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101956353B1 (ko) 영상 처리 장치 및 3d 영상 생성 방법
CN102368826A (zh) 双视点视频到多视点视频的实时自适应生成方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
EP2498501A2 (en) 3D image display method and apparatus thereof
Li et al. 3D synthesis and crosstalk reduction for lenticular autostereoscopic displays
JP5210416B2 (ja) 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
JP2014506768A (ja) 三次元シーンの深さデータの処理
CN103037236A (zh) 图像处理方法以及装置
US20130187907A1 (en) Image processing apparatus, image processing method, and program
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101329069B1 (ko) 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
JP2012034336A (ja) 立体画像生成装置及び方法
US20150334364A1 (en) Method and device for generating stereoscopic video pair

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20120210