JP5248709B2 - 立体映像表示装置及び方法 - Google Patents
立体映像表示装置及び方法 Download PDFInfo
- Publication number
- JP5248709B2 JP5248709B2 JP2012513385A JP2012513385A JP5248709B2 JP 5248709 B2 JP5248709 B2 JP 5248709B2 JP 2012513385 A JP2012513385 A JP 2012513385A JP 2012513385 A JP2012513385 A JP 2012513385A JP 5248709 B2 JP5248709 B2 JP 5248709B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- viewpoint
- map
- viewing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Holo Graphy (AREA)
Description
尚、各実施形態において、説明済みの他の実施形態と同一または類似の要素には同一または類似の符号を付し、重複する説明を基本的に省略する。
図1に示されるように、第1の実施形態に係る立体映像表示装置は、提示部51と、表示部(ディスプレイ)104とを備える。提示部51は、見えのよさ算出部101と、マップ生成部102と、セレクタ103とを含む。
表示部104は、立体映像信号12に含まれる複数の視点画像(信号)を表示する。表示部104は、典型的には液晶ディスプレイであるが、プラズマディスプレイ、OLED(有機発光ダイオード)ディスプレイなどの他のディスプレイであってもよい。
即ち、任意の視聴位置において、全ての光線制御素子からの放射輝度を算出すれば、図15A、図15B、図16A、図16Bに示されるような輝度プロファイルが得られる。尚、以降の説明において、前述の光線制御素子毎の輝度プロファイルとの区別のために、係る視聴位置毎の輝度プロファイルは視点輝度プロファイルと称される。
ここで、Ωは表示部104に備えられる全ての光線制御素子の位置ベクトルsを包含する集合である。尚、光線制御素子位置sから出力される光線には、位置ベクトルsの光線制御素子の背面にあるサブ画素のみではなくその周辺にあるサブ画素からの光線も含まれるので、数式(2)において、位置ベクトルsの光線制御素子の背面の画素のみではなく、その周辺のサブ画素値も含めた和が計算される。
即ち、視点画像の総数をNとすれば、位置ベクトルpの視聴位置において、位置ベクトルsの光線制御素子からの各視点画像の光線によって知覚される輝度は、下記の数式(4)で表すことができる。
尚、上記数式(4)は、下記数式(5),(6)を利用して、下記数式(7)のように表すこともできる。
更に、視聴位置pにおいて観察できる画像を1次元ベクトルY(p)とすれば、下記の数式(8)でこれを表すことができる。
ここで、上記数式(8)を直感的に説明する。例えば、図12に示されるように、中央の光線制御素子からの光線のうち、右目では視点画像5の光線が知覚され、左目では視点画像7の光線が知覚される。故に、視聴者の両目には相異なる視点画像が知覚され、この視点画像間の視差によって立体視が可能になる。つまり、視聴位置pが異なることで、異なる映像が知覚されることにより立体視を可能にする。
尚、以降の説明において、||Lはベクトルのノルムを表し、L1ノルムないしL2ノルムが用いられる。
数式(10)において、σ1は、表示部104に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。また、Ωは表示部104に備えられる全ての光線制御素子の位置ベクトルsを包含する集合である。見えのよさQ0によれば、逆視の発生する光線制御素子の個数(の少なさ)を評価することができる。見えのよさ算出部101は、見えのよさQ0を最終的な見えのよさとして出力してもよいし、後述するように異なる演算を施してもよい。
数式(11)において、σ2は、表示部104に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。数式(11)によれば、画面端において生じる逆視が画面中央において生じる逆視に比べて目立ちにくいという主観的な性質が考慮される。即ち、逆視が生じた場合にε(s)が返す値は、表示部104の中心からの距離が大きい光線制御素子ほど小さくなる。
数式(12)において、σ3は、表示部104に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。
エネルギーEは下記の数式(15)のよう書き換えることができる。数式(15)を最小化するような視聴位置pに両眼の中心があるときに数式(8)によるボケの影響が低減された先鋭な画像を観察することが可能になる。このような視聴位置pは1つないし複数設定することが可能であり、以降の説明ではこれらを設定視点Cjで表わす。
例えば図21のC1,C2は上記の設定視点を表している。設定視点とほぼ同じ視点輝度プロファイル行列は、先に述べたように異なる視点位置においても周期的に出現するので、例えば、図21、C’1,C’2も設定視点と見なすことが可能である。これらの設定視点の内、視聴位置pともっとも近い設定視点を、式(7)においてC(p)で表わしている。見えのよさQ1によれば、設定視点からの視聴位置のずれ(の小ささ)を評価することができる。
処理が開始すると、見えのよさ算出部101は、表示部104に対する視聴位置毎の見えのよさを算出する(ステップS201)。マップ生成部102は、ステップS201において算出された、視聴位置毎の見えのよさを視聴者に提示するマップを生成する(ステップS202)。
図3に示されるように、第2の実施形態に係る立体映像表示装置は、提示部52と、表示部104とを備える。提示部52は、視点選択部111と、見えのよさ算出部112と、マップ生成部102と、セレクタ103とを含む。
処理が開始すると、視点選択部111は、立体映像信号12を入力し、これに含まれる複数の視点画像の表示順をユーザ制御信号11に応じて選択して、立体映像信号13を表示部104に供給する(ステップS211)。
図5に示されるように、第3の実施形態に係る立体映像表示装置は、提示部53と、表示部104とを備える。提示部53は、視点画像生成部121と、見えのよさ算出部122と、マップ生成部102と、セレクタ103とを含む。
映像信号14及びデプス信号15に基づいて生成される立体映像の品質を劣化させる一要因としてオクルージョンが知られている。即ち、映像信号14において参照できない(存在しない)領域(例えば、オブジェクトによって遮蔽される領域(陰面))を、異なる視点の画像では表現しなければならないことがある。この事象は、一般に、映像信号14との間の視点間距離が大きくなるほど、即ち、映像信号14からの視差量が大きくなるほど起こりやすい。例えば、図22の例に関して、i=5に対応する視点画像が映像信号14として与えられているならば、i=6に対応する視点画像に比べてi=9に対応する視点画像の方が、i=5に対応する視点画像において存在しない領域(陰面)が大きくなる。従って、視差量の小さな視点画像を視聴させることでオクルージョンによる立体映像の品質劣化を抑制できる。
更に、見えのよさ算出部122は、数式(16)によって算出した関数λ(s,p,it)を用いて、数式(17)に従って位置ベクトルpの視聴位置における見えのよさQ2を算出する。
数式(17)において、σ4は、表示部104に備えられる光線制御素子の個数が多くなるほど大きな値を持つ定数である。また、Ωは表示部104に備えられる全ての光線制御素子の位置ベクトルsを包含する集合である。見えのよさQ2によれば、オクルージョンによる立体映像の品質劣化の程度を評価することができる。見えのよさ算出部122は、この見えのよさQ2を最終的な見えのよさQとして出力してもよいし、前述の見えのよさQ0またはQ1と組み合わせて最終的な見えのよさQを算出してもよい。即ち、見えのよさ算出部122は、下記の数式(18),(18)などに従って、最終的な見えのよさQを算出してもよい。
以下、図6を用いて図5の立体映像表示装置の動作を説明する。
処理が開始すると、視点画像生成部121は、映像信号14及びデプス信号15に基づく視点画像を生成し、ユーザ制御信号11に応じてこれらの表示順を選択して、立体映像信号16を表示部104に供給する(ステップS221)。
図7に示されるように、第4の実施形態に係る立体映像表示装置は、提示部54と、センサ132と、表示部104とを備える。提示部54は、視点画像生成部121と、見えのよさ算出部122と、マップ生成部131と、セレクタ103とを含む。尚、視点画像生成部121及び見えのよさ算出部122は、見えのよさ算出部101に置き換えられてもよいし、視点画像選択部111及び見えのよさ算出部112に置き換えられてもよい。
ステップS222(或いは、ステップS202またはステップS212でもよい)の終了後、マップ生成部131は算出された見えのよさに応じてマップを生成する。マップ生成部131は、センサ132によって検出された視聴者位置情報17をマップに重畳してからセレクタ103に供給し(ステップS231)、処理はステップS203に進む。
図9に示されるように、第5の実施形態に係る立体映像表示装置は、提示部55と、センサ132と、表示部104とを備える。提示部55は、視点画像生成部141と、見えのよさ算出部142と、マップ生成部131と、セレクタ103とを含む。尚、マップ生成部131は、マップ生成部102に置き換えられてもよい。
処理が開始すると、視点画像生成部141は、映像信号14及びデプス信号15に基づく視点画像を生成し、センサ132によって検出された視聴者位置情報17に応じてこれらの表示順を選択して、立体映像信号18を表示部104に供給する(ステップS241)。
12,13,16,18・・・立体映像信号
14・・・映像信号
15・・・デプス信号
17・・・視聴者位置情報
51,52,53,54,55・・・提示部
101,112,122,142・・・見えのよさ算出部
102,131・・・マップ生成部
103・・・セレクタ
104・・・表示部
105・・・記憶部
111・・・視点選択部
121,141・・・視点画像生成部
132・・・センサ
Claims (10)
- 画素からの光線を制御する複数の光線制御素子により、視点の異なる複数の画像を表示可能な表示部と、
前記表示部に対する複数の視聴位置毎の見えのよさを当該視聴位置において逆視が生じる前記光線制御素子の個数に基づいて算出する算出部と、
前記視聴位置毎の見えのよさを示すマップを生成する生成部と
を具備する立体映像表示装置。 - 前記算出部は、前記視聴位置において逆視が生じる前記光線制御素子の位置に更に基づいて前記見えのよさを算出する、請求項1の立体映像表示装置。
- 前記算出部は、予め設定された理想的な視聴位置からのずれに更に基づいて前記見えのよさを算出する、請求項1または請求項2の立体映像表示装置。
- 前記生成部は、前記視聴位置毎の見えのよさを各々対応する色を用いて表現することにより前記マップを生成する、請求項1乃至請求項3のいずれか1項の立体映像表示装置。
- ユーザからの指示に応じて、前記マップを前記表示部に表示させるか否かを判定する判定部を更に具備する、請求項1の立体映像表示装置。
- ユーザからの指示に応じて、指定された位置における前記見えのよさを最大化するように、前記複数の画像の前記表示部における表示順を選択する選択部を更に具備する、請求項1の立体映像表示装置。
- 映像信号及びデプス信号に基づいて前記複数の画像を生成し、ユーザの制御に応じて前記複数の画像の前記表示部における表示順を選択する画像生成部を更に具備する、請求項1の立体映像表示装置。
- 視聴者の位置を検出するセンサを更に具備し、
前記生成部は、前記視聴者の位置を前記マップに重畳する、
請求項1の立体映像表示装置。 - 視聴者の位置を検出するセンサと、
映像信号及びデプス信号に基づいて前記複数の画像を生成し、前記視聴者の位置に応じて前記複数の画像の前記表示部における表示順を選択する画像生成部と
を更に具備する、請求項1の立体映像表示装置。 - 画素からの光線を制御する複数の光線制御素子により、視点の異なる複数の画像を表示部に表示し、
前記表示部に対する複数の視聴位置毎の見えのよさを当該視聴位置において逆視が生じる前記光線制御素子の個数に基づいて算出し、
前記視聴位置毎の見えのよさを示すマップを生成する、
立体映像表示方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/071389 WO2012073336A1 (ja) | 2010-11-30 | 2010-11-30 | 立体映像表示装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5248709B2 true JP5248709B2 (ja) | 2013-07-31 |
JPWO2012073336A1 JPWO2012073336A1 (ja) | 2014-05-19 |
Family
ID=46171322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012513385A Expired - Fee Related JP5248709B2 (ja) | 2010-11-30 | 2010-11-30 | 立体映像表示装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120293640A1 (ja) |
JP (1) | JP5248709B2 (ja) |
CN (1) | CN102714749B (ja) |
TW (1) | TWI521941B (ja) |
WO (1) | WO2012073336A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010009737A1 (de) * | 2010-03-01 | 2011-09-01 | Institut für Rundfunktechnik GmbH | Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten |
US20130293547A1 (en) * | 2011-12-07 | 2013-11-07 | Yangzhou Du | Graphics rendering technique for autostereoscopic three dimensional display |
CN102802014B (zh) * | 2012-08-01 | 2015-03-11 | 冠捷显示科技(厦门)有限公司 | 一种多人跟踪功能的裸眼立体显示器 |
JP5395934B1 (ja) * | 2012-08-31 | 2014-01-22 | 株式会社東芝 | 映像処理装置および映像処理方法 |
KR101996655B1 (ko) * | 2012-12-26 | 2019-07-05 | 엘지디스플레이 주식회사 | 홀로그램 표시 장치 |
JP2014206638A (ja) * | 2013-04-12 | 2014-10-30 | 株式会社ジャパンディスプレイ | 立体表示装置 |
EP2853936A1 (en) | 2013-09-27 | 2015-04-01 | Samsung Electronics Co., Ltd | Display apparatus and method |
US11917118B2 (en) | 2019-12-27 | 2024-02-27 | Sony Group Corporation | Information processing apparatus and information processing method |
CN112449170B (zh) * | 2020-10-13 | 2023-07-28 | 万维仁和(北京)科技有限责任公司 | 一种立体视频重定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271536A (ja) * | 1997-03-24 | 1998-10-09 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JP2003169351A (ja) * | 2001-09-21 | 2003-06-13 | Sanyo Electric Co Ltd | 立体画像表示方法および立体画像表示装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3443272B2 (ja) * | 1996-05-10 | 2003-09-02 | 三洋電機株式会社 | 立体映像表示装置 |
US7277121B2 (en) * | 2001-08-29 | 2007-10-02 | Sanyo Electric Co., Ltd. | Stereoscopic image processing and display system |
JP4207981B2 (ja) * | 2006-06-13 | 2009-01-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
US20080123956A1 (en) * | 2006-11-28 | 2008-05-29 | Honeywell International Inc. | Active environment scanning method and device |
JP2009077234A (ja) * | 2007-09-21 | 2009-04-09 | Toshiba Corp | 三次元画像処理装置、方法及びプログラム |
US8189035B2 (en) * | 2008-03-28 | 2012-05-29 | Sharp Laboratories Of America, Inc. | Method and apparatus for rendering virtual see-through scenes on single or tiled displays |
US9406132B2 (en) * | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
-
2010
- 2010-11-30 WO PCT/JP2010/071389 patent/WO2012073336A1/ja active Application Filing
- 2010-11-30 JP JP2012513385A patent/JP5248709B2/ja not_active Expired - Fee Related
- 2010-11-30 CN CN201080048579.9A patent/CN102714749B/zh not_active Expired - Fee Related
-
2011
- 2011-09-14 TW TW100133020A patent/TWI521941B/zh not_active IP Right Cessation
-
2012
- 2012-07-30 US US13/561,549 patent/US20120293640A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271536A (ja) * | 1997-03-24 | 1998-10-09 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JP2003169351A (ja) * | 2001-09-21 | 2003-06-13 | Sanyo Electric Co Ltd | 立体画像表示方法および立体画像表示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2012073336A1 (ja) | 2012-06-07 |
TWI521941B (zh) | 2016-02-11 |
JPWO2012073336A1 (ja) | 2014-05-19 |
CN102714749B (zh) | 2015-01-14 |
US20120293640A1 (en) | 2012-11-22 |
CN102714749A (zh) | 2012-10-03 |
TW201225640A (en) | 2012-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5248709B2 (ja) | 立体映像表示装置及び方法 | |
JP5364666B2 (ja) | 立体画像表示装置、方法およびプログラム | |
CN106170084B (zh) | 多视点图像显示设备及其控制方法及多视点图像产生方法 | |
KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
EP3350989B1 (en) | 3d display apparatus and control method thereof | |
JP5625979B2 (ja) | 表示装置および表示方法ならびに表示制御装置 | |
JP4937424B1 (ja) | 立体画像表示装置および方法 | |
EP2869571B1 (en) | Multi view image display apparatus and control method thereof | |
US20190166360A1 (en) | Binocular fixation imaging method and apparatus | |
CN105376558B (zh) | 多视图图像显示设备及其控制方法 | |
US9905143B1 (en) | Display apparatus and method of displaying using image renderers and optical combiners | |
US9081194B2 (en) | Three-dimensional image display apparatus, method and program | |
KR20120048301A (ko) | 디스플레이 장치 및 방법 | |
KR20160025522A (ko) | 위치 감지와 뷰들의 적응 수를 갖는 멀티뷰 3차원 디스플레이 시스템 및 방법 | |
WO2013074753A1 (en) | Display apparatuses and methods for simulating an autostereoscopic display device | |
EP3409013A1 (en) | Viewing device adjustment based on eye accommodation in relation to a display | |
WO2015132828A1 (ja) | 映像表示方法、及び、映像表示装置 | |
KR20160081773A (ko) | 광시각 나안 입체 영상 표시 방법 및 표시 장치 | |
TW201320719A (zh) | 立體畫像顯示裝置、畫像處理裝置及畫像處理方法 | |
US20130342536A1 (en) | Image processing apparatus, method of controlling the same and computer-readable medium | |
US8983125B2 (en) | Three-dimensional image processing device and three dimensional image processing method | |
CN104137537B (zh) | 图像处理装置及图像处理方法 | |
CN111683238B (zh) | 基于观察跟踪的3d图像融合方法及装置 | |
JP5323222B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Wu et al. | Design of stereoscopic viewing system based on a compact mirror and dual monitor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5248709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |