JP6147275B2 - 立体画像処理装置、立体画像処理方法、及びプログラム - Google Patents
立体画像処理装置、立体画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6147275B2 JP6147275B2 JP2014550079A JP2014550079A JP6147275B2 JP 6147275 B2 JP6147275 B2 JP 6147275B2 JP 2014550079 A JP2014550079 A JP 2014550079A JP 2014550079 A JP2014550079 A JP 2014550079A JP 6147275 B2 JP6147275 B2 JP 6147275B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- conversion
- stereoscopic image
- depth
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 232
- 238000000034 method Methods 0.000 claims description 144
- 230000008569 process Effects 0.000 claims description 126
- 230000008859 change Effects 0.000 description 24
- 230000000694 effects Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000008447 perception Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、立体画像を処理する立体画像処理装置、立体画像処理方法、及びプログラムに関するものである。
近年、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、人間は左右目用画像内の物体のずれである視差により立体感を知覚している。立体表示の課題として、視差が人間の視覚特性の許容限界を超えるような大きな量になると立体視困難となり、ユーザの疲労、不快感を招くことが挙げられる。
特許文献1には、左右目用画像の相対位置を水平方向にシフトさせるシフト処理を行い、このような画像変換が施された後の左右目用画像の中心を基準として拡大縮小を行うスケーリング処理を行うことで、入力画像における視差の分布が所定の範囲に収まるように制御する方法が開示されている。特許文献2には、再現可能な奥行き範囲内でより良好な奥行き感を得られるように、画像領域における奥行きの存在頻度を用いて奥行きマップを変換するマップ変換方法が開示されている。
図6Aは従来の線形な視差または奥行き変換特性の例を示す図で、図6Bは従来の非線形な視差または奥行き変換特性の例を示す図である。特許文献1に記載の方法では、図6Aに示すように視差について線形な変換特性を用いた変換処理を行っており、特許文献2に記載の方法では、図6Bに示すように奥行きについて非線形な変換特性を用いた変換処理を行っている。図6A、図6Bのいずれにおいても、dは視差または奥行きの入力値を指し、Dはdに対する出力値(変換値)であり、視差または奥行きの出力値を指す。つまり、図6Aに示す線形な変換特性と図6Bに示す非線形な変換特性のいずれも、視差値を変換して視差値を出力する場合と、奥行き値を変換して奥行き値を出力する場合の両方に適用できる。なお、図6A、図6Bにおいて、dminは入力値の最小値、dmaxは入力値の最大値、Dminは出力値の最小値、Dmaxは出力値の最大値を、それぞれ示している。
繁桝博昭,佐藤隆夫,"書き割り効果のメカニズム",日本バーチャルリアリティ学会論文誌,10(2),pp.249−256,2005.
一方で、立体視において、物体間の不連続な奥行き変化が存在すると、物体内の連続的な奥行き変化の知覚が抑制され、不自然な立体感が生じやすいことが知られている(非特許文献1を参照)。
しかしながら、このような視覚特性と不自然な立体感については、特許文献1に記載の技術を含め従来の視差調整技術では考慮されていなかった。また、特許文献2に記載の方法を用いると、物体間の不連続な奥行き変化の低減に効果があると考えられる。しかし、特許文献2に記載の方法では、近傍画素との奥行きの繋がりについて考慮されていないため、例えば、斜面すなわち奥行きが一定の勾配で変化する平面において、変換によって勾配が面の途中で変化して曲面状の奥行きになってしまい、新たに不自然さを生じさせてしまう場合があった。
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置、立体画像処理方法、及び立体画像処理用のプログラムを提供することにある。
上記の課題を解決するために、本発明の第1の技術手段は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、前記立体画像における平面領域を抽出する平面領域抽出部と、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行う非平面領域変換処理部と、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行う平面領域変換処理部と、を備え、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。
本発明の第2の技術手段は、第1の技術手段において、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴としたものである。
本発明の第3の技術手段は、第1または第2の技術手段において、前記第2の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴としたものである。
本発明の第4の技術手段は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、平面領域抽出部が、前記立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、平面領域変換処理部が、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有し、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。
本発明の第5の技術手段は、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、前記立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有し、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。
本発明によれば、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、物体の平面領域において不自然さを生じさせることなく連続的な奥行き変化の乏しい不自然な立体感を防止することもでき、それにより、視聴者に良好な立体感を提示できるようになる。
本発明に係る立体画像処理装置は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する装置であり、立体画像について、物体における平面領域とそれ以外の領域とで異なる変換特性により視差または奥行きの分布を変換する。つまり、本発明に係る立体画像処理装置は、このような変換を行う変換処理部を備え、入力された立体画像を立体視に関する人間の視覚特性に応じて適応的に変換するように、視差または奥行きの調整が実現できる装置である。
また、この変換処理部は、物体における平面領域では視差または奥行きの分布を線形に変換し、それ以外の領域では、不連続な変化を縮小するように視差または奥行きの分布を非線形に変換することが好ましい。この形態に係る立体画像処理装置は、入力された立体画像について、物体の平面領域において不自然さを生じさせることがないように、また物体の境界(視差値または奥行き値が不連続に変化している領域)における視差値または奥行き値の差を縮小するように(物体内の連続的な奥行き変化の知覚が抑制されることがなく連続的な奥行き変化の乏しい不自然な立体感を防止するように)、視差または奥行きの調整が実現できる装置である。つまり、この形態に係る立体画像処理装置では、入力された立体画像について、物体の平面領域において不自然な立体感を防止し、かつ物体内の連続的な奥行き変化の知覚が抑制されることを防止するため、視聴者に良好な立体感を提示できる。
以下、添付図面を参照しながら本発明の一実施形態について詳細に説明する。ここでは、視差分布を変換する、つまり視差調整を行う例を挙げる。
図1は、本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
図1は、本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
図1で示したように、本実施形態の立体画像表示装置は、複数の視点画像からなる立体画像を入力する入力部10と、複数の視点画像の中の1つを基準視点画像とし残りの視点画像を別視点画像として、基準視点画像と別視点画像から視差マップを算出する視差算出部20と、視差算出部20で得られた視差マップを変更することで、立体画像の視差分布を変更(変換)する視差分布変換部30と、基準視点画像と視差分布変換部30で変換後の視差分布から別視点画像を再構成する画像生成部40と、基準視点画像と画像生成部40で生成された別視点画像とにより二眼式または多眼式立体表示を行う表示部50とを有している。
視差分布変換部30は、本発明の主たる特徴である上記変換処理部の一例である。よって、本発明における本実施形態での主たる特徴としては、入力部10、視差算出部20、視差分布変換部30、画像生成部40、及び表示部50のうち、少なくとも視差分布変換部30を備え、立体画像の視差分布を以下に説明するように変換できればよい。但し、本実施形態における視差分布変換部30は、視差分布の変換を、視差マップを変換することで実行しなくても、他の方法で実行してもよい。
以下、本実施形態の立体画像表示装置における各部の詳細を説明する。
入力部10は、立体画像のデータ(立体画像データ)を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。
入力部10は、立体画像のデータ(立体画像データ)を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。
また、立体画像データは、表示部50が二眼式立体表示を行う場合、右目用画像データと左目用画像データから構成され、表示部50が多眼式立体表示を行う場合、3つ以上の視点画像から構成される多眼表示用の多視点画像データである。立体画像データが右目用画像データと左目用画像データから構成される場合は、一方を基準視点画像とし他方を別視点画像として用い、多視点画像データである場合は、複数の視点画像の1つを基準視点画像とし、残りの視点画像を別視点画像と呼ぶ。
また、図1の説明や以下の説明では、基本的に、立体画像データが複数の視点画像のデータからなることを前提にしているが、立体画像データは画像データと奥行きデータもしくは視差データから構成されるものであっても構わない。この場合、入力部10から別視点画像として奥行きデータもしくは視差データが出力されるが、画像データを基準視点画像として用い、奥行きデータもしくは視差データを視差マップとして用いればよい。
このような構成の場合、図1の立体画像表示装置では、視差算出部20が不要になり、視差分布変換部30が、入力部10で入力された視差マップを変更することで、立体画像の視差分布を変更(変換)すればよい。但し、画像生成部40で処理可能な視差マップのフォーマットでない場合には、視差算出部20を設けておき、視差算出部20がこのようなフォーマットに変換を行うようにしておけばよい。以下では、奥行きデータもしくは視差データを用いる場合については補足的に簡単に説明する。
視差算出部20では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向(水平方向)の座標の差分値を記したもの、つまり、立体画像間の各画素における対応する横方向の座標の差分値を記したものである。視差値は、飛出し方向に行くに従って大きく、奥行き方向に行くに従って小さい値をとるものとする。
視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよい。なお、横方向の視差についてのみ説明しているが、縦方向の視差も存在する場合には、同様に、縦方向についての視差マップの算出や視差分布の変換を行うことも可能である。
視差分布変換部30は、平面領域抽出部31と非平面領域視差変換処理部32と平面領域視差変換処理部33とを備える。
平面領域抽出部31では、立体画像における平面領域を抽出する。無論、処理としては、非平面領域を抽出することで平面領域の抽出を行ってもよい。この例では、平面領域抽出部31は、視差算出部20で得られた視差マップd(x,y)を用いて平面領域を抽出する。まず、次の(1)、(2)式を用いて横勾配マップGx(x,y)と縦勾配マップGy(x,y)を作成する。
Gx(x,y)=d(x+1,y)−d(x−1,y) (1)
Gy(x,y)=d(x,y+1)−d(x,y−1) (2)
Gy(x,y)=d(x,y+1)−d(x,y−1) (2)
(1)、(2)式において、視差マップの画像端において画像外の座標を示す場合は、最も近傍にある画像内の座標で置き換える。次に、ラベリング処理によって、横勾配マップと縦勾配マップのそれぞれの値が一定値をとり、かつ画素が連結している領域を抽出する。
ラベリング処理は様々手法があるが、一つの例としては、まず、(I)左上端の画素を注目画素とし、ラスタスキャンによって注目画素を移動させ、以下の処理を全ての画素について行う。なお、以下において勾配が同じであるとは、2つの画素の横勾配マップGx(x,y)の差分絶対値と縦勾配マップGy(x,y)の差分絶対値が各々予め定めた閾値より小さい場合を示す。
(II)注目画素とその上隣の画素の勾配が同じである場合は、上隣の画素のラベルを注目画素に割り付ける。その際、注目画素とその左隣の画素の勾配も同じであり、かつそのラベルが上隣の画素のラベルと異なる場合は、ルックアップテーブルに2つのラベルが同一領域であることを記録する。
一方で、(III)注目画素とその上隣の画素の勾配が同じでない場合は、注目画素とその左隣の画素の勾配が同じであるかを確認し、同じである場合は左隣の画素のラベルを注目画素に割り付ける。また、(IV)注目画素の上隣と左隣の両方の画素とも勾配が注目画素と異なる場合は、注目画素に任意のまたは予め定められた順番の新しいラベルを割り付ける。
上記(II)〜(IV)のような処理を、走査する画素が無くなるまで繰り返す。上記(II)〜(IV)において、上端の行または左端の列の画素においては、それぞれ上隣または左隣の画素が存在しないが、その場合は、それぞれ上隣または左隣の画素との勾配が同じでないとみなせばよい。また、上記において、新しいラベルを割り付ける際には、初回はラベル値1を割り付け、2回目以降は順に1つずつ大きいラベル値を割り付ける。但し、新しいラベル値はどのような数値であっても構わない。
次に、(V)再度、左上端の画素から走査を行い、ルックアップテーブルを参照しながら、同一の領域に属するラベルの中からラベル値が最小のラベルを選択して、そのラベルに合わせるようにラベルを付け直す。最後に、(VI)同一ラベルに属する領域の画素数が閾値以下の場合は、その領域は平面でないと判断し、そのラベルに属する全ての画素のラベル値を0とする。一方で、(VII)同一ラベルに属する領域の画素数が閾値より多い場合は、ラベル値を変更しない。
このように、例示したラベリング処理では、上記(VI)において画素数が閾値以下の場合(つまり狭い領域)については非平面領域であると判断し、上記(VII)においてそれ以外の領域(つまり広い領域)については平面領域であると判断している。補足すると、同一平面内の全ての画素は勾配が同じ値をとるため、面積が上記(VII)で用いる閾値よりも大きい平面が平面領域として抽出されることになる。また、平面でない場合でも、曲率の小さい曲面では、勾配が同じであることの判定に使う閾値に応じて、勾配が似ている隣接画素が同一ラベルの領域となり、平面領域として抽出される。平面領域として抽出される程度は、上記(VII)で用いる閾値と、勾配が同じであることの判定に使う閾値とによって、調整することができる。
以上のようにして与えられたラベル値が0の領域を非平面領域、ラベル値が1より大きい領域を各々平面領域とする。上記の例では、連結の判定を4連結で行う場合について示したが、8連結であってもよい。また、輪郭追跡を用いた手法など、他のラベリング手法を用いてもよい。
非平面領域視差変換処理部32は、平面領域以外の領域である非平面領域に対し、視差を変換する第1の変換処理を行う。この例では、非平面領域視差変換処理部32は、非平面領域において入力視差マップd(x,y)を変換し、出力視差マップD(x,y)を出力する。
まず、視差算出部20で得られた視差マップd(x,y)に対して入力視差ヒストグラムh(d)を作成する。入力視差ヒストグラムは平面領域と非平面領域の両方の画素を用いる。視差マップd(x,y)は整数の視差値のみをとるものとする。小数の視差がある場合は、視差の精度に応じた定数を乗算することによって整数値に変換しておく。例えば視差が1/4画素精度の場合は、定数4を視差値に乗算することでd(x,y)の値を整数にすることができる。または、四捨五入などによって整数値に丸めてもよい。
入力視差ヒストグラムの作成は、視差マップd(x,y)内で視差値dを持つ画素の個数を数え、それをヒストグラムの度数h(d)とする。また、視差マップd(x,y)の最大値と最小値を求め、それぞれdmax、dminとする。本実施形態では、視差ヒストグラムの階級値に視差値をそのまま用いて視差ヒストグラムを作成することとするが、複数の視差値をまとめて1つのビンとした視差ヒストグラムを作成しても構わない。
次に、作成された入力視差ヒストグラムh(d)に対してヒストグラム平坦化処理を行う。まず、累積ヒストグラムP(d)を次の(3)式で求める。ここで、Nは視差マップの画素数である。
次に、変換後の視差値Dをf(d)とした非線形な変換特性を、次の(4)式で作成する。
f(d)=(Dmax−Dmin)・P(d)+Dmin (4)
f(d)=(Dmax−Dmin)・P(d)+Dmin (4)
ここでDmaxとDminは予め与えられたDmax≧Dminを満たす定数であり、それぞれ変換後の視差マップの最大値と最小値を示す。dmax−dminがDmax−Dminより小さい場合は変換後の視差範囲は拡大し、大きい場合は変換後の視差範囲は縮小する。その他、予め定めた定数を用いてそれぞれdmax、dminの定数倍とすることもできる。また、dmax=dminの場合は、f(d)=Dmaxとする。
(4)式は、ヒストグラム平坦化処理となっており、入力視差ヒストグラムh(d)のdに(4)式の変換を行って得られた変換後視差ヒストグラムh′(d)は、度数がほぼ一定のヒストグラムとなる。
図2A及び図2Bを参照しながら、非平面領域視差変換処理部32での変換処理の一例を説明する。図2Aには入力視差ヒストグラムh(d)の一例を示し、図2Bには図2Aのh(d)に対して変換処理を施したヒストグラムである変換後視差ヒストグラムh′(d)の一例を示している。
図2A及び図2Bでは、画面全体が2つの物体のみから構成される画像の視差に関する例を示している。図2Aに示すように、入力視差ヒストグラムでは2つの山があり、それぞれが1つの物体内の視差分布を表わしている。2つの山の間の間隔が広いことは物体間の視差の差が大きいことを表わし、物体間に不連続な奥行き変化が存在することを示している。このため、この立体画像を表示して観察すると、物体内の連続的な奥行き変化の知覚が抑制され、不自然な立体感が生じる可能性がある。
これに対し、図2Bに示す変換後視差ヒストグラムh′(d)のように、変換後にはヒストグラムが平坦な形状になっている。図2Bでは、変換によってヒストグラムが2つの山に分離していないため、物体間の視差の差が小さく、物体間の不連続な奥行き変化が抑制されているのが分かる。なお、この例では、dmax−dminがDmax−Dminより大きく、変換後の視差範囲は縮小される。また、入力視差ヒストグラムのビンの間隔や分布の偏りの程度によって、変換後視差ヒストグラムの平坦さの程度は異なる。
非平面領域視差変換処理部32は、最後に、次の(5)式のように、(4)式の変換特性を用いて非平面領域(L=0)の視差値を変換する。ここで、Lは画素(x,y)に付けられたラベル値(ラベル番号)である。
D(x,y)=f(d(x,y)), (L=0) (5)
D(x,y)=f(d(x,y)), (L=0) (5)
平面領域視差変換処理部33では、平面領域に対し、第1の変換処理(非平面領域に対する変換処理)とは異なる変換特性で視差を変換する第2の変換処理を行う。なお、第1の変換処理と第2の変換処理との順序は問わない。
この例では、平面領域視差変換処理部33は、平面領域において入力視差マップd(x,y)を変換し、出力視差マップD(x,y)を出力する。ここで、平面領域視差変換処理部33では、ラベリングされた各平面領域(L>0)の中で、次の(6)式を用いて視差を線形に変換する。
Lは、画素(x,y)に付けられたラベル値(ラベル番号)である。d(L) maxとd(L) minはそれぞれ、ラベル番号がLの領域内でのd(x,y)の最大値と最小値である。各ラベル番号の領域内において、入力視差マップの視差分布に対して線形に変換が行われるため、その領域が斜面である場合にも、視差の勾配(横または縦方向の変化率)を領域内で一定にすることができ、変換後も不自然な歪みが生じず、平面に保たれる。
次に、図3A、図3B、図4A、図4B、及び図4Cを参照し、具体的な視差マップの例を挙げて、本実施形態における視差分布変換処理の一例を説明する。視差算出部20で算出された視差マップの例を図3Aに示す。また、図3Aの視差マップのある行(図3Aの点線部分)の視差値をグラフにしたものを図4Aに示す。
より具体的に図3A及び図4Aについて説明する。図3Aは、視差分布変換部30に入力される視差マップの一例であり、一定の視差値を持つ背景の上に、立方体と球が浮いている画像における視差マップである。視差マップは、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで、立体画像における視差値の空間分布を表現している。なお、図3Aでは立方体の各辺に黒色の実線を入れているが、これは立方体であることを分かり易く図示するためであり、実際には立方体の各辺上において輝度値を小さくする訳ではない。
図3Aの視差マップに対して平面領域抽出部31のラベリング処理を行って得られた結果の例を、図3Bに示す。図3Bでは、0から4のラベル値が付いた5つの領域に分割されており、領域毎に異なる濃淡で示している。球の部分に、平面でないことを表わすラベル値0が付いている。背景部分は一つの平面として抽出され、ラベル値1が付いている。立方体の見えている3つの面は、それぞれ異なる平面として抽出され、ラベル値2〜4の値が付いている。
図4Aは、図3Aの視差マップの点線の行の視差値を、縦軸を視差値(飛出し方向の視差値を大、奥行き方向の視差値を小として)、横軸を水平方向の座標にとってグラフ化したものである。図4Aにおいて、背景部分の視差値は一定であり、立方体の部分の視差値がそれより大きいのが分かる。
図4Aの視差値に対して視差分布変換部30の処理を行った結果の例を、図4Bに示す。図4Bにおいて点線の円で囲った領域は、図4Aにおいて急激に視差が変化していたが、図4Bでは変化が緩やかになっている。また、立方体の領域である中央の凸部分においても直線的に変化しており、傾きが一定の斜面になっている。
図4Cは、比較として、従来の手法と同様、平面領域と非平面領域に分けずに全画素においてD(x,y)=f(d(x,y))によって出力視差マップD(x,y)を算出した場合の、図4Aの視差値に対する変換結果の例である。図4Cでは、中央の凸部分が曲線的に変化しており、立方体の部分が曲面状の視差になっている。
なお、立体画像が2つの視点画像で構成される場合には、視差分布変換部30は、その2つの視点画像による視差分布を変換する。立体画像が3以上の視点画像で構成される場合には、ある定めた視点画像(基準視点画像)と他の複数の視点画像との間のそれぞれで、このような検出・変換処理を施せばよい。
図1に戻って、視差分布変換後の処理について説明する。画像生成部40は、基準視点画像と視差分布変換部30で変換後の視差マップから別視点画像を再構成する。再構成した別視点画像を表示用別視点画像と呼ぶ。より具体的には、画像生成部40は、基準指定画像の各画素について、その座標の視差値を視差マップから読み取り、再構成する別視点画像において、視差値分だけ座標をずらした画像に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、zバッファ法に基づき、視差値が飛出し方向に最大の画素の画素値を用いる。
図5を参照しながら、画像生成部40における別視点画像の再構成処理の一例を説明する。図5は、左目用画像を基準視点画像と選択した場合の例である。(x,y)は画像内の座標を示すが、図5では各行での処理であり、yは一定である。F、G、Dはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Zは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、zバッファと呼ぶ。Wは画像の横方向の画素数である。
まず、ステップS1において、zバッファを初期値MINで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、MINは、視差分布変換部30で変換した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、xに0を入力する。ステップS2において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のzバッファの値を比較し、視差値がzバッファの値より大きいか否かを判定する。視差値がzバッファの値よりも大きい場合は、ステップS3に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、zバッファの値を更新する。
次にステップS4において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップS5に進み、右隣りの画素へ移動してステップS2に戻る。ステップS2において、視差値がzバッファの値以下の場合は、ステップS3を通らずにステップS4へ進む。これらの手順を全ての行で行う。
さらに、本実施形態に係る立体画像表示装置では、画像生成部40が、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。つまり、画像生成部40は画像補間部を具備し、常に画素値を決定できるようにしておく。この補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。ここでは、補間処理として近傍画素値の平均値を用いたが、平均値を用いる方法に限らず、画素の距離に応じた重みづけを行ってもよいし、その他のフィルタ処理を採用するなど、他の方法を採用してもよい。
表示部50は、表示デバイスと、その表示デバイスに、基準視点画像と画像生成部40で生成された表示用別視点画像とを表示要素とする立体画像を出力する制御を行う表示制御部とで構成される。すなわち、表示部50は、基準視点画像と生成された表示用別視点画像とを入力し、二眼式または多眼式立体表示を行う。入力部10での基準視点画像が左目用画像、別視点画像が右目用画像だった場合は、基準視点画像を左目用画像、表示用別視点画像を右目用画像として表示する。入力部10での基準視点画像が右目用画像、別視点画像が左目用画像だった場合は、基準視点画像を右目用画像、表示用別視点画像を左目用画像として表示する。
また、入力部10に入力された画像が多視点画像だった場合は、入力時と順序が同じになるように基準視点画像と表示用別視点画像を並べて表示する。なお、入力部10に入力された画像データが画像データと奥行きデータもしくは視差データであった場合は、画像データを左右目用画像のどちらで使用するかの設定に従って決定する。
以上、本実施形態によれば、平面領域では、線形に視差を調整するため、平面が曲面に見えるような不自然な歪みを生じさせることない。また、本実施形態によれば、それ以外の領域(非平面領域)では、ヒストグラム平坦化によって視差の頻度が均一になるように視差を調整することで物体の境界の不連続な視差変化を抑制するのと同等の処理を行っているため、連続的な奥行き変化(物体内の連続的な奥行き変化)の知覚が抑制されて書き割り効果のような連続的な奥行き変化の乏しい不自然な立体感が生じることを、防ぐこともできる。以上のように、本実施形態によれば、平面領域と非平面領域で異なる視差調整を行うことで、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、結果として自然な立体感のある画像を表示することができる。
本実施形態において、非平面領域視差変換処理部32では、視差ヒストグラムを用いて非線形な視差変換特性を作成したが、これに限定するものではなく、例えばシグモイド関数型の変換特性を用いるなど、他の方法を用いて非線形な視差変換特性を作成してもよい。つまり、非平面領域視差変換処理部32における第1の変換処理が非平面領域に対し視差のヒストグラム平坦化処理に基づく変換を行う処理である例を挙げたが、この例に限らず、非平面領域に対し視差に関して非線形な変換特性に基づく変換を行えば、同様に連続的な奥行き変化(物体内の連続的な奥行き変化)の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。
本実施形態において、平面領域抽出部31では視差マップの横勾配マップと縦勾配マップを用いて視差の勾配に基づき平面領域を抽出したが、これに限定するものではなく、例えば輝度値が一定の領域を抽出する、またはテクスチャが一様な領域を抽出するなど、他の方法を用いて平面領域を抽出してもよい。
また、本実施形態では、平面領域視差変換処理部33における上記第2の変換処理は、平面領域に対し視差に関して線形な変換特性に基づく変換を行う処理である例を挙げた。しかし、この例に限らず、本発明では、非平面領域視差変換処理部32が非平面領域に対し、視差を変換する変換処理(第1の変換処理)を行い、平面領域視差変換処理部33が平面領域に対し、非平面領域の変換処理とは異なる変換特性で視差を変換する他の変換処理(第2の変換処理)を行うようにすればよい。
例えば、非平面領域に対して非線形な変換処理を施し、平面領域に対してその変換処理より非線形の度合いが小さい(つまり線形に近い)変換処理を施してもよい。このような構成においても、平面領域が斜面である場合にも、視差の勾配(横または縦方向の変化率)を領域内で一定にすることができ、変換後も不自然な歪みが生じず平面に保たれ、結果として立体画像の視差分布を立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。
また、本実施形態に係る立体画像表示装置において、立体画像の視差分布の変更(調整)の度合い(例えば上述した各定数)の調整は、立体画像における視差量の調整に該当する。このような変更の度合いは、視聴者によって操作部から操作されてもよいし、デフォルト設定に従い決定されてもよい。また、視差分布に応じて変更されてもよい。その他、この変更の度合いは、立体画像のジャンルや、立体画像を構成する視点画像の平均輝度等の画像特徴量など、立体画像の視差以外の指標に応じて、変更されてもよい。いずれの調整においても、図1等で説明した実施形態では、物体の境界(視差値が不連続に変化している領域)における視差値の差を縮小し、さらに平面の領域は平面であることを保つように変換するため、良好な立体感を提示できる。また、いずれの調整においても、この実施形態を含め、本発明では、立体画像の視差分布を立体視に関する人間の視覚特性に応じて(非特許文献1に記載のような立体視に関する人間の視覚特性に応じて)適応的に変換することができるため、良好な立体感を提示できる。
以上、視差分布を変換する例を挙げたが、視差の代わりに奥行きに対して第1,第2の変換処理を施すことで、奥行き分布を変換することができる。つまり、本発明に係る立体画像処理装置は、視差値の調整を行う代わりに奥行き値の調整を行うように構成することもでき、このような構成によっても同様の効果を奏する。
そのためには、立体画像処理装置において、視差分布変換部30の代わりに奥行き分布変換部を設けておけばよい。この奥行き分布変換部では、平面領域抽出部31を設けると共に、非平面領域視差変換処理部32の代わりに非平面領域奥行き変換処理部を設け、平面領域視差変換処理部33の代わりに平面領域奥行き変換処理部を設けておけばよい。その場合、例えば視差算出部20から出力された視差値を奥行き値に変換して奥行き分布変換部に入力し(もしくは入力部か10から奥行きデータを奥行き分布変換部に入力し)、奥行き分布変換部において奥行き値の調整を行い、調整された奥行き値を視差値に変換して画像生成部40に入力すればよい。
また、本発明の立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。
また、図1で例示した立体画像表示装置における各部のうち、本発明に係る立体画像処理装置に該当する部分(つまり表示部50が備える表示デバイスを除く構成要素)は、例えばマイクロプロセッサ(またはDSP:Digital Signal Processor)、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部はLSI(Large Scale Integration)等の集積回路/IC(Integrated Circuit)チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路/ICチップセットとして搭載することも可能である。
なお、上記した実施形態では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。本発明の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していても構わないし、あるいは、全ての構成要素を一つの集積回路/ICチップセットに実装していても構わず、どのような実装形態であれ、機能として各構成要素を有していればよい。
また、本発明に係る立体画像処理装置は単に、CPU(Central Processing Unit)や作業領域としてのRAM(Random Access Memory)や制御用のプログラムの格納領域としてのROM(Read Only Memory)やEEPROM(Electrically Erasable Programmable ROM)等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、PC内に立体画像表示用のアプリケーションソフトとして組み込み、PCを立体画像処理装置として機能させることもできる。また、この立体画像処理プログラムは、クライアントPCから実行可能な状態でWebサーバ等の外部サーバに格納されていてもよい。
以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する方法であって、平面領域抽出部が、立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、平面領域変換処理部が、平面領域に対し、第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有するものとする。ここで、上記第1の変換処理は、非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理とする。その他の応用例については、立体画像表示装置について説明したとおりである。
また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムである。この立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有している。ここで、上記第1の変換処理は、非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理とする。その他の応用例については、立体画像表示装置について説明したとおりである。
また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のPCに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路/チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。
以上、説明したように、本発明に係る立体画像処理装置は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、前記立体画像における平面領域を抽出する平面領域抽出部と、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行う非平面領域変換処理部と、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行う平面領域変換処理部と、を備え、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、連続的な奥行き変化(物体内の連続的な奥行き変化)の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。よって、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。
また、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴とすることもできる。このような変換によっても同様に、連続的な奥行き変化(物体内の連続的な奥行き変化)の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。
また、前記第2の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴とすることが好ましい。これにより、平面領域が斜面である場合にも、視差の勾配(横または縦方向の変化率)を領域内で一定にすることができ、変換後も不自然な歪みが生じず平面に保たれる。
本発明に係る立体画像処理方法は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、平面領域抽出部が、前記立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、平面領域変換処理部が、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有し、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。
本発明に係るプログラムは、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、前記立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、を有し、前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。
10…入力部、20…視差算出部、30…視差分布変換部、31…平面領域抽出部、32…非平面領域視差変換処理部、33…平面領域視差変換処理部、40…画像生成部、50…表示部。
Claims (5)
- 立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行う非平面領域変換処理部と、
前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行う平面領域変換処理部と、
を備え、
前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第2の変換処理は、前記第1の変換処理より非線形の度合いが小さい変換処理であることを特徴とする立体画像処理装置。 - 前記第1の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴とする請求項1に記載の立体画像処理装置。
- 立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行う非平面領域変換処理部と、
前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行う平面領域変換処理部と、
を備え、
前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第2の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴とする立体画像処理装置。 - 立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、
非平面領域変換処理部が、前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、
平面領域変換処理部が、前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、
を有し、
前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第2の変換処理は、前記第1の変換処理より非線形の度合いが小さい変換処理であることを特徴とする立体画像処理方法。 - コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、
前記立体画像処理は、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第1の変換処理を行うステップと、
前記平面領域に対し、前記第1の変換処理とは異なる変換特性で視差または奥行きを変換する第2の変換処理を行うステップと、
を有し、
前記第1の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第2の変換処理は、前記第1の変換処理より非線形の度合いが小さい変換処理であることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012260658 | 2012-11-29 | ||
JP2012260658 | 2012-11-29 | ||
PCT/JP2013/077716 WO2014083949A1 (ja) | 2012-11-29 | 2013-10-11 | 立体画像処理装置、立体画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014083949A1 JPWO2014083949A1 (ja) | 2017-01-05 |
JP6147275B2 true JP6147275B2 (ja) | 2017-06-14 |
Family
ID=50827595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014550079A Expired - Fee Related JP6147275B2 (ja) | 2012-11-29 | 2013-10-11 | 立体画像処理装置、立体画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150334365A1 (ja) |
JP (1) | JP6147275B2 (ja) |
WO (1) | WO2014083949A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104380185B (zh) | 2012-05-18 | 2017-07-28 | 瑞尔D斯帕克有限责任公司 | 定向背光源 |
US9188731B2 (en) | 2012-05-18 | 2015-11-17 | Reald Inc. | Directional backlight |
KR102617760B1 (ko) | 2013-02-22 | 2023-12-27 | 리얼디 스파크, 엘엘씨 | 지향성 백라이트 |
KR102366346B1 (ko) | 2013-10-14 | 2022-02-23 | 리얼디 스파크, 엘엘씨 | 지향성 백라이트를 위한 광 입력 |
US9740034B2 (en) | 2013-10-14 | 2017-08-22 | Reald Spark, Llc | Control of directional display |
WO2016057690A1 (en) | 2014-10-08 | 2016-04-14 | Reald Inc. | Directional backlight |
WO2016105541A1 (en) * | 2014-12-24 | 2016-06-30 | Reald Inc. | Adjustment of perceived roundness in stereoscopic image of a head |
RU2596062C1 (ru) | 2015-03-20 | 2016-08-27 | Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" | Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения |
WO2016168305A1 (en) | 2015-04-13 | 2016-10-20 | Reald Inc. | Wide angle imaging directional backlights |
US10554956B2 (en) * | 2015-10-29 | 2020-02-04 | Dell Products, Lp | Depth masks for image segmentation for depth-based computational photography |
US20170178341A1 (en) * | 2015-12-21 | 2017-06-22 | Uti Limited Partnership | Single Parameter Segmentation of Images |
ES2912310T3 (es) | 2016-01-05 | 2022-05-25 | Reald Spark Llc | Corrección de la mirada en imágenes multivista |
US11079619B2 (en) | 2016-05-19 | 2021-08-03 | Reald Spark, Llc | Wide angle imaging directional backlights |
EP3464996B1 (en) | 2016-05-23 | 2022-09-14 | RealD Spark, LLC | Wide angle imaging directional backlights |
EP3566094B1 (en) | 2017-01-04 | 2023-12-06 | RealD Spark, LLC | Optical stack for imaging directional backlights |
WO2018187154A1 (en) | 2017-04-03 | 2018-10-11 | Reald Spark, Llc | Segmented imaging directional backlights |
CN111183405A (zh) | 2017-08-08 | 2020-05-19 | 瑞尔D斯帕克有限责任公司 | 调整头部区域的数字表示 |
US11115647B2 (en) | 2017-11-06 | 2021-09-07 | Reald Spark, Llc | Privacy display apparatus |
KR20200120650A (ko) | 2018-01-25 | 2020-10-21 | 리얼디 스파크, 엘엘씨 | 프라이버시 디스플레이를 위한 터치스크린 |
US11729370B2 (en) * | 2018-11-28 | 2023-08-15 | Texas Instruments Incorporated | Multi-perspective display driver |
CN116194812A (zh) | 2020-09-16 | 2023-05-30 | 瑞尔D斯帕克有限责任公司 | 车辆外部照明装置 |
WO2024030274A1 (en) | 2022-08-02 | 2024-02-08 | Reald Spark, Llc | Pupil tracking near-eye display |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5242667B2 (ja) * | 2010-12-22 | 2013-07-24 | 株式会社東芝 | マップ変換方法、マップ変換装置及びマップ変換プログラム |
US8654181B2 (en) * | 2011-03-28 | 2014-02-18 | Avid Technology, Inc. | Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence |
JP5178876B2 (ja) * | 2011-04-27 | 2013-04-10 | 株式会社東芝 | 立体映像表示装置及び立体映像表示方法 |
US20130050187A1 (en) * | 2011-08-31 | 2013-02-28 | Zoltan KORCSOK | Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device |
KR101356544B1 (ko) * | 2012-03-29 | 2014-02-19 | 한국과학기술원 | 3차원 입체영상 생성 방법 및 장치 |
-
2013
- 2013-10-11 JP JP2014550079A patent/JP6147275B2/ja not_active Expired - Fee Related
- 2013-10-11 WO PCT/JP2013/077716 patent/WO2014083949A1/ja active Application Filing
- 2013-10-11 US US14/647,456 patent/US20150334365A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2014083949A1 (ja) | 2014-06-05 |
US20150334365A1 (en) | 2015-11-19 |
JPWO2014083949A1 (ja) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
CN102474644B (zh) | 立体图像显示系统、视差转换装置、视差转换方法 | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
KR101690297B1 (ko) | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 | |
JP5665135B2 (ja) | 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラム | |
KR101502362B1 (ko) | 영상처리 장치 및 방법 | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN104272729A (zh) | 用于处理3d视频的质量度量 | |
JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
TW201618042A (zh) | 用於產生三維影像之方法及裝置 | |
JP5352869B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP5493155B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
JP2015103960A (ja) | 画像奥行き指定方法、プログラム、および装置 | |
Liu et al. | 3D video rendering adaptation: a survey | |
TW201208344A (en) | System and method of enhancing depth of a 3D image | |
US20140055579A1 (en) | Parallax adjustment device, three-dimensional image generation device, and method of adjusting parallax amount | |
KR101521213B1 (ko) | 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 | |
JP5431393B2 (ja) | 立体画像生成装置及び方法 | |
Wu et al. | A viewer centric depth adjustment for stereoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6147275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |