JP5002702B2 - 視差画像生成装置、立体映像表示装置及び視差画像生成方法 - Google Patents
視差画像生成装置、立体映像表示装置及び視差画像生成方法 Download PDFInfo
- Publication number
- JP5002702B2 JP5002702B2 JP2010270556A JP2010270556A JP5002702B2 JP 5002702 B2 JP5002702 B2 JP 5002702B2 JP 2010270556 A JP2010270556 A JP 2010270556A JP 2010270556 A JP2010270556 A JP 2010270556A JP 5002702 B2 JP5002702 B2 JP 5002702B2
- Authority
- JP
- Japan
- Prior art keywords
- disparity
- image
- viewpoint
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Description
本発明の実施形態は、視差画像生成装置、立体映像表示装置及び視差画像生成方法に関する。
近年、画像の高画質化の要求に伴い、立体化処理技術の研究が盛んに行われている。立体化処理方法としては、ステレオ法や光切断法等の種々の方法がある。これらの方法には一長一短があり、画像の用途等に応じて採用される方法が選択される。しかし、いずれの方法においても3次元画像(3D画像)を得るためには、高価で大型の入力装置が必要である。
一方、簡単な回路で立体化処理を行う方法として、3D画像を用いずに、2次元画像(2D画像)から3D画像を生成する方法がある。このような2D画像からステレオ3D画像への変換、2視点のステレオ3D画像から多視点の3D画像への変換に採用される方法として、入力画像のデプス(奥行き)を推定する方法がある。なお、デプスを求める手法としては種々の方法が開発されている。
このような画像変換を行う表示装置においては、入力画像のデプス(奥行き)を推定し、デプスを視点に応じて水平方向のシフト量であるディスパリティ(視差)に変換する。表示装置は、求めた視差に応じて画像をシフトすることにより、各視点における視差画像を生成する。例えば、表示装置が右目を視点とする視差画像(以下、右画像という)と左目を視点とする視差画像(以下、左画像という)とを、夫々右目及び左目に与えることで、左右画像による立体表示が可能である。
ところで、デプスを画像中の画素やオブジェクト毎に求め、画素やオブジェクトを視差に応じて移動させた場合、各画素やオブジェクト毎の移動量はデプス(視差)に応じて異なり、同一の領域に異なる領域の画素が重なって移動したり、画素が移動して画像情報が存在しない領域(以下、陰面領域という)が生じる可能性がある。
そこで、表示装置は、陰面領域については、補間処理を行う。この補間処理において、画質の劣化が生じる虞がある。
本発明は、陰面領域の補間処理による画質劣化を抑制し高画質の多視点画像を生成することができる視差画像生成装置、立体映像表示装置及び視差画像生成方法を提供することを目的とする。
本発明の実施形態に係る視差画像生成装置は、入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを具備する。
以下、図面を参照して本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1は本発明の第1の実施の形態に係る立体映像表示装置を示すブロック図である。
図1は本発明の第1の実施の形態に係る立体映像表示装置を示すブロック図である。
立体映像表示装置10の入力端子11には入力映像及び視点情報が入力される。入力映像はデプス推定部12に与えられる。デプス推定部12は、公知のデプス推定方法を採用して、入力映像の各画像中の所定領域毎に、デプスを推定する。例えば、デプス推定部12は、画像の画面全体の構図、人物の検出、オブジェクト毎の動き検出等に基づいて、画素毎やオブジェクト毎にデプスを求める。デプス推定部12は、入力映像、デプス及び視点情報を立体映像生成部13に出力する。
図2は図1中の立体映像生成部13の具体的な構成を示すブロック図である。
立体映像生成部13は、n個の視差画像生成部22−1〜22−n(以下、代表して視差画像生成部22という)を有している。視差画像生成部22−1〜22−nは、入力端子21を介して入力映像、デプス及び視点情報が与えられ、夫々視点#1〜視点#nにおける視差画像を生成する。立体映像生成部13は、視差画像生成部22−1〜22−nによって生成された視点#1〜視点#nにおける視差画像を合成して多視点画像(立体映像)を生成して、出力端子23を介して表示部14に出力する。
表示部14は、多視点画像を表示可能に構成されている。例えば、表示部14としては、パララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部を採用することができる。
図3は図2中の視差画像生成部22の具体的な構成を示すブロック図である。
図2の視差画像生成部22−1〜22−nは相互に同一構成であり、視差画像生成部22には入力映像、デプス及び視点情報が与えられる。視差画像生成部22のディスパリティ生成部25は、視点情報に応じて、入力画像のデプスを水平方向のシフト量であるディスパリティ(視差)に変換する。こうして、ディスパリティ生成部25によって各視点におけるディスパリティが例えば各画素毎に求められる。
図4及び図5は視差画像生成部22におけるディスパリティの求め方を説明するための説明図である。図4はディスパリティ生成部25におけるディスパリティの求め方を示している。
図4は入力映像を表示する表示部14のディスプレイ面30上の所定のラインを示している。入力映像の所定の画素31についてのデプスが、画素31をディスプレイ面30よりも手前の位置32に感じるように表示させるものである場合には、ディスパリティ生成部25は視点33Lにおける視差画像(画素)31Lを画素31の右側に表示されるようにディスパリティを設定し、視点33Rにおける視差画像(画素)31Rを画素31の左側に表示されるようにディスパリティを設定する。また、図4に示すように、ディスパリティ生成部25は、デプスが大きいほど、大きいディスパリティを設定する。
また、入力映像の所定の画素34についてのデプスが、画素34をディスプレイ面30よりも奥行き方向の位置35に感じるように表示させるものである場合には、ディスパリティ生成部25は視点36Lにおける視差画像(画素)34Lを画素31の左側に表示されるようにディスパリティを設定し、視点36Rにおける視差画像(画素)34Rを画素31の右側に表示されるようにディスパリティを設定する。また、図4に示すように、ディスパリティ生成部25は、デプスが大きいほど、大きいディスパリティを設定する。
ディスパリティ生成部25によって生成されたディスパリティに基づいて左右にシフトさせた2つの視点の画像を生成することにより、2視点の立体画像を生成することができる。例えば、視点33L,33Rを左右の眼とすると、画素31L,31Rによって画素31が手前側に飛び出したように感じられる立体画像表示が可能である。同様に、視点36L,36Rを左右の眼とすると、画素34L,34Rによって画素34が奥行き方向に引っ込んだように感じられる立体画像表示が可能である。
図5はディスパリティ生成部25において求めたディスパリティに基づく画像のシフトを説明するものである。図5(a)は入力映像である2D画像を示しており、背景の画像41の手前に2本の木の画像42が表示され、更に、2本の木42の手前にオブジェクト43が表示された状態を示している。
図5(a)中の塗りつぶした矢印は、1つの視点、例えば左目に対するディスパリティに基づく画像の移動を示しており、矢印の向きが移動方向を示し、矢印の長さが移動量を示している。即ち、図5(a)の例は、ディスプレイ面を基準に、背景の画像41が奥行き方向に、木の画像42が手前側に、オブジェクト43が最も手前側に表示されたように感じられる画像を得るためのものである。
図5(a)に示す画像を矢印に従って画素毎にシフトさせた場合には、図5(b)に示す理想的な視差画像に対して、実際には図5(c)に示す視差画像が得られる。図5(b)は背景の画像41、木の画像42及びオブジェクト43が夫々移動して背景の画像41’、木の画像42’及びオブジェクト43’が表示されている。しかし、実際には、図5(c)に示すように、背景の画像41、木の画像42及びオブジェクト43を夫々移動させると、移動量及び移動方向によって、画像が重なる領域(破線で囲った部分)と、斜線にて示す画像が無くなる領域(陰面領域)44,45とが生じる。陰面領域45は背景の画像41の移動によるものであり、陰面領域44は木の画像42とオブジェクト43の移動量の相違によるものである。
これらの画像が重なる領域及び陰面領域を補正するためにディスパリティ補正部26が設けられている。ディスパリティ補正部26は、破線で囲った画像が重なる領域については、いずれか1つの画像、例えば最も手前(最前面)の画像を表示するように、ディスパリティを補正するようになっている。
本実施の形態においては、ディスパリティ補正部26は、陰面領域については、最前面の画像に基づくディスパリティを利用することで、画質劣化を抑制した視差画像を得るようになっている。
なお、以後説明を簡略化するために、移動後の画像(画素)を基準に、移動元の画像(画素)までの距離をディスパリティとして扱うことがある。
図6乃至図11は、ディスパリティ補正部26による補正を説明するための説明図である。
図6乃至図8及び図11は、上段及び下段によって画像中の所定の同一ラインの一部を示し、上段は移動前の画素位置、下段はディスパリティに基づく移動後の画素位置を示している。なお、図6乃至図9及び図11は、各枠によって例えば画素を示しており、1つの視点、例えば左目に対するディスパリティに応じた各画素の移動を説明するものである。
図6乃至図8及び図11は同一入力画像についてのものであり、この入力画像を示す上段の各画素P0〜P9のうち、画素P0,P1,P9はディスプレイ面の位置、画素P2〜P4は奥行き方向の位置、画素P5〜P8は手前側の位置に感じられるように表示すべきものであるものとする。
この場合には、図6の破線矢印に示すように、画素P0,P1,P9を水平方向同一位置、画素P2〜P4を水平方向左側の位置、画素P5〜P8を水平方向右側の位置に移動させることが考えられる。
図7はこの結果得られる画像を下段に示している。ディスパリティ補正部26は、上述したように、画像(画素)が重なる領域については、最前面の画像を選択的する。従って、図7の下段の左から2つの画素及び最も右の画素の画素位置には、ディスパリティに従って、夫々元の画素P0,P1,P7を移動させて配置する。
なお、ディスパリティ補正部26は、最前面にある画像をディスパリティの大きさによって判定することができる。画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとすると、左目の視点、即ち、視点が入力画像の視点位置よりも左側にある場合には正方向に最も大きい値のディスパリティを有する画像(画素)が最前面にある画像であると判定することができる。逆に、右目の視点、即ち、視点が入力画像の視点位置よりも右側にある場合には負方向に最も大きい値のディスパリティを有する画像(画素)が最前面前の画像である。
また、ディスパリティ補正部26は、図7の下段の左から3つ目の画素及び右から2,3番目の画素の画素位置には、夫々元の画素P4,P5,P6を移動させて配置する。図7の矢印は元の画素との位置関係を示している。デプスから求めたディスパリティのみによって画素を移動させると、図7の下段の中央の4画素(斜線部)は、陰面領域となる。
陰面領域を補間する手法として、周囲の画素の情報を利用して、なだらかに変化させる方法が考えられる。図8はこの補間方法を説明するものである。陰面領域(太枠部)の画素については、周囲の画素を平均的に用いて補間を行う。図8の下段の例では、陰面領域の左側の2画素は隣接する画素P4によって補間し、右側の2画素は隣接する画素P5によって補間する。
図9は図8上段の入力画像の各画素の奥行きを示している。図9に示すように、画素P2〜P4はディスプレイ面よりも奥に感じられるように表示されるべき画像であり、画素P5〜P7はディスプレイ面よりも手前に感じられるように表示されるべき画像である。即ち、画素P4,P5はデプスの境界の画素であり、画素P4が含まれるオブジェクトと画素P5が含まれるオブジェクトとは別のオブジェクトであって、画素P4,P5は絵柄の境界の画素である可能性が高い。ところが、図8の例では、境界の画素P4,P5のいずれも夫々3画素に割当てられており、境界領域が水平方向に引き延ばされた画像となっている。
図10は図8の手法によって陰面領域を補間して左右の目に対応する2つの視点画像を生成して表示した場合の表示例を模式的に示す説明図である。図10は背景の画像51上に、スケートをしている女性の画像52が表示されていることを示している。上に持ち上げられた女性の足の画像53と背景の画像51との境界部分は水平方向に引き延ばされて、不鮮明な画像(斜線部)54が表示されている。
このように前景と背景の奥行きがくっきり分かれているような部分では陰面領域が集中して出現し、図8のような単純なフィルタリング処理では陰面領域の画像がうまく生成されず、奥行きの境界部分、物体の境界部分に歪みが発生する。物体の輪郭においてこのような歪みが発生すると、この歪は画面上において極めて目立ち、画面品位が劣化する。
そこで、本実施の形態においては、陰面領域のディスパリティとして、陰面領域の周囲の最前面の画像のディスパリティを用いるという手法を採用する。
図11は本実施の形態におけるディスパリティ補正処理を示す説明図である。
画像が重なる領域についての補正処理は図7と同様である。即ち、ディスパリティ補正部26は、図11の下段の左から2つの画素及び最も右の画素の画素位置には、夫々元の画素P0,P1,P7を移動させて配置する。
ディスパリティ補正部26は、太枠で示す陰面領域について、周囲の最前面の画像のディスパリティを用いる。図11の例では、画素P5〜P7が最前面の画素であり、ディスパリティ補正部26は、陰面領域に最も近い最前面の画素P5のディスパリティを、陰面領域のディスパリティとする。従って、陰面領域については、元の画素が2画素分右方向にシフトして移動後の画素となる。
図11に示すように、陰面領域については右側から順に、元の画素P4,P3,P2,P1を移動させて移動後の画像が得られる。図11下段に示すように、物体の境界部分である移動後の画素P4,P5の部分は、補正前と同様の境界状態であり、境界部分に画質劣化は生じない。
なお、背景部分については、図11下段の左から3,4画素目に示すように、元の画素P4,P1が配置順が変化して移動している。従って、この部分には歪みが生じている。しかし、背景部分の歪みは、境界部分の歪みに比べて目立ちにくく、画質の劣化は比較的小さい。
ディスパリティ補正部26は、ディスパリティ生成部25からのディスパリティを図11の矢印に示すように補正して、補正後の補正ディスパリティを画像シフト部27に出力する。画像シフト部27は、入力画像の各画素を補正ディスパリティに従って移動させて、各視点における視差画像を生成する。
なお、図11では陰面領域の左右の同一水平ライン上の画素のうち最前面の画素のディスパリティを用いる例を説明したが、ディスパリティ補正部26は、陰面領域内の補間する画素の周囲に所定のブロックを設定し、このブロック内で最前面の画素を検出し、この最前面画素のディスパリティによって陰面領域の補間する画素のディスパリティを得てもよい。
次にこのように構成された実施の形態の動作について図12乃至図15を参照して説明する。図12及び図14は実施の形態の動作を説明するためのフローチャートであり、図13及び図15は実施の形態の動作を説明するための説明図である。
立体映像表示装置10の入力端子11には入力映像及び視点情報が入力される。デプス推定部12は、入力映像の各画像のデプスを例えば画素毎に求める。入力映像、デプス及び視点情報は立体映像生成部13に与えられる。立体映像生成部13は、視差画像生成部22−1〜22−nによって、各視点毎に視差画像を生成する。
即ち、視差画像生成部22においては、先ずディスパリティ生成部25によって、各視点のディスパリティが求められる。ディスパリティ生成部25は、各画素のデプスに応じて各視点のディスパリティを求める。ディスパリティ生成部25が求めたディスパリティは、ディスパリティ補正部26に与えられる。
ディスパリティ補正部26は、入力されたディスパリティに従って画像をシフトさせた場合に画像が重なる領域については、重なる画像のうち最前面の画像を選択して表示するようにディスパリティを補正する。また、ディスパリティ補正部26は、入力されたディスパリティに従って画像をシフトさせた場合に画像がなくなる陰面領域については、周囲の画素のうち最前面の画素のディスパリティを用いる。
図12はディスパリティ補正部26による左目を視点とする陰面領域のディスパリティの補正処理を示している。図12は視点が入力画像の視点位置よりも左側にある全ての視点に共通の処理である。なお、図12及び後述する図14、図16、図17、図19及び図20においては、画面右方向へのディスパリティを正の値で表し、画面左方向へのディスパリティを負の値で表すものとする。
ディスパリティ補正部26は、図12のステップS1において、全画素についての処理を開始する。ディスパリティ補正部26は、ステップS2において、変数maxを16ビット精度におけるディスパリティの最小値である−32768に設定する。上述したように、最前面の画像(画素)は、視点が左目の場合には、正方向で最も大きい値のディスパリティが設定された画素である。ディスパリティ補正部26は、最前面の画素、即ち、最大ディスパリティの画素を検出するために、ディスパリティを代入する変数maxを最小値に設定しておく。
次に、ステップS3において、ディスパリティ補正部26は、対象画素が陰面領域の画素であるか否かを判定する。陰面領域の画素でない場合には、処理をステップS11からステップS1に戻して、次の画素に対する処理を行う。
対象画素が陰面領域の画素の場合には、次のステップS4において、ディスパリティ補正部26は対象画素の周囲の画素に対する処理を開始する。例えば、ディスパリティ補正部26は、周囲画素として、図13に示す周囲画素範囲を設定する。ディスパリティ補正部26は、この周囲画素範囲を最大ディスパリティの検出範囲として設定する。図13の例は最大ディスパリティの検出範囲として3×3画素範囲を設定した例を示している。図13の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
ディスパリティ補正部26は、ステップS4〜S8において、検出範囲中で最も大きいディスパリティ値を有する画素を検索する。即ち、ディスパリティ補正部26は、ステップS5において周囲画素が非陰面領域の画素であるか否かを判定する。陰面領域の画素にはディスパリティが設定されていないので、ステップS8からステップS4に処理を戻して次の画素に対する検索処理を行う。
非陰面領域の画素の場合には、その画素のディスパリティが変数maxよりも大きいか否かを判定し(ステップS6)、大きい場合には変数maxにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数maxには、検出範囲内の画素の最大ディスパリティ値が代入される。こうして、図13の例では斜線が施されていない画素の最大ディスパリティ値が求められることになる。
ディスパリティ補正部26は、ステップS9において、変数maxが最小値−32768のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数maxが最小値でない場合には、対象画素のディスパリティ値に変数maxの値を代入する。こうして、周囲画素の最大ディスパリティ値が対象画素のディスパリティ値として求められる。ディスパリティ補正部26は、ステップS1〜S11において、陰面領域の全ての画素について、各周囲画素の最大ディスパリティ値を求めてディスパリティ値とする。
図14はディスパリティ補正部26による右目を視点とする陰面領域のディスパリティの補正処理を示している。図14において図12と同一の手順には同一符号を付して説明を省略する。なお、図14は視点が入力画像の視点位置よりも右側にある全ての視点に共通の処理である。
視点が右目の場合には、負方向の最大ディスパリティ値を有する画素が最前面の画素であることを考慮した点が、図12の左目の視点に対する処理と異なるのみである。
従って、ディスパリティ補正部26は、ディスパリティの最大値を検出するための変数minを最大値に設定しておく(ステップS12)。また、ディスパリティ補正部26は、検出範囲内の非陰面領域の画素について、その画素のディスパリティが変数minよりも小さいか否かを判定し(ステップS16)、小さい場合には変数minにその画素のディスパリティ値を代入する。検出範囲内の全ての画素についての処理を行うことで、変数minには、検出範囲内の画素の負方向の最大ディスパリティ値が代入される。
ディスパリティ補正部26は、ステップS19において、変数minが最大値32768のまま変化していないか否か、即ち、周囲画素である検出範囲内の全ての画素が陰面領域の画素であるか否かを判定する。変数minが最大値でない場合には、対象画素のディスパリティ値に変数minの値を代入する。こうして、周囲画素の負方向の最大ディスパリティ値が対象画素のディスパリティ値として求められる。
ディスパリティ補正部26は、画像が重なった領域の画素のディスパリティを補正すると共に、図12及び図14のフローに基づいて、陰面領域の画素のディスパリティを補正して、補正後の補正ディスパリティを画像シフト部27に出力する。画像シフト部27は、入力画像を補正ディスパリティを用いて移動させて、各視点についての視差画像を生成し出力する。
立体映像生成部13は、視差画像生成部22−1〜22−nが生成した各視差画像を合成して多視点画像を生成し、出力端子23を介して立体映像として出力する。この立体映像は表示部14に供給され、表示部14の表示画面上に映出される。
図15は図10と同一画像についてディスパリティ補正部26による補正ディスパリティを用いて生成した視差画像による表示を模式的に示している。図14に示すように、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、女性の足の画像53と背景の画像51との境界部分55に歪みが生じることはない。
このように本実施の形態においては、陰面領域の画素のディスパリティとして、周囲画素のうち最前面の画素のディスパリティの値を用いていることから、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
(第2の実施の形態)
図16乃至図18は本発明の第2の実施の形態に係り、図16及び図17は第2の実施の形態を示すフローチャートであり、図18は第2の実施の形態を説明するための説明図である。
図16乃至図18は本発明の第2の実施の形態に係り、図16及び図17は第2の実施の形態を示すフローチャートであり、図18は第2の実施の形態を説明するための説明図である。
本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。本実施の形態はディスパリティ補正部26における補正処理が第1の実施の形態と異なるのみである。
先ず図18を参照して第2の実施の形態における陰面領域の画素のディスパリティの補正処理について説明する。第1の実施の形態においては、陰面領域の周囲の画像のうち最前面の画像のディスパリティを陰面領域の画素のディスパリティとした。更に、本実施の形態においては、陰面領域の周囲画素のディスパリティも利用して、陰面領域の画素のディスパリティを求めるものである。
図18は陰面領域内のディスパリティを補正する対象画素を中心に設定した周囲画素範囲を示している。図18の例は周囲画素範囲として3×3画素範囲を設定した例を示している。図18の中央の網線部が対象画素であり、斜線部が陰面領域を示している。
本実施の形態においては、ディスパリティ補正部26は、周囲画素範囲のディスパリティに、夫々設定した重み付けを乗算し、更に、周囲画素範囲内の最前面の画素のディスパリティに、設定した重み付けを乗算して、両者を加算して平均を算出することにより対象画素のディスパリティを得る。
図18の例では、3×3の周囲画素のディスパリティに、3×3の枠内に示した重み付けの値(位置重み)が乗算される。なお、中央の対象画素に対する重み付けの値(4)は、他の周囲画素との比較のために示している。更に、周囲画素のうち最前面の画素のディスパリティに重み付けの値(4)が乗算される。これらの乗算結果が加算され、重み付けの総和(図18では12)で除算することにより、対象画素のディスパリティが求められる。
このように構成された実施の形態においては、図16及び図17に示す陰面領域の補正処理が行われる。図16及び図17において夫々図12及び図14と同一の手順には同一符号を付して説明を省略する。
図16はディスパリティ補正部26による左目を視点とする陰面領域のディスパリティの補正処理を示している。図16のステップS22では、ディスパリティ補正部26は、変数maxに最小値を設定すると共に、変数sumを0に初期化する。変数sumは、周囲画素の各ディスパリティを夫々重み付けして加算した結果を代入するためのものである。
ステップS23においては、ディスパリティ補正部26は、周囲画素のディスパリティに画素位置に応じた重み(位置重み)を乗算し、乗算結果を変数sumの値に積算する。ステップS4〜S8,S23によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
更に、ディスパリティ補正部26は、ステップS24において、周囲画素の最大ディスパリティ値に重みを乗算し、乗算結果を変数sumに加算し、変数sumを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部26は、ステップS25において、変数sumの値を対象画素のディスパリティ値とする。
図17はディスパリティ補正部26による右目を視点とする陰面領域のディスパリティの補正処理を示している。図17のステップS32では、ディスパリティ補正部26は、変数minに最大値を設定すると共に、変数sumを0に初期化する。ステップS33において、ディスパリティ補正部26は、周囲画素のディスパリティに画素位置に応じた重み(位置重み)を乗算し、乗算結果を変数sumの値に積算する。ステップS4,S5,S33,S16,S17,S8によって、周囲画素の非陰面領域の画素全てについてのディスパリティ×位置重みの乗算結果が加算される。
更に、ディスパリティ補正部26は、ステップS34において、周囲画素の負方向の最大ディスパリティ値に重みを乗算し、乗算結果を変数sumに加算し、変数sumを重みの総和で除算する。重みの総和についても非陰面領域の画素に対応する位置重みの総和となる。ディスパリティ補正部26は、ステップS55において、変数sumの値を対象画素のディスパリティ値とする。
他の作用は第1の実施の形態と同様である。
このように本実施の形態においては、陰面領域については、対象画素の周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとを用いて、対象画素のディスパリティを求めている。これにより、本実施の形態においても、物体の境界位置において画像が歪むことを防止することができ、高画質の視差画像を得ることができる。
なお、本実施の形態においては、周囲画素及び最前面の画素のディスパリティに重みを付した後平均化しており、対象画素のディスパリティが小数点精度となることがある。この場合には、画像シフト部27において、ディスパリティに対応する2画素の画素値をディスパリティに応じて加算して、視差画像の画素値を求めてもよい。
(第3の実施の形態)
図19及び図20は本発明の第3の実施の形態を示すフローチャートである。図19及び図20において夫々図16及び図17と同一の手順については同一符号を付してある。本実施の形態におけるハードウェア構成は第1及び第2の実施の形態と同様である。本実施の形態はディスパリティ補正部26における補正処理が第2の実施の形態と異なるのみである。
図19及び図20は本発明の第3の実施の形態を示すフローチャートである。図19及び図20において夫々図16及び図17と同一の手順については同一符号を付してある。本実施の形態におけるハードウェア構成は第1及び第2の実施の形態と同様である。本実施の形態はディスパリティ補正部26における補正処理が第2の実施の形態と異なるのみである。
第2の実施の形態においては、陰面領域の各画素について、周囲画素及び周囲画素中の最前面の画素のディスパリティを重み付けして、対象画素のディスパリティを求めた。これに対し、本実施の形態は第2の実施の形態において陰面領域の各画素について行った補正処理を全ての画素について実施するものである。
図19はディスパリティ補正部26による左目を視点とするディスパリティの補正処理を示しており、図20はディスパリティ補正部26による右目を視点とするディスパリティの補正処理を示している。
図19及び図20のフローは、陰面領域の画素のみを対象とするためのステップS3の処理が省略されている点が図16及び図17のフローと異なるのみである。
本実施の形態においては、画像中の全画素を対象画素とし、各対象画素の周囲に所定サイズの周囲画素範囲を設定し、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付して、対象画素のディスパリティを補正するものである。この場合には、ディスパリティ生成部25によって対象画素のディスパリティが既に求められていることがあり、対象画素のディスパリティについても例えば図18の位置重みに示すように所定の重みが乗算される。
他の作用は、第2の実施の形態と同様である。
このように本実施の形態においては、全画素について、周囲画素のディスパリティと周囲画素中の最前面の画素のディスパリティとに重み付けを付すことで、ディスパリティを補正するようになっている。これにより、デプスに基づいて画像を移動させる処理による歪みを軽減し、高画質の視差画像を得ることができる。
更に、上記実施の形態においては、対象画素について1回の補正処理を行う例を説明したが、対象画素について、図18に示す補正処理を複数回繰り返すことで、歪みの軽減効果を一層向上させることができる。
このように上記各実施の形態によれば、1視点の2D映像から2視点のステレオ3D映像への変換や、2視点のステレオ3D映像から多視点の3D映像への変換等の多視点画像への変換処理において、陰面領域の画像を高精度に生成することができる。
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
10…立体映像表示装置、12…デプス推定部、13…立体映像生成部、41…表示部、22…視差画像生成部、25…ディスパリティ生成部、26…ディスパリティ補正部、27…画像シフト部。
Claims (7)
- 入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部と
を具備したことを特徴とする視差画像生成装置。 - 前記ディスパリティ補正部は、前記最前面の部分について求められたディスパリティの値を前記対象部分のディスパリティの値とする
ことを特徴とする請求項1に記載の視差画像生成装置。 - 前記ディスパリティ補正部は、前記対象部分の周囲の部分について求めたディスパリティと前記最前面の部分について求められたディスパリティとに重み付けを付して加算した結果によって前記対象部分のディスパリティを求める
ことを特徴とする請求項1に記載の視差画像生成装置。 - 前記対象部分は、前記ディスパリティ生成部が求めたディスパリティに基づいて前記画像シフト部が前記入力画像の部分を移動させた場合に、前記入力画像の部分が移動されない陰面領域の部分である
ことを特徴とする請求項1乃至3のいずれか1つに記載の視差画像生成装置。 - 前記対象部分は、前記入力画像中の全ての各画素である
ことを特徴とする請求項1乃至3のいずれか1つに記載の視差画像生成装置。 - 入力画像の各部分のデプスを求めるデプス生成部と、
前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成するディスパリティ生成部と、前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正するディスパリティ補正部と、前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する画像シフト部とを有する視差画像生成部と、
前記視差画像生成部によって視点毎に生成された視差画像を合成して多視点画像を生成する多視点画像生成部と
を具備したことを特徴とする立体映像表示装置。 - 入力画像の各部分のデプスが与えられ、前記デプスに基づいて前記画像の各部分における視点毎のディスパリティを生成し、
前記画像中の対象部分のディスパリティを前記対象部分の周囲の部分のうち最前面の部分について求められたディスパリティに基づく値に補正し、
前記ディスパリティ補正部によって補正されたディスパリティに基づいて前記入力画像の各部分を移動させて、視点毎の視差画像を生成する
ことを特徴とする視差画像生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270556A JP5002702B2 (ja) | 2010-12-03 | 2010-12-03 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
US13/162,227 US20120139902A1 (en) | 2010-12-03 | 2011-06-16 | Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method |
US13/960,722 US20130342529A1 (en) | 2010-12-03 | 2013-08-06 | Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270556A JP5002702B2 (ja) | 2010-12-03 | 2010-12-03 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012120109A JP2012120109A (ja) | 2012-06-21 |
JP5002702B2 true JP5002702B2 (ja) | 2012-08-15 |
Family
ID=46161806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010270556A Expired - Fee Related JP5002702B2 (ja) | 2010-12-03 | 2010-12-03 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US20120139902A1 (ja) |
JP (1) | JP5002702B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101960852B1 (ko) * | 2011-01-13 | 2019-03-22 | 삼성전자주식회사 | 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법 |
US9582928B2 (en) | 2011-01-13 | 2017-02-28 | Samsung Electronics Co., Ltd. | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching |
US9087375B2 (en) * | 2011-03-28 | 2015-07-21 | Sony Corporation | Image processing device, image processing method, and program |
US20130234926A1 (en) * | 2012-03-07 | 2013-09-12 | Qualcomm Incorporated | Visually guiding motion to be performed by a user |
JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
US20150181204A1 (en) * | 2012-07-18 | 2015-06-25 | Sony Corporation | Image processing apparatus, image processing method, and image display device |
JP2014207519A (ja) * | 2013-04-11 | 2014-10-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および電子機器 |
CN104284172A (zh) * | 2013-07-04 | 2015-01-14 | 联咏科技股份有限公司 | 影像匹配方法及立体匹配系统 |
KR102240564B1 (ko) | 2014-07-29 | 2021-04-15 | 삼성전자주식회사 | 영상 렌더링 장치 및 방법 |
WO2017022302A1 (ja) * | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN105681777B (zh) * | 2016-01-20 | 2017-09-05 | 深圳创维-Rgb电子有限公司 | 一种裸眼3d显示方法及系统 |
JP2021118479A (ja) * | 2020-01-28 | 2021-08-10 | 株式会社ジャパンディスプレイ | 画像処理装置およびヘッドアップディスプレイ |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
US7092003B1 (en) * | 1999-01-21 | 2006-08-15 | Mel Siegel | 3-D imaging arrangements |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
DE10105423C1 (de) * | 2001-01-31 | 2002-07-04 | Hertz Inst Heinrich | Verfahren zur Korrespondenzanalyse von Bildmerkmalen in korrespondierenden Videobildern in Echtzeit |
US7365908B2 (en) * | 2001-11-08 | 2008-04-29 | Eugene Dolgoff | Tiling of panels for multiple-image displays |
GB2388896A (en) * | 2002-05-21 | 2003-11-26 | Sharp Kk | An apparatus for and method of aligning a structure |
-
2010
- 2010-12-03 JP JP2010270556A patent/JP5002702B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-16 US US13/162,227 patent/US20120139902A1/en not_active Abandoned
-
2013
- 2013-08-06 US US13/960,722 patent/US20130342529A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012120109A (ja) | 2012-06-21 |
US20120139902A1 (en) | 2012-06-07 |
US20130342529A1 (en) | 2013-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5002702B2 (ja) | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP5068391B2 (ja) | 画像処理装置 | |
JP5879713B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20110026809A1 (en) | Fast multi-view three-dimensional image synthesis apparatus and method | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5673032B2 (ja) | 画像処理装置、表示装置、画像処理方法及びプログラム | |
JP2012227797A (ja) | 立体視画像生成方法および立体視画像生成システム | |
KR20120053536A (ko) | 화상 표시 장치 및 화상 표시 방법 | |
JP2011250278A (ja) | 画像処理装置、画像処理方法および画像表示装置 | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
US9082210B2 (en) | Method and apparatus for adjusting image depth | |
JP5691965B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP5692051B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP5304758B2 (ja) | 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム | |
JP2013090129A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP5488212B2 (ja) | 画像処理装置、画像処理方法および画像表示装置 | |
JP2012155389A (ja) | 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置 | |
JP5355616B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP5500092B2 (ja) | 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置 | |
CN104270625A (zh) | 一种减弱自由立体显示赝立体像的合成图生成方法 | |
JP5431393B2 (ja) | 立体画像生成装置及び方法 | |
JP2012142852A (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |