JP5493155B2

JP5493155B2 - 立体画像処理装置、立体画像処理方法、及びプログラム

Info

Publication number: JP5493155B2
Application number: JP2012196220A
Authority: JP
Inventors: 郁子椿; 幹生瀬戸; 久雄熊井; 博昭繁桝
Original assignee: Sharp Corp; Kochi University of Technology
Current assignee: Sharp Corp; Kochi University of Technology
Priority date: 2012-09-06
Filing date: 2012-09-06
Publication date: 2014-05-14
Anticipated expiration: 2032-09-06
Also published as: WO2014038476A1; US20150249812A1; JP2014052792A

Description

本発明は、立体画像を処理する立体画像処理装置、立体画像処理方法、及びプログラムに関するものである。

近年、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、人間は左右目用画像内の物体のずれである視差により立体感を知覚している。立体表示の課題として、視差が人間の視覚特性の許容限界を超えるような大きな量になると立体視困難となり、ユーザの疲労、不快感を招くことが挙げられる。

特許文献１には、左右目用画像の相対位置を水平方向にシフトさせるシフト処理を行い、このような画像変換が施された後の左右目用画像の中心を基準として拡大縮小を行うスケーリング処理を行うことで、入力画像における視差の分布が所定の範囲に収まるように制御する方法が開示されている。

特開２０１１−５５０２２号公報

繁桝博昭，佐藤隆夫，"書き割り効果のメカニズム"，日本バーチャルリアリティ学会論文誌，１０（２），ｐｐ．２４９−２５６，２００５．

一方で、立体視において、物体間の不連続な奥行き変化が存在すると、物体内の連続的な奥行き変化の知覚が抑制され、不自然な立体感が生じやすいことが知られている（非特許文献１を参照）。しかしながら、このような視覚特性と不自然な立体感については、特許文献１に記載の技術を含め従来の視差調整技術では考慮されていなかった。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、立体画像の視差分布を立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置、立体画像処理方法、及び立体画像処理用のプログラムを提供することにある。

上記の課題を解決するために、本発明の第１の技術手段は、立体画像の視差分布を変換する立体画像処理装置であって、前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行う変換処理部を備え、該変換処理部は、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が小さい画素の視差値をそのままに、近傍画素よりも視差値が大きい画素の視差値を小さくすることによって、前記縮小処理を行うことを特徴としたものである。

第２の技術手段は、立体画像の視差分布を変換する立体画像処理装置であって、前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行う変換処理部を備え、該変換処理部は、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が大きい画素の視差値をそのままに、近傍画素よりも視差値が小さい画素の視差値を大きくすることによって、前記縮小処理を行うことを特徴としたものである。

第３の技術手段は、第１又は２の技術手段において、前記変換処理部は、さらに、前記立体画像に含まれる視差の範囲を調整する視差範囲調整処理を行うことを特徴としたものである。

第４の技術手段は、立体画像の視差分布を変換する立体画像処理方法であって、前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行うステップを有し、該ステップは、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が小さい画素の視差値をそのままに、近傍画素よりも視差値が大きい画素の視差値を小さくすることによって、前記縮小処理を行うことを特徴としたものである。

第５の技術手段は、立体画像の視差分布を変換する立体画像処理方法であって、前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行うステップを有し、該ステップは、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が大きい画素の視差値をそのままに、近傍画素よりも視差値が小さい画素の視差値を大きくすることによって、前記縮小処理を行うことを特徴としたものである。

第６の技術手段は、第４又は第５の技術手段における立体画像処理方法を、コンピュータに実行させるためのプログラムである。

本発明によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、連続的な奥行き変化の乏しい不自然な立体感を防止することができ、それにより、視聴者に良好な立体感を提示できるようになる。

本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。図１の視差分布変換部に入力される視差マップの一例を示す図である。図２Ａの視差マップにおける点線に該当する行の視差値を、縦軸を視差値、横軸を水平方向の座標にとってグラフ化した図である。図２Ｂに対して視差範囲調整部での処理を行った後の行毎の視差マップの一例を示す図である。図２Ｃに対して視差マップ平滑化部での処理を行った後の行毎の視差マップの一例を示す図である。図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。

本発明に係る立体画像処理装置は、立体画像について、視差の隣接画素間差分が大きい領域において、隣接画素間差分を縮小する縮小処理を行う変換処理部を備える。すなわち、本発明に係る立体画像処理装置は、入力された立体画像について、物体の境界（視差値が不連続に変化している領域）における視差値の差を縮小することで、その立体画像の視差分布（つまり各被写体の奥行き）を変換するような、視差調整を実現できる装置である。

以下、添付図面を参照しながら本発明の一実施形態について詳細に説明する。
図１は、本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。

図１で示したように、本実施形態の立体画像表示装置は、複数の視点画像からなる立体画像を入力する入力部１０と、複数の視点画像の中の１つを基準視点画像とし残りの視点画像を別視点画像として、基準視点画像と別視点画像から視差マップを算出する視差算出部２０と、視差算出部２０で得られた視差マップを変更することで、立体画像の視差分布を変更（変換）する視差分布変換部３０と、基準視点画像と視差分布変換部３０で変換後の視差分布から別視点画像を再構成する画像生成部４０と、基準視点画像と画像生成部４０で生成された別視点画像とにより二眼式又は多眼式立体表示を行う表示部５０とを有している。

視差分布変換部３０は、本発明の主たる特徴である上記変換処理部の一例である。よって、本実施形態を含め、本発明に係る立体画像処理装置は、各部１０，２０，３０，４０，５０のうち、少なくとも視差分布変換部３０を備え、立体画像の視差分布を変換できればよい。但し、本発明における視差分布変換部３０は、視差分布の変換を、視差マップを変換することで実行しなくても、他の方法で実行してもよい。

以下、本実施形態の立体画像表示装置における各部の詳細を説明する。
入力部１０は、立体画像のデータ（立体画像データ）を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。

また、立体画像データは、表示部５０が二眼式立体表示を行う場合、右目用画像データと左目用画像データから構成され、表示部５０が多眼式立体表示を行う場合、３つ以上の視点画像から構成される多眼表示用の多視点画像データである。立体画像データが右目用画像データと左目用画像データから構成される場合は、一方を基準視点画像とし他方を別視点画像として用い、多視点画像データである場合は、複数の視点画像の１つを基準視点画像とし、残りの視点画像を別視点画像と呼ぶ。

また、図１の説明や以下の説明では、基本的に、立体画像データが複数の視点画像のデータからなることを前提にしているが、立体画像データは画像データと奥行きデータもしくは視差データから構成されるものであっても構わない。この場合、入力部１０から別視点画像として奥行きデータもしくは視差データが出力されるが、画像データを基準視点画像として用い、奥行きデータもしくは視差データを視差マップとして用いればよい。このような構成の場合、図１の立体画像表示装置では、視差算出部２０が不要になり、視差分布変換部３０が、入力部１０で入力された視差マップを変更することで、立体画像の視差分布を変更（変換）すればよい。但し、画像生成部４０で処理可能な視差マップのフォーマットでない場合には、視差算出部２０を設けておき、視差算出部２０がこのようなフォーマットに変換を行うようにしておけばよい。以下では、奥行きデータもしくは視差データを用いる場合については補足的に簡単に説明する。

視差算出部２０では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向（水平方向）の座標の差分値を記したもの、つまり、立体画像間の各画素における対応する横方向の座標の差分値を記したものである。視差値は、飛出し方向に行くに従って大きく、奥行き方向に行くに従って小さい値をとるものとする。

視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよい。なお、横方向の視差についてのみ説明しているが、縦方向の視差も存在する場合には、同様に、縦方向についての視差マップの算出や視差分布の変換を行うことも可能である。

視差分布変換部３０は、視差範囲調整部３１及び視差マップ平滑化部３２を備える。視差範囲調整部は、視差算出部２０で得られた視差マップＤ（ｘ，ｙ）の値の範囲に応じて、視差マップの値が所望の範囲になるように変換する。まず、視差マップの視差値の最大値ｄｍａｘと最小値ｄｍｉｎを算出する。次に、所望の視差範囲の最大値Ｄｍａｘと最小値Ｄｍｉｎを用いて、次の（１）式の線形変換を用いて視差範囲調整後の視差マップＤ′（ｘ，ｙ）を求める。

なお、ＤｍａｘとＤｍｉｎは予め与えられたＤｍａｘ≧Ｄｍｉｎを満たす定数である。また、ｄｍａｘ＝ｄｍｉｎの場合は、Ｄ′（ｘ，ｙ）＝Ｄｍａｘとする。

（１）式の処理により、視差範囲調整後の視差マップＤ′（ｘ，ｙ）は視差範囲が最大値Ｄｍａｘ、最小値Ｄｍｉｎとなるように変換される。このような視差範囲調整処理において、視聴した際にユーザの疲労が小さいと考えられる視差範囲を考慮してＤｍａｘとＤｍｉｎを指定することにより、疲労が小さい視差範囲に調整する効果を奏する。

このような効果を奏することから、視差分布変換部３０は、立体画像に含まれる視差の範囲を調整する視差範囲調整処理を行うことが好ましい。但し、視差分布変換部３０は、次に説明する視差マップ平滑化部３２を備えればよく、視差範囲調整部３１を備えなくてもよい。

視差マップ平滑化部３２は、上記変換処理部の主な処理を実行する。すなわち、視差マップ平滑化部３２は、視差の隣接画素間差分が大きい領域において、隣接画素間差分を縮小する縮小処理を行う。但し、視差マップ平滑化部３２は、視差マップを平滑化する平滑化処理により、この縮小処理を実行する。この縮小処理では、視差の隣接画素間差分が所定値より大きい領域のみについて隣接画素間差分を縮小することが好ましく、そのような例を挙げる。但し、視差の隣接画素間差分がその所定値以下の領域についても縮小してもよく、その場合には上記大きい領域において上記小さい領域に比べてより縮小させておけばよい。また、視差分布変換部３０に視差範囲調整部３１を備える構成についてのみ説明するが、視差範囲調整部３１を備えない構成においては、平滑化対象の視差マップは視差マップＤ（ｘ，ｙ）となる。

この例における視差マップ平滑化部３２は、（２）式に示すようなフィルタ処理によって行う。視差範囲調整部３１で得られた調整後の視差マップをＤ′（ｘ，ｙ）、フィルタ係数をｇ、ウィンドウサイズを２ｗ＋１とすると、平滑化後の視差値Ｄ″（ｘ，ｙ）は次式により表わされる。

εは、視差値が連続しているかどうかを判定するための正の定数である。（２）式は、ある画素（ｘ，ｙ）とその近傍画素（ｘ＋ｉ，ｙ＋ｊ）の視差値の差分ｄ_１−ｄ_２を求め、閾値εの値と比較し、閾値以上の場合はその近傍画素を平滑化に用い、閾値より小さい場合はその近傍画素を平滑化に用いないという非線形の平滑化フィルタである。差分ｄ_１−ｄ_２が閾値以上であることは、当該画素（ｘ，ｙ）の方が近傍画素（ｘ＋ｉ，ｙ＋ｊ）よりも飛出し方向にあり、かつ２点間の視差の差分が大きいことを意味している。ウィンドウ内に差分ｄ_１−ｄ_２が閾値以上になる近傍画素が無い場合は、その画素について平滑化が行われない。このように、差分が閾値以上の近傍画素のみを平滑化に用いるため、近傍の画素と比べて視差が大きい画素の視差値を小さくする効果があり、その結果、隣接画素間差分が縮小される。σはフィルタの特性を制御する定数である。視差分布変換部３０は、（２）式で得られた平滑化後の視差マップＤ″（ｘ，ｙ）を、変換処理後の視差マップとして出力する。

次に、具体的な視差マップの例を挙げて、本実施形態における視差分布変換処理の一例を説明する。視差算出部２０で算出された視差マップの例を図２Ａに、図２Ａの視差マップのある行（図２Ａの点線部分）の視差をグラフにしたものを図２Ｂに示す。

より具体的に図２Ａ及び図２Ｂについて説明する。図２Ａに示す視差マップは、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで、立体画像における視差値の空間分布を表現している。図２Ｂは、図２Ａの視差マップの点線の行の視差値を、縦軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）、横軸を水平方向の座標にとってグラフ化したものである。また、図２Ｂでは、便宜上、視差値の最小値に横軸（水平方向座標の軸）を描いているが、視差値は奥行き方向の場合に負値をとり、飛出し方向の場合に正値をとるものとする。この例では、図２Ｂのグラフで表現される行毎の視差値に基づいて視差分布を変換する。

このような図２Ｂの視差値に対して視差範囲調整部３１の処理を行った結果の例を、図２Ｃに示す。図２Ｃでは図２Ｂと比べて視差範囲が縮小されている。さらに、このような図２Ｃの視差値に対して（２）式を用いて視差マップ平滑化部３２の処理を行った結果の例を、図２Ｄに示す。図２Ｄにおいて点線で囲った領域は、図２Ｃにおいて隣接画素間差分が大きい領域であるが、図２Ｄでは変化が滑らかになり、隣接画素間差分が小さくなっている。また、図２Ｄの例では、視差値が小さくなる方向へ補正されている。点線で囲った領域以外では殆ど変化していないため、図２Ｃと比べて、最大値と最小値は変化していない。

但し、視差マップ平滑化部３２は、上述したような視差値変換処理に限らず、視差の隣接画素間差分が大きい領域において、隣接画素間差分を縮小する縮小処理を実行すればよい。例えば、図２Ｄの例とは異なり、視差値が大きくなる方向への補正を行うこととし、（２）式中のｆを（３）式に置き換えてもよい。また、例えば、視差値が大きくなる方向と小さくなる方向の両方に補正を行うこととして、（２）式中のｆを（４）式に置き換えてもよい。

以上、視差マップ平滑化部３２における（２）〜（４）式におけるｆとして例示したように、視差分布変換部３０は、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が大きい画素の視差値を変更する（小さくする）ことによって、及び／又は、近傍画素よりも視差値が小さい画素の視差値を変更する（大きくする）ことによって、縮小処理を行うことが好ましい。

また、縮小処理の例としては、（２）式のＤ″（ｘ，ｙ）に限定するものではなく、他の平滑化フィルタを用いてもよく、視差の隣接画素間差分が大きい領域についてその隣接画素間差分が縮小され、それ以外の領域では視差値をあまり変化させない処理であればよい。

なお、立体画像が２つの視点画像で構成される場合には、視差分布変換部３０は、その２つの視点画像による視差分布を変換する。立体画像が３以上の視点画像で構成される場合には、ある定めた視点画像（基準視点画像）と他の複数の視点画像との間のそれぞれで、このような検出・変換処理を施せばよい。

図１に戻って、視差分布変換後の処理について説明する。画像生成部４０は、基準視点画像と視差分布変換部３０で変換後の視差マップから別視点画像を再構成する。再構成した別視点画像を表示用別視点画像と呼ぶ。より具体的には、画像生成部４０は、基準視点画像の各画素について、その座標の視差値を視差マップから読み取り、再構成する別視点画像において、視差値分だけ座標をずらした画像に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛出し方向に最大の画素の画素値を用いる。

図３を参照しながら、画像生成部４０における別視点画像の再構成処理の一例を説明する。図３は、左目用画像を基準視点画像と選択した場合の例である。（ｘ，ｙ）は画像内の座標を示すが、図３では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Ｚは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。

まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、視差分布変換部３０で変換した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、ｚバッファの値を更新する。

次にステップＳ４において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。

さらに、本実施形態に係る立体画像表示装置では、画像生成部４０が、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。つまり、画像生成部４０は画像補間部を具備し、常に画素値を決定できるようにしておく。この補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。ここでは、補間処理として近傍画素値の平均値を用いたが、平均値を用いる方法に限らず、画素の距離に応じた重みづけを行ってもよいし、その他のフィルタ処理を採用するなど、他の方法を採用してもよい。

表示部５０は、表示デバイスと、その表示デバイスに、基準視点画像と画像生成部４０で生成された表示用別視点画像とを表示要素とする立体画像を出力する制御を行う表示制御部とで構成される。すなわち、表示部５０は、基準視点画像と生成された表示用別視点画像とを入力し、二眼式又は多眼式立体表示を行う。入力部１０での基準視点画像が左目用画像、別視点画像が右目用画像だった場合は、基準視点画像を左目用画像、表示用別視点画像を右目用画像として表示する。入力部１０での基準視点画像が右目用画像、別視点画像が左目用画像だった場合は、基準視点画像を右目用画像、表示用別視点画像を左目用画像として表示する。

また、入力部１０に入力された画像が多視点画像だった場合は、入力時と順序が同じになるように基準視点画像と表示用別視点画像を並べて表示する。なお、入力部１０に入力された画像データが画像データと奥行きデータもしくは視差データであった場合は、画像データを左右目用画像のどちらで使用するかの設定に従って決定する。

本実施形態の処理によれば、不連続な奥行き変化を抑制することで、連続的な奥行き変化（物体内の連続的な奥行き変化）の知覚が抑制されて不自然な立体感を生じることを防ぎ、自然な立体感のある画像を表示することができる。
すなわち、本実施形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。

また、本実施形態に係る立体画像表示装置において、立体画像の視差分布の変更（調整）の度合い（例えば上述した各式における各パラメータ）の調整は、立体画像における視差量の調整に該当する。このような変更の度合いは、視聴者によって操作部から操作されてもよいし、デフォルト設定に従い決定されてもよい。また、視差分布に応じて変更されてもよい。その他、この変更の度合いは、立体画像のジャンルや、立体画像を構成する視点画像の平均輝度等の画像特徴量など、立体画像の視差以外の指標に応じて、変更されてもよい。いずれの調整においても、本発明では、物体内の連続的な奥行き変化の知覚が抑制されるような物体間の不連続な奥行き変化が大きい領域であるか否かに応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）視差の隣接画素間差分を縮小する縮小処理を実行できるため、本発明では、良好な立体感を提示できる。

また、本発明の立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。

また、図１で例示した立体画像表示装置における各部のうち、本発明に係る立体画像処理装置に該当する部分（つまり表示部５０が備える表示デバイスを除く構成要素）は、例えばマイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部又は全部はＬＳＩ（Large Scale Integration）等の集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。

なお、上記した実施形態では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。本発明の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していても構わないし、あるいは、全ての構成要素を一つの集積回路／ＩＣチップセットに実装していても構わず、どのような実装形態であれ、機能として各構成要素を有していればよい。

また、本発明に係る立体画像処理装置は単に、ＣＰＵ（Central Processing Unit）や作業領域としてのＲＡＭ（Random Access Memory）や制御用のプログラムの格納領域としてのＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、ＰＣ内に立体画像表示用のアプリケーションソフトとして組み込み、ＰＣを立体画像処理装置として機能させることもできる。また、この立体画像処理プログラムは、クライアントＰＣから実行可能な状態でＷｅｂサーバ等の外部サーバに格納されていてもよい。

以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、立体画像の視差分布を変換する方法であって、この立体画像について、視差の隣接画素間差分が大きい領域において、上記隣接画素間差分を縮小するステップを有するものとする。その他の応用例については、立体画像表示装置について説明したとおりである。

また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムである。この視差分布変換処理は、この立体画像について、視差の隣接画素間差分が大きい領域において、上記隣接画素間差分を縮小するステップを有している。その他の応用例については、立体画像表示装置について説明したとおりである。

また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。

１０…入力部、２０…視差算出部、３０…視差分布変換部、３１…視差範囲調整部、３２…視差マップ平滑化部、４０…画像生成部、５０…表示部。

Claims

立体画像の視差分布を変換する立体画像処理装置であって、
前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行う変換処理部を備え、
該変換処理部は、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が小さい画素の視差値をそのままに、近傍画素よりも視差値が大きい画素の視差値を小さくすることによって、前記縮小処理を行うことを特徴とする立体画像処理装置。
立体画像の視差分布を変換する立体画像処理装置であって、
前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行う変換処理部を備え、
該変換処理部は、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が大きい画素の視差値をそのままに、近傍画素よりも視差値が小さい画素の視差値を大きくすることによって、前記縮小処理を行うことを特徴とする立体画像処理装置。
前記変換処理部は、さらに、前記立体画像に含まれる視差の範囲を調整する視差範囲調整処理を行うことを特徴とする請求項１又は２に記載の立体画像処理装置。
立体画像の視差分布を変換する立体画像処理方法であって、
前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行うステップを有し、
該ステップは、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が小さい画素の視差値をそのままに、近傍画素よりも視差値が大きい画素の視差値を小さくすることによって、前記縮小処理を行うことを特徴とする立体画像処理方法。
立体画像の視差分布を変換する立体画像処理方法であって、
前記立体画像について、視差の隣接画素間差分が大きい領域において、前記隣接画素間差分を縮小する縮小処理を行うステップを有し、
該ステップは、視差の隣接画素間差分が大きい画素の近傍において、近傍画素よりも視差値が大きい画素の視差値をそのままに、近傍画素よりも視差値が小さい画素の視差値を大きくすることによって、前記縮小処理を行うことを特徴とする立体画像処理方法。
請求項４又は５に記載の立体画像処理方法を、コンピュータに実行させるためのプログラム。