JP5488212B2 - 画像処理装置、画像処理方法および画像表示装置 - Google Patents

Description

本発明は、立体映像をなす一対の入力画像を、補正した画像として生成する画像処理装置に関するものである。

近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術がある。両眼視差を利用した立体画像表示技術では、３次元空間の左眼で見た映像と右眼で見た映像とを観察者の左眼と右眼とに分けて見せることによって観察者が映像を立体と感じる。

観察者の左右の眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面に画像の表示角を制限するバリアやレンズを用いることで左右の眼それぞれに左眼用画像と右眼用画像を見せる方式など、様々な方式がある。

このような立体画像表示装置において視差が大きいと、飛び出し量や引っ込み量が大きくなり、観察者に驚きを与えることができるが、視差をある程度以上に大きくすると、融合限界により右目と左目の画像が融合せず、２重像が見えてしまい立体視が得られなくなるという問題がある。

この問題に対して、特許文献１は、立体画像の飛び出しと引っ込みで表現される奥行き量の幅であるダイナミックレンジを補正することで観察者が立体視を得やすくなる技術を開示している。

特開２０１０−４５５８４号公報（段落００３７、図１）

しかしながら、特許文献１に開示された技術では、ダイナミックレンジを補正することにより、ノイズが発生しやすいという課題がある。つまり、ダイナミックレンジを圧縮する場合、飛び出している画像は奥側に移動し、引っ込んでいる画像は前側に移動するように補正する。この場合、例えば左眼の画像では、飛び出している画像は表示画面上で左側に移動し、引っ込んでいる画像は表示画面上で右側に移動する。一つの画面上で右側に移動する画像と左側に移動する画像とが存在することから、移動した画像の後ろにある、元の画像に存在しない画像が現れることになる。そのため、新たに現れた画像部分は、元の画像から推定して新たに作成することになるが、この修正が不十分な場合はノイズとして表示される。

この発明は、上述のような課題を解決するためになされたもので、ノイズの発生を抑えながら立体画像の飛び出し量と引っ込み量を、観察者が立体視を得やすい奥行き量の範囲とすることを目的とする。

本発明に係わる画像処理装置においては、立体画像をなす一対のフレーム画像から最も飛び出た画像の視差データをフレーム画像の視差データである第１の視差データとして出力するフレーム視差調整量生成部と、立体画像をなす一対の前記フレーム画像から所定の値より引っ込んだ画像の視差データを対象となる画像の視差データである第２の視差データとして出力する画素視差調整量生成部と、前記第１の視差データに基づきフレーム画像全体を奥側に移動させ前記第２の視差データに基づき前記対象となる画像を手前側に移動させる調整画像生成部とを備えることを特徴とする。

本発明によれば、視差量の調整に伴うノイズの発生を抑えて、観察者が立体視を得やすい奥行き量の範囲に立体画像を表示することができる。

本発明の実施の形態１に係る画像表示装置の構成を示す構成図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差調整量生成部の構成を示す構成図である。 本発明の実施の形態１に係る画像処理装置の画素視差調整量生成部の構成を示す構成図である。 本発明の実施の形態１に係る画像処理装置の視差算出部が視差データを算出する方法を説明する説明図である。 本発明の実施の形態１に係る画像処理装置の視差算出部の詳細な構成を示す構成図である。 本発明の実施の形態１に係る画像処理装置の領域視差算出部が視差データを算出する方法を説明する説明図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差算出部へ入力される視差データを詳細に示した構成図である。 本発明の実施の形態１に係る画像処理装置の視差データからフレーム視差のデータを算出する方法を説明する説明図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差データから算出される補正後フレーム視差データについて詳細に説明する説明図である 本発明の実施の形態１に係る画像表示装置の画像入力データの視差量と画像出力データの視差量の変化による飛び出し量の変化を説明する説明図である。 本発明の実施の形態１に係る画像表示装置の画像入力データの視差量と画像出力データの視差量の変化による引っ込み量の変化を説明する説明図である。 本発明の実施の形態１に係る視差量の調整動作の例を説明する説明図である。 本発明の実施の形態２に係る画像処理装置の立体画像の画像処理方法のフローを表すフロー図である。 本発明の実施の形態２に係る画像処理装置のフレーム視差算出ステップのフローを表すフロー図である。 本発明の実施の形態２に係る画像処理装置のフレーム視差補正ステップのフローを表すフロー図である。

実施の形態１．
図１は、本発明の実施の形態１に係る立体画像を表示する画像表示装置２００の構成を示す図である。実施の形態１に係る画像表示装置２００は、フレーム視差調整量生成部１、画素視差調整量生成部２、調整画像生成部３および表示部４を備える。画像表示装置２００の内の画像処理装置１００は、フレーム視差調整量生成部１、画素視差調整量生成部２および調整画像生成部３で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、フレーム視差調整量生成部１、画素視差調整量生成部２および調整画像生成部３の各々に入力される。フレーム視差調整量生成部１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて第１の視差データであるフレームの視差データＴ１を生成し調整画像生成部３に出力する。画素視差調整量生成部２は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて第２の視差データである画素の視差データＴ２を生成し調整画像生成部３に出力する。

調整画像生成部３は、フレームの視差データＴ１および画素の視差データＴ２に基づいて左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の画素視差およびフレーム視差を調整した左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を出力する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは表示部４に入力される。表示部４は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを表示面に表示する。

図２は、フレーム視差調整量生成部１の構成を示す図である。実施の形態１に係るフレーム視差調整量生成部１は、ブロック視差算出部１１、フレーム視差算出部１２、フレーム視差補正部１３およびフレーム視差調整量算出部１４で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、ブロック視差算出部１１に入力される。ブロック視差算出部１１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて領域ごとの視差を算出し、ブロック視差データＴ１１をフレーム視差算出部１２に出力する。フレーム視差算出部１２は、ブロック視差データＴ１１に基づいて着目フレームに対する視差を算出しフレーム視差データＴ１２として出力する。フレーム視差データＴ１２は、フレーム視差補正部１３に入力される。

フレーム視差補正部１３は、着目フレームのフレーム視差データＴ１２を他の時刻のフレームのフレーム視差データＴ１２を参照して補正した補正後フレーム視差データＴ１３を出力する。補正後フレーム視差データＴ１３は、フレーム視差調整量算出部１４に入力される。

フレーム視差調整量算出部１４は、観察者９が入力する視差調整情報Ｓ１と補正後フレーム視差データＴ１３に基づいて算出したフレーム視差調整データＴ１４を出力する。フレーム視差調整データＴ１４は、調整画像生成部３に入力される。

なお、本実施の形態１においては、フレーム視差調整量生成部１はフレーム視差データＴ１２をフレーム視差補正部１３およびフレーム視差調整量算出部１４において処理したフレーム視差調整データＴ１４を出力している。このため、第１の視差データであるフレームの視差データＴ１は視差調整情報Ｓ１を基に生成されるフレーム視差調整データＴ１４となっている。しかし、フレーム視差補正部１３およびフレーム視差調整量算出部１４における処理を省き、フレーム視差データＴ１２をフレームの視差データＴ１として出力することもできる。また、フレーム視差補正部１３の処理のみ省くことや視差調整情報Ｓ１を観察者９からの入力ではなく、事前の設定値とすることもできる。

図３は、画素視差調整量生成部２の構成を示す図である。実施の形態１に係る画素視差調整量生成部２は、画素視差算出部２１と画素視差調整量算出部２４とで構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、画素視差算出部２１に入力される。画素視差算出部２１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて画素ごとの視差を算出し、画素視差データＴ２１を画素視差調整量算出部２４に出力する。

画素視差調整量算出部２４は、観察者９が入力する視差調整情報Ｓ２と画素視差データＴ２１に基づいて算出した画素視差調整データＴ２４を出力する。画素視差調整データＴ２４は、調整画像生成部３に入力される。

なお、本実施の形態１において、画素視差調整量生成部２は画素視差データＴ２１および視差調整情報Ｓ１を基に画素視差調整量算出部２４で処理された画素視差調整データＴ２４を出力している。このため、第２の視差データである画素の視差データＴ２は視差調整情報Ｓ２を基に生成される画素視差調整データＴ２４となっている。しかし、画素視差調整量算出部２４における処理を省き、画素視差データＴ２１を画素の視差データＴ２として出力することもできる。また、視差調整情報Ｓ２を観察者９からの入力ではなく、事前の設定値とすることもできる。また、画素視差調整量算出部２４の前にフレーム視差補正部１３と同様に、着目フレームの画素視差データＴ２１を他の時刻のフレームの画素視差データＴ２１を参照して補正した補正後画素視差データＴ２３を画素の視差データＴ２として出力することもできる。

調整画像生成部３は、フレーム視差調整データＴ１４と画素視差調整データＴ２４とに基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を調整した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを出力する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは表示部４に入力される。表示部４は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを表示面に表示する。

上述のように、フレーム視差調整量生成部１はフレームごとに１つのフレームの視差データＴ１を出力する。実施の形態１においては、フレームの視差データＴ１はフレーム視差調整データＴ１４である。このフレーム視差調整データＴ１４は、画像調整によって飛び出し量を減少させる視差量である。つまり、フレーム視差調整量生成部１はフレーム中の最も飛び出した画像の視差量を算出し、フレーム全体の画像を一定量だけ奥側に移動する処理を行う。フレーム全体の画像を一定量だけ奥側に動かすには、左眼用画像入力データＤａ１の全体を画面上左側に移動し、右眼用画像入力データＤｂ１の全体を画面上右側に移動する。この処理は、画素ごとに移動量を決定して画像を調整する方法に比べて処理が簡単で、処理に伴うノイズの発生を抑制できるという効果を有する。

一方、画素視差調整量生成部２は、フレームの中の対象となる画像の視差データＴ２を出力する。実施の形態１においては、画像の視差データＴ２は画素視差調整データＴ２４である。この画素視差調整データＴ２４は、画像調整によって対象となる画像の引っ込み量を減少させる視差量である。つまり、フレーム中の引っ込み量が大きい部分の画素を一定量だけ前側に移動する処理を行う。

観察者９は、立体画像が飛び出し過ぎても、引っ込み過ぎても立体視を得にくくなる。フレーム視差調整量生成部１により、最も飛び出した画像を適正範囲まで奥側に移動させた場合、奥側の画像が適正範囲より奥側に出てしまう場合がある。画素視差調整量生成部２は、この適正範囲より奥側にある画像を、フレーム全体ではなく、対象となる画像ごとに前側に移動して、適正範囲に入れる作業を行う。これにより画像全体が適正な奥行き量の範囲の中に入ることになる。

上述のように、画素ごとに視差量を調整する方法は、ノイズが発生しやすいという欠点を有する。これは、画像を画面上で左右に移動させた場合、その画像の後ろ側にある画像が現れるが、その画像は元々存在しないため周辺の画像から推定を行って補完する。この際に不完全な補完によりノイズが発生する。しかし、奥側の画像は、通常対象となる画像自体が小さく、また、飛び出して近くに表示される画像に比べて不鮮明であることから、画素ごとの視差量の調整に伴うノイズの発生を抑制することができるという利点がある。

以下で、本発明の実施の形態１に係る画像処理装置１００の詳細な動作について説明する。

図４は、ブロック視差算出部１１が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいてブロック視差データＴ１１を算出する方法を説明するための図である。

ブロック視差算出部１１は、入力データである左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをディスプレイ表示面６１の上で幅Ｗ１、高さＨ１に区切った大きさと対応するように分割し、その領域ごとの視差を算出する。立体映像は左眼用画像と右眼目用画像との一対の画像が連続して動画となっている。左眼用画像入力データＤａ１は左眼用画像であり、右眼用画像入力データＤｂ１は右眼用画像であるため、映像の画像自体が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とになる。例えばテレビに実施の形態１に係る発明を適用する場合であれば、デコーダが放送信号を復号するが、その復号された映像信号が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１として入力される。なお、画面の分割数については、実施の形態１に係る発明を実際のＬＳＩなどに実装する際にＬＳＩの処理量等を考慮して決定する。

ディスプレイ表示面６１の上を区切った領域の垂直方向の領域の数を正の整数ｈ、水平方向の領域の数を正の整数ｗとする。図４では、最も左上の領域の番号を第１番目とし、順次、左の列の上から下へ、列は左から右へと進み第２番目、第３番目から第ｈ×ｗ番目までの番号を振っている。さらに、左眼用画像入力データＤａ１の第１番目の領域に含まれる画像データをＤａ１（１）とし、以下各領域に対する画像データをＤａ１（２）、Ｄａ１（３）からＤａ１（ｈ×ｗ）までとし、右眼用画像入力データＤｂ１の各領域に対する画像データも同様にＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（２）、Ｄｂ（３）からＤｂ（ｈ×ｗ）までとする。

図５は、ブロック視差算出部１１の詳細な構成を示す図である。ブロック視差算出部１１は、領域ごとに視差を算出するため、ｈ×ｗ個の領域視差算出部で構成されている。領域視差算出部１１ｂ（１）は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに基づいて第１番目の領域の視差を算出し、第１番目の領域の視差データＴ１１（１）として出力する。以下同様に、領域視差算出部１１ｂ（２）から領域視差算出部１１ｂ（ｈ×ｗ）までは、それぞれ第２番目から第ｈ×ｗ番目までの領域の視差を算出し、第２番目から第ｈ×ｗ番目までの領域の視差データＴ１１（２）から領域の視差データＴ１１（ｈ×ｗ）として出力する。そして、ブロック視差算出部１１は第１番目から第ｈ×ｗ番目までの領域の視差データＴ１１（１）から領域の視差データＴ１１（ｈ×ｗ）をブロック視差データＴ１１として出力する。

領域視差算出部１１ｂ（１）は、位相限定相関法を用いて左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）の領域の視差データＴ１１（１）を算出する。位相限定相関法については例えば非特許文献（萩原瑞木、川俣政征著「位相限定関数を用いた画像のサブピクセル精度の位置ずれ検出」電子情報通信学会技術研究報告、Ｎｏ．ＣＡＳ２００１−１１、ＶＬＤ２００１−２８、ＤＳＰ２００１−３０、２００１年６月、ｐｐ．７９−８６）に説明されている。位相限定相関法は、立体映像の一対の画像を入力として受け取り、視差量を出力するアルゴリズムである。

次に示す式（１）は位相限定相関法で算出される視差量Ｎｏｐｔを表す式である。式（１）において、Ｇａｂ（ｎ）は位相限定相関関数である。

ここで、ｎ：０≦ｎ≦Ｗ１とする。ａｒｇｍａｘ（Ｇａｂ（ｎ））はＧａｂ（ｎ）が最大となるｎの値であり、このときのｎがＮｏｐｔである。Ｇａｂ（ｎ）は次の数式（２）で表される。

ここで、関数ＩＦＦＴは、逆高速フーリエ変換関数であり、｜Ｆａｂ（ｎ）｜はＦａｂ（ｎ）の大きさである。Ｆａｂ（ｎ）は次の数式（３）で表される。

ここで、Ｂ＊（ｎ）はＢ（ｎ）の複素共役の系列、Ａ・Ｂ＊（ｎ）はＡとＢ＊（ｎ）の畳み込みである。ＡおよびＢ（ｎ）はつぎの数式（４）で表される。

ここで、関数ＦＦＴは高速フーリエ変換関数である。ａ（ｍ）、ｂ（ｍ）は連続する１次元の系列であり、ｍは系列のインデックスである。そしてｂ（ｍ）＝ａ（ｍ−τ）すなわちｂ（ｍ）はａ（ｍ）を右にτずらした系列であり、ｂ（ｍ−ｎ）はｂ（ｍ）を右にｎずらした系列である。

領域視差算出部１１ｂでは、左眼用画像入力データＤａ１（１）を式（４）のａとし、右眼用画像入力データＤｂ１（１）を式（４）のｂとして位相限定相関法によって算出されたＮｏｐｔが領域の視差データＴ１１（１）となる。

図６は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）から位相限定相関法を用いて領域の視差データＴ１１（１）を算出する方法を説明するための図である。図６（ａ）の実線で表されるグラフは、第１番目の領域に対応する左眼用画像入力データＤａ１（１）であり、横軸は水平位置、縦軸は階調を示している。図６（ｂ）のグラフは、第１番目の領域に対応する右眼用画像入力データＤｂ１（１）であり、横軸は水平位置、縦軸は階調を示している。図６（ａ）の破線で表されるグラフは、第１番目の領域の視差量ｎ１だけずらした右眼用画像入力データＤｂ１（１）である。図６（ｃ）のグラフは、位相限定相関関数Ｇａｂ（ｎ）であり、横軸はＧａｂ（ｎ）の変数ｎ、縦軸は相関の強さを示している。

位相限定相関関数Ｇａｂ（ｎ)は、連続する系列ａとａをτシフトした系列ｂとで定義されており、式（２）、式（３）よりｎ＝−τにピークを持つデルタ関数になる。右眼用画像入力データＤｂ１（１）は、左眼用画像入力データＤａ１（１）に対して飛び出す場合に左方向にずれ、引っ込む場合に右方向にずれている。左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ（１）を領域に区切ったデータでは飛び出し方向、引っ込み方向いずれか一方にずれている可能性が高く、左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）を式（４）の入力ａ（ｍ）、ｂ（ｍ）として算出した式（１）のＮｏｐｔが領域の視差データＴ１１（１）となる。

図６（ａ）と図６（ｂ）の関係よりずれ量はｎ１であるため、図６（ｃ）に示すように位相限定相関関数Ｇａｂ（ｎ）に関するずれ量の変数ｎがｎ１のときに相関関数の値が一番大きくなる。

領域視差算出部１１ｂ（１）は、式（１）より左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）に対する位相限定相関関数Ｇａｂ（ｎ）の値が最大となるずれ量ｎ１を領域の視差データＴ１１（１）として出力する。

同様に、領域視差算出部１１ｂ（２）から１１ｂ（ｈ×ｗ）までは、第２番目から第ｈ×ｗ番目までの領域に含まれる左眼用画像入力データＤａ１（２）からＤａ１（ｈ×ｗ）までと右眼用画像入力データＤｂ１（２）からＤｂ１（ｈ×ｗ）までのそれぞれの位相限定相関の値がピークとなるずれ量を領域の視差データＴ１１（２）からＴ１１（ｈ×ｗ）までとして出力する。

非特許文献１には、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをそのまま入力として、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を得る方法が記載されている。しかし、入力される画像が大きければ計算量が多くなり、ＬＳＩに実装した際、回路規模が大きくなるという問題がある。さらに、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に小さく写っている物体に対する位相限定相関関数Ｇａｂ（ｎ）のピークは小さくなってしまい、小さく写っている物体の視差の算出が難しい。

実施の形態１に係る発明のブロック視差算出部１１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを小さい領域に分割し、領域ごとに位相限定相関法を適用している。このため、小さい回路規模で位相限定相関法をＬＳＩに実装できる。この場合、すべての領域を同時に計算するのではなく、１つの回路を使って１領域ずつ順番に視差を計算することでさらに回路規模を小さくできる。さらに、小さく分割された領域内では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に小さく写っていた物体も、相対的に大きな面積を占めることになるので、位相限定相関関数Ｇａｂ（ｎ）のピークも大きくなり検出しやすくなる。このため、視差がより正確に求められる。領域ごとに求めた視差をもとに、次に説明するフレーム視差算出部１２で左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との画像全体での視差を出力する。

次に、フレーム視差算出部１２の詳細な動作について説明する。

図７は、フレーム視差算出部１２について入力されるブロック視差データＴ１１を詳細に示した図である。フレーム視差算出部１２は、入力される第１番目から第ｈ×ｗ番目までの領域に対応する領域の視差データＴ１１（１）からＴ１１（ｈ×ｗ）までを集約し、着目フレームの画像に対して１つのフレーム視差データＴ１２を算出する。

図８は、領域の視差データＴ１１（１）からＴ（ｈ×ｗ）までを基にフレーム視差データＴ１２を算出する方法を説明するための図である。横軸は領域の番号であり、縦軸は視差データである。フレーム視差算出部１２は、領域の視差データＴ１１（１）からＴ１１（ｈ×ｗ）までのうち、最大の視差データをフレーム画像のフレーム視差データＴ１２として出力する。

これにより、視差の情報が埋め込まれていない立体映像に対しても、観察者９にとって最も影響が大きいと考えられる立体映像の各フレームでの最も飛び出している部分の視差量を算出することができる。

次に、フレーム視差補正部１３の詳細な動作について説明する。

図９は、フレーム視差データＴ１２から算出される補正後フレーム視差データＴ１３について詳細に説明するための図である。図９（ａ）は、フレーム視差データＴ１２の時間的変化を示した図である。横軸は時間であり、縦軸はフレーム視差データＴ１２である。図９（ｂ）は補正後フレーム視差データＴ１３の時間的変化を示した図である。横軸は時間であり、縦軸は補正後フレーム視差データＴ１３である。

フレーム視差補正部１３は、フレーム視差データＴ１２を一定時間分保持し、着目フレームの前後複数のフレーム視差データＴ１２の平均を算出し、補正後フレーム視差データＴ１３として出力する。

ここで、Ｔ１３（ｔｊ）は着目する時刻ｔｊにおける補正後フレーム視差データであり、Ｔ１２（ｋ）は時刻ｋにおけるフレーム視差データであり、正の整数Ｌは平均を算出する幅である。またｔｉ＜ｔｊであるので、例えば図９（ａ）に示す時刻（ｔｉ−Ｌ）からｔｉまでにおけるフレーム視差データＴ１２の平均から図９（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ１３が求められる。

３Ｄの飛び出し量は時間的に連続的に変化するものが多い。フレーム視差データＴ１２が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合はフレーム視差データＴ１２の誤検出とみなしても良い。フレーム視差補正部１３により、たとえインパルス状の変化があったとしても時間的に平均化しても問題なく、また、時間的に平均化することで誤検出を緩和することができる。

次に、フレーム視差調整量算出部１４の詳細な動作について説明する。

フレーム視差調整量算出部１４は、観察者９が立体視を得やすいように設定する視差調整情報Ｓ１と補正後のフレーム視差データＴ１３とに基づいて視差調整量を算出しフレーム視差調整データＴ１４を出力する。

視差調整情報Ｓ１は、視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂを含み、フレーム視差調整データＴ１４は、式４によって補正後フレーム視差データＴ１３から算出される。フレーム視差調整データＴ１４は次の式（６）で表される。

フレーム視差調整データＴ１４は、画像調整によって飛び出し量を減少させる視差量のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和がフレーム視差調整データＴ１４となる。このため、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１ｂ以下の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトしない。一方、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１ｂより大きい場合は、補正後フレーム視差データＴ１３と視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値だけ左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトすることになる。

例えば、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０の場合、Ｔ１３≦０ではＴ１４＝０となる。つまり画像調整は行われない。一方、Ｔ１３＞０ではＴ１４＝Ｔ１３となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ１３だけシフトされる。補正後フレーム視差データＴ１３はフレーム画像の最大の視差であるため、着目フレーム内で算出された最大の視差が０となる。また、視差調整係数Ｓ１ａを１より小さくしていくとフレーム視差調整データＴ１４は補正後フレーム視差データＴ１３より小さくなり、着目フレーム内で算出された最大の視差も０より大きくなる。また、視差調整閾値Ｓ１ｂを０より大きくしていくと、補正後フレーム視差データＴ１３が０より大きい値に対しても視差データの調整を行わない。つまり画像が少し飛び出しているフレームに対しても視差調整を行わないことになる。

ブロック視差算出部１１では、領域ごとの視差を算出する場合について説明したが、画素視差算出部２１は、画素ごとの視差を算出する。算出方法としては、ブロック視差算出部１１が採用した分割領域をさらに小さくして、その微小領域の視差を領域に含まれる画素視差量とすることや、ブロック視差算出部１１と同様に一定の大きさの領域で視差を算出した後に、その領域に含まれる画素ごとに同一点を検出して画素ごとの画素視差量を求めて画素視差データＴ２１とすることができる。また、分割された左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との間のブロックマッチングにより相関の高い領域を検索した後に領域に含まれる画素ごとの視差量である画素視差データＴ２１を算出してもよい。

次に、画素視差調整量算出部２４の詳細な動作について説明する。

画素視差調整量算出部２４は、立体画像の立体の奥側である引っ込み量を調整するための画素視差調整データＴ２４を算出する。画素視差調整量算出部２４は、観察者９が立体視を得やすいように設定する視差調整情報Ｓ２と画素視差データＴ２１とに基づいて視差調整量を算出し画素視差調整データＴ２４を出力する。

視差調整情報Ｓ２は、視差調整係数Ｓ２ａと視差調整閾値Ｓ２ｂを含み、画素視差調整データＴ２４は次の式（７）で表される。

画素視差調整データＴ２４は、画像調整によって引っ込み量を減少させる視差量のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との立体映像の対となる画素の水平シフト量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和がＴ２４となる。このため、画素視差データＴ２１が視差調整閾値Ｓ２ｂ以上の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１の画素データとを水平方向にシフトしない。一方、画素視差データＴ２１が視差調整閾値Ｓ２ｂより小さい場合は、画素視差データＴ２１と視差調整閾値Ｓ２ｂとの差の値に視差調整係数Ｓ２ａを乗じた値だけ合計のシフト量として左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との画素を水平方向にシフトすることになる。

例えば、視差調整係数Ｓ２ａ＝０．５、視差調整閾値Ｓ２ｂ＝０の場合、Ｔ２１≧０ではＴ２４＝０となる。つまり画像調整は行われない。一方、Ｔ２１＜０ではＴ２４＝Ｔ２１×０．５となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは各々水平方向にＴ２１×０．５の半分の量だけシフトされ、全体として視差量は半分となる。画素視差データＴ２１＜０の場合、対応する画素がディスプレイ表示位置より奥側である引っ込み側の立体画像となっているため、奥側への引っ込み量が減少する。また、視差調整閾値Ｓ２ｂを０より小さくしていくとディスプレイ表示位置のさらに奥に表示される部分だけの視差が減少し、視差調整閾値Ｓ２ｂを０より大きくするとディスプレイ表示位置より手前に表示される部分の視差量も減少する。

視差調整情報Ｓ１，Ｓ２の設定は、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１，Ｓ２を変化させて立体画像の飛び出し量の変化を見ながら決定する。リモコンの視差調整係数ボタンと視差調整閾値ボタンから入力することもできるが、ランク分けされた一つの視差調整ボタンから視差の調整度合いを入力すると、所定の視差調整係数Ｓ１ａ，Ｓ２ａと視差調整閾値Ｓ１ｂ，Ｓ２ｂが設定されるようにすることもできる。

以上より本実施の形態は、入力された一対の画像の視差を、観察者９とディスプレイ表示面６１との距離、ディスプレイ表示面６１の大きさ、観察者９の好みおよび立体視を得やすい範囲などの個人差に対応した、好適な奥行き感の視差に変更して立体画像を表示することができる。

次に、調整画像生成部３の動作について説明する。

図１０は、調整画像生成部３における画像調整動作を説明するための図である。まず、調整画像生成部３は、画素視差調整量生成部２から出力された画素視差調整データＴ２４に基づき、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との立体映像の対となる画素を水平シフトする。図１０（ａ１）は、調整画像生成部３における画素視差調整データＴ２４に基づいた第一の画像調整動作を示す図である。横軸は、調整前の画素視差、縦軸が調整後の画素視差を示している。前記式（７）に示したとおり、画素視差データＴ２１が閾値Ｓ２ｂより小さい場合に視差量が調整される。図１０は、ディスプレイ表示面６１の視差量を０、ディスプレイ表示面６１より観察者９側である手前側への飛び出しを正の視差量、ディスプレイ表示面６１より奥側への引っ込みを負の視差量として表示している。すなわちディスプレイ表示面６１の奥側への引っ込み量を小さくすることは、負の視差量を０に近づけることに相当する。

図１０（ａ２）を用いて、ディスプレイ表示面６１より手前に表示される丸印と奥に表示される三角印のディスプレイ表示面６１上での調整動作を説明する。破線で示した三角印の調整前の視差量はｄａ１（負の値）、丸印の視差量はｄｂ１（正の値）とする。つまり、２つの破線で示した三角印のうち左側にあるものが左眼用画像入力データＤａ１に対応するものであり、右側にあるものが右眼用画像入力データＤｂ１に対応するものである。また、２つの丸印のうち左側にあるものが右眼用画像入力データＤａ１に対応するものであり、右側にあるものが左眼用画像入力データＤａ１に対応するものである。今、ｄａ１＜Ｓ２ｂ、ｄｂ１＞Ｓ２ｂとすると式７に基づいてｄａ１はｄａ２に調整され、ｄｂ１は変化しない。この調整動作は画素ごとの視差量に合わせて実施される。

次に調整画像生成部３は、フレーム視差調整量生成部１が出力されたフレーム視差調整データＴ１４に基づき、第二の画像調整動作を実施する。

図１０（ｂ１）は、調整画像生成部３におけるフレーム視差調整データＴ１４に基づいた第二の画像調整動作を示す図である。横軸は、調整前の画素視差、縦軸が調整後の画素視差を示している。前記式（６）に示したとおり、図１０（ｂ１）中の四角印で示したフレーム視差調整データＴ１４が閾値Ｓ１ｂより大きい場合に視差量が調整され、図１０（ｂ１）に示したとおり、立体画像全体が奥に移動するように全画素の視差量が調整される。図１０（ａ２）に示した破線で示した丸印の視差量ｄｂ１は実線で示した丸印の視差量ｄｂ２に調整され、破線で示した三角印の視差量ｄａ２は実線で示した三角印の視差量ｄａ３に調整される。

図１１は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差と、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差と、各々の画像の飛び出し量との関係を説明するための図である。図１１（ａ）は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１と画像の飛び出し量との関係を示した図である。図１１（ｂ）は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２と画像の飛び出し量との関係を示している。

調整画像生成部３は、Ｔ１３＞Ｓ１ｂと判断した場合に、フレーム視差調整データＴ１４に基づいて左眼用画像入力データＤａ１の画素Ｐ１ｌを左方向に水平移動し、右眼用画像入力データＤｂ１の画素Ｐ１ｒを右方向に水平移動する。その結果、調整画像生成部３は、左眼用画像出力データＤａ２の画素Ｐ２ｌと右眼用画像出力データＤｂ２の画素Ｐ２ｒを出力する。このとき視差ｄｂ２は、ｄｂ２＝ｄｂ１−Ｔ１４で求められる。

左眼用画像入力データＤａ１の画素Ｐ１ｌと右眼用画像入力データＤｂ１の画素Ｐ１ｒは同じ物体の同じ部分であるとすると、その視差はｄｂ１となり観察者９からはＦ１の位置に飛び出して見える。

左眼用画像出力データＤａ２の画素Ｐ２ｌと右眼用画像入力データＤｂ２の画素Ｐ２ｒは同じ物体の同じ部分であるとすると、その視差はｄｂ２となり観察者９からはＦ２の位置に飛び出して見える。

左眼用画像入力データＤａ１を左方向に、右眼用画像入力データＤｂ１右方向に水平移動することにより視差ｄｂ１は視差ｄｂ２へと小さくなるため、これに対して飛び出し位置がＦ１からＦ２へと変化する。

補正後フレーム視差データＴ１３はフレーム画像の最大の視差データであるフレーム視差データＴ１２から算出されるため、補正後フレーム視差データＴ１３はフレーム画像の最大の視差データとなる。フレーム視差調整データＴ１４は、式（６）より補正後フレーム視差データＴ１３を基に求めているため、視差調整係数Ｓ１ａが１の場合は着目フレーム内の最大の視差と等しくなり、視差調整係数Ｓ１ａが１より小さい場合は最大の視差より小さくなる。図１１の視差ｄｂ１を着目フレーム内で算出された最大の視差と仮定すると、図１０（ｂ１），１０（ｂ２）に示す調整後の最大の視差ｄｂ２は視差調整係数Ｓ１ａを１より小さく設定した場合はｄｂ１より小さい値となり、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０と設定した場合は映像が飛び出さない画像となりｄｂ２＝０となる。こうすることで、調整後の画像データの最大飛び出し位置Ｆ２が、ディスプレイ表示面６１から飛び出し位置Ｆ１の間に調整される。

図１２は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差と、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差と、各々の画像の引っ込み量との関係を説明するための図である。図１２（ａ）は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１と画像の引っ込み量との関係を示した図である。図１２（ｂ）は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２と画像の引っ込み量との関係を示している。

調整画像生成部３は、Ｔ２１＜Ｓ２ｂ、Ｔ１３＞Ｓ１ｂと判断した場合に、第一の調整動作として画素視差調整データＴ２４に基づいて左眼用画像入力データＤａ１の対照画素を右方向に水平移動するとともに右眼用画像入力データＤｂ１の対照画素を左方向に水平移動した後に、第二の調整動作としてフレーム視差調整データＴ１４に基づいて左眼用画像入力データＤａ１を左方向に水平移動するとともに右眼用画像入力データＤｂ１を右方向に水平移動して左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を出力する。このとき視差ｄａ３は、ｄａ３＝ｄａ１−Ｔ２４−Ｔ１４で求められる。

左眼用画像入力データＤａ１の画素Ｐ３ｌと右眼用画像入力データＤｂ１の画素Ｐ３ｒとは同じ物体の同じ部分であるとすると、その視差はｄａ１となり観察者９からはＦ３の位置に引っ込んで見える。

左眼用画像出力データＤａ２の画素Ｐ４ｌと右眼用画像出力データＤｂ２の画素Ｐ４ｒとは同じ物体の同じ部分であるとすると、その視差はｄａ３となり観察者９からはＦ４の位置に引っ込んで見える。

前述した第一と第二の画像調整動作により視差ｄａ１は視差ｄａ３に調整されるため、これに対して引っ込み位置がＦ３からＦ４へと変化する。なお、調整画像生成部３において、最初に画素視差調整データＴ２４に基づいて第一の調整動作を行い、次にフレーム視差調整データＴ１４に基づいて第二の調整動作を行ったが、この順番に限らず、第二の調整動作を行った後に第一の調整動作を行うこともできる。

次に、表示部４の動作について述べる。表示部４は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を観察者９の左眼と右眼とに別々に表示する。具体的には、光学的な機構により左眼と右眼で異なった画像を表示できるディスプレイを使う３Ｄ表示方式でも良いし、左眼用画像と右眼用画像を交互に表示したディスプレイに同期して左眼と右眼のレンズのシャッターを閉じる専用メガネを用いる３Ｄ表示方式でも良い。

なお、上記実施の形態１における画素視差調整量生成部２は、画素視差算出部２１と画素視差調整量算出部２４とで構成したが、フレーム視差補正部１３と同様に、画素視差算出部２１が出力する画素視差データＴ２１を時間的に平均して誤検出を防止する構成としても良い。

実施の形態２．
図１３は、本発明の実施の形態２に係る立体画像の画像処理方法のフローを表す図である。実施の形態２に係る立体画像処理方法は、ブロック視差算出ステップＳＴ１１、フレーム視差算出ステップＳＴ１２、フレーム視差補正ステップＳＴ１３、フレーム視差調整量算出ステップＳＴ１４、画素視差算出ステップＳＴ２１および画素視差調整量算出ステップＳＴ２４からなる。

フレーム視差算出ステップＳＴ１１は、図１４に示すように画像切り出しステップＳＴ１ａと領域視差算出ステップＳＴ１ｂとからなる。

フレーム視差補正ステップＳＴ１３は、図１５に示すようにフレーム視差バッファステップＳＴ３ａとフレーム視差加算平均ステップＳＴ３ｂとからなる。

以下では、本発明に係る実施の形態２の動作について説明する。

まず、ブロック視差算出ステップＳＴ１１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに対して、以下のような処理が行われる。

画像切り出しステップＳＴ１ａにおいて、左眼用画像入力データＤａ１をディスプレイ表示面６１上で幅Ｗ１高さＨ１の格子状に区切りｈ×ｗ個の領域に分割し、分割された左眼用画像入力データＤａ１（１），Ｄａ１（２），Ｄａ１（３）からＤａ１（ｈ×ｗ）までを作成する。右眼用画像入力データＤｂ１についても同様に幅Ｗ１高さＨ１の格子状に区切り、分割された右眼用画像入力データＤｂ１（１），Ｄｂ１（２），Ｄｂ１（２），Ｄｂ１（３）からＤｂ１（ｈ×ｗ）までを作成する。

領域視差算出ステップＳＴ１ｂにおいて、第１番目の領域に対する左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関法を用いて、第１番目の領域の視差データＴ１１（１）を算出する。すなわち、左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関Ｇａｂ（ｎ）が最大となるｎを算出し、領域の視差データＴ１１（１）とする。第２番目から第ｈ×ｗ番目までの領域に対する左眼用画像入力データＤａ１（２）からＤａ１（ｈ×ｗ）までと右眼用画像入力データＤｂ１（２）からＤｂ（ｈ×ｗ）までに対しても、位相限定相関法を用いて領域の視差データＴ１１（２）からＴ１１（ｈ×ｗ）までを算出する。この動作は、実施の形態１におけるブロック視差算出部１１と同等である。

次に、フレーム視差算出ステップＳＴ１２では、領域の視差データＴ１１（１）からＴ１１（ｈ×ｗ）までのうち最大の視差データを選択し、フレーム視差データＴ１２とする。この動作は、実施の形態１におけるフレーム視差算出部１２と同等である。

次に、フレーム視差補正ステップＳＴ１３では、フレーム視差データＴ１２に対して以下のような処理が行われる。

フレーム視差バッファステップＳＴ３ａにおいて、時間的に変化するフレーム視差データＴ１２を一定の容量のバッファ記憶装置に順次保存する。

フレーム視差加算平均ステップＳＴ３ｂにおいて、バッファ領域に保存されているフレーム視差データＴ１２に基づき、着目フレームの前後複数のフレーム視差データＴ１２の加算平均を算出し、補正後フレーム視差データＴ１３を算出する。この動作は、実施の形態１におけるフレーム視差補正部１３と同等である。

次に、フレーム視差調整量算出ステップＳＴ１４では、あらかじめ観察者９により設定された視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂに基づき、補正後フレーム視差データＴ１３からフレーム視差調整データＴ１４を算出する。補正後フレーム視差データＴ１３が視差調整閾値Ｓ１ｂ以下の時刻においては、フレーム視差調整データＴ１４は０とする。逆に、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１ｂを超えている時刻では、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１ｂを超えた量にＳ１ａを乗じた分をフレーム視差調整データＴ１４とする。この動作は、実施の形態１におけるフレーム視差調整量算出部１４と同等である。なお、説明上、視差調整閾値Ｓ１ｂ以下の時刻と視差調整閾値Ｓ１ｂを超えている時刻としたが、視差調整閾値Ｓ１ｂより小さい時刻と視差調整閾値Ｓ１ｂを以上の時刻としても構わず、同様の効果を得ることができる。

ＳＴ１１からＳＴ１４の動作と平行して画素視差の調整動作が実施される。ブロック視差算出ステップＳＴ１１では、分割された領域ごとの視差量を算出したが、画素視差算出ステップＳＴ２１では、左眼用画像入力データＤａ１、右眼用画像入力データＤｂ１に基づいて画素ごとの視差を算出し、画素視差データＴ２１を画素視差調整量算出部２４に入力する。画素視差算出ステップＳＴ２１の動作は、実施の形態１の画素視差算出部２１と同等である。

次に画素視差調整量算出ステップＳＴ２４は、画素視差算出ステップＳＴ２１が出力した画素視差データＴ２１とあらかじめ観察者９が入力する視差調整情報Ｓ２とに基づいて算出した画素視差調整データＴ２４を出力する。画素視差調整量算出ステップＳＴ２４の動作は、実施の形態１の画素視差調整量算出部２４と同等である。

次に調整画像生成ステップＳＴ３は、画素視差調整量算出ステップＳＴ２４が出力した画素視差調整データＴ２４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との画素ごとの視差を調整した後、フレーム視差調整量算出ステップＳＴ１４が出力したフレーム視差調整データＴ１４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを調整する。その結果、調整画像生成ステップＳＴ３は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を出力する。この動作は実施の形態１における調整画像生成部３と同等である。

以上が本発明の実施の形態２に係る立体画像処理方法の動作である。

これまでの説明から、本発明の実施の形態１における画像処理装置１００と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置１００と同様の効果を持つ。

１ フレーム視差調整量生成部、 ２ 画素視差調整量生成部、 ３ 調整画像生成部、 ４ 表示部、 １１ ブロック視差算出部、 １２ フレーム視差算出部、 １３ フレーム視差補正部、 １４ フレーム視差調整量算出部、 ２１ 画素視差算出部、 ２４ 画素視差調整量算出部、 ９ 観察者、６１ ディスプレイ表示面、 １００ 画像処理装置、 ２００ 画像表示装置、 Ｓ１，Ｓ２ 視差調整情報、 Ｄａ１ 左眼用画像入力データ、 Ｄｂ１ 右眼用画像入力データ、 Ｄａ２ 左眼用画像出力データ、 Ｄｂ２ 右眼用画像出力データ、 Ｔ１ フレームの視差データ、 Ｔ１１ ブロック視差データ、 Ｔ１２ フレーム視差データ、 Ｔ１３ 補正後フレーム視差データ、 Ｔ１４ フレーム視差調整データ、 Ｔ２ 画素の視差データ、 Ｔ２１ 画素視差データ、 Ｔ２４ 画素視差調整データ、 ＳＴ１１ ブロック視差算出ステップ、 ＳＴ１ａ 画像切り出しステップ、 ＳＴ１ｂ 領域視差算出ステップ、 ＳＴ１２ フレーム視差算出ステップ、 ＳＴ１３ フレーム視差補正ステップ、 ＳＴ３ａ フレーム視差バッファステップ、 ＳＴ３ｂ フレーム視差加算平均ステップ、 ＳＴ１４ フレーム視差調整量算出ステップ、 ＳＴ２１ 画素視差算出ステップ、 ＳＴ２４ 画素視差調整両算出ステップ、 ＳＴ３ 調整画像生成ステップ。

Claims (9)

1. 立体画像をなす一対の画像入力データの中から第１の基準値より飛び出た画像部分の内最も飛び出た画像部分の視差データを第１の視差データとして出力するフレーム視差調整量生成部と、
   前記一対の画像入力データの中から第２の基準値より引っ込んだ画像部分の視差データを第２の視差データとして出力する画素視差調整量生成部と、
   前記第１の視差データに基づき前記一対の画像入力データ全体を奥側に移動させ、前記第２の視差データに基づき前記一対の画像入力データのうち前記第２の基準値より引っ込んだ画像部分を手前側に移動させて視差量を調整した一対の画像出力データを生成して出力する調整画像生成部と
   を備える画像処理装置。
2. 前記調整画像生成部は、前記一対の画像入力データの視差データから前記第１の視差データと前記第１の基準値との差に基づく値を減ずる請求項１に記載の画像処理装置。
3. 前記調整画像生成部は、前記引っ込んだ画像部分の視差データに前記引っ込んだ画像部分の前記第２の視差データと前記第２の基準値との差に基づく値を加える請求項１または２に記載の画像処理装置。
4. 前記第１の視差データは、前記一対の画像入力データを複数の領域に分けた各領域の視差データを基に求められる請求項１から３のいずれか１項に記載の画像処理装置。
5. １つのフレームの前記第１の視差データを他のフレームの前記第１の視差データに基づいて補正し補正後の第１の視差データとする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記補正後の第１の視差データは、１つのフレームの第１の視差データに前記１つのフレームの前後の第１の視差データを含めた平均値である請求項５に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置にさらに表示部を備え、前記表示部は前記調整画像生成部で生成された一対の画像出力データを表示する画像表示装置。
8. 立体映像をなす一対の画像入力データを入力し、前記一対の画像入力データの中から第１の基準値より飛び出た画像部分のデータの内、最も飛び出た画像部分のデータの視差データを第１の視差データとして出力するステップと、
   前記一対の画像入力データの中から第２の基準値より引っ込んだ画像部分のデータの視差データを第２の視差データとして出力するステップと、
   前記第１の視差データに基づき前記一対の画像入力データ全体のデータを奥側に移動させ、前記第２の視差データに基づき前記一対の画像入力データのうち前記第２の基準値より引っ込んだ画像部分のデータを手前側に移動させた画像出力データを生成して出力するステップとを備える画像処理方法。
9. 前記第１の視差データとして出力するステップは、
   立体映像をなす一対の画像入力データを入力し、前記一対の画像入力データを複数の領域に分けた各領域の視差量を算出してブロック視差データとして出力するブロック視差算出ステップと、
   前記ブロック視差データを基にフレーム視差データを出力するフレーム視差算出ステップと、
   １つのフレームのフレーム視差データを他のフレームのフレーム視差データによって補正した補正後フレーム視差データとして出力するフレーム視差補正ステップと、
   鑑賞の状況を示す情報を基に作成される視差調整情報および前記補正後フレーム視差データに基づいて前記第１の視差データとしてフレーム視差調整データを出力するフレーム視差調整量算出ステップとを有し、
   前記第２の視差データとして出力するステップは、
   前記一対の画像入力データの画素ごとの視差を検出して画素視差データを出力する画素視差算出ステップと、
   前記視差調整情報および前記画素視差データに基づいて前記第２の視差データとして画素視差調整データを出力する画素視差調整量算出ステップとを有する請求項８に記載の画像処理方法。

Images