立体画像(3D画像)を撮影し、観察する方法は特許文献1などと同じ原理を用いている。
立体画像に関係する3Dパラメータは撮影側のパラメータ5つと観察側のパラメータ3つとなる。
撮影側のパラメータは、2つの撮影カメラの光軸間の距離である基線長、撮影時の焦点距離、撮像素子の大きさ、撮影カメラの光軸のなす角である輻輳角、および被写体距離である。
観察側のパラメータは、画像を表示するテレビなどの表示サイズ、テレビを観察するときの視距離、テレビの画面上に表示する視差画像の位置を調整するオフセット量である。
従来輻輳角を制御する(カメラの光軸を傾ける)手法も提案されているが、ここでは説明の簡略化のため左右カメラの光軸が平行となる平行法における原理について説明する。輻輳角を制御する手法に対しても、輻輳点までの距離を考慮することで同様の幾何学的理論は成り立つ。任意の被写体に対して撮影するときの幾何学関係を図14に示す。また、その画像を再生するときの幾何学関係を図15に示す。
図14において、左右のカメラ(L_camera、R_camera)の主点位置の中間を原点とし、カメラの並ぶ方向をx軸、それに直交する方向をy軸としている。高さ方向は簡略化のために省略する。基線長は2wcである。左右のカメラの仕様は同一で、撮影時の焦点距離をf、撮像素子の横幅をccwとする。さらに任意の被写体Aの位置を(x1,y1)とする。
被写体Aの左右のカメラによる左右の撮像素子上の像の位置は、幾何学的に被写体とレンズの主点を通る直線と撮像素子の交点となる。そのため撮像素子上の像の位置は撮像素子の中心を基準とすると左右で異なる位置にできる。この位置の差は被写体距離が遠くなるに従って小さくなり、無限遠で0になる。
図15において、観察者の眼(L_eye、R_eye)の中心を原点とし、眼の方向をx軸、それに直交する方向をy軸としている。眼の間隔は2weである。観察者から3Dテレビまでの視距離はdsである。3Dテレビの横幅はscwである。
3Dテレビ上には前述の左右の撮像素子で撮影された画像が重複して表示される。3Dテレビが液晶シャッタメガネを装着して観察する方式の場合は、高速で右画像と左画像を切り替えて表示する。平行法で撮影したとき、撮像素子の画像をそのまま表示すると、3Dテレビの画面上には無限遠の被写体となり、再生される立体画像はすべて画面より飛び出す位置となるので好ましくない。そのために左右の画像を横方向にずらし、画面上にできる被写体距離を適当に調整する。このずらす画面上の量がオフセット量(s)である。
オフセット量が0のときに画面上に再生される左眼画像Lの座標を(Pl,ds)、右眼画像Rの座標を(Pr,ds)とする。オフセットを考慮するとそれぞれの座標はL(Pl‐s,ds)、R(Pr+s,ds)
となる。
このような条件で観察したときに立体で再現される像A’は左眼と左眼画像を結んだ直線と右眼と右眼画像を結んだ直線の交点の位置(x2,y2)に生成される。以下、幾何学的な詳細な説明をする。
被写体Aを撮影した場合の左右のカメラのセンサー中心から被写体像Aのズレ量を撮影視差量として、それぞれPlc,Prc(不図示)とすると
となる。
カメラのセンサーサイズと3Dテレビのサイズの比を表示倍率mとすると
m = scw/ccw
となり、撮影時のズレ量はテレビの画面上では−m倍される。
このとき立体に表示される表示視差量を左右Pl,Prとすると
となり、再生時に左右画像に付加するオフセットをsとすると、観察者に対する再生像A’の位置(x2,y2)は
である。
同一被写体距離の像は同一平面上に再生される。ここでさらに説明の簡略化のため被写体Aをy軸上と考えると(x1=0)、オフセットしない画面表示位置は
となる。オフセットを行った後の再現像の位置は図16に示すように像A’は左眼と左眼画像を結んだ直線と右眼と右眼画像を結んだ直線の交点の位置(0,y2)に生成される。このとき
となる。
図16に示すように観察者の再現像の見込み角をβとすると、βは再現距離y2と眼幅2weから
となる。y2に式(9)を代入すると
となる。
ここで図16に示すように観察者が3Dテレビ画面を見込む角度をαとすると
になるので、α‐βは
となる。これがいわゆる相対視差量と呼ばれる指標である。この大きさが表示画面と被写体像Aの相対的な奥行き方向の距離に対応する。従来の様々な研究から、人間は脳内でこの角度の差分を計算し奥行き方向の位置を知覚していることが知られている。
次に壁化について説明する。ここで壁化とは、立体画像観察時に任意の被写体と無限遠被写体に対して奥行き方向の区別がつかない状態(相対的な立体感が無い状態)と定義する。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される状態を示す。
壁化は遠方の被写体に対して起こる弊害であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は平行法では視差量(Pl−Pr)が0となるとして、
となる。
ここで、無限遠被写体に対する有限距離被写体の視差量を求めるためには式(14)から式(13)を引けばよいので、それは
となる。
壁化しているときには遠方の画像は平面に見えているので、無限遠被写体に対する視差量は0でなくてはならない。
我々はフルHDの3Dテレビを用いて遠方物体の立体感を主観評価した結果、無限遠被写体に対する視差量が3分未満のときに画像としては視差があっても視差を感じなくなる人がいることが分かった。式(15)は眼の幅2weは関係がない。
そこでこの立体感を感じなくなる視差量を許容視差下限値δt(すなわち、観察者が立体感を感じる限界値)と定義する。つまり、式(15)とδtを用いると
となり、式(16)を満たせば壁化が発生せず、式(17)を満たすと壁化が発生すると判定できる。
ここで許容視差下限値δtを近距離で撮影した人物などの厚みのある被写体に適応してみる。
例えば図17に例示するように、所定の被写体距離に位置する人の鼻の先を被写体i、耳を被写体jとする。
この被写体jに対する被写体iの視差量を求めるためには、式(15)の導出と同様に被写体jに対する相対視差量から被写体iに対する相対視差量を引けばよいので、それは
となる。
我々は基線長2wc以外の撮影条件と観察条件を固定し、人物の視差画像で検証した結果、壁化と同様に視差量が3分より小さくなると人物の顔の部分の立体感が無くなることを確かめた。これにより許容視差下限値δtは遠方の物体だけではなく、近距離の物体の視差量にも適用できる。つまり、式(18)とδtを用いると
となり、式(19)を満たせば人物の顔は立体的に認識され立体感が有ると判定でき、式(20)を満たすと平面的に認識され立体感が無いと判定できる。
立体画像を撮影したときに人物などの被写体が式(20)を満たすとき、人物の視差量は許容視差下限値δtより小さいので立体に見えない画像となる。また、立体感がない人物と背景被写体に対する視差量の関係が式(19)を満たす背景被写体であるときには、背景の視差量は許容視差下限値δtよりも大きく人物に対して背景は相対的に立体に見える画像となる。つまり書割の状態となる。
ふたたび式(17)において、背景が壁化する条件で撮影を行い、かつ撮影倍率が実際の大きさよりも小さくなるような条件で撮影したときを考える。このときは実際よりも小さな物体(人物や車など)が立体に見え、平面の背景に囲まれて見えている画像となる。つまり箱庭の状態となる。
このように立体画像による弊害(壁化、書割効果、箱庭効果)は、立体に見える画像と2Dに見える画像が一つの画像の中に混在するときに脳が混乱して感じる感覚として定義することができる。そのためこれらは許容視差下限値という評価量により、立体感を感じる視差と直接関連付けられる。
そこで本発明では、立体画像を撮影するときまたは立体画像を観察するときに、弊害のない立体画像を観察するために許容視差下限値(以下、所定の値ともいう)を用いて視差画像内の立体感を判定することを新規に提案する。
以下に本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は第1の実施例の立体画像処理装置1の構成図である。立体画像処理装置1は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。撮像手段100は、例えば左右の視差画像を撮像可能な装置である。左右の視差画像はそれぞれ、左眼用の視差画像と右眼用の視差画像の意味である。表示手段200は、例えば取得した左右の視差画像から観察者が立体視可能な立体画像を表示することができる装置である。
まず図1を用いて立体画像処理装置1の構成について説明する。画像取得部10は、立体画像データファイルを取得する。ここで立体画像データファイルとは例えば撮像手段100により得られる視差画像であり、さらに画像データに付加される上述した撮影側のパラメータ情報を含んでも構わない。被写体抽出部20は視差画像内の特定被写体を抽出する。観察条件取得部30は、表示手段200の観察条件情報を取得する。視差量算出部40は、視差画像のうちの一つを基準画像として選択する基準画像選択部41と、基準画像としての視差画像と参照画像としての視差画像において互いに対応する画素である対応点を抽出する対応点抽出部42を含む。視差量算出部40は対応点抽出部42により抽出された複数の対応点のそれぞれの間の視差量を算出する。立体感判定部50は、許容視差下限値情報を取得する許容視差下限値取得部51を含み、前述した許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。
次に本実施例の立体画像処理装置1の立体感判定処理動作について図2のフローチャートを用いて詳細を説明する。まずステップS101において画像取得部10は、例えば撮像手段100からの立体画像データを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続(無線通信)も可能である。
次にステップS102において、被写体抽出部20は、前ステップで得られた立体画像データに含まれる視差画像内の特定被写体を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像(テンプレート画像)として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図17に示す実線で囲まれた人物被写体を抽出するものとする。
次にステップS103において、観察条件取得部30は、例えば表示手段200から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報を含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS104において、視差量算出部40は、ステップS102で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。ここで、対応点の抽出手法について図18を用いて説明する。ここでは視差画像上に設定されたX−Y座標系を用いる。この座標系では、図18の左側に示した基準画像301と右側に示した参照画像302において左上の画素の位置を原点として定義し、水平方向にX軸をとり、垂直方向にY軸をとっている。基準画像301上の画素(X,Y)の輝度をF1(X,Y)とし、参照画像302上の画素(X,Y)の輝度をF2(X,Y)とする。
図18の左側に示した基準画像301上の任意の画素(X,Y)(ハッチングして示す)に対応する参照画像302上の画素(同じくハッチングして示す)は、基準画像301における輝度F1(X,Y)と最も類似した輝度を有する参照画像302上の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、座標(X,Y)の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。
例えば、ブロックサイズが3である場合のブロックマッチング処理について説明する。基準画像301上の任意の座標(X,Y)の画素とその周辺の座標(X−1,Y),(X+1,Y)の2つの画素との計3画素の輝度値はそれぞれ、
F1(X,Y),F1(X−1,Y),F1(X+1,Y)
となる。
これに対し、座標(X,Y)からX方向にkだけずれた参照画像302上の画素の輝度値はそれぞれ、
F2(X+k,Y),F2(X+k−1,Y),F2(X+k+1,Y)
となる。
この場合、基準画像301上の座標(X,Y)の画素との類似度Eを、以下の式(21)で定義する。
この式(21)において逐次、kの値を変更して類似度Eの値を計算する。そして、参照画像302のうち最も小さい類似度Eを与える(X+k,Y)が、基準画像301上の座標(X,Y)に対する対応点である。
なお、ブロックマッチング以外に、エッジ抽出等による共通点抽出法を用いて対応点を抽出してもよい。
次に、視差量算出部40に、複数箇所にて抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式(3)、式(4)から左右の表示視差Pl,Prを算出することで視差量(Pl−Pr)を算出することができる。
次にステップS105(立体感判定ステップ)において、立体感判定部50は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値情報を取得する。ここで許容視差下限値(所定の値)δtとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量(およそ3分)として定義している。次に立体感判定部50は、例えば図17に例示するように抽出した被写体の鼻の先を被写体i(第1の被写体)、耳を被写体j(第2の被写体)として、被写体内の評価点を選択する。ここで、被写体i、jの選択方法としては、算出した視差量の中で最小、最大の部分を選択する等の手法をとることが可能である。また、ユーザーが前述したような入力インターフェースを用いて詳細に被写体評価点を選択しても構わない。次に立体感判定部50は許容視差下限値δtと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定(所定の値以上)の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップS106で被写体を立体(3D)と判定する。逆に、式(19)を満足しない、つまりNOの判定(所定の値未満)の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップS107で被写体を平面(2D)と判定する。
次にステップS108において、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段200に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
また、ステップS105において、式(19)を用いて立体感を判定したが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正項Cを用いた下記式(22)を用いることがより好ましい。
ここで補正項Cは初期条件として不図示の記録部に記録された値を取得することも可能であるし、ユーザーが前述したような入力インターフェースを用いて入力することも可能である。
以上のように視差画像内の抽出被写体の立体感を判定することで、前述した立体画像による弊害(壁化、書割効果、箱庭効果)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS101〜S103の順序はいかようにも入れ替え可能である。
図3は第2の実施例の立体画像処理装置2の構成図である。実施例1と重複する説明は省略する。立体画像処理装置2は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。
まず図3を用いて立体画像処理装置2の構成について説明する。実施例1と異なる点は、立体感判定部50の内部構成と判定結果記録部60をさらに有する点である。立体感判定部50は、許容視差下限値情報を取得する許容視差下限値取得部51と、許容視差下限値情報を記録している許容視差下限値記録部52とを含む。さらに、観察者の個人差に対応するための前述した許容視差下限値補正項Cの情報を取得する補正値情報取得部53を含み、許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。判定結果記録部60は判定された判定結果を画像データファイルに記録する。
次に本実施例の立体画像処理装置の立体感判定処理動作について図4のフローチャートを用いて詳細を説明する。まずステップS201において画像取得部10は、例えば撮像手段100からの立体画像データを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続(無線通信)も可能である。
次にステップS202において、被写体抽出部20は、前ステップで得られた立体画像データに含まれる視差画像内の背景被写体(及び無限遠被写体)を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。さらに、任意の画像領域を切りたした部分画像を基準画像(テンプレート画像)として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図17に示す破線で囲まれた背景被写体βk(山)を抽出するものとする。
次にステップS203において、観察条件取得部30は、例えば表示手段200から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS204において、視差量算出部40は、ステップS202で抽出された背景被写体(及び無限遠被写体)に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部40に、複数箇所にて抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式(3)、式(4)から左右の表示視差Pl,Prを算出することで視差量(Pl−Pr)を算出することができる。
次にステップS205(立体感判定ステップ)において、立体感判定部50は、算出された背景被写体の視差量から背景被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値記録部52から許容視差下限値情報を取得する。ここで許容視差下限値δtとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量(およそ3分)として定義している。次に立体感判定部50は許容視差下限値δtと選択された背景被写体の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(16)を満足するかどうかを判定する。式(16)を満足する、つまりYESの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができるため、ステップS206で背景被写体を非壁化と判定する。逆に、式(16)を満足しない、つまりNOの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができないため、ステップS207で背景被写体を壁化と判定する。
次にステップS208において、判定結果記録部60は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段200に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
また、ステップS205において、式(16)を用いて立体感を判定したが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部53により取得される補正項Cを用いた下記式(23)を用いることがより好ましい。
ここで補正項Cは初期条件として不図示の記録部に記録された値を取得することも可能であるし、ユーザーが前述したような入力インターフェースを用いて入力することも可能である。
以上のように視差画像内の背景被写体(第1の被写体)の無限遠被写体(第2の被写体)に対する立体感を判定することで、前述した立体画像による弊害(壁化)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS201〜S203の順序はいかようにも入れ替え可能である。
図5は第3の実施例の立体画像処理装置3の構成図である。実施例1と重複する説明は省略する。立体画像処理装置3は、被写体を異なる視点から撮像した視差画像に対して、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。
まず図5を用いて立体画像処理装置3の構成について説明する。実施例1と異なる点は、立体感判定部50の内部構成と判定結果記録部60をさらに有する点である。立体感判定部50は、許容視差下限値情報を取得する許容視差下限値取得部51と、許容視差下限値情報を記録している許容視差下限値記録部52とを含む。さらに、観察者の個人差に対応するための前述した許容視差下限値補正項Cの情報を取得する補正値情報取得部53を含む。さらに、抽出された被写体内の立体感評価領域を選択する評価領域選択部54を含み、許容視差下限値を用いて視差画像内の被写体に対する立体感の有無を判定する。判定結果記録部60は判定された判定結果を画像データファイルに記録する。
次に本実施例の立体画像処理装置の立体感判定処理動作について図6のフローチャートを用いて詳細を説明する。まずステップS301において画像取得部10は、例えば撮像手段100からの立体画像データを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続(無線通信)も可能である。
次にステップS302において、被写体抽出部20は、前ステップで得られた立体画像データに含まれる視差画像内の主要被写体と背景被写体を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像(テンプレート画像)として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図17に示す実線で囲まれた人物を主要被写体、破線で囲まれた山を背景被写体として抽出するものとする。
次にステップS303において、観察条件取得部30は、例えば表示手段200から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS304において、視差量算出部40は、ステップS302で抽出された主要被写体に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部40に、複数箇所にて抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式(3)、式(4)から左右の表示視差Pl,Prを算出することで視差量(Pl−Pr)を算出することができる。
次にステップS305(第一の立体感判定ステップ)において、立体感判定部50は、算出された主要被写体内の視差量から主要被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値記録部52から許容視差下限値情報を取得する。ここで許容視差下限値δtとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量(およそ3分)として定義している。次に評価領域選択部54は、例えば図17に例示するように抽出した主要被写体の鼻の先を被写体i、耳を被写体jとして、主要被写体内の評価領域を選択する。ここで、被写体i、jの選択方法としては、算出した視差量の中で最小、最大の部分を選択する等の手法をとることが可能である。また、ユーザーが前述したような入力インターフェースを用いて詳細に被写体評価領域を選択しても構わない。次に立体感判定部50は許容視差下限値δtと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された主要被写体は観察者にとって立体感を感じることができるため、ステップS306で主要被写体を立体(3D)と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された主要被写体は観察者にとって立体感を感じることができないため、ステップS307で主要被写体を平面(2D)と判定する。
次にステップS308において、ステップS307で主要被写体が平面と判定された場合、視差量算出部40は、ステップS302で抽出された背景被写体に対して視差量を算出する。
次にステップS309(第二の立体感判定ステップ)において、立体感判定部50は、算出された背景被写体の視差量と主要被写体の視差量とから背景被写体の主要被写体に対する相対的立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値記録部52から許容視差下限値情報を取得する。次に評価領域選択部54は、例えば図17に例示するように抽出した主要被写体の鼻の先を被写体i(第1の被写体)、背景被写体の山を被写体k(第2の被写体)として、視差画像内の評価領域を選択する。次に立体感判定部50は許容視差下限値δtと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された背景被写体は主要被写体に対して相対的に立体感を感じることができるため、ステップS310で書割弊害の発生と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された背景被写体は主要被写体に対して相対的に立体感を感じることができないため、書割弊害は発生せずと判定する。
次にステップS311において、判定結果記録部60は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段200に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
また、ステップS305、S309において、式(19)を用いて立体感を判定したが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部53により取得される補正項Cを用いた式(22)を用いることがより好ましい。
以上のように視差画像内の主要被写体の立体感と主要被写体に対する背景被写体の相対的立体感を判定することで、前述した立体画像による弊害(書割)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS301〜S303の順序はいかようにも入れ替え可能である。
図7は第4の実施例の立体画像処理装置の立体感判定処理動作についてのフローチャートである。なお、第4の実施例の立体画像処理装置は、第3の実施例の立体画像処理装置と同じ構成を有するため立体画像処理装置の説明は省略する。
本実施例の立体画像処理装置の立体感判定処理動作について図7のフローチャートを用いて詳細を説明する。まずステップS401において画像取得部10は、例えば撮像手段100からの立体画像データを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続(無線通信)も可能である。
次にステップS302において、被写体抽出部20は、前ステップで得られた立体画像データに含まれる視差画像内の主要被写体と背景被写体(及び無限遠被写体)を抽出又は選択する。抽出方法としては、例えばユーザーが操作可能なタッチパネルやボタン等の入力インターフェースを用いて被写体領域を選定し、さらに被写体の色等の特徴量やエッジ情報に基づいて指定被写体領域から特定の被写体を抽出する。また、従来よく知られている顔認識技術を用いて特定人物等の被写体を選択して抽出することも可能である。さらに、任意の画像領域を切りたした部分画像を基準画像(テンプレート画像)として登録し、視差画像内でテンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用することもできる。テンプレート画像は撮影時にユーザーが登録することもできるし、事前に代表的な複数種類のテンプレート画像をメモリなどに記録させておきユーザーに選択させることも可能である。ここでは例えば図17に示す実線で囲まれた人物を主要被写体、破線で囲まれた山を背景被写体として抽出するものとする。
次にステップS403において、観察条件取得部30は、例えば表示手段200から観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。観察条件取得方法は不図示のケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続も可能である。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS404において、視差量算出部40は、ステップS402で抽出された背景被写体(及び無限遠被写体)に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。対応点とは、前述したように、視差画像上で同一の被写体が写っている画素である。また、対応点は、視差画像における複数箇所にて抽出される。次に、視差量算出部40に、複数箇所にて抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。算出手順としては前述したように、まず任意の対応点位置情報から撮影視差を算出し、表示サイズ情報と式(3)、式(4)から左右の表示視差Pl,Prを算出することで視差量(Pl−Pr)を算出することができる。
次にステップS405(第一の立体感判定ステップ)において、立体感判定部50は、算出された背景被写体内の視差量から背景被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値記録部52から許容視差下限値情報を取得する。ここで許容視差下限値δtとは前述したように、我々の主観評価実験から定まった観察者のほとんどが立体感を感じなくなる視差量(およそ3分)として定義している。次に立体感判定部50は許容視差下限値δtと選択された背景被写体の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(16)を満足するかどうかを判定する。式(16)を満足する、つまりYESの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができるため、ステップS406で背景被写体を非壁化と判定する。逆に、式(16)を満足しない、つまりNOの判定の場合は前述したように抽出された背景被写体は観察者にとって無限遠被写体に対して立体感を感じることができないため、ステップS407で背景被写体を壁化と判定する。
次にステップS408において、ステップS407で背景被写体が壁化と判定された場合、視差量算出部40は、ステップS402で抽出された主要被写体に対して視差量を算出する。
次にステップS409(第二の立体感判定ステップ)において、立体感判定部50は、算出された主要被写体の視差量と背景被写体の視差量とから主要被写体の背景被写体に対する相対的立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値記録部52から許容視差下限値情報を取得する。次に評価領域選択部54は、例えば図17に例示するように抽出した主要被写体の鼻の先を被写体i(第1の被写体)、背景被写体の山を被写体k(第2の被写体)として、視差画像内の評価領域を選択する。次に立体感判定部50は許容視差下限値δtと選択された評価領域の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された主要被写体は背景被写体に対して相対的に立体感を感じることができるため、ステップS410で箱庭弊害の発生と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された主要被写体は背景被写体に対して相対的に立体感を感じることができないため、箱庭弊害は発生せずと判定する。
次にステップS411において、判定結果記録部60は、前ステップで判定された判定結果を画像データファイルに記録する。また、判定結果を表示手段200に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
また、ステップS405、S409において、式(16)及び式(19)を用いて立体感を判定したが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがあり得る。そのため補正値情報取得部53により取得される補正項Cを用いた式(22)及び式(23)を用いることがより好ましい。
以上のように視差画像内の背景被写体の立体感と背景被写体に対する主要被写体の相対的立体感を判定することで、前述した立体画像による弊害(箱庭)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影、表示の判断を容易に行うことが可能となり、より高品位な立体画像表現を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS401〜S403の順序はいかようにも入れ替え可能である。
図8は第5の実施例である立体画像撮像装置の構成図である。立体画像撮像装置は、被写体を異なる視点から撮像した視差画像を取得するとともに、弊害のない立体画像観察を実現するために許容視差下限値を用いて撮像する視差画像内被写体の立体感を判定する。101aは右の視差画像用の撮像光学系であり、101bは左の視差画像用の撮像光学系である。左右の撮像光学系101a、101bの光軸間の距離、すなわち基線長は65mm程度が好適であるが、表示する立体像に対する立体感の要求に応じて変更することが可能である。左右の撮像素子102a、102bはそれぞれ、左右の撮像光学系により形成された被写体像(光学像)を電気信号に変換する。A/D変換器103a、103bは、撮像素子からのアナログ出力信号をデジタル信号に変換して画像処理部104に供給する。画像処理部104は、A/D変換器からのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行うことで、画像データとしての左右の視差画像を生成する。また、画像処理部104は、視差画像から被写体輝度の情報や撮像光学系の焦点状態(コントラスト状態)を演算し、演算結果をシステムコントローラ106に供給する。画像処理部104の動作は、システムコントローラ106によって制御される。
状態検知部107は、撮像光学系101a、101bの絞りの開口径や不図示のフォーカスレンズの位置等の撮像状態を検出してシステムコントローラ106に検出データを供給する。システムコントローラ106は、画像処理部104からの演算結果と状態検知部107からの撮像状態情報とに基づいて、撮像パラメータ制御部105を制御し、絞りの開口径を変化させたりフォーカスレンズを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。システムコントローラ106は、CPUやMPU等によって構成され、撮像装置全体の制御を司る。
記録部108は、画像処理部104により生成された左右の視差画像を記録する。また、左右の視差画像を含む画像ファイルのファイルヘッダを格納する。
画像表示部109は、例えば、液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって観察者の左右の眼に左右の視差画像を別々に導くことで、立体像を提示する。
立体画像処理部4は実施例1の立体画像処理装置1と同一構成であるため構成説明は省略する。ここでは立体画像処理装置1と同一構成としたが、もちろん実施例2〜4における構成でも構わない。
次に本実施例の立体画像撮像装置の処理動作について図9のフローチャートを用いて詳細を説明する。まずステップS501においてシステムコントローラ106は、使用者からの撮影信号が入力されると、撮影者所望の撮像光学系の状態に基づき撮像パラメータ制御部105を通して撮像光学系101a、101bを制御する。ここで使用者からの撮影信号は、例えば不図示のレリーズスイッチを半押し状態とすることで入力されるものとする。次に、システムコントローラ106は、撮像素子102a、102bに、撮像光学系101a、101bによってそれぞれ形成される被写体像を光電変換させる。そして、撮像素子102a、102bからの出力をA/D変換器103a、103bを介して画像処理部104に転送し、画像処理部104に左右のプレ視差画像を生成させる。生成されたプレ視差画像を図1に示す立体画像処理装置1と同一構成の立体画像処理部4内の画像取得部10で取得する。
次にステップS502において、被写体抽出部20は、プレ視差画像内の特定被写体を抽出又は選択する。ここでは例えば図17に示す実線で囲まれた人物被写体を抽出するものとする。
次にステップS503において、観察条件取得部30は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS504において、視差量算出部40は、ステップS502で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部40に、抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。
次にステップS505(立体感判定ステップ)において、立体感判定部50は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値情報を取得する。次に立体感判定部50は、例えば図17に例示するように抽出した被写体の鼻の先を被写体i、耳を被写体jとして、被写体内の評価点を選択する。次に立体感判定部50は許容視差下限値δtと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップS506で被写体を立体(3D)と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップS507で被写体を平面(2D)と判定する。
次にステップS508において、ステップS507で被写体が平面と判定された場合、システムコントローラ106は、その判定結果に基づき撮像パラメータ制御部105(撮像装置制御部)を通して撮像光学系101a、101bを制御する。ここで制御する撮像パラメータとしては、立体感に影響を与える撮像条件である、各撮像光学系の焦点距離、両撮像光学系の光軸間の距離である基線長である。被写体が平面と判定された場合、焦点距離は望遠側(画角が狭まる方向)へ変化させることで被写体の立体感を向上させることができる。また、基線長は光軸間の距離が広がる方向へ変化させることで被写体の立体感を向上させることができる。ステップS508で制御された撮像パラメータを用いて再びステップS501に戻り、左右視差画像のプレ撮影を開始する。
次にステップS509において、最終的にステップS506で被写体が立体であると判定されれば、不図示のレリーズスイッチの全押しが可能となり、左右視差画像の最終撮影が行われる。
次にステップS510において、前ステップで撮影された視差画像を画像データファイルに記録する。また、撮影結果を画像表示部109に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
ここでステップS507において被写体が平面であると判定された場合、使用者の判断で強制的にステップS509に移行し、最終撮影を行うことができる判定キャンセル機構等を備えておくことも可能である。その場合、被写体が立体として観察できないため、取得画像は2D画像として観察することが好ましい。
以上のように視差画像内の被写体の立体感を判定することで、前述した立体画像による弊害(壁化、書割効果、箱庭効果)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影判断を容易に行うことが可能となり、より高品位な立体画像撮像を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS501〜S503の順序はいかようにも入れ替え可能である。
図10は第6の実施例である立体画像撮像装置の構成図である。実施例5と重複する説明は省略する。実施例5と異なる点は、表示制御部110をさらに有する点である。表示制御部110は、画像表示部109に表示する内容について制御する。
立体画像処理部5は実施例1の立体画像処理装置1と同一構成であるため構成説明は省略する。ここでは立体画像処理装置1と同一構成としたが、もちろん実施例2〜4における構成でも構わない。
次に本実施例の立体画像撮像装置の処理動作について図11のフローチャートを用いて詳細を説明する。まずステップS601においてシステムコントローラ106は、使用者からの撮影信号が入力されると、撮影者所望の撮像光学系の状態に基づき撮像パラメータ制御部105を通して撮像光学系101a、101bを制御する。ここで使用者からの撮影信号は、例えば不図示のレリーズスイッチを半押し状態とすることで入力されるものとする。次に、システムコントローラ106は、撮像素子102a、102bに、撮像光学系101a、101bによってそれぞれ形成される被写体像を光電変換させる。そして、撮像素子102a、102bからの出力をA/D変換器103a、103bを介して画像処理部104に転送し、画像処理部104に左右のプレ視差画像を生成させる。生成されたプレ視差画像を図1に示す立体画像処理装置1と同一構成の立体画像処理部5内の画像取得部10で取得する。
次にステップS602において、被写体抽出部20は、プレ視差画像内の特定被写体を抽出又は選択する。ここでは例えば図17に示す実線で囲まれた人物被写体を抽出するものとする。
次にステップS603において、観察条件取得部30は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。また、例えば観察条件をユーザーが前述したような入力インターフェースを用いて入力しても構わないし、代表的な観察環境を想定して事前に表示サイズ、視距離の情報を記録しておきその情報を取得する構成でも構わない。
次にステップS604において、視差量算出部40は、ステップS602で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部40に、抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。
次にステップS605(立体感判定ステップ)において、立体感判定部50は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値情報を取得する。次に立体感判定部50は、例えば図17に例示するように抽出した被写体の鼻の先を被写体i、耳を被写体jとして、被写体内の評価点を選択する。次に立体感判定部50は許容視差下限値δtと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップS606で被写体を立体(3D)と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップS607で被写体を平面(2D)と判定する。
次にステップS608において、ステップS607で被写体が平面と判定された場合、システムコントローラ106は、その判定結果に基づき表示制御部110(撮像装置制御部)を通して画像表示部109に表示する内容を制御する。ここで表示制御する表示内容としては、各撮像光学系の焦点距離、両撮像光学系の光軸間の距離である基線長をどの様に制御すればよいかといった使用者に対するアドバイス情報である。被写体が平面と判定された場合、焦点距離は望遠側(画角が狭まる方向)へ変化させることで被写体の立体感を向上させることができる。また、基線長は光軸間の距離が広がる方向へ変化させることで被写体の立体感を向上させることができる。ステップS608で表示制御されたアドバイス情報に基づいて使用者が撮像パラメータを制御し再びステップS601に戻り、左右視差画像のプレ撮影を開始する。
次にステップS609において、最終的にステップS606で被写体が立体であると判定されれば、不図示のレリーズスイッチの全押しが可能となり、左右視差画像の最終撮影が行われる。
次にステップS610において、前ステップで撮影された視差画像を画像データファイルに記録する。また、撮影結果を画像表示部109に表示しても構わないし、不図示の記録媒体等に別途記録することも可能である。
ここで本実施例ではステップS608において、使用者へのアドバイス情報を表示させたが、さらに単純に画像表示部109に警告を表示するのみとする制御も可能である。
ここでステップS607において被写体が平面であると判定された場合、使用者の判断で強制的にステップS609に移行し、最終撮影を行うことができる判定キャンセル機構等を備えておくことも可能である。その場合、被写体が立体として観察できないため、取得画像は2D画像として観察することが好ましい。
以上のように視差画像内の被写体の立体感を判定することで、前述した立体画像による弊害(壁化、書割効果、箱庭効果)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の撮影判断を容易に行うことが可能となり、より高品位な立体画像撮像を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS601〜S603の順序はいかようにも入れ替え可能である。
図12は第7の実施例である立体画像表示装置6の構成図である。実施例1と重複する説明は省略する。立体画像表示装置6は、被写体を異なる視点から撮像された視差画像を表示する際に、弊害のない立体画像を観察するために許容視差下限値を用いて視差画像内の立体感を判定する。
まず図12を用いて立体画像表示装置6の構成について説明する。画像取得部10、被写体抽出部20、観察条件取得部30、視差量算出部40、及び立体感判定部50は、実施例1と同一構成であるため説明を省略する。表示手段200は、取得した左右の視差画像から観察者が立体視可能な立体画像を表示することができる。例えば右眼画像と左眼画像を1つの画面上に時分割で表示して、この画面時分割に同期させた液晶シャッタメガネを用いて見る方式がある。視距離情報取得部201は観察者が表示手段を観察する距離情報を取得する。また、表示制御部202は、表示手段200に表示する内容について制御する。表示パラメータ制御部203は表示パラメータを制御する。ここで制御する表示パラメータとしては、表示手段200の表示サイズ、視差画像の位置を調整するオフセット量である。画像処理部204は、一般的な2次元画像や動画に対して従来のTV装置などで行われるエッジ強調や色補正等の画像処理を実施する。
次に本実施例の立体画像表示装置の処理動作について図13のフローチャートを用いて詳細を説明する。まずステップS701において画像取得部10は、撮像手段からの立体画像データを取得する。データ取得方法は不図示のUSBケーブル等で直接接続してもよいし、電波や赤外線などを用いた無線接続(無線通信)も可能である。
次にステップS702において、被写体抽出部20は、立体画像データに含まれる視差画像内の特定被写体を抽出又は選択する。ここでは例えば図17に示す実線で囲まれた人物被写体を抽出するものとする。
次にステップS703において、観察条件取得部30は、観察条件情報を取得する。既に記載したが、観察条件情報とは表示サイズ、視距離に関する情報である。さらに表示画素数等の情報も含んでも構わない。ここでさらに、視距離に関しては視距離情報取得部201から情報を取得する。視距離情報取得手段としては、例えば表示手段から赤外線等を放射し、その反射波を計測することで観察者の位置を計測する手段などを採用することができる。また、表示手段側に小型の撮像装置を備え、一般的な顔認識技術などで観察者の位置を特定する手段なども採用することが可能である。
次にステップS704において、視差量算出部40は、ステップS702で抽出された被写体領域内に対して視差量を算出する。まず基準画像選択部41に、視差画像のうち一つを視差量算出のための基準画像として選択させる。次に、対応点抽出部42に、基準画像としての視差画像と参照画像としての視差画像との間で対応点を抽出させる。次に、視差量算出部40に、抽出された対応点のそれぞれの間の視差量(Pl−Pr)を算出させる。
次にステップS705(立体感判定ステップ)において、立体感判定部50は、算出された被写体内の視差量から被写体の観察者に対する立体感の有無を判定する。まず許容視差下限値取得部51により許容視差下限値情報を取得する。次に立体感判定部50は、例えば図17に例示するように抽出した被写体の鼻の先を被写体i、耳を被写体jとして、被写体内の評価点を選択する。次に立体感判定部50は許容視差下限値δtと選択された評価点の視差量と前ステップで取得された観察条件である視距離を用いて、前述した式(19)を満足するかどうかを判定する。式(19)を満足する、つまりYESの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができるため、ステップS706で被写体を立体(3D)と判定する。逆に、式(19)を満足しない、つまりNOの判定の場合は前述したように抽出された被写体は観察者にとって立体感を感じることができないため、ステップS707で被写体を平面(2D)と判定する。
次にステップS708において、ステップS707で被写体が平面と判定された場合、その判定結果に基づき表示制御部202(表示装置制御部)が表示手段200に表示する内容を制御する。ここで表示制御する表示内容としては、立体画像を表示する表示サイズ、観察者と表示手段間の距離である視距離をどうすればよいかといった観察者に対するアドバイス情報である。被写体が平面と判定された場合、表示サイズを大きい方向へ変化させることで被写体の立体感を向上させることができる。また、視距離は表示手段へ近づく方向へ変化させることで被写体の立体感を向上させることができる。ステップS708で表示制御されたアドバイス情報に基づいて使用者が観察条件を調整又は立体感に影響を与える表示条件を制御する表示パラメータ制御部203(表示装置制御部)が自動で補正し、再びステップS701に戻り制御を開始する。
次にステップS709において、最終的にステップS706で被写体が立体であると判定されれば、立体画像の表示が行われる。
ここで本実施例ではステップS708において、観察者へのアドバイス情報を表示させたが、さらに単純に表示手段200に警告を表示するのみとする制御も可能である。この場合、観察者に制御を強制するものではなく、そのまま立体画像の表示を行うことも可能である。しかしながら、その場合被写体を立体として観察することができないため、画像は2D画像として観察することが好ましい。
以上のように視差画像内の被写体の立体感を判定することで、前述した立体画像による弊害(壁化、書割効果、箱庭効果)の有無をより正確に判定することが可能となる。そのため、効果的な立体画像の表示判断を容易に行うことが可能となり、より高品位な立体画像表示を実現することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
特にフローチャートで示したS701〜S703の順序はいかようにも入れ替え可能である。