JP4625517B2 - ３次元表示装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を立体視可能なように３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより行うことができる。

具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。

また、上述したような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用の３次元画像を生成し、生成した３次元画像を３次元表示モニタに３次元表示することができる。

ところで、３次元表示するための複数の画像は被写体を異なる視点から撮影することにより取得されるため、その左右の端部において、他の画像には存在しない領域が存在することとなる。例えば、図２２に示すような２つの画像Ｇ１，Ｇ２を用いて３次元表示を行う場合、画像Ｇ１における領域Ａ５１は画像Ｇ２には存在せず、画像Ｇ２における領域Ａ５２は画像Ｇ１には存在しない。このような画像を３次元表示した場合において、画像の端部にいる人物が、表示面から手前側に飛び出して見えるような位置にあるとしても、人物の一部が画像Ｇ２には存在しないことから、３次元画像の左端部において人物の立体感が突然なくなって人物の左半分が２次元表示されるため、３次元画像の見え方がその端部において非常に不自然なものとなる。

このため、手前側に飛び出して立体視される物体について、一方の画像についてはすべての情報があるものの、他方の画像については情報が欠落しているために３次元表示できない場合には、一方の画像についてマスク等を用いてその物体の情報を欠落させることにより、３次元表示を行う手法が提案されている（特許文献１参照）。また、複数のオブジェクトを含む画像を３次元表示した際に、オブジェクトの立体感を変更する手法も提案されている（特許文献２参照）。
特開平８−６５７１５号公報 特開２００５−６５１６２号公報

しかしながら、特許文献１に記載された手法においては、物体が３次元表示できなくなる状態を解消できるものの、特定の物体のみを対象としているため、その物体の後や手前に存在する物体についてはやはり立体感が突然なくなってしまう。このため、３次元画像が表示面から手前側に飛び出して見えるような立体感を有する場合、画像を見た観察者は、３次元画像が非常に不自然に見えることとなる。

本発明は上記事情に鑑みなされたものであり、３次元表示された３次元画像の端部を自然な見え方を有するものとすることを目的とする。

本発明による３次元表示装置は、視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段と、
前記３次元画像の３次元表示を少なくとも行う表示手段と、
前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正する修正手段とを備え、
前記３次元処理手段は、修正された前記複数の画像に対して前記３次元処理を行う手段であることを特徴とするものである。

「修正された前記複数の画像」とは、複数の画像のすべてが修正された場合には修正されたすべての画像を意味し、複数の画像のうちの一部の画像のみが修正された場合には、修正された画像およびそれ以外の修正されていない画像からなる複数の画像を意味する。

なお、本発明による３次元表示装置においては、前記修正手段を、前記複数の画像の端部近傍の視差が、該複数の画像の端部に向けて徐々に近づくように変化するよう、前記複数の画像のうちの少なくとも１つの画像を修正する手段としてもよい。

また、本発明による３次元表示装置においては、前記修正手段を、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定し、前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に一致させる手段としてもよい。

「複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定する」とは、複数の画像の上下左右のうちの少なくとも一つの部分に端部領域を設定することを意味する。なお、複数の画像の周囲のすべて、すなわち上下左右のすべてに端部領域を設定することが好ましいが、左右のみに端部領域を設定するようにしてもよく、上下のみに端部領域を設定するようにしてもよい。

また、本発明による３次元表示装置においては、前記修正手段を、前記複数の画像のうちの基準となる基準画像の前記端部領域の画像を前記視差に基づいて変形し、該変形した端部領域の画像によって前記基準領域以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段としてもよい。

この場合、前記修正手段を、前記複数の画像のうちの基準となる基準画像の前記端部領域において、該基準画像の端部から最も離れた位置にある基準画素の対応点を、該基準画像以外の他の画像において探索し、前記基準画素と該基準画素に対応する前記対応点間との視差に基づいて、前記基準画像における前記基準画素から端部に並ぶ画素からなる画素領域を変形し、前記他の画像における前記対応点を基準として、該変形した画素領域により前記他の画像を修正する手段としてもよい。

また、本発明による３次元表示装置においては、前記修正手段を、前記複数の画像のうちの少なくとも１つの画像の前記端部領域の画像を前記視差に基づいて変形することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段としてもよい。

この場合、前記修正手段を、前記複数の画像のうちの基準となる基準画像の前記端部領域において、該基準画像の端部から最も離れた位置にある基準画素の対応点である第１の対応点および該基準画像の端部の位置にある端部画素の対応点である第２の対応点を、該基準画像以外の他の画像において探索し、前記基準画素と前記第１の対応点間との視差、および前記端部画素と前記第２の対応点間との視差に基づいて、前記他の画像における前記第１の対応点と前記第２の対応点との間に並ぶ画素からなる画素領域を、前記第１の対応点を基準として変形する手段としてもよい。

本発明による３次元表示方法は、視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段と、
前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正し、
修正された前記複数の画像に対して前記３次元処理を行うことを特徴とするものである。

なお、本発明による３次元表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による３次元処理装置は、視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段を備えた３次元処理装置であって、
前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正する修正手段を備え、
前記３次元処理手段が、修正された前記複数の画像に対して前記３次元処理を行う手段であることを特徴とするものである。

本発明による３次元処理方法は、視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理方法であって、
前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正し、
修正された前記複数の画像に対して前記３次元処理を行うことを特徴とするものである。

なお、本発明による３次元処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、３次元表示時に、３次元画像の端部が表示手段の表示面よりも手前側に立体視される場合、端部の少なくとも一部の立体感を表示面の立体感と一致させるよう、複数の画像のうちの少なくとも１つの画像を修正し、修正された複数の画像に対して３次元処理を行うようにしたものである。このため、３次元画像の端部が表示面から手前側に飛び出して見えるような立体感を有する場合であっても、画像の立体感は端部に向けて徐々に小さくなる。したがって、複数の画像の周囲において互いに見えない領域が存在する場合であっても、その領域において立体感が突然なくなることがなくなるため、３次元画像の端部を自然な見え方を有するものとすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるものとする。

図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。

フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。

ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。

絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部を有する。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎に高周波成分の評価値であるＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域を合焦領域として検出する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、撮影部２１Ａ，２１Ｂの基線長および輻輳角、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。また、後述するように修正部３１が行う修正処理の際に設定される端部領域の範囲の情報も記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１および第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１および第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。本実施形態においては、第１の画像Ｇ１を２次元表示に用いるものとする。

また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

図３は第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合の立体感を示す図である。なお、ここでは、スキャンバックライト方式により第１および第２の画像Ｇ１，Ｇ２を交互に表示する３次元表示を行うものとして説明する。また、３次元画像は画像の全体において、モニタ２０の表示面２０Ａから手前側に飛び出して見えるような立体感を有するものとする。図３に示すように、第１および第２の画像Ｇ１，Ｇ２を３次元表示することにより、３次元画像はモニタ２０の表示面２０Ａから手前側に飛び出すように立体視することができる。しかしながら、第１および第２の画像Ｇ１，Ｇ２は被写体を異なる視点から撮影することにより取得されるため、上記図２２に示すように、第１および第２の画像Ｇ１，Ｇ２の端部に、双方に共通しない領域Ａ５１，Ａ５２が含まれることとなる。このため、３次元画像上においては、左目で見える範囲ＨＬと右目で見える範囲ＨＲとが異なるものとなり、その結果、３次元画像上において、左目でのみしか視認できない部分ＢＬおよび右目のみでしか視認できない部分ＢＲが現れることとなる。

このように３次元画像上において、左目でのみしか視認できない部分ＢＬおよび右目のみでしか視認できない部分ＢＲが現れると、部分ＢＬ，ＢＲに隣接する立体視可能な部分が手前側に飛び出して立体視できる場合、その境界において立体感が突然なくなるため、３次元画像が非常に不自然に見えることとなる。

このため、本実施形態においては、第１および第２の画像Ｇ１，Ｇ２の少なくとも一方を修正する修正部３１を備え、修正部３１において修正された第１および第２の画像Ｇ１，Ｇ２を用いて３次元処理部３０において３次元処理を行うようにしたものである。なお、本実施形態においては、修正部３１は第２の画像Ｇ２のみを修正するものとする。以下修正部３１が行う処理について説明する。

まず、修正部３１は第１および第２の画像Ｇ１，Ｇ２のうち、第１の画像Ｇ１を基準画像に設定し、第１の画像Ｇ１の周囲に所定範囲の端部領域を設定する。図４は第１の画像Ｇ１の周囲に端部領域を設定した状態を示す図である。なお、第１および第２の画像Ｇ１，Ｇ２は、図４に示すように山を背景として二人の人物Ｐ１，Ｐ２を含み、山と人物Ｐ１，Ｐ２との間に建物を含む画像であるとする。図４に示すように修正部３１は、第１の画像Ｇ１の周囲に端部領域ＥＬを設定する。ここで、端部領域ＥＬは、右側領域ＥＬ１、左側領域ＥＬ２、上側領域ＥＬ３および下側領域ＥＬ４の４つの領域に区分されているものとする。また、右側領域ＥＬ１および左側領域ＥＬ２の水平方向の幅をａ、下側領域ＥＬ３および上側領域ＥＬ４の垂直方向の幅をｂとする。なお、端部領域の幅ａ，ｂの情報は内部メモリ２７に記憶されている。

次いで、修正部３１は、第１の画像Ｇ１における端部領域ＥＬ内の各画素の対応点を第２の画像Ｇ２において探索する。ここで、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるため、修正部３１は、端部領域ＥＬ内の各画素について、各画素を中心とした所定サイズのブロックを設定し、ブロックをｘ方向にのみ移動しながら相関値を算出するブロックマッチングを行い、最も大きい相関となる相関値を得た第２の画像Ｇ２上の画素を、対象の画素の対応点として探索する。

そして、修正部３１は探索された対応点間の視差を算出し、端部領域ＥＬ内の右側領域ＥＬ１、左側領域ＥＬ２、上側領域ＥＬ３および下側領域ＥＬ４の４つの領域のそれぞれについて、算出した視差に基づいて、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合において、モニタ２０の表示面よりも手前側に立体視される部分を含むか否かを判定する。修正部３１は、この判定が肯定された領域に対して修正処理を行う。

以下、右側領域ＥＬ１にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合の修正処理について説明する。まず、修正部３１は、第１の画像Ｇ１における右側領域ＥＬ１内の各画素の対応点を第２の画像Ｇ２において探索する。図５は第１の実施形態における対応点の探索を説明するための図である。図５に示すように、修正部３１は、第１の画像Ｇ１の右側領域ＥＬ１の左端においてｙ方向に並ぶ画素列４０（斜線で示す）を設定し、画素列４０の各画素について第２の画像Ｇ２との対応点を探索する。なお、対応点は上記判定を行う際に探索しているため、上記判定により探索された対応点をそのまま用いるようにしてもよい。

これにより、図５に示すように第２の画像Ｇ２において、画素列４０の各画素の対応点が探索される。ここで、第２の画像Ｇ２において探索された対応点から見た第１の画像Ｇ１の画素列４０における画素は、第２の画像Ｇ２の対応点から見た対応点となる。したがって、以降の説明においては、第１の画像Ｇ１の画素列の各画素を対応点と称することがあるものとする。なお、図５および以降の説明においては、説明のために実際の画素よりも対応点および画素列の各画素を拡大して示している。

ここで、本実施形態においては、第１および第２の画像Ｇ１，Ｇ２において、共通の位置（画像の左上隅の位置）を原点とし、水平方向をｘ方向、垂直方向をｙ方向とする座標系を設定しているものとする。このような座標系を設定した場合において、第１および第２の画像Ｇ１，Ｇ２上の対応点間のｘ方向における位置の差が対応点間の視差であり、視差が大きいほど立体感が大きくなる。図６は対応点間の視差を第２の画像Ｇ２とともに示す図である。図６に示すように、人物Ｐ２に対応する対応点間の視差は大きく、建物に対応する視差は負の値となっている。また、画素列４０における山の部分は、第２の画像Ｇ２の画角から外れており、第２の画像Ｇ２には含まれないことから、対応点は探索されていない。

次いで、修正部３１は、第１の画像Ｇ１の画素列４０において、対応点が探索された画素の右側の画素列からなる直線状の領域を対応点間の視差に応じてｘ方向に拡大し、拡大した領域を第２の画像Ｇ２に上書きする上書き処理を行う。図７は第１の実施形態における上書き処理を説明するための図である。なお、図７においては、説明のために、上書き処理の対象となる１つの画素Ｃ１のみを斜線で示している。修正部３１は対象となる画素Ｃ１の右側の画素列のみからなる直線状の領域Ａ１を設定する。ここで、対象となる画素Ｃ１とその対応点Ｃ２との視差をｄ１とした場合、領域Ａ１の幅はａであることから、修正部３１は領域Ａ１を水平方向に（ａ＋ｄ１）／ａ倍に拡大して、拡大領域Ａ１′を作成する。

そして、修正部３１は拡大領域Ａ１′を、第２の画像Ｇ２における対応点Ｃ２と左端を一致させて第２の画像Ｇ２に上書きする。なお、拡大領域Ａ１′は、領域Ａ１を水平方向に（ａ＋ｄ１）／ａ倍に拡大しているため、拡大領域Ａ１′を第２の画像Ｇ２に上書きした場合、拡大領域Ａ１′の右端の画素と、第２の画像Ｇ２の右端の画素とは一致する。この上書き処理を、第２の画像Ｇ２において探索されたすべての対応点において行うことにより、図８に示すように、第２の画像Ｇ２における対応点の右側の画素列からなる領域が拡大領域Ａ１′により上書きされる。

一方、左側領域ＥＬ２にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合、修正部３１は、図５に示すように第１の画像Ｇ１の左側領域ＥＬ２の右端においてｙ方向に並ぶ画素列４１を設定し、画素列４１の各画素について第２の画像Ｇ２との対応点を探索し、画素列４１の各画素の左側の画素列からなる領域を、対応点間の視差に応じて縮小し、拡大領域を第２の画像Ｇ２における対応点の左側に上書きする修正処理を行う。

このように修正処理を行うことにより、第２の画像Ｇ２における画素列４０との対応点から右側の領域は、右端に近づくほど第１の画像Ｇ１における右側領域ＥＬ１との視差が小さくなり、右端において視差が０となる。また、第２の画像Ｇ２における画素列４１との対応点から左側の領域は、左端に近づくほど第１の画像Ｇ１における左側領域ＥＬ２との視差が小さくなり、左端において視差が０となる。このため、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合、図９に示すように、左目および右目のそれぞれにのみ視認される部分がなくなるとともに、左右の端部に向かうにつれて徐々に立体感が小さくなる。なお、図９においてＥ１は３次元画像における、端部領域ＥＬの右側領域ＥＬ１に対応する領域、Ｅ２は３次元画像における、端部領域ＥＬの左側領域ＥＬ２に対応する領域である。

次いで、下側領域ＥＬ３にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合の修正処理について説明する。図１０は第１の実施形態における端部領域の下側領域での対応点の探索を説明するための図である。図１０に示すように、修正部３１は、第１の画像Ｇ１の下端領域ＥＬ３の上端においてｘ方向に並ぶ画素列５０（斜線で示す）を設定し、画素列５０の各画素について、第２の画像Ｇ２との対応点を探索する。なお、対応点の探索は上記と同様に行う。これにより、図１０に示すように第２の画像Ｇ２において、画素列５０の各画素の対応点が探索される。

図１１は対応点間の視差を第１の画像Ｇ１とともに示す図である。図１１に示すように、人物Ｐ１，Ｐ２に対応する対応点間における視差は大きくなっている。また、第２の画像Ｇ２において人物Ｐ２の左側に対応する部分は、第１の画像Ｇ１においては人物Ｐ２の影となっているため、第２の画像Ｇ２において人物Ｐ２の右側の領域においては、対応点は探索されていない。このため、視差は算出されない。

ここで、画素列５０の各画素から見た対応点の視差をｄＬ（ｘＬ）、第２の画像Ｇ２において探索された対応点から見た画素列５０の対応する画素との視差をｄＲ（ｘＲ）とし、第１の画像Ｇ１における端部領域ＥＬの下側領域ＥＬ３における各画素の座標を（ｘＬ，ｙＬ）、第２の画像Ｇ２における下側領域ＥＬ３に対応する下側領域ＥＲ３における各画素の座標（ｘＲ，ｙＲ）と表すものとすると、第１および第２の画像Ｇ１，Ｇ２においては左上隅を原点とする座標系を設定しているため、第１の画像Ｇ１における画素（ｘＬ，ｙＬ）の、第２の画像Ｇ２上における対応点の座標は、（ｘＲ，ｙＲ）＝（ｘＬ−ｄＬ（ｘＬ），ｙＬ）と求めることができる。また、第２の画像Ｇ２における画素（ｘＲ，ｙＲ）の、第１の画像Ｇ１上における対応点の座標は、（ｘＬ，ｙＬ）＝（ｘＲ＋ｄＲ（ｘＲ），ｙＲ）と求めることができる。

修正部３１は、第２の画像Ｇ２の下側領域ＥＲ３における画素（ｘＲ，ｙＲ）の画素の画素値を、下記の式（１）に示すように算出した、第１の画像Ｇ１上における画素の画素値により上書きする。

（ｘＲ−ｄＲ（ｘＲ）×（ｙＲ−ｈ）／ｂ，ｙＲ） （１）
ここで、ｈは第１および第２の画像Ｇ１，Ｇ２の高さ方向の画素数、ｂは下側領域ＥＬ３の上下方向の幅である。

図１２は第１の実施形態における下側領域の上書き処理を説明するための図である。なお、図１２においては説明のため、第１の画像Ｇ１に下側領域ＥＬ３のみを設定した状態を示している。また、画像には一人の人物のみが含まれているものとする。まず、図１２に示すように第１および第２の画像Ｇ１，Ｇ２のそれぞれにおける、下側領域ＥＬ３，ＥＲ３の上端部の対応点をＣ１１，Ｃ１２とした場合、対応点のＣ１１のｙ座標はｈ−ｂとなるため、式（１）を適用すると、対応点Ｃ１２の座標は、第１の画像Ｇ１上における （ｘＲ−ｄＲ（ｘＲ）×（ｈ−ｂ−ｈ）／ｂ，ｙＲ）＝（ｘＲ＋ｄＲ（ｘＲ），ｙＲ）となる。このため、第２の画像Ｇ２における下側領域ＥＲ３の上端部の画素は、第１の画像Ｇ１におけるその対応点の画素値により上書きされる。すなわち、第２の画像Ｇ２における画素Ｃ１２はその対応点Ｃ１１の画素値により上書きされる。

一方、第２の画像Ｇ２における下側領域ＥＲ３の下端部の画素Ｃ１３について、画素Ｃ１３のｙ座標はｈとなるため、式（１）を適用すると、画素Ｃ１３の座標は、第１の画像Ｇ１上における （ｘＲ−ｄＲ（ｘＲ）×（ｈ−ｈ）／ｂ，ｙＲ）＝（ｘＲ，ｙＲ）となる。これは、第２の画像Ｇ２の下端部の画素は、第１の画像Ｇ１において同一の座標を有する画素の画素値により上書きされることを意味する。すなわち、第１の画像Ｇ１において上述した画素Ｃ１１と同一のｘ座標を有する画素のうち、下側領域ＥＬ３の下端にある画素Ｃ１４の画素値が、第２の画像Ｇ２において画素Ｃ１４と同一の座標値を有する画素Ｃ１５に上書きされることを意味する。

したがって、第１の画像Ｇ１の下側領域ＥＬ３においてｙ方向に並ぶ画素Ｃ１１，Ｃ１４間の一列の画素からなる領域Ａ１１は、図１２に示すように第２の画像Ｇ２の下側領域ＥＲ３において画素Ｃ１２、Ｃ１５を結ぶ斜め方向に変形され、これにより得られた変形領域Ａ１１′が第２の画像Ｇ２の画素Ｃ１２から下側に向けて上書きされることとなる。なお、実際には画素の位置は小数点では表すことができないため、対応する画素に隣接する複数画素の補間値を用いて上書きするものとする。

このような修正処理を行うことにより、図１３に示すように、第２の画像Ｇ２の下側領域ＥＲ３は、下側領域ＥＲ３の上端から下端に向けて、第１の画像Ｇ１との視差が徐々になくなるように変形された画像となる。なお、このような修正処理を行った場合において、第２の画像Ｇ２における人物の左側に対応点を探索できない領域が存在する場合、図１３に示すように、第２の画像Ｇ２における対応点が探索されない領域Ａ４については、画素値を上書きすることができない。このため、修正部３１は、第１の画像Ｇ１において位置が領域Ａ４に対応する領域Ａ５を抽出し、領域Ａ４を領域Ａ５により上書きする。

一方、上側領域ＥＬ４にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合、修正部３１は、図１０に示すように第１の画像Ｇ１の上側領域ＥＬ４の下端においてｘ方向に並ぶ画素列５１を設定し、画素列５１の各画素について第２の画像Ｇ２との対応点を探索し、対応点間の視差に応じて第２の画像Ｇ２の上側領域の画素の画素値を、下記の式（２）に示すように算出した、第１の画像Ｇ１上における画素の画素値により上書きする修正処理を行う。

（ｘＲ−ｄＲ（ｘＲ）×（−ｙＲ）／ｂ，ｙＲ） （２）
このように修正処理を行うことにより、第２の画像Ｇ２における画素列５０との対応点から下側の領域は、下端に近づくほど第１の画像Ｇ１における下側領域ＥＬ３との視差が小さくなり、下端において視差が０となる。また、第２の画像Ｇ２における画素列５１との対応点から上側の領域は、上端に近づくほど第１の画像Ｇ１における上側領域ＥＬ４との視差が小さくなり、上端において視差が０となる。このため、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合、図１４に示すように、３次元画像の上下の部分は、端部に向かうにつれて徐々に立体感が小さくなる。なお、図１４においてＥ３は３次元画像における、端部領域ＥＬの下側領域ＥＬ３に対応する領域、Ｅ４は３次元画像における、端部領域ＥＬの上側領域ＥＬ４に対応する領域である。

ＣＰＵ３３は、レリーズボタン等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態において行われる処理を示すフローチャートである。なお、３次元表示される画像はスルー画像であっても記録メディア２９に記録された画像であってもよい。

ＣＰＵ３３は撮影者により撮影または記録メディア２９に記録された画像の表示の指示がなされたか否かを監視しており（ステップＳＴ１）、ステップＳＴ１が肯定されると、修正部３１が第１の画像Ｇ１に端部領域ＥＬを設定する（ステップＳＴ２）。そして、第１の画像Ｇ１の端部領域ＥＬの各画素について対応点を探索し（ステップＳＴ３）、対応点間の視差を算出する（ステップＳＴ４）。そして、視差に基づいて、端部領域ＥＬ内の右側領域ＥＬ１、左側領域ＥＬ２、上側領域ＥＬ３および下側領域ＥＬ４の４つの領域について、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合において、モニタ２０の表示面よりも手前側に立体視される部分が存在するか否かを判定する（ステップＳＴ５）。

ステップＳＴ５が肯定されると、修正部３１は、第２の画像Ｇ２の端部領域内において、立体感がモニタ２０の表示面よりも手前となる部分を含む領域に対して、上述したように対応点間の視差に基づく修正処理を行う（ステップＳＴ６）。そして、３次元処理部３０が、第１の画像Ｇ１および修正された第２の画像Ｇ２に対して３次元処理を行い（ステップＳＴ７）、これにより取得された３次元画像を表示制御部２８がモニタ２０に３次元表示し（ステップＳＴ８）、処理を終了する。

一方、ステップＳＴ５が否定された場合、３次元表示された３次元画像の端部は、モニタ２０の表示面よりも奥側に立体視されるため、３次元画像の端部において立体感が突然なくなっても３次元画像が不自然に見えることがないことから、修正部３１は修正処理を行うことなく、ステップＳＴ７において、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２に対して３次元処理を行い、ステップＳＴ８の処理に進む。

このように、第１の実施形態においては、第１および第２の画像Ｇ１，Ｇ２の３次元表示時に、３次元画像の端部がモニタ２０の表示面よりも手前側に立体視される場合、端部の立体感をモニタ２０の表示面の立体感と徐々に一致させるよう、第２の画像Ｇ２を修正し、第１の画像Ｇ１および修正された第２の画像Ｇ２に対して３次元処理を行うようにしたものである。このため、３次元画像の端部が表示面から手前側に飛び出して見えるような立体感を有する場合であっても、画像の立体感は図９および図１４に示すように、端部に向けて徐々に小さくなる。したがって、第１および第２の画像Ｇ１，Ｇ２の周囲において互いに見えない領域が存在する場合であっても、その領域において立体感が突然なくなることがなくなるため、３次元画像の端部を自然な見え方を有するものとすることができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による複眼カメラは、第１の実施形態による複眼カメラ１において修正部３１が行う処理が異なるのみであるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、第１の画像Ｇ１の端部領域を拡大または変形した領域を第２の画像Ｇ２に上書きすることにより修正処理を行っているが、第２の実施形態においては、第２の画像Ｇ２を拡大または変形した領域を第２の画像Ｇ２に上書きすることにより修正処理を行うようにした点が第１の実施形態と異なる。

以下、第２の実施形態による修正処理について説明する。まず、端部領域ＥＬの右側領域ＥＬ１にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合、修正部３１は、上記第１の実施形態と同様に、第１の画像Ｇ１の右側領域ＥＬ１の左端においてｙ方向に並ぶ画素列４０を設定し、画素列４０の各画素について第２の画像Ｇ２との対応点を探索する。さらに、第２の実施形態においては、修正部３１は、第１の画像Ｇ１の右側領域ＥＬ１の右端（すなわち第１の画像Ｇ１の右端）においてｙ方向に並ぶ画素列４２を設定し、画素列４２の各画素について第２の画像Ｇ２との対応点を探索する。これにより、図５に示す画素列４０の各画素の対応点に加えて、図１６に示すように画素列４２の各画素の対応点が探索される。

次いで、修正部３１は、第２の画像Ｇ２において、第１の画像Ｇ１の画素列４０，４１の対応点のうち水平方向に並ぶ対応点間の画素列からなる領域を、対応点間の視差に応じてｘ方向に拡大し、拡大した領域を第２の画像Ｇ２に上書きする上書き処理を行う。図１７は第２の実施形態における上書き処理を説明するための図である。なお、図１７においては、第２の画像Ｇ２における上書き処理の対象となる対応点Ｃ２１，Ｃ２２のみを斜線で示している。ここで、上書きの対象となる画素における画素列４０についての対応点間の視差をｄ１、画素列４２についての対応点間の視差をｄ２とした場合、修正部３１は、第２の画像Ｇ２における画素列４０についての対応点Ｃ２１と画素列４２についての対応点Ｃ２２との間の画素からなる領域Ｂ２を、水平方向に（ａ＋ｄ１）／（ａ＋ｄ１−ｄ２）倍に拡大して、拡大領域Ｂ２′を作成する。なお、ａ＋ｄ１は、対応点Ｃ２１から第２の画像Ｇ２の端部までの距離、（ａ＋ｄ１−ｄ２）は領域Ｂ２の幅である。

そして、修正部３１は拡大領域Ｂ２′を、第２の画像Ｇ２における対応点Ｃ２１と左端を一致させて、第２の画像Ｇ２に上書きする。なお、拡大領域Ｂ２′は、領域Ｂ２を水平方向に（ａ＋ｄ１）／（ａ＋ｄ１−ｄ２）倍に拡大しているため、拡大領域Ｂ２′を第２の画像Ｇ２に上書きした場合、拡大画像Ｂ２′の右端と、第２の画像Ｇ２の右端とは一致する。修正部３１は、この上書き処理を、第２の画像Ｇ２において探索されたすべての対応点において行う。

このように修正処理を行うことにより、第２の画像Ｇ２における画素列４０との対応点から右側の領域は、右端に近づくほど第１の画像Ｇ１における右側領域ＥＬ１との視差が小さくなり、右端において視差が０となる。このため、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合、図９に示すように、左目および右目のそれぞれにのみ視認される部分がなくなるとともに、とくに右の端部に向かうにつれて徐々に立体感が小さくなる。また、第２の画像Ｇ２に第２の画像Ｇ２を上書きしているため、上記第１の実施形態と比較して、画像の不自然さを低減することができる。

次いで、第２の実施形態において、下側領域ＥＬ３にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合の修正処理について説明する。まず、修正部３１は、図１０に示すように、第１の画像Ｇ１の下端領域ＥＬ３の上端においてｘ方向に並ぶ画素列５０を設定し、画素列５０の各画素について第２の画像Ｇ２との対応点を探索する。さらに、第２の実施形態においては、修正部３１は、図１８に示すように、第１の画像Ｇ１の下側領域ＥＬ３の下端（すなわち第１の画像Ｇ１の下端）にｘ方向に並ぶ画素列５２を設定し、画素列５２において第２の画像Ｇ２との対応点を探索する。これにより、図１０に示す画素列５０の各画素の対応点に加えて、図１８に示すように画素列５２の各画素の対応点が探索される。

図１９は第２の実施形態における下側領域の上書き処理を説明するための図である。なお、図１９においては説明のため、第１の画像Ｇ１に下側領域ＥＬ３のみを設定した状態を示している。また、画像には一人の人物のみが含まれているものとする。まず、図１９に示すように第１の画像Ｇ１における下側領域ＥＬ３の上端部の画素をＣ３１、下側領域ＥＬ３の下端部において画素Ｃ３１とｘ座標が同一の画素をＣ３２、第２の画像Ｇ２における画素Ｃ３１，Ｃ３２との対応点をそれぞれＣ３３，Ｃ３４とする。

第２の実施形態においては、第２の画像Ｇ２における対応点Ｃ３３，Ｃ３４を結ぶ直線状の画素列からなる領域Ａ２１を、画素Ｃ３２と対応点Ｃ３４との間の視差に応じて、ｘ方向に位置をずらすように変形し、これにより得られる変形領域Ａ２２を第２の画像Ｇ２に上書きする。ここで、第２の画像Ｇ２において、第１の画像Ｇ１における画素Ｃ３２と座標が同一の画素をＣ３５とすると、変形領域Ａ２２は、対応点Ｃ３３と画素Ｃ３５とを結ぶ直線状の画素列からなる領域となる。

図２０は変形領域Ａ２２と変形前の領域Ａ２１との画素の対応関係を説明するための図である。なお、図２０においては第２の画像Ｇ２における第１の画像Ｇ１の下側領域ＥＬ３と対応する下側領域ＥＲ３を示している。ここで、対応点Ｃ３３の座標を（ｘＲ１，ｙＲ１）＝（ｘＲ１，ｈ−ｂ）、対応点Ｃ３４の座標を（ｘＲ２，ｙＲ２）＝（ｘＲ２，ｈ）、画素Ｃ３５の座標を（ｘＲ３，ｙＲ３）とし、変形領域Ａ２２における画素を（ｘｐ，ｙｐ）とする。画素Ｃ３５の座標は、対応点Ｃ３４のｘ座標ｘＲ２および対応点Ｃ３４における画素Ｃ３２との視差ｄＲ（ｘＲ２）を用いると、（ｘＲ３，ｙＲ３）＝（ｘＲ２＋ｄＲ（ｘＲ２），ｈ）と表すことができる。

したがって、変形領域Ａ２２における画素（ｘｐ，ｙｐ）は、第２の画像Ｇ２における下記の式（３）に示す位置の画素に対応することとなるため、画素（ｘｐ，ｙｐ）を下記の式（３）により算出した第２の画像Ｇ２上の画素の画素値により上書きすることにより、第２の画像Ｇ２の下側領域ＥＬ３は変形領域Ａ２２により上書きされることとなる。なお、実際には画素の位置は小数点では表すことができないため、対応する画素に隣接する複数画素の補間値を用いる。

（ｘｐ−ｄＲ（ｘＲ２）×（ｙｐ−ｈ＋ｂ）／ｂ，ｙｐ） （３）
一方、上側領域ＥＬ４にモニタ２０の表示面よりも手前側に立体視される部分が存在すると判定された場合、修正部３１は、図１０に示すように第１の画像Ｇ１の上側領域ＥＬ４の下端においてｘ方向に並ぶ画素列５１を設定し、画素列５１の各画素について第２の画像Ｇ２との対応点を探索する。さらに、図１８に示すように、第１の画像Ｇ１の上側領域ＥＬ４の上端においてｙ方向に並ぶ画素列５３を設定し、画素列の各画素について第２の画像Ｇ２との対応点を探索する。そして、第２の画像Ｇ２において、画素列５１の各画素の対応点および画素列５３の各画素の対応点により挟まれる画素列からなる領域を変形し、変形領域により第２の画像Ｇ２を上書きする。

図２１は第２の実施形態における上側領域の修正処理を説明するための図である。なお、図２１においては第２の画像Ｇ２における第１の画像Ｇ１の上側領域ＥＬ４と対応する上側領域ＥＲ４を示している。第２の実施形態においては、第２の画像Ｇ２における対応点Ｃ４３，Ｃ４４を結ぶ直線状の領域Ａ３１を、対応点Ｃ４４における第１の画像Ｇ１の対応する画素との視差に応じて、ｘ方向に位置をずらすように変形し、これにより得られる変形領域Ａ３２を第２の画像Ｇ２に上書きする。なお、変形領域Ａ３２は、対応点Ｃ４３と、第１の画像Ｇ１における対応点Ｃ４４に対応する画素の画像上のｘ座標が同一の画素Ｃ４５間の直線状の画素列からなる領域となる。

このように修正処理を行うことにより、第２の画像Ｇ２における画素列５０との対応点から下側の領域は、下端に近づくほど第１の画像Ｇ１における下側領域ＥＬ３との視差が小さくなり、下端において視差が０となる。また、第２の画像Ｇ２における画素列５１との対応点から上側の領域は、上端に近づくほど第１の画像Ｇ１における上側領域ＥＬ４との視差が小さくなり、上端において視差が０となる。このため、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合、図１４に示すように、３次元画像の上下の部分は、端部に向かうにつれて徐々に立体感が小さくなる。また、第２の画像Ｇ２に第２の画像を上書きしているため、上記第１の実施形態と比較して、画像の不自然さを低減することができる。

なお、上記第１および第２の実施形態においては、第２の画像Ｇ２を修正しているが、第１の画像Ｇ１を修正するようにしてもよい。また、第１および第２の画像Ｇ１，Ｇ２の双方を修正するようにしてもよい。

また、上記第１および第２の実施形態においては、第１および第２の画像Ｇ１，Ｇ２の端部における視差が０となるように第２の画像Ｇ２を修正しているが、必ずしも０とする必要はなく、第１および第２の画像Ｇ１，Ｇ２の端部が、モニタ２０の表示面に近い立体感を有する程度の視差となるように第２の画像Ｇ２を修正するようにしてもよい。

また、上記第１および第２の実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。

また、上記第１および第２の実施形態においては、本発明による３次元表示装置を複眼カメラ１に適用しているが、３次元処理部３０、修正部３１およびモニタ２０を備えた３次元表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が３次元表示装置に入力され、上記実施形態と同様に修正された後に３次元処理が行われる。

以上、本発明の実施形態について説明したが、コンピュータを、上記の３次元処理部３０および修正部３１に対応する手段として機能させ、図１５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 第１および第２の画像を３次元表示した場合の立体感を示す図 第１の画像に端部領域を設定した状態を示す図 第１の実施形態における右側領域での対応点の探索を説明するための図 対応点間の視差を第２の画像とともに示す図 第１の実施形態における右側領域での上書き処理を説明するための図（その１） 第１の実施形態における右側領域での上書き処理を説明するための図（その２） 第１の実施形態における修正処理の結果を説明するための図 第１の実施形態における下側領域での対応点の探索を説明するための図 対応点間の視差を第１の画像とともに示す図 第１の実施形態における下側領域の上書き処理を説明するための図（その１） 第１の実施形態における下側領域の上書き処理を説明するための図（その２） 第１の実施形態における修正処理の結果を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態における右側領域での対応点の探索を説明するための図 第２の実施形態における右側領域の上書き処理を説明するための図 第２の実施形態における下側領域での対応点の探索を説明するための図 第２の実施形態における下側領域の上書き処理を説明するための図 第２の実施形態における変形領域と変形前の領域との画素の対応関係を説明するための図（その１） 第２の実施形態における変形領域と変形前の領域との画素の対応関係を説明するための図（その２） ３次元表示するための複数の画像を示す図

符号の説明

１ 複眼カメラ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
２８ 表示制御部
３０ ３次元処理部
３１ 修正部

Claims (12)

1. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段と、
   前記３次元画像の３次元表示を少なくとも行う表示手段と、
   前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正する修正手段とを備え、
   前記３次元処理手段は、修正された前記複数の画像に対して前記３次元処理を行う手段であり、
   前記修正手段は、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定し、前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形し、該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする３次元表示装置。
2. 前記修正手段は、前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部において０とする手段であることを特徴とする請求項１記載の３次元表示装置。
3. 前記修正手段は、前記複数の画像における水平方向に並ぶ画素列のそれぞれにおいて、前記基準画像の前記右側領域の最も左側に位置する第１の画素と対応する、前記他の画像における第１の対応点を求め、前記第１の画素から前記基準画像の右側端部に向けて水平方向に並ぶ画素列からなる直線状の第１の領域の該水平方向における長さが、前記他の画像における前記第１の対応点から右側端部に向けて水平方向に並ぶ画素列からなる直線状の第２の領域の長さと一致するように、前記視差に基づいて前記第１の領域を変形し、
   前記基準画像の前記左側領域の最も右側に位置する第２の画素と対応する、前記他の画像における第２の対応点を求め、前記第２の画素から前記基準画像の左側端部に向けて水平方向に並ぶ画素列からなる直線状の第３の領域の該水平方向における長さが、前記他の画像における前記第２の対応点から左側端部に向けて水平方向に並ぶ画素列からなる直線状の第４の領域の長さと一致するように、前記視差に基づいて前記第３の領域を変形し、
   前記第２の領域を前記変形した第１の領域により、前記第４の領域を前記変形した第３の領域により上書きすることにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする請求項１または２記載の３次元表示装置。
4. 前記修正手段は、前記複数の画像における水平方向に並ぶ画素列のそれぞれにおいて、前記基準画像の前記右側領域の最も左側に位置する第１の画素および最も右側に位置する第２の画素とそれぞれ対応する、前記他の画像における第１の対応点および第２の対応点を求め、前記他の画像において水平方向に並ぶ前記第１および前記第２の対応点間の画素列からなる直線状の第１の領域の長さが、前記他の画像における前記第１の対応点から右側端部に向けて水平方向に並ぶ画素列からなる直線状の第２の領域の長さと一致するように、前記視差に基づいて前記第１の領域を変形し、
   前記基準画像の前記左側領域の最も右側に位置する第３の画素および最も左側に位置する第４の画素とそれぞれ対応する、前記他の画像における第３の対応点および第４の対応点を求め、前記他の画像において水平方向に並ぶ前記第３および前記第４の対応点間の画素列からなる直線状の第３の領域の長さが、前記他の画像における前記第３の対応点から左側端部に向けて水平方向に並ぶ画素列からなる直線状の第４の領域の長さと一致するように、前記視差に基づいて前記第３の領域を変形し、
   前記第２の領域を前記変形した第１の領域により、前記第４の領域を前記変形した第３の領域により上書きすることにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする請求項１または２記載の３次元表示装置。
5. 前記修正手段は、前記複数の画像のうちの少なくとも１つの画像の前記端部領域における上側領域および下側領域の画像を前記視差に基づいて変形することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元表示装置。
6. 前記修正手段は、前記複数の画像における垂直方向に並ぶ画素列のそれぞれにおいて、前記基準画像の前記下側領域の最も上側に位置する第１の画素と対応する、前記他の画像における第１の対応点を求め、前記第１の画素から前記基準画像の下側端部に向けて垂直方向に並ぶ画素列からなる直線状の第１の領域において、前記基準画像の下側端部に位置する第２の画素を求め、前記他の画像の下側端部において前記基準画像の前記第２の画素と同一位置の第３の画素を求め、前記第１の領域を、前記第１の対応点と前記第３の画素とを結ぶ直線と同一形状となるように前記視差に基づいて変形し、
   前記基準画像の前記上側領域の最も下側に位置する第４の画素と対応する、前記他の画像における第２の対応点を求め、前記第４の画素から前記基準画像の上側端部に向けて垂直方向に並ぶ画素列からなる直線状の第２の領域において、前記基準画像の上側端部に位置する第２の画素を求め、前記他の画像の上側端部において前記基準画像の前記第４の画素と同一位置の第５の画素を求め、前記第２の領域を、前記第２の対応点と前記第５の画素とを結ぶ直線と同一形状となるように前記視差に基づいて変形し、
   前記他の画像の下側領域を前記変形した第１の領域により、前記他の画像の上側領域を前記変形した第２の領域により上書きすることにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元表示装置。
7. 前記修正手段は、前記複数の画像における垂直方向に並ぶ画素列のそれぞれにおいて、前記基準画像の前記下側領域の最も上側に位置する第１の画素と対応する、前記他の画像における第１の対応点を求め、前記第１の画素から前記基準画像の下側端部に向けて垂直方向に並ぶ画素列からなる直線状の第１の領域において、前記基準画像の下側端部に位置する第２の画素を求め、前記他の画像の下側端部において前記基準画像の前記第２の画素と同一位置の第３の画素を求め、前記第２の画素と対応する前記他の画像における第２の対応点を求め、前記他の画像における前記第１の対応点と前記第２の対応点とを結ぶ画素列からなる直線状の第２の領域を、前記第１の対応点と前記第３の画素とを結ぶ直線と同一形状となるように前記視差に基づいて変形し、
   前記基準画像の前記上側領域の最も下側に位置する第４の画素と対応する、前記他の画像における第３の対応点を求め、前記第４の画素から前記基準画像の上側端部に向けて垂直方向に並ぶ画素列からなる直線状の第３の領域において、前記基準画像の上側端部に位置する第５の画素を求め、前記他の画像の上側端部において前記基準画像の前記第５の画素と同一位置の第６の画素を求め、前記第５の画素と対応する前記他の画像における第４の対応点を求め、前記他の画像における前記第３の対応点と前記第４の対応点とを結ぶ画素列からなる直線状の第４の領域を、前記第３の対応点と前記第６の画素とを結ぶ直線と同一形状となるように前記視差に基づいて変形し、
   前記他の画像の下側領域を前記変形した第２の領域により、前記他の画像の上側領域を前記変形した第４の領域により上書きすることにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元表示装置。
8. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段と、
   前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法であって、
   前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正するに際し、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定し、
   前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形し、
   該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正し、
   修正された前記複数の画像に対して前記３次元処理を行うことを特徴とする３次元表示方法。
9. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段と、
   前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
   前記３次元表示時に、前記３次元画像の端部が前記表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正するに際し、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定する手順と、
   前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形する手順と、
   該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手順と、
   修正された前記複数の画像に対して前記３次元処理を行う手順とをコンピュータに実行させることを特徴とするプログラム。
10. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理手段を備えた３次元処理装置であって、
    前記３次元表示時に、前記３次元画像の端部が表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正する修正手段を備え、
    前記３次元処理手段は、修正された前記複数の画像に対して前記３次元処理を行う手段であり、
    前記修正手段は、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定し、前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形し、該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手段であることを特徴とする３次元表示装置。
11. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理方法であって、
    前記３次元表示時に、前記３次元画像の端部が表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正するに際し、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定し、
    前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形し、
    該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正し、
    修正された前記複数の画像に対して前記３次元処理を行うことを特徴とする３次元処理方法。
12. 視差を有する複数の画像に対して３次元表示のための３次元処理を行って３次元画像を生成する３次元処理方法をコンピュータに実行させるためのプログラムであって、
    前記３次元表示時に、前記３次元画像の端部が表示手段の表示面よりも手前側に立体視される場合、該端部の少なくとも一部の立体感を前記表示面の立体感と一致させるよう、前記複数の画像のうちの少なくとも１つの画像を修正するに際し、前記複数の画像の周囲の少なくとも一部に所定範囲の端部領域を設定する手順と、
    前記複数の画像の前記端部領域の間において対応する画素間の視差を、前記複数の画像の端部に向けて徐々に小さくするとともに、前記複数の画像のうちの基準となる基準画像の前記端部領域における左側領域および右側領域の画像を前記視差に基づいて変形する手順と、
    該変形した端部領域の画像によって前記基準画像以外の他の画像を修正することにより、前記複数の画像のうちの少なくとも１つの画像を修正する手順と、
    修正された前記複数の画像に対して前記３次元処理を行う手順とをコンピュータに実行させることを特徴とするプログラム。

Images