JP5351878B2 - 立体画像表示装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像から生成した立体画像を表示する立体画像表示装置および方法並びに立体画像表示方法をコンピュータに実行させるためのプログラムに関するものである。

平面的な画像を立体的な映像として表現する３次元表示を行うための種々の手法が提案されている。この３次元表示は、右目と左目との間隔によって生じる両目の視差を意図的に生成して、映像が浮き出て見えるような立体感を表現することにより実現される。例えば、裸眼平行法による立体視においては、左右それぞれの目に対応する２つの画像を用意し、２つの画像中における同一物体の位置を左右にずらして配置した立体画像を生成して表示することにより３次元表示を実現している。

また、複数の画像の色を例えば赤と青のように異ならせて複数の画像を重ね合わせたり、複数の画像を１ライン毎に交互に組み合わせることにより、立体画像を生成して３次元表示を行う手法も提案されている。この手法においては、立体画像を表示して赤青メガネや偏光メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる。また、偏光メガネ等を使用しなくても、立体画像を立体表示モニタに表示して立体視することも可能である。

また、このような３次元表示を行うための複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラにおいては、撮影時に立体画像を生成して３次元表示を行うことができるが、３次元表示中に複眼カメラに対して何らかの操作を行いたい場合には、操作を指示するためのメニュー画面を表示する必要がある。しかしながら、立体画像は、融合視のように見る者が立体感を認識できるような見方をすることにより立体視されるものである。このため、立体視を行っている最中に２次元表示のメニュー画面が表示されると、画像が非常に違和感があるものとなり、画面上においては立体画像が表示されているにも拘わらず、メニュー画面の存在により立体視ができなくなってしまうおそれがある。

このような問題を解決するために、複眼カメラにおいて、立体視を行うための２つの画像のそれぞれに、視差を持つように文字や記号を重畳することにより、画像の３次元表示と併せて文字や記号の３次元表示を実現する手法が提案されている（特許文献１参照）。特許文献１に記載された手法によれば、文字や記号も３次元表示されるため、立体視を行う場合の違和感を防止することができる。

特開平８−２４９４９３号公報

ところで、３次元表示を行う際には、画像に含まれる被写体の撮像部からの距離に応じて立体視した際の立体感が異なる。具体的には、撮影時において撮像部に近い位置にある被写体ほど視差が大きくなって立体視した際に立体感が強く表れる。逆に撮像部から離れた位置にある被写体ほど視差が小さくなって立体視した際の立体感が低下する。ここで、上記特許文献１に記載された手法は、予め設定した視差となるように文字や記号を立体画像に重畳しているため、文字や記号については一律の立体感しか表すことができない。このため、画像に含まれる被写体の視差が、表示される文字や記号の視差とは異なる場合、文字や記号が非常に違和感があるものとなる。

本発明は上記事情に鑑みなされたものであり、立体画像を表示する際に、立体画像以外の他の表示領域を違和感なく表示することを目的とする。

本発明による立体画像表示装置は、互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得する画像取得手段と、
前記被写体までの距離を測定する距離測定手段と、
前記複数の画像から３次元表示のための立体画像を生成する立体画像生成手段と、
所定の表示領域を前記立体画像に重畳して表示するに際し、前記距離に応じた表示態様の表示領域を生成する表示領域生成手段と、
前記表示領域が重畳された前記立体画像を表示する表示手段とを備えたことを特徴とするものである。

距離を測定する手法としては、複数の画像の間で対応する画素である対応点を探索し、互いに対応する複数の画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、当該画素に対応する被写体上の点までの距離を算出するステレオマッチングの手法のほか、光の反射を用いて被写体までの距離の測定を行うＴＯＦ（Time Of Flight）方式の距離測定方法等を用いることができる。

立体画像の生成の手法としては、上述したように裸眼平行法による立体視を行うために、複数の画像を並べて配置する手法、複数の画像の色を例えば赤と青のように異ならせたり、偏向の方向を異ならせて複数の画像を重ね合わせる手法、複数の画像を１ライン毎に交互に組み合わせることによる手法等、公知の種々の手法を用いることができる。

なお、本発明による立体画像表示装置においては、各種距離区分と該各種距離区分に応じた表示パラメータとを対応づけたテーブルを記憶する記憶手段をさらに備えるものとし、
前記表示領域生成手段を、前記テーブルを参照して前記距離に応じた距離区分の表示パラメータを取得し、該表示パラメータに基づいて前記距離に応じた表示態様の表示領域を生成する手段としてもよい。

また、本発明による立体画像表示装置においては、前記表示パラメータを、前記距離に応じた視差を含むものとしてもよく、さらに、視差に加えて距離に応じたサイズを含むものとしてもよい。

また、本発明による立体画像表示装置においては、前記表示態様の変更指示を行う指示手段をさらに備えるものとし、
前記表示領域生成手段を、前記変更指示に応じて前記表示領域の表示態様を変更する手段としてもよい。

また、本発明による立体画像表示装置においては、前記立体画像を拡大縮小するズーム手段をさらに備えるものとし、
前記表示領域生成手段を、前記ズーム倍率に応じて前記表示領域のサイズを変更する手段としてもよい。

また、本発明による立体画像表示装置においては、前記表示手段を、前記立体画像の表示と前記複数の画像のうちの少なくとも１つの画像の２次元表示とを切り替え可能な手段とし、
前記表示領域生成手段を、前記立体画像が表示される場合、前記画像が２次元表示される場合よりも明るさを低下させて前記表示領域を生成する手段としてもよい。

「２次元表示」とは、例えば、複数の画像のうちの１つの画像のみを表示する、複数の画像のすべてまたはその一部を並べて表示する等、複数の画像を立体視できないように表示することを意味する。

また、本発明による立体画像表示装置においては、前記表示手段を、前記距離が所定のしきい値以上の場合、前記複数の画像のうちの少なくとも１つの画像を２次元表示する手段とし、
前記表示領域生成手段を、前記画像が２次元表示される場合、２次元表示の表示態様の表示領域を生成する手段としてもよい。

本発明による立体画像表示方法は、互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得し、
前記被写体までの距離を測定し、
前記複数の画像から３次元表示のための立体画像を生成し、
所定の表示領域を前記立体画像に重畳して表示するに際し、前記距離に応じた表示態様の表示領域を生成し、
前記表示領域が重畳された前記立体画像を表示することを特徴とするものである。

なお、本発明による立体画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の画像が取得され、被写体までの距離が測定され、複数の画像から立体画像が生成される。そして、所定の表示領域を立体画像に重畳して表示するに際し、距離に応じた表示態様の表示領域が生成され、表示領域が重畳された立体画像が表示される。このため、立体画像とともに表示領域も画像に含まれる被写体の距離に応じた立体感を有するように３次元表示されることとなる。したがって、表示領域についても違和感なく立体画像と同様に立体視することができる。

ここで、表示領域を３次元表示するためには、立体画像に重畳する際の表示領域の視差、さらには画像に含まれる被写体の距離に適した大きさを考慮する必要がある。さらに、視差や大きさの程度は、被写体を撮影したカメラの位置関係 レンズの画角およびレンズの焦点距離等の様々なファクターの影響により異なるものとなる。このため、表示領域を表示する都度、表示する表示領域の視差や大きさを算出していたのでは、距離に応じた表示態様の表示領域を生成するための演算に非常に長時間を要するものとなる。

このため、各種距離区分と該各種距離区分に応じた表示パラメータとを対応づけたテーブルを予め策してしておき、このテーブルを参照して距離に応じた距離区分の表示パラメータを取得し、表示パラメータに基づいて距離に応じた表示態様の表示領域を生成することにより、表示領域の生成を短時間で行うことができる。

また、表示態様の変更指示がなされた場合に、変更指示に応じて表示領域の表示態様を変更することにより、所望とする表示態様にて表示領域を３次元表示することができる。

また、立体画像のズーム倍率に応じて表示領域のサイズを変更することにより、立体画像のズーム倍率が変更されても、違和感なく表示領域を３次元表示することができる。

また、立体画像の表示と複数の画像のうちの少なくとも１つの画像の２次元表示とを切り替え可能とした場合において、立体画像を表示する際に、２次元表示の際の明るさを有する表示領域を生成すると表示領域が非常に見にくいものとなる。このため、立体画像が表示される場合、複数の画像のうちの少なくとも１つの画像が２次元表示される場合よりも明るさを低下させて表示領域を生成することにより、３次元表示された表示領域が見にくくなることを防止することができる。

また、立体化した表示領域を生成することにより、より違和感なく表示領域を３次元表示することができる。

また、複数の画像のうちの少なくとも１つの画像が２次元表示される際に、２次元表示の表示態様の表示領域を生成することにより、２次元表示した際の表示領域の違和感をなくすることができる。

本発明の実施形態による立体画像表示装置を適用した立体撮影装置の構成を示す概略ブロック図 視差を説明するための図 各種距離区分と表示パラメータとを対応づけたテーブルを示す図 メニュー画面が重畳された立体画像を示す図 本実施形態において行われる処理を示すフローチャート ２次元表示処理のフローチャート ズーム倍率が変更された場合のメニュー画面の表示態様を示す図 ３次元状のメニュー画面を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による立体画像表示装置を適用した立体撮影装置の構成を示す概略ブロック図である。図１に示すように本実施形態による立体撮影装置１は、２つのカメラ２Ａ，２Ｂと、Ａ／Ｄ変換部３Ａ，３Ｂと、信号処理部４Ａ，４Ｂと、カメラ制御部５とを備える。

カメラ２Ａ，２Ｂは、それぞれ左目用の画像および右目用の画像を取得するためのものであり、撮影レンズおよびＣＣＤ等の撮像素子を備えてなり、カメラ制御部５により、撮影レンズを用いてのフォーカス動作およびズーム動作、並びに撮像素子からの電荷の読み出しのタイミング等の駆動が制御される。また、カメラ２Ａ，２Ｂは所定間隔を空けて配置されており、カメラ２Ａ，２Ｂの間隔である基線長および輻輳角を変更することができる。なお、本実施形態においては、カメラ２Ａ，２Ｂは撮影動作が行われるまではスルー画像を撮影し、撮影動作が行われるとそのタイミングにおける静止画像を撮影するものである。

Ａ／Ｄ変換部３Ａ，３Ｂは、カメラ２Ａ，２Ｂが撮影により取得した画像ＳＡ，ＳＢをアナログデータからデジタルデータに変換する。

信号処理部４Ａ，４Ｂは、カメラ２Ａ，２Ｂが取得した画像ＳＡ，ＳＢの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像ＳＡ，ＳＢを並行化するための並行化処理を施す。さらに、並行化処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、信号処理部４Ａ，４Ｂにおける処理後の画像についても、処理前の参照符号ＳＡ，ＳＢを用いるものとする。また、補正処理、並行化処理および画像処理の３つの処理を合わせて信号処理と称するものとする。

また、立体撮影装置１は、距離算出部７と、立体画像生成部８とを備える。

距離算出部７は、カメラ２Ａ，２Ｂからカメラ２Ａ，２Ｂの撮影範囲に含まれる被写体までの距離を測定するためのものであり、まずステレオマッチングの手法を用いてカメラ２Ａ，２Ｂが取得した画像ＳＡ，ＳＢ上において互いに対応する対応点を求める。例えば、画像ＳＡ，ＳＢから部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。そして、求めた対応点、カメラ２Ａ，２Ｂの基線長、輻輳角およびズーム倍率を用いて、三角測量の原理により画像ＳＡ，ＳＢに共通に含まれる被写体までの距離を算出する。具体的には、画像ＳＡ，ＳＢに共通するすべての画素について、画素毎に距離を算出する。さらに、距離算出部７は、画像ＳＡ，ＳＢに含まれる主要被写体までの距離の平均値である被写体距離を算出する。ここで、主要被写体の検出手法としては、画像ＳＡ，ＳＢの中央の所定範囲の領域を主要被写体とする手法、および画像ＳＡ，ＳＢのいずれかから主要被写体と見なせる領域を検出し、検出した領域を主要被写体とする手法等を用いることができる。

立体画像生成部８は、画像ＳＡ，ＳＢを左右に並べて配置することにより立体画像ＳＲを生成する。

また、立体撮影装置１は、画像ＳＡ，ＳＢおよび立体画像ＳＲを表示するための液晶等のモニタ９と、モニタ９への各種情報の表示を制御する表示制御部１０と、立体撮影装置１に各種入力を行うための十字キー、操作ボタン、ズームレバーおよびレリーズボタン等からなる入力部１１と、立体画像ＳＲをメモリカード等の記録媒体１２に記録するための記録制御部１３とを備える。さらに、立体撮影装置１は、ＣＰＵ１４、操作／制御プログラムが格納されるとともに作業領域となるＲＡＭ１５、および後述するテーブルを含む各種設定値が記憶されているＥＥＰＲＯＭ１６からなる全体制御部１７を備える。

さらに立体撮影装置１は、装置１の各種操作を行うためのメニュー画面を表示する際に、距離算出部７が算出した被写体距離に応じた表示態様のメニュー画面を生成するメニュー画面生成部１８を備える。

ここで、立体視を行う場合の視差について説明する。図２は視差を説明するための図である。まず、図２（ａ）に示すように立体視を行わない状態で立体画像ＳＲを観察した場合における両目から立体画像ＳＲまでの距離を、遠近感の基準となる調整距離Ｌ０とする。

立体画像ＳＲにおいては、カメラ２Ａ，２Ｂに近い被写体は視差が大きくなり、同一の被写体についての左目用の画像（左目像）および右目用の画像（右目像）の配置されるべき左右の位置が反転するため、図２（ｂ）に示すように左目および右目の視線を立体画像ＳＲの手前で交差させて融合視することにより、立体画像ＳＲよりも手前に立体像Ｒ１を観察することができる。この場合における両目から立体像Ｒ１までの距離Ｌ１は調整距離Ｌ０よりも小さくなる。

一方、立体画像ＳＲにおいては、カメラ２Ａ，２Ｂから遠い被写体は視差が小さく、同一の被写体についての左目用の画像（左目像）および右目用の画像（右目像）の配置されるべき左右の位置は反転しないため、図２（ｃ）に示すように左目および右目の視線を立体画像ＳＲの向こう側で交差させて融合視することにより、立体画像ＳＲよりも向こう側に立体像Ｒ２を観察することができる。この場合における両目から立体像Ｒ２までの距離Ｌ２は調整距離Ｌ０よりも大きくなる。

このように立体画像ＳＲに含まれる被写体の撮影時におけるカメラ２Ａ、２Ｂからの距離に応じて、立体画像ＳＲを立体視した際に、被写体が手前側に飛び出して見えたり、奥まって見えたりする。

本実施形態においては、メニュー画面を表示する際に、メニュー画面生成部１８が、距離算出部７が算出した被写体距離に応じた視差およびサイズを有する３次元表示用のメニュー画面を生成するようにしたものである。

ここで、本実施形態においては、各種距離区分と該各種距離区分に応じた表示パラメータとを対応づけたテーブルＬＵＴ１がＥＥＰＲＯＭ１６に記憶されている。図３はテーブルＬＵＴ１を示す図である。図３に示すようにテーブルＬＵＴ１は、５つの距離区分Ｌ１〜Ｌ５と、各距離区分Ｌ１〜Ｌ５に応じた表示パラメータＰ１〜Ｐ５とが対応づけられている。ここで、表示パラメータとしては、メニュー画面の重畳位置、画像ＳＡ，ＳＢのそれぞれに重畳するメニュー画面の視差およびメニュー画面の縦横のサイズ（画素数）を用いる。なお、視差については、被写体距離が大きくなるほど小さくなり、さらに大きくなると負、すなわち逆向きの視差となるように、サイズについては、被写体距離が小さいほど小さくなるようにテーブルＬＵＴ１が作成されている。なお、テーブルＬＵＴ１は、カメラ２Ａ，２Ｂの位置関係 カメラ２Ａ，２Ｂが有するレンズの画角およびレンズの焦点距離等の様々なファクターを考慮して作成されてなる。

なお、メニュー画面の重畳位置とは、メニュー画面の左上隅の画素を配置する画像ＳＡ上の画素の位置である。ここで、画像ＳＡ上におけるメニュー画面の重畳位置が決まれば、視差から画像ＳＢ上におけるメニュー画面の表示位置が決まるため、メニュー画面の左上隅の画素を配置する画像ＳＡ上の画素の位置のみをメニュー画面に含めておけばよい。なお、視差に代えて、メニュー画面の左上隅の画素を配置する画像ＳＡ上の画素の位置およびメニュー画面の左上隅の画素を配置する画像ＳＢ上の画素の位置を表示パラメータに含めるようにしてもよい。この場合、画像ＳＡ，ＳＢ上におけるメニュー画面の重畳位置が、視差に対応するものとなる。

メニュー画面生成部１８は、テーブルＬＵＴ１を参照して距離算出部７が算出した被写体距離の距離区分に対応した表示パラメータを取得し、表示パラメータに応じた視差およびサイズを有するメニュー画面を画像ＳＡ，ＳＢのそれぞれに対応づけて生成する。

そして、メニュー画面を表示する場合には、表示制御部１０が立体画像ＳＲに含まれる画像ＳＡ，ＳＢのそれぞれにメニュー画面を重畳し、メニュー画面が重畳された立体画像ＳＲをモニタ９に表示する。

図４はメニュー画面が重畳された立体画像を示す図であり、図４（ａ）は被写体距離が小さい場合、図４（ｂ）は被写体距離が大きい場合をそれぞれ示す。図４（ａ）に示すように、被写体距離が小さい場合、画像ＳＡ，ＳＢのそれぞれに重畳されたメニュー画面の視差は大きくなり、またサイズは小さくなる。このため、立体画像ＳＲを立体視した際には、被写体と同様にメニュー画面が飛び出して見えることとなる。

一方、図４（ｂ）に示すように、被写体距離が大きい場合、画像ＳＡ，ＳＢのそれぞれに重畳されたメニュー画面は、図４（ａ）とは反対方向の視差を有するものとなり、サイズは図４（ａ）と比較して大きくなる。このため、立体画像ＳＲを立体視した際には、被写体と同様にメニュー画面が奥まって見えることとなる。

次いで、第１の実施形態において行われる処理について説明する。図５は第１の実施形態において行われる処理を示すフローチャートである。なお、初期状態においては、撮影により取得した画像から立体画像ＳＲを生成して３次元表示を行う設定がなされているものとする。またここでは、スルー画像を撮影する場合の処理について説明する。立体撮影装置１の電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および信号処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ１）。次いで、全体制御部１７が、３次元表示から２次元表示への切り替え指示がなされているか否かを判定し（ステップＳＴ２）、ステップＳＴ２が肯定されると後述する２次元表示の処理を行う。

ステップＳＴ２が否定されると、距離算出部７が画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ３）、全体制御部１７が被写体距離が所定のしきい値Ｔｈ１以上であるか否かを判定する（ステップＳＴ４）。

ステップＳＴ４が否定されると、立体画像生成部８が立体画像ＳＲを生成し（ステップＳＴ５）、全体制御部１７がメニュー画面の表示の指示がなされているか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると、表示制御部１０が立体画像ＳＲをモニタ９に表示し（ステップＳＴ７）、リターンする。

ステップＳＴ６が肯定されると、メニュー画面生成部１８が、テーブルＬＵＴ１を参照して、被写体距離に応じた視差およびサイズを有する３次元表示用のメニュー画面を生成する（ステップＳＴ８）。なお、３次元表示用のメニュー画面の明るさは、後述する２次元表示用のメニュー画面の明るさよりも暗くされている。さらに、全体制御部１７はメニュー画面の立体感の変更指示がなされているか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると、メニュー画面生成部１８は、画像ＳＡ，ＳＢのそれぞれに重畳するメニュー画面の視差を変更し（ステップＳＴ１０）、ステップＳＴ９に戻る。すなわち、立体感を大きくする変更指示がなされた場合は視差を大きくし、立体感を小さくする変更指示がなされた場合は視差を小さくする。

ステップＳＴ１０が否定されると、全体制御部１７はズーム操作が行われているか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が肯定されると、メニュー画面生成部１８は、ズーム倍率に応じてメニュー画面のサイズを変更する（ステップＳＴ１２）。すなわち、ズーム倍率が高くされた場合にはメニュー画面のサイズを拡大し、ズーム倍率が低くされた場合にはメニュー画面のサイズを縮小する。なお、ステップＳＴ１１が否定された場合は、ステップＳＴ１３に進む。

そして、表示制御部１０が立体画像ＳＲに含まれる画像ＳＡ，ＳＢのそれぞれにメニュー画面を重畳して、図４に示す立体画像ＳＲをモニタ９に表示し（ステップＳＴ１３）、リターンする。

一方、ステップＳＴ２，ＳＴ４が否定されると、２次元表示の処理を行う（ステップＳＴ１４）。図６は２次元表示処理のフローチャートである。まず、全体制御部１７がメニュー表示の指示がなされたか否かを判定し（ステップＳＴ２１）、ステップＳＴ２１が否定されると、表示制御部１０が画像ＳＡをモニタ９に表示し（ステップＳＴ２２）、処理を終了する。なお、画像ＳＡに代えて画像ＳＢを表示してもよく、画像ＳＡ，ＳＢの双方を間隔を空けて並べて配置して表示するようにしてもよい。

ステップＳＴ２１が肯定されると、メニュー画面生成部１８が、２次元表示用のメニュー画面を生成する（ステップＳＴ２３）。ここで、本実施形態においては、２次元表示用のメニュー画面についてのサイズおよび表示位置が２次元表示用の表示パラメータとしてＥＥＰＲＯＭ１６に記憶されており、メニュー画面生成部１８はＥＥＰＲＯＭ１６に記憶された２次元表示用の表示パラメータを読み出して、２次元表示用のメニュー画面を生成する。なお、２次元表示用のメニュー画面は明るさが３次元表示用のメニュー画面よりも明るいものとなっている。

さらに、全体制御部１７はズーム操作が行われているか否かを判定し（ステップＳＴ２４）、ステップＳＴ２４が肯定されると、メニュー画面生成部１８は、ズーム倍率に応じてメニュー画面のサイズを変更する（ステップＳＴ２５）。すなわち、ズーム倍率が高くされた場合にはメニュー画面のサイズを拡大し、ズーム倍率が低くされた場合にはメニュー画面のサイズを縮小する。なお、ステップＳＴ２４が否定された場合は、ステップＳＴ２６に進む。

そして、表示制御部１０が画像ＳＡにメニュー画面を重畳して画像ＳＡをモニタ９に表示し（ステップＳＴ２６）、２次元表示の処理を終了する。

このように、本実施形態においては、立体画像ＳＲの表示時にメニュー画面を表示する指示がなされると、被写体距離に応じた視差およびサイズを有するメニュー画面を生成し、メニュー画面が重畳された立体画像ＳＲを表示するようにしたものである。このため、表示された立体画像ＳＲを立体視した際には、メニュー画面も立体画像ＳＲに含まれる被写体の距離に応じた立体感を有することとなる。したがって、メニュー画面についても違和感なく立体画像ＳＲと同様に立体視することができる。

ここで、メニュー画面を３次元表示するためには、立体画像ＳＲに含まれる画像ＳＡ，ＳＢのそれぞれに重畳するメニュー画面の視差のみならず、画像ＳＡ，ＳＢに含まれる被写体の距離に適した大きさも考慮する必要がある。さらに、視差や大きさの程度は、被写体を撮影したカメラの位置関係、レンズの画角およびレンズの焦点距離等の様々なファクターの影響により異なるものとなる。このため、メニュー画面を表示する都度、表示するメニュー画面の視差や大きさを算出していたのでは、３次元表示用のメニュー画面を生成するための演算に非常に長時間を要するものとなる。

このため、各種距離区分Ｌ１〜Ｌ５と各種距離区分に応じた表示パラメータＰ１〜Ｐ５とを対応づけたテーブルＬＵＴ１を予め作成しておき、このテーブルＬＵＴ１を参照して被写体距離に応じた表示パラメータを取得し、表示パラメータに基づいて３次元表示用のメニュー画面を生成することにより、メニュー画面の生成を短時間で行うことができる。

なお、表示パラメータは、カメラ間の基線長および輻輳角等、カメラの位置関係によっても変わることから、テーブルＬＵＴ１をカメラの位置関係に応じて用意してＥＥＰＲＯＭ１６に記憶しておき、カメラ２Ａ，２Ｂの位置関係に応じたテーブルを参照して表示パラメータを取得し、メニュー画面を生成するようにしてもよい。

また、立体感の変更指示がなされた場合に、変更指示に応じてメニュー画面の視差を変更することにより、所望とする立体感となるようにメニュー画面を３次元表示することができる。

また、ズーム倍率に応じたサイズのメニュー画面を生成することにより、図７に示すように、ズーム倍率を高くするとメニュー画面が拡大され、ズーム倍率を低くするとメニュー画面が縮小されることとなる。このため、ズームがなされても、違和感なくメニュー画面を３次元表示することができる。

また、３次元表示と２次元表示とを切り替え可能とした場合において、３次元表示する際に、２次元表示の際の明るさを有するメニュー画面を生成した場合、メニュー画面が非常に見にくいものとなる。このため、３次元表示される場合、２次元表示される場合よりも明るさを低下させてメニュー画面を生成することにより、３次元表示されたメニュー画面が見にくくなることを防止することができる。

なお、上記実施形態においては、メニュー画面を２次元状としているが、図８に示すように立体形状を有するメニュー画面を生成するようにしてもよい。これにより、より違和感なくメニュー画面を３次元表示することができる。

また、上記実施形態においては、被写体距離がしきい値Ｔｈ１以上の場合には、立体画像ＳＲを生成することなく画像ＳＡを２次元表示しているが、被写体距離がしきい値Ｔｈ１以上であるか否かを判定することなく、立体画像ＳＲのみを表示するようにしてもよい。

また、上記実施形態においては、立体感変更の指示を受け付けるようにしているが、立体感変更の指示を受け付けることなく、メニュー画面を表示するようにしてもよい。

また、上記実施形態においては、ズーム倍率が変更された場合にメニュー画面のサイズを変更しているが、ズーム倍率が変更されてもメニュー画面のサイズを変更しないようにしてもよい。

また、上記実施形態においては、被写体距離に応じた視差および大きさとなるようにメニュー画面を生成しているが、被写体距離に応じて視差のみが異なるようにメニュー画面を生成してもよい。

また、上記実施形態においては、テーブルＬＵＴ１を参照して、被写体距離に応じたメニュー画面の視差およびサイズを取得しているが、予め定められた演算式により、被写体距離に応じたメニュー画面の視差およびサイズを算出して、メニュー画面を生成するようにしてもよい。例えば、被写体距離に応じた視差の算出方法としては、視差＝被写体距離×定数の演算式を用いることができる。

また、上記実施形態においては、画像ＳＡ，ＳＢを並べた立体画像ＳＲを生成しているが、画像ＳＡ，ＳＢを縦方向において１ラインずつ間引くとともに、間引いた画像ＳＡ，ＳＢを１ラインずつ交互に並べることにより立体画像ＳＲを生成するようにしてもよい。この場合、モニタ９は３次元表示用のモニタとする必要がある。また、画像ＳＡ，ＳＢの色を例えば赤と青のように異ならせて画像ＳＡ，ＳＢを重ね合わせて立体画像ＳＲを生成したり、画像ＳＡ，ＳＢの偏向方向を異ならせて画像ＳＡ，ＳＢを重ね合わせて立体画像ＳＲを生成してもよい。この場合、立体画像ＳＲを見るユーザは専用のメガネを用いる必要がある。

また、上記各実施形態においては、ステレオマッチングの手法を用いて距離を算出しているが、光の反射を用いて被写体までの距離の測定するＴＯＦ（Time Of Flight）方式の距離測定方法により、距離を算出するようにしてもよい。この場合、立体撮影装置１には、ＴＯＦ方式により距離を測定するために、赤外光等の測距光を発光する発光部、測距光の被写体による反射光を受光する撮像部、および測距光と反射光との位相差により距離値を算出する距離値算出部が設けられることとなる。

また、上記実施形態においては、立体画像ＳＲにメニュー画面を重畳する際の処理について説明しているが、メニュー画面以外の任意の表示領域を立体画像ＳＲに重畳して表示する際にも、本発明を適用できる。

また、上記実施形態においては、立体撮影装置１において撮像部２Ａ，２Ｂにより取得した画像ＳＡ，ＳＢを用いて立体画像ＳＲを生成しているが、撮像部２Ａ，２Ｂを立体画像表示装置１とは別個に設け、撮像部２Ａ，２Ｂが取得した画像ＳＡ，ＳＢを立体画像表示装置１に入力し、入力された画像ＳＡ，ＳＢを用いて立体画像ＳＲの生成および表示を行うようにしてもよい。

また、上記実施形態においては、立体撮影装置１に２つの撮像部を設け、２つの画像ＳＡ，ＳＢを用いて立体画像ＳＲを生成しているが、３以上の撮像部を設け、３以上の画像を用いて立体画像ＳＲを生成する場合にも本発明を適用することができる。

以上、本発明の実施形態について説明したが、コンピュータを、上記のメニュー画面生成部１８に対応する手段として機能させ、図５，６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

１ 立体撮影装置
２Ａ，２Ｂ カメラ
５ カメラ制御部
７ 距離算出部
８ 立体画像生成部
９ モニタ
１７ 全体制御部
１８ メニュー画面生成部

Claims (10)

1. 互いに異なる位置において撮影手段によって被写体を撮影することにより取得した複数の画像を取得する画像取得手段と、
   前記撮影手段から前記被写体までの距離を測定する距離測定手段と、
   前記複数の画像から３次元表示のための立体画像を生成する立体画像生成手段と、
   各種操作を行うためのメニュー画面を所定の表示領域として前記立体画像に重畳して表示するに際し、前記距離に応じた視差の表示領域を生成する表示領域生成手段と、
   前記表示領域が重畳された前記立体画像を表示する表示手段と、
   前記立体画像を拡大縮小するズーム手段とを備え、
   前記表示領域生成手段は、前記立体画像を拡大縮小する際のズーム倍率に応じて前記表示領域のサイズを変更する手段であることを特徴とする立体画像表示装置。
2. 各種距離区分と該各種距離区分に応じた表示パラメータとを対応づけたテーブルを記憶する記憶手段をさらに備え、
   前記表示領域生成手段は、前記テーブルを参照して前記距離に応じた距離区分の表示パラメータを取得し、該表示パラメータに基づいて前記距離に応じた視差の表示領域を生成する手段であることを特徴とする請求項１記載の立体画像表示装置。
3. 前記表示パラメータは、前記距離に応じた視差を含むことを特徴とする請求項２記載の立体画像表示装置。
4. 前記視差の変更指示を行う指示手段をさらに備え、
   前記表示領域生成手段は、前記変更指示に応じて前記表示領域の視差を変更する手段であることを特徴とする請求項１から３のいずれか１項記載の立体画像表示装置。
5. 前記表示手段は、前記立体画像の表示と前記複数の画像のうちの少なくとも１つの画像の２次元表示とを切り替え可能な手段であり、
   前記表示領域生成手段は、前記立体画像が表示される場合、前記画像が２次元表示される場合よりも明るさを低下させて前記表示領域を生成する手段であることを特徴とする請求項１から４のいずれか１項記載の立体画像表示装置。
6. 前記表示領域生成手段は、立体化した前記表示領域を生成する手段であることを特徴とする請求項１から５のいずれか１項記載の立体画像表示装置。
7. 前記表示手段は、前記距離が所定のしきい値以上の場合、前記複数の画像のうちの少なくとも１つの画像を２次元表示する手段であり、
   前記表示領域生成手段は、前記画像が２次元表示される場合、２次元表示の表示領域を生成する手段であることを特徴とする請求項１から６のいずれか１項記載の立体画像表示装置。
8. 前記メニュー画面が、立体形状を有することを特徴とする請求項１から７のいずれか1項記載の立体画像表示装置。
9. コンピュータが、互いに異なる位置において撮影手段によって被写体を撮影することにより取得した複数の画像を取得し、
   前記撮影手段から前記被写体までの距離を測定し、
   前記複数の画像から３次元表示のための立体画像を生成し、
   各種操作を行うためのメニュー画面を所定の表示領域として前記立体画像に重畳して表示するに際し、前記距離に応じた視差の表示領域を生成し、
   前記表示領域が重畳された前記立体画像を表示し、
   前記立体画像を拡大縮小する際のズーム倍率に応じて前記表示領域のサイズを変更することを特徴とする立体画像表示方法。
10. 互いに異なる位置において被写体を撮影手段によって撮影することにより取得した複数の画像を取得する手順と、
    前記撮影手段から前記被写体までの距離を測定する手順と、
    前記複数の画像から３次元表示のための立体画像を生成する手順と、
    各種操作を行うためのメニュー画面を所定の表示領域として前記立体画像に重畳して表示するに際し、前記距離に応じた視差の表示領域を生成する手順と、
    前記表示領域が重畳された前記立体画像を表示する手順と、
    前記立体画像を拡大縮小する際のズーム倍率に応じて前記表示領域のサイズを変更する手順とを有することを特徴とする立体画像表示方法をコンピュータに実行させるためのプログラム。

Images