JP4256597B2 - 立体画像表示装置 - Google Patents
立体画像表示装置 Download PDFInfo
- Publication number
- JP4256597B2 JP4256597B2 JP2001134142A JP2001134142A JP4256597B2 JP 4256597 B2 JP4256597 B2 JP 4256597B2 JP 2001134142 A JP2001134142 A JP 2001134142A JP 2001134142 A JP2001134142 A JP 2001134142A JP 4256597 B2 JP4256597 B2 JP 4256597B2
- Authority
- JP
- Japan
- Prior art keywords
- observer
- movement
- display
- stereoscopic
- display surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体画像表示装置に関し、詳しくは、観察者の移動に滑らかに対応して適切な立体画像を表示する立体画像表示装置に関する。
【０００２ 】
【従来の技術】
近年、例えば観察者の移動等に応じて観察対象の立体画像を表示する立体画像表示装置は、バーチャルリアリティの分野で盛んに開発されている。ところで、現実空間では、観察者が観察対象に対して回り込むように移動した場合に、その観察対象の側面および裏面が順次観察されることになる。
【０００３ 】
従来の立体画像表示装置は、観察者の奥行き知覚の観点から分類すると、両眼視差利用型のものと、運動視差利用型のものと、光波面再生型のものと、に大きく分類される。
【０００４】
１番目の両眼視差利用型は、パララックスバリアやのように、左目用画像を観察者の左目に入れるとともに、右目用画像を観察者の右目に入れることにより、各画像を観察者に見せて立体感が得られるようにしたものである。
【０００５】
２番目の運動視差利用型は、表示部に通常の平面ディスプレイを利用し、観察者の位置に応じて、例えば平面ディスプレイを設置した雲台を回転させる等して平面ディスプレイにおける表示面の方向を変更するとともに、同時に平面ディスプレイに表示する平面画像を順次切り替えることにより、仮想的な立体感が得られるようにしたものである。この運動視差利用型のものとしては、平面画像の画像データを供給する画像データ供給手段と、この画像データ供給手段によって供給された画像データにしたがって立体画像を表示する平面ディスプレイと、この平面ディスプレイにおける表示面の方向を変更する表示面方向変更手段と、前記平面ディスプレイによって表示される表示画像を観察する観察者の移動を監視するとともに、観察者の移動に対応させて前記表示面方向変更手段によって平面ディスプレイにおける表示面の方向を逐次変更させるとともに、前記画像データ供給手段によって平面画像の画像データを逐次供給させる制御手段と、を備えて構成したものが既に提案されている。
【０００６】
３番目の光面波再生型は、例えば、インテグラルフォトグラフィ方式（以下、単に「インテグラル方式という」）におけるレンズ群や、ホログラムにおける干渉縞等を利用し、物体から出る光を忠実に再現するようにしたものである。以下、各方式について簡単に説明する。
【０００７】
インテグラル方式は、図６に示されるように、平面上に配置された複数の凸レンズ（以下、要素レンズ１２１〜１２ｎという）からなるレンズ群１２０の後方に写真フィルム１３０をおき、レンズ群１２０の前方においた被写体１１０を撮影する。写真フィルム１３０には各要素レンズ１２１〜１２ｎにより被写体１１０の像１３１〜１３ｎ（以下、要素画像という）が結像し、各要素レンズ１２１〜１２ｎを通してこれに対応する要素画像１３１〜１３ｎが撮影される。そして、図７に示されるように、撮影、現像した写真１４０をレンズ群１２０に対して撮影したときの写真フィルムと同じ位置に配置し、この状態でレンズ群１２０の前方の視点１６０から写真上の像１４１〜１４ｎを見ると立体再生像１５０が見えるという原理を利用したものである。
【０００８】
他方、ホログラフィ方式は、図８に示されるように、被写体にコヒーレント光を照射してそのホログラム（干渉縞）を記録し、再生時にはホログラムに光を照射することで回折格子として働き、物体の像（再生像）が再生されるという原理を利用したものであり、具体的はホログラム面に例えば液晶パネル等の動画を表示することができる表示デバイスを採用する。この液晶パネル等の表示デバイスに入力する映像信号としては、計算機による合成ホログラムや光学的に作成した干渉縞をテレビカメラで直接撮影したものが使用される。このように例えば液晶パネルを採用した場合にあっては、ホログラムの書き換えは映像信号を換えることで容易に行なうことができ、再生する際には通常のホログラフィと同じように、液晶パネルに照明光を照射し、液晶パネル越しに被写体の位置に結像される直接像が再生像として観察者によって観察されるようになる。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の立体画像表示装置において前述した1番目の両眼視差利用型のものにあっては、観察者が左右方向において移動した場合には、立体画像を認識することができるものの、上下方向において移動した場合には、正常な立体画像を認識することができず、観察者の移動に滑らかに対応して適切な立体画像を表示することがきわめて困難である。
【００１０】
また、従来の立体画像表示装置において前述した２番目の運動視差利用型のものにあっては、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が“観察者の認知限界”以下であることが必要であり、観察者の移動に対応させて平面ディスプレイにおける表示面の方向を追従させるには厳密な変更操作が要求される。
【００１１】
つまり、平面ディスプレイにおける表示面の方向の変更と、平面画像の画像データの生成とが、観察者の移動に対応させて逐次行なわれるようになっており、観察者の移動を監視するための処理や、観察者の移動に対応させて平面ディスプレイにおける表示面の方向を逐次変更する処理や、観察者の移動に対応させて平面ディスプレイにおいて表示される平面画像の画像データを次々に切り替えて供給する処理等の各処理が順次行なわれるようになっているので、膨大な時間を必要とする。
【００１２】
したがって、前述したような運動視差利用型のものにあっては、平面ディスプレイに次々に切り替えられて表示されるべき平面画像が観察者の移動に追いつかず遅延状態で表示されてしまうことが度々あり、観察者の移動と平面ディスプレイに表示される平面画像とが整合せず、観察者に対して違和感を生じさせてしまう。しかも、運動視差利用型のものにあっては、原理上、観察者が静止しているときは、立体感が全く得られないといった問題がある。このように、従来の立体画像表示装置においては、観察者の移動に滑らかに対応して適切な立体画像を表示することがきわめて困難である。
【００１３】
また、従来の光面波再生型立体ディスプレイにあっては、前述したようにインテグラル方式のものや、ホログラフィ方式等のもの等が提案されており、ある一定の範囲内においては観察者が移動した場合であっても立体画像を認識させることができるようになっている。
【００１４】
これらのインテグラル方式のものや、ホログラフィ方式等のもの等といった従来の何れの方式によるものにあっても、左目用画像が観察者の左目に入るとともに右目用画像が観察者の右目に入ることにより正常に立体視することができる視域と称される正立体視領域と、例えば左目用画像が観察者の右目に入ってしまうとともに右目用画像が観察者の左目に入ってしまい正常に立体視することができない逆立体視領域と、立体画像を全く目視認識することができない観察不能領域とがあり、正立体視領域においては観察者が正常に立体画像を認識することができるものの、観察者が正立体視領域から逆立体視領域や観察不能領域に移動した場合には、正常に立体画像を認識することができない。つまり、インテグラル方式では主にレンズ製造上の制約から視域（正立体視領域）が制限され、またホログラフィ方式では液晶の画素ピッチを十分に細かくできないので視域（正立体視領域）が制限されてしまう。
【００１５】
以下、立体画像表示装置において表示される立体画像を正常に立体視することができる視域（正立体視領域）について図９を参照しながら説明する。ここでは、説明の便宜上、特殊な眼鏡を必要としない２眼式の方式を示している。
【００１６】
この方式によれば、ディスプレイ上に規則正しく左右眼に対応する画像を表示し、各左右眼の組毎にレンチキュラーレンズもしくはパララックスバリアと称されるスリットが配置されている。このようにすることにより、図９において中央の主ローブと称される視域（正立体視領域）では、ある一定の距離にいる観察者に対しては、左目用画像が観察者の左目に入り、右目用画像が観察者の右目に入るようになり、特殊な眼鏡をかけずに立体画像を正常に立体視することが可能である。また、主ローブの両側の副ローブと称される視域（他の正立体視領域）では、実際に対応するレンズやスリットに隣接する他のレンズやスリットを通過した像も観察することができるようになっている。この主ローブおよび副ローブは、各領域が視域になるが、離散的に並んでいるので、主ローブと副ローブとの間の位置からは立体画像を正常に立体視することができない。なお、主ローブの視域幅（例えば１３０ｍｍ）、即ち正立体視領域の幅は、視域角によって確定される。
【００１７】
したがって、前述したような立体ディスプレイにより表示される立体画像を観察する観察者が現時点の観察位置から移動して視域からでてしまう場合には、視域（正立体視領域）を観察者の移動に追従させ、立体ディスプレイにより表示された立体画像を常に正常に立体視することができるようにすることが望ましい。
【００１８】
本発明の第１の目的は、観察者の移動に滑らかに対応して適切な立体画像を表示することができる立体画像表示装置を提供することにある。
【００１９】
また本発明の第２の目的は、立体画像として表示する被写体を観察者の移動に滑らかに対応して被写体撮影用カメラで撮影して画像データを供給することができる立体画像表示装置を提供することにある。
【００２０】
さらに本発明の第３の目的は、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて適切に行なうことができる立体画像表示装置を提供することにある。
【００２１】
さらにまた本発明の第４の目的は、光波面再生型立体ディスプレイにおける表示面の方向の変更操作を、被写体撮影用カメラの撮影方向の変更結果に対応させて適切に行なうことができる立体画像表示装置を提供することにある。
【００２２】
そして本発明の第５の目的は、観察者監視用カメラによる監視データから視線演算部によって視線方向データを算出することにより、正確な観察者移動情報を生成することができる立体画像表示装置を提供することにある。
【００２３】
【課題を解決するための手段】
前述した課題を解決するために、本発明にかかる請求項１の立体画像表示装置は、立体画像の画像データを供給する画像データ供給手段と、この画像データ供給手段から供給される画像データにしたがって立体画像を表示する光波面再生型立体ディスプレイと、この光波面再生型立体ディスプレイにおける表示面の方向を変更する表示面方向変更手段と、前記光波面再生型立体ディスプレイにより表示される立体画像を観察する観察者の移動を監視する観察者監視用カメラと、この観察者監視用カメラにより監視された観察者の移動に応じた観察者移動情報を生成する観察者移動情報生成手段と、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて前記観察者監視用カメラの監視方向を変更する監視方向変更手段と、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成する追従指示情報生成手段と、この追従指示情報生成手段によって生成された追従指示情報に基づき、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを前記画像データ供給手段から前記光波面再生型立体ディスプレイに供給させる制御手段と、を備えることを特徴とする構成とした。
【００２４】
ここで、光面波再生型立体ディスプレイとしては、例えばインテグラル方式のものや、ホトグラフィ方式のもの等が掲げられる。また、光面波再生型立体ディスプレイは、立体画像を表示することができる表示デバイスであって、左右方向および上下方向において観察者が移動した場合であって所定範囲内でその移動を許容する視域を有するものであれば、前述したインテグラル方式のものや、ホトグラフィ方式のものに限定されるものではない。
【００２５】
この請求項１の立体画像表示装置によれば、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、画像データ供給手段によって立体画像の画像データが光波面再生型立体ディスプレイに供給され、この供給された画像データにしたがって光波面再生型立体ディスプレイによって立体画像が表示されるようになっており、この光波面再生型立体ディスプレイはその表示面の方向が表示面方向変更手段によって変更されるようになっている。また、観察者監視用カメラによって観察者の移動を監視し、この監視された観察者の移動に応じた観察者移動情報が観察者移動情報生成手段によって生成されるようになっており、観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて監視方向変更手段によって前記観察者監視用カメラの監視方向が変更される。
【００２６】
さらに、追従指示情報生成手段によって観察者移動情報による観察者の移動と予め設定した移動許容範囲とが比較され、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報が生成される。そして、制御手段において、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが前記画像データ供給手段から光波面再生型立体ディスプレイに供給させるように操作処理が行なわれる。
【００２７】
本発明にかかる請求項２の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記画像データ供給手段は、被写体を撮影して立体画像の画像データを取得する被写体撮影用カメラと、この被写体撮影用カメラの撮影方向を変更する撮影方向変更手段と、を備え、前記制御手段は、前記追従指示情報生成手段により生成された追従指示情報に基づき、前記観察者移動情報生成手段によって生成された観察者移動情報に対応させて、前記撮影方向変更手段によって前記被写体撮影用カメラの撮影方向を変更させることを特徴とする構成とした。
【００２８】
この請求項２の立体画像表示装置によれば、立体画像として表示される被写体を被写体撮影用カメラによって撮影して立体画像の画像データが取得され、この画像データを光波面再生型立体ディスプレイに供給することが可能になる。また、前記被写体撮影用カメラの撮影方向が撮影方向変更手段によって変更されるようになっている。そして、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、前記観察者移動生成手段により生成された観察者移動情報による観察者の移動に対応させて撮影方向変更手段による被写体撮影用カメラの撮影方向の変更が行なわれる。
【００２９】
本発明にかかる請求項３の立体画像表示装置は、請求項２に記載の立体画像表示装置において、前記制御手段は、前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、前記撮影方向変更手段によって被写体撮影用カメラの撮影方向を変更させることを特徴とする構成とした。
【００３０】
この請求項３の立体画像表示装置によれば、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、撮影方向変更手段による被写体撮影用カメラの撮影方向の変更が操作される。
【００３１】
本発明にかかる請求項４の立体画像表示装置は、請求項２または３に記載の立体画像表示装置において、前記制御手段は、前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果に対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させることを特徴とする構成とした。
【００３２】
この請求項４の立体画像表示装置によれば、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果に対応させて、表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更が操作される。
【００３３】
本発明にかかる請求項５の立体画像表示装置は、請求項１〜４の何れか１項に記載の立体画像表示装置において、前記観察者移動情報生成手段は、観察者監視用カメラによる監視データから観察者の視線方向データを算出して観察者移動情報を生成する視線演算部を備えることを特徴とする構成とした。
【００３４】
この請求項５の立体画像表示装置によれば、観察者監視用カメラによる監視データから観察者の視線方向データを視線演算部によって算出して観察者移動情報が生成される。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて説明する。まず、本発明の第１の実施形態について説明する。図１は本発明にかかる立体画像表示装置の一例を示す概要説明図である。
【００３６】
この第１の実施形態の立体画像表示装置は、立体画像の画像データを供給する画像データ供給手段１１と、この画像データ供給手段１１から供給される画像データにしたがって立体画像を表示する光波面再生型立体ディスプレイ（以下、単に「立体ディスプレイ」という）１２と、この立体ディスプレイ１２における表示面の方向を変更する表示面方向変更手段１３と、前記立体ディスプレイ１２により表示される立体画像を観察する観察者の移動を監視する観察者監視用カメラ１４と、この観察者監視用カメラ１４により監視された観察者の移動に応じた観察者移動情報を生成する観察者移動情報生成手段１５と、この観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記観察者監視用カメラ１４の監視方向を変更する監視方向変更手段１６と、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成する追従指示情報生成手段１７と、この追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを、画像データ供給手段１１から立体ディスプレイ１２に供給させる制御手段１８とを備えている。
【００３７】
画像データ供給手段１１は、立体ディスプレイ１２において表示するための立体画像の画像データを供給するものである。例えば、ソフトフェア等の計算処理により予め合成された画像データや、立体画像として表示する被写体を撮影することにより取得した画像データ等が、記録媒体に読み出し可能に記録されており、必要に応じて読み出されて立体ディスプレイ１２に供給することができるようになっている。
【００３８】
この画像データ供給手段１１から立体ディスプレイ１２に供給される画像データとしては、供給される画像データがソフトフェア等の計算処理により予め合成されたものである場合には、任意の視点からの観察者による観察を可能にするために複数の各視点に応じて予め生成した画像データが準備されており、また供給される画像データが立体画像として表示する被写体を撮影することにより取得したものである場合には、任意の視点からの観察者による観察を可能にするために、複数の各視点に応じた撮影方向から被写体を撮影することにより画像データが生成されて準備されるようになっている。つまり、画像データ供給手段１１においては、観察対象の多方向からの各観察面について画像データが準備される。そして、この準備された画像データは、観察者が観察する方向に対応させて立体ディスプレイ１２に供給されるようになっている。したがって、この画像データ供給手段１１によれば、立体画像の画像データは、観察者による観察対象の多方向からの観察が可能となるように立体ディスプレイ１２に供給される。
【００３９】
また、この画像データ供給手段１１から立体ディスプレイ１２に供給する画像データは、立体ディスプレイの方式に応じた形式の信号として供給される。例えば、後述するように、立体ディスプレイ１２がインテグラル方式のものである場合には、インテグラル方式用信号形式に適合する画像データが供給され、立体ディスプレイ１２がホログラフィ方式のものである場合には、ホログラフィ方式用信号形式に適合する画像データが供給されることになる。
【００４０】
立体ディスプレイ１２は、前記画像データ供給手段１１から供給される画像データにしたがって立体画像を表示する光波面再生型のものであって、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、例えばインテグラル方式やホログラフィ方式等の原理が利用されて立体画像の表示を行なうことができるようになっている。また、本実施形態における立体ディスプレイ１２としては、例えばインテグラル方式のものや、ホトグラフィ方式のもの等からなる光面波再生型のもので表示デバイスとして液晶によるものを採用している。なお、本発明にかかる立体画像表示装置における立体画像表示装置においては、立体画像を表示することができる表示デバイスであって、左右方向および上下方向において観察者が移動した場合であっても所定範囲内でその移動を許容する視域を有するものであれば、例えば有機ＥＬディスプレイ等の他の表示デバイスを採用する態様としてもよい。
【００４１】
表示面方向変更手段１３は、立体ディスプレイ１２における表示面の方向を変更するものであり、例えば立体ディスプレイ１２を左右や上下に回動させて表示面の方向を左右や上下に変更することができる機構を備えている。なお、左右方向や上下方向のほか、さらに、前後方向に移動させるような機構を採用するようにしてもよい。
【００４２】
観察者監視用カメラ１４は、前記立体ディスプレイ１２によって表示される立体画像を観察する観察者の移動を監視するものであり、観察者が移動中であるか静止中であるかにかかわらず、観察者を撮影するようになっている。したがって、常に監視データが順次生成されている。なお、観察者監視用カメラ１４の監視方向は、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、監視方向変更手段１６によって変更される。
【００４３】
観察者移動情報生成手段１５は、前記観察者監視用カメラ１４によって監視された観察者の移動に応じた観察者移動情報を生成するものであり、例えば観察者の移動方向（移動角度）、移動量、移動速度等を含む観察者移動情報を生成する。この観察者移動情報生成手段１５においては、例えば観察者監視用カメラ１４により監視された監視データから観察者の視線方向データを算出して観察者移動情報を生成する視線演算部（図示せず）を設ける構成としてもよい。
【００４４】
このように、観察者移動情報生成手段１５において視線演算部（図示せず）を設けた場合にあっては、この視線演算部において、観察者の視線方向データを算出し、この視線方向データを含む観察者移動情報が生成されることになる。この視線演算部においては、角膜反射法と称される方式（以下、角膜反射方式という）を利用して視線方向データが算出されるようになっている。
【００４５】
ここで、図５を参照しながら、視線演算部において利用する角膜反射方式の原理について簡単に説明する。まず、観察者の目に対してスポットランプにより弱い赤外光を照射し、その赤外光の虚像を角膜上に結像させる。目の内部では、目の角膜の回転中心と眼球の回転中心がずれているので、目の動きに伴って虚像は平行移動することになる。この平行移動量を目の回転角に換算して視線方向データを算出し、この視線方向データを含む観察者移動情報を生成することができる。また、この角膜反射方式では、観察者の頭部の動きに伴う目の位置変化も検出することができるようになっており、観察者の視線方向を正確に算出して詳細な観察者移動情報を生成することが可能である。
【００４６】
なお、観察者の詳細な目の動きを無視する場合には、単に観察者の頭部に赤外光を反射するようなシールを貼り付けておき、このシールの移動を検出することにより、観察者の移動を監視するようにしてもよい。また、前述したような詳細な観察者移動情報を必要としない場合には、一般的な画像処理により、観察者監視用カメラ１４により得られた監視データから観察者のシルエットを抽出するなどして観察者の移動を算出し、観察者移動情報として生成するようにしてもよい。
【００４７】
監視方向変更手段１６は、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、前記観察者監視用カメラ１４の監視方向を変更するものであり、例えば左右や上下に回動させて監視方向を左右や上下に変更することができる機能を備えている。つまり、観察者監視用カメラ１４によって観察者を撮影するにあたり、常に観察者を捕らえて撮影することができるようにしている。
【００４８】
追従指示情報生成手段１７は、前記観察者移動情報生成手段１５によって生成された観察者移動情報による観察者の移動と予め設定された移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成するものである。ここで予め設定される移動許容範囲は、例えば視域（正立体視領域）となる主ローブを確定する視域角の範囲内で任意に設定することができる。具体的には、図３に示されるように、視域角の中心を０として−αｔｈ〜＋αｔｈの視域角によって主ローブが確定されている場合において、αｔｈよりも小さい値αａで、−αａ〜＋αａの範囲を観察者の移動が許容される移動許容範囲として設定する。
【００４９】
ここで設定される値αａは、この追従指示情報生成手段１７による追従指示情報に基づき、制御手段１８等におけるその後の処理を行なうにあたって、観察者の移動に追従した視域の移動を可能にする閾値となるものであり、追従指示情報に基づき制御される各手段の性能等を考慮して設定する必要がある。この追従指示情報生成手段１７において、観察者移動情報による観察者の移動が移動許容範囲を超えたと判定された場合には、追従指示情報が生成され、この追従指示情報に基づき、制御手段１８においてはその後の処理が行なわれることになる。
【００５０】
この追従指示情報生成手段１７において生成される追従指示情報は、制御手段１８による操作処理を開始させるためのものであり、生成後制御手段１８に転送される。また、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えていないと判定された場合には、追従指示情報は生成されず、制御手段１８においてはその後の処理は行なわれない。
【００５１】
制御手段１８は、追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段１３によって立体ディスプレイ１２の表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを前記画像データ供給手段１１から立体ディスプレイ１２に供給させるように操作処理を行なうものである。
【００５２】
ここで、制御手段１８において、前記表示面方向変更手段１３により立体ディスプレイ１２における表示面の方向を変更させるように操作処理を行なうにあたっては、追従指示情報手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者による観察者の移動に対応させて立体ディスプレイ１２の表示面の方向を視域角の中心に対応させるように観察者の移動速度と同じ速度で変更させる。
【００５３】
例えば、図４に示されるように、観察者の移動が予め設定された許容移動範囲（−αａ〜＋αａ）を超えない範囲にとどまる場合には、立体ディスプレイ１２における表示面の方向を変更するための表示面方向変更手段１３は作動しない。また、観察者の移動が予め設定した移動許容範囲（−αａ〜＋αａ）を超えた場合には、その時点（タイミング）で、立体ディスプレイ１２における表示面の方向を変更するための表示面方向変更手段１３は観察者の移動と同じ速度でその表示面の方向を変化させる。このように観察者の移動速度のデータ等を含む観察者移動情報や、表示面方向変更手段１３による立体ディスプレイ１２の表示面を変更する変更速度のデータ等の変更結果情報に基づき、画像データ供給手段１１から立体ディスプレイ１２に適切な画像データを供給させることが可能になる。
【００５４】
次に、制御手段１８の動作について説明する。
前述したように、画像データ供給手段１１から立体ディスプレイ１２に適切な画像データを供給させる際に、任意の視点からの観察を可能にするために画像データ供給手段１１にて供給準備されるソフトフェア等の計算処理により予め合成された画像データや、複数の各視点に応じて予め生成した画像データ、さらに立体画像として表示する被写体を撮影することにより取得した画像データである場合には、追従指示情報生成手段１７により生成された追従指示情報に基づいて、複数の各視点に応じた撮影方向から被写体を撮影することで生成される画像データ等が、観察者の移動に対応させて画像データ供給手段１１から立体ディスプレイ１２に供給されることになる。
【００５５】
つまり、観察対象を多方向から観察できるように各方向から認識される観察対象の各観察面についての画像データを、追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて供給させるようにしており、立体ディスプレイ１２に表示させる立体画像を適切に変更することができる。
【００５６】
また、観察者の移動が止まったときは、実際には観察者は立体ディスプレイ１２における表示面の方向の中心からαａだけずれた立体画像を観察しているので、立体ディスプレイ１２における表示面の方向の変更は制御手段１８による操作処理にしたがって継続して行なわれ、立体ディスプレイ１２に表示される立体画像の観察対象は反対方向に回り込んだ状態の立体画像として、立体ディスプレイ１２における表示面の方向の表示面方向変更手段１３による変更速度と同じ速度で表示されるようにする。このようにすることにより、観察者に立体ディスプレイ１２における表示面の方向の変更を意識させることなく、主ローブの中心を観察させることができる。
【００５７】
なお、立体ディスプレイ１２における表示面の方向の変更速度を初速から観察者と同じ速度にすることは実際には難しいので、αａより小さな角度から徐々に加速させるようにする。また、表示面方向変更手段１３の作動パターンについては、立体ディスプレイ１２の重量や、モーターのトルク等によって様々なバリエーションが考えられる。
【００５８】
また、制御手段１８において、画像データを前記画像データ供給手段１１から立体ディスプレイ１２に供給させるように操作処理を行なうにあたっては、追従指示情報生成手段１７により生成された追従指示情報に基づき、観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応する画像データを、立体ディスプレイ１２に観察者の移動と同じ速度で表示させるように、前記画像データ供給手段１１から前記立体ディスプレイ１２に供給させる。
【００５９】
例えば、観察者が立体ディスプレイ１２に対して右方向に移動すると、立体ディスプレイ１２の表示面の方向は観察者の移動に追従するようにして左方向に変更され、立体ディスプレイ１２には観察対象の立体画像が観察者の移動と正反対の左方向に回転した状態の適切な立体画像として表示されることになる。
【００６０】
この立体画像表示装置においては、前述したように、光波面再生型ディスプレイが用いられており、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が許容される範囲（観察者が違和感なく観察することができる範囲）を“視域角の半分”まで大幅に拡大することができる。
【００６１】
つまり、従来の立体画像表示装置における運動視差利用型のもののように、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が“観察者の認知限界”以下である必要はないので、光波面再生型ディスプレイにおける表示面の方向を追従させる際において従来のような厳密な変更操作は要求されない。
【００６２】
したがって、追従指示情報生成手段によって観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成し、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが前記画像データ供給手段から光波面再生型立体ディスプレイに供給させるように操作処理を行なうようにすることにより、観察者の移動に滑らかに対応して適切な立体画像を表示することできる。
【００６３】
特に、本発明の立体画像表示装置においては、装置全体の視域角が３６０度の全周囲になるといったきわめて有利な効果を得ることができる。また、従来のような単なる平面ディスプレイを用いた運動視差利用型と比較して、視覚の運動感覚の不一致を非常に少なくすることができる。具体的には、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差について許容される範囲（観察者が違和感なく観察することができる範囲）を概算で少なくとも１０倍〜３０倍に改善することができる。さらに、観察者が静止しているときであっても自然な立体感を得ることができる。
【００６４】
また、本発明の立体画像表示装置においては、観察者の移動に応じて適切な表示画像の切り替えの遅延については６０ミリ秒以内の遅延にとどめることにより、観察者に違和感を生じさせないことが確認できた。
【００６５】
次に、本発明の第２の実施形態について図２を参照して説明する。図２は本発明にかかる立体画像表示装置の他の例を示す概要説明図である。
【００６６】
この第２の実施形態の立体画像表示装置は、第１の実施形態における画像データ供給手段１１が、被写体を撮影して立体画像の画像データを取得する被写体撮影用カメラ１１ａと、この被写体撮影用カメラ１１ａの撮影方向を変更する撮影方向変更手段１１ｂとによって構成されている態様のものであり、観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、前記撮影方向変更手段１１ｂによって前記被写体撮影用カメラ１１ａの撮影方向を変更させる操作処理を、前記制御手段１８によって行なうようにしているものである。したがって、立体画像として表示する被写体を観察者の移動に滑らかに対応して、被写体撮影用カメラ１１ａで撮影した画像データを供給することができる。
【００６７】
なお、この第２の実施形態における立体ディスプレイ１２、表示面方向変更手段１３、観察者監視用カメラ１４、観察者移動情報生成手段１５、監視方向変更手段１６、追従指示情報生成手段１７等は、第１の実施形態における各手段と概ね同様のものであり、ここでは重複説明を避ける。
【００６８】
前述したように、画像データ供給手段１１を構成する被写体撮影用カメラ１１ａは、観察対象の被写体を撮影して立体画像の画像データを取得するものであり、例えば立体ディスプレイ１２がインテグラル方式のものである場合には、これに対応するようにインテグラル立体カメラが採用されてインテグラル方式用信号の画像データを立体ディスプレイ１２に供給するようになっている。また、立体ディスプレイ１２がホログラフィ方式のものである場合には、これに対応するようにホログラフィ立体カメラが採用されてホログラフィ方式用信号の画像データを立体ディスプレイ１２に供給するようになっている。
【００６９】
この第２の実施形態における立体画像表示装置にあっては、前記制御手段１８において、前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を検出し、前記追従指示情報生成手段１７により生成された追従指示情報に基づき、さらにその検出した前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果に対応させて、前記撮影方向変更手段１１ｂによって、被写体撮影用カメラ１１ａの撮影方向を変更させるように操作処理を行なってもよい。ここで表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更についての情報としては、例えば表示面方向変更手段１３による変更方向（変更角度）、変更量、変更速度等が掲げられる。
【００７０】
さらに、制御手段１８において、前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を検出するには、例えば立体ディスプレイ１２における表示面の方向の変更結果についての情報を生成する表示面方向変更結果情報生成部（図示せず）を設けておくことにより、立体ディスプレイ１２における表示面の方向の変更結果を検出することが可能になり、表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を正確に把握することができる。
【００７１】
このような態様を採用すれば、表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果に応じて、撮影方向変更手段によって被写体撮影用カメラの撮影方向を変更させることが可能になる。したがって、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、立体ディスプレイ１２における表示面の方向の変更結果に対応させて適切に行なうことができる。つまり、立体ディスプレイ１２における表示面の方向に対して、立体ディスプレイ１２に表示される立体画像を整合させることができ、観察者に違和感を生じさせてしまうといった事態を回避することができる。
【００７２】
また、第２の実施形態における立体画像表示装置にあっては、前記制御手段１８において、前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を検出し、前記追従指示情報生成手段１７により生成された追従指示情報に基づき、その検出した前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果にさらに対応させて、前記表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させるように操作処理を行なうようにしてもよい。ここで、撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果についての情報としては、例えば撮影方向変更手段１１ｂによる変更方向（変更角度）、変更量、変更速度等が掲げられる。
【００７３】
ここで制御手段１８において前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を検出するにあたっては、例えば被写体撮影用カメラ１１ａの撮影方向を変更した場合にその変更結果についての情報を生成する撮影方向変更結果情報生成部（図示せず）を設けておくことにより、被写体撮影用カメラ１１ａの撮影方向の変更結果を検出することが可能になり、撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を正確に把握することができる。
【００７４】
このような態様を採用すれば、撮影用方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果に応じて、表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させることが可能になる。したがって、立体ディスプレイ１２における表示面の方向の変更操作を、被写体撮影用カメラ１１ａの撮影方向の変更結果に対応させて適切に行なうことができる。つまり、被写体撮影用カメラ１１ａの撮影方向に、立体ディスプレイ１２における表示面の方向を整合させることができ、この点において観察者に違和感を生じさせてしまうといった事態を回避することができる。
【００７５】
本発明にかかる立体画像表示装置は、ホビーや純粋な情報提供等の用途のほか、以下のように医療分野や博物・美術分野における用途に特に有用である。本発明にかかる立体画像表示装置の用途例について簡単に説明する。
【００７６】
医療分野にあっては、従来から画像診断を行なうにあたりＸ線ＣＴやＭＲＩ等といった撮像装置の普及が進んでいるものの、複数の平面画像を見比べて細部の位置関係を割り出すには熟練が必要である。これに対し、本発明にかかる立体画像表示装置では、これらの撮像装置により画像データをリアルタイムで処理することにより、医師が自由に移動しつつ、任意の断面から体内の構造の立体画像を観察することができるので、きわめて便利である。
【００７７】
また、博物・美術分野にあっては、従来から歴史的・美術的に貴重な物品に関しては、外気に晒されると劣化してしまうといった物理的な理由等により実物の公開を制限せざるを得ないので、一般展示や教育目的には写真やレプリカが使用されているにすぎない。これに対し、本発明にかかる立体画像表示装置では、物品の画像データを取り込んで保存しておくことにより、ＣＧ展示をより実物に近い形で行なうことができ、きわめて便利である。
【００７８】
しかも、本発明にかかる立体画像表示装置は、視覚と運動感覚の不一致により起こる「３次元酔い」と称される不快感が大幅に軽減され、特に立体画像の細部を注視するときにはその効果が顕著である。
【００７９】
【発明の効果】
以上、説明したように、本発明にかかる請求項１の立体画像表示装置によれば、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差について許容される範囲（観察者が違和感なく観察することができる範囲）を“視域角の半分”にまで大幅に拡大することができる。また、観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報が生成され、この追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが光波面再生型立体ディスプレイに供給させるように操作処理が行なわれるようにしたので、観察者の移動に滑らかに対応して適切な立体画像を表示することできる。特に、本発明の立体画像表示装置においては、装置全体の視域角が３６０度の全周囲になるといったきわめて有利な効果を得ることができる。また、従来のような単なる平面ディスプレイを用いた運動視差利用型と比較して、視覚の運動感覚の不一致が非常に少なくすることができる。さらに、観察者が静止しているときであっても自然な立体感を得ることができる。
【００８０】
また、本発明にかかる請求項２の立体画像表示装置によれば、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて被写体撮影用カメラの撮影方向の変更が行なわれるようにしたので、立体画像として表示する被写体を観察者の移動に滑らかに対応して被写体撮影用カメラで撮影して画像データを供給することができる。
【００８１】
さらに、本発明にかかる請求項３の立体画像表示装置によれば、追従指示情報に基づき、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、被写体撮影用カメラの撮影方向を変更させるようにしたので、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて適切に行なうことができる。
【００８２】
さらにまた、本発明にかかる請求項４の立体画像表示装置によれば、追従指示情報に基づき、被写体撮影用カメラの撮影方向の変更結果に対応させて、光波面再生型立体ディスプレイにおける表示面の方向を変更させるようにしたので、光波面再生型立体ディスプレイにおける表示面の方向の変更操作を、被写体撮影用カメラの撮影方向の変更結果に対応させて適切に行なうことができる。
【００８３】
そして、本発明にかかる請求項５の立体画像表示装置によれば、観察者監視用カメラによる監視データから視線演算部によって視線方向データを算出して観察者移動情報が生成されるようにしたので、正確な観察者移動情報を得ることができる。
【図面の簡単な説明】
【図１】本発明にかかる立体画像表示装置の一例を示す概要説明図である。
【図２】本発明にかかる立体画像表示装置を他の例を示す概要説明図である。
【図３】観察者の移動許容範囲を示す説明図である。
【図４】立体ディスプレイにおける表示面の方向を変更する動作の一例を示す説明図である。
【図５】角膜反射法の検出原理の説明図である。
【図６】インテグラル方式の撮影原理を示す説明図である。
【図７】インテグラル方式の表示原理を示す説明図である。
【図８】液晶パネルを用いたホログラフィ方式の概念図である。
【図９】視域角の説明図である。
【符号の説明】
１１ 画像データ供給手段
１１ａ 被写体撮影用カメラ
１１ｂ 撮影方向変更手段
１２ 光波面再生型立体ディスプレイ
１３ 表示面方向変更手段
１４ 観察者監視用カメラ
１５ 観察者移動情報生成手段
１６ 監視方向変更手段
１７ 追従指示情報生成手段
１８ 制御手段
１１０ 被写体
１２０ レンズ群
１２１〜１２ｎ 要素レンズ
１３０ 写真フィルム
１３１〜１３ｎ 像（要素画像）
１４０ 写真
１４１〜１４ｎ 像
１５０ 立体再生像
１６０ 視点
【発明の属する技術分野】
本発明は、立体画像表示装置に関し、詳しくは、観察者の移動に滑らかに対応して適切な立体画像を表示する立体画像表示装置に関する。
【０００２ 】
【従来の技術】
近年、例えば観察者の移動等に応じて観察対象の立体画像を表示する立体画像表示装置は、バーチャルリアリティの分野で盛んに開発されている。ところで、現実空間では、観察者が観察対象に対して回り込むように移動した場合に、その観察対象の側面および裏面が順次観察されることになる。
【０００３ 】
従来の立体画像表示装置は、観察者の奥行き知覚の観点から分類すると、両眼視差利用型のものと、運動視差利用型のものと、光波面再生型のものと、に大きく分類される。
【０００４】
１番目の両眼視差利用型は、パララックスバリアやのように、左目用画像を観察者の左目に入れるとともに、右目用画像を観察者の右目に入れることにより、各画像を観察者に見せて立体感が得られるようにしたものである。
【０００５】
２番目の運動視差利用型は、表示部に通常の平面ディスプレイを利用し、観察者の位置に応じて、例えば平面ディスプレイを設置した雲台を回転させる等して平面ディスプレイにおける表示面の方向を変更するとともに、同時に平面ディスプレイに表示する平面画像を順次切り替えることにより、仮想的な立体感が得られるようにしたものである。この運動視差利用型のものとしては、平面画像の画像データを供給する画像データ供給手段と、この画像データ供給手段によって供給された画像データにしたがって立体画像を表示する平面ディスプレイと、この平面ディスプレイにおける表示面の方向を変更する表示面方向変更手段と、前記平面ディスプレイによって表示される表示画像を観察する観察者の移動を監視するとともに、観察者の移動に対応させて前記表示面方向変更手段によって平面ディスプレイにおける表示面の方向を逐次変更させるとともに、前記画像データ供給手段によって平面画像の画像データを逐次供給させる制御手段と、を備えて構成したものが既に提案されている。
【０００６】
３番目の光面波再生型は、例えば、インテグラルフォトグラフィ方式（以下、単に「インテグラル方式という」）におけるレンズ群や、ホログラムにおける干渉縞等を利用し、物体から出る光を忠実に再現するようにしたものである。以下、各方式について簡単に説明する。
【０００７】
インテグラル方式は、図６に示されるように、平面上に配置された複数の凸レンズ（以下、要素レンズ１２１〜１２ｎという）からなるレンズ群１２０の後方に写真フィルム１３０をおき、レンズ群１２０の前方においた被写体１１０を撮影する。写真フィルム１３０には各要素レンズ１２１〜１２ｎにより被写体１１０の像１３１〜１３ｎ（以下、要素画像という）が結像し、各要素レンズ１２１〜１２ｎを通してこれに対応する要素画像１３１〜１３ｎが撮影される。そして、図７に示されるように、撮影、現像した写真１４０をレンズ群１２０に対して撮影したときの写真フィルムと同じ位置に配置し、この状態でレンズ群１２０の前方の視点１６０から写真上の像１４１〜１４ｎを見ると立体再生像１５０が見えるという原理を利用したものである。
【０００８】
他方、ホログラフィ方式は、図８に示されるように、被写体にコヒーレント光を照射してそのホログラム（干渉縞）を記録し、再生時にはホログラムに光を照射することで回折格子として働き、物体の像（再生像）が再生されるという原理を利用したものであり、具体的はホログラム面に例えば液晶パネル等の動画を表示することができる表示デバイスを採用する。この液晶パネル等の表示デバイスに入力する映像信号としては、計算機による合成ホログラムや光学的に作成した干渉縞をテレビカメラで直接撮影したものが使用される。このように例えば液晶パネルを採用した場合にあっては、ホログラムの書き換えは映像信号を換えることで容易に行なうことができ、再生する際には通常のホログラフィと同じように、液晶パネルに照明光を照射し、液晶パネル越しに被写体の位置に結像される直接像が再生像として観察者によって観察されるようになる。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の立体画像表示装置において前述した1番目の両眼視差利用型のものにあっては、観察者が左右方向において移動した場合には、立体画像を認識することができるものの、上下方向において移動した場合には、正常な立体画像を認識することができず、観察者の移動に滑らかに対応して適切な立体画像を表示することがきわめて困難である。
【００１０】
また、従来の立体画像表示装置において前述した２番目の運動視差利用型のものにあっては、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が“観察者の認知限界”以下であることが必要であり、観察者の移動に対応させて平面ディスプレイにおける表示面の方向を追従させるには厳密な変更操作が要求される。
【００１１】
つまり、平面ディスプレイにおける表示面の方向の変更と、平面画像の画像データの生成とが、観察者の移動に対応させて逐次行なわれるようになっており、観察者の移動を監視するための処理や、観察者の移動に対応させて平面ディスプレイにおける表示面の方向を逐次変更する処理や、観察者の移動に対応させて平面ディスプレイにおいて表示される平面画像の画像データを次々に切り替えて供給する処理等の各処理が順次行なわれるようになっているので、膨大な時間を必要とする。
【００１２】
したがって、前述したような運動視差利用型のものにあっては、平面ディスプレイに次々に切り替えられて表示されるべき平面画像が観察者の移動に追いつかず遅延状態で表示されてしまうことが度々あり、観察者の移動と平面ディスプレイに表示される平面画像とが整合せず、観察者に対して違和感を生じさせてしまう。しかも、運動視差利用型のものにあっては、原理上、観察者が静止しているときは、立体感が全く得られないといった問題がある。このように、従来の立体画像表示装置においては、観察者の移動に滑らかに対応して適切な立体画像を表示することがきわめて困難である。
【００１３】
また、従来の光面波再生型立体ディスプレイにあっては、前述したようにインテグラル方式のものや、ホログラフィ方式等のもの等が提案されており、ある一定の範囲内においては観察者が移動した場合であっても立体画像を認識させることができるようになっている。
【００１４】
これらのインテグラル方式のものや、ホログラフィ方式等のもの等といった従来の何れの方式によるものにあっても、左目用画像が観察者の左目に入るとともに右目用画像が観察者の右目に入ることにより正常に立体視することができる視域と称される正立体視領域と、例えば左目用画像が観察者の右目に入ってしまうとともに右目用画像が観察者の左目に入ってしまい正常に立体視することができない逆立体視領域と、立体画像を全く目視認識することができない観察不能領域とがあり、正立体視領域においては観察者が正常に立体画像を認識することができるものの、観察者が正立体視領域から逆立体視領域や観察不能領域に移動した場合には、正常に立体画像を認識することができない。つまり、インテグラル方式では主にレンズ製造上の制約から視域（正立体視領域）が制限され、またホログラフィ方式では液晶の画素ピッチを十分に細かくできないので視域（正立体視領域）が制限されてしまう。
【００１５】
以下、立体画像表示装置において表示される立体画像を正常に立体視することができる視域（正立体視領域）について図９を参照しながら説明する。ここでは、説明の便宜上、特殊な眼鏡を必要としない２眼式の方式を示している。
【００１６】
この方式によれば、ディスプレイ上に規則正しく左右眼に対応する画像を表示し、各左右眼の組毎にレンチキュラーレンズもしくはパララックスバリアと称されるスリットが配置されている。このようにすることにより、図９において中央の主ローブと称される視域（正立体視領域）では、ある一定の距離にいる観察者に対しては、左目用画像が観察者の左目に入り、右目用画像が観察者の右目に入るようになり、特殊な眼鏡をかけずに立体画像を正常に立体視することが可能である。また、主ローブの両側の副ローブと称される視域（他の正立体視領域）では、実際に対応するレンズやスリットに隣接する他のレンズやスリットを通過した像も観察することができるようになっている。この主ローブおよび副ローブは、各領域が視域になるが、離散的に並んでいるので、主ローブと副ローブとの間の位置からは立体画像を正常に立体視することができない。なお、主ローブの視域幅（例えば１３０ｍｍ）、即ち正立体視領域の幅は、視域角によって確定される。
【００１７】
したがって、前述したような立体ディスプレイにより表示される立体画像を観察する観察者が現時点の観察位置から移動して視域からでてしまう場合には、視域（正立体視領域）を観察者の移動に追従させ、立体ディスプレイにより表示された立体画像を常に正常に立体視することができるようにすることが望ましい。
【００１８】
本発明の第１の目的は、観察者の移動に滑らかに対応して適切な立体画像を表示することができる立体画像表示装置を提供することにある。
【００１９】
また本発明の第２の目的は、立体画像として表示する被写体を観察者の移動に滑らかに対応して被写体撮影用カメラで撮影して画像データを供給することができる立体画像表示装置を提供することにある。
【００２０】
さらに本発明の第３の目的は、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて適切に行なうことができる立体画像表示装置を提供することにある。
【００２１】
さらにまた本発明の第４の目的は、光波面再生型立体ディスプレイにおける表示面の方向の変更操作を、被写体撮影用カメラの撮影方向の変更結果に対応させて適切に行なうことができる立体画像表示装置を提供することにある。
【００２２】
そして本発明の第５の目的は、観察者監視用カメラによる監視データから視線演算部によって視線方向データを算出することにより、正確な観察者移動情報を生成することができる立体画像表示装置を提供することにある。
【００２３】
【課題を解決するための手段】
前述した課題を解決するために、本発明にかかる請求項１の立体画像表示装置は、立体画像の画像データを供給する画像データ供給手段と、この画像データ供給手段から供給される画像データにしたがって立体画像を表示する光波面再生型立体ディスプレイと、この光波面再生型立体ディスプレイにおける表示面の方向を変更する表示面方向変更手段と、前記光波面再生型立体ディスプレイにより表示される立体画像を観察する観察者の移動を監視する観察者監視用カメラと、この観察者監視用カメラにより監視された観察者の移動に応じた観察者移動情報を生成する観察者移動情報生成手段と、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて前記観察者監視用カメラの監視方向を変更する監視方向変更手段と、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成する追従指示情報生成手段と、この追従指示情報生成手段によって生成された追従指示情報に基づき、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを前記画像データ供給手段から前記光波面再生型立体ディスプレイに供給させる制御手段と、を備えることを特徴とする構成とした。
【００２４】
ここで、光面波再生型立体ディスプレイとしては、例えばインテグラル方式のものや、ホトグラフィ方式のもの等が掲げられる。また、光面波再生型立体ディスプレイは、立体画像を表示することができる表示デバイスであって、左右方向および上下方向において観察者が移動した場合であって所定範囲内でその移動を許容する視域を有するものであれば、前述したインテグラル方式のものや、ホトグラフィ方式のものに限定されるものではない。
【００２５】
この請求項１の立体画像表示装置によれば、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、画像データ供給手段によって立体画像の画像データが光波面再生型立体ディスプレイに供給され、この供給された画像データにしたがって光波面再生型立体ディスプレイによって立体画像が表示されるようになっており、この光波面再生型立体ディスプレイはその表示面の方向が表示面方向変更手段によって変更されるようになっている。また、観察者監視用カメラによって観察者の移動を監視し、この監視された観察者の移動に応じた観察者移動情報が観察者移動情報生成手段によって生成されるようになっており、観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて監視方向変更手段によって前記観察者監視用カメラの監視方向が変更される。
【００２６】
さらに、追従指示情報生成手段によって観察者移動情報による観察者の移動と予め設定した移動許容範囲とが比較され、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報が生成される。そして、制御手段において、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが前記画像データ供給手段から光波面再生型立体ディスプレイに供給させるように操作処理が行なわれる。
【００２７】
本発明にかかる請求項２の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記画像データ供給手段は、被写体を撮影して立体画像の画像データを取得する被写体撮影用カメラと、この被写体撮影用カメラの撮影方向を変更する撮影方向変更手段と、を備え、前記制御手段は、前記追従指示情報生成手段により生成された追従指示情報に基づき、前記観察者移動情報生成手段によって生成された観察者移動情報に対応させて、前記撮影方向変更手段によって前記被写体撮影用カメラの撮影方向を変更させることを特徴とする構成とした。
【００２８】
この請求項２の立体画像表示装置によれば、立体画像として表示される被写体を被写体撮影用カメラによって撮影して立体画像の画像データが取得され、この画像データを光波面再生型立体ディスプレイに供給することが可能になる。また、前記被写体撮影用カメラの撮影方向が撮影方向変更手段によって変更されるようになっている。そして、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、前記観察者移動生成手段により生成された観察者移動情報による観察者の移動に対応させて撮影方向変更手段による被写体撮影用カメラの撮影方向の変更が行なわれる。
【００２９】
本発明にかかる請求項３の立体画像表示装置は、請求項２に記載の立体画像表示装置において、前記制御手段は、前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、前記撮影方向変更手段によって被写体撮影用カメラの撮影方向を変更させることを特徴とする構成とした。
【００３０】
この請求項３の立体画像表示装置によれば、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、撮影方向変更手段による被写体撮影用カメラの撮影方向の変更が操作される。
【００３１】
本発明にかかる請求項４の立体画像表示装置は、請求項２または３に記載の立体画像表示装置において、前記制御手段は、前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果に対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させることを特徴とする構成とした。
【００３２】
この請求項４の立体画像表示装置によれば、制御手段において、前記追従指示情報生成手段により生成された追従指示情報に基づき、撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果に対応させて、表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更が操作される。
【００３３】
本発明にかかる請求項５の立体画像表示装置は、請求項１〜４の何れか１項に記載の立体画像表示装置において、前記観察者移動情報生成手段は、観察者監視用カメラによる監視データから観察者の視線方向データを算出して観察者移動情報を生成する視線演算部を備えることを特徴とする構成とした。
【００３４】
この請求項５の立体画像表示装置によれば、観察者監視用カメラによる監視データから観察者の視線方向データを視線演算部によって算出して観察者移動情報が生成される。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて説明する。まず、本発明の第１の実施形態について説明する。図１は本発明にかかる立体画像表示装置の一例を示す概要説明図である。
【００３６】
この第１の実施形態の立体画像表示装置は、立体画像の画像データを供給する画像データ供給手段１１と、この画像データ供給手段１１から供給される画像データにしたがって立体画像を表示する光波面再生型立体ディスプレイ（以下、単に「立体ディスプレイ」という）１２と、この立体ディスプレイ１２における表示面の方向を変更する表示面方向変更手段１３と、前記立体ディスプレイ１２により表示される立体画像を観察する観察者の移動を監視する観察者監視用カメラ１４と、この観察者監視用カメラ１４により監視された観察者の移動に応じた観察者移動情報を生成する観察者移動情報生成手段１５と、この観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記観察者監視用カメラ１４の監視方向を変更する監視方向変更手段１６と、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成する追従指示情報生成手段１７と、この追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを、画像データ供給手段１１から立体ディスプレイ１２に供給させる制御手段１８とを備えている。
【００３７】
画像データ供給手段１１は、立体ディスプレイ１２において表示するための立体画像の画像データを供給するものである。例えば、ソフトフェア等の計算処理により予め合成された画像データや、立体画像として表示する被写体を撮影することにより取得した画像データ等が、記録媒体に読み出し可能に記録されており、必要に応じて読み出されて立体ディスプレイ１２に供給することができるようになっている。
【００３８】
この画像データ供給手段１１から立体ディスプレイ１２に供給される画像データとしては、供給される画像データがソフトフェア等の計算処理により予め合成されたものである場合には、任意の視点からの観察者による観察を可能にするために複数の各視点に応じて予め生成した画像データが準備されており、また供給される画像データが立体画像として表示する被写体を撮影することにより取得したものである場合には、任意の視点からの観察者による観察を可能にするために、複数の各視点に応じた撮影方向から被写体を撮影することにより画像データが生成されて準備されるようになっている。つまり、画像データ供給手段１１においては、観察対象の多方向からの各観察面について画像データが準備される。そして、この準備された画像データは、観察者が観察する方向に対応させて立体ディスプレイ１２に供給されるようになっている。したがって、この画像データ供給手段１１によれば、立体画像の画像データは、観察者による観察対象の多方向からの観察が可能となるように立体ディスプレイ１２に供給される。
【００３９】
また、この画像データ供給手段１１から立体ディスプレイ１２に供給する画像データは、立体ディスプレイの方式に応じた形式の信号として供給される。例えば、後述するように、立体ディスプレイ１２がインテグラル方式のものである場合には、インテグラル方式用信号形式に適合する画像データが供給され、立体ディスプレイ１２がホログラフィ方式のものである場合には、ホログラフィ方式用信号形式に適合する画像データが供給されることになる。
【００４０】
立体ディスプレイ１２は、前記画像データ供給手段１１から供給される画像データにしたがって立体画像を表示する光波面再生型のものであって、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、例えばインテグラル方式やホログラフィ方式等の原理が利用されて立体画像の表示を行なうことができるようになっている。また、本実施形態における立体ディスプレイ１２としては、例えばインテグラル方式のものや、ホトグラフィ方式のもの等からなる光面波再生型のもので表示デバイスとして液晶によるものを採用している。なお、本発明にかかる立体画像表示装置における立体画像表示装置においては、立体画像を表示することができる表示デバイスであって、左右方向および上下方向において観察者が移動した場合であっても所定範囲内でその移動を許容する視域を有するものであれば、例えば有機ＥＬディスプレイ等の他の表示デバイスを採用する態様としてもよい。
【００４１】
表示面方向変更手段１３は、立体ディスプレイ１２における表示面の方向を変更するものであり、例えば立体ディスプレイ１２を左右や上下に回動させて表示面の方向を左右や上下に変更することができる機構を備えている。なお、左右方向や上下方向のほか、さらに、前後方向に移動させるような機構を採用するようにしてもよい。
【００４２】
観察者監視用カメラ１４は、前記立体ディスプレイ１２によって表示される立体画像を観察する観察者の移動を監視するものであり、観察者が移動中であるか静止中であるかにかかわらず、観察者を撮影するようになっている。したがって、常に監視データが順次生成されている。なお、観察者監視用カメラ１４の監視方向は、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、監視方向変更手段１６によって変更される。
【００４３】
観察者移動情報生成手段１５は、前記観察者監視用カメラ１４によって監視された観察者の移動に応じた観察者移動情報を生成するものであり、例えば観察者の移動方向（移動角度）、移動量、移動速度等を含む観察者移動情報を生成する。この観察者移動情報生成手段１５においては、例えば観察者監視用カメラ１４により監視された監視データから観察者の視線方向データを算出して観察者移動情報を生成する視線演算部（図示せず）を設ける構成としてもよい。
【００４４】
このように、観察者移動情報生成手段１５において視線演算部（図示せず）を設けた場合にあっては、この視線演算部において、観察者の視線方向データを算出し、この視線方向データを含む観察者移動情報が生成されることになる。この視線演算部においては、角膜反射法と称される方式（以下、角膜反射方式という）を利用して視線方向データが算出されるようになっている。
【００４５】
ここで、図５を参照しながら、視線演算部において利用する角膜反射方式の原理について簡単に説明する。まず、観察者の目に対してスポットランプにより弱い赤外光を照射し、その赤外光の虚像を角膜上に結像させる。目の内部では、目の角膜の回転中心と眼球の回転中心がずれているので、目の動きに伴って虚像は平行移動することになる。この平行移動量を目の回転角に換算して視線方向データを算出し、この視線方向データを含む観察者移動情報を生成することができる。また、この角膜反射方式では、観察者の頭部の動きに伴う目の位置変化も検出することができるようになっており、観察者の視線方向を正確に算出して詳細な観察者移動情報を生成することが可能である。
【００４６】
なお、観察者の詳細な目の動きを無視する場合には、単に観察者の頭部に赤外光を反射するようなシールを貼り付けておき、このシールの移動を検出することにより、観察者の移動を監視するようにしてもよい。また、前述したような詳細な観察者移動情報を必要としない場合には、一般的な画像処理により、観察者監視用カメラ１４により得られた監視データから観察者のシルエットを抽出するなどして観察者の移動を算出し、観察者移動情報として生成するようにしてもよい。
【００４７】
監視方向変更手段１６は、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、前記観察者監視用カメラ１４の監視方向を変更するものであり、例えば左右や上下に回動させて監視方向を左右や上下に変更することができる機能を備えている。つまり、観察者監視用カメラ１４によって観察者を撮影するにあたり、常に観察者を捕らえて撮影することができるようにしている。
【００４８】
追従指示情報生成手段１７は、前記観察者移動情報生成手段１５によって生成された観察者移動情報による観察者の移動と予め設定された移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成するものである。ここで予め設定される移動許容範囲は、例えば視域（正立体視領域）となる主ローブを確定する視域角の範囲内で任意に設定することができる。具体的には、図３に示されるように、視域角の中心を０として−αｔｈ〜＋αｔｈの視域角によって主ローブが確定されている場合において、αｔｈよりも小さい値αａで、−αａ〜＋αａの範囲を観察者の移動が許容される移動許容範囲として設定する。
【００４９】
ここで設定される値αａは、この追従指示情報生成手段１７による追従指示情報に基づき、制御手段１８等におけるその後の処理を行なうにあたって、観察者の移動に追従した視域の移動を可能にする閾値となるものであり、追従指示情報に基づき制御される各手段の性能等を考慮して設定する必要がある。この追従指示情報生成手段１７において、観察者移動情報による観察者の移動が移動許容範囲を超えたと判定された場合には、追従指示情報が生成され、この追従指示情報に基づき、制御手段１８においてはその後の処理が行なわれることになる。
【００５０】
この追従指示情報生成手段１７において生成される追従指示情報は、制御手段１８による操作処理を開始させるためのものであり、生成後制御手段１８に転送される。また、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えていないと判定された場合には、追従指示情報は生成されず、制御手段１８においてはその後の処理は行なわれない。
【００５１】
制御手段１８は、追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段１３によって立体ディスプレイ１２の表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを前記画像データ供給手段１１から立体ディスプレイ１２に供給させるように操作処理を行なうものである。
【００５２】
ここで、制御手段１８において、前記表示面方向変更手段１３により立体ディスプレイ１２における表示面の方向を変更させるように操作処理を行なうにあたっては、追従指示情報手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者による観察者の移動に対応させて立体ディスプレイ１２の表示面の方向を視域角の中心に対応させるように観察者の移動速度と同じ速度で変更させる。
【００５３】
例えば、図４に示されるように、観察者の移動が予め設定された許容移動範囲（−αａ〜＋αａ）を超えない範囲にとどまる場合には、立体ディスプレイ１２における表示面の方向を変更するための表示面方向変更手段１３は作動しない。また、観察者の移動が予め設定した移動許容範囲（−αａ〜＋αａ）を超えた場合には、その時点（タイミング）で、立体ディスプレイ１２における表示面の方向を変更するための表示面方向変更手段１３は観察者の移動と同じ速度でその表示面の方向を変化させる。このように観察者の移動速度のデータ等を含む観察者移動情報や、表示面方向変更手段１３による立体ディスプレイ１２の表示面を変更する変更速度のデータ等の変更結果情報に基づき、画像データ供給手段１１から立体ディスプレイ１２に適切な画像データを供給させることが可能になる。
【００５４】
次に、制御手段１８の動作について説明する。
前述したように、画像データ供給手段１１から立体ディスプレイ１２に適切な画像データを供給させる際に、任意の視点からの観察を可能にするために画像データ供給手段１１にて供給準備されるソフトフェア等の計算処理により予め合成された画像データや、複数の各視点に応じて予め生成した画像データ、さらに立体画像として表示する被写体を撮影することにより取得した画像データである場合には、追従指示情報生成手段１７により生成された追従指示情報に基づいて、複数の各視点に応じた撮影方向から被写体を撮影することで生成される画像データ等が、観察者の移動に対応させて画像データ供給手段１１から立体ディスプレイ１２に供給されることになる。
【００５５】
つまり、観察対象を多方向から観察できるように各方向から認識される観察対象の各観察面についての画像データを、追従指示情報生成手段１７により生成された追従指示情報に基づき、前記観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて供給させるようにしており、立体ディスプレイ１２に表示させる立体画像を適切に変更することができる。
【００５６】
また、観察者の移動が止まったときは、実際には観察者は立体ディスプレイ１２における表示面の方向の中心からαａだけずれた立体画像を観察しているので、立体ディスプレイ１２における表示面の方向の変更は制御手段１８による操作処理にしたがって継続して行なわれ、立体ディスプレイ１２に表示される立体画像の観察対象は反対方向に回り込んだ状態の立体画像として、立体ディスプレイ１２における表示面の方向の表示面方向変更手段１３による変更速度と同じ速度で表示されるようにする。このようにすることにより、観察者に立体ディスプレイ１２における表示面の方向の変更を意識させることなく、主ローブの中心を観察させることができる。
【００５７】
なお、立体ディスプレイ１２における表示面の方向の変更速度を初速から観察者と同じ速度にすることは実際には難しいので、αａより小さな角度から徐々に加速させるようにする。また、表示面方向変更手段１３の作動パターンについては、立体ディスプレイ１２の重量や、モーターのトルク等によって様々なバリエーションが考えられる。
【００５８】
また、制御手段１８において、画像データを前記画像データ供給手段１１から立体ディスプレイ１２に供給させるように操作処理を行なうにあたっては、追従指示情報生成手段１７により生成された追従指示情報に基づき、観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応する画像データを、立体ディスプレイ１２に観察者の移動と同じ速度で表示させるように、前記画像データ供給手段１１から前記立体ディスプレイ１２に供給させる。
【００５９】
例えば、観察者が立体ディスプレイ１２に対して右方向に移動すると、立体ディスプレイ１２の表示面の方向は観察者の移動に追従するようにして左方向に変更され、立体ディスプレイ１２には観察対象の立体画像が観察者の移動と正反対の左方向に回転した状態の適切な立体画像として表示されることになる。
【００６０】
この立体画像表示装置においては、前述したように、光波面再生型ディスプレイが用いられており、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が許容される範囲（観察者が違和感なく観察することができる範囲）を“視域角の半分”まで大幅に拡大することができる。
【００６１】
つまり、従来の立体画像表示装置における運動視差利用型のもののように、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差が“観察者の認知限界”以下である必要はないので、光波面再生型ディスプレイにおける表示面の方向を追従させる際において従来のような厳密な変更操作は要求されない。
【００６２】
したがって、追従指示情報生成手段によって観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、前記観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成し、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが前記画像データ供給手段から光波面再生型立体ディスプレイに供給させるように操作処理を行なうようにすることにより、観察者の移動に滑らかに対応して適切な立体画像を表示することできる。
【００６３】
特に、本発明の立体画像表示装置においては、装置全体の視域角が３６０度の全周囲になるといったきわめて有利な効果を得ることができる。また、従来のような単なる平面ディスプレイを用いた運動視差利用型と比較して、視覚の運動感覚の不一致を非常に少なくすることができる。具体的には、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差について許容される範囲（観察者が違和感なく観察することができる範囲）を概算で少なくとも１０倍〜３０倍に改善することができる。さらに、観察者が静止しているときであっても自然な立体感を得ることができる。
【００６４】
また、本発明の立体画像表示装置においては、観察者の移動に応じて適切な表示画像の切り替えの遅延については６０ミリ秒以内の遅延にとどめることにより、観察者に違和感を生じさせないことが確認できた。
【００６５】
次に、本発明の第２の実施形態について図２を参照して説明する。図２は本発明にかかる立体画像表示装置の他の例を示す概要説明図である。
【００６６】
この第２の実施形態の立体画像表示装置は、第１の実施形態における画像データ供給手段１１が、被写体を撮影して立体画像の画像データを取得する被写体撮影用カメラ１１ａと、この被写体撮影用カメラ１１ａの撮影方向を変更する撮影方向変更手段１１ｂとによって構成されている態様のものであり、観察者移動情報生成手段１５により生成された観察者移動情報による観察者の移動に対応させて、前記撮影方向変更手段１１ｂによって前記被写体撮影用カメラ１１ａの撮影方向を変更させる操作処理を、前記制御手段１８によって行なうようにしているものである。したがって、立体画像として表示する被写体を観察者の移動に滑らかに対応して、被写体撮影用カメラ１１ａで撮影した画像データを供給することができる。
【００６７】
なお、この第２の実施形態における立体ディスプレイ１２、表示面方向変更手段１３、観察者監視用カメラ１４、観察者移動情報生成手段１５、監視方向変更手段１６、追従指示情報生成手段１７等は、第１の実施形態における各手段と概ね同様のものであり、ここでは重複説明を避ける。
【００６８】
前述したように、画像データ供給手段１１を構成する被写体撮影用カメラ１１ａは、観察対象の被写体を撮影して立体画像の画像データを取得するものであり、例えば立体ディスプレイ１２がインテグラル方式のものである場合には、これに対応するようにインテグラル立体カメラが採用されてインテグラル方式用信号の画像データを立体ディスプレイ１２に供給するようになっている。また、立体ディスプレイ１２がホログラフィ方式のものである場合には、これに対応するようにホログラフィ立体カメラが採用されてホログラフィ方式用信号の画像データを立体ディスプレイ１２に供給するようになっている。
【００６９】
この第２の実施形態における立体画像表示装置にあっては、前記制御手段１８において、前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を検出し、前記追従指示情報生成手段１７により生成された追従指示情報に基づき、さらにその検出した前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果に対応させて、前記撮影方向変更手段１１ｂによって、被写体撮影用カメラ１１ａの撮影方向を変更させるように操作処理を行なってもよい。ここで表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更についての情報としては、例えば表示面方向変更手段１３による変更方向（変更角度）、変更量、変更速度等が掲げられる。
【００７０】
さらに、制御手段１８において、前記表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を検出するには、例えば立体ディスプレイ１２における表示面の方向の変更結果についての情報を生成する表示面方向変更結果情報生成部（図示せず）を設けておくことにより、立体ディスプレイ１２における表示面の方向の変更結果を検出することが可能になり、表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果を正確に把握することができる。
【００７１】
このような態様を採用すれば、表示面方向変更手段１３による立体ディスプレイ１２における表示面の方向の変更結果に応じて、撮影方向変更手段によって被写体撮影用カメラの撮影方向を変更させることが可能になる。したがって、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、立体ディスプレイ１２における表示面の方向の変更結果に対応させて適切に行なうことができる。つまり、立体ディスプレイ１２における表示面の方向に対して、立体ディスプレイ１２に表示される立体画像を整合させることができ、観察者に違和感を生じさせてしまうといった事態を回避することができる。
【００７２】
また、第２の実施形態における立体画像表示装置にあっては、前記制御手段１８において、前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を検出し、前記追従指示情報生成手段１７により生成された追従指示情報に基づき、その検出した前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果にさらに対応させて、前記表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させるように操作処理を行なうようにしてもよい。ここで、撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果についての情報としては、例えば撮影方向変更手段１１ｂによる変更方向（変更角度）、変更量、変更速度等が掲げられる。
【００７３】
ここで制御手段１８において前記撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を検出するにあたっては、例えば被写体撮影用カメラ１１ａの撮影方向を変更した場合にその変更結果についての情報を生成する撮影方向変更結果情報生成部（図示せず）を設けておくことにより、被写体撮影用カメラ１１ａの撮影方向の変更結果を検出することが可能になり、撮影方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果を正確に把握することができる。
【００７４】
このような態様を採用すれば、撮影用方向変更手段１１ｂによる被写体撮影用カメラ１１ａの撮影方向の変更結果に応じて、表示面方向変更手段１３によって立体ディスプレイ１２における表示面の方向を変更させることが可能になる。したがって、立体ディスプレイ１２における表示面の方向の変更操作を、被写体撮影用カメラ１１ａの撮影方向の変更結果に対応させて適切に行なうことができる。つまり、被写体撮影用カメラ１１ａの撮影方向に、立体ディスプレイ１２における表示面の方向を整合させることができ、この点において観察者に違和感を生じさせてしまうといった事態を回避することができる。
【００７５】
本発明にかかる立体画像表示装置は、ホビーや純粋な情報提供等の用途のほか、以下のように医療分野や博物・美術分野における用途に特に有用である。本発明にかかる立体画像表示装置の用途例について簡単に説明する。
【００７６】
医療分野にあっては、従来から画像診断を行なうにあたりＸ線ＣＴやＭＲＩ等といった撮像装置の普及が進んでいるものの、複数の平面画像を見比べて細部の位置関係を割り出すには熟練が必要である。これに対し、本発明にかかる立体画像表示装置では、これらの撮像装置により画像データをリアルタイムで処理することにより、医師が自由に移動しつつ、任意の断面から体内の構造の立体画像を観察することができるので、きわめて便利である。
【００７７】
また、博物・美術分野にあっては、従来から歴史的・美術的に貴重な物品に関しては、外気に晒されると劣化してしまうといった物理的な理由等により実物の公開を制限せざるを得ないので、一般展示や教育目的には写真やレプリカが使用されているにすぎない。これに対し、本発明にかかる立体画像表示装置では、物品の画像データを取り込んで保存しておくことにより、ＣＧ展示をより実物に近い形で行なうことができ、きわめて便利である。
【００７８】
しかも、本発明にかかる立体画像表示装置は、視覚と運動感覚の不一致により起こる「３次元酔い」と称される不快感が大幅に軽減され、特に立体画像の細部を注視するときにはその効果が顕著である。
【００７９】
【発明の効果】
以上、説明したように、本発明にかかる請求項１の立体画像表示装置によれば、光波面再生型ディスプレイにおける表示面の方向が正確に観察者の方向に向いていなくても、観察者が視域内に入っていれば立体画像を観察者に認識させることが可能であり、観察者の位置と、平面ディスプレイにおける表示面の方向との角度誤差について許容される範囲（観察者が違和感なく観察することができる範囲）を“視域角の半分”にまで大幅に拡大することができる。また、観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報が生成され、この追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データが光波面再生型立体ディスプレイに供給させるように操作処理が行なわれるようにしたので、観察者の移動に滑らかに対応して適切な立体画像を表示することできる。特に、本発明の立体画像表示装置においては、装置全体の視域角が３６０度の全周囲になるといったきわめて有利な効果を得ることができる。また、従来のような単なる平面ディスプレイを用いた運動視差利用型と比較して、視覚の運動感覚の不一致が非常に少なくすることができる。さらに、観察者が静止しているときであっても自然な立体感を得ることができる。
【００８０】
また、本発明にかかる請求項２の立体画像表示装置によれば、追従指示情報に基づき、観察者移動情報による観察者の移動に対応させて被写体撮影用カメラの撮影方向の変更が行なわれるようにしたので、立体画像として表示する被写体を観察者の移動に滑らかに対応して被写体撮影用カメラで撮影して画像データを供給することができる。
【００８１】
さらに、本発明にかかる請求項３の立体画像表示装置によれば、追従指示情報に基づき、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて、被写体撮影用カメラの撮影方向を変更させるようにしたので、被写体に対する被写体撮影用カメラの撮影方向の変更操作を、光波面再生型立体ディスプレイにおける表示面の方向の変更結果に対応させて適切に行なうことができる。
【００８２】
さらにまた、本発明にかかる請求項４の立体画像表示装置によれば、追従指示情報に基づき、被写体撮影用カメラの撮影方向の変更結果に対応させて、光波面再生型立体ディスプレイにおける表示面の方向を変更させるようにしたので、光波面再生型立体ディスプレイにおける表示面の方向の変更操作を、被写体撮影用カメラの撮影方向の変更結果に対応させて適切に行なうことができる。
【００８３】
そして、本発明にかかる請求項５の立体画像表示装置によれば、観察者監視用カメラによる監視データから視線演算部によって視線方向データを算出して観察者移動情報が生成されるようにしたので、正確な観察者移動情報を得ることができる。
【図面の簡単な説明】
【図１】本発明にかかる立体画像表示装置の一例を示す概要説明図である。
【図２】本発明にかかる立体画像表示装置を他の例を示す概要説明図である。
【図３】観察者の移動許容範囲を示す説明図である。
【図４】立体ディスプレイにおける表示面の方向を変更する動作の一例を示す説明図である。
【図５】角膜反射法の検出原理の説明図である。
【図６】インテグラル方式の撮影原理を示す説明図である。
【図７】インテグラル方式の表示原理を示す説明図である。
【図８】液晶パネルを用いたホログラフィ方式の概念図である。
【図９】視域角の説明図である。
【符号の説明】
１１ 画像データ供給手段
１１ａ 被写体撮影用カメラ
１１ｂ 撮影方向変更手段
１２ 光波面再生型立体ディスプレイ
１３ 表示面方向変更手段
１４ 観察者監視用カメラ
１５ 観察者移動情報生成手段
１６ 監視方向変更手段
１７ 追従指示情報生成手段
１８ 制御手段
１１０ 被写体
１２０ レンズ群
１２１〜１２ｎ 要素レンズ
１３０ 写真フィルム
１３１〜１３ｎ 像（要素画像）
１４０ 写真
１４１〜１４ｎ 像
１５０ 立体再生像
１６０ 視点
Claims (5)
- 立体画像の画像データを供給する画像データ供給手段と、
この画像データ供給手段から供給される画像データにしたがって立体画像を表示する光波面再生型立体ディスプレイと、
この光波面再生型立体ディスプレイにおける表示面の方向を変更する表示面方向変更手段と、
前記光波面再生型立体ディスプレイにより表示される立体画像を観察する観察者の移動を監視する観察者監視用カメラと、
この観察者監視用カメラにより監視された観察者の移動に応じた観察者移動情報を生成する観察者移動情報生成手段と、
前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて前記観察者監視用カメラの監視方向を変更する監視方向変更手段と、
前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動と予め設定した移動許容範囲とを比較し、観察者移動情報による観察者の移動が前記移動許容範囲を超えた時点で追従指示情報を生成する追従指示情報生成手段と、
この追従指示情報生成手段によって生成された追従指示情報に基づき、前記観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させるとともに、その観察者移動情報による観察者の移動に対応する画像データを前記画像データ供給手段から前記光波面再生型立体ディスプレイに供給させる制御手段と、
を備えることを特徴とする立体画像表示装置。 - 前記画像データ供給手段は、被写体を撮影して立体画像の画像データを取得する被写体撮影用カメラと、この被写体撮影用カメラの撮影方向を変更する撮影方向変更手段と、を備え、
前記制御手段は、前記追従指示情報生成手段により生成された追従指示情報に基づき、観察者移動情報生成手段により生成された観察者移動情報による観察者の移動に対応させて、前記撮影方向変更手段によって前記被写体撮影用カメラの撮影方向を変更させることを特徴とする請求項１に記載の立体画像表示装置。 - 前記制御手段は、前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記表示面方向変更手段による光波面再生型立体ディスプレイにおける表示面の方向の変更結果にさらに対応させて、前記撮影方向変更手段によって被写体撮影用カメラの撮影方向を変更させることを特徴とする請求項２に記載の立体画像表示装置。
- 前記制御手段は、前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果を検出し、前記追従指示情報生成手段により生成された追従指示情報に基づき、その検出した前記撮影方向変更手段による被写体撮影用カメラの撮影方向の変更結果にさらに対応させて、前記表示面方向変更手段によって光波面再生型立体ディスプレイにおける表示面の方向を変更させることを特徴とする請求項２または３に記載の立体画像表示装置。
- 前記観察者移動情報生成手段は、観察者監視用カメラによる監視データから観察者の視線方向データを算出して観察者移動情報を生成する視線演算部を備えることを特徴とする請求項１〜４の何れか１項に記載の立体画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001134142A JP4256597B2 (ja) | 2001-05-01 | 2001-05-01 | 立体画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001134142A JP4256597B2 (ja) | 2001-05-01 | 2001-05-01 | 立体画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002330452A JP2002330452A (ja) | 2002-11-15 |
| JP4256597B2 true JP4256597B2 (ja) | 2009-04-22 |
Family
ID=18981882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001134142A Expired - Fee Related JP4256597B2 (ja) | 2001-05-01 | 2001-05-01 | 立体画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4256597B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11126008B2 (en) | 2019-02-27 | 2021-09-21 | Samsung Electronics Co., Ltd. | 3D image display apparatus, 3D image display method, and 3D image generating and displaying system |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004044111B4 (de) * | 2004-09-08 | 2015-05-07 | Seereal Technologies Gmbh | Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen |
| JP2006126542A (ja) * | 2004-10-29 | 2006-05-18 | Nippon Hoso Kyokai <Nhk> | 立体画像表示装置 |
| JP2007074033A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| JP5803172B2 (ja) * | 2011-03-15 | 2015-11-04 | ヤマハ株式会社 | 評価装置 |
| US10768442B1 (en) | 2019-03-18 | 2020-09-08 | Brelyon Inc. | Display system providing concentric light field and monocular-to-binocular hybridization |
| JP7324605B2 (ja) * | 2019-04-05 | 2023-08-10 | 日本放送協会 | 立体画像生成装置及びそのプログラム |
| KR20220045166A (ko) * | 2019-08-09 | 2022-04-12 | 라이트 필드 랩 인코포레이티드 | 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템 |
| JP7567582B2 (ja) | 2021-03-15 | 2024-10-16 | 株式会社Ｊｖｃケンウッド | 立体映像表示装置、立体映像表示方法およびプログラム |
-
2001
- 2001-05-01 JP JP2001134142A patent/JP4256597B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11126008B2 (en) | 2019-02-27 | 2021-09-21 | Samsung Electronics Co., Ltd. | 3D image display apparatus, 3D image display method, and 3D image generating and displaying system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002330452A (ja) | 2002-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4717320B2 (ja) | ３次元ディスプレイのための計算時間削減 | |
| KR102214827B1 (ko) | 증강 현실 제공 장치 및 방법 | |
| JP2008146221A (ja) | 画像表示システム | |
| Yamaguchi | Full-parallax holographic light-field 3-D displays and interactive 3-D touch | |
| CN108141578B (zh) | 呈现相机 | |
| JP4903888B2 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
| US20100238270A1 (en) | Endoscopic apparatus and method for producing via a holographic optical element an autostereoscopic 3-d image | |
| US20030122828A1 (en) | Projection of three-dimensional images | |
| AU2010229130A1 (en) | Stereo camera with controllable pivot point | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| KR20160016468A (ko) | 리얼 3d 영상 생성 방법 및 그 장치 | |
| JP4256597B2 (ja) | 立体画像表示装置 | |
| JPH09238369A (ja) | ３次元像表示装置 | |
| Owczarczyk et al. | Evaluation of true 3 D display systems for visualizing medical volume data | |
| KR20120093693A (ko) | 입체영상표시장치 및 그 구동방법 | |
| JP3425402B2 (ja) | 立体画像を表示する装置および方法 | |
| CN106814461A (zh) | 一种三维显示系统及其显示方法 | |
| Wen et al. | Dual-mode light field display with enhanced viewing range: From far distance viewable to near distance touchable | |
| KR20150091838A (ko) | 초다시점형 3차원 디스플레이 시스템 | |
| JP5222407B2 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
| Hill | Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays | |
| JP7448856B2 (ja) | 視線再現システム、視線再現方法、及びプログラム | |
| JP7448855B2 (ja) | 視線追従システム、視線追従方法、及びプログラム | |
| Dunkin et al. | 3d in the minimally invasive surgery (mis) operating room: Cameras and displays in the evolution of mis | |
| KR100652204B1 (ko) | 입체 영상 표시 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4256597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |