JP4144981B2

JP4144981B2 - 立体画像表示装置

Info

Publication number: JP4144981B2
Application number: JP27306899A
Authority: JP
Inventors: 祐一郎赤塚
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-09-27
Filing date: 1999-09-27
Publication date: 2008-09-03
Anticipated expiration: 2019-09-27
Also published as: JP2001103512A

Description

【０００１】
【発明の属する技術分野】
本発明は立体画像表示装置に係り、特に、視差を持った２系統のカメラの位置姿勢を検出し、検出された位置姿勢を視点とした時の対象物の３次元モデルを再構築し、２系統のカメラからの各画像と重畳して表示するようにした立体画像表示装置に関する。
【０００２】
【従来の技術】
従来、立体画像表示装置に関する技術として、例えば、文献「３次元プロッタ手法を用いた臓器の立体表示及び生体との合成観察の試み」（映像情報（Ｍ）、Ｖｏｌ．２６，Ｎｏ．２０，ｐ．１１６９）においては、図１に示すように、３次元立体表示装置２１上に表示されたコンピュータによる画像生成に係るＣＧ画像２３と、観察者が肉眼２２で見ている実像２４とをハーフミラー２５により重畳させて表示している。
【０００３】
また、特開平９−１４７１４２号公報においては、図２に示すように、被観察物体３１としての頭部の移動を検出するトラッキング手段としての位置・姿勢検出３４及び決定手段３５を用いれば、移動する視点に対応するコンピュータによる画像生成に係る画像を観察者３２が見ている表示手段３３上に生成することが可能になる技術が開示されている。
【０００４】
ところで、一般に、コンピュータによる画像生成においては計算時間による時間的な遅れが生じる。
【０００５】
また、表示装置上に表示されたＣＧ画像と、観察者が肉眼で見ている像とを重畳させ表示するような場合においては、肉眼で見えている画像に対し遅れ時間に頭部が移動した分のずれ（ダイナミックレジストレーションエラー）が生じてしまう場合がある。
【０００６】
また、画像の生成に時間がかかると、ライブ画像と生成画像との間のずれ（ダイナミックレジストレーションエラー）が大きくなり、使用上で支障をきたす場合がある。
【０００７】
しかるに、コンピュータの処理能力には限界がある一方、表示画像に対しての要求は高解像度など複雑化の一途をたどっている。
【０００８】
なお、文献「ＩｍｐｒｏｖｉｎｇＳｔａｔｉｃａｎｄＤｙｎａｍｉｃＲｅｇｉｓｔｒａｔｉｏｎｉｎａｎＯｐｔｉｃａｌＳｅｅ−ｔｈｒｏｕｇｈＨＭＤＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ ′９４，ｐｐ．１９７−２０４」では、図３に示すように、頭部の動きを検出するセンサ４０により検出された観察者の頭部４１の位置姿勢情報をもとに、画像生成用コンピュータ４２により視線に対応したＣＧ画像を生成する際に、画像生成用コンピュータ４２内において頭部の動きを予測し画像生成の時間遅れによるダイナミックレジストレーションエラーを少なくする試みがなされている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した図１及び図２に示すような従来の技術による手法において、両眼視差を用いた立体視を行った場合には、カメラ位置姿勢の計測計算を、左右視野のそれぞれに対して行う必要があるので、その計算に時間がかかると、それが２系統になるため、更なる時間の遅れを招く恐れがあった。
【００１０】
また、上述した図３に示すような従来の技術による手法において、両眼視差を用いた立体視を行った場合には、予測を行うための計算を、左右視野のそれぞれに対して行う必要があるので、その予測計算に時間がかかると、それが２系統になるため、更なる時間の遅れを招く恐れがあった。
【００１１】
本発明は、以上のような従来技術の不具合に鑑みてなされたもので、立体視を行う場合でも、時間遅れの少ない画像重畳システムとして構成される立体画像表示装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１）観察対象を撮像する複数の撮像手段と、
上記複数の撮像手段の位置及び姿勢を各々検出する位置姿勢検出手段と、
上記観察対象の３次元データを保持するデータ保持手段と、
各撮像手段の位置及び姿勢に応じて上記３次元データより２次元画像を各々生成し、上記各撮像手段の撮像した各画像と重畳する画像重畳手段と、
を具備する立体画像表示装置において、
上記位置姿勢検出手段の各検出結果より、各撮像手段の相対的な位置及び姿勢を求める相対位置検出手段と、
上記上記相対位置検出手段によって求めた相対的な位置及び姿勢を用いて、一つの撮像手段の位置及び姿勢より他の撮像手段の位置及び姿勢を求める手段をさらに具備することを特徴とする立体画像表示装置が提供される。
【００１３】
また、本発明によると、上記課題を解決するために、
（２）撮像手段の位置及び姿勢より、所定時間後の撮像手段の位置及び姿勢を予測する予測手段をさらに具備し、
上記画像重畳手段は、上記予測手段で予測された各撮像手段の位置及び姿勢に応じて上記３次元データより２次元画像を各々生成することを特徴とする（１）記載の立体画像表示装置が提供される。
【００１５】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００１６】
（第１の実施の形態）
図４は、本発明による立体画像表示装置の第１の実施の形態の構成を示すブロック図である。
【００１７】
すなわち、この第１の実施の形態による立体画像表示装置は、次のように構成されている。
【００１８】
図４において、参照符号１、２は、それぞれ左目用、右目用のライブ画像を入力するためのカメラ、
参照符号３は、被観察物体１１の３次元モデルデータ格納部、
参照符号４は、左目用カメラ１の位置姿勢を検出するための左目用視野位置検出手段、
参照符号５は、右目用カメラ２の位置姿勢を検出するための右目用視野位置検出手段、
参照符号６は、左目用及び右目用視野位置検出手段４、５からの出力に基づいてカメラ１、２の相対対位置姿勢を求めるための相対位置検出手段、
参照符号７は、相対位置検出手段６からの相対位置データ及び左目用視野位置検出手段４からの左目用視野位置姿勢データに基づき、右目用の視野位置姿勢データを求める右目用視野位置計算手段、
参照符号８は、３次元モデルデータ格納部３の３次元モデルデータと左目用視野位置検出手段４及び右目用視野位置計算手段７からの左右の視野位置姿勢データに基づき、それぞれの視野に対応する画像データを再構成し、左目用及び右目用カメラ１、２からの左目用、右目用のライブ画像との重畳を行う画像再構成重畳手段、
参照符号９は、重畳された左右の画像データを立体画像表示するための画像表示手段である。
【００１９】
次に、この第１の実施の形態による立体画像表示装置の作用を説明する。
【００２０】
左目用及び右目用カメラ１、２は立体視をするための視差を得るため、通常、眼幅に相当する５０ｍｍから１００ｍｍの間隔をおいて配置されているが、この間隔を広く取ればそれだけ大きな視差を得ることができる。
【００２１】
また、左目用及び右目用カメラ１、２は、図５に示すように、輻輳角Θと呼ばれる収束角度を持つことで、立体視を容易にするようになっている。
【００２２】
この場合、被観察物体１１が、視点の近くにある場合には輻輳角はより大きくした方が見やすいことが知られている。
【００２３】
そのため、被観察物体１１の位置による輻輳角や視差の大小による見易さを調整するために、カメラの設置幅、輻輳角については調整を行う場合がある。
【００２４】
図４において、カメラ１、２からの画像データは、画像再構成重畳手段８に入力される。
【００２５】
この画像再構成重畳手段８には、同時に、その時点のカメラ１、２の視野位置検出手段４、５の検出結果（Ｌ，Ｒ）及び３次元モデルデータ格納部３からの３次元モデルデータが入力され、それらに基づいて右目用、左目用のＣＧ画像データが生成される。
【００２６】
ここで、画像再構成重畳手段８は、３次元モデルデータ格納部３の３次元モデルデータと左目用視野位置検出手段４及び右目用視野位置計算手段７からの左右の視野位置姿勢データに基づき、それぞれの視野に対応する画像データを再構成することにより、右目用、左目用のＣＧ画像データを生成したのち、左目用及び右目用カメラ１、２からの左目用、右目用のライブ画像との重畳を行う。
【００２７】
そして、このようにして重畳された画像データは、画像表示手段９において立体視表示される。
【００２８】
この状態において、観察者は、カメラ１、２の設置幅、輻輳角についての調整を行う。
【００２９】
一旦、調整を行った後は、同じ被観察物体１１を観察している間は再調整の必要がない。
【００３０】
以上において、カメラ１、２の視野位置検出手段４、５の検出結果として与えられるＬ及びＲは、各カメラの基準座標系の中での位置姿勢を表し、例えば、左目視野Ｌは次のように表記できる。
【００３１】
ここで、座標系は直交座標系とし、基準座標としてＧ（Ｘ，Ｙ，Ｚ）を用いるものとする。
【００３２】
【数１】

【００３３】
Ｒｏｔはｘ，ｙ，ｚ軸回りの回転行列を、ｔｘ，ｔｙ，ｔｚは基準座標の中での座標値を表す。
【００３４】
カメラ１、２の視野位置検出にはトラッキング装置が用いられるが、例えば、赤外光を発光するＬＥＤを複数個もち、これらを順に発光させ、それを複数個のＣＣＤラインセンサで検出する方式などがある。
【００３５】
しかし、複数個のＬＥＤの発光、検出結果の計算、及び結果の通信などに数ｍｓ〜数１０ｍｓの時間がかかる。
【００３６】
画像表示手段９としてＣＲＴなどを用いる場合には、そのリフレッシュレートは３０ｍｓ程度であり、この検出による遅れは無視できない。
【００３７】
上記調整が終わった状態の右目、左目視野用の座標値をそれぞれＬ₀，Ｒ₀とする。
【００３８】
ここで、両視野の相対的な関係はＷ＝Ｌ₀／Ｒ₀として表される。
【００３９】
この両視野の相対的な関係Ｗが求まった後は、右目用視野位置検出手段５を停止し、左目用視野位置検出手段４のみを働かせるようにする。
【００４０】
この状態で、得られた左目用視野位置検出結果ＬにＷを乗ずることにより、その時点での右目用視野位置検出結果Ｒを得ることができる。
【００４１】
このＬ及びＲを用いて、３次元モデルデータ格納部３から右目用、左目用の３次元モデルデータに基づきＣＧ画像を生成する
このようにして生成されたＣＧ画像にカメラ１、２からの画像信号が重畳されて画像表示手段９において立体視表示される。
【００４２】
このことにより、調整時以外は視野位置検出手段４、５のうちのを１つだけ動作させれば良く、立体視を行う場合でも、時間遅れの少ない画像重畳システムを提供することが可能となる。
【００４３】
なお、上述したようなこの第１の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【００４４】
例えば、右目用視野位置検出結果だけを用い、左目用視野位置を計算することもできる。
【００４５】
また、多数のカメラを用い、同時に複数の視野の画像を入力する３次元計測装置などにおいても応用が可能である。
【００４６】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図６を用いて説明する。
【００４７】
図６は、本発明による立体画像表示装置の第２の実施の形態の構成を示すブロック図である。
【００４８】
すなわち、この第２の実施の形態による立体画像表示装置は、次のように構成されている。
【００４９】
図６において、参照符号１、２は、それぞれ左目用、右目用のライブ画像を入力するためのカメラ、
参照符号３は、被観察物体１１の３次元モデルデータ格納部、
参照符号４は、左目用カメラ１の位置姿勢を検出するための左目用視野位置検出手段、
参照符号５は、右目用カメラ２の位置姿勢を検出するための右目用視野位置検出手段、
参照符号１０は、左目用視野位置検出手段４からの出力に基づいて左目用視野位置を予測する左目用視野位置予測手段、
参照符号６は、左目用及び右目用視野位置検出手段４、５からの出力に基づいてカメラ１、２の相対対位置姿勢を求めるための相対位置検出手段、
参照符号７は、相対位置検出手段６からの相対位置データ及び左目用視野位置検出手段４からの左目用視野位置姿勢データ並び左目用視野位置予測手段１０からの出力に基づき、右目用の視野位置姿勢データを求める右目用視野位置計算手段、
参照符号８は、３次元モデルデータ格納部３の３次元モデルデータと左目用視野位置検出手段４及び右目用視野位置計算手段７からの左右の視野位置姿勢データに基づき、それぞれの視野に対応する画像データを再構成し、左目用及び右目用カメラ１、２からの左目用、右目用のライブ画像との重畳を行う画像再構成重畳手段、
参照符号９は、重畳された左右の画像データを立体画像表示するための画像表示手段である。
【００５０】
次に、この第２の実施の形態による立体画像表示装置の作用を説明すると、左目用視野位置予測手段１０を使用するか使用しないかが、上述した第１の実施の形態による立体画像表示装置の作用とことなり、基本的な作用は第１の実施の形態に準じている。
【００５１】
したがって、ここでは第１の実施の形態の作用と異なる点のみについて説明するものとする。
【００５２】
前述したように、被観察物体１１の位置による輻輳角や視差の大小による見易さを調整するために、カメラの設置幅、輻輳角については調整を行う場合には、左目用視野位置予測手段１０を使用しないで、相対位置検出手段６により左目用及び右目用視野位置検出手段４、５からの出力に基づいてカメラ１、２の相対位置姿勢検出を行うことにより、両視野の相対的な関係Ｗを求める。
【００５３】
これは、眼幅、輻榛角の設定時においては、処理の時間遅れはあまり問題にならないため、左目用視野位置予測手段１０を用いずに、左目用及び右目用視野位置検出手段４、５からの出力を用いて相対位置検出を行うことにより、両視野の相対的な関係Ｗを求めるようにしているものである。
【００５４】
次に、調整を終了し、被観察物体１１の観察を始める時点から、右目用視野位置検出手段５を停止し、左目用視野位置検出手段４からの出力Ｌを左目用視野位置予測手段１０にへ入力させる。
【００５５】
そして、左目用視野位置予測手段１０においては、時間遅れの分の予測を行いＬ´を求める。
【００５６】
この左目用視野位置予測手段１０としては、カルマンフィルタ等を用い、速度、位置を推定する方法や、予測用に加速度センサなどを用意しその出力をあわせて用いる方法がある。
【００５７】
次に、左目用視野位置予測手段１０によって予測されたＬ´にＷを乗ずることにより、右目視野位置の予測後の結果であるＲ´を得ることができる。
【００５８】
このようにして得られたＬ´及びＲ´を用いて、第１の実施の形態と同様にして画像再構成重畳手段８に３次元モデルデータ格納部３からの３次元モデルデータに基づき右目用、左目用の画像データを生成することにより、画像表示手段９において立体視表示が可能となる。
【００５９】
このことにより、調整時以外は視野位置検出手段４、５のうちのを１つだけ動作させれば良く、立体視を行う場合でも、時間遅れの少ない画像重畳システムを提供することが可能となる。
【００６０】
なお、上述したようなこの第２の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【００６１】
例えば、右目用視野位置検出結果だけを用い、左目用視野位置を計算することもできる。
【００６２】
また、多数のカメラを用い、同時に複数の視野の画像を入力する３次元計測装置などにおいても応用が可能である。
【００６３】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至３以外にも、以下に付記１乃至付記２として示すような発明が含まれている。
【００６４】
（付記１）視差を持った２系統の画像を入力する手段（１）、（２）と、
被観察物体（１１）の３次元コンピュータグラフィクスモデル（３）とを備え、該入力手段の位置姿勢を検出する手段（４）、（５）から検出された位置姿勢に基づき入力手段の視点位置からの視野を３次元モデル（３）に基づき再生し、入力手段（１）と（２）との相対関係を求めることで、観察時は位置姿勢検出手段（４）または（５）のみを使い視差を持った２系統の視点の位置姿勢を算出して３次元モデルを再構築し、２系統の入力手段による視差を持ったライブ画像を、再構成された３次元モデルに対して重畳して表示することを特徴とする立体画像表示装置。
【００６５】
（作用）
入力手段の位置姿勢を検出する手段（４）、（５）から検出された位置姿勢に基づき、２つの入力手段の相対的関係（Ｗ）を求める。
【００６６】
次に、左目用視野位置検出手段（４）の情報に基づき左目視点の位置姿勢（Ｌ）を求め、（Ｌ）に（Ｗ）を乗ずることで（５）の出力結果である右目視点の位置姿勢と等価な（Ｒ）が求まる。
【００６７】
求まった（Ｌ）及び（Ｒ）に基づき視点からの画像の再構築を行う。
【００６８】
（効果）
初期処理において２つの入力手段の位置姿勢の相対的関係（Ｗ）を求めることで、システムの稼動中は１つの検出手段ゝから両目に対応するそれぞれの視点の位置姿勢を計算でき、システムの高速化が図れる。
【００６９】
（付記２）視差を持った２系統の画像を入力する手段（１）、（２）と、
被観察物体（１１）の３次元コンピュータグラフィクスモデル（３）とを備え、該入力手段の位置姿勢を検出する手段（４）、（５）から検出された位置姿勢に基づき入力手段の視点位置からの視野を３次元モデル（３）に基づき再生し、画像の表示時の位置姿勢を推定する位置予測手段（６）を備え、入力手段（１）と（２）との相対関係を求めることで、観察時は位置姿勢検出手段（４）及び位置予測手段（６）を使い視差を持った２系統の視点の位置姿勢を算出して３次元モデルを再構築し、２系統の入力手段による視差を持ったライブ画像を、再構成された３次元モデルに対して重畳して表示することを特徴とする立体画像表示装置。
【００７０】
（作用）
入力手段の位置姿勢を検出する手段（４）、（５）から検出された位置姿勢に基づき、２つの入力手段の相対的関係（Ｗ）を求める。
【００７１】
次に、左目用視野位置検出手段（４）の情報に基づき視点の位置姿勢（Ｌ）を求め、（Ｌ）を位置予測手段（６）に入力することによって、予測時点の位置姿勢（Ｌ´）を求める。
【００７２】
次に、（Ｌ´）に（Ｗ）を乗ずることで右目視点の予測時点の位置姿勢（Ｒ´）が求まる。
【００７３】
求まった（Ｌ´）及び（Ｒ´）に基づき視点からの画像の再構築を行う。
【００７４】
（効果）
２つの入力手段の位置姿勢の相対的関係（Ｗ）を求め、１つの検出手段からの位置姿勢情報により予測時点の位置姿勢を推定することによって、もう一方の予測時点の位置姿勢が予測計算をすることなしに求められ、システムの高速化が図れる。
【００７５】
【発明の効果】
従って、以上説明したように、本発明によれば、立体視を行う場合でも、時間遅れの少ない画像重畳システムとして構成される立体画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、３次元立体表示装置２１上に表示されたコンピュータによる画像生成に係るＣＧ画像２３と、観察者が肉眼２２で見ている実像２４とをハーフミラー２５により重畳させて表示する従来の技術を示す図である。
【図２】図２は、被観察物体３１としての頭部の移動を検出するトラッキング手段としての位置・姿勢検出３４及び決定手段３５を用いることにより、移動する視点に対応するコンピュータによる画像生成に係る画像を観察者３２が見ている表示手段３３上に生成する従来の技術を示す図である。
【図３】図３は、頭部の動きを検出するセンサ４０により検出された観察者の頭部４１の位置姿勢情報をもとに、画像生成用コンピュータ４２により視線に対応したＣＧ画像を生成する際に、画像生成用コンピュータ４２内において頭部の動きを予測し画像生成の時間遅れによるダイナミックレジストレーションエラーを少なくする試みがなされている従来の技術を示す図である。
【図４】図４は、本発明による立体画像表示装置の第１の実施の形態の構成を示すブロック図である。
【図５】図５は、左目用及び右目用カメラ１、２が輻輳角Θと呼ばれる収束角度を持つことで、立体視を容易にするようになっていることを示す図である。
【図６】図６は、本発明による立体画像表示装置の第２の実施の形態の構成を示すブロック図である。
【符号の説明】
１１…被観察物体、
１、２…左目用、右目用のライブ画像を入力するためのカメラ、
３…被観察物体１１の３次元モデルデータ格納部、
４…左目用視野位置検出手段、
５…右目用視野位置検出手段、
６…相対位置検出手段、
７…右目用視野位置計算手段、
８…画像再構成重畳手段、
９…画像表示手段、
１０…左目用視野位置予測手段。

Claims

観察対象を撮像する複数の撮像手段と、
上記複数の撮像手段の位置及び姿勢を各々検出する位置姿勢検出手段と、
上記観察対象の３次元データを保持するデータ保持手段と、
各撮像手段の位置及び姿勢に応じて上記３次元データより２次元画像を各々生成し、上記各撮像手段の撮像した各画像と重畳する画像重畳手段と、
を具備する立体画像表示装置において、
上記位置姿勢検出手段の各検出結果より、各撮像手段の相対的な位置及び姿勢を求める相対位置検出手段と、
上記相対位置検出手段によって求めた相対的な位置及び姿勢を用いて、一つの撮像手段の位置及び姿勢より他の撮像手段の位置及び姿勢を求める手段をさらに具備することを特徴とする立体画像表示装置。
撮像手段の位置及び姿勢より、所定時間後の撮像手段の位置及び姿勢を予測する予測手段をさらに具備し、
上記画像重畳手段は、上記予測手段で予測された各撮像手段の位置及び姿勢に応じて上記３次元データより２次元画像を各々生成することを特徴とする請求項１記載の立体画像表示装置。