JP4378118B2 - 立体映像呈示装置 - Google Patents
立体映像呈示装置 Download PDFInfo
- Publication number
- JP4378118B2 JP4378118B2 JP2003184900A JP2003184900A JP4378118B2 JP 4378118 B2 JP4378118 B2 JP 4378118B2 JP 2003184900 A JP2003184900 A JP 2003184900A JP 2003184900 A JP2003184900 A JP 2003184900A JP 4378118 B2 JP4378118 B2 JP 4378118B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- live
- action
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置に係り、例えば、遺跡で過去の建築物等の展示や説明を行う遺跡展示システム、建設現場で建設主に今後建設される予定のビル等のイメージを示す建設イメージ説明システム、地方自治体等が埋立地にビルや各種施設を建設する場合のように都市開発や都市計画の分野において住民の意思形成や合意形成を得るために開発計画を示す開発計画説明システム等に利用できる。
【０００２】
【背景技術】
近年、現実空間と仮想空間とを融合した環境である「複合現実感」（ＭＲ：Mixed Reality）に関する研究が盛んに行われている。その中でも、現実空間に仮想空間の物体を重畳することで現実の感覚を増強するＡＲ（Augmented Reality）は、注目されている。例えば、遺跡において、現在では消失してしまった過去の建造物等をコンピュータ・グラフィクス（ＣＧ：Computer Graphics）により生成し、このＣＧ画像を実写画像に対して適切な位置に重ね合わせて表示し、遺跡の見学者に呈示することができる遺跡展示システム等の如く、実写画像とＣＧ画像との重畳表示を可能にしたシステムが本願出願人により提案されている（特願２００２−２６６０２５号参照）。
【０００３】
また、実写型立体映像に立体ＣＧ画像を合成することができる画像合成装置も提案されている（特許文献１参照）。この画像合成装置では、実写画像に合成されるＣＧ画像は、現実空間の被写体画像撮影時のカメラパラメータ（撮影時のカメラの焦点距離、２つのカメラのレンズ中心（視点）間の距離、画像データの画素間隔、カメラの輻輳角、絞り値、画像信号処理部や色信号処理回路の処理パラメータ）を用いて透視投影により生成されるので、違和感のない立体表示を行うことができるようになっている。さらに、この画像合成装置では、撮影者が３次元表示装置に表示される立体画像を見ながら、ＣＧ操作部のインターフェースを介してＣＧの３Ｄ操作（ＣＧ画像の回転、移動、変倍の指示）を行うことができるようになっている。
【０００４】
なお、本発明に関する基礎技術や周辺技術を示す一般的な文献としては、例えば、ＣＧ画像生成時のレンダリングに関する文献（非特許文献１参照）、ＣＧ用モデルの変形時のモーフィング等に関する文献（非特許文献２参照）、眼球運動測定に関する文献（非特許文献３，５参照）、瞬目測定に関する文献（非特許文献４，５参照）等がある。
【０００５】
【特許文献１】
特開平１０−３３６７０３号公報（段落［０００９］、［００１０］、［００３４］〜［００４８］、［００６３］〜［００６７］、図１、図５）
【０００６】
【非特許文献１】
廣瀬通孝著、「バーチャル・リアリティ」、初版、産業図書株式会社、平成５年９月２日、ｐ．１７９−１８４
【非特許文献２】
社団法人テレビジョン学会編集、「先端技術の手ほどきシリーズ ３次元ＣＧ」、第１版、株式会社オーム社、平成６年２月１０日、ｐ．１４３−１５１
【非特許文献３】
加藤象二郎、大久保堯夫著、「初学者のための生体機能の測り方」、第１版、株式会社日本出版サービス、１９９９年４月２０日、ｐ．１０５−１０９
【非特許文献４】
大串健吾、中山剛、福田忠彦著、「画質と音質の評価技術」、初版、株式会社昭晃堂、１９９１年３月２８日、ｐ．１４２−１４７
【非特許文献５】
泉武博著、「３次元映像の基礎」、第１版、株式会社オーム社、平成７年６月５日、ｐ．４５−５３
【０００７】
【発明が解決しようとする課題】
ところで、前述した本願出願人による遺跡展示システムも含め、従来のＡＲに関する技術は平面視によるものが多いが、平面視によるＡＲでは、１枚の実写画像と１枚のＣＧ画像とを適切に位置を合わせて重畳表示するだけでよい。これに対し、立体視によるＡＲでは、左右の実写画像と左右のＣＧ画像とをそれぞれ位置合わせしなければならず、しかも実時間で違和感のない重畳表示を実現するには、左右の実写画像の変化に同期させて左右のＣＧ画像を変化させなければならないので、平面視によるＡＲに比べて処理が複雑化する。
【０００８】
前述したように特許文献１に記載された画像合成装置では、左右の実写画像と左右のＣＧ画像とをそれぞれ合成し、違和感のない立体表示を実現している。しかし、この立体表示は、現実空間と仮想空間とを融合するものであるが、現実空間を形成する左右の実写画像と仮想空間を形成する左右のＣＧ画像との位置合わせを行うものではなく、また、左右の実写画像の変化（倍率変化や方向変化等）に対して左右のＣＧ画像を実時間で同期させるものでもない。
【０００９】
また、特許文献１に記載された画像合成装置では、実写画像撮影時のカメラパラメータをＣＧ画像の生成処理で用いるので、実写カメラの条件を仮想カメラの条件に反映させることはできるものの、特許文献１には、実写画像の倍率変化についての記載はなく、従って、実写画像の倍率を実時間で変化させた場合に、この変化にＣＧ画像を同期させるために仮想カメラの条件を具体的にどのように設定するかの記載もない。このため、特許文献１の記載は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像との実時間での合成処理を行う際の技術的課題を解決する方法を提供するものではない。
【００１０】
なお、特許文献１に記載された画像合成装置では、撮影者がＣＧの３Ｄ操作を行うことにより、ＣＧ画像の倍率を変化させることができるようになっているが、これは実写画像の倍率変化に同期させてＣＧ画像の倍率を変化させるものではなく、実写画像の倍率とは無関係に撮影者の操作に従ってＣＧ画像の倍率を変化させる処理である。また、撮影者がＣＧの３Ｄ操作を行うことからも、特許文献１に記載された画像合成装置が、実写画像とＣＧ画像とを適切に位置合わせして重畳表示を行う装置ではないことがわかる。
【００１１】
さらに、特許文献１には、実写画像撮影時のカメラの輻輳角を変更可能な構成としてもよく、このような構成とする場合に、カメラパラメータとしてカメラの輻輳角をＣＧ画像の生成処理で用いる旨の記載がある。しかし、ＣＧ画像の生成処理の際に、カメラパラメータとしての輻輳角をどのように用いるかの具体的な記載はなく、実写画像の倍率変化との関係でその輻輳角をどのように用いるかの記載もない。
【００１２】
従って、観察者による倍率操作を含む各種の操作に対し、実時間で応答して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置は開発されていないのが現状であり、このような立体映像呈示装置が望まれていた。
【００１３】
本発明の目的は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像とを実時間で合成することにより、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置を提供するところにある。
【００１４】
【課題を解決するための手段】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、実写型立体映像を構成する左右の実写映像を取得する実写映像取得手段と、観察者による実写映像取得手段を構成する実写カメラの方向操作情報を検出する方向操作情報検出手段と、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、このモデル情報記憶手段に記憶されたモデルに関する情報を用いて立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、左右の実写映像とこれらに対応する左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、この合成処理手段により生成された左右の合成画像を用いて観察者に対して複合的な現実感を伴う立体映像を呈示する出力手段とを備え、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラを用いてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成されていることを特徴とするものである。
【００１５】
ここで、「実写映像取得手段」は、左右２つの実写カメラにより左右の実写映像をそれぞれ撮影する構成でもよく、１つの実写カメラにより撮影した実写映像を用いて擬似的に左右の実写映像を取得する構成でもよい。後者の構成としては、例えば、ＣＩＤ法（Computed Image Depth method）や、水平方向に移動する物体（現実空間の被写体）があるような場合には、プルフリッヒ効果を利用したＭＴＤ法（Modified Time Difference）等を採用することができる。但し、より違和感のない立体映像を呈示するという観点からは、前者のような左右２つの実写カメラを備えた構成とすることが好ましい。
【００１６】
また、「実写カメラの方向操作情報」は、観察者によるパン操作やチルト操作等の操作量である。「方向操作情報検出手段」としては、例えば、エンコーダ等を採用することができる。「方向操作情報」は、例えば、パン操作角度やチルト操作角度の情報、ベクトル情報等である。
【００１７】
さらに、「倍率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。「倍率操作情報」は、必ずしも倍率若しくは倍率に比例するデータである必要はなく、例えば、画角若しくは画角に比例するデータ、あるいは焦点距離若しくは焦点距離に比例するデータのように、倍率と１対１で対応し、倍率の指標となるデータであってもよい。
【００１８】
そして、「実時間」は、厳密な意味でのリアルタイムを意味せず、観察後の事後的処理ではなく、観察中に観察者の操作に追従させて処理するという意味であり、例えば、人間の目の残光時間程度の処理時間の遅れは許容される。
【００１９】
このような本発明においては、観察者は、実写映像取得手段を構成する実写カメラの方向を変えながら観察を行う。この観察者による実写カメラの方向操作情報は、方向操作情報検出手段により検出される。また、観察者は、観察を行っている最中に、倍率操作手段により観察中の映像の倍率を変化させることができる。
【００２０】
そして、コンピュータ・グラフィクス画像生成手段で左右のコンピュータ・グラフィクス画像（以下、ＣＧ画像ということがある。）を生成する際には、仮想カメラ条件設定手段により、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させ、この仮想カメラ条件を用いてレンダリング処理手段によりレンダリング処理を行って左右のＣＧ画像を生成する。
【００２１】
このようにして観察者の操作に追従する形で生成される左右のＣＧ画像と、観察者の操作に応じた形で得られる左右の実写映像とを、合成処理手段によりそれぞれ合成し、これらの左右の合成画像を用いて出力手段により観察者に対して複合的な現実感を伴う立体映像を呈示する。
【００２２】
このため、観察者が、実写カメラの方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、ＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことが可能となり、これらにより前記目的が達成される。
【００２３】
前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ間隔を実現するための制御信号を発生させる間隔制御信号発生手段と、この間隔制御信号発生手段による前記制御信号に基づき前記左右の実写カメラ同士の間隔を適切な実写カメラ間隔に自動調整するカメラ間隔調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を適切な実写カメラ間隔に一致させて左右の仮想カメラの位置を設定する位置設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００２４】
ここで、「間隔制御信号発生手段」は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」を数式の形でプログラム内にコーディングしておくか、またはデータベースに記憶させておき、これらの数式またはデータベースを用いて、プログラムにより、倍率操作手段による倍率操作情報に基づき、観察者が指示した倍率についての適切な実写カメラ間隔を算出決定することができる。
【００２５】
また、「仮想カメラ条件設定手段」の「位置設定手段」は、上記の間隔制御信号発生手段でプログラムにより適切な実写カメラ間隔が算出される場合には、その算出結果から適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を把握してもよく、あるいは「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」に従って「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出してもよい。一方、上記の間隔制御信号発生手段がハードウェアにより実現される場合には、間隔制御信号発生手段で適切な実写カメラ間隔の算出処理が行われるわけではないので、「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出する。
【００２６】
さらに、「倍率または倍率指標値」とは、倍率若しくは倍率に比例するデータ、あるいは倍率と１対１で対応する画角若しくは画角に比例するデータをいう。
【００２７】
そして、「左右の実写カメラの画角」は、倍率操作手段による倍率操作情報に基づいて左右の実写カメラに送られるズーム信号により調整されるが、このズーム信号を発生させるズーム信号発生手段は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。「仮想カメラ条件設定手段」の「画角設定手段」は、このズーム信号発生手段がソフトウェアにより実現される場合には、このズーム信号発生手段から受け取る情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を把握してもよく、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出してもよい。一方、ズーム信号発生手段がハードウェアにより実現される場合には、ズーム信号発生手段で左右の実写カメラの画角が算出されるわけではないので、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出する。
【００２８】
このように光学ズームとともにカメラ間隔を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（またはそれに伴う画角の変化と考えてもよい。以下、同様である。）と同時または略同時に左右の実写カメラの間隔が変化し、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００２９】
また、前述した立体映像呈示装置において、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って倍率操作情報に基づき適切な画像中心位置変化量を算出する画像中心位置変化量算出手段と、この画像中心位置変化量算出手段により算出した画像中心位置変化量だけ画像中心位置を変化させて倍率操作情報に基づき左右の実写映像のデジタルズーム処理を行うデジタルズーム処理手段とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラの位置を設定する位置設定手段と、倍率操作情報に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００３０】
ここで、「左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて」とは、左右の実写映像の画像中心位置の各変化量の合計値と、左右の仮想カメラ同士の間隔の変化量とを一致させ、この際、左右の画像中心位置を互いに近づく方向に変化させた場合（左眼用の実写映像の画像中心位置を右方向へ、右眼用の実写映像の画像中心位置を左方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を狭め、一方、左右の画像中心位置を互いに離れる方向に変化させた場合（左眼用の実写映像の画像中心位置を左方向へ、右眼用の実写映像の画像中心位置を右方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を広げるという意味である。従って、左右の実写映像の画像中心位置の変化に対応させて左右の実写カメラの光軸位置を変化させたと仮定した場合（あくまで説明上の仮定であり、この構成の場合は、必ずしも左右２つの実写カメラの存在が前提となるものではない。）に、その変化したと仮定した左右の実写カメラ同士の間隔に左右の仮想カメラ同士の間隔を一致させるという意味である（図７参照）。
【００３１】
また、「左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する」とは、デジタルズームを光学ズームで行ったと仮定した場合に、その時の実写カメラの画角（変化したと仮定した画角）に仮想カメラの画角を一致させるという意味である。
【００３２】
このようにデジタルズームが可能な構成とした場合には、観察者による倍率操作があったときには、その倍率操作と同時または略同時に、取得された左右の実写映像の画像中心位置が変化し、この変化した画像中心位置を基準にしてデジタルズーム処理が行われ、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含む構成でもよく、１つの実写カメラにより得られた実写映像から擬似的に左右の実写映像を生成する構成でもよい。
【００３３】
さらに、前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ光軸角度を実現するための制御信号を発生させる光軸角度制御信号発生手段と、この光軸角度制御信号発生手段による制御信号に基づき左右の実写カメラの光軸角度を適切な実写カメラ光軸角度に自動調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を適切な実写カメラ光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていてもよい。
【００３４】
ここで、「光軸角度制御信号発生手段」は、光学ズームとともにカメラ間隔を変化させる構成における「間隔制御信号発生手段」の場合と同様に、ソフトウェアまたはハードウェアのいずれにより実現してもよく、ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースを用いて定められる。
【００３５】
このように光学ズームとともに光軸角度を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラの画角の変化）と同時または略同時に左右の実写カメラの光軸角度が変化し、これに伴って左右の仮想カメラの倍率（画角）および光軸角度が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００３６】
また、上記のように光学ズームとともに光軸角度を変化させる構成とした場合において、観察者が左右の実写カメラの光軸角度を変化させるための入力操作を行う光軸角度操作手段と、この光軸角度操作手段による光軸角度操作情報に基づいて発生させる制御信号により倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係とは無関係に左右の実写カメラの光軸角度を調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を左右の実写カメラの光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段を含んで構成されていてもよい。
【００３７】
ここで、「光軸角度操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００３８】
このように手動で光軸角度を変化させることができる構成とした場合には、観察者は、光軸角度操作手段を操作することにより、光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させることができ、自分の好みの立体感を作り出すことが可能となる。
【００３９】
以上において、光学ズームが可能な構成（カメラ間隔を変化させる場合および光軸角度を変化させる場合のいずれも含む。）と、デジタルズームが可能な構成とは、組み合わせてもよく、組み合わせることにより光学ズームとデジタルズームとの併用（連続適用）が可能となる。なお、併用する場合には、画質向上の観点から、光学ズームを優先することが好ましい。一方、デジタルズームのみの場合には、装置構成の簡易化や処理速度（追従速度）の向上を図ることができる。
【００４０】
また、以上に述べた立体映像呈示装置において、観察者が実写型立体映像と立体コンピュータ・グラフィクス画像との混合率を変化させるための入力操作を行う混合率操作手段を備え、合成処理手段は、混合率操作手段による混合率操作情報に基づき左右の合成画像を生成する構成とされていることが望ましい。
【００４１】
ここで、「混合率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４２】
このように実写型立体映像と立体ＣＧ画像との混合率を変化させることができる構成とした場合には、観察者は、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことが可能となる。
【００４３】
さらに、以上に述べた立体映像呈示装置において、観察者が実写型立体映像の変化とは独立して立体コンピュータ・グラフィクス画像を変化させるための入力操作を行うコンピュータ・グラフィクス操作手段を備え、コンピュータ・グラフィクス画像生成手段は、コンピュータ・グラフィクス操作手段によるコンピュータ・グラフィクス操作情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いてモデルを変形させるモデル変形処理手段を含んで構成されていることが望ましい。
【００４４】
ここで、「コンピュータ・グラフィクス操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４５】
また、「モデルを変形させる」ことには、モデルの幾何形状を変形させること、表面特性（色や柄や質感等）を変化させること（無色透明から有色へ、あるいはその逆の変化を含む。）等が含まれる。
【００４６】
さらに、立体ＣＧ画像を変化させる目的としては、例えば、経年変化の観察、分岐状況の対比観察、複数候補や選択要素の対比観察等が挙げられる。経年変化の観察とは、例えば、ある遺跡の現在の状態、平安時代の状態、奈良時代の状態を対比するような観察等である。分岐状況の対比観察とは、例えば、ある地域の治安が悪化した場合の未来の状態と、核戦争後の未来の状態と、科学技術が健全に発展した場合の未来の状態とを対比するような観察等である。複数候補や選択要素の対比観察とは、例えば、建設現場においてビルのオーナーが建設予定のビルについての複数の案を対比するような観察等である。
【００４７】
このように立体ＣＧ画像を変化させることができる構成とした場合には、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することが可能となる。このため、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることが可能となる。
【００４８】
そして、以上に述べた立体映像呈示装置において、出力手段により呈示された立体映像を観察中の観察者の左眼および／または右眼を撮影する左眼撮影用および／または右眼撮影用のカメラと、これらの左眼撮影用および／または右眼撮影用のカメラにより撮影された左眼および／または右眼の画像を用いて左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の測定・解析を行う評価手段とを備えた構成とすることが望ましい。
【００４９】
このように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合には、観察者の生理情報（左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の情報）に基づき、立体映像の中の注視箇所、注視箇所に対する興味・関心の度合い、または注視箇所に対する好感度のうちの少なくとも一種類の情報を把握することが可能となる。このため、把握した情報に基づき、例えば、その観察者への別の情報呈示装置での情報呈示対象や情報呈示方法の選択等の調整、あるいはその観察者への評価結果の通知を行うことが可能となり、また、複数の観察者の生理情報から得られる情報を蓄積すれば、本発明の立体映像呈示装置で呈示する各種情報の全体的な見直し、変更、アレンジ等も可能となる。なお、評価手段による測定・解析は、実時間で行うことが好ましい。
【００５０】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から立体映像の中の注視箇所を同定する注視箇所同定手段と、この注視箇所同定手段により同定した注視箇所を記録して保存する注視箇所記憶手段とを備えた構成とすることが望ましい。
【００５１】
このように注視箇所同定手段および注視箇所記憶手段を設けた場合には、左眼および／または右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することが可能となる。なお、注視箇所同定手段による同定処理は、実時間で行うことが好ましい。
【００５２】
そして、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞬目の発生頻度から立体映像の中の注視箇所に対する興味・関心の度合いを定量化する興味・関心度合い定量化手段と、この興味・関心度合い定量化手段により定量化した興味・関心度合いを記録して保存する興味・関心度合い記憶手段とを備えた構成とすることが望ましい。
【００５３】
このように興味・関心度合い定量化手段および興味・関心度合い記憶手段を設けた場合には、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することが可能となる。なお、興味・関心度合い定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５４】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞳孔面積から立体映像の中の注視箇所に対する好感度を定量化する好感度定量化手段と、この好感度定量化手段により定量化した好感度を記録して保存する好感度記憶手段とを備えた構成とすることが望ましい。
【００５５】
このように好感度定量化手段および好感度記憶手段を設けた場合には、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することが可能となる。なお、好感度定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５６】
さらに、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についての付帯情報を記憶する付帯情報記憶手段と、観察対象物についての出力手段による付帯情報の呈示が可能であることを表示する処理を行うイベント発生可能表示処理手段と、このイベント発生可能表示処理手段によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段と、このイベント開始操作手段により選択された観察対象物について付帯情報記憶手段に記憶されている付帯情報を出力手段により呈示する処理を行う付帯情報呈示手段とを備えた構成とすることが望ましい。
【００５７】
ここで、「イベント開始操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００５８】
また、「付帯情報」には、例えば、テキスト情報、音声情報、静止画情報、動画情報、あるいはこれらの組合せ等が含まれ、静止画情報や動画情報は、実写画像でも２Ｄや３ＤのＣＧ画像でもよく、観察者への呈示は、平面視でも立体視でもよい。
【００５９】
このようにイベント発生が可能な構成とした場合には、観察者に対し、より多くの情報を呈示することが可能となるうえ、観察者のイベント開始操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することが可能となる。
【００６０】
そして、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うブックマーク可能表示処理手段と、このブックマーク可能表示処理手段によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段と、このブックマーク操作手段による観察対象物の選択情報を受け付けてこの観察対象物にブックマークを付すための登録処理を行うブックマーク登録処理手段と、このブックマーク登録処理手段による登録処理対象となった観察対象物の識別情報およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するブックマーク情報記憶手段と、このブックマーク情報記憶手段に記憶されたブックマーク情報を含む観察者の操作情報をネットワークを介して別の情報呈示装置に送信する観察者操作情報送信手段とを備えた構成とすることが望ましい。
【００６１】
ここで、本発明の立体映像呈示装置が、例えば、定位置から広範囲な場所を観察する定点観測装置であるとすれば、「別の情報呈示装置」は、例えば、観察者が携帯しながら呈示情報を見ることができる携帯型の情報呈示装置である。
【００６２】
また、「観察者操作情報送信手段」は、ブックマーク情報を含む観察者の操作情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６３】
さらに、「ブックマーク情報を含む観察者の操作情報」とは、ブックマーク情報の他に、例えば、パン操作やチルト操作、倍率操作、混合率操作、イベント開始操作、コンピュータ・グラフィクス操作等の観察者による各種の操作情報を別の情報呈示装置に送信してもよい趣旨である。
【００６４】
そして、「ネットワーク」には、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット、あるいはこれらの組合せ等、様々な形態のものが含まれ、有線であるか無線であるか、さらには有線および無線の混在型であるかは問わず、要するに、複数地点（距離の長短は問わない。）間で、ある程度の速度をもって情報を伝送することができるものであればよい。
【００６５】
このように観察対象物にブックマークを付すことが可能な構成とした場合には、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことが可能となる。また、別の情報呈示装置へのブックマーク情報の送信を行うことができるので、別の情報呈示装置において、ブックマークを付した観察対象物への誘導処理等を行うことが可能となる。
【００６６】
また、前述した左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から同定された立体映像の中の注視箇所と、評価手段により測定・解析された観察者の瞬目の発生頻度から定量化された立体映像の中の注視箇所に対する興味・関心の度合いと、評価手段により測定・解析された観察者の瞳孔面積から定量化された立体映像の中の注視箇所に対する好感度とのうち、少なくとも一種類の情報をネットワークを介して別の情報呈示装置に送信する観察者生理情報送信手段を備えた構成とすることが望ましい。
【００６７】
ここで、「観察者生理情報送信手段」は、観察者の生理情報から得られた情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６８】
このように観察者生理情報送信手段を設けた場合には、観察者の生理情報から得られた情報を、別の情報呈示装置において、観察者の誘導処理や観察者への情報呈示処理に利用することが可能となる。
【００６９】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【００７０】
［第１実施形態］
図１には、本発明の第１実施形態の立体映像呈示装置１０の全体構成がデータや信号の流れとともに示されている。また、図２は、立体映像呈示装置１０の双眼鏡装置２０の立面構成図であり、図３は、双眼鏡装置２０を上側から見た状態の水平断面図であり、図４は、双眼鏡装置２０の入力操作手段７０の斜視図である。
【００７１】
図１および図２において、立体映像呈示装置１０は、観察者１が左右両眼で遺跡等のフィールドを観察するための双眼鏡装置２０と、この双眼鏡装置２０にケーブル２を介して接続されて観察に必要な各種の画像処理を行う画像処理装置８０とを備えて構成されている。
【００７２】
双眼鏡装置２０は、観察者１が覗く双眼鏡３０と、この双眼鏡３０を可動自在に支持する双眼鏡支持機構５０と、双眼鏡３０の設置位置を移動させるための台車６０と、この台車６０に立設されて双眼鏡３０および双眼鏡支持機構５０を下側から支える長さ調整可能な双眼鏡高さ位置調整棒６１と、観察者１の入力操作を受け付けるインターフェースの役割を果たす入力操作手段７０とを備えている。
【００７３】
図２および図３において、双眼鏡３０は、左右の実写映像を取得する実写映像取得手段３１を構成する左右２つの実写カメラ３２，３３と、これらの実写カメラ３２，３３同士の間隔を自動調整するカメラ間隔調整装置３４と、左眼用の画像を出力する垂直方向に配置された液晶パネル３５と、右眼用の画像を出力する水平方向に配置された液晶パネル３６と、これらの液晶パネル３５，３６とそれぞれ４５度をなす方向に配置されたハーフミラー３７と、偏光フィルタ付の左右の接眼レンズ３８，３９とを備えている。
【００７４】
実写カメラ３２，３３は、例えばＣＣＤカメラ等であり、光学ズームが可能な構成とされている。また、光量を調整するＮＤフィルタを適宜設けてもよい。
【００７５】
カメラ間隔調整装置３４は、例えばモータやシリンダ装置等により駆動され、間隔制御信号発生手段８２からの制御信号により制御される。
【００７６】
液晶パネル３５，３６は、例えばＴＦＴパネル等であり、偏光フィルタにより互いに９０度偏光方向の異なる画像を出力する。そして、図２中の一点鎖線に示すように、左眼用の画像を出力する液晶パネル３５からの光線は、ハーフミラー３７を透過し、左右の接眼レンズ３８，３９に至り、図３中の一点鎖線に示すように、偏光フィルタにより左眼用の接眼レンズ３８は通過するが右眼用の接眼レンズ３９は通過しない。一方、図２中の点線に示すように、右眼用の画像を出力する液晶パネル３６からの光線は、ハーフミラー３７で直角に曲げられて左右の接眼レンズ３８，３９に至り、図３中の点線に示すように、偏光フィルタにより右眼用の接眼レンズ３９は通過するが左眼用の接眼レンズ３８は通過しない。従って、液晶パネル３５，３６およびハーフミラー３７、並びに左右の接眼レンズ３８，３９により、観察者１に対して両眼視差を伴う立体映像を呈示する出力手段４０が構成されている。
【００７７】
なお、本実施形態の場合とは逆に、左眼用の画像を出力する液晶パネルを水平方向に配置し、右眼用の画像を出力する液晶パネルを垂直方向に配置してもよい。また、本実施形態では、直線偏光方式としているが、偏光方式は円偏光方式としてもよい。
【００７８】
また、双眼鏡３０は、出力手段４０により呈示された立体映像を観察中の観察者の左眼および右眼を撮影する左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。これらのカメラ４１，４２は、ハーフミラー３７に映っている左眼および右眼を撮影できるように、図２においてハーフミラー３７の右下位置に配置されているが、図２中の二点鎖線に示すように、ハーフミラー３７の左上位置に配置してもよい。
【００７９】
双眼鏡支持機構５０は、観察者によるパン操作を許容するパン操作機構５１と、観察者によるチルト操作を許容するチルト操作機構５２とにより構成されている。パン操作機構５１には、方向操作情報検出手段であるパン操作角度検出手段５３が設けられ、チルト操作機構５２には、方向操作情報検出手段であるチルト操作角度検出手段５４が設けられている。これらのパン操作角度検出手段５３およびチルト操作角度検出手段５４は、例えばエンコーダ等である。
【００８０】
図１および図４において、入力操作手段７０は、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段７１を構成するズームアップボタン７１Ａおよびズームダウンボタン７１Ｂと、観察者が実写型立体映像と立体ＣＧ画像との混合率を変化させるための入力操作を行う混合率操作手段７２を構成するフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂと、観察者が立体ＣＧ画像を経年変化させるための入力操作を行うコンピュータ・グラフィクス操作手段である経年変化操作手段７３を構成するタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂとを備えている。
【００８１】
また、入力操作手段７０は、ブックマーク可能表示処理手段９６によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段であるブックマークボタン７４と、イベント発生可能表示処理手段９３によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段であるイベント開始ボタン７５とを備えている。
【００８２】
ズームアップボタン７１Ａは、倍率を上げるための望遠（Tele）用のボタンであり、ズームダウンボタン７１Ｂは、倍率を下げるための広角（Wide）用のボタンであり、これらのズームアップボタン７１Ａおよびズームダウンボタン７１Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の倍率指示状況を示す倍率指示状況表示部７１Ｃが出力される。本実施形態では、倍率指示状況表示部７１Ｃは、一例として、細長い逆三角形形状とされ、ズームアップボタン７１Ａおよびズームダウンボタン７１Ｂが右手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の右端位置に表示される。倍率指示状況表示部７１Ｃの上下方向の中央位置には、初期状態（Default）を示す標準倍率バー７１Ｄが設けられ、現在の指示倍率を示すスライドバー７１Ｅが倍率指示状況表示部７１Ｃの中を倍率操作に応じて上下するようになっている。ズームアップボタン７１Ａは、上側に設けられているので（図４参照）、それをイメージできるようにズームアップボタン７１Ａを押すとスライドバー７１Ｅが上方に移動し、一方、ズームダウンボタン７１Ｂは、下側に設けられているので（図４参照）、それをイメージできるようにズームダウンボタン７１Ｂを押すとスライドバー７１Ｅが下方に移動するようになっている。また、本実施形態では、光学ズームとデジタルズームとの併用が可能となっているので、スライドバー７１Ｅを最上部に位置させて最大倍率にすると、光学ズームおよびデジタルズームが併用される。但し、光学ズームが優先されるので、光学ズームだけで対応できる指示倍率の場合には、デジタルズームは行われない。
【００８３】
フェードインボタン７２Ａは、立体ＣＧ画像を濃く表示するためのボタンであり、フェードアウトボタン７２Ｂは、立体ＣＧ画像をうすく表示するためのボタンであり、これらのフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の混合率指示状況を示す混合率指示状況表示部７２Ｃが出力される。本実施形態では、混合率指示状況表示部７２Ｃは、一例として、立体ＣＧ画像の濃淡をイメージさせるように上側部分がボケていて下側部分が鮮明になっている細長い棒状とされ、フェードインボタン７２Ａおよびフェードアウトボタン７２Ｂが左手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の左端位置に表示される。混合率指示状況表示部７２Ｃの上下方向の中央位置には、混合度合いが均等になる初期状態（Default）を示す標準混合率バー７２Ｄが設けられ、現在の指示混合率を示すスライドバー７２Ｅが混合率指示状況表示部７２Ｃの中を混合率操作に応じて上下するようになっている。フェードインボタン７２Ａを押し続けると、スライドバー７２Ｅが下方に移動し（図４に示すようにフェードインボタン７２Ａが下側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像（例えば、図８中の過去の建造物等のモデル４）は除々に濃くなり、逆に、実写型立体映像（例えば、図８中の山や空や地面等の背景３）は除々にうすくなり、スライドバー７２Ｅが最下部の位置に達した時点で、立体ＣＧ画像のみとなり、実写型立体映像は消えてしまう。一方、フェードアウトボタン７２Ｂを押し続けると、スライドバー７２Ｅが上方に移動し（図４に示すようにフェードアウトボタン７２Ｂが上側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像は除々にうすくなり、逆に、実写型立体映像は除々に濃くなり、スライドバー７２Ｅが最上部の位置に達した時点で、実写型立体映像のみとなり、立体ＣＧ画像は消えてしまう。
【００８４】
タイムフォワードボタン７３Ａは、立体ＣＧ画像により形成される仮想空間の時間（本実施形態では、一例として時代とする。）を標準時（初期状態の時代）よりも未来の時代に進めるためのボタンであり、タイムバックワードボタン７３Ｂは、仮想空間の時間（時代）を標準時（初期状態の時代）よりも過去の時代に戻すためのボタンであり、これらのタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂを押すと、図９に示すように、出力手段４０の画面上に現在操作中の時間（時代）指示状況を示す時間（時代）指示状況表示部７３Ｃが出力される。本実施形態では、時代指示状況表示部７３Ｃは、一例として、横方向に細長い三角形形状とされ、タイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂが右手で操作される位置の上面に設けられているので（図４参照）、それをイメージさせるために画面の上端の右側位置に表示される。時代指示状況表示部７３Ｃの左右方向の中央位置には、初期状態（Default）を示す標準時バー７３Ｄが設けられ、現在指示中の時代を示すスライドバー７３Ｅが時代指示状況表示部７３Ｃの中を経年変化操作に応じて左右に移動するようになっている。
【００８５】
立体映像呈示装置１０では、観察者の方向操作や倍率操作に従って実写型立体映像が変化するとこれに同期して立体ＣＧ画像が変化するが、立体ＣＧ画像の経年変化は、このような実写型立体映像の変化に対する追従変化とは独立して行われる。例えば、図９に示すように、ある時代に存在していた物体として画面に表示される過去の建造物等のモデル４は、観察者により経年変化操作が行われて別の時代になると、図９中の二点鎖線に示すように画面から消えてしまい、別の建造物等のモデル５が現れる。この際、観察者の方向操作や倍率操作が全く行われていなくても、経年変化操作により立体ＣＧ画像が変化する。また、方向操作や倍率操作が行われれば、それらの操作が行われた各々の状況下において、それぞれ経年変化操作が可能である。なお、経年変化は、図９に示すような物体の消失や出現という変化に限らず、例えば、年月をかけて一つの建造物が除々に構築されていく様子や崩壊していく様子、あるいはそれらの様子と物体の消失や出現との組合せ等であってもよい。
【００８６】
図１において、画像処理装置８０は、コンピュータにより構成され、ズーム信号発生手段８１と、間隔制御信号発生手段８２と、画像中心位置変化量算出手段８３と、デジタルズーム処理手段８４と、コンピュータ・グラフィクス画像生成手段８５と、合成処理手段８９と、モデル情報記憶手段９０とを備えている。また、画像処理装置８０は、液晶ディスプレイやＣＲＴディスプレイ等の表示手段８０Ａを備え（図２参照）、この表示手段８０Ａには、双眼鏡装置２０の出力手段４０により観察者に対して呈示される両眼視差を伴う立体映像と同じ立体映像が表示されるので、表示手段８０Ａを見ている者は、液晶シャッタ方式や偏光フィルタ方式のメガネ等を用いることにより、双眼鏡３０を覗いている観察者と同じ映像を見ることができる。
【００８７】
ズーム信号発生手段８１は、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとされている。）に基づきズーム信号を発生させ、このズーム信号を左右の実写カメラ３２，３３に送信する処理を行うものである。なお、ズーム信号は、画像処理装置８０を経由せずに、倍率操作手段７１から左右の実写カメラ３２，３３に送られるようにしてもよい。
【００８８】
間隔制御信号発生手段８２は、光学ズーム時に、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ間隔を算出し、この間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信する処理を行うものである。ここで、予め定められた倍率または倍率指標値と左右の実写カメラ３２，３３同士の間隔との対応関係は、数式またはデータベースにより定められる。
【００８９】
画像中心位置変化量算出手段８３は、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な画像中心位置変化量を算出する処理を行うものである。ここで、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係は、数式またはデータベースにより定められる。
【００９０】
デジタルズーム処理手段８４は、画像中心位置変化量算出手段８３により算出した画像中心位置変化量だけ画像中心位置を変化させた状態で、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写映像のデジタルズーム処理を行うものである。
【００９１】
コンピュータ・グラフィクス画像生成手段８５は、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて立体ＣＧ画像を構成する左右のＣＧ画像を生成する処理を行うものであり、仮想カメラ条件設定手段８６と、モデル変形処理手段８７と、レンダリング処理手段８８とを含んで構成されている。
【００９２】
仮想カメラ条件設定手段８６は、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報（例えば、エンコーダのパルス信号等）、並びに倍率操作手段７１による倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、左右の仮想カメラ９１，９２の条件を実時間で変化させる処理を行うものであり、仮想カメラ９１，９２の方向を設定する方向設定手段８６Ａと、仮想カメラ９１，９２の画角を設定する画角設定手段８６Ｂと、仮想カメラ９１，９２の位置を設定する位置設定手段８６Ｃとを含んで構成されている。
【００９３】
方向設定手段８６Ａは、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【００９４】
画角設定手段８６Ｂは、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する（図６参照）。また、画角設定手段８６Ｂは、デジタルズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する（図７参照）。
【００９５】
位置設定手段８６Ｃは、光学ズーム時には、左右の仮想カメラ９１，９２同士の間隔を、間隔制御信号発生手段８２により算出された適切な実写カメラ間隔に一致させるように、左右の仮想カメラ９１，９２の位置を設定する（図６参照）。また、位置設定手段８６Ｃは、デジタルズーム時には、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラ９１，９２の位置を設定する（図７参照）。
【００９６】
モデル変形処理手段８７は、経年変化操作手段７３による経年変化操作情報に基づき、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて、モデルを変形させる処理を行うものである。この際、モデルの変形は、２つの形状から中間形状を生成するモーフィング（ブレンドシェープと称されることもある。）の機能等により実現される。例えば、形状の変化情報を、ある一定の時間（時代）毎にモデル情報記憶手段９０に記憶させておき、これらの複数（２つまたは３つ以上）の時間（時代）と時間（時代）との間における変化については、予め記憶させておいた形状データを補間して表示することができる。但し、本発明におけるモデルの変形は、モデルの幾何形状の変形のみならず、表面特性（色や柄や質感等）の変化等も含まれ、図９に示すような物体の出現や消失（例えば、無色透明から有色へ、あるいはその逆の変化により実現できる。）も含まれる。なお、モーフィング等のモデル変形処理については、前述した非特許文献２等に詳述されているので、ここでは詳しい説明は省略する。
【００９７】
レンダリング処理手段８８は、仮想カメラ条件設定手段８６により設定された条件下で、左右の仮想カメラ９１，９２を用いてレンダリング処理を行うことにより左右のＣＧ画像を生成するものであり、レンダラーと称されるソフトウェアにより実現される。なお、レンダリング処理については、前述した非特許文献１等に詳述されているので、ここでは詳しい説明は省略する。
【００９８】
合成処理手段８９は、左眼用の実写映像と左眼用のＣＧ画像とを重ね合わせて左眼用の合成画像を生成するとともに、右眼用の実写映像と右眼用のＣＧ画像とを重ね合わせて右眼用の合成画像を生成する処理を行うものである。この合成処理の際には、混合率操作手段７２による混合率操作情報に基づき、実写映像とＣＧ画像との混合割合を調整する。
【００９９】
モデル情報記憶手段９０は、実写映像取得手段３１による実写映像取得対象となる現実空間（本実施形態では、一例として遺跡等のフィールド）に対応する仮想空間を形成するためのＣＧ用のモデルに関する情報を記憶するものである。モデルに関する情報には、各モデルの形状データ、位置データ、表面特性のデータ（色のデータ、テクスチャマッピングデータ、バンプマッピングデータ等を含む。）、経年変化用のモデル変形に関するデータ、ブックマークが可能か否かの情報（ブックマークは、モデル毎に付すことができるようにしてもよく、モデルの構成パーツ毎に付すことができるようにしてもよい。）等が含まれる。なお、後述する付帯情報記憶手段９５に記憶される付帯情報（基本情報の説明データやムービーデータ）を、モデル情報記憶手段９０にまとめて記憶させてもよい。
【０１００】
また、図１において、画像処理装置８０は、イベント発生可能表示処理手段９３と、付帯情報呈示手段９４と、付帯情報記憶手段９５と、ブックマーク可能表示処理手段９６と、ブックマーク登録処理手段９７と、観察者操作情報送信手段９８と、ブックマーク情報記憶手段９９と、ログデータ記憶手段１００とを備えている。
【０１０１】
イベント発生可能表示処理手段９３は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物について出力手段４０による付帯情報の呈示が可能であることを表示する処理を行うものである。このイベント発生可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。
【０１０２】
なお、実写型立体映像の中の観察対象物（例えば、遺跡において、現在まで消失せずに残っている建造物、あるいは高樹齢や歴史的価値のある特徴的な樹木等）は、画面上に表示されないＣＧ用のモデルをその観察対象物に重なる位置に用意しておくことにより、イベント開始ボタン７５による選択対象とすることができ、イベントを発生させることができる。後述するように、実写型立体映像の中の観察対象物を、ブックマークを付す選択対象とする場合も同様である。
【０１０３】
付帯情報呈示手段９４は、イベント開始操作手段であるイベント開始ボタン７５（図４参照）により選択された観察対象物について付帯情報記憶手段９５に記憶されている付帯情報を、出力手段４０により呈示する処理を行うものである。
【０１０４】
付帯情報記憶手段９５は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についての付帯情報を記憶するものである。本実施形態では、各観察対象物についての付帯情報として、文章による説明で基本情報の呈示を行うためのデータと、基本情報に加えてムービーでの情報呈示を行うためのデータとが用意されている。
【０１０５】
ブックマーク可能表示処理手段９６は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うものである。このブックマーク可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。そして、ブックマーク可能表示処理手段９６は、出力手段４０の画面中央位置（カメラ光軸の延長上）にあり、かつ、画面における表示面積が一定以上のモデル（またはその構成パーツ）について、モデル情報記憶手段９０に記憶されているそのモデルに関する情報を参照し、そのモデル（またはその構成パーツ）がブックマーク可能モデル（またはパーツ）であるときに、ブックマーク可能表示を行う。
【０１０６】
ブックマーク登録処理手段９７は、ブックマーク操作手段であるブックマークボタン７４（図４参照）による観察対象物の選択情報を受け付け、この観察対象物にブックマークを付すための登録処理として、選択された観察対象物についてのブックマーク情報をブックマーク情報記憶手段９９に記憶させる処理を行うものである。
【０１０７】
観察者操作情報送信手段９８は、ブックマーク情報記憶手段９９に記憶されたブックマーク情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。また、必要に応じ、ログデータ記憶手段１００に記憶されたログデータを送信する処理も行う。
【０１０８】
なお、図２において、情報呈示装置１３０は、観察者の頭部に装着する携帯型の情報呈示装置であり、情報呈示装置１４０は、観察者が手で持ち運ぶ携帯型の情報呈示装置であり、いずれも本発明の立体映像呈示装置１０により観察される遺跡等のフィード内に存在する観察対象物について情報呈示を行う装置である。これらの情報呈示装置１３０，１４０は、例えば、前述した本願出願人により提案されている装置（特願２００２−２６６０２５号参照）等である。そして、観察者は、情報呈示装置１３０，１４０の画面上の誘導表示に従って観察対象物の近傍まで行き、そこで観察対象物について情報呈示装置１３０，１４０から情報呈示を受けることができる。
【０１０９】
ブックマーク情報記憶手段９９は、ブックマーク登録処理手段９７による登録処理対象となった観察対象物の識別情報（ＩＤ）およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するものである。なお、ブックマーク情報には、識別情報（ＩＤ）および順序情報の他に、例えば、観察対象物の位置情報（緯度や経度の情報）を含ませてもよい。このブックマーク情報は、別の情報呈示装置１３０，１４０（図２参照）に送信され、これらの情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導表示（観察順序を含めた誘導も可能である。）等の処理に利用される。また、これらの情報呈示装置１３０，１４０で、識別情報（ＩＤ）から位置情報（緯度や経度の情報）を把握することができる場合には、位置情報は送信しなくてもよい。
【０１１０】
ログデータ記憶手段１００は、ブックマーク操作以外の観察者の操作をログデータとして記憶するものであり、パン操作、チルト操作、倍率操作、混合率操作、イベント開始操作、ＣＧ操作（経年変化操作）が、各操作の行われた時刻とともに記録されて保存される。なお、出力手段４０により観察者に対して呈示される立体映像のデータ（液晶パネル３５，３６により表示される左右の合成画像のデータ）、さらには左右の合成画像の生成に用いられた左右の実写映像のデータおよび左右のＣＧ画像のデータ（ＣＧ画像の生成に用いられたモデルのＩＤを含む。）も、図示されない画像データ記憶手段に記録されて保存される。
【０１１１】
さらに、図１において、画像処理装置８０は、評価手段１１０と、注視箇所同定手段１１１と、興味・関心度合い定量化手段１１２と、好感度定量化手段１１３と、観察者生理情報送信手段１１４と、注視箇所記憶手段１１５と、興味・関心度合い記憶手段１１６と、好感度記憶手段１１７とを備えている。
【０１１２】
評価手段１１０は、左眼撮影用および右眼撮影用のカメラ４１，４２（図２、図３参照）により撮影された左眼および右眼の画像について、それぞれ画像処理を実時間で行い、左眼および右眼の眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を実時間で行うものである。
【０１１３】
注視箇所同定手段１１１は、評価手段１１０により測定・解析された観察者の左眼および右眼の眼球運動から、立体映像の中の注視箇所を実時間で同定し、その結果を注視箇所記憶手段１１５に記録する処理を行うものである。例えば、各時刻における注視箇所を、画面上の位置（ドット単位）で定めて記録する。
【０１１４】
興味・関心度合い定量化手段１１２は、評価手段１１０により測定・解析された観察者の瞬目の発生頻度から、立体映像の中の注視箇所に対する興味・関心の度合いを実時間で定量化し、その結果を興味・関心度合い記憶手段１１６に記録する処理を行うものである。
【０１１５】
好感度定量化手段１１３は、評価手段１１０により測定・解析された観察者の瞳孔面積から、立体映像の中の注視箇所に対する好感度を実時間で定量化し、その結果を好感度記憶手段１１７に記録する処理を行うものである。
【０１１６】
従って、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、および好感度記憶手段１１７に記録された各時刻のデータを、ブックマーク情報記憶手段９９およびログデータ記憶手段１００に記録された各時刻における観察者の操作情報、並びに画像データ記憶手段（不図示）に記録された画像データおよび画像生成情報と照らし合わせることにより、同定された注視箇所、定量化された注視箇所に対する興味・関心度合いおよび好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかを把握することができる。
【０１１７】
なお、これらの各手段１１０〜１１３による観察者の生理情報の評価、同定、定量化の処理については、前述した非特許文献３〜５に詳述されているので、ここでは詳しい説明は省略する。
【０１１８】
観察者生理情報送信手段１１４は、注視箇所記憶手段１１５に記録した注視箇所、興味・関心度合い記憶手段１１６に記録した注視箇所に対する興味・関心度合い、および好感度記憶手段１１７に記録した注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。各情報を送信する際には、注視箇所、注視箇所に対する興味・関心度合い、および注視箇所に対する好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかという情報も合わせて送信する。例えば、ある時刻（またはある時間内）における注視箇所として同定された画面位置に映っていたモデルやその構成パーツのＩＤも合わせて送信する。また、注視箇所が変化する状況下において、興味・関心度合いや好感度が定量化された場合には、例えば、その間に画面上に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよく、あるいは注視箇所として同定された複数の画面位置に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよい。
【０１１９】
注視箇所記憶手段１１５は、注視箇所同定手段１１１により同定した注視箇所を記録して保存するものである。
【０１２０】
興味・関心度合い記憶手段１１６は、興味・関心度合い定量化手段１１２により定量化した興味・関心度合いを記録して保存するものである。
【０１２１】
好感度記憶手段１１７は、好感度定量化手段１１３により定量化した好感度を記録して保存するものである。
【０１２２】
以上において、画像処理装置８０の各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４は、画像処理装置８０を構成するコンピュータ本体（パーソナル・コンピュータのみならず、その上位機種のものも含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１２３】
また、画像処理装置８０の各記憶手段９０，９５，９９，１００，１１５〜１１７は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【０１２４】
さらに、画像処理装置８０は、一台のコンピュータあるいは一つのＣＰＵにより実現されるものに限定されず、複数のコンピュータ等で分散処理（各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４毎の機能に従った機能的な分散処理、および並列処理により処理速度向上を図るための分散処理を含む。）を行うことにより実現されるものであってもよい。
【０１２５】
このような第１実施形態においては、以下のようにして観察者に対して立体映像呈示装置１０による複合的な現実感を伴う立体映像の呈示が行われる。
【０１２６】
図５には、画像処理装置８０の処理の流れがフローチャートで示されている。図５において、先ず、画像処理装置８０の電源を投入してプログラムを起動させる（ステップＳ１）。
【０１２７】
次に、パン操作角度検出手段５３により検出されたパン操作角度、チルト操作角度検出手段５４により検出されたチルト操作角度、倍率操作手段７１による倍率操作情報、混合率操作手段７２による混合率操作情報、および経年変化操作手段７３による経年変化操作情報を読み込む（ステップＳ２）。これらの操作情報は、観察者による操作が行われなくても、常に最新情報が画像処理装置８０に送られるようになっている。なお、操作があった場合にのみ、その操作情報を画像処理装置８０に送るようにしてもよい。
【０１２８】
続いて、間隔制御信号発生手段８２により、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての最適な実写カメラ間隔を算出する（ステップＳ３）。
【０１２９】
図６は、光学ズーム時の処理の説明図である。図６に示すように、実写カメラ３２，３３の画角および間隔は、初期状態（Ｄｅｆａｕｌｔ）で画角θｃおよび間隔Ｄｃであったとすると、望遠（Ｔｅｌｅ）にした場合には、レンズの焦点距離が長くなり、画角θｃは狭くなって画角θｃt（θｃ＞θｃt）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために狭められて間隔Ｄｃt（Ｄｃ＞Ｄｃt）となる。一方、広角（Ｗｉｄｅ）にした場合には、レンズの焦点距離が短くなり、画角θｃは広くなって画角θｃw（θｃ＜θｃw）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために広げられて間隔Ｄｃw（Ｄｃ＜Ｄｃw）となる。この画角と間隔との対応関係は、予め数式またはデータベースにより定められているものであり、例えば、Ｄｃ：θｃ＝Ｄｃt：θｃt＝Ｄｃw：θｃwのように比例関係としてもよいが、これに限定されるものではない。また、比例関係とする場合でも比例関係としない場合でも、その画角−間隔グラフの傾きを変化させることで立体感を強調したり、弱めたりすることができる。
【０１３０】
そして、間隔制御信号発生手段８２により、ステップＳ３で算出した最適な実写カメラ間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信し、実写カメラ３２，３３同士の間隔を自動調整する（ステップＳ４）。また、ズーム信号発生手段８１により、倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）を実現するためのズーム信号を発生させ、このズーム信号を実写カメラ３２，３３に送信し、実写カメラ３２，３３の画角および焦点距離を自動調整する（ステップＳ４）。
【０１３１】
それから、光学ズームが行われた後の実写カメラ３２，３３により撮影された左右の実写映像を取り込む（ステップＳ５）。なお、光学ズームの機械的調整速度との兼ね合いで、取り込まれる左右の実写映像は、光学ズームが完了していない状態である場合もあり得るが、このような場合であっても、ステップＳ２〜Ｓ１４の処理は繰り返し行われるので問題とはならず、何回かの繰り返しの後に、短時間で目的とする光学ズームが行われた状態の実写映像を取り込むことができる。
【０１３２】
続いて、倍率操作情報に基づき、デジタルズームを行う必要があるか否かを判断する（ステップＳ６）。例えば、光学ズームの上限が３倍である場合に、倍率操作情報に基づき観察者が６倍を指示しているものとすると、２倍のデジタルズームが必要であると判断する。
【０１３３】
ここで、デジタルズームが必要であると判断した場合には、画像中心位置変化量算出手段８３により、倍率操作情報に基づき、観察者により指示された倍率のうちデジタルズームを行う分の倍率についての適切な画像中心位置変化量を算出する（ステップＳ７）。
【０１３４】
図７は、デジタルズーム時の処理の説明図である。図７に示すように、デジタルズームの場合には、実写カメラ３２，３３の画角θｃおよび間隔Ｄｃは、デジタルズームの前後で変化せず、実写カメラ３２，３３により取り込まれる実写画像も、デジタルズームの前後で同じである。ここで、デジタルズーム前の左右の実写映像の画像中心位置がＰＬ，ＰＲであったとすると、倍率を上げるデジタルズームを行った場合には、デジタルズーム処理の際に画像を切り出す中心位置が、視差量を一定範囲内に収めるためにそれぞれδだけ内側にずれてＰＬt，ＰＲtの位置に変化する。このデジタルズームの倍率と画像中心位置変化量との対応関係は、予め数式またはデータベースにより定められているものである。
【０１３５】
そして、算出した画像中心位置変化量だけ、画像切り出しの中心位置を変化させた状態で、デジタルズーム処理手段８４により左右の実写映像からの画像切出処理を実行し、デジタルズーム処理を行う（ステップＳ８）。
【０１３６】
一方、ステップＳ６で、光学ズームのみでよく、デジタルズームは必要ないと判断した場合には、ステップＳ７，Ｓ８の処理は行わない。
【０１３７】
その後、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２の条件の設定を行う（ステップＳ９）。この際、光学ズームとデジタルズームとが併用される場合には、先ず、光学ズームに対応する条件設定を行い、次に、デジタルズームに対応する条件設定を行うというように段階的に条件設定を行う。
【０１３８】
先ず、光学ズームの場合には、図６に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を左右の実写カメラ３２，３３の画角に一致させ、かつ、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔と左右の実写カメラ３２，３３の間隔とが一致するように左右の仮想カメラ９１，９２の位置を設定する。
【０１３９】
すなわち、初期状態（Ｄｅｆａｕｌｔ）で、左右の実写カメラ３２，３３の画角θｃと、左右の仮想カメラ９１，９２の画角θｍとが一致し（θｃ＝θｍ）、かつ、左右の実写カメラ３２，３３の間隔Ｄｃと、左右の仮想カメラ９１，９２の間隔Ｄｍとが一致している（Ｄｃ＝Ｄｍ）ものとすると、望遠（Ｔｅｌｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは狭くなって画角θｃt（θｃ＞θｃt）となり、左右の実写カメラ３２，３３の間隔Ｄｃは狭められて間隔Ｄｃt（Ｄｃ＞Ｄｃt）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも狭くなって画角θｍt（θｍ＞θｍt）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも狭められて間隔Ｄｍt（Ｄｍ＞Ｄｍt）となる。ここで、θｍt＝θｃt、Ｄｍt＝Ｄｃtである。
【０１４０】
一方、広角（Ｗｉｄｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは広くなって画角θｃw（θｃ＜θｃw）となり、左右の実写カメラ３２，３３の間隔Ｄｃは広げられて間隔Ｄｃw（Ｄｃ＜Ｄｃw）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも広くなって画角θｍw（θｍ＜θｍw）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも広げられて間隔Ｄｍw（Ｄｍ＜Ｄｍw）となる。ここで、θｍw＝θｃw、Ｄｍw＝Ｄｃwである。
【０１４１】
次に、デジタルズームの場合には、図７に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を、左右の実写映像のデジタルズームに合わせて変化させる。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な画角に、左右の仮想カメラ９１，９２の画角を一致させる。
【０１４２】
また、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔を、左右の実写映像のデジタルズームの際の画像中心位置の変化に合わせて変化させる。具体的には、倍率を上げるデジタルズームの場合には、デジタルズーム前の左右の仮想カメラ９１，９２の間隔Ｄｍは、左右の画像中心位置変化量δの合計値（２×δ）だけ狭められ、デジタルズーム後には間隔Ｄｍtとなる（Ｄｍ＞Ｄｍt）。ここで、Ｄｍt＝Ｄｍ−２×δである。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な間隔に、左右の仮想カメラ９１，９２の間隔を一致させる。
【０１４３】
また、方向設定手段８６Ａにより、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【０１４４】
続いて、モデル情報記憶手段９０からモデルに関する情報を読み込み、モデル変形処理手段８７により、経年変化操作手段７３による経年変化操作情報に基づき、モデルの経年変化処理を行う。さらに、処理時刻や季節をシステムで把握し、その季節のその時刻における太陽の位置に応じてライト（光源）の位置を設定するとともに、処理時における天気に応じた明るさに設定する（ステップＳ１０）。これにより、ＣＧ画像と実写映像とを違和感なく融合させることができる。
【０１４５】
それから、レンダリング処理手段８８により、仮想カメラ条件設定手段８６で設定した条件下で左右の仮想カメラ９１，９２を用いて、変形したモデルについてレンダリング処理を行って左右のＣＧ画像を生成する（ステップＳ１１）。このレンダリング処理は、観察者による新たなパン操作、チルト操作、倍率操作、経年変化操作が無くても毎回行われる。なお、レンダリング処理の際には、適宜、前方クリップ面や後方クリップ面を用いてもよい。
【０１４６】
その後、合成処理手段８９により、混合率操作手段７２による混合率操作情報に基づき、左右の実写映像と左右のＣＧ画像とをそれぞれ合成する。すると、適切に位置合わせされた状態で重ね合わされた左右の合成画像が生成される（ステップＳ１２）。
【０１４７】
最後に、左右の液晶パネル３５，３６により左右の合成画像をそれぞれ表示し、ハーフミラー３７でこれらの左右の合成画像の光線を左右の接眼レンズ３８，３９に向わせる。すると、接眼レンズ３８，３９に達した左右の合成画像の光線は、互いに９０度をなす偏光方向を有しているので、液晶パネル３５から出力された左眼用の合成画像の光線は、左眼用の接眼レンズ３８のみを通過し、一方、液晶パネル３６から出力された右眼用の合成画像の光線は、右眼用の接眼レンズ３９のみを通過し、これにより出力手段４０による複合的な現実感を伴う立体映像の呈示が実現される（ステップＳ１３）。
【０１４８】
そして、画像処理を中止しない場合には（ステップＳ１４）、再び、ステップＳ２の処理に戻り、以降、画像処理を中止するまで、ステップＳ２〜Ｓ１４の処理を繰り返す。一方、中止する場合には、プログラムを終了させる（ステップＳ１５）。
【０１４９】
また、観察者は、画像処理装置８０が以上のステップＳ２〜Ｓ１４の処理を繰り返している間、いつでもパン操作、チルト操作、倍率操作、混合率操作、経年変化操作を行うことができる。図８には、倍率操作および混合率操作を行った場合の画面例が示されている。なお、倍率操作と混合率操作とは、同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。また、図９には、経年変化操作を行った場合の画面例が示されている。なお、経年変化操作は、倍率操作や混合率操作と同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。
【０１５０】
また、観察者は、ブックマーク可能表示が行われている時だけ、観察対象物にブックマークを付す処理を行うことができる。この際の処理の流れは、先ず、ブックマーク可能表示処理手段９６により、画面の中心位置にあるモデル（またはその構成パーツ）の表示面積が一定面積以上であるか否かを判断するとともに、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照してそのモデル（またはその構成パーツ）がブックマーク可能モデル（パーツ）であるか否かを判断する。
【０１５１】
ここで、表示面積が一定面積以上で、かつ、ブックマーク可能モデル（パーツ）であると判断した場合には、ブックマーク可能表示処理手段９６は、出力手段４０の画面上にブックマーク可能表示を行う。一方、表示面積が一定面積未満、またはブックマーク可能モデル（パーツ）でない場合には、ブックマーク可能表示は行わない。
【０１５２】
続いて、観察者は、ブックマーク可能表示が行われているときに、画面中心にある観察対象物（モデルまたはその構成パーツ）について興味がある場合には、ブックマーク操作手段であるブックマークボタン７４を押すことにより、その観察対象物についてブックマークを付すための入力操作を行うことができる。そして、ブックマーク登録処理手段９７は、このブックマーク操作情報を受け付けると、その観察対象物のＩＤおよびその観察対象物にブックマークが付された順序等をブックマーク情報記憶手段９９に登録する。
【０１５３】
また、観察者は、イベント発生可能表示が行われている時だけ、イベントを発生させて観察対象物についての付帯情報を参照することができる。図１０には、イベント発生時の処理の流れがフローチャートで示されている。先ず、画像処理装置８０による処理が開始され（ステップＳ２１）、通常状態の処理が繰り返されているものとする。このとき、イベント発生可能表示処理手段９３により、画面表示されている観察対象物（モデルまたはその構成パーツ）について付帯情報があるか否かおよび付帯情報がある場合にはムービーがあるか否かを、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照するか、または付帯情報記憶手段９５を検索することにより把握する（ステップＳ２２）。
【０１５４】
付帯情報がある場合には、イベント発生可能表示処理手段９３は、出力手段４０の画面上にイベント発生可能表示を行う（ステップＳ２３）。一方、付帯情報がない場合には、通常状態の処理となる。
【０１５５】
そして、観察者は、イベント発生可能表示が行われているときに、観察対象物について興味がある場合には（ステップＳ２４）、イベント開始操作手段であるイベント開始ボタン７５を押す（ステップＳ２５）。一方、興味がない場合には（ステップＳ２４）、何もしないか、またはパン操作やチルト操作を行って次の観察対象物の観察へと移り、通常状態の処理となる。
【０１５６】
観察者がイベント開始ボタン７５を押すと、ムービーがあるか否かが判断され（ステップＳ２６）、ムービーがある場合には、出力手段４０の画面上に説明文での基本情報の表示が行われるとともに、出力手段４０の画面上にムービーの存在および所要時間の表示が行われる（ステップＳ２７）。これらの表示が行われている間に、観察者は、ムービーが見たい場合には、イベント開始ボタン７５を再押下しておく。
【０１５７】
そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ２８）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、イベント開始ボタン７５の再押下が行われたか否かを判断する（ステップＳ２９）。ここで、再押下が行われたと判断した場合には、ムービーを上映し（ステップＳ３０）、一方、再押下が行われなかったと判断した場合には、通常状態の処理となる。
【０１５８】
また、ステップＳ２６で、ムービーがない場合には、出力手段４０の画面上に説明文での基本情報の表示のみが行われる（ステップＳ３１）。そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ３２）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、通常状態の処理となる。
【０１５９】
その後、適宜な時期にプログラムを終了させ、画像処理装置８０の処理を終了させる（ステップＳ３３）。
【０１６０】
このような第１実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置１０には倍率操作手段７１が設けられているので、観察者は、観察中の立体映像の倍率を変化させる操作を行うことができる。また、パン操作角度検出手段５３およびチルト操作角度検出手段５４が設けられているので、画像処理装置８０は、立体映像を観察している観察者の方向操作情報を実時間で把握することができる。
【０１６１】
そして、コンピュータ・グラフィクス画像生成手段８５は、仮想カメラ条件設定手段８６を備えているので、左右のＣＧ画像を生成する際に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報および倍率操作手段７１による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させることができる。このため、仮想カメラ条件設定手段８６により実時間で設定変更される仮想カメラ条件を用いてレンダリング処理を行うことができる。
【０１６２】
従って、観察者が、実写カメラ３２，３３の方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、合成処理手段８９によるＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことができる。
【０１６３】
また、立体映像呈示装置１０は、間隔制御信号発生手段８２およびカメラ間隔調整装置３４を備えているので、光学ズーム時に、予め定められた倍率または倍率指標値（画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、実写カメラ３２，３３同士の間隔を、視差量が一定範囲内に収まるような適切な間隔に自動調整することができる（図６参照）。
【０１６４】
さらに、光学ズーム時には、上述した間隔制御信号発生手段８２およびカメラ間隔調整装置３４による実写カメラ３２，３３同士の間隔の自動調整に伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、上記の如く適切な間隔に自動調整された実写カメラ３２，３３同士の間隔に一致させるようにして左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写カメラ３２，３３の画角に一致させて左右の仮想カメラ９１，９２の画角を設定するので（図６参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６５】
また、立体映像呈示装置１０は、画像中心位置変化量算出手段８３およびデジタルズーム処理手段８４を備えているので、デジタルズーム時に、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、視差量が一定範囲内に収まるように画像中心位置を適切な量だけシフトさせ、そのシフト後の位置を中心としてデジタルズーム処理を行うことができる（図７参照）。
【０１６６】
さらに、デジタルズーム時には、上述した実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置のシフトに合わせて変化させて左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写映像のデジタルズームに合わせて左右の仮想カメラ９１，９２の画角を設定するので（図７参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６７】
そして、立体映像呈示装置１０は、混合率操作手段７２を備えているので、合成処理手段８９により、その混合率操作情報に基づき左右の合成画像を生成することができる。このため、観察者は、立体映像を観察中に、実写型立体映像と立体ＣＧ画像との混合率を変化させることができるので、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことができる。
【０１６８】
また、立体映像呈示装置１０は、コンピュータ・グラフィクス操作手段である経年変化操作手段７３を備えているので、コンピュータ・グラフィクス画像生成手段８５により、その経年変化操作情報に基づきモデル情報記憶手段９０に記憶されたモデルに関する情報を用いてモデルを変形させることができる。このため、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することができる。従って、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることができる。
【０１６９】
さらに、立体映像呈示装置１０は、左眼撮影用および右眼撮影用のカメラ４１，４２並びに評価手段１１０を備えているので、立体映像を観察中の観察者の左眼および右眼を撮影し、それらの眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を行うことができる。
【０１７０】
そして、立体映像呈示装置１０は、注視箇所同定手段１１１および注視箇所記憶手段１１５を備えているので、左眼および右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することができる。
【０１７１】
また、立体映像呈示装置１０は、興味・関心度合い定量化手段１１２および興味・関心度合い記憶手段１１６を備えているので、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することができる。
【０１７２】
さらに、立体映像呈示装置１０は、好感度定量化手段１１３および好感度記憶手段１１７を備えているので、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することができる。
【０１７３】
そして、立体映像呈示装置１０は、観察者生理情報送信手段１１４を備えているので、注視箇所、注視箇所に対する興味・関心の度合い、および注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０（図２参照）に送信することができる。このため、観察者の生理情報から得られた情報を、別の情報呈示装置１３０，１４０において、観察者の誘導処理や観察者への情報呈示処理に利用することができる。
【０１７４】
また、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、好感度記憶手段１１７の情報を複数人分について蓄積すれば、立体映像呈示装置１０で呈示する各種情報の全体的な見直し、変更、アレンジ等を行うこともできる。
【０１７５】
さらに、立体映像呈示装置１０は、イベント開始操作手段であるイベント開始ボタン７５、イベント発生可能表示処理手段９３、付帯情報呈示手段９４、および付帯情報記憶手段９５を備えているので、イベントを発生させて観察対象物についての付帯情報を呈示することにより、観察者に対し、より多くの情報を呈示することができるうえ、イベント開始ボタン７５の押下による観察者の操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することができる。
【０１７６】
そして、立体映像呈示装置１０は、ブックマーク操作手段であるブックマークボタン７４、ブックマーク可能表示処理手段９６、ブックマーク登録処理手段９７、およびブックマーク情報記憶手段９９を備えているので、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことができる。また、観察者操作情報送信手段９８を備えているので、別の情報呈示装置１３０，１４０へのブックマーク情報の送信を行うことができ、別の情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導処理等を行うことができる。
【０１７７】
また、立体映像呈示装置１０は、定点観測型の情報呈示装置であるため、例えば、図２に示した情報呈示装置１３０，１４０のような携帯型の情報呈示装置に比べ、エンコーダ等によるパン操作角度検出手段５３やチルト操作角度検出手段５４を用いてカメラの方向操作情報を正確に検出することができ、実写画像とＣＧ画像とを合成する際の位置合わせを、より一層正確に行うことができる。
【０１７８】
［第２実施形態］
図１１には、本発明の第２実施形態の立体映像呈示装置２００の構成図がデータや信号の流れとともに示されている。図１２は、立体映像呈示装置２００の双眼鏡装置２２０を上側から見た状態の水平断面図である。
【０１７９】
本第２実施形態の立体映像呈示装置２００は、前記第１実施形態の立体映像呈示装置１０と略同様の構成を有し、倍率操作時の処理およびその処理に対応する構成が異なるのみであるため、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみについて説明する。なお、図１１では、前記第１実施形態の立体映像呈示装置１０と同様の構成要素については記載を省略している。
【０１８０】
図１１および図１２において、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラ３２，３３を備えている。しかし、前記第１実施形態では、これらの実写カメラ３２，３３同士の間隔を調整するカメラ間隔調整装置３４（図１〜図３参照）が設けられていたのに対し、本第２実施形態では、左右の実写カメラ３２，３３の光軸角度を調整するカメラ光軸角度調整装置２３４が設けられている点が異なっている。
【０１８１】
また、本第２実施形態の入力操作手段２７０は、前記第１実施形態の場合と同様に各操作手段７１〜７５（図１、図４参照）を備えているが、これらに加え、観察者が左右の実写カメラ３２，３３の光軸角度を変化させるための入力操作を行う光軸角度操作手段２７６を備えている。
【０１８２】
図１２において、光軸角度操作手段２７６は、左右の実写カメラ３２，３３の各光軸の先端（各光軸が被写体に当たる点）同士の間隔が狭まる方向に各光軸を回転させるための近接ボタン２７６Ａと、各光軸の先端同士の間隔が広がる方向に各光軸を回転させるための離隔ボタン２７６Ｂと、光軸角度を手動設定状態から元の自動調整状態に戻すための手動設定リセットボタン２７６Ｃとにより構成されている。
【０１８３】
前記第１実施形態の画像処理装置８０は、間隔制御信号発生手段８２を備えていたが（図１参照）、図１１に示すように、本第２実施形態の画像処理装置２８０は、これに代えて光軸角度制御信号発生手段２８２を備えている。この光軸角度制御信号発生手段２８２は、予め定められた倍率または倍率指標値（例えば画角）と左右の実写カメラ３２，３３の光軸角度との対応関係に従って、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとする。）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ光軸角度を算出し、算出した光軸角度を実現するための制御信号を発生させる処理を行うものである。なお、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースで定められている。
【０１８４】
そして、光軸角度制御信号発生手段２８２により発生させた制御信号は、カメラ光軸角度調整装置２３４に送信され、カメラ光軸角度調整装置２３４は、この制御信号に基づき左右の実写カメラ３２，３３の光軸角度を、視差量が一定範囲内に収まるような適切な角度に自動調整する。例えば、望遠（Ｔｅｌｅ）にする場合には、画角が狭くなるので、視差量を一定範囲内に抑えるために左右の実写カメラ３２，３３の各光軸の先端同士の間隔が狭まる方向に各光軸を回転させる。
【０１８５】
また、観察者が、光軸角度操作手段２７６の近接ボタン２７６Ａおよび離隔ボタン２７６Ｂを操作したときは、光軸角度制御信号発生手段２８２は、この光軸角度操作情報に基づき、上述した光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させるための制御信号をカメラ光軸角度調整装置２３４に送信する。これにより、観察者は、自分の好みの立体感を作り出すことができる。そして、観察者が、手動設定リセットボタン２７６Ｃを押すと、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」に基づく自動調整が行われ、元の状態に戻る。
【０１８６】
また、本第２実施形態のコンピュータ・グラフィクス画像生成手段２８５の仮想カメラ条件設定手段２８６は、方向設定手段２８６Ａと、画角設定手段２８６Ｂと、位置設定手段２８６Ｃとを備えている。これらは、前記第１実施形態の各設定手段８６Ａ，８６Ｂ，８６Ｃとは異なる処理を行う。
【０１８７】
方向設定手段２８６Ａは、前記第１実施形態の場合と同様に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定した後、さらに、この方向を基準として、左右の仮想カメラ９１，９２の光軸角度を、適切な角度に自動調整された実写カメラ光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。また、方向設定手段２８６Ａは、光軸角度操作手段２７６による観察者の操作に基づく光軸角度の手動設定が行われた場合にも、左右の仮想カメラ９１，９２の光軸角度を、左右の実写カメラ３２，３３の光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。
【０１８８】
図１３は、方向設定手段２８６Ａによる左右の仮想カメラ９１，９２の方向設定処理時の説明図である。左右の実写カメラ３２，３３の各光軸と図中二点鎖線で示された平行線とのなす角度φｃが変化すると、左右の仮想カメラ９１，９２の各光軸と平行線とのなす角度φｍも同じ角度だけ変化し、これらの角度φｃとφｍとは、常に一致している（φｍ＝φｃ）。但し、デジタルズーム時には、一致させない処理としてもよい。
【０１８９】
画角設定手段２８６Ｂは、前記第１実施形態の場合と同様に、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する。
【０１９０】
位置設定手段２８６Ｃは、前記第１実施形態の場合とは異なり、光学ズーム時には、左右の仮想カメラ９１，９２の間隔を変化させる処理は行わない。
【０１９１】
また、デジタルズーム時には、実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段２８６により、左右の実写映像の画像中心位置のシフトに合わせて、左右の仮想カメラ９１，９２同士の間隔を変化させてもよく、あるいは左右の仮想カメラ９１，９２の光軸角度を変化させてもよい。
【０１９２】
その他、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、出力手段４０（３５〜３９）、双眼鏡支持機構５０（５１〜５４）、画像処理装置２８０を構成する各手段８１，８３，８４，８７〜８９，９３，９４，９６〜９８，１１０〜１１４および各記憶手段９０，９５，９９，１００，１１５〜１１７、左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。
【０１９３】
このような第２実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置２００は、光軸角度制御信号発生手段２８２およびカメラ光軸角度調整装置２３４を備えているので、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラ３２，３３の画角の変化）と同時または略同時に、左右の実写カメラ３２，３３の光軸角度を適切な角度に自動調整することができる。
【０１９４】
また、上述した左右の実写カメラ３２，３３の光軸角度の自動調整に伴う形で、仮想カメラ条件設定手段２８６により、左右の仮想カメラ９１，９２の倍率（画角）および光軸角度を変化させることができるので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することができる。
【０１９５】
さらに、立体映像呈示装置２００は、光軸角度操作手段２７６を備えているので、観察者は、光軸角度を手動で設定することもでき、自分の好みの立体感を作り出すことができる。
【０１９６】
その他の構成要素による効果は、前記第１実施形態の場合と同様である。
【０１９７】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１９８】
すなわち、前記各実施形態では、出力手段４０は、左眼用および右眼用の画像をそれぞれ表示する２つの液晶パネル３５，３６、ハーフミラー３７、および偏光フィルタ付の左右の接眼レンズ３８，３９により構成されていたが、本発明の出力手段は、これに限定されるものではなく、例えば、マイクロポール方式等の１つの液晶パネルと、偏光フィルタ付の左右の接眼レンズ（またはメガネ）との組合せとしてもよく、左右の画像が交互に切り替わるディスプレイと、これに同期する液晶シャッタ方式のレンズ（またはメガネ）との組合せとしてもよく、あるいはヘッドマウント方式の出力手段（ＨＭＤ：Head Mount Display）としてもよい。また、メガネなし方式（レンチキュラ方式やパララックスバリア方式）としてもよい。
【０１９９】
また、前記各実施形態では、実写画像取得手段３１と出力手段４０と入力操作手段７０とが双眼鏡装置２０，２２０として一体に構成されていたが、本発明における実写画像取得手段（実写カメラ）と出力手段と入力操作手段（倍率操作手段等）とは、それぞれ別体の構成とし、有線または無線ネットワークで接続してもよい。このようにすることで、例えば、観察者が、遠隔地において出力手段４０で立体映像を見ながら、その遠隔地から実写カメラ３２，３３の操作を含む各種の操作（パン操作、チルト操作、倍率操作、混合率操作、経年変化操作等のＣＧ操作、ブックマーク操作、イベント開始操作）を行うことができる。
【０２００】
さらに、前記各実施形態では、双眼鏡装置２０，２２０と画像処理装置８０，２８０とは、ケーブル２により接続されていたが、これらはインターネットやＬＡＮ等の有線または無線ネットワークにより接続してもよい。そして、画像処理装置８０，２８０を構成する各手段も複数のコンピュータにより構成し、有線または無線ネットワークで接続してもよい。
【０２０１】
【発明の効果】
以上に述べたように本発明によれば、実写画像と合成するＣＧ画像を生成する際に、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させてレンダリング処理を行うので、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態の立体映像呈示装置の全体構成図。
【図２】第１実施形態の立体映像呈示装置を構成する双眼鏡装置の立面構成図。
【図３】第１実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図４】第１実施形態の双眼鏡装置の入力操作手段の斜視図。
【図５】第１実施形態の画像処理装置の処理の流れを示すフローチャートの図。
【図６】第１実施形態の光学ズーム時の処理の説明図。
【図７】第１実施形態のデジタルズーム時の処理の説明図。
【図８】第１実施形態の倍率操作および混合率操作を行った場合の画面例を示す図。
【図９】第１実施形態の経年変化操作を行った場合の画面例を示す図。
【図１０】第１実施形態のイベント発生時の処理の流れを示すフローチャートの図。
【図１１】本発明の第２実施形態の立体映像呈示装置の構成図。
【図１２】第２実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図１３】第２実施形態の方向設定手段による左右の仮想カメラの方向設定処理時の説明図。
【符号の説明】
１ 観察者
１０，２００ 立体映像呈示装置
３１ 実写映像取得手段
３２，３３ 実写カメラ
３４ カメラ間隔調整装置
４０ 出力手段
４１ 左眼撮影用のカメラ
４２ 右眼撮影用のカメラ
５３ 方向操作情報検出手段であるパン操作角度検出手段
５４ 方向操作情報検出手段であるチルト操作角度検出手段
７１ 倍率操作手段
７２ 混合率操作手段
７３ コンピュータ・グラフィクス操作手段である経年変化操作手段
７４ ブックマーク操作手段であるブックマークボタン
７５ イベント開始操作手段であるイベント開始ボタン
８２ 間隔制御信号発生手段
８３ 画像中心位置変化量算出手段
８４ デジタルズーム処理手段
８５，２８５ コンピュータ・グラフィクス画像生成手段
８６，２８６ 仮想カメラ条件設定手段
８６Ａ，２８６Ａ 方向設定手段
８６Ｂ，２８６Ｂ 画角設定手段
８６Ｃ，２８６Ｃ 位置設定手段
８７ モデル変形処理手段
８８ レンダリング処理手段
８９ 合成処理手段
９０ モデル情報記憶手段
９３ イベント発生可能表示処理手段
９４ 付帯情報呈示手段
９５ 付帯情報記憶手段
９６ ブックマーク可能表示処理手段
９７ ブックマーク登録処理手段
９８ 観察者操作情報送信手段
９９ ブックマーク情報記憶手段
１１０ 評価手段
１１１ 注視箇所同定手段
１１２ 興味・関心度合い定量化手段
１１３ 好感度定量化手段
１１４ 観察者生理情報送信手段
１１５ 注視箇所記憶手段
１１６ 興味・関心度合い記憶手段
１１７ 好感度記憶手段
２３４ カメラ光軸角度調整装置
２７６ 光軸角度操作手段
２８２ 光軸角度制御信号発生手段
【発明の属する技術分野】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置に係り、例えば、遺跡で過去の建築物等の展示や説明を行う遺跡展示システム、建設現場で建設主に今後建設される予定のビル等のイメージを示す建設イメージ説明システム、地方自治体等が埋立地にビルや各種施設を建設する場合のように都市開発や都市計画の分野において住民の意思形成や合意形成を得るために開発計画を示す開発計画説明システム等に利用できる。
【０００２】
【背景技術】
近年、現実空間と仮想空間とを融合した環境である「複合現実感」（ＭＲ：Mixed Reality）に関する研究が盛んに行われている。その中でも、現実空間に仮想空間の物体を重畳することで現実の感覚を増強するＡＲ（Augmented Reality）は、注目されている。例えば、遺跡において、現在では消失してしまった過去の建造物等をコンピュータ・グラフィクス（ＣＧ：Computer Graphics）により生成し、このＣＧ画像を実写画像に対して適切な位置に重ね合わせて表示し、遺跡の見学者に呈示することができる遺跡展示システム等の如く、実写画像とＣＧ画像との重畳表示を可能にしたシステムが本願出願人により提案されている（特願２００２−２６６０２５号参照）。
【０００３】
また、実写型立体映像に立体ＣＧ画像を合成することができる画像合成装置も提案されている（特許文献１参照）。この画像合成装置では、実写画像に合成されるＣＧ画像は、現実空間の被写体画像撮影時のカメラパラメータ（撮影時のカメラの焦点距離、２つのカメラのレンズ中心（視点）間の距離、画像データの画素間隔、カメラの輻輳角、絞り値、画像信号処理部や色信号処理回路の処理パラメータ）を用いて透視投影により生成されるので、違和感のない立体表示を行うことができるようになっている。さらに、この画像合成装置では、撮影者が３次元表示装置に表示される立体画像を見ながら、ＣＧ操作部のインターフェースを介してＣＧの３Ｄ操作（ＣＧ画像の回転、移動、変倍の指示）を行うことができるようになっている。
【０００４】
なお、本発明に関する基礎技術や周辺技術を示す一般的な文献としては、例えば、ＣＧ画像生成時のレンダリングに関する文献（非特許文献１参照）、ＣＧ用モデルの変形時のモーフィング等に関する文献（非特許文献２参照）、眼球運動測定に関する文献（非特許文献３，５参照）、瞬目測定に関する文献（非特許文献４，５参照）等がある。
【０００５】
【特許文献１】
特開平１０−３３６７０３号公報（段落［０００９］、［００１０］、［００３４］〜［００４８］、［００６３］〜［００６７］、図１、図５）
【０００６】
【非特許文献１】
廣瀬通孝著、「バーチャル・リアリティ」、初版、産業図書株式会社、平成５年９月２日、ｐ．１７９−１８４
【非特許文献２】
社団法人テレビジョン学会編集、「先端技術の手ほどきシリーズ ３次元ＣＧ」、第１版、株式会社オーム社、平成６年２月１０日、ｐ．１４３−１５１
【非特許文献３】
加藤象二郎、大久保堯夫著、「初学者のための生体機能の測り方」、第１版、株式会社日本出版サービス、１９９９年４月２０日、ｐ．１０５−１０９
【非特許文献４】
大串健吾、中山剛、福田忠彦著、「画質と音質の評価技術」、初版、株式会社昭晃堂、１９９１年３月２８日、ｐ．１４２−１４７
【非特許文献５】
泉武博著、「３次元映像の基礎」、第１版、株式会社オーム社、平成７年６月５日、ｐ．４５−５３
【０００７】
【発明が解決しようとする課題】
ところで、前述した本願出願人による遺跡展示システムも含め、従来のＡＲに関する技術は平面視によるものが多いが、平面視によるＡＲでは、１枚の実写画像と１枚のＣＧ画像とを適切に位置を合わせて重畳表示するだけでよい。これに対し、立体視によるＡＲでは、左右の実写画像と左右のＣＧ画像とをそれぞれ位置合わせしなければならず、しかも実時間で違和感のない重畳表示を実現するには、左右の実写画像の変化に同期させて左右のＣＧ画像を変化させなければならないので、平面視によるＡＲに比べて処理が複雑化する。
【０００８】
前述したように特許文献１に記載された画像合成装置では、左右の実写画像と左右のＣＧ画像とをそれぞれ合成し、違和感のない立体表示を実現している。しかし、この立体表示は、現実空間と仮想空間とを融合するものであるが、現実空間を形成する左右の実写画像と仮想空間を形成する左右のＣＧ画像との位置合わせを行うものではなく、また、左右の実写画像の変化（倍率変化や方向変化等）に対して左右のＣＧ画像を実時間で同期させるものでもない。
【０００９】
また、特許文献１に記載された画像合成装置では、実写画像撮影時のカメラパラメータをＣＧ画像の生成処理で用いるので、実写カメラの条件を仮想カメラの条件に反映させることはできるものの、特許文献１には、実写画像の倍率変化についての記載はなく、従って、実写画像の倍率を実時間で変化させた場合に、この変化にＣＧ画像を同期させるために仮想カメラの条件を具体的にどのように設定するかの記載もない。このため、特許文献１の記載は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像との実時間での合成処理を行う際の技術的課題を解決する方法を提供するものではない。
【００１０】
なお、特許文献１に記載された画像合成装置では、撮影者がＣＧの３Ｄ操作を行うことにより、ＣＧ画像の倍率を変化させることができるようになっているが、これは実写画像の倍率変化に同期させてＣＧ画像の倍率を変化させるものではなく、実写画像の倍率とは無関係に撮影者の操作に従ってＣＧ画像の倍率を変化させる処理である。また、撮影者がＣＧの３Ｄ操作を行うことからも、特許文献１に記載された画像合成装置が、実写画像とＣＧ画像とを適切に位置合わせして重畳表示を行う装置ではないことがわかる。
【００１１】
さらに、特許文献１には、実写画像撮影時のカメラの輻輳角を変更可能な構成としてもよく、このような構成とする場合に、カメラパラメータとしてカメラの輻輳角をＣＧ画像の生成処理で用いる旨の記載がある。しかし、ＣＧ画像の生成処理の際に、カメラパラメータとしての輻輳角をどのように用いるかの具体的な記載はなく、実写画像の倍率変化との関係でその輻輳角をどのように用いるかの記載もない。
【００１２】
従って、観察者による倍率操作を含む各種の操作に対し、実時間で応答して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置は開発されていないのが現状であり、このような立体映像呈示装置が望まれていた。
【００１３】
本発明の目的は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像とを実時間で合成することにより、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置を提供するところにある。
【００１４】
【課題を解決するための手段】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、実写型立体映像を構成する左右の実写映像を取得する実写映像取得手段と、観察者による実写映像取得手段を構成する実写カメラの方向操作情報を検出する方向操作情報検出手段と、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、このモデル情報記憶手段に記憶されたモデルに関する情報を用いて立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、左右の実写映像とこれらに対応する左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、この合成処理手段により生成された左右の合成画像を用いて観察者に対して複合的な現実感を伴う立体映像を呈示する出力手段とを備え、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラを用いてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成されていることを特徴とするものである。
【００１５】
ここで、「実写映像取得手段」は、左右２つの実写カメラにより左右の実写映像をそれぞれ撮影する構成でもよく、１つの実写カメラにより撮影した実写映像を用いて擬似的に左右の実写映像を取得する構成でもよい。後者の構成としては、例えば、ＣＩＤ法（Computed Image Depth method）や、水平方向に移動する物体（現実空間の被写体）があるような場合には、プルフリッヒ効果を利用したＭＴＤ法（Modified Time Difference）等を採用することができる。但し、より違和感のない立体映像を呈示するという観点からは、前者のような左右２つの実写カメラを備えた構成とすることが好ましい。
【００１６】
また、「実写カメラの方向操作情報」は、観察者によるパン操作やチルト操作等の操作量である。「方向操作情報検出手段」としては、例えば、エンコーダ等を採用することができる。「方向操作情報」は、例えば、パン操作角度やチルト操作角度の情報、ベクトル情報等である。
【００１７】
さらに、「倍率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。「倍率操作情報」は、必ずしも倍率若しくは倍率に比例するデータである必要はなく、例えば、画角若しくは画角に比例するデータ、あるいは焦点距離若しくは焦点距離に比例するデータのように、倍率と１対１で対応し、倍率の指標となるデータであってもよい。
【００１８】
そして、「実時間」は、厳密な意味でのリアルタイムを意味せず、観察後の事後的処理ではなく、観察中に観察者の操作に追従させて処理するという意味であり、例えば、人間の目の残光時間程度の処理時間の遅れは許容される。
【００１９】
このような本発明においては、観察者は、実写映像取得手段を構成する実写カメラの方向を変えながら観察を行う。この観察者による実写カメラの方向操作情報は、方向操作情報検出手段により検出される。また、観察者は、観察を行っている最中に、倍率操作手段により観察中の映像の倍率を変化させることができる。
【００２０】
そして、コンピュータ・グラフィクス画像生成手段で左右のコンピュータ・グラフィクス画像（以下、ＣＧ画像ということがある。）を生成する際には、仮想カメラ条件設定手段により、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させ、この仮想カメラ条件を用いてレンダリング処理手段によりレンダリング処理を行って左右のＣＧ画像を生成する。
【００２１】
このようにして観察者の操作に追従する形で生成される左右のＣＧ画像と、観察者の操作に応じた形で得られる左右の実写映像とを、合成処理手段によりそれぞれ合成し、これらの左右の合成画像を用いて出力手段により観察者に対して複合的な現実感を伴う立体映像を呈示する。
【００２２】
このため、観察者が、実写カメラの方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、ＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことが可能となり、これらにより前記目的が達成される。
【００２３】
前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ間隔を実現するための制御信号を発生させる間隔制御信号発生手段と、この間隔制御信号発生手段による前記制御信号に基づき前記左右の実写カメラ同士の間隔を適切な実写カメラ間隔に自動調整するカメラ間隔調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を適切な実写カメラ間隔に一致させて左右の仮想カメラの位置を設定する位置設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００２４】
ここで、「間隔制御信号発生手段」は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」を数式の形でプログラム内にコーディングしておくか、またはデータベースに記憶させておき、これらの数式またはデータベースを用いて、プログラムにより、倍率操作手段による倍率操作情報に基づき、観察者が指示した倍率についての適切な実写カメラ間隔を算出決定することができる。
【００２５】
また、「仮想カメラ条件設定手段」の「位置設定手段」は、上記の間隔制御信号発生手段でプログラムにより適切な実写カメラ間隔が算出される場合には、その算出結果から適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を把握してもよく、あるいは「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」に従って「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出してもよい。一方、上記の間隔制御信号発生手段がハードウェアにより実現される場合には、間隔制御信号発生手段で適切な実写カメラ間隔の算出処理が行われるわけではないので、「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出する。
【００２６】
さらに、「倍率または倍率指標値」とは、倍率若しくは倍率に比例するデータ、あるいは倍率と１対１で対応する画角若しくは画角に比例するデータをいう。
【００２７】
そして、「左右の実写カメラの画角」は、倍率操作手段による倍率操作情報に基づいて左右の実写カメラに送られるズーム信号により調整されるが、このズーム信号を発生させるズーム信号発生手段は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。「仮想カメラ条件設定手段」の「画角設定手段」は、このズーム信号発生手段がソフトウェアにより実現される場合には、このズーム信号発生手段から受け取る情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を把握してもよく、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出してもよい。一方、ズーム信号発生手段がハードウェアにより実現される場合には、ズーム信号発生手段で左右の実写カメラの画角が算出されるわけではないので、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出する。
【００２８】
このように光学ズームとともにカメラ間隔を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（またはそれに伴う画角の変化と考えてもよい。以下、同様である。）と同時または略同時に左右の実写カメラの間隔が変化し、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００２９】
また、前述した立体映像呈示装置において、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って倍率操作情報に基づき適切な画像中心位置変化量を算出する画像中心位置変化量算出手段と、この画像中心位置変化量算出手段により算出した画像中心位置変化量だけ画像中心位置を変化させて倍率操作情報に基づき左右の実写映像のデジタルズーム処理を行うデジタルズーム処理手段とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラの位置を設定する位置設定手段と、倍率操作情報に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００３０】
ここで、「左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて」とは、左右の実写映像の画像中心位置の各変化量の合計値と、左右の仮想カメラ同士の間隔の変化量とを一致させ、この際、左右の画像中心位置を互いに近づく方向に変化させた場合（左眼用の実写映像の画像中心位置を右方向へ、右眼用の実写映像の画像中心位置を左方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を狭め、一方、左右の画像中心位置を互いに離れる方向に変化させた場合（左眼用の実写映像の画像中心位置を左方向へ、右眼用の実写映像の画像中心位置を右方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を広げるという意味である。従って、左右の実写映像の画像中心位置の変化に対応させて左右の実写カメラの光軸位置を変化させたと仮定した場合（あくまで説明上の仮定であり、この構成の場合は、必ずしも左右２つの実写カメラの存在が前提となるものではない。）に、その変化したと仮定した左右の実写カメラ同士の間隔に左右の仮想カメラ同士の間隔を一致させるという意味である（図７参照）。
【００３１】
また、「左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する」とは、デジタルズームを光学ズームで行ったと仮定した場合に、その時の実写カメラの画角（変化したと仮定した画角）に仮想カメラの画角を一致させるという意味である。
【００３２】
このようにデジタルズームが可能な構成とした場合には、観察者による倍率操作があったときには、その倍率操作と同時または略同時に、取得された左右の実写映像の画像中心位置が変化し、この変化した画像中心位置を基準にしてデジタルズーム処理が行われ、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含む構成でもよく、１つの実写カメラにより得られた実写映像から擬似的に左右の実写映像を生成する構成でもよい。
【００３３】
さらに、前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ光軸角度を実現するための制御信号を発生させる光軸角度制御信号発生手段と、この光軸角度制御信号発生手段による制御信号に基づき左右の実写カメラの光軸角度を適切な実写カメラ光軸角度に自動調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を適切な実写カメラ光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていてもよい。
【００３４】
ここで、「光軸角度制御信号発生手段」は、光学ズームとともにカメラ間隔を変化させる構成における「間隔制御信号発生手段」の場合と同様に、ソフトウェアまたはハードウェアのいずれにより実現してもよく、ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースを用いて定められる。
【００３５】
このように光学ズームとともに光軸角度を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラの画角の変化）と同時または略同時に左右の実写カメラの光軸角度が変化し、これに伴って左右の仮想カメラの倍率（画角）および光軸角度が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００３６】
また、上記のように光学ズームとともに光軸角度を変化させる構成とした場合において、観察者が左右の実写カメラの光軸角度を変化させるための入力操作を行う光軸角度操作手段と、この光軸角度操作手段による光軸角度操作情報に基づいて発生させる制御信号により倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係とは無関係に左右の実写カメラの光軸角度を調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を左右の実写カメラの光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段を含んで構成されていてもよい。
【００３７】
ここで、「光軸角度操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００３８】
このように手動で光軸角度を変化させることができる構成とした場合には、観察者は、光軸角度操作手段を操作することにより、光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させることができ、自分の好みの立体感を作り出すことが可能となる。
【００３９】
以上において、光学ズームが可能な構成（カメラ間隔を変化させる場合および光軸角度を変化させる場合のいずれも含む。）と、デジタルズームが可能な構成とは、組み合わせてもよく、組み合わせることにより光学ズームとデジタルズームとの併用（連続適用）が可能となる。なお、併用する場合には、画質向上の観点から、光学ズームを優先することが好ましい。一方、デジタルズームのみの場合には、装置構成の簡易化や処理速度（追従速度）の向上を図ることができる。
【００４０】
また、以上に述べた立体映像呈示装置において、観察者が実写型立体映像と立体コンピュータ・グラフィクス画像との混合率を変化させるための入力操作を行う混合率操作手段を備え、合成処理手段は、混合率操作手段による混合率操作情報に基づき左右の合成画像を生成する構成とされていることが望ましい。
【００４１】
ここで、「混合率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４２】
このように実写型立体映像と立体ＣＧ画像との混合率を変化させることができる構成とした場合には、観察者は、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことが可能となる。
【００４３】
さらに、以上に述べた立体映像呈示装置において、観察者が実写型立体映像の変化とは独立して立体コンピュータ・グラフィクス画像を変化させるための入力操作を行うコンピュータ・グラフィクス操作手段を備え、コンピュータ・グラフィクス画像生成手段は、コンピュータ・グラフィクス操作手段によるコンピュータ・グラフィクス操作情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いてモデルを変形させるモデル変形処理手段を含んで構成されていることが望ましい。
【００４４】
ここで、「コンピュータ・グラフィクス操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４５】
また、「モデルを変形させる」ことには、モデルの幾何形状を変形させること、表面特性（色や柄や質感等）を変化させること（無色透明から有色へ、あるいはその逆の変化を含む。）等が含まれる。
【００４６】
さらに、立体ＣＧ画像を変化させる目的としては、例えば、経年変化の観察、分岐状況の対比観察、複数候補や選択要素の対比観察等が挙げられる。経年変化の観察とは、例えば、ある遺跡の現在の状態、平安時代の状態、奈良時代の状態を対比するような観察等である。分岐状況の対比観察とは、例えば、ある地域の治安が悪化した場合の未来の状態と、核戦争後の未来の状態と、科学技術が健全に発展した場合の未来の状態とを対比するような観察等である。複数候補や選択要素の対比観察とは、例えば、建設現場においてビルのオーナーが建設予定のビルについての複数の案を対比するような観察等である。
【００４７】
このように立体ＣＧ画像を変化させることができる構成とした場合には、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することが可能となる。このため、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることが可能となる。
【００４８】
そして、以上に述べた立体映像呈示装置において、出力手段により呈示された立体映像を観察中の観察者の左眼および／または右眼を撮影する左眼撮影用および／または右眼撮影用のカメラと、これらの左眼撮影用および／または右眼撮影用のカメラにより撮影された左眼および／または右眼の画像を用いて左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の測定・解析を行う評価手段とを備えた構成とすることが望ましい。
【００４９】
このように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合には、観察者の生理情報（左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の情報）に基づき、立体映像の中の注視箇所、注視箇所に対する興味・関心の度合い、または注視箇所に対する好感度のうちの少なくとも一種類の情報を把握することが可能となる。このため、把握した情報に基づき、例えば、その観察者への別の情報呈示装置での情報呈示対象や情報呈示方法の選択等の調整、あるいはその観察者への評価結果の通知を行うことが可能となり、また、複数の観察者の生理情報から得られる情報を蓄積すれば、本発明の立体映像呈示装置で呈示する各種情報の全体的な見直し、変更、アレンジ等も可能となる。なお、評価手段による測定・解析は、実時間で行うことが好ましい。
【００５０】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から立体映像の中の注視箇所を同定する注視箇所同定手段と、この注視箇所同定手段により同定した注視箇所を記録して保存する注視箇所記憶手段とを備えた構成とすることが望ましい。
【００５１】
このように注視箇所同定手段および注視箇所記憶手段を設けた場合には、左眼および／または右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することが可能となる。なお、注視箇所同定手段による同定処理は、実時間で行うことが好ましい。
【００５２】
そして、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞬目の発生頻度から立体映像の中の注視箇所に対する興味・関心の度合いを定量化する興味・関心度合い定量化手段と、この興味・関心度合い定量化手段により定量化した興味・関心度合いを記録して保存する興味・関心度合い記憶手段とを備えた構成とすることが望ましい。
【００５３】
このように興味・関心度合い定量化手段および興味・関心度合い記憶手段を設けた場合には、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することが可能となる。なお、興味・関心度合い定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５４】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞳孔面積から立体映像の中の注視箇所に対する好感度を定量化する好感度定量化手段と、この好感度定量化手段により定量化した好感度を記録して保存する好感度記憶手段とを備えた構成とすることが望ましい。
【００５５】
このように好感度定量化手段および好感度記憶手段を設けた場合には、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することが可能となる。なお、好感度定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５６】
さらに、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についての付帯情報を記憶する付帯情報記憶手段と、観察対象物についての出力手段による付帯情報の呈示が可能であることを表示する処理を行うイベント発生可能表示処理手段と、このイベント発生可能表示処理手段によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段と、このイベント開始操作手段により選択された観察対象物について付帯情報記憶手段に記憶されている付帯情報を出力手段により呈示する処理を行う付帯情報呈示手段とを備えた構成とすることが望ましい。
【００５７】
ここで、「イベント開始操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００５８】
また、「付帯情報」には、例えば、テキスト情報、音声情報、静止画情報、動画情報、あるいはこれらの組合せ等が含まれ、静止画情報や動画情報は、実写画像でも２Ｄや３ＤのＣＧ画像でもよく、観察者への呈示は、平面視でも立体視でもよい。
【００５９】
このようにイベント発生が可能な構成とした場合には、観察者に対し、より多くの情報を呈示することが可能となるうえ、観察者のイベント開始操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することが可能となる。
【００６０】
そして、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うブックマーク可能表示処理手段と、このブックマーク可能表示処理手段によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段と、このブックマーク操作手段による観察対象物の選択情報を受け付けてこの観察対象物にブックマークを付すための登録処理を行うブックマーク登録処理手段と、このブックマーク登録処理手段による登録処理対象となった観察対象物の識別情報およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するブックマーク情報記憶手段と、このブックマーク情報記憶手段に記憶されたブックマーク情報を含む観察者の操作情報をネットワークを介して別の情報呈示装置に送信する観察者操作情報送信手段とを備えた構成とすることが望ましい。
【００６１】
ここで、本発明の立体映像呈示装置が、例えば、定位置から広範囲な場所を観察する定点観測装置であるとすれば、「別の情報呈示装置」は、例えば、観察者が携帯しながら呈示情報を見ることができる携帯型の情報呈示装置である。
【００６２】
また、「観察者操作情報送信手段」は、ブックマーク情報を含む観察者の操作情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６３】
さらに、「ブックマーク情報を含む観察者の操作情報」とは、ブックマーク情報の他に、例えば、パン操作やチルト操作、倍率操作、混合率操作、イベント開始操作、コンピュータ・グラフィクス操作等の観察者による各種の操作情報を別の情報呈示装置に送信してもよい趣旨である。
【００６４】
そして、「ネットワーク」には、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット、あるいはこれらの組合せ等、様々な形態のものが含まれ、有線であるか無線であるか、さらには有線および無線の混在型であるかは問わず、要するに、複数地点（距離の長短は問わない。）間で、ある程度の速度をもって情報を伝送することができるものであればよい。
【００６５】
このように観察対象物にブックマークを付すことが可能な構成とした場合には、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことが可能となる。また、別の情報呈示装置へのブックマーク情報の送信を行うことができるので、別の情報呈示装置において、ブックマークを付した観察対象物への誘導処理等を行うことが可能となる。
【００６６】
また、前述した左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から同定された立体映像の中の注視箇所と、評価手段により測定・解析された観察者の瞬目の発生頻度から定量化された立体映像の中の注視箇所に対する興味・関心の度合いと、評価手段により測定・解析された観察者の瞳孔面積から定量化された立体映像の中の注視箇所に対する好感度とのうち、少なくとも一種類の情報をネットワークを介して別の情報呈示装置に送信する観察者生理情報送信手段を備えた構成とすることが望ましい。
【００６７】
ここで、「観察者生理情報送信手段」は、観察者の生理情報から得られた情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６８】
このように観察者生理情報送信手段を設けた場合には、観察者の生理情報から得られた情報を、別の情報呈示装置において、観察者の誘導処理や観察者への情報呈示処理に利用することが可能となる。
【００６９】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【００７０】
［第１実施形態］
図１には、本発明の第１実施形態の立体映像呈示装置１０の全体構成がデータや信号の流れとともに示されている。また、図２は、立体映像呈示装置１０の双眼鏡装置２０の立面構成図であり、図３は、双眼鏡装置２０を上側から見た状態の水平断面図であり、図４は、双眼鏡装置２０の入力操作手段７０の斜視図である。
【００７１】
図１および図２において、立体映像呈示装置１０は、観察者１が左右両眼で遺跡等のフィールドを観察するための双眼鏡装置２０と、この双眼鏡装置２０にケーブル２を介して接続されて観察に必要な各種の画像処理を行う画像処理装置８０とを備えて構成されている。
【００７２】
双眼鏡装置２０は、観察者１が覗く双眼鏡３０と、この双眼鏡３０を可動自在に支持する双眼鏡支持機構５０と、双眼鏡３０の設置位置を移動させるための台車６０と、この台車６０に立設されて双眼鏡３０および双眼鏡支持機構５０を下側から支える長さ調整可能な双眼鏡高さ位置調整棒６１と、観察者１の入力操作を受け付けるインターフェースの役割を果たす入力操作手段７０とを備えている。
【００７３】
図２および図３において、双眼鏡３０は、左右の実写映像を取得する実写映像取得手段３１を構成する左右２つの実写カメラ３２，３３と、これらの実写カメラ３２，３３同士の間隔を自動調整するカメラ間隔調整装置３４と、左眼用の画像を出力する垂直方向に配置された液晶パネル３５と、右眼用の画像を出力する水平方向に配置された液晶パネル３６と、これらの液晶パネル３５，３６とそれぞれ４５度をなす方向に配置されたハーフミラー３７と、偏光フィルタ付の左右の接眼レンズ３８，３９とを備えている。
【００７４】
実写カメラ３２，３３は、例えばＣＣＤカメラ等であり、光学ズームが可能な構成とされている。また、光量を調整するＮＤフィルタを適宜設けてもよい。
【００７５】
カメラ間隔調整装置３４は、例えばモータやシリンダ装置等により駆動され、間隔制御信号発生手段８２からの制御信号により制御される。
【００７６】
液晶パネル３５，３６は、例えばＴＦＴパネル等であり、偏光フィルタにより互いに９０度偏光方向の異なる画像を出力する。そして、図２中の一点鎖線に示すように、左眼用の画像を出力する液晶パネル３５からの光線は、ハーフミラー３７を透過し、左右の接眼レンズ３８，３９に至り、図３中の一点鎖線に示すように、偏光フィルタにより左眼用の接眼レンズ３８は通過するが右眼用の接眼レンズ３９は通過しない。一方、図２中の点線に示すように、右眼用の画像を出力する液晶パネル３６からの光線は、ハーフミラー３７で直角に曲げられて左右の接眼レンズ３８，３９に至り、図３中の点線に示すように、偏光フィルタにより右眼用の接眼レンズ３９は通過するが左眼用の接眼レンズ３８は通過しない。従って、液晶パネル３５，３６およびハーフミラー３７、並びに左右の接眼レンズ３８，３９により、観察者１に対して両眼視差を伴う立体映像を呈示する出力手段４０が構成されている。
【００７７】
なお、本実施形態の場合とは逆に、左眼用の画像を出力する液晶パネルを水平方向に配置し、右眼用の画像を出力する液晶パネルを垂直方向に配置してもよい。また、本実施形態では、直線偏光方式としているが、偏光方式は円偏光方式としてもよい。
【００７８】
また、双眼鏡３０は、出力手段４０により呈示された立体映像を観察中の観察者の左眼および右眼を撮影する左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。これらのカメラ４１，４２は、ハーフミラー３７に映っている左眼および右眼を撮影できるように、図２においてハーフミラー３７の右下位置に配置されているが、図２中の二点鎖線に示すように、ハーフミラー３７の左上位置に配置してもよい。
【００７９】
双眼鏡支持機構５０は、観察者によるパン操作を許容するパン操作機構５１と、観察者によるチルト操作を許容するチルト操作機構５２とにより構成されている。パン操作機構５１には、方向操作情報検出手段であるパン操作角度検出手段５３が設けられ、チルト操作機構５２には、方向操作情報検出手段であるチルト操作角度検出手段５４が設けられている。これらのパン操作角度検出手段５３およびチルト操作角度検出手段５４は、例えばエンコーダ等である。
【００８０】
図１および図４において、入力操作手段７０は、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段７１を構成するズームアップボタン７１Ａおよびズームダウンボタン７１Ｂと、観察者が実写型立体映像と立体ＣＧ画像との混合率を変化させるための入力操作を行う混合率操作手段７２を構成するフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂと、観察者が立体ＣＧ画像を経年変化させるための入力操作を行うコンピュータ・グラフィクス操作手段である経年変化操作手段７３を構成するタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂとを備えている。
【００８１】
また、入力操作手段７０は、ブックマーク可能表示処理手段９６によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段であるブックマークボタン７４と、イベント発生可能表示処理手段９３によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段であるイベント開始ボタン７５とを備えている。
【００８２】
ズームアップボタン７１Ａは、倍率を上げるための望遠（Tele）用のボタンであり、ズームダウンボタン７１Ｂは、倍率を下げるための広角（Wide）用のボタンであり、これらのズームアップボタン７１Ａおよびズームダウンボタン７１Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の倍率指示状況を示す倍率指示状況表示部７１Ｃが出力される。本実施形態では、倍率指示状況表示部７１Ｃは、一例として、細長い逆三角形形状とされ、ズームアップボタン７１Ａおよびズームダウンボタン７１Ｂが右手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の右端位置に表示される。倍率指示状況表示部７１Ｃの上下方向の中央位置には、初期状態（Default）を示す標準倍率バー７１Ｄが設けられ、現在の指示倍率を示すスライドバー７１Ｅが倍率指示状況表示部７１Ｃの中を倍率操作に応じて上下するようになっている。ズームアップボタン７１Ａは、上側に設けられているので（図４参照）、それをイメージできるようにズームアップボタン７１Ａを押すとスライドバー７１Ｅが上方に移動し、一方、ズームダウンボタン７１Ｂは、下側に設けられているので（図４参照）、それをイメージできるようにズームダウンボタン７１Ｂを押すとスライドバー７１Ｅが下方に移動するようになっている。また、本実施形態では、光学ズームとデジタルズームとの併用が可能となっているので、スライドバー７１Ｅを最上部に位置させて最大倍率にすると、光学ズームおよびデジタルズームが併用される。但し、光学ズームが優先されるので、光学ズームだけで対応できる指示倍率の場合には、デジタルズームは行われない。
【００８３】
フェードインボタン７２Ａは、立体ＣＧ画像を濃く表示するためのボタンであり、フェードアウトボタン７２Ｂは、立体ＣＧ画像をうすく表示するためのボタンであり、これらのフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の混合率指示状況を示す混合率指示状況表示部７２Ｃが出力される。本実施形態では、混合率指示状況表示部７２Ｃは、一例として、立体ＣＧ画像の濃淡をイメージさせるように上側部分がボケていて下側部分が鮮明になっている細長い棒状とされ、フェードインボタン７２Ａおよびフェードアウトボタン７２Ｂが左手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の左端位置に表示される。混合率指示状況表示部７２Ｃの上下方向の中央位置には、混合度合いが均等になる初期状態（Default）を示す標準混合率バー７２Ｄが設けられ、現在の指示混合率を示すスライドバー７２Ｅが混合率指示状況表示部７２Ｃの中を混合率操作に応じて上下するようになっている。フェードインボタン７２Ａを押し続けると、スライドバー７２Ｅが下方に移動し（図４に示すようにフェードインボタン７２Ａが下側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像（例えば、図８中の過去の建造物等のモデル４）は除々に濃くなり、逆に、実写型立体映像（例えば、図８中の山や空や地面等の背景３）は除々にうすくなり、スライドバー７２Ｅが最下部の位置に達した時点で、立体ＣＧ画像のみとなり、実写型立体映像は消えてしまう。一方、フェードアウトボタン７２Ｂを押し続けると、スライドバー７２Ｅが上方に移動し（図４に示すようにフェードアウトボタン７２Ｂが上側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像は除々にうすくなり、逆に、実写型立体映像は除々に濃くなり、スライドバー７２Ｅが最上部の位置に達した時点で、実写型立体映像のみとなり、立体ＣＧ画像は消えてしまう。
【００８４】
タイムフォワードボタン７３Ａは、立体ＣＧ画像により形成される仮想空間の時間（本実施形態では、一例として時代とする。）を標準時（初期状態の時代）よりも未来の時代に進めるためのボタンであり、タイムバックワードボタン７３Ｂは、仮想空間の時間（時代）を標準時（初期状態の時代）よりも過去の時代に戻すためのボタンであり、これらのタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂを押すと、図９に示すように、出力手段４０の画面上に現在操作中の時間（時代）指示状況を示す時間（時代）指示状況表示部７３Ｃが出力される。本実施形態では、時代指示状況表示部７３Ｃは、一例として、横方向に細長い三角形形状とされ、タイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂが右手で操作される位置の上面に設けられているので（図４参照）、それをイメージさせるために画面の上端の右側位置に表示される。時代指示状況表示部７３Ｃの左右方向の中央位置には、初期状態（Default）を示す標準時バー７３Ｄが設けられ、現在指示中の時代を示すスライドバー７３Ｅが時代指示状況表示部７３Ｃの中を経年変化操作に応じて左右に移動するようになっている。
【００８５】
立体映像呈示装置１０では、観察者の方向操作や倍率操作に従って実写型立体映像が変化するとこれに同期して立体ＣＧ画像が変化するが、立体ＣＧ画像の経年変化は、このような実写型立体映像の変化に対する追従変化とは独立して行われる。例えば、図９に示すように、ある時代に存在していた物体として画面に表示される過去の建造物等のモデル４は、観察者により経年変化操作が行われて別の時代になると、図９中の二点鎖線に示すように画面から消えてしまい、別の建造物等のモデル５が現れる。この際、観察者の方向操作や倍率操作が全く行われていなくても、経年変化操作により立体ＣＧ画像が変化する。また、方向操作や倍率操作が行われれば、それらの操作が行われた各々の状況下において、それぞれ経年変化操作が可能である。なお、経年変化は、図９に示すような物体の消失や出現という変化に限らず、例えば、年月をかけて一つの建造物が除々に構築されていく様子や崩壊していく様子、あるいはそれらの様子と物体の消失や出現との組合せ等であってもよい。
【００８６】
図１において、画像処理装置８０は、コンピュータにより構成され、ズーム信号発生手段８１と、間隔制御信号発生手段８２と、画像中心位置変化量算出手段８３と、デジタルズーム処理手段８４と、コンピュータ・グラフィクス画像生成手段８５と、合成処理手段８９と、モデル情報記憶手段９０とを備えている。また、画像処理装置８０は、液晶ディスプレイやＣＲＴディスプレイ等の表示手段８０Ａを備え（図２参照）、この表示手段８０Ａには、双眼鏡装置２０の出力手段４０により観察者に対して呈示される両眼視差を伴う立体映像と同じ立体映像が表示されるので、表示手段８０Ａを見ている者は、液晶シャッタ方式や偏光フィルタ方式のメガネ等を用いることにより、双眼鏡３０を覗いている観察者と同じ映像を見ることができる。
【００８７】
ズーム信号発生手段８１は、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとされている。）に基づきズーム信号を発生させ、このズーム信号を左右の実写カメラ３２，３３に送信する処理を行うものである。なお、ズーム信号は、画像処理装置８０を経由せずに、倍率操作手段７１から左右の実写カメラ３２，３３に送られるようにしてもよい。
【００８８】
間隔制御信号発生手段８２は、光学ズーム時に、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ間隔を算出し、この間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信する処理を行うものである。ここで、予め定められた倍率または倍率指標値と左右の実写カメラ３２，３３同士の間隔との対応関係は、数式またはデータベースにより定められる。
【００８９】
画像中心位置変化量算出手段８３は、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な画像中心位置変化量を算出する処理を行うものである。ここで、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係は、数式またはデータベースにより定められる。
【００９０】
デジタルズーム処理手段８４は、画像中心位置変化量算出手段８３により算出した画像中心位置変化量だけ画像中心位置を変化させた状態で、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写映像のデジタルズーム処理を行うものである。
【００９１】
コンピュータ・グラフィクス画像生成手段８５は、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて立体ＣＧ画像を構成する左右のＣＧ画像を生成する処理を行うものであり、仮想カメラ条件設定手段８６と、モデル変形処理手段８７と、レンダリング処理手段８８とを含んで構成されている。
【００９２】
仮想カメラ条件設定手段８６は、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報（例えば、エンコーダのパルス信号等）、並びに倍率操作手段７１による倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、左右の仮想カメラ９１，９２の条件を実時間で変化させる処理を行うものであり、仮想カメラ９１，９２の方向を設定する方向設定手段８６Ａと、仮想カメラ９１，９２の画角を設定する画角設定手段８６Ｂと、仮想カメラ９１，９２の位置を設定する位置設定手段８６Ｃとを含んで構成されている。
【００９３】
方向設定手段８６Ａは、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【００９４】
画角設定手段８６Ｂは、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する（図６参照）。また、画角設定手段８６Ｂは、デジタルズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する（図７参照）。
【００９５】
位置設定手段８６Ｃは、光学ズーム時には、左右の仮想カメラ９１，９２同士の間隔を、間隔制御信号発生手段８２により算出された適切な実写カメラ間隔に一致させるように、左右の仮想カメラ９１，９２の位置を設定する（図６参照）。また、位置設定手段８６Ｃは、デジタルズーム時には、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラ９１，９２の位置を設定する（図７参照）。
【００９６】
モデル変形処理手段８７は、経年変化操作手段７３による経年変化操作情報に基づき、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて、モデルを変形させる処理を行うものである。この際、モデルの変形は、２つの形状から中間形状を生成するモーフィング（ブレンドシェープと称されることもある。）の機能等により実現される。例えば、形状の変化情報を、ある一定の時間（時代）毎にモデル情報記憶手段９０に記憶させておき、これらの複数（２つまたは３つ以上）の時間（時代）と時間（時代）との間における変化については、予め記憶させておいた形状データを補間して表示することができる。但し、本発明におけるモデルの変形は、モデルの幾何形状の変形のみならず、表面特性（色や柄や質感等）の変化等も含まれ、図９に示すような物体の出現や消失（例えば、無色透明から有色へ、あるいはその逆の変化により実現できる。）も含まれる。なお、モーフィング等のモデル変形処理については、前述した非特許文献２等に詳述されているので、ここでは詳しい説明は省略する。
【００９７】
レンダリング処理手段８８は、仮想カメラ条件設定手段８６により設定された条件下で、左右の仮想カメラ９１，９２を用いてレンダリング処理を行うことにより左右のＣＧ画像を生成するものであり、レンダラーと称されるソフトウェアにより実現される。なお、レンダリング処理については、前述した非特許文献１等に詳述されているので、ここでは詳しい説明は省略する。
【００９８】
合成処理手段８９は、左眼用の実写映像と左眼用のＣＧ画像とを重ね合わせて左眼用の合成画像を生成するとともに、右眼用の実写映像と右眼用のＣＧ画像とを重ね合わせて右眼用の合成画像を生成する処理を行うものである。この合成処理の際には、混合率操作手段７２による混合率操作情報に基づき、実写映像とＣＧ画像との混合割合を調整する。
【００９９】
モデル情報記憶手段９０は、実写映像取得手段３１による実写映像取得対象となる現実空間（本実施形態では、一例として遺跡等のフィールド）に対応する仮想空間を形成するためのＣＧ用のモデルに関する情報を記憶するものである。モデルに関する情報には、各モデルの形状データ、位置データ、表面特性のデータ（色のデータ、テクスチャマッピングデータ、バンプマッピングデータ等を含む。）、経年変化用のモデル変形に関するデータ、ブックマークが可能か否かの情報（ブックマークは、モデル毎に付すことができるようにしてもよく、モデルの構成パーツ毎に付すことができるようにしてもよい。）等が含まれる。なお、後述する付帯情報記憶手段９５に記憶される付帯情報（基本情報の説明データやムービーデータ）を、モデル情報記憶手段９０にまとめて記憶させてもよい。
【０１００】
また、図１において、画像処理装置８０は、イベント発生可能表示処理手段９３と、付帯情報呈示手段９４と、付帯情報記憶手段９５と、ブックマーク可能表示処理手段９６と、ブックマーク登録処理手段９７と、観察者操作情報送信手段９８と、ブックマーク情報記憶手段９９と、ログデータ記憶手段１００とを備えている。
【０１０１】
イベント発生可能表示処理手段９３は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物について出力手段４０による付帯情報の呈示が可能であることを表示する処理を行うものである。このイベント発生可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。
【０１０２】
なお、実写型立体映像の中の観察対象物（例えば、遺跡において、現在まで消失せずに残っている建造物、あるいは高樹齢や歴史的価値のある特徴的な樹木等）は、画面上に表示されないＣＧ用のモデルをその観察対象物に重なる位置に用意しておくことにより、イベント開始ボタン７５による選択対象とすることができ、イベントを発生させることができる。後述するように、実写型立体映像の中の観察対象物を、ブックマークを付す選択対象とする場合も同様である。
【０１０３】
付帯情報呈示手段９４は、イベント開始操作手段であるイベント開始ボタン７５（図４参照）により選択された観察対象物について付帯情報記憶手段９５に記憶されている付帯情報を、出力手段４０により呈示する処理を行うものである。
【０１０４】
付帯情報記憶手段９５は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についての付帯情報を記憶するものである。本実施形態では、各観察対象物についての付帯情報として、文章による説明で基本情報の呈示を行うためのデータと、基本情報に加えてムービーでの情報呈示を行うためのデータとが用意されている。
【０１０５】
ブックマーク可能表示処理手段９６は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うものである。このブックマーク可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。そして、ブックマーク可能表示処理手段９６は、出力手段４０の画面中央位置（カメラ光軸の延長上）にあり、かつ、画面における表示面積が一定以上のモデル（またはその構成パーツ）について、モデル情報記憶手段９０に記憶されているそのモデルに関する情報を参照し、そのモデル（またはその構成パーツ）がブックマーク可能モデル（またはパーツ）であるときに、ブックマーク可能表示を行う。
【０１０６】
ブックマーク登録処理手段９７は、ブックマーク操作手段であるブックマークボタン７４（図４参照）による観察対象物の選択情報を受け付け、この観察対象物にブックマークを付すための登録処理として、選択された観察対象物についてのブックマーク情報をブックマーク情報記憶手段９９に記憶させる処理を行うものである。
【０１０７】
観察者操作情報送信手段９８は、ブックマーク情報記憶手段９９に記憶されたブックマーク情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。また、必要に応じ、ログデータ記憶手段１００に記憶されたログデータを送信する処理も行う。
【０１０８】
なお、図２において、情報呈示装置１３０は、観察者の頭部に装着する携帯型の情報呈示装置であり、情報呈示装置１４０は、観察者が手で持ち運ぶ携帯型の情報呈示装置であり、いずれも本発明の立体映像呈示装置１０により観察される遺跡等のフィード内に存在する観察対象物について情報呈示を行う装置である。これらの情報呈示装置１３０，１４０は、例えば、前述した本願出願人により提案されている装置（特願２００２−２６６０２５号参照）等である。そして、観察者は、情報呈示装置１３０，１４０の画面上の誘導表示に従って観察対象物の近傍まで行き、そこで観察対象物について情報呈示装置１３０，１４０から情報呈示を受けることができる。
【０１０９】
ブックマーク情報記憶手段９９は、ブックマーク登録処理手段９７による登録処理対象となった観察対象物の識別情報（ＩＤ）およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するものである。なお、ブックマーク情報には、識別情報（ＩＤ）および順序情報の他に、例えば、観察対象物の位置情報（緯度や経度の情報）を含ませてもよい。このブックマーク情報は、別の情報呈示装置１３０，１４０（図２参照）に送信され、これらの情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導表示（観察順序を含めた誘導も可能である。）等の処理に利用される。また、これらの情報呈示装置１３０，１４０で、識別情報（ＩＤ）から位置情報（緯度や経度の情報）を把握することができる場合には、位置情報は送信しなくてもよい。
【０１１０】
ログデータ記憶手段１００は、ブックマーク操作以外の観察者の操作をログデータとして記憶するものであり、パン操作、チルト操作、倍率操作、混合率操作、イベント開始操作、ＣＧ操作（経年変化操作）が、各操作の行われた時刻とともに記録されて保存される。なお、出力手段４０により観察者に対して呈示される立体映像のデータ（液晶パネル３５，３６により表示される左右の合成画像のデータ）、さらには左右の合成画像の生成に用いられた左右の実写映像のデータおよび左右のＣＧ画像のデータ（ＣＧ画像の生成に用いられたモデルのＩＤを含む。）も、図示されない画像データ記憶手段に記録されて保存される。
【０１１１】
さらに、図１において、画像処理装置８０は、評価手段１１０と、注視箇所同定手段１１１と、興味・関心度合い定量化手段１１２と、好感度定量化手段１１３と、観察者生理情報送信手段１１４と、注視箇所記憶手段１１５と、興味・関心度合い記憶手段１１６と、好感度記憶手段１１７とを備えている。
【０１１２】
評価手段１１０は、左眼撮影用および右眼撮影用のカメラ４１，４２（図２、図３参照）により撮影された左眼および右眼の画像について、それぞれ画像処理を実時間で行い、左眼および右眼の眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を実時間で行うものである。
【０１１３】
注視箇所同定手段１１１は、評価手段１１０により測定・解析された観察者の左眼および右眼の眼球運動から、立体映像の中の注視箇所を実時間で同定し、その結果を注視箇所記憶手段１１５に記録する処理を行うものである。例えば、各時刻における注視箇所を、画面上の位置（ドット単位）で定めて記録する。
【０１１４】
興味・関心度合い定量化手段１１２は、評価手段１１０により測定・解析された観察者の瞬目の発生頻度から、立体映像の中の注視箇所に対する興味・関心の度合いを実時間で定量化し、その結果を興味・関心度合い記憶手段１１６に記録する処理を行うものである。
【０１１５】
好感度定量化手段１１３は、評価手段１１０により測定・解析された観察者の瞳孔面積から、立体映像の中の注視箇所に対する好感度を実時間で定量化し、その結果を好感度記憶手段１１７に記録する処理を行うものである。
【０１１６】
従って、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、および好感度記憶手段１１７に記録された各時刻のデータを、ブックマーク情報記憶手段９９およびログデータ記憶手段１００に記録された各時刻における観察者の操作情報、並びに画像データ記憶手段（不図示）に記録された画像データおよび画像生成情報と照らし合わせることにより、同定された注視箇所、定量化された注視箇所に対する興味・関心度合いおよび好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかを把握することができる。
【０１１７】
なお、これらの各手段１１０〜１１３による観察者の生理情報の評価、同定、定量化の処理については、前述した非特許文献３〜５に詳述されているので、ここでは詳しい説明は省略する。
【０１１８】
観察者生理情報送信手段１１４は、注視箇所記憶手段１１５に記録した注視箇所、興味・関心度合い記憶手段１１６に記録した注視箇所に対する興味・関心度合い、および好感度記憶手段１１７に記録した注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。各情報を送信する際には、注視箇所、注視箇所に対する興味・関心度合い、および注視箇所に対する好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかという情報も合わせて送信する。例えば、ある時刻（またはある時間内）における注視箇所として同定された画面位置に映っていたモデルやその構成パーツのＩＤも合わせて送信する。また、注視箇所が変化する状況下において、興味・関心度合いや好感度が定量化された場合には、例えば、その間に画面上に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよく、あるいは注視箇所として同定された複数の画面位置に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよい。
【０１１９】
注視箇所記憶手段１１５は、注視箇所同定手段１１１により同定した注視箇所を記録して保存するものである。
【０１２０】
興味・関心度合い記憶手段１１６は、興味・関心度合い定量化手段１１２により定量化した興味・関心度合いを記録して保存するものである。
【０１２１】
好感度記憶手段１１７は、好感度定量化手段１１３により定量化した好感度を記録して保存するものである。
【０１２２】
以上において、画像処理装置８０の各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４は、画像処理装置８０を構成するコンピュータ本体（パーソナル・コンピュータのみならず、その上位機種のものも含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１２３】
また、画像処理装置８０の各記憶手段９０，９５，９９，１００，１１５〜１１７は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【０１２４】
さらに、画像処理装置８０は、一台のコンピュータあるいは一つのＣＰＵにより実現されるものに限定されず、複数のコンピュータ等で分散処理（各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４毎の機能に従った機能的な分散処理、および並列処理により処理速度向上を図るための分散処理を含む。）を行うことにより実現されるものであってもよい。
【０１２５】
このような第１実施形態においては、以下のようにして観察者に対して立体映像呈示装置１０による複合的な現実感を伴う立体映像の呈示が行われる。
【０１２６】
図５には、画像処理装置８０の処理の流れがフローチャートで示されている。図５において、先ず、画像処理装置８０の電源を投入してプログラムを起動させる（ステップＳ１）。
【０１２７】
次に、パン操作角度検出手段５３により検出されたパン操作角度、チルト操作角度検出手段５４により検出されたチルト操作角度、倍率操作手段７１による倍率操作情報、混合率操作手段７２による混合率操作情報、および経年変化操作手段７３による経年変化操作情報を読み込む（ステップＳ２）。これらの操作情報は、観察者による操作が行われなくても、常に最新情報が画像処理装置８０に送られるようになっている。なお、操作があった場合にのみ、その操作情報を画像処理装置８０に送るようにしてもよい。
【０１２８】
続いて、間隔制御信号発生手段８２により、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての最適な実写カメラ間隔を算出する（ステップＳ３）。
【０１２９】
図６は、光学ズーム時の処理の説明図である。図６に示すように、実写カメラ３２，３３の画角および間隔は、初期状態（Ｄｅｆａｕｌｔ）で画角θｃおよび間隔Ｄｃであったとすると、望遠（Ｔｅｌｅ）にした場合には、レンズの焦点距離が長くなり、画角θｃは狭くなって画角θｃt（θｃ＞θｃt）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために狭められて間隔Ｄｃt（Ｄｃ＞Ｄｃt）となる。一方、広角（Ｗｉｄｅ）にした場合には、レンズの焦点距離が短くなり、画角θｃは広くなって画角θｃw（θｃ＜θｃw）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために広げられて間隔Ｄｃw（Ｄｃ＜Ｄｃw）となる。この画角と間隔との対応関係は、予め数式またはデータベースにより定められているものであり、例えば、Ｄｃ：θｃ＝Ｄｃt：θｃt＝Ｄｃw：θｃwのように比例関係としてもよいが、これに限定されるものではない。また、比例関係とする場合でも比例関係としない場合でも、その画角−間隔グラフの傾きを変化させることで立体感を強調したり、弱めたりすることができる。
【０１３０】
そして、間隔制御信号発生手段８２により、ステップＳ３で算出した最適な実写カメラ間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信し、実写カメラ３２，３３同士の間隔を自動調整する（ステップＳ４）。また、ズーム信号発生手段８１により、倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）を実現するためのズーム信号を発生させ、このズーム信号を実写カメラ３２，３３に送信し、実写カメラ３２，３３の画角および焦点距離を自動調整する（ステップＳ４）。
【０１３１】
それから、光学ズームが行われた後の実写カメラ３２，３３により撮影された左右の実写映像を取り込む（ステップＳ５）。なお、光学ズームの機械的調整速度との兼ね合いで、取り込まれる左右の実写映像は、光学ズームが完了していない状態である場合もあり得るが、このような場合であっても、ステップＳ２〜Ｓ１４の処理は繰り返し行われるので問題とはならず、何回かの繰り返しの後に、短時間で目的とする光学ズームが行われた状態の実写映像を取り込むことができる。
【０１３２】
続いて、倍率操作情報に基づき、デジタルズームを行う必要があるか否かを判断する（ステップＳ６）。例えば、光学ズームの上限が３倍である場合に、倍率操作情報に基づき観察者が６倍を指示しているものとすると、２倍のデジタルズームが必要であると判断する。
【０１３３】
ここで、デジタルズームが必要であると判断した場合には、画像中心位置変化量算出手段８３により、倍率操作情報に基づき、観察者により指示された倍率のうちデジタルズームを行う分の倍率についての適切な画像中心位置変化量を算出する（ステップＳ７）。
【０１３４】
図７は、デジタルズーム時の処理の説明図である。図７に示すように、デジタルズームの場合には、実写カメラ３２，３３の画角θｃおよび間隔Ｄｃは、デジタルズームの前後で変化せず、実写カメラ３２，３３により取り込まれる実写画像も、デジタルズームの前後で同じである。ここで、デジタルズーム前の左右の実写映像の画像中心位置がＰＬ，ＰＲであったとすると、倍率を上げるデジタルズームを行った場合には、デジタルズーム処理の際に画像を切り出す中心位置が、視差量を一定範囲内に収めるためにそれぞれδだけ内側にずれてＰＬt，ＰＲtの位置に変化する。このデジタルズームの倍率と画像中心位置変化量との対応関係は、予め数式またはデータベースにより定められているものである。
【０１３５】
そして、算出した画像中心位置変化量だけ、画像切り出しの中心位置を変化させた状態で、デジタルズーム処理手段８４により左右の実写映像からの画像切出処理を実行し、デジタルズーム処理を行う（ステップＳ８）。
【０１３６】
一方、ステップＳ６で、光学ズームのみでよく、デジタルズームは必要ないと判断した場合には、ステップＳ７，Ｓ８の処理は行わない。
【０１３７】
その後、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２の条件の設定を行う（ステップＳ９）。この際、光学ズームとデジタルズームとが併用される場合には、先ず、光学ズームに対応する条件設定を行い、次に、デジタルズームに対応する条件設定を行うというように段階的に条件設定を行う。
【０１３８】
先ず、光学ズームの場合には、図６に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を左右の実写カメラ３２，３３の画角に一致させ、かつ、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔と左右の実写カメラ３２，３３の間隔とが一致するように左右の仮想カメラ９１，９２の位置を設定する。
【０１３９】
すなわち、初期状態（Ｄｅｆａｕｌｔ）で、左右の実写カメラ３２，３３の画角θｃと、左右の仮想カメラ９１，９２の画角θｍとが一致し（θｃ＝θｍ）、かつ、左右の実写カメラ３２，３３の間隔Ｄｃと、左右の仮想カメラ９１，９２の間隔Ｄｍとが一致している（Ｄｃ＝Ｄｍ）ものとすると、望遠（Ｔｅｌｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは狭くなって画角θｃt（θｃ＞θｃt）となり、左右の実写カメラ３２，３３の間隔Ｄｃは狭められて間隔Ｄｃt（Ｄｃ＞Ｄｃt）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも狭くなって画角θｍt（θｍ＞θｍt）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも狭められて間隔Ｄｍt（Ｄｍ＞Ｄｍt）となる。ここで、θｍt＝θｃt、Ｄｍt＝Ｄｃtである。
【０１４０】
一方、広角（Ｗｉｄｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは広くなって画角θｃw（θｃ＜θｃw）となり、左右の実写カメラ３２，３３の間隔Ｄｃは広げられて間隔Ｄｃw（Ｄｃ＜Ｄｃw）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも広くなって画角θｍw（θｍ＜θｍw）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも広げられて間隔Ｄｍw（Ｄｍ＜Ｄｍw）となる。ここで、θｍw＝θｃw、Ｄｍw＝Ｄｃwである。
【０１４１】
次に、デジタルズームの場合には、図７に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を、左右の実写映像のデジタルズームに合わせて変化させる。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な画角に、左右の仮想カメラ９１，９２の画角を一致させる。
【０１４２】
また、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔を、左右の実写映像のデジタルズームの際の画像中心位置の変化に合わせて変化させる。具体的には、倍率を上げるデジタルズームの場合には、デジタルズーム前の左右の仮想カメラ９１，９２の間隔Ｄｍは、左右の画像中心位置変化量δの合計値（２×δ）だけ狭められ、デジタルズーム後には間隔Ｄｍtとなる（Ｄｍ＞Ｄｍt）。ここで、Ｄｍt＝Ｄｍ−２×δである。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な間隔に、左右の仮想カメラ９１，９２の間隔を一致させる。
【０１４３】
また、方向設定手段８６Ａにより、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【０１４４】
続いて、モデル情報記憶手段９０からモデルに関する情報を読み込み、モデル変形処理手段８７により、経年変化操作手段７３による経年変化操作情報に基づき、モデルの経年変化処理を行う。さらに、処理時刻や季節をシステムで把握し、その季節のその時刻における太陽の位置に応じてライト（光源）の位置を設定するとともに、処理時における天気に応じた明るさに設定する（ステップＳ１０）。これにより、ＣＧ画像と実写映像とを違和感なく融合させることができる。
【０１４５】
それから、レンダリング処理手段８８により、仮想カメラ条件設定手段８６で設定した条件下で左右の仮想カメラ９１，９２を用いて、変形したモデルについてレンダリング処理を行って左右のＣＧ画像を生成する（ステップＳ１１）。このレンダリング処理は、観察者による新たなパン操作、チルト操作、倍率操作、経年変化操作が無くても毎回行われる。なお、レンダリング処理の際には、適宜、前方クリップ面や後方クリップ面を用いてもよい。
【０１４６】
その後、合成処理手段８９により、混合率操作手段７２による混合率操作情報に基づき、左右の実写映像と左右のＣＧ画像とをそれぞれ合成する。すると、適切に位置合わせされた状態で重ね合わされた左右の合成画像が生成される（ステップＳ１２）。
【０１４７】
最後に、左右の液晶パネル３５，３６により左右の合成画像をそれぞれ表示し、ハーフミラー３７でこれらの左右の合成画像の光線を左右の接眼レンズ３８，３９に向わせる。すると、接眼レンズ３８，３９に達した左右の合成画像の光線は、互いに９０度をなす偏光方向を有しているので、液晶パネル３５から出力された左眼用の合成画像の光線は、左眼用の接眼レンズ３８のみを通過し、一方、液晶パネル３６から出力された右眼用の合成画像の光線は、右眼用の接眼レンズ３９のみを通過し、これにより出力手段４０による複合的な現実感を伴う立体映像の呈示が実現される（ステップＳ１３）。
【０１４８】
そして、画像処理を中止しない場合には（ステップＳ１４）、再び、ステップＳ２の処理に戻り、以降、画像処理を中止するまで、ステップＳ２〜Ｓ１４の処理を繰り返す。一方、中止する場合には、プログラムを終了させる（ステップＳ１５）。
【０１４９】
また、観察者は、画像処理装置８０が以上のステップＳ２〜Ｓ１４の処理を繰り返している間、いつでもパン操作、チルト操作、倍率操作、混合率操作、経年変化操作を行うことができる。図８には、倍率操作および混合率操作を行った場合の画面例が示されている。なお、倍率操作と混合率操作とは、同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。また、図９には、経年変化操作を行った場合の画面例が示されている。なお、経年変化操作は、倍率操作や混合率操作と同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。
【０１５０】
また、観察者は、ブックマーク可能表示が行われている時だけ、観察対象物にブックマークを付す処理を行うことができる。この際の処理の流れは、先ず、ブックマーク可能表示処理手段９６により、画面の中心位置にあるモデル（またはその構成パーツ）の表示面積が一定面積以上であるか否かを判断するとともに、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照してそのモデル（またはその構成パーツ）がブックマーク可能モデル（パーツ）であるか否かを判断する。
【０１５１】
ここで、表示面積が一定面積以上で、かつ、ブックマーク可能モデル（パーツ）であると判断した場合には、ブックマーク可能表示処理手段９６は、出力手段４０の画面上にブックマーク可能表示を行う。一方、表示面積が一定面積未満、またはブックマーク可能モデル（パーツ）でない場合には、ブックマーク可能表示は行わない。
【０１５２】
続いて、観察者は、ブックマーク可能表示が行われているときに、画面中心にある観察対象物（モデルまたはその構成パーツ）について興味がある場合には、ブックマーク操作手段であるブックマークボタン７４を押すことにより、その観察対象物についてブックマークを付すための入力操作を行うことができる。そして、ブックマーク登録処理手段９７は、このブックマーク操作情報を受け付けると、その観察対象物のＩＤおよびその観察対象物にブックマークが付された順序等をブックマーク情報記憶手段９９に登録する。
【０１５３】
また、観察者は、イベント発生可能表示が行われている時だけ、イベントを発生させて観察対象物についての付帯情報を参照することができる。図１０には、イベント発生時の処理の流れがフローチャートで示されている。先ず、画像処理装置８０による処理が開始され（ステップＳ２１）、通常状態の処理が繰り返されているものとする。このとき、イベント発生可能表示処理手段９３により、画面表示されている観察対象物（モデルまたはその構成パーツ）について付帯情報があるか否かおよび付帯情報がある場合にはムービーがあるか否かを、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照するか、または付帯情報記憶手段９５を検索することにより把握する（ステップＳ２２）。
【０１５４】
付帯情報がある場合には、イベント発生可能表示処理手段９３は、出力手段４０の画面上にイベント発生可能表示を行う（ステップＳ２３）。一方、付帯情報がない場合には、通常状態の処理となる。
【０１５５】
そして、観察者は、イベント発生可能表示が行われているときに、観察対象物について興味がある場合には（ステップＳ２４）、イベント開始操作手段であるイベント開始ボタン７５を押す（ステップＳ２５）。一方、興味がない場合には（ステップＳ２４）、何もしないか、またはパン操作やチルト操作を行って次の観察対象物の観察へと移り、通常状態の処理となる。
【０１５６】
観察者がイベント開始ボタン７５を押すと、ムービーがあるか否かが判断され（ステップＳ２６）、ムービーがある場合には、出力手段４０の画面上に説明文での基本情報の表示が行われるとともに、出力手段４０の画面上にムービーの存在および所要時間の表示が行われる（ステップＳ２７）。これらの表示が行われている間に、観察者は、ムービーが見たい場合には、イベント開始ボタン７５を再押下しておく。
【０１５７】
そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ２８）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、イベント開始ボタン７５の再押下が行われたか否かを判断する（ステップＳ２９）。ここで、再押下が行われたと判断した場合には、ムービーを上映し（ステップＳ３０）、一方、再押下が行われなかったと判断した場合には、通常状態の処理となる。
【０１５８】
また、ステップＳ２６で、ムービーがない場合には、出力手段４０の画面上に説明文での基本情報の表示のみが行われる（ステップＳ３１）。そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ３２）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、通常状態の処理となる。
【０１５９】
その後、適宜な時期にプログラムを終了させ、画像処理装置８０の処理を終了させる（ステップＳ３３）。
【０１６０】
このような第１実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置１０には倍率操作手段７１が設けられているので、観察者は、観察中の立体映像の倍率を変化させる操作を行うことができる。また、パン操作角度検出手段５３およびチルト操作角度検出手段５４が設けられているので、画像処理装置８０は、立体映像を観察している観察者の方向操作情報を実時間で把握することができる。
【０１６１】
そして、コンピュータ・グラフィクス画像生成手段８５は、仮想カメラ条件設定手段８６を備えているので、左右のＣＧ画像を生成する際に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報および倍率操作手段７１による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させることができる。このため、仮想カメラ条件設定手段８６により実時間で設定変更される仮想カメラ条件を用いてレンダリング処理を行うことができる。
【０１６２】
従って、観察者が、実写カメラ３２，３３の方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、合成処理手段８９によるＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことができる。
【０１６３】
また、立体映像呈示装置１０は、間隔制御信号発生手段８２およびカメラ間隔調整装置３４を備えているので、光学ズーム時に、予め定められた倍率または倍率指標値（画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、実写カメラ３２，３３同士の間隔を、視差量が一定範囲内に収まるような適切な間隔に自動調整することができる（図６参照）。
【０１６４】
さらに、光学ズーム時には、上述した間隔制御信号発生手段８２およびカメラ間隔調整装置３４による実写カメラ３２，３３同士の間隔の自動調整に伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、上記の如く適切な間隔に自動調整された実写カメラ３２，３３同士の間隔に一致させるようにして左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写カメラ３２，３３の画角に一致させて左右の仮想カメラ９１，９２の画角を設定するので（図６参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６５】
また、立体映像呈示装置１０は、画像中心位置変化量算出手段８３およびデジタルズーム処理手段８４を備えているので、デジタルズーム時に、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、視差量が一定範囲内に収まるように画像中心位置を適切な量だけシフトさせ、そのシフト後の位置を中心としてデジタルズーム処理を行うことができる（図７参照）。
【０１６６】
さらに、デジタルズーム時には、上述した実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置のシフトに合わせて変化させて左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写映像のデジタルズームに合わせて左右の仮想カメラ９１，９２の画角を設定するので（図７参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６７】
そして、立体映像呈示装置１０は、混合率操作手段７２を備えているので、合成処理手段８９により、その混合率操作情報に基づき左右の合成画像を生成することができる。このため、観察者は、立体映像を観察中に、実写型立体映像と立体ＣＧ画像との混合率を変化させることができるので、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことができる。
【０１６８】
また、立体映像呈示装置１０は、コンピュータ・グラフィクス操作手段である経年変化操作手段７３を備えているので、コンピュータ・グラフィクス画像生成手段８５により、その経年変化操作情報に基づきモデル情報記憶手段９０に記憶されたモデルに関する情報を用いてモデルを変形させることができる。このため、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することができる。従って、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることができる。
【０１６９】
さらに、立体映像呈示装置１０は、左眼撮影用および右眼撮影用のカメラ４１，４２並びに評価手段１１０を備えているので、立体映像を観察中の観察者の左眼および右眼を撮影し、それらの眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を行うことができる。
【０１７０】
そして、立体映像呈示装置１０は、注視箇所同定手段１１１および注視箇所記憶手段１１５を備えているので、左眼および右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することができる。
【０１７１】
また、立体映像呈示装置１０は、興味・関心度合い定量化手段１１２および興味・関心度合い記憶手段１１６を備えているので、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することができる。
【０１７２】
さらに、立体映像呈示装置１０は、好感度定量化手段１１３および好感度記憶手段１１７を備えているので、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することができる。
【０１７３】
そして、立体映像呈示装置１０は、観察者生理情報送信手段１１４を備えているので、注視箇所、注視箇所に対する興味・関心の度合い、および注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０（図２参照）に送信することができる。このため、観察者の生理情報から得られた情報を、別の情報呈示装置１３０，１４０において、観察者の誘導処理や観察者への情報呈示処理に利用することができる。
【０１７４】
また、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、好感度記憶手段１１７の情報を複数人分について蓄積すれば、立体映像呈示装置１０で呈示する各種情報の全体的な見直し、変更、アレンジ等を行うこともできる。
【０１７５】
さらに、立体映像呈示装置１０は、イベント開始操作手段であるイベント開始ボタン７５、イベント発生可能表示処理手段９３、付帯情報呈示手段９４、および付帯情報記憶手段９５を備えているので、イベントを発生させて観察対象物についての付帯情報を呈示することにより、観察者に対し、より多くの情報を呈示することができるうえ、イベント開始ボタン７５の押下による観察者の操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することができる。
【０１７６】
そして、立体映像呈示装置１０は、ブックマーク操作手段であるブックマークボタン７４、ブックマーク可能表示処理手段９６、ブックマーク登録処理手段９７、およびブックマーク情報記憶手段９９を備えているので、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことができる。また、観察者操作情報送信手段９８を備えているので、別の情報呈示装置１３０，１４０へのブックマーク情報の送信を行うことができ、別の情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導処理等を行うことができる。
【０１７７】
また、立体映像呈示装置１０は、定点観測型の情報呈示装置であるため、例えば、図２に示した情報呈示装置１３０，１４０のような携帯型の情報呈示装置に比べ、エンコーダ等によるパン操作角度検出手段５３やチルト操作角度検出手段５４を用いてカメラの方向操作情報を正確に検出することができ、実写画像とＣＧ画像とを合成する際の位置合わせを、より一層正確に行うことができる。
【０１７８】
［第２実施形態］
図１１には、本発明の第２実施形態の立体映像呈示装置２００の構成図がデータや信号の流れとともに示されている。図１２は、立体映像呈示装置２００の双眼鏡装置２２０を上側から見た状態の水平断面図である。
【０１７９】
本第２実施形態の立体映像呈示装置２００は、前記第１実施形態の立体映像呈示装置１０と略同様の構成を有し、倍率操作時の処理およびその処理に対応する構成が異なるのみであるため、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみについて説明する。なお、図１１では、前記第１実施形態の立体映像呈示装置１０と同様の構成要素については記載を省略している。
【０１８０】
図１１および図１２において、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラ３２，３３を備えている。しかし、前記第１実施形態では、これらの実写カメラ３２，３３同士の間隔を調整するカメラ間隔調整装置３４（図１〜図３参照）が設けられていたのに対し、本第２実施形態では、左右の実写カメラ３２，３３の光軸角度を調整するカメラ光軸角度調整装置２３４が設けられている点が異なっている。
【０１８１】
また、本第２実施形態の入力操作手段２７０は、前記第１実施形態の場合と同様に各操作手段７１〜７５（図１、図４参照）を備えているが、これらに加え、観察者が左右の実写カメラ３２，３３の光軸角度を変化させるための入力操作を行う光軸角度操作手段２７６を備えている。
【０１８２】
図１２において、光軸角度操作手段２７６は、左右の実写カメラ３２，３３の各光軸の先端（各光軸が被写体に当たる点）同士の間隔が狭まる方向に各光軸を回転させるための近接ボタン２７６Ａと、各光軸の先端同士の間隔が広がる方向に各光軸を回転させるための離隔ボタン２７６Ｂと、光軸角度を手動設定状態から元の自動調整状態に戻すための手動設定リセットボタン２７６Ｃとにより構成されている。
【０１８３】
前記第１実施形態の画像処理装置８０は、間隔制御信号発生手段８２を備えていたが（図１参照）、図１１に示すように、本第２実施形態の画像処理装置２８０は、これに代えて光軸角度制御信号発生手段２８２を備えている。この光軸角度制御信号発生手段２８２は、予め定められた倍率または倍率指標値（例えば画角）と左右の実写カメラ３２，３３の光軸角度との対応関係に従って、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとする。）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ光軸角度を算出し、算出した光軸角度を実現するための制御信号を発生させる処理を行うものである。なお、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースで定められている。
【０１８４】
そして、光軸角度制御信号発生手段２８２により発生させた制御信号は、カメラ光軸角度調整装置２３４に送信され、カメラ光軸角度調整装置２３４は、この制御信号に基づき左右の実写カメラ３２，３３の光軸角度を、視差量が一定範囲内に収まるような適切な角度に自動調整する。例えば、望遠（Ｔｅｌｅ）にする場合には、画角が狭くなるので、視差量を一定範囲内に抑えるために左右の実写カメラ３２，３３の各光軸の先端同士の間隔が狭まる方向に各光軸を回転させる。
【０１８５】
また、観察者が、光軸角度操作手段２７６の近接ボタン２７６Ａおよび離隔ボタン２７６Ｂを操作したときは、光軸角度制御信号発生手段２８２は、この光軸角度操作情報に基づき、上述した光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させるための制御信号をカメラ光軸角度調整装置２３４に送信する。これにより、観察者は、自分の好みの立体感を作り出すことができる。そして、観察者が、手動設定リセットボタン２７６Ｃを押すと、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」に基づく自動調整が行われ、元の状態に戻る。
【０１８６】
また、本第２実施形態のコンピュータ・グラフィクス画像生成手段２８５の仮想カメラ条件設定手段２８６は、方向設定手段２８６Ａと、画角設定手段２８６Ｂと、位置設定手段２８６Ｃとを備えている。これらは、前記第１実施形態の各設定手段８６Ａ，８６Ｂ，８６Ｃとは異なる処理を行う。
【０１８７】
方向設定手段２８６Ａは、前記第１実施形態の場合と同様に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定した後、さらに、この方向を基準として、左右の仮想カメラ９１，９２の光軸角度を、適切な角度に自動調整された実写カメラ光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。また、方向設定手段２８６Ａは、光軸角度操作手段２７６による観察者の操作に基づく光軸角度の手動設定が行われた場合にも、左右の仮想カメラ９１，９２の光軸角度を、左右の実写カメラ３２，３３の光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。
【０１８８】
図１３は、方向設定手段２８６Ａによる左右の仮想カメラ９１，９２の方向設定処理時の説明図である。左右の実写カメラ３２，３３の各光軸と図中二点鎖線で示された平行線とのなす角度φｃが変化すると、左右の仮想カメラ９１，９２の各光軸と平行線とのなす角度φｍも同じ角度だけ変化し、これらの角度φｃとφｍとは、常に一致している（φｍ＝φｃ）。但し、デジタルズーム時には、一致させない処理としてもよい。
【０１８９】
画角設定手段２８６Ｂは、前記第１実施形態の場合と同様に、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する。
【０１９０】
位置設定手段２８６Ｃは、前記第１実施形態の場合とは異なり、光学ズーム時には、左右の仮想カメラ９１，９２の間隔を変化させる処理は行わない。
【０１９１】
また、デジタルズーム時には、実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段２８６により、左右の実写映像の画像中心位置のシフトに合わせて、左右の仮想カメラ９１，９２同士の間隔を変化させてもよく、あるいは左右の仮想カメラ９１，９２の光軸角度を変化させてもよい。
【０１９２】
その他、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、出力手段４０（３５〜３９）、双眼鏡支持機構５０（５１〜５４）、画像処理装置２８０を構成する各手段８１，８３，８４，８７〜８９，９３，９４，９６〜９８，１１０〜１１４および各記憶手段９０，９５，９９，１００，１１５〜１１７、左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。
【０１９３】
このような第２実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置２００は、光軸角度制御信号発生手段２８２およびカメラ光軸角度調整装置２３４を備えているので、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラ３２，３３の画角の変化）と同時または略同時に、左右の実写カメラ３２，３３の光軸角度を適切な角度に自動調整することができる。
【０１９４】
また、上述した左右の実写カメラ３２，３３の光軸角度の自動調整に伴う形で、仮想カメラ条件設定手段２８６により、左右の仮想カメラ９１，９２の倍率（画角）および光軸角度を変化させることができるので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することができる。
【０１９５】
さらに、立体映像呈示装置２００は、光軸角度操作手段２７６を備えているので、観察者は、光軸角度を手動で設定することもでき、自分の好みの立体感を作り出すことができる。
【０１９６】
その他の構成要素による効果は、前記第１実施形態の場合と同様である。
【０１９７】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１９８】
すなわち、前記各実施形態では、出力手段４０は、左眼用および右眼用の画像をそれぞれ表示する２つの液晶パネル３５，３６、ハーフミラー３７、および偏光フィルタ付の左右の接眼レンズ３８，３９により構成されていたが、本発明の出力手段は、これに限定されるものではなく、例えば、マイクロポール方式等の１つの液晶パネルと、偏光フィルタ付の左右の接眼レンズ（またはメガネ）との組合せとしてもよく、左右の画像が交互に切り替わるディスプレイと、これに同期する液晶シャッタ方式のレンズ（またはメガネ）との組合せとしてもよく、あるいはヘッドマウント方式の出力手段（ＨＭＤ：Head Mount Display）としてもよい。また、メガネなし方式（レンチキュラ方式やパララックスバリア方式）としてもよい。
【０１９９】
また、前記各実施形態では、実写画像取得手段３１と出力手段４０と入力操作手段７０とが双眼鏡装置２０，２２０として一体に構成されていたが、本発明における実写画像取得手段（実写カメラ）と出力手段と入力操作手段（倍率操作手段等）とは、それぞれ別体の構成とし、有線または無線ネットワークで接続してもよい。このようにすることで、例えば、観察者が、遠隔地において出力手段４０で立体映像を見ながら、その遠隔地から実写カメラ３２，３３の操作を含む各種の操作（パン操作、チルト操作、倍率操作、混合率操作、経年変化操作等のＣＧ操作、ブックマーク操作、イベント開始操作）を行うことができる。
【０２００】
さらに、前記各実施形態では、双眼鏡装置２０，２２０と画像処理装置８０，２８０とは、ケーブル２により接続されていたが、これらはインターネットやＬＡＮ等の有線または無線ネットワークにより接続してもよい。そして、画像処理装置８０，２８０を構成する各手段も複数のコンピュータにより構成し、有線または無線ネットワークで接続してもよい。
【０２０１】
【発明の効果】
以上に述べたように本発明によれば、実写画像と合成するＣＧ画像を生成する際に、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させてレンダリング処理を行うので、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態の立体映像呈示装置の全体構成図。
【図２】第１実施形態の立体映像呈示装置を構成する双眼鏡装置の立面構成図。
【図３】第１実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図４】第１実施形態の双眼鏡装置の入力操作手段の斜視図。
【図５】第１実施形態の画像処理装置の処理の流れを示すフローチャートの図。
【図６】第１実施形態の光学ズーム時の処理の説明図。
【図７】第１実施形態のデジタルズーム時の処理の説明図。
【図８】第１実施形態の倍率操作および混合率操作を行った場合の画面例を示す図。
【図９】第１実施形態の経年変化操作を行った場合の画面例を示す図。
【図１０】第１実施形態のイベント発生時の処理の流れを示すフローチャートの図。
【図１１】本発明の第２実施形態の立体映像呈示装置の構成図。
【図１２】第２実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図１３】第２実施形態の方向設定手段による左右の仮想カメラの方向設定処理時の説明図。
【符号の説明】
１ 観察者
１０，２００ 立体映像呈示装置
３１ 実写映像取得手段
３２，３３ 実写カメラ
３４ カメラ間隔調整装置
４０ 出力手段
４１ 左眼撮影用のカメラ
４２ 右眼撮影用のカメラ
５３ 方向操作情報検出手段であるパン操作角度検出手段
５４ 方向操作情報検出手段であるチルト操作角度検出手段
７１ 倍率操作手段
７２ 混合率操作手段
７３ コンピュータ・グラフィクス操作手段である経年変化操作手段
７４ ブックマーク操作手段であるブックマークボタン
７５ イベント開始操作手段であるイベント開始ボタン
８２ 間隔制御信号発生手段
８３ 画像中心位置変化量算出手段
８４ デジタルズーム処理手段
８５，２８５ コンピュータ・グラフィクス画像生成手段
８６，２８６ 仮想カメラ条件設定手段
８６Ａ，２８６Ａ 方向設定手段
８６Ｂ，２８６Ｂ 画角設定手段
８６Ｃ，２８６Ｃ 位置設定手段
８７ モデル変形処理手段
８８ レンダリング処理手段
８９ 合成処理手段
９０ モデル情報記憶手段
９３ イベント発生可能表示処理手段
９４ 付帯情報呈示手段
９５ 付帯情報記憶手段
９６ ブックマーク可能表示処理手段
９７ ブックマーク登録処理手段
９８ 観察者操作情報送信手段
９９ ブックマーク情報記憶手段
１１０ 評価手段
１１１ 注視箇所同定手段
１１２ 興味・関心度合い定量化手段
１１３ 好感度定量化手段
１１４ 観察者生理情報送信手段
１１５ 注視箇所記憶手段
１１６ 興味・関心度合い記憶手段
１１７ 好感度記憶手段
２３４ カメラ光軸角度調整装置
２７６ 光軸角度操作手段
２８２ 光軸角度制御信号発生手段
Claims (6)
- 左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、
前記実写型立体映像を構成する左右の実写映像を、焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラにより取得する実写映像取得手段と、
前記観察者による前記実写映像取得手段を構成する前記左右の実写カメラの方向操作情報を検出する方向操作情報検出手段と、
前記観察者が前記左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、
予め定められた前記倍率または倍率指標値と前記左右の実写カメラ同士の間隔との対応関係に従って前記倍率操作手段による倍率操作情報に基づき決定される適切な実写カメラ間隔を実現するための制御信号を発生させる間隔制御信号発生手段と、
この間隔制御信号発生手段による前記制御信号に基づき前記左右の実写カメラ同士の間隔を前記適切な実写カメラ間隔に自動調整するカメラ間隔調整装置と、
前記倍率操作手段による倍率操作情報に基づき、前記左右の実写カメラの画角および焦点距離を調整するためのズーム信号を発生させるズーム信号発生手段と、
前記実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
このモデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
前記左右の実写映像とこれらに対応する前記左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、
この合成処理手段により生成された前記左右の合成画像を用いて前記観察者に対して前記複合的な現実感を伴う立体映像を呈示する出力手段とを備え、
前記コンピュータ・グラフィクス画像生成手段は、
左右の仮想カメラを用いてレンダリング処理を行うことにより前記左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、
前記方向操作情報検出手段により検出した方向操作情報および前記倍率操作手段による倍率操作情報に基づき前記左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成され、
この仮想カメラ条件設定手段は、
前記方向操作情報検出手段により検出した方向操作情報に基づき、前記左右の仮想カメラの方向を設定する方向設定手段と、
前記左右の仮想カメラ同士の間隔を前記適切な実写カメラ間隔に一致させて前記左右の仮想カメラの位置を設定する位置設定手段と、
前記倍率操作手段による倍率操作情報に基づき、前記左右の実写カメラの画角に一致させて前記左右の仮想カメラの画角を設定する画角設定手段と
を含んで構成されていることを特徴とする立体映像呈示装置。 - 左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、
前記実写型立体映像を構成する左右の実写映像を、左右の実写カメラにより取得する実写映像取得手段と、
前記観察者による前記実写映像取得手段を構成する前記左右の実写カメラの方向操作情報を検出する方向操作情報検出手段と、
前記観察者が前記左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、
予め定められた前記倍率または倍率指標値と前記左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って前記倍率操作手段による倍率操作情報に基づき適切な画像中心位置変化量を算出する画像中心位置変化量算出手段と、
この画像中心位置変化量算出手段により算出した前記画像中心位置変化量だけ画像中心位置を変化させて前記倍率操作手段による倍率操作情報に基づき前記左右の実写映像のデジタルズーム処理を行うデジタルズーム処理手段と、
前記実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
このモデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
前記左右の実写映像とこれらに対応する前記左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、
この合成処理手段により生成された前記左右の合成画像を用いて前記観察者に対して前記複合的な現実感を伴う立体映像を呈示する出力手段とを備え、
前記コンピュータ・グラフィクス画像生成手段は、
左右の仮想カメラを用いてレンダリング処理を行うことにより前記左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、
前記方向操作情報検出手段により検出した方向操作情報および前記倍率操作手段による倍率操作情報に基づき前記左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成され、
この仮想カメラ条件設定手段は、
前記方向操作情報検出手段により検出した方向操作情報に基づき、前記左右の仮想カメラの方向を設定する方向設定手段と、
前記左右の仮想カメラ同士の間隔を、前記デジタルズーム処理手段による前記左右の実写映像の前記画像中心位置の変化に合わせて変化させて前記左右の仮想カメラの位置を設定する位置設定手段と、
前記倍率操作手段による倍率操作情報に基づく前記デジタルズーム処理手段による前記左右の実写映像のデジタルズームが光学ズームにより行われたと仮定した場合における前記左右の実写カメラの擬似的な画角に一致させて前記左右の仮想カメラの画角を設定する画角設定手段と
を含んで構成されていることを特徴とする立体映像呈示装置。 - 左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、
前記実写型立体映像を構成する左右の実写映像を、焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラにより取得する実写映像取得手段と、
前記観察者による前記実写映像取得手段を構成する前記左右の実写カメラの方向操作情報を検出する方向操作情報検出手段と、
前記観察者が前記左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、
予め定められた前記倍率または倍率指標値と前記左右の実写カメラの光軸角度との対応関係に従って前記倍率操作手段による倍率操作情報に基づき決定される適切な実写カメラ光軸角度を実現するための制御信号を発生させる光軸角度制御信号発生手段と、
この光軸角度制御信号発生手段による前記制御信号に基づき前記左右の実写カメラの光軸角度を前記適切な実写カメラ光軸角度に自動調整するカメラ光軸角度調整装置と、
前記倍率操作手段による倍率操作情報に基づき、前記左右の実写カメラの画角および焦点距離を調整するためのズーム信号を発生させるズーム信号発生手段と、
前記実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
このモデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
前記左右の実写映像とこれらに対応する前記左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、
この合成処理手段により生成された前記左右の合成画像を用いて前記観察者に対して前記複合的な現実感を伴う立体映像を呈示する出力手段とを備え、
前記コンピュータ・グラフィクス画像生成手段は、
左右の仮想カメラを用いてレンダリング処理を行うことにより前記左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、
前記方向操作情報検出手段により検出した方向操作情報および前記倍率操作手段による倍率操作情報に基づき前記左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成され、
この仮想カメラ条件設定手段は、
前記方向操作情報検出手段により検出した方向操作情報に基づき、前記左右の仮想カメラの方向を設定した後に、さらに、この方向を基準として、前記左右の仮想カメラの光軸角度を前記適切な実写カメラ光軸角度に一致させて前記左右の仮想カメラの方向を設定する方向設定手段と、
前記倍率操作手段による倍率操作情報に基づき、前記左右の実写カメラの画角に一致させて前記左右の仮想カメラの画角を設定する画角設定手段と
を含んで構成されていることを特徴とする立体映像呈示装置。 - 請求項３に記載の立体映像呈示装置において、
前記観察者が前記左右の実写カメラの光軸角度を変化させるための入力操作を行う光軸角度操作手段を備え、
前記カメラ光軸角度調整装置は、前記光軸角度操作手段による光軸角度操作情報に基づいて発生させる制御信号により前記倍率または倍率指標値と前記左右の実写カメラの光軸角度との対応関係とは無関係に前記左右の実写カメラの光軸角度を調整する処理も可能な構成とされ、
前記コンピュータ・グラフィクス画像生成手段の前記仮想カメラ条件設定手段の前記方向設定手段は、前記左右の仮想カメラの光軸角度を、前記光軸角度操作手段による光軸角度操作情報に基づいて発生させる制御信号により調整された前記左右の実写カメラの光軸角度に一致させて前記左右の仮想カメラの方向を設定する処理も可能な構成とされていることを特徴とする立体映像呈示装置。 - 請求項１〜４のいずれかに記載の立体映像呈示装置において、
前記観察者が前記モデルの経年変化の観察を行うために前記実写型立体映像の変化とは独立して前記立体コンピュータ・グラフィクス画像を変化させるための入力操作を行うコンピュータ・グラフィクス操作手段を備え、
前記コンピュータ・グラフィクス画像生成手段は、前記コンピュータ・グラフィクス操作手段によるコンピュータ・グラフィクス操作情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記モデルの経年変化を示すように前記モデルを変形させるモデル変形処理手段を含んで構成されていることを特徴とする立体映像呈示装置。 - 請求項１〜５のいずれかに記載の立体映像呈示装置において、
前記出力手段により呈示された前記立体映像を観察中の前記観察者の左眼および／または右眼を撮影する左眼撮影用および／または右眼撮影用のカメラと、
これらの左眼撮影用および／または右眼撮影用のカメラにより撮影された左眼および／または右眼の画像を用いて左眼および／または右眼の眼球運動、瞬目の発生頻度、並びに瞳孔面積の測定・解析を行う評価手段と、
この評価手段により測定・解析された前記観察者の左眼および／または右眼の眼球運動から前記立体映像の中の注視箇所を同定する注視箇所同定手段と、
この注視箇所同定手段により同定した注視箇所を記録して保存する注視箇所記憶手段と、
前記評価手段により測定・解析された前記観察者の瞬目の発生頻度から前記立体映像の中の注視箇所に対する興味・関心の度合いを定量化する興味・関心度合い定量化手段と、
この興味・関心度合い定量化手段により定量化した興味・関心度合いを記録して保存する興味・関心度合い記憶手段と、
前記評価手段により測定・解析された前記観察者の瞳孔面積から前記立体映像の中の注視箇所に対する好感度を定量化する好感度定量化手段と、
この好感度定量化手段により定量化した好感度を記録して保存する好感度記憶手段と、
前記評価手段により測定・解析された前記観察者の左眼および／または右眼の眼球運動から同定された前記立体映像の中の注視箇所と、前記評価手段により測定・解析された前記観察者の瞬目の発生頻度から定量化された前記立体映像の中の注視箇所に対する興味・関心の度合いと、前記評価手段により測定・解析された前記観察者の瞳孔面積から定量化された前記立体映像の中の注視箇所に対する好感度とのうち、少なくとも一種類の情報をネットワークを介して別の情報呈示装置に送信する観察者生理情報送信手段とを備えたことを特徴とする立体映像呈示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003184900A JP4378118B2 (ja) | 2003-06-27 | 2003-06-27 | 立体映像呈示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003184900A JP4378118B2 (ja) | 2003-06-27 | 2003-06-27 | 立体映像呈示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020559A JP2005020559A (ja) | 2005-01-20 |
| JP4378118B2 true JP4378118B2 (ja) | 2009-12-02 |
Family
ID=34184521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003184900A Expired - Lifetime JP4378118B2 (ja) | 2003-06-27 | 2003-06-27 | 立体映像呈示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4378118B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007052484A (ja) * | 2005-08-15 | 2007-03-01 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法及び画像処理用プログラム並びに情報記録媒体 |
| JP5444955B2 (ja) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
| EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
| JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
| US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
| US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| EP2395769B1 (en) | 2010-06-11 | 2015-03-04 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
| JP5647819B2 (ja) | 2010-06-11 | 2015-01-07 | 任天堂株式会社 | 携帯型電子機器 |
| JP5548038B2 (ja) * | 2010-06-14 | 2014-07-16 | 任天堂株式会社 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| JP5541973B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| JP5269252B2 (ja) * | 2010-06-29 | 2013-08-21 | 富士フイルム株式会社 | 単眼立体撮像装置 |
| KR101695687B1 (ko) * | 2010-07-27 | 2017-01-12 | 엘지전자 주식회사 | 이동 단말기 및 그의 3ｄ촬영 제어방법 |
| JP2012048597A (ja) * | 2010-08-30 | 2012-03-08 | Univ Of Tokyo | 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム |
| JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
| US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
| JP5876983B2 (ja) * | 2010-12-29 | 2016-03-02 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム |
| JP5732988B2 (ja) * | 2011-04-08 | 2015-06-10 | ソニー株式会社 | 画像処理装置、表示制御方法及びプログラム |
| KR101242764B1 (ko) * | 2011-06-10 | 2013-03-13 | 주식회사 넥서스칩스 | 입체 3ｄ 영상과 ｇｐｕ를 이용한 입체 증강현실 영상 생성 장치 및 방법 |
| KR101828805B1 (ko) | 2011-07-07 | 2018-03-29 | 삼성전자주식회사 | 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치 |
| JP5891645B2 (ja) * | 2011-08-09 | 2016-03-23 | 株式会社ニコン | 撮像装置およびプログラム |
| US10019057B2 (en) * | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US9787882B1 (en) * | 2014-05-30 | 2017-10-10 | Kenneth Arie VanBree | System for generating and displaying discontinuous time-lapse image sequences |
| WO2017026193A1 (ja) * | 2015-08-12 | 2017-02-16 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび画像処理システム |
| JP2018072630A (ja) * | 2016-10-31 | 2018-05-10 | 株式会社コナミデジタルエンタテインメント | 筐体、及び表示装置 |
| JP6624646B2 (ja) * | 2017-02-08 | 2019-12-25 | ソフトバンク株式会社 | 情報提示システム、情報提示方法及び情報提示プログラム |
| US20180255285A1 (en) * | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
| CN111971955A (zh) * | 2018-04-19 | 2020-11-20 | 索尼公司 | 接收装置、接收方法、发送装置和发送方法 |
| CN117336459B (zh) * | 2023-10-10 | 2024-04-30 | 雄安雄创数字技术有限公司 | 一种三维视频融合方法、装置、电子设备及存储介质 |
-
2003
- 2003-06-27 JP JP2003184900A patent/JP4378118B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020559A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4378118B2 (ja) | 立体映像呈示装置 | |
| JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
| US9880457B2 (en) | Apparatus for the automatic positioning of coupled cameras for three-dimensional image representation | |
| US8026950B2 (en) | Method of and apparatus for selecting a stereoscopic pair of images | |
| CN104205828B (zh) | 用于自动3d图像创建的方法和系统 | |
| JP5014979B2 (ja) | 個人用電子機器の３次元情報取得及び表示システム | |
| US8836760B2 (en) | Image reproducing apparatus, image capturing apparatus, and control method therefor | |
| CA2488925C (en) | Method for producing stereoscopic images from monoscopic images | |
| JP4072330B2 (ja) | 表示装置および情報処理方法 | |
| JP2003187261A (ja) | ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 | |
| JPWO2006080316A1 (ja) | カメラ制御装置およびこの装置におけるズーム倍率制御方法 | |
| WO2011122177A1 (ja) | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 | |
| CN105306921A (zh) | 一种基于移动终端的三维照片拍摄方法及移动终端 | |
| CN107209949B (zh) | 用于产生放大3d图像的方法和系统 | |
| JP4958689B2 (ja) | 立体画像生成装置およびプログラム | |
| JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
| CN109799899B (zh) | 交互控制方法、装置、存储介质和计算机设备 | |
| JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
| KR100935891B1 (ko) | 입체 영상 생성 방법 및 장치 | |
| CN114007057A (zh) | 终端、拍摄方法、拍摄装置及计算机可读存储介质 | |
| CN102118576B (zh) | 一种虚拟体育系统中的色键合成方法及装置 | |
| US20190349561A1 (en) | Multi-camera scene representation including stereo video for vr display | |
| JP2013090180A (ja) | 立体映像撮影表示装置 | |
| JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4378118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |