JP4503945B2

JP4503945B2 - リモート観測装置

Info

Publication number: JP4503945B2
Application number: JP2003192146A
Authority: JP
Inventors: 宗伯浮田; 正継木戸出
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2003-07-04
Filing date: 2003-07-04
Publication date: 2010-07-14
Anticipated expiration: 2023-07-04
Also published as: JP2005027166A

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザの位置からは直接見えない映像を、ユーザが直感的に理解しやすいように提示可能なリモート観測装置、および、そのプログラムおよび記録媒体に関するものである。
【０００２】
【従来の技術】
従来から、例えば、障害物の向こうや隣の位置、あるいは、遠隔地などに相手がいる場合など、複数の人間が直接顔を合わせて話すことのできない環境にいる場合、カメラ映像を介することによって、お互いの表情・状況を視認可能なコミュニケーションシステムが広く使用されている。
【０００３】
例えば、後述の非特許文献１に記載されているコミュニケーションシステムでは、各ユーザの目の前に固定されたカメラが設けられており、各ユーザの前には、相手のカメラの撮影して送信した映像を受信して表示するディスプレイが配置されている。これにより、各ユーザは、相手のカメラ映像を介して、コミュニケートできる。
【０００４】
さらに、当該非特許文献１では、各ユーザの近傍に、複数のカメラを配置し、それらのいずれかからの映像を相手のディスプレイに表示している。これにより、当該コミュニケーションシステムにおいて、カメラが１つの場合の問題点、すなわち、「互いにコミュニケートするためには、各ユーザが、それぞれの近傍（例えば、机の上など）に固定されたカメラの前にいる必要がある」という問題、および、「各ユーザが相手の目の前にある固定カメラの視野以外の様子を見ることができない」という問題を、ある程度解消している。
【０００５】
【非特許文献１】
宮崎英明, 亀田能成, 美濃導彦: ”複数のカメラを用いた複数ユーザに対する講義の実時間映像化法”, 電子情報通信学会論文誌, J82-DII, No.10, pp.1598-1692,1999年
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の構成では、各ユーザは、「相手のカメラのうち、いずれの映像を表示するか」、あるいは、「自分の近傍に配置されたカメラのうち、いずれの映像を相手に送信するか」を選択する必要があり、手間がかかるという問題を生じる。
【０００７】
また、ユーザが視認対象物を目視する場合とは異なって、相手のカメラ映像の視点は、ユーザが体を動かしても静止しており、当該視点は、カメラの切り換えによってのみ移動する。したがって、ユーザに違和感を感じさせてしまい、ユーザは、相手の状況を的確に把握することが難しいという問題も生じてしまう。
【０００８】
なお、これらの問題は、相互に映像を送信しあうコミュニケーションシステムに限るものではなく、ユーザの位置からは直接見ることができない場所の映像をユーザに提示するリモート観測装置全般で発生する。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザの位置からは直接見ることができない場所の映像を、ユーザが直感的に理解しやすいように提示可能なリモート観測装置を実現することにある。
【００１０】
【課題を解決するための手段】
本発明に係るリモート観測装置は、上記課題を解決するために、互いに異なる方向を撮影するように配置した複数のカメラにより撮影された映像を合成することによって、予め定められる特定位置から予め定められる特定方向を見た映像を生成し、生成されたリモート映像をユーザに提示するリモート映像生成手段と、上記ユーザの視線を計測する視線計測手段と、計測された視線の変更に伴なって、上記特定位置および特定方向を変更する変更手段とを備えていることを特徴としている。
【００１１】
上記構成において、リモート映像生成手段は、上記複数のカメラにより撮影された映像を合成して、特定位置から特定方向を見た映像（リモート映像）を生成している。また、ユーザが姿勢を変更するなどして、ユーザの視線の方向や視線の開始位置（視点）が変化すると、上記変更手段は、上記視線計測手段によって計測された視線の変更に伴なって、上記特定位置および特定方向を変更する。
【００１２】
上記構成では、リモート映像は、複数のカメラによって撮影された映像自体ではなく、リモート映像生成手段が上記複数のカメラにより撮影された映像を合成することによって生成されている。したがって、複数のカメラにより撮影された映像を切り換える場合とは異なり、リモート映像の仮想的な撮影位置および撮影方向（特定位置および特定方向）を連続的に変化させることができる。また、特定位置および特定方向は、ユーザが視認対象を目で直接視認する場合と同様に、視線の変更に追従して変更される。これらの結果、複数のカメラにより撮影されている遠隔地の映像、すなわち、ユーザの位置からは直接見ることができない場所の映像を、ユーザが直感的に理解しやすいように提示できる。
【００１３】
また、上記構成に加えて、ユーザが見ている方向を撮影するユーザ側カメラによって撮影されたユーザ側映像と、上記リモート映像とを重畳する重畳手段とを備えていてもよい。
【００１４】
当該構成では、リモート映像がユーザ側映像に重畳されて表示されるので、臨場感を増すために、ユーザの視界の殆どを覆うディスプレイによって、両映像を表示している場合であっても、ユーザは、ユーザ側映像によって、自分自身の周囲の状況を確認できる。したがって、このような場合であっても、安全性を損なうことなく、ユーザが位置や姿勢を変更可能な範囲、および、ユーザが上記特定位置および特定方向を変更可能な範囲を広げることができる。
【００１５】
さらに、上記構成に加えて、上記ユーザ側映像およびリモート映像が、両者の境界で滑らかにつながるように、上記特定位置および特定方向を微調整する調整手段を備えていてもよい。
【００１６】
当該構成では、ユーザから見える場所と、遠隔地とが、以下のような関係、すなわち、本来であれば、ユーザから見える場所の映像と、特定位置から特定方向を見たときの映像（リモート映像）との間に幾何学的整合性が保たれている関係にある場合に、上記視線計測手段による視線計測に誤差が発生したとしても、上記調整手段が、計測誤差に起因する幾何学的整合性の乱れを打ち消しているので、リモート観測装置は、計測誤差を打ち消すことができ、ユーザに幾何学的整合性を保ったまま、ユーザ側映像とリモート映像とを重畳して提示できる。したがって、視線計測の誤差に起因する幾何学整合性の乱れが発生する場合と異なり、ユーザに違和感を感じさせない映像を提示できる。
【００１７】
なお、上記「本来であれば」は、「視線計測手段による視線の計測が正確で、しかも、リモート映像生成手段による特定位置から特定方向を見たときの映像生成に誤差がないとすると」を意味しており、上記両場所が、このような関係にある場合の例としては、例えば、ユーザ側映像およびリモート映像が同じ対象を示している場合、あるいは、ユーザから見える壁面や天井あるいは床面などに上記遠隔地と同じ模様が描かれている場合などが挙げられる。
【００１８】
また、上記調整手段は、重畳手段がリモート映像に重畳して表示しているリモート映像を参照している。したがって、ユーザに、新たな機器を装着させ、当該機器からの情報を参照して視線計測の精度を向上させる場合と異なり、ユーザに新たな機器を装着させることなく、視線計測の精度を向上できる。
【００１９】
さらに、上記構成に加えて、上記重畳手段は、上記ユーザ側映像の輝度とリモート映像の輝度とが、両映像の境界で滑らかに変化するように、両映像の輝度の少なくとも一方を調整してもよい。
【００２０】
当該構成では、重畳手段が、両映像の境界でそれぞれの輝度が滑らかに変化するように、それぞれの映像の輝度を調整する。したがって、上記複数のカメラ、および、ユーザ側カメラのパラメータ（絞り、ゲイン、口径喰補正値など）が互いに異なっているなどして、本来は等しいはずの輝度値が異なる場合であっても、リモート観測装置は、滑らかに輝度が変化する映像をユーザに提示できる。この結果、輝度が急峻に変化する場合と異なり、ユーザに違和感を感じさせない映像を提供できる。
【００２１】
ところで、上記リモート観測装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記各手段としてコンピュータを動作させるプログラムであって、本発明に係る記録媒体には、当該プログラムが記録されている。
【００２２】
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記リモート観測装置として動作する。したがって、上記リモート観測装置と同様に、複数のカメラにより撮影されている遠隔地の映像、すなわち、ユーザの位置からは直接見ることができない場所の映像を、ユーザが直感的に理解しやすいように提示できる。
【００２３】
【発明の実施の形態】
本発明の一実施形態について図１ないし図１４に基づいて説明すると以下の通りである。すなわち、本実施形態に係るリモート観測システム１は、例えば、図２に示すように、ユーザＵが所在する第１の場所Ｐ１から直接見えない第２の場所Ｐ２の映像を、ユーザＵが直感的に理解し易いように提示可能なシステムである。
【００２４】
具体的には、本実施形態に係るリモート観測システム１は、上記第２の場所Ｐ２に配置された機器として、互いに異なる方向を撮影するためのリモート側カメラ１１ａ〜１１ｃ…と、各リモート側カメラ１１ａ〜１１ｃのそれぞれに接続されたリモート側コンピュータ１２ａ〜１２ｃとを備えており、各リモート側コンピュータ１２ａ〜１２ｃは、それぞれに対応するカメラが撮影した映像を、ネットワーク２を介して、後述するリモート映像生成用コンピュータ３１に送信できる。
【００２５】
図２では、一例として、部屋がしきりＰによって区切られているため、しきりＰの一方側（第１の場所Ｐ１）にいるユーザＵが部屋の全体を見渡せず、しきりＰによって、部屋の一部が死角になっている場合を図示しており、上記リモート観測システム１は、上記しきりＰを透視して、上記死角の映像を見ているようにユーザＵに見せかけている。
【００２６】
この例では、上記カメラ１１ａ〜１１ｃのうちの２つ（１１ｃ・１１ｂ）が、ユーザＵの場所Ｐ１から見て、しきりＰの向こう側にある壁面Ｗ１の上辺両端に配置されており、残余のカメラ１１ａが、しきりＰの上辺の一端に配置されている。さらに、各カメラ１１ａ〜１１ｃは、上記壁面Ｗ１を含む部屋の壁面としきりＰとで３方を囲まれた場所（Ｐ２）の床面中央への方向を撮影している。なお、カメラ１１ａ〜１１ｃの上記配置は、あくまで一例であって、当然ながら、これに限るものではない。各カメラ１１ａ〜１１ｃからの映像に基づいて、後述のリモート映像生成用コンピュータ３１が特定位置Ｓｘから特定方向Ｓｄを見たときのリモート映像Ｒ３１を生成できれば、他の配置であっても同様の効果が得られる。
【００２７】
また、上記リモート観測システム１は、上記ユーザＵが所在する第１の場所Ｐ１に配置された機器として、ユーザＵを撮影して、ユーザＵの視線を計測するための視線計測用カメラ２１と、当該視線計測用カメラ２１に接続された視線計測用コンピュータ２２とを備えており、当該視線計測用カメラ２１は、視線計測用カメラ２１が撮影したユーザＵの映像に基づいて、ユーザＵの視線を検出し、ユーザＵの視線を示す視線情報を、ネットワーク２を介して、後述するリモート映像生成用コンピュータ３１に送信できる。
【００２８】
より詳細には、上記視線計測用コンピュータ２２は、例えば、「浮田宗伯，松山隆司，”能動視覚エージェント群による複数対象の実時間強調追跡”，情報処理学会ＣＶＩＭ研究会論文誌，Vol.43, No. SIG11,pp.64-79, 2002年：2002年１２月１５日発行」などに示すような対象位置の追跡システムを利用して、ユーザＵの目の位置を追跡し、例えば、「大野健彦，武田直樹，吉川厚，”眼球形状モデルに基づく視線計測システム”，情報処理学会研究報告，2001-HI-93,pp.47-54, 2001年：2001年５月１１日開催」などに示すようにユーザＵの視線を検出している。
【００２９】
すなわち、ユーザＵの映像のうち、例えば、ユーザＵの瞳孔の形状特徴と、および、瞳孔および虹彩の間の輝度差があることを利用し、映像において、輝度差がある領域として求めた瞳孔の輪郭とから、瞳孔の中心を求める。また、上記視線計測用コンピュータ２２は、上記ユーザＵの映像からプルキニエ像の位置を求め、当該プリキニエ像の位置から角膜の中心を求める。さらに、上記視線計測用コンピュータ２２は、プリキニエ像の位置および瞳孔中心の位置から、視線ベクトルを算出する。
【００３０】
なお、瞳孔の検出を容易にするために、近赤外線の照射装置（図示せず）を設け、当該照射装置により視線方向と同一方向から近赤外線を照射し、網膜で反射させることによって、瞳孔を虹彩より明るくさせてもよい。
【００３１】
図２の例では、上記視線計測用カメラ２１は、しきりＰの上辺の一端に配置されており、上記壁面Ｗ１に対向する壁面（図示せず）を含む部屋の壁面としきりＰとで３方を囲まれた場所（Ｐ１）の床面中央への方向を撮影している。これにより、ユーザＵが場所Ｐ１のいずれから、しきりＰを見ていたとしても、視線計測用カメラ２１は、ユーザＵの目を撮影でき、上記視線計測用コンピュータ２２は、何ら支障なく、ユーザＵの視線を計測できる。なお、視線計測用カメラ２１の上記配置は、あくまで一例であって、当然ながら、これに限るものではない。視線計測用カメラ２１からの映像に基づいて、視線計測用コンピュータ２２がユーザの視線を計測できれば、他の配置であっても同様の効果が得られる。
【００３２】
さらに、上記リモート観測システム１には、上記各コンピュータ１２ａ〜１２ｃおよび２２とネットワーク２を介して接続可能なリモート映像生成用コンピュータ３１が設けられている。当該リモート映像生成用コンピュータ３１は、図１に示すように、上記各リモート側カメラ１１ａ〜１１ｃが撮影した映像を合成して、第２の場所Ｐ２の、ある位置（特定位置Ｓｘ）から、ある方向（特定方向Ｓｄ）を見たときの映像（リモート映像）を生成し、後述するウェアラブルコンピュータ４３へ送信するリモート映像生成処理部３２と、上記視線計測用コンピュータ２２からの視線情報に基づいて、ユーザＵの視線の変化を検出し、視線の変化に応じて、上記特定位置Ｓｘおよび特定方向Ｓｄの変更を上記リモート映像生成処理部３２へ指示する特定位置・方向決定部３３とを備えている。
【００３３】
図２の例では、２つの場所Ｐ１・Ｐ２がしきりＰによって区切られており、ユーザＵが、しきりＰによって、第２の場所Ｐ２を直接見ることができないにも拘わらず、リモート観測システム１は、ユーザＵがしきりＰを透視して第２の場所Ｐ２を見ているように見せかけている。したがって、上記特定位置・方向決定部３３は、ユーザＵの視線の開始位置Ｕｘと一致するように、上記特定位置Ｓｘを制御し、ユーザＵの視線方向Ｕｄと一致するように、上記特定方向Ｓｄを制御する。
【００３４】
さらに、上記リモート観測システム１は、ユーザＵに着用される機器として、ユーザＵから見た映像を撮影するためのウェアラブルカメラ４１と、第２の場所Ｐ２の映像を含む映像をユーザＵに提示するウェアラブルディスプレイ４２と、両機器４１・４２に接続されたウェアラブルコンピュータ４３とを備えている。
【００３５】
一例として、上記ウェアラブルカメラ４１およびウェアラブルディスプレイ４２は、例えば、図３に示すように、メガネと一体に形成されていてもよい。図３の例では、ウェアラブルカメラ４１がメガネの上部フレーム（装着時に目の上に配されるフレーム）の中央部に設置されており、ウェアラブルディスプレイ４２は、左眼用のレンズの一部を覆うように設置されている。さらに、両機器４１・４２は、メガネのツルの部分から延設されたコードを介して、上着のポケットの中に入れられているウェアラブルコンピュータ４３に接続されている。図３の構成では、ウェアラブルカメラ４１およびウェアラブルディスプレイ４２がメガネと一体に形成されている。したがって、メガネを着用するだけで、ウェアラブルカメラ４１を、ユーザＵから見た映像を撮影できる位置に配置できると共に、ウェアラブルディスプレイ４２を、ユーザＵから見える位置に配置できる。したがって、各機器４１・４２が別体の場合に比べて、それぞれを正しい位置に配置する際の手間を削減できる。
【００３６】
一方、上記ウェアラブルコンピュータ４３には、図１に示すように、ウェアラブルカメラ４１が撮影した映像（視野映像Ｒ４１）と、上記リモート映像生成処理部３２から送信されたリモート映像とを合成して、前者に後者をスーパーインポーズした画像を生成し、上記ウェアラブルディスプレイ４２に表示させる映像合成処理部４４が設けられている。
【００３７】
なお、上記各部材３２・３３・３４（一部後述）は、上記リモート映像生成用コンピュータ３１のＣＰＵが記憶装置に格納されたプログラムを実行し、必要に応じて入出力回路などの周辺回路（いずれも図示せず）を制御することによって実現される機能ブロックである。同様に、上記各部材４４・４５（一部後述）は、上記ウェアラブルコンピュータ４３のＣＰＵが記憶装置に格納されたプログラムを実行し、必要に応じて入出力回路などの周辺回路を制御することによって実現される機能ブロックである。
【００３８】
上記構成では、ウェアラブルディスプレイ４２の画面の少なくとも一部に、上記第２の場所の特定位置Ｓｘから特定方向Ｓｄを見たときの映像（リモート映像）が表示されており、ユーザＵの視線が移動すると、上記特定位置・方向決定部３３は、視線計測用コンピュータ２２による視線の検出結果に基づいて、上記特定位置Ｓｘおよび特定方向Ｓｄを、当該視線の開始位置Ｕｘおよび方向Ｕｄの移動に合わせて変更する。
【００３９】
ここで、上記リモート映像生成処理部３２は、例えば、「S. M. Seitz and C. R. Dyer, "View morphing",Proc. of SIGGRAPH96, pp.21-30,1996.：1996年８月4-9開催」に示すように、上記場所Ｐ２に配された複数のカメラ１１ａ〜１１ｃが撮影した映像を、リモート映像生成処理部３３が必要に応じて回転させ、補間することによって、上記リモート映像を生成しているので、上記特定位置Ｓｘから特定方向Ｓｄを撮影するカメラが存在していなくても、何ら支障なく、ユーザＵの視線の移動に追従するリモート映像を生成できる。
【００４０】
この結果、ユーザＵが第２の場所Ｐ２を直接目視できない場所にいるにも拘わらず、場所Ｐ２を示すリモート映像は、ユーザＵが上記特定位置Ｓｘから特定方向Ｓｄを見ているときに視線を移動させたときと同じように変更される。
【００４１】
したがって、上記場所Ｐ２を撮影する複数のカメラが撮影した映像を切り換えてユーザＵに提示する構成とは異なり、ユーザＵが、どのカメラからの映像を表示するかを切り換える必要がない。
【００４２】
また、上記リモート映像生成処理部３３が各カメラ１１ａ〜１１ｃからの映像を合成して、特定位置Ｓｘから特定方向Ｓｄを見たときの映像（リモート映像）を生成している。したがって、上記各リモート側カメラ１１ａ〜１１ｃが離散的に配置されているにも拘わらず、ユーザＵに提示されている映像の視点が断続的に変化する上記構成とは異なり、ユーザＵが自分の体を動かして、視線を移動させると、リモート映像は、ユーザＵの視線の移動に追従して、連続的にかつ滑らかに変化する。
【００４３】
この結果、上記構成の場合に発生する不具合、すなわち、ユーザＵが視線を移動させているにも拘わらず、ウェアラブルディスプレイ４２がユーザＵに提示するリモート映像の視点が固定されているため、ユーザＵに違和感を感じさせるという不具合の発生を防止できる。これにより、リモート観測システム１は、直感的に理解しやすいリモート映像をユーザＵに提示でき、場所Ｐ２の情景を的確に伝えることができる。
【００４４】
なお、上記では、場所Ｐ１のユーザＵが、リモート映像によって、場所Ｐ２の状況を見る場合、すなわち、映像の伝達が場所Ｐ２から場所Ｐ１への一方向の場合を例にして説明したが、当該方向に映像を伝達する場合と同様の機器を、場所Ｐ１からＰ２へ伝達するために配置し、双方向にリモート映像を伝達できるようにしてもよい。
【００４５】
具体的には、場所Ｐ１に、場所Ｐ２に配置されていた機器１１ａ〜１２ｃと同様の機器を配置すると共に、場所Ｐ２に、場所Ｐ１に配置されていた機器２１・２２と同様の機器を配置する。さらに、場所Ｐ２のユーザＵにも、場所Ｐ１のユーザＵが装着した機器４１〜４３と同様の機器を装着させる。なお、この場合、一方方向の映像伝送用のリモート映像生成用コンピュータ３１とは別に他方方向の映像伝送用のリモート映像生成用コンピュータ３１を設けてもよいし、両方向に共通のリモート映像生成用コンピュータ３１を設けてもよい。いずれの場合であっても、各方向の伝送用に、特定位置・方向決定部３３およびリモート映像生成処理部３２がそれぞれ設けられていれば、同様の効果が得られる。また、双方向に映像を伝送する場合、リモート側カメラ１１ａ〜１１ｃおよびリモート側コンピュータ１２ａ〜１２ｃの一部または全部と、視線計測用カメラ２１および視線計測用コンピュータ２２とを共用してもよい。
【００４６】
この場合は、双方向に映像をやりとりできるので、例えば、複数のユーザが、直接顔を合わせて話すことができない環境（例えば、障害物の向こうの部屋、遠隔地など）にいるような状況であっても、上述のリモート映像、すなわち、ユーザが直感的に理解しやすいように、視点（上記特定位置Ｓｘおよび特定方向Ｓｄ）が変化する、リモートのカメラ映像を介して、各ユーザがコミュニケートできる。
【００４７】
ところで、リモート映像を双方向伝送するか否かに拘わらず、特定位置Ｓｘおよび特定方向ＳｄをユーザＵの視線の移動に追従して移動させることができれば、ユーザＵが直感的に理解しやすいリモート映像を提示できるので、上記ウェアラブルディスプレイ４２は、据え置き型のディスプレイであってもよいし、各ウェアラブルコンピュータ４３とリモート映像生成用コンピュータ３１とが有線で接続されていてもよい。
【００４８】
ただし、本実施形態に係るリモート観測システム１では、特定位置Ｓｘおよび特定方向ＳｄがユーザＵの視線の移動に追従して移動するので、例えば、上記各機器４３・３１を有線で接続した場合のように、ユーザＵが視線を移動できる範囲が制限されていると、上記特定位置Ｓｘおよび特定方向Ｓｄの変更可能な範囲も制限されてしまう。また、ユーザＵの視線の移動に追従して、ディスプレイに表示されるリモート映像が変化しても、例えば、ディスプレイが据え置き型の場合など、ユーザＵの視線の移動に伴なって、ユーザＵから見たディスプレイの位置が変化すると、ある状態のときに、ディスプレイが見やすい位置にあったとしても、その状態から視線を移動すると、ディスプレイが見にくくなってしまう。
【００４９】
ところが、本実施形態に係るリモート観測システム１では、場所Ｐ１に配置される機器４１〜４３が、いずれもユーザＵに装着可能な機器であり、ウェアラブルコンピュータ４３とリモート映像生成用コンピュータ３１とが無線で通信している。したがって、これらの機器４１〜４３を装着したユーザＵは、ウェアラブルコンピュータ４３とリモート映像生成用コンピュータ３１との間の通信を阻害することなく移動でき、ユーザＵの移動範囲が限定されている場合に比べて、上記特定位置Ｓｘおよび特定方向Ｓｄの変更可能な範囲を拡大できる。この結果、より的確に場所Ｐ２の情景を提示できる。
【００５０】
また、本実施形態に係るリモート観測システム１では、上記ウェアラブルディスプレイ４２がユーザＵに装着されているので、ユーザＵが移動しても、ユーザＵから見たウェアラブルディスプレイ４２の位置は一定である。したがって、ユーザＵの視線が移動するにも拘わらず、常時、ユーザＵの見やすい位置にウェアラブルディスプレイ４２を配置でき、より的確に場所Ｐ２の情景を提示できる。
【００５１】
さらに、本実施形態に係るリモート観測システム１は、上記映像合成処理部４４が、ウェアラブルカメラ４１の撮影した映像の一部に重畳してリモート映像を表示している。
【００５２】
したがって、臨場感を増すために、ウェアラブルディスプレイ４２がユーザＵの視界全てまたは殆ど全てを覆った結果、ユーザＵが自分の周囲をウェアラブルディスプレイ４２の表示によらず、直接、目で確認することが難しい場合であっても、ウェアラブルディスプレイ４２に表示された、ウェアラブルカメラ４１の映像によって、ユーザＵの周囲の状況をユーザＵへ伝えることができる。この結果、ユーザＵは、上記リモート観測システム１から、視界全てまたは殆ど全てを覆うウェアラブルディスプレイ４２によって臨場感溢れる映像の提示を受けているにも拘わらず、安全かつ自由に上記場所Ｐ１を移動できる。したがって、いつでも、どこでも、歩きながらでも、ユーザＵは、送信されてくるリモート映像を視認でき、ポジションフリーなリモート観測システム１を実現できる。また、本実施形態において、機器４１〜４３は、ユーザＵに装着されるので、ユーザＵが、これらの機器４１〜４３を手で保持しなくても、ユーザＵの視界を撮影できると共に、ユーザＵにリモート映像などの映像を提示できる。したがって、ユーザＵは、歩きながらであっても、他の作業中であっても、リモート観測システム１からの映像を視認できる。
【００５３】
また、リモート側カメラ１１ａ〜１１ｃとして、ユビキタスカメラ、すなわち、環境中に設置されたカメラ群を利用することによって、広範囲な観測が可能になり、必要に応じて、観測空間中のさまざまな場所の様子を見ることができるようになる。
【００５４】
さらに、リモート映像を双方向伝送した場合、従来のリモートコミュニケーションシステム、すなわち、お互いの目の前に固定されたカメラ・ディスプレイからの映像を表示するシステムとは異なり、机の上などに固定されたカメラの前にいなくても、相手側（リモート側）の映像を取得でき、かつ、相手に、自らの映像をリモート映像として提示できる。また、上記カメラの設置場所および撮影方向からの映像以外の映像を相手に提示できる。したがって、より自然で的確なコミュニケーションが可能になり、上記リモート観測システム１は、コミュニケーションシステムとして好適に動作できる。
【００５５】
ところで、リモート映像を双方向伝送するか否かに拘わらず、上記場所Ｐ１および場所Ｐ２が、以下のような関係、すなわち、本来であれば、ユーザＵから見た場所Ｐ１の映像と、場所Ｐ２の特定位置Ｓｘから特定方向Ｓｄを見たときの映像（リモート映像）との間に幾何学的整合性が保たれている関係にある場合、リモート映像と、ウェアラブルカメラ４１の撮影した映像との双方を表示し、しかも、視線計測用コンピュータ２２による、ユーザＵの視線の検出時に誤差が発生すると、両映像の境界において、幾何学的整合性が崩れる虞れがある。
【００５６】
ここで、上記「本来であれば」は、より詳細に説明すると、「視線計測用コンピュータ２２による視線の計測が正確で、しかも、リモート映像生成処理部３３による特定位置Ｓｘから特定方向Ｓｄを見たときの映像生成に誤差がないとすると」を意味している。また、上記場所Ｐ１およびＰ２が、このような関係にある場合の例としては、壁面Ｗ１のうち、しきりＰによって遮られていない場所がユーザＵの視界に入る場合（図２参照）のように、リモート映像と、ウェアラブルカメラ４１の撮影した映像とが同じ対象を観測している場合、あるいは、場所Ｐ１の壁面や天井あるいは床面などに場所Ｐ２と同じ模様が描かれている場合などが挙げられる。
【００５７】
これに対して、本実施形態に係るウェアラブルコンピュータ４３には、ウェアラブルカメラ４１が撮影した視野映像をリモート映像生成用コンピュータ３１に送信する視野映像送信部４５が設けられており、リモート映像生成用コンピュータ３１は、視野映像送信部４５から受け取った視野映像と、リモート映像とを比較して、上記両映像の幾何学的整合性を検出すると共に、両映像が幾何学的に最も整合性の取れるように、上記特定位置・方向決定部３３へ、上記特定位置Ｓｘおよび特定方向Ｓｄの変更を指示する幾何学的整合性調整部３４を備えている。
【００５８】
当該構成では、ユーザＵの視線の計測時の誤差などによって、幾何学的整合性が取れなくなっても、上記幾何学的整合性調整部３４によって幾何学的整合性の乱れが解消されるように、上記特定位置Ｓｘおよび特定方向Ｓｄが変更され、視線計測時の誤差が打ち消される。この結果、より高精度に視線を計測でき、視線計測の誤差に起因する、上記両映像の幾何学的整合性の乱れを防止できる。これにより、リモート観測システム１が上記両映像を重畳して提示しているにも拘わらず、違和感のない映像をユーザＵに提示できる。
【００５９】
また、上記では、視線計測の精度向上のために、ユーザＵに、周囲の状況を伝えるための機器（ウェアラブルカメラ４１）の映像を参照している。したがって、計測精度が向上しているにも拘わらず、他の機器を新たにユーザＵに装着させて計測精度を向上させる場合と異なり、ユーザＵが装着する必要のある機器の数や重量の増加を抑えることができる。
【００６０】
また、上記映像合成処理部４４は、両映像を合成する際、上記両映像が光学的に最も整合性が取れるように、両映像の少なくとも一方の輝度を調整する。これにより、ウェアラブルカメラ４１が撮影した映像とリモート映像との境界において、輝度が相互に異なっている場合、すなわち、そのまま合成すると、光学的整合性が取れなくなり、ユーザＵに両者の境界を不所望に認識させると共にユーザＵの目に負担をかける場合であっても、ウェアラブルディスプレイ４２に表示された時点の上記両映像の光学的整合性を維持できる。この結果、上記両映像を重畳して表示しているにも拘わらず、自然で目に負担の少ない映像をユーザＵに提示できる。
【００６１】
以下では、図４〜図１２を参照しながら、幾何学的整合性の検出／補正方法および光学的整合性の検出／補正方法について詳細に説明する。例えば、図４に示すように、リモート側カメラ１１ａ〜１１ｃは、場所Ｐ１の床面に載置された視認対象物Ｏ１を撮影している場合、それぞれの撮影結果Ｒ１１ａ〜Ｒ１１ｃは、図５〜図７に示すようになる。これら撮影結果Ｒ１１ａ〜Ｒ１１ｃは、図１に示すリモート映像生成用コンピュータ３１によって合成され、図８に示すように、特定位置Ｓｘおよび特定方向Ｓｄからの映像（リモート映像）Ｒ３１になる。さらに、ウェアラブルコンピュータ４３によって、当該リモート映像Ｒ３１は、ウェアラブルカメラ４１が撮影した映像（視野映像Ｒ４１：図９参照）に重畳され、図１０に示す映像Ｒ４２としてウェアラブルディスプレイ４２に表示される。
【００６２】
ここで、上述したように、視線計測用コンピュータ２２による視線の計測が正確で、しかも、リモート映像生成処理部３３による特定位置Ｓｘから特定方向Ｓｄを見たときの映像生成に誤差がないとすると、ユーザＵから見た場所Ｐ１の映像と、場所Ｐ２の特定位置Ｓｘから特定方向Ｓｄを見たときの映像（リモート映像）との間に幾何学的整合性が保たれているはずである。
【００６３】
例えば、図１０は、ユーザＵが、図２に示す、しきりＰを介して、壁面Ｗ１１を見た場合の映像Ｒ４２を示しており、視野映像Ｒ４１の左２／３は、図２に示すしきりＰを、右１／３は、壁面Ｗ１１を示している。一方、視野映像Ｒ４１に重畳表示されているリモート映像Ｒ３１は、リモート側カメラ１１ａ〜１１ｃによって、しきりＰを介さずに壁面Ｗ１１などを撮影し、撮影結果Ｒ１１ａ〜１１ｃを、ユーザＵの視点から見たように合成したものである。この場合、視野映像Ｒ４１の一部とリモート映像Ｒ３１の一部とは、壁面Ｗ１１の同じ場所（線）を、同じ位置から見たときの映像になる。したがって、視線の計測誤差がなければ、両者の境界（リモート映像Ｒ３１の右側の境界）において、リモート映像Ｒ３１中の線Ｌ１は、図１０に示すように、視野映像Ｒ４１中の線Ｌ２と滑らかに繋がるはずである。
【００６４】
ところが、実際には、視線計測用コンピュータ２２による視線の計測に誤差が含まれているため、単に上記リモート映像Ｒ３１を視野映像Ｒ４１に重畳しただけでは、図１１に示すように、幾何学的整合性が取れなくなり、線Ｌ１と線Ｌ２とが滑らかに繋がらなくなる虞れがある。
【００６５】
これに対して、本実施形態に係る幾何学的整合性調整部３４は、以下のようにして、幾何学的整合性が取れるように、特定位置Ｓｘおよび特定方向Ｓｄを調整している。すなわち、幾何学的整合性調整部３４は、最初に、リモート映像Ｒ３１のうち、視線の計測誤差がなければ、視野映像Ｒ４１と幾何学的整合性が取られている部分を抽出する。
【００６６】
具体的には、幾何学的整合性調整部３４は、リモート映像Ｒ３１と、視野映像Ｒ４１のうち、リモート映像Ｒ３１に重畳されている部分との双方を、図１２に示すように、予め定められた大きさのブロックに分割し、リモート映像Ｒ３１の各ブロックと、それに対応する視野映像Ｒ４１のブロックとを比較して、両者の差分、より詳細には、それぞれに含まれる画素同士の差分値の総和を求める。さらに、各ブロックの差分のヒストグラムが双峰性を持つと仮定して、上記幾何学的整合性調整部３４は、各ブロックの差分値をしきい値で２値化し、差分値がしきい値よりも小さいブロックを、同一対象を観測しているブロックＢ１（幾何学的整合性を取るべきブロック）、しきい値よりも大きなブロックを、異なる対象を観測しているブロックＢ２（幾何学的整合性を取る必要がないブロックと判定する。
【００６７】
このように、リモート映像Ｒ３１および視野映像Ｒ４１のうち、幾何学的整合性を取るべき部分（上記ブロックＢ１）が抽出されると、当該部分では、リモート映像Ｒ３１と視野映像Ｒ４１との差分が最小になるような特定位置Ｓｘおよび特定方向Ｓｄを、非線形最小２乗法によって求める。ここで、非線形最小２乗法の評価値は、リモート映像Ｒ３１と視野映像Ｒ４１との差分値であり、調整パラメータは、特定位置Ｓｘおよび特定方向Ｓｄである。
【００６８】
両者の差分が最小となるような特定位置Ｓｘおよび特定方向Ｓｄが決定されると、当該特定位置Ｓｘおよび特定方向Ｓｄが図１に示す特定位置・方向決定部３３へ指示され、リモート映像生成処理部３２は、当該特定位置Ｓｘから特定方向Ｓｄを見たときのリモート映像を生成する。
【００６９】
これにより、視線計測に誤差が発生したとしても、リモート観測システム１は、図１０に示すように、リモート映像Ｒ３１と視野映像Ｒ４１との間に整合性の取れた映像Ｒ４２をウェアラブルディスプレイ４２に表示できる。
【００７０】
続いて、映像合成処理部４４による光学的整合性の取り方について図１３に基づいて説明する。すなわち、映像合成処理部４４は、図１３中、ＮｌおよびＮｓに示すように、視野映像Ｒ４１およびリモート映像Ｒ３１のうち、隣接する画素群については、両画素の輝度を、両者の平均値に補正する。
【００７１】
さらに、映像合成処理部４４は、視野映像Ｒ４１のうち、上記隣接画素群以外の画素Ｉについては、補正後の輝度Ｉｒを、以下の式（１）に示すように、
Ｉｒ＝Ｉｏ＋Ｄｆ／（Ｄｂ＋Ｄｆ）×（Ｉｎｒ−Ｉｎｏ） …（１）
と設定する。なお、上式（１）において、Ｄｆは、画素Ｉから、最も近い映像Ｒ４２の外枠までの距離であり、Ｄｂは、画素Ｉから、最も近い境界の画素Ｎまでの距離である。ここで、画素Ｎは、視野映像Ｒ４１中の画素であり、Ｉｎｒは、当該画素Ｎの補正後の輝度値、Ｉｎｏは、画素Ｎの補正後の輝度値を示している。さらに、Ｉｏは、画素Ｉの輝度である。
【００７２】
また、映像合成処理部４４は、リモート映像Ｒ３１のうち、上記隣接画素群以外の画素Ｊについては、補正後の輝度Ｊｒを、以下の式（２）に示すように、
Ｊｒ＝Ｊｏ＋Ｄｃ／（Ｄｂ＋Ｄｃ）×（Ｉｃｒ−Ｉｃｏ） …（２）
と設定する。なお、上式（２）において、Ｄｃは、画素Ｊから、リモート映像Ｒ３１の中心までの距離であり、Ｄｂは、画素Ｉから、最も近い境界の画素Ｎまでの距離である。ここで、画素Ｎは、リモート映像Ｒ３１中の画素であり、Ｉｎｒは、当該画素Ｎの補正後の輝度値、Ｉｎｏは、画素Ｎの補正後の輝度値を示している。さらに、Ｊｏは、画素Ｊの輝度である。
【００７３】
これにより、各カメラのパラメータ（絞り、ゲイン、口径喰補正値など）の差などによって、本来は等しいはずの輝度値が異なる場合であっても、リモート観測システム１は、滑らかに輝度が変化する映像をユーザＵに提示でき、輝度が急峻に変化する場合と異なり、ユーザＵに違和感を感じさせない映像を提供できる。
【００７４】
なお、上記では、各映像Ｒ４１・Ｒ３１がモノクロ濃淡画像の場合を例にして説明したが、カラー画像に対しても、Ｒ，Ｇ，Ｂの各輝度値について、同様の処理を行うことによって、両映像間の光学的整合性を取ることができる。
【００７５】
ところで、上記では、上記場所Ｐ１および場所Ｐ２が、以下のような関係、すなわち、本来であれば、ユーザＵから見た場所Ｐ１の映像と、場所Ｐ２の特定位置Ｓｘから特定方向Ｓｄを見たときの映像（リモート映像）との間に幾何学的整合性が保たれている関係にある場合を例にして、ユーザＵが装着する機器の数および重量の増加を抑えながら、視線計測の精度を向上する構成について説明したが、場所Ｐ１およびＰ２が上述の関係にない場合には、以下の構成によって、同様の効果が得られる。
【００７６】
具体的には、図１４に示すように、場所Ｐ１にも、場所Ｐ２と同様に、互いに異なる方向を撮影するためのユーザ側カメラ４６ａ〜４６ｃおよびユーザ側コンピュータ４７ａ〜７５ｃをそれぞれ複数備え、例えば、ウェアラブルコンピュータ４３やネットワーク２に接続されたコンピュータ（図１４の場合は、リモート映像生成用コンピュータ３１）には、リモート映像生成処理部３２および特定位置・方向決定部３３と略同様のユーザ映像生成処理部３５およびユーザ位置・方向決定部３６が設けられている。なお、双方向に映像を伝送する場合と同様に、ユーザ側カメラ４６ａ〜４６ｃおよびユーザ側コンピュータ４７ａ〜４７ｃの一部または全部と、視線計測用カメラ２１および視線計測用コンピュータ２２とを共用してもよい。
【００７７】
ただし、ユーザ映像生成処理部３５は、各リモート側カメラ１１ａ〜１１ｃが撮影した映像に代えて、ユーザ側カメラ４６ａ〜４６ｃからの映像に基づいて、ユーザＵの視線の開始位置Ｕｘから、ユーザＵの視線の方向Ｕｄを見たときの映像（ユーザ映像）を生成している。また、ユーザ位置・方向決定部３６は、特定位置Ｓｘおよび特定方向Ｓｄに代えて、上記開始位置Ｕｘおよび方向Ｕｄを視線情報に基づいて変更する。
【００７８】
さらに、この構成の場合、上記幾何学的整合性調整部３４は、リモート映像と視野映像Ｒ４１との境界が滑らかに繋がるように、ユーザ映像と視野映像Ｒ４１とが一致するように、開始位置Ｕｘおよび方向Ｕｄを調整する。なお、この場合は、両映像が一致することが想定されるため、視野映像Ｒ４１の各ブロックにおいて、両映像の差分が最小になるような開始位置Ｕｘおよび方向Ｕｄを、非線形最小２乗法によって求める。また、ユーザ位置・方向決定部３６は、開始位置Ｕｘおよび方向Ｕｄを変更した分だけ、特定位置Ｓｘおよび特定方向Ｓｄを変更するように、特定位置・方向決定部３３へ指示する。
【００７９】
この場合であっても、ユーザＵに、周囲の状況を伝えるための機器（ウェアラブルカメラ４１）の映像を参照して特定位置Ｓｘおよび特定方向Ｓｄを変更しているため、ユーザＵが装着する機器の数および重量の増加を抑えながら、視線計測の精度を向上することができる。
【００８０】
なお、上記では、視線計測用コンピュータ２２が視線計測用カメラ２１によるユーザの撮影結果に基づいて、ユーザの視線を追跡しているが、これに限るものではない。例えば、頭部の位置・姿勢を検出するシステムをユーザに装着させて、これらによって、頭部の位置および向きを計測し、それに基づいて、ユーザの視線方向を推定してもよい。いずれの場合であっても、ユーザの視線を追跡できれば、同様の効果が得られる。
【００８１】
ただし、本実施形態のように、ユーザの撮影結果に基づいてユーザの視線を追跡する方が、頭部の位置・姿勢を検出するための機器を新たにユーザに装着させる場合よりも、ユーザの装着する機器の数および重量の増加を抑えることができる。
【００８２】
また、本実施形態では、リモート映像生成用コンピュータ３１およびウェアラブルコンピュータ４３を構成する各部材３２〜３６・４４〜４５が、「ＣＰＵなどの演算手段がＲＯＭやＲＡＭなどの記録媒体に格納されたプログラムコードを実行することで実現される機能ブロックである」場合を例にして説明したが、同様の処理を行うハードウェアで実現してもよい。また、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。さらに、上記各部材のうち、ハードウェアとして説明した部材であっても、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。なお、上記演算手段は、単体であってもよいし、装置内部のバスや種々の通信路を介して接続された複数の演算手段が共同してプログラムコードを実行してもよい。
【００８３】
上記演算手段によって直接実行可能なプログラムコード自体、または、後述する解凍などの処理によってプログラムコードを生成可能なデータとしてのプログラムは、当該プログラム（プログラムコードまたは上記データ）を記録媒体に格納し、当該記録媒体を配付したり、あるいは、上記プログラムを、有線または無線の通信路を介して伝送するための通信手段で送信したりして配付され、上記演算手段で実行される。
【００８４】
なお、通信路を介して伝送する場合、通信路を構成する各伝送媒体が、プログラムを示す信号列を伝搬し合うことによって、当該通信路を介して、上記プログラムが伝送される。また、信号列を伝送する際、送信装置が、プログラムを示す信号列により搬送波を変調することによって、上記信号列を搬送波に重畳してもよい。この場合、受信装置が搬送波を復調することによって信号列が復元される。一方、上記信号列を伝送する際、送信装置が、デジタルデータ列としての信号列をパケット分割して伝送してもよい。この場合、受信装置は、受信したパケット群を連結して、上記信号列を復元する。また、送信装置が、信号列を送信する際、時分割／周波数分割／符号分割などの方法で、信号列を他の信号列と多重化して伝送してもよい。この場合、受信装置は、多重化された信号列から、個々の信号列を抽出して復元する。いずれの場合であっても、通信路を介してプログラムを伝送できれば、同様の効果が得られる。
【００８５】
ここで、プログラムを配付する際の記録媒体は、取外し可能である方が好ましいが、プログラムを配付した後の記録媒体は、取外し可能か否かを問わない。また、上記記録媒体は、プログラムが記憶されていれば、書換え（書き込み）可能か否か、揮発性か否か、記録方法および形状を問わない。記録媒体の一例として、磁気テープやカセットテープなどのテープ、あるいは、フロッピー（登録商標）ディスクやハードディスクなどの磁気ディスク、または、ＣＤ−ＲＯＭや光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）やデジタルビデオディスク（ＤＶＤ）などのディスクが挙げられる。また、記録媒体は、ＩＣカードや光カードのようなカード、あるいは、マスクＲＯＭやＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュＲＯＭなどのような半導体メモリであってもよい。あるいは、ＣＰＵなどの演算手段内に形成されたメモリであってもよい。
【００８６】
なお、上記プログラムコードは、上記各処理の全手順を上記演算手段へ指示するコードであってもよいし、所定の手順で呼び出すことで、上記各処理の一部または全部を実行可能な基本プログラム（例えば、オペレーティングシステムやライブラリなど）が既に存在していれば、当該基本プログラムの呼び出しを上記演算手段へ指示するコードやポインタなどで、上記全手順の一部または全部を置き換えてもよい。
【００８７】
また、上記記録媒体にプログラムを格納する際の形式は、例えば、実メモリに配置した状態のように、演算手段がアクセスして実行可能な格納形式であってもよいし、実メモリに配置する前で、演算手段が常時アクセス可能なローカルな記録媒体（例えば、実メモリやハードディスクなど）にインストールした後の格納形式、あるいは、ネットワークや搬送可能な記録媒体などから上記ローカルな記録媒体にインストールする前の格納形式などであってもよい。また、プログラムは、コンパイル後のオブジェクトコードに限るものではなく、ソースコードや、インタプリトまたはコンパイルの途中で生成される中間コードとして格納されていてもよい。いずれの場合であっても、圧縮された情報の解凍、符号化された情報の復号、インタプリト、コンパイル、リンク、または、実メモリへの配置などの処理、あるいは、各処理の組み合わせによって、上記演算手段が実行可能な形式に変換可能であれば、プログラムを記録媒体に格納する際の形式に拘わらず、同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示すものであり、リモート観測システムの要部構成を示すブロック図である。
【図２】上記リモート観測システムのカメラの配置を示す図面である。
【図３】上記リモート観測システムにおいて、ユーザに装着される機器を示す図面である。
【図４】上記リモート観測システムにおいて、ユーザと視認対象物との位置関係を示す図面である。
【図５】上記リモート観測システムにおいて、あるリモート側カメラが撮影した映像を示す図面である。
【図６】上記リモート観測システムにおいて、他のリモート側カメラが撮影した映像を示す図面である。
【図７】上記リモート観測システムにおいて、さらに他のリモート側カメラが撮影した映像を示す図面である。
【図８】上記リモート観測システムにおいて、上記各リモート側カメラが撮影した映像から生成されたリモート映像を示す図面である。
【図９】上記リモート観測システムにおいて、ウェアラブルカメラが撮影した映像を示す図面である。
【図１０】上記リモート観測システムにおいて、ユーザに提示される映像を示す図面である。
【図１１】幾何学的整合性が保たれていないにも拘わらず、ユーザ側映像とリモート映像とを単に重畳して表示した状態を示す図面である。
【図１２】上記リモート観測システムにおいて、幾何学的整合性を保つべきブロックを抽出する方法を示す図面である。
【図１３】上記リモート観測システムにおいて、光学的整合性を維持する方法を示す図面である。
【図１４】上記リモート観測システムの変形例を示すものであり、双方向にリモート映像を伝送可能なリモート観測システムの要部構成を示すブロック図である。
【符号の説明】
１・１ａリモート観測システム（リモート観測装置）
１１ａ〜１１ｃリモート側カメラ（カメラ）
２２視線計測用コンピュータ（視線計測手段）
３２リモート映像生成処理部（リモート映像生成手段）
３３特定位置・方向決定部（変更手段）
３４幾何学的整合性調整部（調整手段）
４３映像合成処理部（重畳手段）

Claims

互いに異なる方向を撮影するように配置した複数のカメラにより撮影された映像を合成することによって、予め定められる特定位置から予め定められる特定方向を見た映像を生成し、生成されたリモート映像をユーザに提示するリモート映像生成手段と、
上記ユーザの視線を計測する視線計測手段と、
計測された視線の変更に伴なって、上記特定位置および特定方向を変更する変更手段と、
ユーザが見ている方向を撮影するユーザ側カメラによって撮影されたユーザ側映像と、上記リモート映像とを重畳する重畳手段と、
上記ユーザ側映像およびリモート映像が、両者の境界で滑らかにつながるように、上記特定位置および特定方向を微調整する調整手段と、を備えていることを特徴とするリモート観測装置。
上記重畳手段は、上記ユーザ側映像の輝度とリモート映像の輝度とが、両映像の境界で滑らかに変化するように、両映像の輝度の少なくとも一方を調整することを特徴とする請求項１記載のリモート観測装置。
互いに異なる方向を撮影するように配置した複数のカメラにより撮影された映像を合成することによって、予め定められる特定位置から予め定められる特定方向を見た映像を生成し、生成されたリモート映像をユーザに提示するリモート映像生成手段と、
上記ユーザの視線を計測する視線計測手段と、
計測された視線の変更に伴なって、上記特定位置および特定方向を変更する変更手段と、
ユーザが見ている方向を撮影するユーザ側カメラによって撮影されたユーザ側映像と、上記リモート映像とを重畳する重畳手段と、を備え、
上記重畳手段は、上記ユーザ側映像の輝度とリモート映像の輝度とが、両映像の境界で滑らかに変化するように、両映像の輝度の少なくとも一方を調整することを特徴とするリモート観測装置。
上記ユーザ側映像およびリモート映像が、両者の境界で滑らかにつながるように、上記特定位置および特定方向を微調整する調整手段を備えていることを特徴とする請求項３記載のリモート観測装置。