JP4725595B2 - 映像処理装置、映像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、例えば、スクリーンに投影された映像から特定の部分の情報を得る場合に適用して好適な映像処理装置、映像処理方法、プログラム及び記録媒体に関する。

従来、バーチャル・リアリティを実現したり、ユーザの眼前に仮想画面を表示したりするための映像表示装置として、ユーザの頭部に装着するヘッド・マウント・ディスプレイ（ＨＭＤ：Head Mounted Display）と呼ばれるインタフェース装置がある。ユーザがヘッド・マウント・ディスプレイを装着すると、ユーザの視線方向に合わせて表示される映像が変わる。

特許文献１には、親機と子機を連動させて、親機の表示される映像に関連する文字等の情報を見ることができる技術について記載がある。

特許文献２には、ユーザの視線を検出し、カメラで撮影された映像と、受信手段によって受信された映像を同時に表示する技術について記載がある。
特開２００６−１０１５６１号公報 特開平１０−１９１２８８号公報

ところで、映像を重畳するためには、大きく２つの技術が用いられる。第１の技術は、虚像の光学系を用いるものである。しかしこの技術では、物体の距離と虚像の位置の不一致が生じやすい。一方、第２の技術は、ユーザの網膜に映像を直接投影するものである。しかし、この技術は、ユーザの眼球運動に投影される映像の位置が左右されやすい。

また、いずれの技術を用いたヘッド・マウント・ディスプレイにおいても、ユーザの眼球の位置に対して厳密な精度が要求される光学系が必要となる。このため、眼球の焦点がわずかでもずれると、ユーザは大きなストレスを感じてしまう。ヘッド・マウント・ディスプレイは虚像をユーザに見せるものであり、一般的なディスプレイ装置のように、表示面から射出される光線によって実像をユーザに見せる光学系とは異なることがストレスの原因であると言える。

特許文献１には、小さな表示端末を用いて、直接ユーザの手元で実像を観察できる技術について開示されている。しかし、ユーザが所望する映像を取得するためには、撮影対象となる被写体や情景（以下、これらを「実世界」とも言う。）もしくはスクリーンに投影された画面を、一旦カメラで撮影する必要がある。

また、特許文献２に記載があるように、撮影した映像をヘッド・マウント・ディスプレイに表示する場合、ユーザの眼球の位置に対する光学性の精度を厳密に改善することは可能である。しかし、この技術を用いると、ユーザに提示される映像は一旦撮影された映像であるため、実世界に比べて画質が大きく劣化する。このため、例えば、実世界では見える映像が、ヘッド・マウント・ディスプレイでは表示される映像の解像度が低下し、不鮮明となってしまう。また、実世界での動きに比べて映像が表示されるまでに遅延が生じやすい。この結果、ユーザが実世界で見ようとする目的物を探しづらくなってしまう。

また、実世界もしくは映像が投影されるスクリーンと、ユーザ自身が持つ小型の表示端末の距離は大きく異なる。このため、実世界やスクリーンに投影された映像のある場所を指示する場合、ユーザの眼球の焦点調節が必要になる。しかし、ユーザの眼球の焦点は、小型の表示端末の画面に合うため、正確に距離を求めることができない。

また、ヘッド・マウント・ディスプレイは、これを装着したユーザの視野角を制限したり、ユーザの頭部や耳に不快感が生じたりするといった問題がある。

本発明はこのような状況に鑑みて成されたものであり、視野角が制限されることなく、実世界もしくはスクリーンに投影された映像から特定の部分の情報を得ることを目的とする。

本発明は、被写体を撮像する撮像装置で撮像された映像が入力され、又はスクリーンに投影される映像の元データが映像受信インタフェースを介して入力され、実像光学系である表示手段の表示面を透過状態又は不透過状態に切り替える。次に、表示手段の表示面が不透過状態である場合に、映像提示部が表示面に映像を提示し、ユーザの視点位置を検出する。次に、撮像装置によって撮影された映像からユーザの視線方向を検出する。次に、被写体が実世界の情景であって、実世界の情景を撮像した映像が入力部を介して入力する場合又は被写体がスクリーンに投影される映像であって、スクリーンを撮像した映像が入力部を介して入力する場合に、ユーザの視点位置、ユーザの視線方向、表示面から被写体までの距離、表示手段の表示面に対して指示された位置及びユーザの視点の移動に基づいて、映像を当該ユーザの視点位置から表示手段の表示面を通して見たときの表示面の画枠に対応して抽出した範囲の映像を生成し、被写体がスクリーンに投影される映像であって、スクリーンに投影される映像の元データから検索された、入力部を介して入力するスクリーンを撮像した映像より、ユーザがスクリーンを真正面から見た場合の視点変換映像を生成する。次に、ユーザの視点位置における表示手段の表示面に対して指示された位置を検出し、生成された映像から抽出した指示された位置の被写体の映像をスクリーンに表示させる。そして、表示面が不透過状態であって、表示面に提示された映像を取得する指示を検出した場合に、生成された映像のズーム率を変えて映像提示部に供給する。

このようにしたことで、実世界もしくはスクリーンに投影された映像から特定の部分が抽出された映像が提示される。このため、ユーザは、映像が表示されるまでの遅延や映像劣化がない状態で映像を取得し、この取得した映像に対して操作できる。また、取得した映像は、ユーザの手元で詳細に観察できる。

本発明によれば、ユーザは、実世界もしくはスクリーンに投影された映像から特定の部分の映像を抽出する場合に、周辺視野も含めた広い視野角で目的とする映像を得られる。このため、ユーザは取得する映像に違和感なく、自然な操作で目的とする映像を取得しやすくなるという効果がある。

以下、本発明の一実施の形態例について、添付図面を参照して説明する。本実施の形態例では、実世界の情景、大画面のスクリーン等に投影された映像、大画面ディスプレイ装置によって提示される映像等をユーザが視聴しながら、その映像に含まれる情報を取得できる映像処理システム１に適用した例について説明する。

図１は、本発明の一実施の形態例に係る映像処理システム１の構成例である。
映像処理システム１は、各種のメニュー、映像等が表示される透過ディスプレイ装置２を備える。透過ディスプレイ装置２は、映像提示部７から映像が提示される表示手段である。また、透過ディスプレイ装置２の表示面には、任意のタイミングで透過と不透過（拡散状態）を切り替える可能な透過ディスプレイパネル１２が形成される。本実施の形態例では、透過ディスプレイパネル１２として、例えば、ＵＭＵフィルム（登録商標）が貼られる。このフィルムは、所定の電圧が加わることによって透過状態と不透過（拡散）状態が切り替わる。不透過状態の透過ディスプレイパネル１２には、小型のプロジェクタ装置である映像提示部７によって映像が提示される。映像提示部７が提示する映像は、ユーザ１０の視野角内に含まれる。映像提示部７によって映像が投影されない場合、透過ディスプレイパネル１２は透過状態となる。

透過ディスプレイパネル１２が透過状態である場合、ユーザ１０は、透過ディスプレイ装置２を通してその背面の実世界（情景）、もしくは大画面のスクリーン９に投影された映像、大画面ディスプレイ装置によって提示される映像等を見ることができる。以下の説明では、スクリーン９に投影された映像について説明するが、実世界についても同様の処理が行えるものとする。

透過ディスプレイ装置２の両側面には、ユーザ１０が視聴している場所（以下、「視点位置」とも言う。）を検出するため、ユーザの視点を撮影する視点位置カメラ４ａ，４ｂが設置される。視点位置は、視点位置カメラ４ａ，４ｂが撮影した映像に基づいて、後述する視点位置検出部１６によって求められる。ここで、視点位置カメラ４ａ，４ｂが設置される面を透過ディスプレイ装置２の表面とする。透過ディスプレイ装置２の裏面（表示手段の前記ユーザの視点位置と反対側の面）には、ユーザ１０が視線を向けるスクリーン９に投影される映像を撮影する視線カメラ３ａ，３ｂが設置される。視線カメラ３ａ，３ｂ、視点位置カメラ４ａ，４ｂは、静止画又は動画を撮像できる撮像装置であり、透過ディスプレイ装置２に応動して撮像方向が移動する。

なお、視線カメラ３ａ，３ｂと視点位置カメラ４ａ，４ｂは、赤外線を利用してユーザ１０の視点を検出する赤外線カメラ、視点検出用の測距装置であってもよい。また、視線カメラ３ａ，３ｂと視点位置カメラ４ａ，４ｂは、透過ディスプレイ装置２に一体形成されていなくてもよい。例えば、視点カメラ３ａ，３ｂと視点位置カメラ４ａ，４ｂは、透過ディスプレイ装置２の外枠に取り付けるのではなく、ユーザ１０がいる室内に設置してもよい。

透過ディスプレイ装置２の表面には、ユーザ１０が手で触って操作可能なタッチパネル６が形成される。ユーザ１０は、タッチパネル６の表示面のメニュー、映像、アイコンに対応する位置は、直接ペン型の入力装置等のポインティングデバイスやユーザ１０の指で触れて操作できる。

透過ディスプレイ装置２の外枠には、ユーザ１０が各種の指示操作を行うための操作部５が設置される。操作部５は、各種ボタンを備える。本例では、ユーザ１０が透過ディスプレイ装置２を持ちながら移動したり、視点を動かしたりする場合に方向指示等が行える視点移動ボタン５ａと、ユーザ１０が詳細に見たい部分のズーム（映像の拡大・縮小表示）を指示するズームボタン５ｂが取り付けられる。また、この枠には、ユーザ１０が取得を希望する映像の取得を指示する映像取得ボタン５ｃが取り付けられる。また、操作部５は、透過ディスプレイパネル１２の透過状態と不透過状態を切り替えるための透過状態切替えボタン５ｄと、タッチパネル６を作動させてメニューアイコン等を表示させるためのタッチパネル切り替えボタン（不図示）等を備える。タッチパネル６にこれらのボタンのアイコンを表示させてアイコンをタッチして所望の操作をするようにしてもよい。

図２は、映像処理システム１の内部構成例である。
映像処理システム１は、各機能ブロックを制御する制御部２０を備える。制御部２０は、例えば、マイクロプロセッサ（ＭＰＵ：Micro Processing Unit）によって構成される。制御部２０は、ユーザ１０の視点位置を検出する視点位置検出部１６によって検出されたユーザ１０の視点位置と、視線カメラ３ａ，３ｂが撮影した映像に基づいて、透過ディスプレイパネル１２に提示する映像を生成する。生成された映像は、ユーザ１０の視点位置から透過ディスプレイパネル１２を通して見たときの透過ディスプレイパネル１２の画枠に対応して映像提示部７に供給される。

映像処理装置２５は、視線カメラ３ａ，３ｂ、視点位置カメラ４ａ，４ｂによって撮像された映像が入力される入力部１４を備える。また、映像処理装置２５は、視線カメラ３ａ，３ｂによって撮像された映像に基づいてユーザ１０の視線方向を検出する視線検出部１５を備える。視線検出部１５は、検出したユーザ１０の視線方向を撮像した映像からユーザ１０のスクリーン９に対する位置を検出する。また、映像処理装置２５は、視点位置カメラ４ａ，４ｂによって撮像された映像に基づいてスクリーン９に対するユーザ１０（視点）の位置を視点位置として検出する視点位置検出部１６を備える。

また、映像処理装置２５は、透過ディスプレイ装置２に提示する映像を生成する視点位置映像演算部１７を備える。視点位置映像演算部１７には、視線検出部１５によって検出されたユーザ１０の視線方向と、視点位置検出部１６によって検出されたユーザ１０の視点位置、被写体との距離（本例では、透過ディスプレイ装置２とスクリーン９の距離）が入力される。視点位置映像演算部１７は、これらの入力された情報に基づいて、ユーザ１０の視点位置から透過ディスプレイパネル１２を通してスクリーン９に提示された映像を見たときの映像を生成する。この映像は、透過ディスプレイパネル１２の画枠の内部に収まる大きさとなる。そして、映像処理装置２５は、ユーザ１０がタッチパネル６に指示した座標位置を指示位置として検出し、視点位置映像演算部１７によって生成された映像からその指示位置の映像を抽出する指示位置検出部１８と、これらの情報をタッチパネル６に供給する出力部１９を備える。

視線カメラ３ａ，３ｂは、スクリーン９に投影された映像を撮影し、生成した映像データを入力部１４に供給する。また、スクリーン９に投影される映像やチューナ等から供給される映像は、映像受信インタフェース２１を介して入力部１４に入力される。

視点位置カメラ４ａ，４ｂは、ユーザ１０の視点を撮影し、生成した映像データを入力部１４に供給する。また、タッチパネル６は、ユーザ１０がパネル面を押下したことを検出し、押下されたパネル面の座標位置の情報を含む操作情報を生成する。この操作情報には、操作部５で操作された各種ボタンを識別する情報も含まれる。そして、操作情報は、インタフェース２２を介して入力部１４に入力される。制御部２０は、スクリーン９に提示された映像と、ユーザ１０の視点位置に応じて処理をした映像データを映像提示部７に送信する。

入力部１４に供給された各種のデータは、撮影場所（撮影領域）を検出する視線検出部１５と、ユーザ１０の視点位置を検出する視点位置検出部１６に供給される。
視線検出部１５は、視線カメラ３ａ，３ｂから得られたデータに基づいて、ユーザ１０がスクリーン９に投影された映像を撮影する場所を検出する。
視点位置検出部１６は、視点位置カメラ４ａ，４ｂから得られたデータに基づいて、スクリーン９に対するユーザ１０の場所（視点位置）を検出する。
視点位置映像演算部１７は、所定の演算処理を行って視点位置からディスプレイパネルを通して見た映像を求める。

視点位置映像演算部１７で求められた視点位置の映像は、ユーザ１０がタッチパネル６で指示した位置を検出する指示位置検出部１８に供給される。指示位置検出部１８で検出された指示位置は、出力部１９を介して送信インタフェース２３で所定のフォーマットに変換される。その後、スクリーン９には、指示位置に対応する映像として、例えばズーム映像が表示される。

また、制御部２０は、入力部１４に入力される映像のうち、ユーザ１０の視点位置に基づいて映像を抽出する範囲を求める。そして、視線検出部１５が検出したユーザ１０の視線方向の映像を抽出して、映像提示部７に供給する。そして、制御部２０は、透過ディスプレイパネル１２の透過状態と不透過状態を切り替える指示命令を透過制御部１１に供給する。そして、透過ディスプレイパネル１２が透過状態である場合に、透過ディスプレイパネル１２の画枠に対応して抽出した範囲の映像を映像提示部７に供給する。

映像提示部７が提示する映像は、不透過状態の透過ディスプレイパネル１２に提示される。そして、制御部２０が透過ディスプレイパネル１２を介してスクリーン９に提示された映像を抽出するのは、透過ディスプレイパネル１２が透過状態である場合に限られる。透過ディスプレイパネル１２の透過状態と不透過状態を切り替え制御する透過制御部１１は、透過状態切替えボタン５ｄ、又は、透過ディスプレイパネル１２に表示される不図示のユーザ・インタフェースによって制御される。このユーザ・インタフェースには、例えば、アイコン、選択メニューが含まれる。

映像提示部７がスクリーン９に映像を投影するときは、透過制御部１１が透過ディスプレイパネル１２を不透過に切り替える。映像提示部７が映像を提示する動作と、透過制御部１１が不透過にする動作は連動する。つまり、ユーザ１０が映像を取得する前は、透過ディスプレイパネル１２が透過状態である。しかし、ユーザ１０が映像取得ボタン５ｃを押すと、制御部２０によって透過ディスプレイパネル１２が不透過状態に切り替わり、映像を取得できる。映像提示部７の投影が終わると、透過制御部１１は透過ディスプレイパネル１２を透過にする。

図３は、透過ディスプレイ装置２を用いてスクリーン９に投影された映像を見る場合の例である。
ユーザ１０は、例えば、透過ディスプレイ装置２を手に持ち、透過状態の透過ディスプレイパネル１２を介してスクリーン９に投影された映像を見る。このとき、ユーザ１０が見る映像は、スクリーン９に投影された映像のうち、領域３１に該当する映像である。

本実施の形態例に係る透過ディスプレイ装置２を用いると、透過ディスプレイパネル１２の画枠内に目的の映像が得られる一方、スクリーン９に投影された映像の画質が劣化したり、提示時間の遅延が生じたりすることはない。また、ユーザ１０の視野角内に透過ディスプレイパネル１２を配置した状態で、透過ディスプレイパネル１２の画枠外に見える情景等を取得する要求がある。このとき、ユーザ１０の視点位置から見たときの透過ディスプレイパネル１２に提示された映像に対する視野角は、同一視点位置から表示面を介して見たときの被写体に対する視野角より小さい。そして、ユーザ１０の視野角が制限されないため、ユーザ１０の周辺視野を用いて周囲の情景を見ることが容易である。このため、ユーザ１０は、スクリーン９に投影された映像からズーム表示したい部分映像を自然な動作で探すことができる。

ところで、実像と虚像では、人間の眼による見え方が異なる。
図４は、実像と虚像の見え方の例である。
ここでは、物体４１とユーザ１０の中間に凸レンズ４２と凹レンズ４５を置いた場合に、物体４１はどのように見えるかについて説明する。

図４（ａ）は、凸レンズ４２を用いた場合の光線の例である。
ユーザ１０は、凸レンズ４２を介して物体４１を見ると、物体４１の実像４３が見える。実像４３は、凸レンズ４２のユーザ側に見える像である。本実施の形態例に係る透過ディスプレイパネル１２は、実像光学系である。

図４（ｂ）は、凹レンズを用いた場合の光線の例である。
ユーザ１０は、凹レンズ４５を介して物体４１を見ると、物体４１の虚像４４が見える。虚像４４は、凹レンズ４５の物体側に見える像である。従来のヘッド・マウント・ディスプレイは、このような虚像光学系を用いている。

図５は、透過ディスプレイ装置２に提示された映像の一部をズームして透過ディスプレイパネル１２に提示する例である。
図５（ａ）は、透過ディスプレイパネル１２に提示される映像の例である。
ユーザ１０の視点位置とスクリーン９の距離をＫ１とし、ユーザ１０の視点位置と透過ディスプレイ装置２の距離をＫ２とする。スクリーン９に正対するユーザ１０の視野角αの範囲内に透過ディスプレイ装置２の外枠を一致させると、スクリーン９に提示された映像のうち、画角αの範囲内の映像が透過ディスプレイパネル１２に提示される。

図５（ｂ）は、図５（ａ）の場合に比べて透過ディスプレイ装置２をユーザ１０に近づけた場合に透過ディスプレイパネル１２に提示される映像の例である。
このとき、ユーザ１０の視点位置と透過ディスプレイ装置２の距離を上述した距離Ｋ２より短いＫ３とする。スクリーン９とユーザ１０との距離は、図５（ａ）の場合と同じＫ１である。そして、スクリーン９に提示された映像と同じ画角αの映像２ｂは、図５（ａ）の場合に提示される映像２ａに比べて小さく提示される。

ユーザ１０は、提示された映像の一部に興味が引かれると、透過ディスプレイ装置２を顔に近づけて詳細に映像を見ようとする動作を行うと考えられる。このため、ユーザ１０が透過ディスプレイパネル１２に提示された映像の一部を指定したり、透過ディスプレイパネル１２に顔を近づけたりする動作を行うと、例えば、映像２ｃのように映像の一部（本例では花）がズームされることが望ましい。このため、本実施の形態例では、ユーザ１０が顔を透過ディスプレイ装置２に近づけた場合や映像の一部を指定した場合に、透過ディスプレイパネル１２に提示する映像のズーム率を変える処理を行う。この処理によって、ユーザ１０は、透過ディスプレイ装置２を直感的に使用できる。

映像のズーム率を変える処理において、ユーザ１０が透過ディスプレイ装置２に顔を近づけたときに、スクリーン９に提示された映像と透過ディスプレイ装置２の画角が同じであれば、ユーザ１０の視点移動を検出する操作を行う処理が必要である。また、ユーザ１０が透過ディスプレイ装置２に顔を近づけた部分の映像をズームするためには、ユーザ１０の動作を検出する処理が必要である。

図６は、透過ディスプレイパネル１２に提示された映像の一部をズームする例である。
図６（ａ）は、ユーザ１０が映像取得ボタン５ｃを押下する例である。
このとき、透過ディスプレイパネル１２は透過状態であり、ユーザ１０は、透過ディスプレイパネル１２を透過したスクリーン９の映像を視聴できる。

図６（ｂ）は、提示映像の例である。
このとき、透過ディスプレイパネル１２は不透過状態である。透過ディスプレイパネル１２には、映像提示部７によってスクリーン９に提示された映像を取り込んだ映像が提示される。

図６（ｃ）は、ユーザ１０がズームボタン５ｂを押下する例である。
ユーザ１０がズームを指定する箇所は、タッチパネル６によって検出される。その後、ズームボタン５ｂを押下することによって指定した箇所の映像がズームされる。

図６（ｄ）は、ズームされた提示映像の例である。
ユーザ１０は、透過ディスプレイパネル１２に提示されていたズーム前の映像について、指定した位置におけるズーム映像を詳細に見ることができる。

図７は、ユーザ１０が視点移動しながら透過ディスプレイパネル１２に提示された映像の一部をズームする例である。図７では、ユーザ１０の視点位置を示すため、
図７（ａ）は、ユーザ１０が映像取得ボタン５ｃを押下する例である。
このとき、透過ディスプレイパネル１２は透過状態であり、スクリーン９の映像が透過ディスプレイパネル１２に透過されて表示される。

図７（ｂ）は、提示映像の例である。
このとき、透過ディスプレイパネル１２は不透過状態である。ユーザ１０は、透過ディスプレイパネル１２を透過したスクリーン９の映像を視聴できる。

図７（ｃ）は、ユーザ１０が視点移動ボタン５ａを押下しながら視点を移動する例である。ここでは、ユーザ１０が左よりの映像に注目することを想定する。
このとき、ユーザ１０が視点移動ボタン５ａを押下しながら自身の顔に透過ディスプレイ装置２を近づけると、移動後のユーザ１０の視点位置が計算される。そして、ユーザ１０がズームボタン５ｂを押下すると、ユーザ１０が顔を近づけた位置の映像（図７（ｃ）の破線部）がズームして透過ディスプレイパネル１２に提示される。

図７（ｄ）は、ズームされた提示映像の例である。
ユーザ１０は、透過ディスプレイパネル１２の正面から左側に移動すると、透過ディスプレイパネル１２に提示されていたズーム前の映像について、視点移動した位置におけるズーム映像を詳細に見ることができる。

図８は、ユーザ１０がタッチパネル６を押した箇所に応じて映像を提示する処理の例である。制御部２０は、タッチパネル６に近接される物体の位置を検出する。本実施の形態例では、２台の視点位置カメラ４ａ，４ｂが撮影した映像によって、ユーザ１０の視点位置を検出する。ただし、２台の視点位置カメラ４ａ，４ｂの間隔は任意に設定でき、既知であるとする。

初期状態として、透過制御部１１は透過ディスプレイパネル１２を透過状態とする（ステップＳ１）。透過状態であれば、ユーザ１０が透過部分からスクリーン９に提示された映像を見ることができる。ユーザ１０は透過ディスプレイ装置２を自由に動かし、スクリーン９上の詳細に見たい物体がある場所で映像取得ボタン５ｃを押す。このとき、制御部２０は、映像取得ボタン５ｃが押下操作されて生じる映像取得命令を受け取る（ステップＳ２）。

次に、視点位置検出部１７は、視点位置カメラ４ａ，４ｂから得られたデータに基づいて、ユーザ１０の視点位置を検出する（ステップＳ３）。視点位置検出部１７は、視点位置カメラ４ａ，４ｂが撮影したユーザ１０の顔の映像から、既存の顔認識の技術を用いて瞳の位置を検出することができる。その視点位置カメラ４ａ，４ｂで撮影したユーザ１０の映像に含まれる瞳の位置を用いると瞳（視点）の３次元的な座標を求めることができる。また、視点位置カメラ４ａ，４ｂを用いない場合でも測距装置、赤外線センサ等を用いたり、ディスプレイの中心を通る軸上に視点を仮想的に置いたりすることでも代用できる。

そして、ユーザ１０の視点位置を通して見える映像を取得するため、映像受信インタフェース２１と、映像送信インタフェース２３からスクリーン９に投影される映像を取得する（ステップＳ４）。

もし、スクリーン９に提示される映像の元データを受信できるならば、以後はこの元データを用いてもよい。映像の元データであれば、スクリーン９に提示された映像を撮影する場合に比べて綺麗な映像として処理できる。映像の元データを受信できないのであれば、視線カメラ３ａ，３ｂの映像を用いて処理を行う。そして、スクリーン９に提示された映像を受信できるのであれば、その受信した映像と視線カメラ３ａ，３ｂで撮影した映像のマッチングを行う。

映像のマッチング処理は、例えば、以下に示す２種類の方法のうち、いずれかの方法で行われる。
（１）視線カメラ３ａ，３ｂの焦点が合う位置から、視線カメラ３ａ，３ｂとスクリーン９の距離を求めてズーム率を大まかに計算し、その後ブロックマッチングを行う方法。
（２）ズーム率不定のまま相関を用いて検出する方法（An FFT-BasedTechnique for Translation,Rotation,andScale-Invariant Image Registration[ＩＥＥＥ１９９６]）。

そして、視線検出部１５は、スクリーン９に投影された映像が映像受信インタフェース２１を介してダウンロードされた映像に含まれる映像であるかを検索するかどうかの判断を行う（ステップＳ５）。スクリーン９に投影される映像を検索する場合、視線カメラ３ａ，３ｂが撮影した映像を比較して、視線カメラ３ａ，３ｂで撮影された映像のマッチングを取る（ステップＳ６）。

このステップＳ５，Ｓ６では、スクリーン９に投影された映像を、映像受信インタフェース２１を介してダウンロードし、利用する処理を行う。この処理では、視線カメラ３ａ，３ｂが撮影した映像と、ダウンロードした映像をマッチングし、撮影した映像がダウンロードした映像に含まれるかどうかを確認している。通常、スクリーン９に提示された映像を直接ダウンロードして利用すると、透過ディスプレイパネル１２に解像度が高い映像を提示できる。ただし、映像受信インタフェース２１を介してダウンロードした映像に撮影した映像が含まれないときは、以降のステップの処理に移る。

そして、スクリーン９に投影された映像を視線カメラ３ａ，３ｂが撮影した映像から、ユーザ１０の視点位置の視点変換映像を作成する（ステップＳ７）。

視点変換映像とは、ユーザ１０が透過ディスプレイ装置２を介して透過される映像を、ユーザ１０がスクリーン９を正視した場合に見える映像、すなわち、ユーザ１０がスクリーン９を真正面から見た場合の映像に変換したものである。例えば、ユーザ１０がスクリーン９に対して斜め方向から見た場合、透過ディスプレイ装置２で見ることができる映像は正視していないので角度がついてしまい、スクリーン９に投影された映像と形状が異なる。このような形状の変形を補正した映像を生成する処理を「視点変換」という。また、視点変換処理によって作成された映像を「視点変換映像」という。ユーザ１０が取得した映像を再度スクリーン９に投影し、この投影された映像をユーザ１０が再度取得すると、取得した映像の劣化が激しくなる。このため、映像処理装置２５の内部でユーザ１０の視点位置における視点変換映像を作成すれば、映像の劣化を抑えることができる。ただし、スクリーン９に提示されている映像をそのまま使える場合は、視点変換映像を作成しなくてもよい。

視点位置映像演算部１７は、視点位置検出部１６が検出したユーザ１０の視点位置に応じて、視点変換映像を作成する。平面映像であれば、アフィン変換を用いて視点を変換することが可能である。２台以上の視線カメラ３ａ，３ｂの映像を用いれば、ステレオ視によるマッチングなどで３次元的な視点による映像を再構成できる。

一方、スクリーン９に投影される映像を検索しない場合、視線カメラ３ａ，３ｂが撮影した映像を視点変換して、視点変換映像を作成する（ステップＳ８）。
ステップＳ７又はステップＳ８の処理の後、透過制御部１１は、透過ディスプレイパネル１２を不透過にする。そして、映像提示部７を用いて視点変換映像を透過ディスプレイパネル１２に提示する（ステップＳ９）。このとき、透過ディスプレイパネル１２には、ユーザ１０が見る映像が提示される。

図９は、タッチパネル６を用いて表示された映像の位置を指示する処理の例である。

初期状態として、透過制御部１１は、透過ディスプレイパネル１２を透過状態とする（ステップＳ１１）。透過状態であれば、ユーザ１０が透過部分からスクリーン９に投影された映像を見ることができる。ユーザ１０は透過ディスプレイ装置２を自由に動かし、スクリーン９上に詳細に見たい物体がある場所でタッチパネル６を押す。このとき、制御部２０は、タッチパネル６にユーザ１０の指が接触した指示位置の情報と、映像取得命令をタッチパネル６から受取る（ステップＳ１２）。

次に、視点位置検出部１７は、視点位置カメラ４ａ，４ｂから得られたデータに基づいて、ユーザ１０の視点位置を検出する（ステップＳ１３）。視点位置検出部１７は、視点位置カメラ４ａ，４ｂが撮影したユーザ１０の顔の映像から、既存の顔認識の技術を用いて瞳の位置を検出することができる。このため、その視点位置カメラ４ａ，４ｂが撮影したユーザ１０の瞳の位置を用いることで、瞳（視点）の３次元的な座標を求めることができる。また、視点位置カメラ４ａ，４ｂを用いない場合でも測距装置、赤外線センサ等を用いたり、ディスプレイの中心を通る軸上に視点を仮想的に置いたりしてもよい。

そして、ユーザ１０の視点位置を通して見える映像を取得するため、映像受信インタフェース２１と、映像送信インタフェース２３からスクリーン９に投影される映像を取得する（ステップＳ１４）。

もし、スクリーン９に投影される映像データを受信できるならば以後はこの映像を用いて、より綺麗な映像で処理する。受信できないのであれば、視線カメラ３ａ，３ｂの映像を用いて処理を行う。スクリーン９に投影される映像を受信できるのであれば、その受信した映像と視線カメラ３ａ，３ｂで撮影した映像のマッチングを行う。

そして、視線検出部１５は、スクリーン９に投影された映像が映像受信インタフェース２１を介してダウンロードされた映像に含まれる映像であるかを検索するかどうかの判断を行う（ステップＳ１５）。スクリーン９に投影される映像を検索する場合、視線カメラ３ａ，３ｂが撮影した映像を比較して、視線カメラ３ａ，３ｂで撮影された映像のマッチングを取る（ステップＳ１６）。

そして、スクリーン９に投影された映像を視線カメラ３ａ，３ｂが撮影した映像から、ユーザの視点位置の視点変換映像を作成する（ステップＳ１７）。このとき、視点位置カメラ４ａ，４ｂで得たユーザ１０の視点位置に応じて、視点変換映像を作成する。平面映像であれば、アフィン変換を用いて視点を変換することが可能である。２台以上の視線カメラ３ａ，３ｂの映像を用いれば、ステレオマッチングなどで３次元的な視点による映像を再構成できる。

一方、スクリーン９に投影される映像を検索しない場合、視線カメラ３ａ，３ｂの映像を視点変換して、視点変換映像を作成する（ステップＳ１８）。

ステップＳ１７又はステップＳ１８の処理の後、指示位置検出部１８は、作成した視点変換映像と、タッチパネル６の座標を比較する。そして、ユーザ１０によって押されたタッチパネル６の位置を計算する（ステップＳ１９）。作成した視点変換映像とタッチパネル６の位置のマッチングを取ることで、映像のどの部分がユーザ１０によって指示されたのかを視点位置検出部１８は検出できる。

次に、ステップＳ１９の処理の後、透過制御部１１は、透過ディスプレイパネル１２を不透過にする。そして、映像提示部７で作成した視点変換映像を透過ディスプレイパネル１２に提示する（ステップＳ２０）。このとき、透過ディスプレイパネル１２には、ユーザ１０が見る映像が提示される。

例えば、ユーザ１０が指示した透過ディスプレイパネル１２の上に文字を表示し、その文字を中心として映像をズームする処理が考えられる。このようにユーザ１０の動作に応じて映像を提示する処理はユーザインタフェース機能として予め設定されている。このとき、作成した視点変換映像から連続して映像をズームすれば、ユーザ１０は直感的に分かりやすい。

また、スクリーン９に対する透過ディスプレイ装置２の位置情報が完全に連携する。このため、ユーザ１０の視点で指示したタッチパネル６の位置から、スクリーン９に投影された画面の位置情報を計算し、この画面に投影される映像に反映する。このため、複数人が同じスクリーン９を見ながら、どのような情報が提示されているかを共有して理解できる。

次に、ステレオ視を用いて立体像を作成する処理の例について図１０〜図１２を参照して説明する。この処理は、ユーザ１０の視点位置と物体との距離を測るために行われる。
図１０と図１１は、視線カメラ３ａ，３ｂで実世界に配置された３つの物体４６ａ〜４６ｃを撮影する場合におけるユーザ１０の視点移動の例を示す図である。この図は、ディスプレイ装置２とスクリーン９を上方から見たものである。

図１０は、視点位置Ｐ０に位置する視線カメラ３ａ，３ｂで３つの物体４６ａ〜４６ｃを撮影する例について示す。
物体４６ｃの３次元空間における座標位置は、Ｓ０（ｘ，ｙ，ｚ）で示される。また、視線カメラ３ａ，３ｂの間の距離は、カメラ間距離Ｌとして示され、視線カメラ３ａ，３ｂから物体４６ｃまでの距離は、被写体距離ｄとして示される。そして、カメラ間距離Ｌで示される線分の中点の垂線上に物体４６ａの中心が位置するよう、視線カメラ３ａ，３ｂが物体４６ａ〜４６ｃに向けられている状態を視点位置Ｐ０とする。
以下、新しい視点位置Ｐ３にユーザ１０の視点が移動した場合について以下に考察する。なお、視点位置Ｐ３における視線カメラ３ｂについては説明を簡略化するため記載を省略する。

図１１（ａ）は、視点位置Ｐ０における視線カメラ３ａが撮影した映像４７ａを処理する例である。視線検出部１５（図２参照）は、映像４７ａの左右を反転した映像４７′ａを作成する。
図１１（ｂ）は、視点位置Ｐ３における視線カメラ３ａが撮影した映像４７ｂを処理する例である。視線検出部１５は、映像４７ａの左右を反転した映像４７′ｂを作成する。
図１１（ｃ）は、視点位置Ｐ０における視線カメラ３ｂが撮影した映像４７ｃを処理する例である。視線検出部１５は、映像４７ａの左右を反転した映像４７′ｃを作成する。

図１２は、視点移動による処理の例を示すフローチャートである。
ここでは、ユーザ１０が物体４６ａ〜４６ｃに正対した状態から左方向の視点位置Ｐ３に移動した場合における、視線カメラ３ａ，３ｂによって撮影される映像について図１１と図１２を参照しながら説明する。

始めに、視線検出部１５は、ブロックマッチングで、点Ｓ′１（ｘ１，ｘ２）に対応する点Ｓ′２（ｘ１，ｘ２）を求める（ステップＳ３１）。視差で隠れる部分は、複数のカメラのうち、物体が映っているカメラを用いる。点Ｓ′１，Ｓ′２は、点Ｓ１と点Ｓ２を、それぞれ左右反転した座標に位置する。

そして、点Ｓ′１，Ｓ′２の角度θｘ１，θｘ２を求める（ステップＳ３２）。角度θｘ１，θｘ２は、図１１より点Ｓ１，Ｓ２の角度に等しいことが示される。ここでカメラ画角をφ、カメラの画素数を（width，height）、中心座標をＯ１（ｏｘ１，ｏｙ１）、Ｏ２（ｏｘ２，ｏｙ２）とする。角度θｘ１，θｘ２は、次式（１），（２）で求められる。

次に、角度θｘ１，θｘ２と視線カメラ３ａ，３ｂの位置から点Ｓ０（ｘ，ｙ，ｚ）までの被写体距離ｄを求める。被写体距離ｄは、次式（３）で求められる。

Ｙ軸方向も同様に角度θｙ１，θｙ２が求まるので、これで点Ｓ０の三次元の位置（ｘ，ｙ，ｚ）が求まる（ステップＳ３３）。三次元の位置（ｘ，ｙ，ｚ）は、次式（４）で求められる。

さらに、新しい視点位置Ｐ３の座標（ｐ３ｘ，ｐ３ｙ，ｐ３ｚ）から、角度θｘ３，θｙ３が求まる。角度θｘ３，θｙ３は、次式（５）で求められる。

このため、カメラ画角φより、点Ｓ３，Ｓ′３の座標が求まる（ステップＳ３４）。点Ｓ３，Ｓ′３の座標は、次式（６），（７）で求められる。

次に、ユーザ１０が視点位置を移動した場合に、透過ディスプレイ装置２を用いて取得した映像に対してズーム、シフトなどの操作を行う処理について図１３と図１４を参照して説明する。ここで、ズーム処理とは、透過ディスプレイ装置２で取得した映像を拡大するものである。一方、シフト処理とは、ユーザ１０が見ようとする対象物を移動させるものである。この処理は、ユーザ１０が視点を移動した際に起こる直感的な動作を反映させるものである。

図１３は、ユーザ１０が視点を移動する例であり、ディスプレイ装置２をスクリーン９の上方から見た図である。
映像を取得した時のユーザ１０の視点、もしくは視点移動ボタン５ａを押した時のユーザ１０の視点を基準視点位置Ｐ’（Ｘｐ’，Ｙｐ’，Ｚｐ’）とする。そして、ユーザ１０が透過ディスプレイ装置２の中心点Ｏを見ていたとき、その視線の先にあるスクリーン９の座標点Ｑ’（Ｘｑ’，Ｙｑ’，Ｚｑ’）とする。

視点を移動させた後の視点をＰとする。視点位置Ｐから座標点Ｑ’を見たとき、透過ディスプレイパネル１３上の交点をＲ（Ｘｒ’，Ｙｒ’，０）とする。中心点Ｏと交点Ｒの差分から映像の移動すべき量（以下、「シフト量」ともいう。）（Ｘｒ’，Ｙｒ’）が求まる。

このとき、座標点Ｑ’と基準視点位置Ｐ’のＺ方向の距離（Ｚｐ’−Ｚｑ’）と、座標点Ｑ’と視点位置ＰのＺ方向の距離（Ｚｐ−Ｚｑ’）から、ズーム率（Ｚｐ’−Ｚｑ’）／（Ｚｐ−Ｚｑ’）が求まる。以上から、シフト量とズーム率が計算できる。

また、シフト量、ズーム率にあらかじめ決められた視点移動パラメータ（例えば１．５や２．０など）をかけることで、ユーザ１０の動作を強調することも可能である。

ここで、視点移動パラメータについて説明する。
ユーザ１０が実際に移動した距離は、基準視点Ｐ′から視点Ｐまでの距離として求まる。さらに、ユーザ１０が実際に移動していない位置に移動したと仮想する場合に、この位置を仮想視点Ｐ２として定める。仮想視点Ｐ２は、実際に移動した距離（基準視点Ｐ′から視点Ｐまでの距離）に対して視点移動パラメータを設定することで求まる。例えば、視点移動パラメータの値を「２」とすれば、この値を実際に移動した距離に乗じることによって、仮想視点Ｐ２が求まる。

さらに、「ユーザ１０の動作を強調する」ことについて説明する。まず、ユーザ１０が自身の顔を透過ディスプレイ装置２に近づけたり、透過ディスプレイ装置２を左右に動かしたりすることを想定する。すると、ユーザ１０が透過ディスプレイパネル１２を介して見る映像の画枠は、スクリーン９に提示された映像の周辺部と一致する。このとき、ユーザ１０は、透過ディスプレイパネル１２に提示される映像の一部をよりズームして見ようとする。従来であれば、ユーザ１０が透過ディスプレイパネル１２に顔を近づけると、スクリーン９の周りの情景も映り込むため、見たい映像が小さくなり（図５（ｂ）を参照）、非常に使いにくい。

このため、映像処理システム１は、ユーザ１０が透過ディスプレイパネル１２に顔を近づけたり、透過ディスプレイ装置２を左に移動させたりする動作を検出すると、「ズーム率を上げて映像を提示する」、「左方向の映像を提示する」動作が行われたと解釈する。そして、映像処理システム１は、ユーザ１０が視点移動した距離を単位移動距離とした場合に、この単位移動距離に２倍又は３倍のパラメータを乗じることで、視点移動の距離を大きくする。ズーム映像や、左方向の映像を透過ディスプレイパネル１２に提示する。そして、透過ディスプレイパネル１２に映像を提示する処理を行うこととなる。

図１４は、視点移動による処理の例を示すフローチャートである。
始めに、ユーザ１０によって映像取得ボタン５ｃが押下されたことを検出する（ステップＳ４１）。このとき、透過ディスプレイパネル１２には視点変換映像が表示される（ステップＳ４２）。

制御部２０は、視点移動ボタン５ａが押下されているか否かを判断する（ステップＳ４３）。視点移動ボタン５ａが押下されていないと判断した場合、ステップＳ４３の判断を繰り返す。

一方、視点移動ボタン５ａが押下されていると判断した場合、制御部２０は、ユーザ１０の視点が変化したか否かを判断する（ステップＳ４４）。ユーザ１０の視点が変化していないと判断した場合、ステップＳ４４の判断を繰り返す。

一方、ユーザ１０の視点が変化していると判断した場合、視点位置検出部１６は、現在の処理開始時点におけるユーザ１０の視点位置を取得する（ステップＳ４５）。そして、視点位置検出部１６は、映像取得ボタン５ｃが押された時（現在）の視点位置と、処理開始時点の視点位置を比較して、指定されたパラメータに応じて仮想視点位置を計算する（ステップＳ４６）。

視点位置映像演算部１７は、求められた仮想視点位置に応じて視点映像を計算する（ステップＳ４７）。そして、透過制御部１１は、透過ディスプレイパネル１２を不透過にする。そして、映像提示部７で作成した視点変換映像を透過ディスプレイパネル１２に提示する（ステップＳ４８）。このとき、透過ディスプレイパネル１２に提示される映像が、ユーザ１０が見ることのできる映像となる。

次に、視線カメラ３ａ，３ｂで撮影した映像からユーザ１０の視線を検出する処理について、図１５〜図１７を参照して説明する。

図１５は、電子透かしを用いた視線検出の例である。
図１５（ａ）は、スクリーン９に提示される原映像の例である。
図１５（ｂ）は、電子透かしの例である。
電子透かしは一意に設定される識別符号（ＩＤ：Identification）として、ｘ座標軸に沿ってスクリーン９に挿入される。提示される原映像の中心をゼロとして、原映像の横方向に沿って所定の間隔で電子透かしが設定される。

図１５（ｃ）は、スクリーン９に挿入される電子透かしの例である。
ユーザ１０がスクリーン９に提示される映像を見ても、電子透かしを見ることはできない。しかし、制御部２０は、スクリーン９に挿入された電子透かしを認識し、視線方向を算出することができる。

図１６は、視線カメラ３ａ，３ｂで撮影した映像からスクリーン９に提示される映像に挿入された識別符号を検出する例である。
視線カメラ３ａで撮影した映像５１ａには、電子透かしとして識別符号９０，１００，１１０が挿入される。視線カメラ３ｂで撮影した映像５１ｂには、電子透かしとして識別符号１００，１１０，１２０が挿入される。ここで、識別符号１００に対して座標Ｐ１、識別符号１１０に対して座標Ｐ２を設定する。各識別符号の間隔はｋである。そして、視線カメラ３ａ，３ｂの横方向の画素数は、変数widthで表される。また、視線カメラ３ａ，３ｂの縦方向の画素数は、変数heightで表される。

図１７は、スクリーン９と視線カメラ３ａの位置関係を計算する例である。
まず、スクリーン９のどの場所にどの識別符号が挿入されているかは、映像処理装置２０に予め記録されている。このため、電子透かしの座標間距離Ｌは既知である。このため、次式（８）より角度θが求まる。

視線カメラ３ａ，３ｂの画角Φは、撮影パラメータであり、撮影時に既知である。そして、視線カメラ３ａについて、次式（９）より、点Ｐ２の角度ψが求まる。

点Ｐ１、点Ｐ２、点Ｃ１と角度θ，ψより、視線カメラ３ａの位置が求まる。点Ｃ１のＸ座標Ｃ１ｘ、Ｚ座標Ｃ１ｚは、次式（１０）の連立方程式より求まる。

上述した手順と同様にして、視線カメラ３ｂについての座標も求まる。
この結果、視点位置カメラ４ａ，４ｂで撮影した映像によって、透過ディスプレイ装置２に対するユーザ１０の視点の相対位置が分かる。このため、スクリーン９に対するユーザ１０の視点の位置が分かる。さらに、ユーザ１０の視点位置と透過ディスプレイ装置２の中心を結ぶ直線を、ユーザ１０の視線方向である認識できる。

以上説明した本実施の形態例に係る映像処理装置によれば、スクリーン９に投影された映像からユーザ１０の手元に用意した透過ディスプレイ装置２に映像を抽出して表示する際に有用である。透過ディスプレイ装置２を用いることで、従来のヘッド・マウント・ディスプレイとは異なりユーザの視野角が制限されないため、ユーザ１０は広い視野角で映像を見ることができる。このとき、注目する映像だけでなく、透過ディスプレイ装置２の画枠外である周辺視野も用いて、直感的にスクリーン９上の映像に関する情報を取得できる。また、取得する映像は、遅延や画質の劣化がなく、奥行きがスクリーン９に投影された映像の位置と一致する。また、透過ディスプレイパネル１２を通して見る像が実世界の情景である場合も、直感的に映像を取得することが可能であり、スクリーン９に投影された映像を取得する場合と同様の効果を奏する。

また、映像を取得した後は、ユーザ１０の手元に取得した映像から特定の部分映像を選んでズーム表示できる。そして、ユーザ１０は、スクリーン９に投影された映像や実世界の情景から所望の箇所を取得しやすくなり、映像を自然に見ることができるという効果がある。また、ユーザ１０は、所望の映像を取得し、目的の映像を観察するという動作が同時に行える。また、透過ディスプレイ装置２は実像光学系を用いるため、ユーザ１０の眼に負担がかからない。

ところで、スクリーン９に投影された映像を複数人で視聴しながら、手元に用意した透過ディスプレイ装置２で必要な情報を取得する場合がある。例えば、航空写真の地図と、この航空写真の地図に対応する記号地図を切り替えてスクリーン９に表示する場合がある。このとき、複数人がスクリーン９に投影された航空写真を見ていても、各ユーザは手元のディスプレイ装置２を使用して、航空写真に位相を合わせた記号地図を瞬時に取得できる。

また、スクリーン９に投影された映像を複数の人間が見る場合、透過ディスプレイ装置２に表示される映像に、旗やマークなどの標識を重ねて表示してもよい。このとき、ユーザ１０によって指示され、指示位置検出部１８によって検出された位置を、タッチパネル６に近接された物体の位置に応じて標識を表示する。透過ディスプレイ装置２で加工した映像は、スクリーン９に投影された映像に重ねて表示させてもよい。このため、あるユーザが加工した映像を、他のユーザが同時に見ることができる。

また、ユーザは、透過ディスプレイパネル１２の表面を直接タッチパネルで指示することによって、透過ディスプレイパネル１２の画枠内から見える実世界やスクリーン９に投影された映像の所望の場所を指示できる。

なお、透過ディスプレイ装置２で取り込んだ映像を、送信インタフェース２３を介して他のディスプレイ装置に表示することも可能である。
図１８は、２つのディスプレイ装置を使って映像を取得する例である。
ユーザ１０は、透過ディスプレイ装置２を介して被写体６１の映像を取得する。このとき、ユーザ１０の指６２によって表示された被写体６１を指示すると、例えば、ユーザ１０の側面に設置された他のディスプレイ装置６３に指示された被写体６１の映像が表示される。
このような装置の応用として、例えば、電車に適用することができる。電車を運転中であるときに運転手が指差確認をする際、上述した実施の形態例のように正面の窓を不透過にすると非常に危険である。このため、別のディスプレイ装置に映像を表示することで安全に運転手が見たい映像をズームして表示することができる。

また、上述した実施の形態例において、映像提示部７として小型のプロジェクタ装置を用いているが、液晶などで半透明状態を作り出すことも可能である。その際には予め偏光を与えておく必要がある。具体的には大画面に片方の偏光された映像を提示しておき、液晶を制御して、偏光率を変化させる。このように透過ディスプレイ装置２を設計することで、半透明状態の透過ディスプレイパネル１２に映像を提示できる。このため、提示された映像と透過する映像を重ね合わせた状態で提示することも可能となる。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

本発明の一実施の形態例における映像処理装置の外部構成例を示す説明図である。 本発明の一実施の形態例における映像処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態例におけるスクリーンに提示された映像を取得する例を示す説明図である。 実像と虚像の例を示す説明図である。 本発明の一実施の形態例におけるスクリーンに提示された映像の一部をズームして透過ディスプレイ装置に提示する例を示す説明図である。 本発明の一実施の形態例におけるスクリーンに提示された映像の一部をズームして透過ディスプレイ装置に提示する例を示す説明図である。 本発明の一実施の形態例における、ユーザが視点移動しながらスクリーンに提示された映像の一部をズームして透過ディスプレイ装置に提示する例を示す説明図である。 本発明の一実施の形態例における映像を取得する処理の例を示すフローチャートである。 本発明の一実施の形態例におけるタッチパネルによって指示された位置の映像を取得する処理の例を示すフローチャートである。 本発明の一実施の形態例におけるステレオ視を用いた物体の測距法の例を示す説明図である。 本発明の一実施の形態例におけるステレオ視を用いた物体の測距法の例を示す説明図である。 本発明の一実施の形態例におけるステレオ視を用いて立体像を作成する処理の例を示すフローチャートである。 本発明の一実施の形態例における視点移動の例を示す説明図である。 本発明の一実施の形態例における視点移動による処理の例を示すフローチャートである。 本発明の一実施の形態例における提示映像に電子透かしを挿入する例を示す説明図である。 本発明の一実施の形態例における視線カメラの映像に含まれる識別符号を検出する例を示す説明図である。 本発明の一実施の形態例におけるスクリーンと２つのカメラの位置関係の例を示す説明図である。 本発明の他の実施の形態例における他のディスプレイ装置に映像を提示する例を示す説明図である。

符号の説明

１…映像処理システム、２…透過ディスプレイ装置、３ａ，３ｂ…視線カメラ、４ａ，４ｂ…視点位置カメラ、５…操作部、６…タッチパネル、１０…ユーザ、１１…透過制御部、１２…透過ディスプレイパネル、１４…入力部、１５…視線検出部、１６…視点位置映像演算部、１７…視点位置検出部、１８…指示位置検出部、１９…出力部、２０…制御部、２１…映像受信インタフェース、２２…インタフェース、２３…送信インタフェース、２５…映像処理装置

Claims (8)

1. 被写体を撮像する撮像装置で撮像された映像が入力され、又はスクリーンに投影される映像の元データが映像受信インタフェースを介して入力される入力部と、
   実像光学系である表示手段の表示面を透過状態又は不透過状態に切り替える透過制御部と、
   前記表示手段の表示面が不透過状態である場合に、前記表示面に映像を提示する映像提示部と、
   ユーザの視点位置を検出する視点検出部と、
   前記撮像装置によって撮影された映像から前記ユーザの視線方向を検出する視線検出部と、
   前記被写体が実世界の情景であって、前記実世界の情景を撮像した映像が前記入力部を介して入力する場合又は前記被写体がスクリーンに投影される映像であって、前記スクリーンを撮像した映像が前記入力部を介して入力する場合に、前記視点検出部によって検出された前記ユーザの視点位置、前記視線検出部によって検出された前記ユーザの視線方向、前記表示面から前記被写体までの距離、及び前記ユーザの視点の移動に基づいて、前記映像を当該ユーザの視点位置から前記表示手段の表示面を通して見たときの前記表示面の画枠に対応して抽出した範囲の映像を生成し、前記被写体がスクリーンに投影される映像であって、前記スクリーンに投影される映像の前記元データから検索された、前記入力部を介して入力する前記スクリーンを撮像した映像より、前記ユーザが前記スクリーンを真正面から見た場合の視点変換映像を生成する視点位置映像演算部と、
   前記ユーザの視点位置における前記表示手段の表示面に対して指示された位置を検出し、前記視点位置映像演算部が生成した映像から抽出した前記指示された位置の被写体の映像を前記スクリーンに表示させる指示位置検出部と、
   前記表示面が不透過状態であって、前記表示面に提示された映像を取得する指示を検出した場合に、前記視点位置映像演算部が生成した映像のズーム率を変えて前記映像提示部に供給する制御部と、を備える
   映像処理装置。
2. 請求項１記載の映像処理装置において、
   前記制御部は、前記ユーザの視点位置から前記表示手段の表示面までの距離が変化した場合に、距離の変化に応じてズーム率を変える
   映像処理装置。
3. 請求項２記載の映像処理装置において、
   前記ユーザの視点位置から見たときの前記表示手段の表示面に提示された映像に対する視野角は、同一視点位置から前記表示面を介して見たときの前記被写体に対する視野角より小さい
   映像処理装置。
4. 請求項３記載の映像処理装置において、
   前記映像提示部から映像が提示される表示手段を備える
   映像処理装置。
5. 請求項４記載の映像処理装置において、
   前記撮像装置は、前記表示手段の前記ユーザの視点位置と反対側の面に設定され、前記表示手段に応動して撮像方向が移動する
   映像処理装置。
6. 被写体を撮像する撮像装置で撮像された映像が入力され、又はスクリーンに投影される映像の元データが映像受信インタフェースを介して入力されるステップと、
   実像光学系である表示手段の表示面を透過状態又は不透過状態に切り替えるステップと、
   表示手段の表示面が不透過状態である場合に、映像提示部が前記表示面に映像を提示するステップと、
   ユーザの視点位置を検出するステップと、
   前記撮像装置によって撮影された映像から前記ユーザの視線方向を検出するステップと、
   前記被写体が実世界の情景であって、前記実世界の情景を撮像した映像が前記入力部を介して入力する場合又は前記被写体がスクリーンに投影される映像であって、前記スクリーンを撮像した映像が前記入力部を介して入力する場合に、前記ユーザの視点位置、前記ユーザの視線方向、前記表示面から前記被写体までの距離、及び前記ユーザの視点の移動に基づいて、前記映を当該ユーザの視点位置から前記表示手段の表示面を通して見たときの前記表示面の画像枠に対応して抽出した範囲の映像を生成し、前記被写体がスクリーンに投影される映像であって、前記スクリーンに投影される映像の前記元データから検索された、前記入力部を介して入力する前記スクリーンを撮像した映像より、前記ユーザが前記スクリーンを真正面から見た場合の視点変換映像を生成するステップと、
   前記ユーザの視点位置における前記表示手段の表示面に対して指示された位置を検出し、前記生成された映像から抽出した前記指示された位置の被写体の映像を前記スクリーンに表示させるステップと、
   前記表示面が不透過状態であって、前記表示面に提示された映像を取得する指示を検出した場合に、生成された前記映像のズーム率を変えて前記映像提示部に供給するステップと、を含む
   映像処理方法。
7. 被写体を撮像する撮像装置で撮像された映像が入力され、又はスクリーンに投影される映像の元データが映像受信インタフェースを介して入力されるステップと、
   実像光学系である表示手段の表示面を透過状態又は不透過状態に切り替えるステップと、
   表示手段の表示面が不透過状態である場合に、映像提示部が前記表示面に映像を提示するステップと、
   ユーザの視点位置を検出するステップと、
   前記撮像装置によって撮影された映像から前記ユーザの視線方向を検出するステップと、
   前記被写体が実世界の情景であって、前記実世界の情景を撮像した映像が前記入力部を介して入力する場合又は前記被写体がスクリーンに投影される映像であって、前記スクリーンを撮像した映像が前記入力部を介して入力する場合に、前記ユーザの視点位置、前記ユーザの視線方向、前記表示面から前記被写体までの距離、及び前記ユーザの視点の移動に基づいて、前記映像を当該ユーザの視点位置から前記表示手段の表示面を通して見たときの前記表示面の画枠に対応して抽出した範囲の映像を生成し、前記被写体がスクリーンに投影される映像であって、前記スクリーンに投影される映像の前記元データから検索された、前記入力部を介して入力する前記スクリーンを撮像した映像より、前記ユーザが前記スクリーンを真正面から見た場合の視点変換映像を生成するステップと、
   前記ユーザの視点位置における前記表示手段の表示面に対して指示された位置を検出し、前記生成された映像から抽出した前記指示された位置の被写体の映像を前記スクリーンに表示させるステップと、
   前記表示面が不透過状態であって、前記表示面に提示された映像を取得する指示を検出した場合に、生成された前記映像のズーム率を変えて前記映像提示部に供給するステップと、を含む
   処理をコンピュータに実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納した
   記録媒体。

Images