JP4148252B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、ユーザが自身の位置関係を容易に把握することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。

ユーザに臨場感のある画像を提示する従来の表示装置としては、例えば、没入型スクリーンを用いた表示装置がある。没入型スクリーンを用いた表示装置では、ユーザがある仮想空間にいるとした場合に、その視覚に映る画像（以下、適宜、没入画像）が表示されることから、ユーザは、その没入画像を視聴することにより、自分がその没入画像によって提供される仮想空間に実際にいるかのような臨場感を享受することができる。

ところで、没入型スクリーンを用いた表示装置では、上述したように、ユーザが仮想空間にいるとした場合にその視覚に映る画像が表示されるため、ユーザ自身が、没入画像によって提供される仮想空間において、相対的にどの位置にいるのかが把握しにくいことがあった。

一方、例えば、いわゆるテレビゲームにおけるカーレースゲームなどでは、ユーザが操作する自動車を、ある視点から見た鳥瞰画像が表示されるようになっている。この場合、ユーザは、自身が操作する自動車の位置を容易に把握することができ、さらに、自動車の操作も容易に行うことができる。

しかしながら、鳥瞰画像が表示される場合には、没入画像が表示される場合に比較して、没入感や臨場感が損なわれる。

本発明は、このような状況に鑑みてなされたものであり、ユーザが自身の位置関係を把握しやすく、かつ臨場感のある画像の表示をすることができるようにするものである。

本発明の第１の側面の画像処理装置は、視点間の距離が所定の距離以下の複数のユーザの視点を、複数のユーザの視点の重心に位置する１つの視点に統合する統合手段と、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択手段と、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換手段とを備え、画像選択手段は、複数の撮像手段により撮像された画像の中から、統合された１つの視点に対応する視点画像を選択し、視点画像変換手段は、統合された１つの視点に対応する視点画像を発光画像に変換することを特徴とする。

本発明の第１の側面の画像処理方法は、視点間の距離が所定の距離以下の複数のユーザの視点を、複数のユーザの視点の重心に位置する１つの視点に統合する統合ステップと、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換ステップとを含み、画像選択ステップの処理により、複数の撮像手段により撮像された画像の中から、統合された１つの視点に対応する視点画像を選択し、視点画像変換ステップの処理により、統合された１つの視点に対応する視点画像を発光画像に変換することを特徴とする。

本発明の第１の側面のプログラムは、視点間の距離が所定の距離以下の複数のユーザの視点を、複数のユーザの視点の重心に位置する１つの視点に統合する統合ステップと、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換ステップとを含み、画像選択ステップの処理により、複数の撮像手段により撮像された画像の中から、統合された１つの視点に対応する視点画像を選択し、視点画像変換ステップの処理により、統合された１つの視点に対応する視点画像を発光画像に変換することを特徴とする。

本発明の第１の側面の画像処理装置および画像処理方法、並びにプログラムにおいては、視点間の距離が所定の距離以下の複数のユーザの視点が、複数のユーザの視点の重心に位置する１つの視点に統合され、複数の撮像手段により撮像された画像の中から、統合された１つの視点から被写体を見たときの視点画像が選択され、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像が配置されることにより、視点画像が発光画像に変換される。
本発明の第２の側面の画像処理装置は、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択手段と、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換手段とを備え、画像選択手段は、ユーザの視点と複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、カメラ距離が最小となる撮像手段により撮像された画像を視点画像として選択し、カメラ距離の最小値が閾値を超える場合、カメラ距離が近い方から複数の撮像手段を選択し、選択した撮像手段により撮像された画像を、カメラ距離に対応した重みを付けて合成し、合成した画像を視点画像として選択することを特徴とする。
本発明の第２の側面の画像処理方法は、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換ステップとを含み、画像選択ステップの処理により、ユーザの視点と複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、カメラ距離が最小となる撮像手段により撮像された画像を視点画像として選択し、カメラ距離の最小値が閾値を超える場合、カメラ距離が近い方から複数の撮像手段を選択し、選択した撮像手段により撮像された画像を、カメラ距離に対応した重みを付けて合成し、合成した画像を視点画像として選択することを特徴とする。
本発明の第２の側面のプログラムは、複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、ユーザの視点から被写体を見たときの視点画像を選択する画像選択ステップと、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像を配置することにより、視点画像を発光画像に変換する視点画像変換ステップとを含み、画像選択ステップの処理により、ユーザの視点と複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、カメラ距離が最小となる撮像手段により撮像された画像を視点画像として選択し、カメラ距離の最小値が閾値を超える場合、カメラ距離が近い方から複数の撮像手段を選択し、選択した撮像手段により撮像された画像を、カメラ距離に対応した重みを付けて合成し、合成した画像を視点画像として選択することを特徴とする。
本発明の第２の側面の画像処理装置および画像処理方法、並びにプログラムにおいては、ユーザの視点と複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、カメラ距離が最小となる撮像手段により撮像された画像が視点画像として選択され、カメラ距離の最小値が閾値を超える場合、カメラ距離が近い方から複数の撮像手段が選択され、選択された撮像手段により撮像された画像が、カメラ距離に対応した重みを付けて合成され、合成された画像が視点画像として選択され、ユーザの視点の視点方向と表示手段との交点を含む表示手段の所定の範囲に対応する発光画像の範囲に視点画像が配置されることにより、視点画像が発光画像に変換される。

以上のように、本発明によれば、ユーザの視点から被写体を見た鳥瞰画像を提示することが可能になる。

図１は、本発明を適用した撮像／表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。

撮像システム１は、被写体と、その被写体の全方位の画像を撮像し、その結果得られる画像データを、例えば、光ディスクや、磁気ディスク、磁気テープ、半導体メモリその他の記録媒体３に記録し、あるいは、例えば、電話回線、衛星回線、CATV(Cable Television)網、インターネットその他の伝送媒体４を介して送信する。

表示システム２は、記録媒体３から画像データを再生し、あるいは、伝送媒体４を介して送信されてくる画像データを受信して表示する。

図２は、図１の撮像システム１の構成例を示している。

広角撮像部１１は、被写体の周囲を広角で撮像する広角カメラ（ビデオカメラ）で構成され、その広角カメラによって撮像される広角画像データ（動画データ）を、マルチプレクサ１３に供給する。ここで、広角撮像部１１を構成する広角カメラとしては、例えば、後述するように、被写体の全方位を撮像する全方位カメラを採用することができ、従って、広角画像部１１から出力される広角画像データは、被写体の周囲の景色などの画像である。

囲い込み撮像部１２は、被写体の水平方向や垂直方向の周囲を囲むように、多数配置された複数のカメラ（ビデオカメラ）で構成され、その複数のカメラによって撮像される画像データ（動画データ）を、マルチプレクサ１３に供給する。ここで、囲い込み撮像部１２では、複数の位置に配置されたカメラそれぞれから、そのカメラの位置（カメラ位置）から被写体を撮像した画像データが出力されるが、この複数の位置から撮像された被写体の画像データを、以下、適宜、まとめて、囲い込み画像データという。

マルチプレクサ１３は、広角撮像部１１から供給される広角画像データと、囲い込み撮像部１２から供給される囲い込み画像データとを多重化し、その結果得られる多重化画像データを、記録／送信部１４に供給する。

ここで、マルチプレクサ１３は、広角画像データと囲い込み画像データの同一フレームどうしを対応付けて多重化する。また、マルチプレクサ１３は、囲い込み画像データである複数のカメラ位置から撮像された画像データの各フレームに、そのカメラ位置を対応付けて多重化するようにもなっている。なお、囲い込み撮像部１２を構成する各カメラのカメラ位置は、あらかじめ分かっているものとする。また、カメラ位置としては、例えば、被写体のある位置を原点とする３次元座標系上での位置を表す座標などを採用することができる。

記録／送信部１４は、マルチプレクサ１３から供給される多重化画像データを、記録媒体３（図１）に記録し、あるいは伝送媒体４を介して送信する。

次に、図３は、図２の広角撮像部１１の構成例を示している。

広角撮像部１１は、全方位カメラ２１で構成されている。全方位カメラ２１は、理想的には、光軸に垂直な面から撮像方向側の、図３に示すような半球状の面を通って全方位カメラ２１に入射する光線を受光し、その光線に対応する画像データを出力する。

ここで、全方位カメラ２１としては、例えば、魚眼レンズ付きのカメラや、双曲面ミラー付きのカメラなどを採用することができる。なお、本実施の形態では、全方位カメラ２１として、魚眼レンズ付きのカメラを採用することとする。

全方位カメラ２１は、被写体の周囲の全方位の風景等を撮像することができるように設置されている。従って、例えば、被写体が、競技場で行われているサッカーの試合であるとすると、全方位カメラ２１は、例えば、競技場の中央に設置され、これにより、全方位カメラ２１では、サッカーの試合を観戦している観客がいるスタンドの風景が撮像される。

次に、図４は、図２の囲い込み撮像部１２の構成例を示している。

囲い込み撮像部１２は、被写体の周囲に、その被写体を囲い込むように配置された多数の囲い込みカメラ２２_k（ｋ＝１，２，・・・）で構成され、これにより、囲い込み撮像部１２では、多数の視点から見た被写体の画像が撮像される。従って、被写体が、例えば、上述したように、競技場で行われているサッカーの試合であるとすると、囲い込み撮像部１２を構成する多数の囲い込みカメラ２２_kは、競技場に設けられたサッカーフィールドを囲むように配置され、これにより、囲い込みカメラ２２_kでは、サッカーフィールド上でのサッカーの試合の模様が撮像される。

なお、囲い込みカメラ２２_kは、ある水平面内の、被写体の経度方向（水平方向）にのみ配置しても良いし、被写体の経度及び緯度のあらゆる方向（水平、垂直方向）に配置しても良い。囲い込みカメラ２２_kを、ある水平面内の、被写体の経度方向にのみ配置する場合には、後述する左右パララックス方式しか採用し得なくなるが、囲い込みカメラ２２_kを、被写体の経度及び緯度のあらゆる方向に配置する場合には、後述する左右パララックス方式と上下左右パララックス方式のいずれをも採用することが可能となる。

次に、図５は、全方位カメラ２１（図３）と囲い込みカメラ２２_k（図４）の配置関係を示している。

囲い込みカメラ２２_kは、例えば、被写体を囲む半球の球面上に、等経度かつ等緯度間隔で配置され、その囲い込みカメラ２２_kの位置（カメラ位置）を視点として、被写体を撮像する。

全方位カメラ２１は、例えば、囲い込みカメラ２２_kが配置された半球の中心に配置され、被写体の周囲の全方位、即ち、囲い込みカメラ２２_kが配置された半球の中心から、その半球の球面上の各点の方向を撮像する。

ここで、図５の実施の形態では、全方位カメラ２１は、その光軸が、囲い込みカメラ２２_kが配置された半球の北極方向（緯度が９０度の方向）を向くように配置されている。また、囲い込みカメラ２２_kは、その光軸が、囲い込みカメラ２２_kが配置された半球の中心方向を向くように配置されている。

なお、全方位カメラ２１および囲い込みカメラ２２_kの配置方法は、図５に示した配置に限定されるものではない。

図２に示した撮像システム１では、広角撮像部１１において、全方位カメラ２１（図３）が、被写体の全方位の画像を撮像し、その結果得られる全方位画像データ（広角画像データ）を、マルチプレクサ１３に供給する。同時に、囲い込み撮像部１２において、囲い込みカメラ２２_k（図４）が、そのカメラ位置から見た被写体の画像を撮像し、その結果得られる囲い込み画像データを、マルチプレクサ１３に供給する。

マルチプレクサ１３は、広角撮像部１１から供給される全方位画像データと、囲い込み撮像部１２から供給される囲い込み画像データとを多重化し、その多重化の結果得られる多重化画像データを、記録／送信部１４に供給する。

記録／送信部１４は、マルチプレクサ１３から供給される多重化画像データを、記録媒体３（図１）に記録し、あるいは、伝送媒体４を介して送信する。

従って、撮像システム１では、被写体が、例えば、競技場で行われているサッカーの試合である場合には、サッカーの試合を観戦している観客がいるスタンドの風景や大きく蹴り上げられたサッカーボールなどが、全方位画像データとして撮像されるとともに、そのサッカーの試合のグランドやプレーをしている選手などを多数の視点から見た画像が、囲い込み画像データとして撮像される。

次に、図６は、図１の表示システム２の構成例を示している。

再生／受信部３１は、記録媒体３（図１）から多重化画像データを再生し、あるいは、伝送媒体４（図１）を介して送信されてくる多重化画像データを受信し、その多重化画像データを、デマルチプレクサ３２に供給する。

デマルチプレクサ３２は、再生／受信部３１から供給される多重化画像データを、フレームごとの全方位画像データと囲い込み画像データとに分離し、全方位画像データを、広角画像処理部３３に供給するとともに、囲い込み画像データを、囲い込み画像処理部３５に供給する。

広角画像処理部３３は、デマルチプレクサ３２から供給される全方位画像データを処理し、その処理の結果得られる画像データを、広角画像表示部３４に供給する。

広角画像表示部３４は、広角画像処理部３３から供給される画像データを表示することにより、ユーザに没入感を提供する没入画像を表示する。

囲い込み画像処理部３５は、デマルチプレクサ３２から供給される囲い込み画像データを、視点検出部３７から供給されるユーザの視点に応じて処理し、そのユーザの視点から被写体を見たときの画像データを生成して、囲い込み画像表示部３６に供給する。

囲い込み画像表示部３６は、囲い込み画像処理部３５から供給される画像データを表示することにより、ユーザの視点などの所定の視点から被写体を見たときの鳥瞰画像を表示する。

視点検出部３７は、ユーザの視点を検出し、囲い込み画像処理部３５に供給する。ここで、視点検出部３７としては、例えば、ポヒマス(Polhemus)社の３次元位置センサとしての磁気センサなどを採用することができる。この場合、磁気センサである視点検出部３７は、例えば、ユーザの頭部に装着される。また、視点検出部３７としては、例えば、ジョイスティックやトラックボールなどの、視点（の変化）を入力することのできる手段を採用することも可能である。即ち、視点検出部３７は、実際のユーザの視点を検知する手段である必要はなく、仮想的なユーザの視点を入力することができる手段であってもよい。

次に、図７は、図６の広角画像表示部３４の構成例を示している。

広角画像表示部３４は、外側用全方位プロジェクタ４１と外側ドームスクリーン４２で構成されている。

外側用全方位プロジェクタ４１は、広角に光線を発することができるプロジェクタで、例えば、一般的なプロジェクタと、そのプロジェクタが発する光線を広角なものとする光学系としての魚眼レンズなどから構成される。

外側ドームスクリーン４２は、例えば、半球ドーム形状をしており、ユーザを囲むように配置されている。また、外側ドームスクリーン４２としての半球ドームは、その半球ドームの中に、複数のユーザが入っても、ある程度動き回れる程度の大きさとなっており、その直径が、例えば５ｍ程度とされている。

外側ドームスクリーン４２の内側（または外側）の面には、例えば、光を散乱する塗料が塗布されている。そして、外側ドームスクリーン４２の内部には、その内側の面に向かって光線が発光されるように、外側用全方位プロジェクタ４１が配置されている。

即ち、外側用全方位プロジェクタ４１は、例えば、その光学中心が、外側ドームスクリーン４２としての半球ドームの中心に一致し、その光軸が水平面と直交するように配置されている。そして、外側用全方位プロジェクタ４１は、広角画像処理部３３から供給される画像データに対応する光線を、魚眼レンズを介して発することにより、その光線を、半球ドームである外側ドームスクリーン４２の内側の面全体に向かって射出する。

外側用全方位プロジェクタ４１が発する光線は、半球ドームである外側ドームスクリーン４２の内側の面上の各点で受光されて散乱される。これにより、ユーザを覆う外側ドームスクリーン４２の内側の面においては、外側用全方位プロジェクタ４１が発する光線に対応する没入画像、即ち、撮像システム１で撮像された被写体の全方位の画像が表示される。

なお、外側ドームスクリーン４２の形状は、ユーザを囲むような形状であれば、半球ドーム形状に限定されるものではなく、その他、円筒形などを採用することが可能である。

次に、図８は、図６の囲い込み画像表示部３６の構成例を示している。

囲い込み画像表示部３５は、内側用全方位プロジェクタ４３と内側ドームスクリーン４４で構成されている。

内側用全方位プロジェクタ４３は、図７の外側用全方位プロジェクタ４１と同様に、広角に光線を発することができるプロジェクタで、例えば、一般的なプロジェクタと、そのプロジェクタが発する光線を広角なものとする光学系としての魚眼レンズなどから構成される。

内側ドームスクリーン４４は、例えば、半球ドーム形状をしており、その内側（または外側）の面には、例えば、光を散乱する塗料が塗布されている。そして、内側ドームスクリーン４４の内部には、その内側の面に向かって光線が発光されるように、内側用全方位プロジェクタ４３が配置されている。

即ち、内側用全方位プロジェクタ４３は、例えば、その光学中心が、内側ドームスクリーン４４としての半球ドームの中心に一致し、その光軸が水平面と直交するように配置されている。そして、内側用全方位プロジェクタ４３は、広角画像処理部３３から供給される画像データに対応する光線を、魚眼レンズを介して発することにより、その光線を、半球ドームである内側ドームスクリーン４４の内側の面全体に向かって射出する。

内側用全方位プロジェクタ４３が発する光線は、半球ドームである内側ドームスクリーン４４の内側の面上の各点で受光されて散乱される。内側ドームスクリーン４４自体は、透明な部材で構成されており、その内側の面において、内側用全方位プロジェクタ４３が発する光線が散乱されることにより、その外側の面には、内側用全方位プロジェクタ４３が発する光線に対応する鳥瞰画像、即ち、撮像システム１で撮像された被写体をある視点から見た画像が、いわゆる背面投影される形で表示される。

なお、ここでは、内側ドームスクリーン４４の形状を、図７の外側ドームスクリーン４２の形状と相似の形状である半球ドームとしたが、内側ドームスクリーン４４の形状は、外側ドームスクリーン４２の形状と相似である必要はない。即ち、内側ドームスクリーン４４の形状は、外側ドームスクリーン４２の形状とは独立に、例えば、円筒形や、多角柱形状などとすることが可能である。

次に、図９は、外側ドームスクリーン４２（図７）と内側ドームスクリーン４４の配置関係を示している。

上述したように、外側ドームスクリーン４２は、ユーザを囲むように配置される。そして、内側ドームスクリーン４４は、外側ドームスクリーン４２の内側に配置される。

従って、外側ドームスクリーン４２の内側で、かつ内側ドームスクリーン４４の外側にいるユーザは、外側ドームスクリーン４２の内側の面に表示される没入画像と、内側ドームスクリーン４４の外側の面に表示される鳥瞰画像とを同時に視聴することができる。その結果、ユーザは、没入画像によって提供される没入感を享受することができるとともに、鳥瞰画像によって自身の位置を容易に把握することができる。

即ち、外側ドームスクリーン４２の内側の面には、例えば、サッカーの競技場のスタンドの風景等の没入画像が表示され、内側ドームスクリーン４４の外側の面には、ユーザの視点から、サッカーフィールドを見たときの試合の様子が表示されるので、ユーザは、実際に、サッカーの競技場で、サッカーの試合を観戦しているかのような臨場感を味わうことができる。

次に、図１０に示すように、外側ドームスクリーン４２の内部には、一人だけでなく、複数人のユーザが入ることができ、従って、表示システム２によれば、複数のユーザが、外側ドームスクリーン４２に表示される没入画像と、内側ドームスクリーン４４に表示される鳥瞰画像とを、同時に視聴することができる。

そして、例えば、いま、図１１に示すように、外側ドームスクリーン４２の内部に、二人のユーザＡとＢが存在し、そのユーザＡとＢが、異なる位置にいる場合には、内側ドームスクリーン４４では、ユーザＡに対しては、そのユーザＡの視点から被写体を見たときの鳥瞰画像が表示され、ユーザＢに対しては、そのユーザＡの視点から被写体を見たときの鳥瞰画像が表示される。

即ち、表示システム２では、内側ドームスクリーン４４において、ユーザに対して、そのユーザの視点から被写体を見たときの鳥瞰画像が表示される。

従って、ユーザは、その視点から被写体を見たときの画像（鳥瞰画像）を視聴することができ、その視点を選択する自由を有する。

ここで、ユーザが選択しうる視点の位置は、例えば、図１２に示すように、外側ドームスクリーン４２内部の、ある高さの水平面内の位置に限定することもできるし、そのような限定をせずに、例えば、図１３に示すように、外側ドームスクリーン４２内部の任意の位置とすることもできる。なお、図１２のように、視点を、ある水平面内の位置に限定する方式は、ユーザが視点を左右方向にのみ移動することができるので、左右パララックス(parallax)方式ということができる。また、図１３のように、視点を、任意の位置とすることができる方式は、ユーザが視点を上下左右の任意の方向に移動することができるので、上下左右パララックス方式ということができる。

次に、図１４は、図６の広角画像処理部３３の構成例を示している。

デマルチプレクサ３２（図６）が出力するフレームごとの全方位画像データは、フレームメモリ５１に供給され、フレームメモリ５１は、デマルチプレクサ３２から供給される全方位画像データをフレーム単位で記憶し、その記憶した全方位画像データをフレーム単位で読み出して、広角画像変換部５２に供給する。なお、フレームメモリ５１は、複数のメモリバンクを有しており、バンク切り替えを行うことで、全方位画像データの記憶と読み出しを同時に行うことができるようになっている。

広角画像変換部５２は、コントローラ５６の制御の下、フレームメモリ５１から供給される全方位画像データを、緯度方向と経度方向で規定される平面上の長方形状の緯度経度画像データに変換し、画角補正部５３に供給する。

画角補正部５３は、コントローラ５６の制御の下、広角画像変換部５２から供給される緯度経度画像データを、広角画像表示部３４（図７）の外側用全方位プロジェクタ４１の光学特性に基づいて補正し、その補正後の緯度経度画像データを、緯度経度画像変換部５４に供給する。

緯度経度画像変換部５４は、コントローラ５６の制御の下、画角補正部５３から供給される緯度経度画像データを、全方位画像データに変換し、フレームメモリ５５に供給する。

フレームメモリ５５は、緯度経度画像変換部５４から供給される全方位画像データをフレーム単位で記憶し、その記憶した全方位画像データをフレーム単位で読み出して、広角画像表示部３４（図７）の外側用全方位プロジェクタ４１に供給する。なお、フレームメモリ５５も、フレームメモリ５１と同様に、複数のメモリバンクを有しており、バンク切り替えを行うことで、全方位画像データの記憶と読み出しを同時に行うことができるようになっている。

コントローラ５６は、フレームメモリ５１における全方位画像データの記憶状況に基づいて、広角画像変換部５２、画角補正部５３、および緯度経度画像変換部５４を制御する。

次に、図１５乃至図１７を参照して、図１４の広角画像変換部５２、画角補正部５３、および緯度経度画像変換部５４の処理について説明する。

広角画像変換部５２には、フレームメモリ５１に記憶された全方位画像データ、即ち、図３の広角撮像部１１を構成する全方位カメラ２１で撮像された全方位画像データが供給される。

いま、図１５に示すように、全方位カメラ２１の光軸をｚ軸とするとともに、全方位カメラ２１の撮像面（受光面）をｘｙ平面とする３次元座標系を、広角画像撮像座標系と呼ぶこととして、この広角画像撮像系において、全方位カメラ２１に入射する光線と、全方位カメラ２１がその光線を受光することにより撮像する全方位画像データとの関係を考える。

全方位カメラ２１に入射する光線Ｌは、その魚眼レンズで屈折し、全方位カメラ２１の撮像面に入射する。即ち、魚眼レンズは、光線Ｌを、広角画像撮像座標系のｚ軸と光線Ｌとを含む平面内において屈折し、ｘｙ平面に入射させる。従って、全方位カメラ２１では、例えば、円形状、または図１６に斜線を付して示すような、いわばドーナツ形状の画像データが、全方位画像データとして撮像される。

ここで、広角画像撮像座標系において、図１５に示すように、ｘｙ平面上でｘ軸となす角度を、経度θというとともに、ｚ軸となす角度を、緯度φということとして、経度がθで、緯度がφの方向を、方向（θ，φ）と表すこととすると、全方位カメラ２１に対して、方向（θ，φ）から入射する光線Ｌは、全方位カメラ２１の魚眼レンズにおいて、緯度φに応じて屈折する。

従って、方向（θ，φ）から入射する光線Ｌを、光線Ｌ（θ，φ）と表すとともに、その光線Ｌ（θ，φ）が射影されるｘｙ平面上の点を、Ｑ（ｘ，ｙ）と表すこととすると、経度θと緯度φは、点Ｑのｘ座標とｙ座標を用いて、次式で表される。

・・・（１）

・・・（２）

但し、式（２）において、関数ｆ₁（）は、全方位カメラ２１の魚眼レンズの光学特性によって決まる関数である。なお、関数ｆ₁（）の逆関数を、ｆ₁ ^-1（）と表すと、式（２）は、√（ｘ²＋ｙ²）＝ｆ₁ ^-1（θ）と表すことができる。逆関数ｆ₁ ^-1（θ）は魚眼レンズの光学特性を表すが、この逆関数ｆ₁ ^-1（θ）が、［魚眼レンズの焦点距離］×θで表される魚眼レンズは、等距離射影（equidistance projection）方式と呼ばれる。

式（１）と（２）から、全方位カメラ２１で撮像される全方位画像上のある点Ｑ（ｘ，ｙ）は、その点に入射する光線Ｌ（θ，φ）の方向を表す経度θと緯度φで表現することができる。

即ち、点Ｑ（ｘ，ｙ）と原点Ｏとを結ぶ直線と、ｘ軸とがなす角度は、光線Ｌの経度θに等しい。また、点Ｑ（ｘ，ｙ）と原点Ｏとの距離√（ｘ²＋ｙ²）は、光線Ｌの緯度φに依存する。そして、経度θと緯度φとは、独立した値である。

従って、例えば、経度θを横軸とするとともに、経度φを縦軸とする２次元座標系としての緯度経度座標系を考えると、全方位画像データを構成する画素Ｑ（ｘ，ｙ）は、緯度経度座標系上の点Ｑ’（θ，φ）に射影することができる。

全方位画像データを、緯度経度座標系に射影することにより、図１７に示すように、ドーナツ形状の全方位画像データは、経度θと緯度φで規定される長方形状の画像データ、即ち、緯度経度画像データに変換される。

図１４の広角画像変換部５２は、以上のように、全方位画像データを緯度経度画像データに変換する。

次に、全方位画像を撮像する広角撮像部１１（図３）の全方位カメラ２１の魚眼レンズの光学特性と、全方位画像に対応する光線を発する広角画像表示部３４（図７）の外側用全方位プロジェクタ４１の魚眼レンズの光学特性とが同一であるとした場合、外側用全方位プロジェクタ４１に、全方位カメラ２１で得られた全方位画像データをそのまま供給すれば、外側用全方位プロジェクタ４１からは、全方位カメラ２１に入射する光線と向きだけが逆向きの光線が射出されるから、外側用全方位プロジェクタ４１からの光線を受光する外側ドームスクリーン４２（図７）では、理論的には、全方位カメラ２１で撮像された風景等と同一の画像が表示される。

しかしながら、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性が同一であるとは限らず、異なる場合がある。

ここで、全方位カメラ２１に入射する光線Ｌ（θ，φ）が到達する撮像面上の点Ｑ（ｘ，ｙ）と、経度θおよび緯度φとの間には、式（１）および（２）に示した関係がある。

そして、式（１）で表される経度θは、魚眼レンズの光学特性に影響を受けないが、式（２）で表される緯度φは、関数ｆ₁（）を用いて求められ、この関数ｆ₁（）の逆関数関数ｆ₁ ^-1（）は、上述したように、魚眼レンズの光学特性を表すから、魚眼レンズの光学特性に影響を受ける。

従って、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性が異なる場合に、外側ドームスクリーン４２（図７）で表示される画像を、全方位カメラ２１で撮像された風景等と同一の画像とするには、全方位カメラ２１で撮像された全方位画像データの緯度φ方向の補正が必要となる。

全方位画像データの緯度φ方向は、図１７に示した緯度経度画像データの縦軸方向となるから、図１４の画角補正部５３は、広角画像変換部５２から供給される緯度経度画像データの縦軸方向である緯度φを、例えば次式によって、緯度φ’に補正する。

・・・（３）

但し、式（３）において、αは、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性によって決まる値である。

従って、広角画像変換部５２から供給される緯度経度画像データを構成する画素を、Ｑ’（θ，φ）と表すと、画角補正部５３では、画素Ｑ’（θ，φ）が、画素Ｑ’（θ，φ’）に補正される。

なお、緯度φは、図１７に示したように、緯度経度画像データの縦軸方向を表すから、緯度経度画像データの縦方向の画角に相当する。従って、緯度φの補正は、緯度経度画像データの縦方向の画角を小さくまたは広くすることに相当する。

長方形状の緯度経度画像データを、そのまま、外側用全方位プロジェクタ４１（図７）に供給しても、外側ドームスクリーン４２には、全方位カメラ２１（図３）で撮像された全方位画像が表示されないため、図１４の緯度経度画像変換部５４は、画角補正部５３で緯度φの補正が行われた緯度経度画像データを、再び、図１６に示したようなドーナツ形状（あるいは円形状）の全方位画像データに変換する。緯度経度画像変換部５４で得られる全方位画像データは、その緯度φ方向のスケールが、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の魚眼レンズの光学特性に基づいて補正されており、この全方位画像データを、外側用全方位プロジェクタ４１（図７）に供給することで、外側ドームスクリーン４２では、全方位カメラ２１（図３）で撮像された全方位画像が表示されることになる。

次に、図１８のフローチャートを参照して、図１４の広角画像処理部３３で行われる処理（広角画像処理）について説明する。

コントローラ５６は、フレームメモリ５１を監視しており、フレームメモリ５１が全方位画像データの記憶を開始すると、広角画像処理を開始する。

即ち、広角画像処理では、まず最初に、ステップＳ１において、コントローラ５６が、フレーム数をカウントする変数ｉに、初期値としての、例えば１をセットし、ステップＳ２に進む。ステップＳ２では、フレームメモリ５１が、そこに記憶された第ｉフレームの全方位画像データを読み出し、広角画像変換部５２に供給して、ステップＳ３に進む。

ステップＳ３では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）について、式（１）により、経度θを求め、ステップＳ４に進む。ステップＳ４では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）について、式（２）により、緯度φを求め、ステップＳ５に進む。

ステップＳ５では、広角画像変換部５２が、フレームメモリ５１から供給される全方位画像データを構成する各画素Ｑ（ｘ，ｙ）を、その画素Ｑ（ｘ，ｙ）について求められた経度θと緯度φで表される緯度経度座標系上の点（θ，φ）に配置することによって、図１７に示したように、ドーナツ形状の全方位画像データを、長方形状の緯度経度画像データに変換する。

広角画像変換部５２は、ステップＳ５において、以上のようにして緯度経度画像データを求めると、その緯度経度画像データを、画角補正部５３に供給して、ステップＳ６に進む。

ステップＳ６では、画角補正部５３が、広角画像変換部５２から供給される緯度経度画像データの緯度φ方向を、式（３）にしたがって、緯度φ’に補正し、その補正後の緯度φ’と、経度θで表される緯度経度画像データを、緯度経度画像変換部５４に供給して、ステップＳ７に進む。

ステップＳ７では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）について、広角画像撮像座標系のｘｙ平面上のｘ座標を、式（４）にしたがって求め、ステップＳ８に進む。

ステップＳ８では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）について、広角画像撮像座標系のｘｙ平面上のｙ座標を、式（５）にしたがって求め、ステップＳ９に進む。

・・・（４）

・・・（５）

ここで、式（４）および（５）における関数ｆ₂（φ’）は、外側用全方位プロジェクタ４１（図７）の光学特性を表す関数（外側用全方位プロジェクタ４１の魚眼レンズの射影方式によって決まる関数）である。なお、式（１）と（２）を、ｘとｙそれぞれについて解くことにより、式（４）および（５）と同様の式を得ることができる。

ステップＳ９では、緯度経度画像変換部５４が、画角補正部５３から供給される緯度経度画像データを構成する各画素Ｑ’（θ，φ’）を、その画素Ｑ’（θ，φ’）について求められたｘ座標とｙ座標で表される広角画像撮像座標系のｘｙ平面上の点（ｘ，ｙ）に配置することによって、長方形状の緯度経度画像データを、ドーナツ形状の全方位画像データに変換し、この全方位画像データが、外側用全方位プロジェクタ４１（図７）に発光させる画像データである発光全方位画像データとして、フレームメモリ５５に供給されて記憶される。

以上のようにして、フレームメモリ５５に記憶された発光全方位画像データは、順次読み出され、広角画像表示部３４（図６）に供給される。そして、広角画像表示部３４では、その外側用全方位プロジェクタ４１（図７）が、発光全方位画像データに対応する光線を発し、この光線が、外側ドームスクリーン４２（図７）で受光されることで、外側ドームスクリーン４２では、全方位カメラ２１（図３）で撮像された被写体の全方位の風景の画像が、没入画像として表示される。

その後、ステップＳ１０に進み、コントローラ５１は、フレームメモリ５１を参照することにより、第ｉフレームが、最後のフレームであるか否かを判定する。ステップＳ１０において、第ｉフレームが最後のフレームでないと判定された場合、即ち、フレームメモリ５１に、第ｉフレームより後のフレームの全方位画像データが記憶されている場合、ステップＳ１１に進み、コントローラ５６は、変数ｉを１だけインクリメントして、ステップＳ２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１０において、第ｉフレームが最後のフレームであると判定された場合、即ち、フレームメモリ５１に、第ｉフレームより後のフレームの全方位画像データが記憶されていない場合、広角画像処理を終了する。

なお、全方位カメラ２１（図３）と外側用全方位プロジェクタ４１（図７）の光学特性が同一である場合には、デマルチプレクサ３２（図６）が出力する全方位画像データは、図１４の広角画像処理部３３をスルーして、そのまま、発光全方位画像データとして、広角画像表示部３４に供給することが可能である。

次に、図６の囲い込み画像処理部３５の処理の概要について説明する。

囲い込み画像表示部３６（図６）では、上述したように、その内側ドームスクリーン４４（図８）において、ユーザに対し、そのユーザの視点から被写体を見た画像が表示される。また、複数のユーザが存在する場合には、内側ドームスクリーン４４（図８）において、複数のユーザそれぞれに対し、そのユーザの視点から被写体を見た画像が表示される。

従って、内側ドームスクリーン４４では、図１９に示すように、その内側ドームスクリーン４４が仮に透明であり、かつ、その内側ドームスクリーン４４の内部に、囲い込み撮像部１２（図２）で撮像対象となった被写体が仮に存在するとした場合に、各ユーザの視覚に映る被写体と画像と同一の画像が表示される。

即ち、図１９の実施の形態では、二人のユーザＡとＢが存在するが、内側ドームスクリーン４４では、その中心とユーザＡの視点とを結ぶ直線と交わる部分に、ユーザＡの視点から被写体を見たときの画像が表示される。さらに、内側ドームスクリーン４４では、その中心とユーザＢの視点とを結ぶ直線と交わる部分に、ユーザＢの視点から被写体を見たときの画像が表示される。

このため、図８の囲い込み表示部３６では、例えば、図２０に示すように、内側用全方位プロジェクタ４３が、図示せぬ液晶パネルなどの表示面に、各ユーザの視点から見た被写体の画像（以下、適宜、視点画像という）を表示して、その視点画像に対応する光線を、魚眼レンズを介して発し、これにより、内側ドームスクリーン４４において、各ユーザの視点から見た被写体の画像が、各ユーザに表示される。

そこで、図６の囲い込み画像処理部３５は、デマルチプレクサ３２から供給される囲い込み画像データを用い、視点検出部３７から供給される各視点について、その視点から被写体を見たときの画像（視点画像）を生成し、さらに、各視点についての視点画像を、その視点に応じた位置に配置することにより、内側用全方位プロジェクタ４３（図８）に発光させる光線に対応する発光画像、即ち、内側用全方位プロジェクタ４３の表示面に表示させる発光画像（以下、表示用画像ともいう）を生成する。

ところで、例えば、図２１に示すように、ユーザＡとＢが離れており、従って、ユーザＡとＢの視点も離れている場合は、内側ドームスクリーン４４において、ユーザＡとＢそれぞれに対して、その視点から見た被写体の画像（視点画像）を表示しても、ユーザＡは、そのユーザＡの視点についての視点画像だけを見ることができ、ユーザＢも、そのユーザＢの視点についての視点画像だけを見ることができる。

即ち、ユーザＡには、ユーザＢの視点についての視点画像は見えず、あるいは、見えても、ユーザＡの視点についての視点画像の視聴を妨げない程度にしか見えない。ユーザＢについても、同様に、ユーザＡの視点についての視点画像は見えず、あるいは、見えても、ユーザＢの視点についての視点画像の視聴を妨げない程度にしか見えない。

一方、例えば、図２２に示すように、ユーザＡとＢが近い位置にいる場合には、視点どうしも近くなり、内側ドームスクリーン４４に表示されるユーザＡとＢそれぞれについての視点画像どうしが重なることがある。また、内側ドームスクリーン４４に表示されるユーザＡとＢそれぞれについての視点画像どうしが重ならない場合であっても、ユーザＡとＢそれぞれについての視点画像が、内側ドームスクリーン４４において近い位置に表示されるため、ユーザＢの視点についての視点画像が、ユーザＡの視点についての視点画像の、ユーザＡによる視聴を妨げるとともに、ユーザＡの視点についての視点画像が、ユーザＢの視点についての視点画像の、ユーザＢによる視聴を妨げることになる。

そこで、囲い込み画像処理部３５は、ユーザＡとＢの視点どうしの距離が短い場合には、そのユーザＡとＢの視点の両方から近い位置に、ユーザＡとＢに共通の視点を設定し、その視点から被写体を見た画像（視点画像）を生成する。この場合、内側ドームスクリーン４４では、図２２に示すように、ユーザＡとＢの両方に対して、共通の視点から被写体を見た画像が表示されることとなり、ユーザＡとＢによる画像の視聴が妨げられることを防止することができる。

図２３は、以上のような処理（囲い込み画像処理）を行う、図６の囲い込み画像処理部３５の構成例を示している。

視点バッファ６１には、視点検出部３７（図６）が出力するユーザの視点が供給されるようになっており、視点バッファ６１は、視点検出部３７から供給される視点を記憶する。なお、複数のユーザが存在する場合には、図６の視点検出部３７は、その複数のユーザの視点を検出し、視点バッファ６１に供給する。この場合、視点バッファ６１は、視点検出部３７から供給される複数のユーザの視点すべてを記憶する。

視点処理部６２は、視点バッファ６１に記憶されたユーザの視点を読み出し、その視点について所定の処理を必要に応じて施しながら、視点記憶部６３に供給する。視点記憶部６３は、視点処理部６２から供給される視点を記憶する。視点方向算出部６４は、視点記憶部６３に記憶された視点の方向（視点方向）を求め、視点画像変換部６７に供給する。

フレームメモリ６５は、デマルチプレクサ３２（図６）から供給される囲い込み画像データをフレーム単位で記憶し、その記憶した囲い込み画像データを読み出して、画像選択部６６に供給する。なお、フレームメモリ６５も、図１４のフレームメモリ５１と同様に構成されており、これにより、フレームメモリ６５では、囲い込み画像データの記憶と読み出しとを同時に行うことができるようになっている。

画像選択部６６は、視点記憶部６３に記憶された視点についての視点画像を生成するのに必要な画像データを、フレームメモリ６５から供給される囲い込み画像データの中から選択する。即ち、囲い込み画像データは、図４に示したように、複数のカメラ位置に配置された複数の囲い込みカメラ２２₁，２２₂，２２₃，・・・で撮像された画像データの集合であり、いま、この囲い込み画像データを構成する囲い込みカメラ２２_kで撮像された画像データを、カメラ画像データというものとすると、画像選択部６６は、視点記憶部６３に記憶された視点に基づき、囲い込み画像データからカメラ画像データを選択する。

そして、画像選択部６６は、視点記憶部６３に記憶された視点に基づいて囲い込み画像データから選択したカメラ画像データを、そのまま、あるいは処理し、その視点についての視点画像データとして、視点画像変換部６７に供給する。

視点画像変換部６７は、視点方向算出部６４から供給される視点方向と、内側ドームスクリーン４４（図８）の形状とに基づき、画像選択部６６から供給される視点画像データを用いて、内側用全方位プロジェクタ４３（図８）の表示面に表示させる表示用画像データを生成し、フレームメモリ６８に供給する。

なお、以上の画像選択部６６と視点画像変換部６７によって、ユーザの視点と、内側ドームスクリーン４４（図８）の形状とに基づき、囲い込み画像データから表示用画像データを生成する表示用画像生成部７０が構成されている。

フレームメモリ６８は、視点画像変換部６７から供給される表示用画像データを記憶し、その記憶した表示用画像データを、内側用全方位プロジェクタ４３（図８）に供給する。ここで、フレームメモリ６８も、図１４のフレームメモリ５１と同様に構成されており、これにより、フレームメモリ６８では、表示用画像データの記憶と読み出しとを同時に行うことができるようになっている。

コントローラ６９は、フレームメモリ６５における囲い込み画像データの記憶状況を参照しながら、視点処理部６２、視点方向算出部６４、画像選択部６６、および視点画像変換部６７を制御する。

次に、図２４を参照して、図２３の視点方向算出部６４の処理について説明する。

視点方向算出部６４は、視点記憶部６３に記憶された視点の方向（視点方向）を表す経度と緯度を求める。

即ち、いま、内側用全方位プロジェクタ４３の光軸をｚ軸とするとともに、内側用全方位プロジェクタ４３の表示面をｘｙ平面とする３次元座標系を、囲い込み画像表示座標系と呼ぶこととすると、視点方向算出部６４は、囲い込み画像表示座標系において、ある位置にある視点Ｖ（ｘ，ｙ，ｚ）を、原点Ｏから見た方向を、視点方向として求める。

そこで、いま、囲い込み画像表示座標系において、図２４に示すように、ｘｙ平面上でｘ軸となす角度を、経度θというとともに、ｚ軸となす角度を、緯度φということとして、経度がθで、緯度がφの方向を、方向（θ，φ）と表すこととすると、視点Ｖ（ｘ，ｙ，ｚ）の視点方向（θ，φ）を表す経度θと緯度φは、それぞれ次式で求めることができる。

・・・（６）

・・・（７）

視点方向算出部６４は、式（６）および（７）によって、視点方向（θ，φ）を求め、視点画像変換部６７に供給する。

次に、図２５乃至図２７を参照して、図２３の表示用画像生成部７０の処理について説明する。

内側ドームスクリーン４４（図８）において、ユーザに対し、そのユーザの視点から被写体を見た視点画像を表示するには、単純には、例えば、図２５に示すように、ユーザの視点の視点方向（θ，φ）と内側ドームスクリーン４４との交点Ｕを中心とする、内側ドームスクリーン４４上の所定の範囲に、その視点方向（θ，φ）から撮像したカメラ画像データを、視点画像として表示すればよい。

従って、いま、視点方向（θ，φ）から撮像したカメラ画像データである視点画像を、視点画像（θ，φ）と表すとともに、ユーザの視点の視点方向（θ，φ）と内側ドームスクリーン４４との交点Ｕを中心とする、内側ドームスクリーン４４上の所定の範囲を、表示エリア（θ，φ）と表すこととすると、視点画像（θ，φ）を、表示エリア（θ，φ）に表示させることができるように、視点画像（θ，φ）を、内側用全方位プロジェクタ４３（図８）の表示面に表示させる表示用画像上の位置に書き込む必要がある。

そこで、図２３の表示用画像生成部７０では、画像選択部６６において、視点記憶部６３に記憶された視点の視点方向（θ，φ）から撮像したカメラ画像データとしての視点画像（θ，φ）を選択し、視点画像変換部６７において、その視点画像（θ，φ）を、表示エリア（θ，φ）に表示させることができるように、表示用画像に配置する。

いま、例えば、内側用全方位プロジェクタ４３の表示面をｘｙ平面とする２次元座標系を、表示面座標系と呼ぶこととして、図２６に示すように、そのｘ座標とｙ座標を、ｘ_s座標とｙ_s座標と表す。また、視点画像（θ，φ）をｘｙ平面とする２次元座標系を、視点画像座標系と呼ぶこととする。なお、図２６に示すように、表示面座標系の原点Ｏ_sは、内側用全方位プロジェクタ４３の光軸と表示面との交点にとり、視点画像座標系の原点Ｏは、長方形状の視点画像（θ，φ）の中心（長方形状の視点画像（θ，φ）の対角線どうしの交点）にとることとする。

視点画像（θ，φ）を、表示エリア（θ，φ）に表示させるには、第１に、図２６に示すように、視点画像（θ，φ）を、表示面座標系の原点Ｏ_sから、緯度φに対応する距離ｇ（φ）だけ離れた位置に配置する必要がある。さらに、視点画像（θ，φ）を、表示エリア（θ，φ）に表示させるには、第２に、図２７に示すように、視点画像（θ，φ）を、反時計回りに、角度π／２＋θだけ回転する必要がある。

そこで、視点画像変換部６７は、まず、式（８）にしたがい、視覚画像（θ，φ）の視点画像座標系の原点Ｏの、表示面座標系における座標Ｏ（ｘ_sO，ｙ_sO）を求める。

・・・（８）

ここで、式（８）において、関数ｇ（φ）は、内側用全方位プロジェクタ４３（図８）の光学特性を表す関数（内用全方位プロジェクタ４３の魚眼レンズの射影方式によって決まる関数）である。

さらに、視点画像変換部６７は、視覚画像（θ，φ）を構成する画素Ｑの、視点画像座標系における座標を、Ｑ（ｘ_Q，ｙ_Q）と表すとともに、表示面座標系における座標を、Ｑ（ｘ_sQ，ｙ_sQ）と表すこととすると、式（９）にしたがい、視覚画像（θ，φ）を構成する画素Ｑの、表示面座標系における座標Ｑ（ｘ_sQ，ｙ_sQ）を求める。

・・・（９）

そして、視点画像変換部６７は、視覚画像（θ，φ）を構成する各画素Ｑ（ｘ_Q，ｙ_Q）の画素値を、式（９）で表される座標（ｘ_sQ，ｙ_sQ）に対応するフレームメモリ６８上の位置に書き込むことで、視覚画像（θ，φ）を、表示用画像に変換する。

次に、図２８および図２９のフローチャートを参照して、図２３の囲い込み画像処理部３５の処理（囲い込み画像処理）について説明する。

コントローラ６９は、フレームメモリ６５を監視しており、フレームメモリ６５が囲い込み画像データの記憶を開始すると、囲い込み画像処理を開始する。

即ち、囲い込み画像処理では、まず最初に、ステップＳ２１において、コントローラ６９は、フレーム数をカウントする変数ｉに、初期値としての、例えば１をセットし、ステップＳ２２に進む。

なお、ステップＳ２１において変数ｉに１をセットする処理と、後述するステップＳ５３の変数ｉをインクリメントする処理とは、上述した図１８のステップＳ１において変数ｉに１をセットする処理と、ステップＳ１１において変数ｉをインクリメントする処理と、それぞれ同期して行われる。即ち、広角画像処理部３３における広角画像処理と、囲い込み画像処理部３５における囲い込み画像処理とは、同一フレームを対象として、同期して行われる。これにより、広角画像表示部３４と囲い込み画像表示部３６では、同一フレームの没入画像と鳥瞰画像が同期して表示される。

ステップＳ２２では、コントローラ６９が、ユーザ数をカウントする変数ｎに、初期値としての、例えば１をセットし、ステップＳ２３に進む。ステップＳ２３では、視点処理部６２が、視点バッファ６１からユーザ＃ｎの視点を読み出し、視点記憶部６３に登録する。

即ち、視点検出部３７（図６）は、外側スクリーンドーム４２（図７）内にいるユーザすべての視点を、例えばフレーム周期で検出し、その検出した最新の視点によって、視点バッファ６１の記憶内容を更新するようになっており、ステップＳ２３では、視点処理部６２は、第ｉフレームのタイミングにおいて視点バッファ６１に記憶されているユーザ＃ｎの視点を読み出し、視点記憶部６３に登録する。なお、ユーザ＃ｎの視点は、例えば、そのユーザ＃ｎを表すID(Identification)とともに、視点記憶部６３に記憶するようにすることができる。

視点処理部６２が、ユーザ＃ｎの視点を、視点記憶部６３に登録した後は、ステップＳ２４に進み、コントローラ６９は、変数ｎが、外側スクリーンドーム４２（図７）内にいるユーザの総数Ｎに等しいかどうかを判定する。ステップＳ２３において、変数ｎがＮに等しくないと判定された場合、ステップＳ２５に進み、コントローラ６９は、変数ｎを１だけインクリメントして、ステップＳ２３に戻り、以下、同様の処理を繰り返す。

また、ステップＳ２４において、変数ｎがＮに等しいと判定された場合、即ち、視点記憶部６３に、外側スクリーンドーム４２（図７）内にいるユーザすべての視点が記憶された場合、ステップＳ２６に進み、コントローラ６９は、視点選択部６６で処理の対象とする視点の総数を表す変数Ｍに、初期値としての、外側スクリーンドーム４２（図７）内にいるユーザの総数Ｎをセットし、ステップＳ２７に進む。

ステップＳ２７では、コントローラ６９は、視点をカウントする変数ｍに、初期値としての、例えば１をセットするとともに、後述する近距離視点の有無を表すフラグflagに、初期値としての、近距離視点がないことを表す、例えば０をセットし、ステップＳ２８に進む。

ステップＳ２８では、視点処理部６２が、視点記憶部６３に記憶されたＭ個の視点のうちのｍ番目の視点について、他のＭ−１個の視点それぞれとの間の距離（視点間距離）を求め、その視点間距離が、所定の閾値ＴＨ１以下（または未満）の視点を、ｍ番目の視点についての近距離視点として検出する。そして、ステップＳ２９に進み、視点処理部６２は、ｍ番目の視点についての近距離視点が存在するかどうかを判定する。

ステップＳ２９において、ｍ番目の視点についての近距離視点がないと判定された場合、即ち、ｍ番目の視点との視点間距離が閾値ＴＨ１以下の視点が、視点記憶部６３に記憶（登録）されていない場合、ステップＳ３０乃至Ｓ３４をスキップして、ステップＳ３５に進む。

また、ステップＳ２９において、ｍ番目の視点についての近距離視点があると判定された場合、即ち、ｍ番目の視点との視点間距離が閾値ＴＨ１以下の視点（近距離視点）が、視点記憶部６３に記憶（登録）されている場合、ステップＳ３０に進み、コントローラ６９は、フラグflagに、近距離視点があることを表す、例えば１をセットし、ステップＳ３１に進む。

ここで、ステップＳ３０の処理は、フラグflagに、既に１がセットされている場合は、スキップすることができる。

ステップＳ３１では、視点処理部６２は、視点記憶部６３に記憶された視点のうち、ｍ番目の視点についての近距離視点とされたものの数を検出し、さらに、その近距離視点とｍ番目の視点の重心を検出する。

そして、ステップＳ３２に進み、視点処理部６２は、視点記憶部６３におけるｍ番目の視点として、ステップＳ３１で求めた重心を、上書きする形で登録し（書き込み）、ステップＳ３３に進む。ステップＳ３３では、視点処理部６２が、視点記憶部６３に記憶された視点のうち、ｍ番目の視点についての近距離視点とされたものを削除し、ステップＳ３４に進む。

ステップＳ３４では、コントローラ６９が、視点選択部６６で処理の対象とする視点の総数を表す変数Ｍから、ステップＳ３１で検出された近距離視点の数を減算し、その減算値を、変数Ｍに新たにセットして、ステップＳ３５に進む。即ち、ステップＳ３３では、視点記憶部６３に記憶された視点のうちの近距離視点が削除されるため、ステップＳ３４では、その削除された近距離視点の数だけ、変数Ｍの値が小さくされる。

従って、図２８において点線で囲んであるステップＳ２８乃至Ｓ３４の処理によれば、ｍ番目の視点との距離が近い１以上の視点が検出され、その１以上の視点とｍ番目の視点が、それらの視点の重心の位置に統合される。

ステップＳ３５では、コントローラ６９が、変数ｍが、変数Ｍ、即ち、視点記憶部６３に記憶されている視点の数Ｍに等しいかどうかを判定する。ステップＳ３５において、変数ｍが変数Ｍに等しくないと判定された場合、ステップＳ３６に進み、コントローラ６９は、変数ｍを１だけインクリメントして、ステップＳ２８に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３５において、変数ｍが変数Ｍに等しいと判定された場合、ステップＳ３７に進み、コントローラ６９が、フラグflagが１に等しいかどうかを判定する。ステップＳ３７において、フラグflagが１に等しいと判定された場合、即ち、視点記憶部６３に記憶されている視点の中に、前回行われたステップＳ２８乃至Ｓ３６のループ処理において統合された視点が存在し、まだ視点を統合することができるかもしれない場合、ステップＳ２７に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ３７において、フラグflagが１に等しくないと判定された場合、即ち、フラグflagが、ステップＳ２７でセットされた０のままであり、視点記憶部６３に記憶されている視点の中に、他の視点との距離が閾値ＴＨ１以下となるものが存在しない場合、図２９のステップＳ４１に進む。

ステップＳ４１では、コントローラ６９が、視点をカウントする変数ｍに、初期値としての、例えば１をセットし、ステップＳ４２に進む。ステップＳ４２では、画像選択部６６が、視点記憶部６６に記憶されたｍ番目の視点と、囲い込み撮像部１２を構成する各囲い込みカメラ２２_kのカメラ視点との距離を、カメラ距離として算出する。

ここで、囲い込みカメラ２２_kのカメラ視点とは、囲い込み画像データに多重化されているカメラ位置を、所定の正規化係数βで正規化（除算）したものである。正規化係数βとしては、例えば、囲い込み画像表示座標系においてユーザが取り得る最も遠い視点と原点との距離を、被写体から最も遠い囲い込みカメラ２２_kと被写体との距離で除算した値などを採用することができる。

ステップＳ４２の処理後は、ステップＳ４３に進み、画像選択部６６は、ステップＳ４２でｍ番目の視点について求められたカメラ距離のうちの最小値Ｄ_minを、最小カメラ距離として求め、ステップＳ４４に進む。ステップＳ４４では、画像選択部６６が、ｍ番目の視点についての最小カメラ距離Ｄ_minが所定の閾値ＴＨ２以下（または未満）であるかどうかを判定する。

ステップＳ４４において、ｍ番目の視点についての最小カメラ距離Ｄ_minが所定の閾値ＴＨ２以下であると判定された場合、即ち、ｍ番目の視点と、最小カメラ距離Ｄ_minを与えるカメラ視点とが近く、従って、そのカメラ視点を、ｍ番目の視点とみなすことができる場合、ステップＳ４５に進み、画像選択部６６は、フレームメモリ６５に記憶された囲い込み画像データの中から、最小カメラ距離Ｄ_minを与えるカメラ視点の囲い込みカメラ２２_kで撮像された第ｉフレームのカメラ画像を、ｍ番目の視点についての視点画像として選択し、視点画像変換部６７に供給して、ステップＳ４９に進む。

また、ステップＳ４４において、ｍ番目の視点についての最小カメラ距離Ｄ_minが所定の閾値ＴＨ２以下でないと判定された場合、即ち、ｍ番目の視点と、最小カメラ距離Ｄ_minを与えるカメラ視点とが近いとはいえず、従って、そのカメラ視点を、ｍ番目の視点とみなすことができない場合、ステップＳ４７に進み、画像選択部６６は、ｍ番目の視点について求められたカメラ距離のうちの２番目に小さいものを、第２のカメラ距離Ｄ₂として検出し、フレームメモリ６５に記憶された囲い込み画像データの中から、最小カメラ距離Ｄ_minを与えるカメラ視点の囲い込みカメラ２２_kで撮像された第ｉフレームのカメラ画像と、第２のカメラ距離Ｄ₂を与えるカメラ視点の囲い込みカメラ２２_k'で撮像された第ｉフレームのカメラ画像の２つのカメラ画像を選択する。さらに、ステップＳ４７では、画像選択部６６が、最小カメラ距離Ｄ_minを与えるカメラ視点の囲い込みカメラ２２_kで撮像された第ｉフレームのカメラ画像と、第２のカメラ距離Ｄ₂を与えるカメラ視点の囲い込みカメラ２２_k'で撮像された第ｉフレームのカメラ画像とを、第２のカメラ距離Ｄ₂と最小カメラ距離Ｄ_minとの比Ｄ₂：Ｄ_minで合成し、合成画像を生成する。

即ち、最小カメラ距離Ｄ_minを与えるカメラ視点の囲い込みカメラ２２_kで撮像された第ｉフレームのカメラ画像を構成するｃ番目の画素を、ｐ_cで表すとともに、第２のカメラ距離Ｄ₂を与えるカメラ視点の囲い込みカメラ２２_k'で撮像された第ｉフレームのカメラ画像を構成するｃ番目の画素を、ｑ_cで表すとすると、画像選択部６６は、画素ｐ_cとｑ_cを、式（Ｄ₂×ｐ_c＋Ｄ_min×ｑ_c）／（Ｄ₂＋Ｄ_min）にしたがって合成して合成画素を生成し、そのような合成画素で構成される合成画像を生成する。

なお、ここでは、２つのカメラ画像を用いて合成画像を生成するようにしたが、合成画像は、その他、３以上のカメラ画像を用いて生成することが可能である。

その後、ステップＳ４８に進み、画像選択部６６は、ステップＳ４７で生成した合成画像を、ｍ番目の視点についての視点画像として選択し、視点画像変換部６７に供給して、ステップＳ４９に進む。

ステップＳ４９では、ｍ番目の視点についての視点画像が、表示用画像に変換される。

即ち、ステップＳ４９では、視点方向算出部６４が、視点記憶部６３に記憶されたｍ番目の視点の視点方向（θ，φ）を算出し、視点画像変換部６７に供給する。視点画像変換部６７は、視点方向算出部６４から供給されるｍ番目の視点の視点方向（θ，φ）に基づき、画像選択部６６から供給されるｍ番目の視点についての視点画像の各画素を配置すべき、表示用画像の位置を、式（８）および（９）によって算出する。そして、視点画像変換部６７は、そのようにして求めた表示用画像の位置に対応するフレームメモリ６８上の位置（アドレス）に、ｍ番目の視点についての視点画像の画素を配置し（書き込み）、ステップＳ５０に進む。

ここで、以上のようにしてフレームメモリ６８に書き込まれた表示用画像に対応する光線が、内側用全方位プロジェクタ４３から発光されることにより、内側ドームスクリーン４４には、ｍ番目の視点から見た場合に、その視点から被写体を見たときの画像が表示される。

ステップＳ５０では、コントローラ６９が、変数ｍが、視点記憶部６３に記憶された視点の総数Ｍに等しいかどうかを判定する。ステップＳ５０において、変数ｍがＭに等しくないと判定された場合、ステップＳ５１に進み、コントローラ６９は、変数ｍを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。

また、ステップＳ５０において、変数ｍがＭに等しいと判定された場合、即ち、視点記憶部６３に記憶されたすべての視点についての視点画像が、表示用画像に変換され、フレームメモリ６８に書き込まれた場合、内側用全方位プロジェクタ４３（図８）は、そのフレームメモリ６８に記憶された表示用画像を、第ｉフレームの画像として、その画像に対応する光線を発光する。これにより、内側ドームスクリーン４４では、１乃至Ｍ番目の視点それぞれから見た場合に、その視点から被写体を見たときの鳥瞰画像が、各視点に対応する位置に表示される。

その後、ステップＳ５２に進み、コントローラ６９は、フレームメモリ６５を参照することにより、第ｉフレームが、最後のフレームであるか否かを判定する。ステップＳ５２において、第ｉフレームが最後のフレームでないと判定された場合、即ち、フレームメモリ６５に、第ｉフレームより後のフレームの囲い込み画像データが記憶されている場合、ステップＳ５３に進み、コントローラ６９は、変数ｉを１だけインクリメントして、図２８のステップＳ２２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ５２において、第ｉフレームが最後のフレームであると判定された場合、即ち、フレームメモリ６５に、第ｉフレームより後のフレームの囲い込み画像データが記憶されていない場合、囲い込み画像処理を終了する。

以上のように、表示システム２では、外側ドームスクリーン４２の内側の面に第ｉフレームの没入画像が表示されるとともに、内側ドームスクリーン４４の外側の面に第ｉフレームの鳥瞰画像が表示されるので、ユーザは、没入画像によって提供される没入感を享受することができるとともに、鳥瞰画像によって自身の位置を容易に把握することができる。

従って、図１の撮像／表示システムを、例えば、スポーツ番組の撮像および表示に用いた場合には、撮像システム１の囲い込みカメラ２２_k（図４）を、そのスポーツが行われるスタジアムを取り囲むように多数連続的に配置するとともに、全方位カメラ２１（図３）をスタジアムの中央に配置して撮像を行うことで、表示システム２において、臨場感あふれる画像表示が可能となる。

また、表示システム２の内側ドームスクリーン４４では、ユーザの視点に応じた鳥瞰画像が、ユーザの視点に応じた位置に表示されるので、ユーザに提示される鳥瞰画像は、ユーザが視点を移動することにより変化する。従って、ユーザは、いわゆるのぞき込みが可能となり、ある視点からは隠れていた被写体の画像を、視点を移動することで見ることができるようになる。さらに、複数のユーザに対して、各ユーザの視点から被写体を見た鳥瞰画像を提示することが可能となる。

また、表示システム２によれば、例えば、外側ドームスクリーン４２（図７）に、遠くにいる魚や動物等を表示し、内側ドームスクリーン４４（図８）に、近くにいる魚や動物等を表示することで、水族館や動物園などの自然観察型施設を仮想的に実現することができる。

さらに、表示システム２においては、実際に撮像された画像ではなく、コンピュータグラフィックスなどの人為的に作られた画像を表示することが可能である。即ち、表示システム２においては、コンピュータグラフィックスとして作られた宇宙空間の画像や、分子などのミクロの構造の画像などを表示することが可能である。この場合、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。

また、表示システム２は、例えば、いわゆるテレビゲームの画像表示にも適用可能である。

次に、図６の広角画像処理部３３や囲い込み画像処理部３５による一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、表示システム２では、記録媒体３（図１）に記録された画像を、いわばオフラインで表示することも可能であるし、伝送媒体４を介して伝送されてくる画像を、リアルタイムで表示することも可能である。

また、上述したように、内側用全方位プロジェクタ４３（図８）において、表示用画像に対応する光線を発し、その光線を、内側ドームスクリーン４４（図８）に背面投影することで、視点画像を表示する場合には、その視点画像において左右が反転する。この内側ドームスクリーン４４に表示される視点画像の左右の反転を防止するためには、例えば、視点画像の元となるカメラ画像の左右をあらかじめ反転しておく必要があるが、この反転処理は、例えば、囲い込み画像処理部３５の画像選択部６６（図２３）に行わせることが可能である。あるいは、このカメラ画像の左右の反転は、例えば、撮像システム１の囲い込みカメラ２２_k（図４）においてカメラ画像を撮像する際に、光学的に行うようにすることも可能である。

さらに、本実施の形態では、内側用全方位プロジェクタ４３（図８）において、表示用画像に対応する光線を発し、その光線を、内側ドームスクリーン４４（図８）に背面投影することで、視点画像を表示するようにしたが、この場合、表示用画像を、内側ドームスクリーン４４（図８）の形状を考慮して生成する必要がある。即ち、視点画像は、長方形状であるため、その長方形状の視点画像を、表示用画像の所定の位置に配置し、その表示用画像に対応する光線を、内側用全方位プロジェクタ４３から発することにより、内側ドームスクリーン４４において視点画像を表示する場合には、長方形状の視点画像が、半球状の内側ドームスクリーン４４の球面に射影されるため、内側ドームスクリーン４４に表示された視点画像は歪むことになる。従って、視点画像変換部６７（図２３）では、内側ドームスクリーン４４において視点画像が歪みのない長方形状に表示されるように、内側ドームスクリーン４４の形状に基づき、表示用画像に配置する視点画像を変換する必要がある。

但し、本実施の形態では、内側ドームスクリーン４４（図８）の半径がある程度大きく、視点画像が表示される範囲は、平面とみなすことができるものとされている。この場合には、内側ドームスクリーン４４の形状に基づく、表示用画像に配置する視点画像の変換は、してもしなくてもよい。

また、本実施の形態では、撮像システム１において、囲い込み撮像部１２（図２）を１つしか設けなかったが、囲い込み撮像部１２は、複数設けることが可能である。この場合、複数の囲い込み撮像部１２において、空間的または時間的に隔てられた複数の被写体を撮像し、表示システム２において、その複数の被写体の画像をスーパインポーズした画像をカメラ画像として処理を行うようにすることが可能である。

さらに、図６の広角画像処理部３３、囲い込み画像処理部３５、および視点検出部３７は、表示システム１に設けるのではなく、撮像システム１（図２）に設けることが可能である。

本発明を適用した撮像／表示システムの一実施の形態の構成例を示す図である。 撮像システム１の構成例を示すブロック図である。 広角撮像部１１の構成例を示す斜視図である。 囲い込み撮像部１２の構成例を示す斜視図である。 全方位カメラ２１と囲い込みカメラ２２_kの位置関係を説明する図である。 表示システム２の構成例を示すブロック図である。 広角画像表示部３４の構成例を示す斜視図である。 囲い込み画像表示部３６の構成例を示す斜視図である。 外側ドームスクリーン４２と内側ドームスクリーン４４の位置関係を説明する図である。 複数のユーザが画像を視聴している様子を示す図である。 複数のユーザに、各ユーザの視点から見た被写体の画像が提示されている様子を示す図である。 左右パララックス方式を示す図である。 上下左右パララックス方式を示す図である。 広角画像処理部３３の構成例を示すブロック図である。 広角画像撮像座標系を示す図である。 全方位画像を示す図である。 全方位画像と緯度経度画像を示す図である。 広角画像処理を説明するフローチャートである。 内側ドームスクリーン４４に表示される画像を説明する図である。 内側用全方位プロジェクタ４３の表示面に表示される画像と、内側ドームスクリーン４４に表示される画像を示す図である。 ユーザＡとＢの視点が離れている様子を示す図である。 ユーザＡとＢの視点が近い状態を示す図である。 囲い込み画像処理部３５の構成例を示すブロック図である。 視点方向算出部６４の処理を説明する図である。 表示用画像生成部７０の処理を説明する図である。 表示用画像生成部７０の処理を説明する図である。 表示用画像生成部７０の処理を説明する図である。 囲い込み画像処理を説明するフローチャートである。 囲い込み画像処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ 撮像システム， ２ 表示システム， ３ 記録媒体， ４ 伝送媒体， １１ 広角撮像部， １２ 囲い込み撮像部， １３ マルチプレクサ， １４ 記録／送信部， ２１ 全方位カメラ， ２２k 囲い込みカメラ， ３１ 再生／受信部， ３２ デマルチプレクサ， ３３ 広角画像処理部， ３４ 広角画像表示部， ３５ 囲い込み画像処理部， ３６ 囲い込み画像表示部， ３７ 視点検出部， ４１ 外側用全方位プロジェクタ， ４２ 外側ドームスクリーン， ４３ 内側用全方位プロジェクタ， ４４ 内側ドームスクリーン， ５１ フレームメモリ， ５２ 広角画像変換部， ５３ 画角補正部， ５４ 緯度経度画像変換部， ５５ フレームメモリ， ５６ コントローラ， ６１ 視点バッファ， ６２ 視点処理部， ６３ 視点記憶部， ６４ 視点方向算出部， ６５ フレームメモリ， ６６ 画像選択部， ６７ 視点画像変換部， ６８ フレームメモリ， ６９ コントローラ， ７０ 表示用画像生成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (9)

1. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像を、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理装置において、
   視点間の距離が所定の距離以下の複数のユーザの視点を、前記複数のユーザの視点の重心に位置する１つの視点に統合する統合手段と、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択手段と、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換手段と
   を備え、
   前記画像選択手段は、前記複数の撮像手段により撮像された画像の中から、統合された前記１つの視点に対応する視点画像を選択し、
   前記視点画像変換手段は、統合された前記１つの視点に対応する前記視点画像を前記発光画像に変換する
   ことを特徴とする画像処理装置。
2. 前記ユーザの視点を検出する視点検出手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の撮像手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像選択手段は、複数のユーザの視点それぞれについて、前記視点画像を選択し、
   前記視点画像変換手段は、前記複数のユーザの視点それぞれについての視点画像を変換して、１つの前記発光画像を生成し、
   前記表示手段は、前記発光手段が発する光線に対応する前記発光画像を表示することにより、前記複数のユーザの視点それぞれから前記被写体を見たときの画像を表示する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像を、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理方法において、
   視点間の距離が所定の距離以下の複数のユーザの視点を、前記複数のユーザの視点の重心に位置する１つの視点に統合する統合ステップと、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択ステップと、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換ステップと
   を含み、
   前記画像選択ステップの処理により、前記複数の撮像手段により撮像された画像の中から、統合された前記１つの視点に対応する視点画像を選択し、
   前記視点画像変換ステップの処理により、統合された前記１つの視点に対応する前記視点画像を前記発光画像に変換する
   ことを特徴とする画像処理方法。
6. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
   視点間の距離が所定の距離以下の複数のユーザの視点を、前記複数のユーザの視点の重心に位置する１つの視点に統合する統合ステップと、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択ステップと、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換ステップと
   を含み、
   前記画像選択ステップの処理により、前記複数の撮像手段により撮像された画像の中から、統合された前記１つの視点に対応する視点画像を選択し、
   前記視点画像変換ステップの処理により、統合された前記１つの視点に対応する前記視点画像を前記発光画像に変換する
   処理をコンピュータに行わせることを特徴とするプログラム。
7. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理装置において、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択手段と、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換手段と
   を備え、
   前記画像選択手段は、ユーザの視点と前記複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、前記カメラ距離が最小となる前記撮像手段により撮像された画像を視点画像として選択し、前記カメラ距離の最小値が前記閾値を超える場合、前記カメラ距離が近い方から複数の前記撮像手段を選択し、選択した前記撮像手段により撮像された画像を、前記カメラ距離に対応した重みを付けて合成し、合成した画像を前記視点画像として選択する
   ことを特徴とする画像処理装置。
8. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像を、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理方法において、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択ステップと、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換ステップと
   を含み、
   前記画像選択ステップの処理により、ユーザの視点と前記複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、前記カメラ距離が最小となる前記撮像手段により撮像された画像を視点画像として選択し、前記カメラ距離の最小値が前記閾値を超える場合、前記カメラ距離が近い方から複数の前記撮像手段を選択し、選択した前記撮像手段により撮像された画像を、前記カメラ距離に対応した重みを付けて合成し、合成した画像を前記視点画像として選択する
   ことを特徴とする画像処理方法。
9. 被写体を囲い込むように複数の位置に配置される撮像手段により撮像された画像を、表示手段の外側にいるユーザに対して鳥瞰画像として表示する前記表示手段に向かって光線を発する発光手段に発光させる光線に対応する発光画像を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
   前記複数の撮像手段により撮像された画像の中から、ユーザの視点に基づき、前記ユーザの視点から前記被写体を見たときの視点画像を選択する画像選択ステップと、
   前記ユーザの視点の視点方向と前記表示手段との交点を含む前記表示手段の所定の範囲に対応する前記発光画像の範囲に前記視点画像を配置することにより、前記視点画像を前記発光画像に変換する視点画像変換ステップと
   を含み、
   前記画像選択ステップの処理により、ユーザの視点と前記複数の撮像手段の視点との間のカメラ距離の最小値が所定の閾値以下である場合、前記カメラ距離が最小となる前記撮像手段により撮像された画像を視点画像として選択し、前記カメラ距離の最小値が前記閾値を超える場合、前記カメラ距離が近い方から複数の前記撮像手段を選択し、選択した前記撮像手段により撮像された画像を、前記カメラ距離に対応した重みを付けて合成し、合成した画像を前記視点画像として選択する
   処理をコンピュータに行わせることを特徴とするプログラム。

Images