JP3787841B2 - 表示装置および表示方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、表示装置および表示方法に関し、特に、例えば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにする表示装置および表示方法に関する。
【０００２】
【従来の技術】
多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる空間提示系としては、例えば、ＮＨＫ（日本放送協会）が開発したＩＰ(Integral Photography)立体画像システムがある。
【０００３】
図１は、ＩＰ立体画像システムの一例の構成を示している。
【０００４】
ＩＰ立体画像システムでは、カメラ（ビデオカメラ）２によって、被写体が、複眼レンズ２０１を介して撮像される。
【０００５】
ここで、複眼レンズ２０１は、図２Ａの平面図と、図２Ｂの断面図に示すように、多数の小レンズを平面状に配置して構成されるものであり、従って、カメラ２０２では、この多数の小レンズそれぞれ越しに見た被写体の画像が撮像される。
【０００６】
そして、ＩＰ立体画像システムでは、カメラ２０２で撮像された画像が、例えば、液晶ディスプレイなどの表示装置２０３で表示される。表示装置２０３の表示画面の前面には、複眼レンズ２０１と同一構成の複眼レンズ２０４が配置されており、ユーザは、その複眼レンズ２０４越しに、表示装置２０３に表示された画像を見る。これにより、ユーザは、その視点から見た被写体の像を見ることができる。
【０００７】
即ち、カメラ２０２で撮像される画像は、複眼レンズ２０１を構成する各小レンズから被写体を見たものであるから、各小レンズ越しに見える被写体の画像（以下、適宜、小レンズ画像という）の集合になっている。従って、表示装置２０３に表示される画像も、小レンズ画像の集合になっているが、これを、ある視点から、複眼レンズ２０１と同一構成の複眼レンズ２０４を介して見ることにより、その視点から見た被写体の画像（像）が、複眼レンズ２０４を構成する各小レンズを介して見える、各小レンズ画像を構成する画素によって形成される。
【０００８】
従って、ＩＰ立体画像システムによれば、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。
【０００９】
【発明が解決しようとする課題】
ところで、ＩＰ立体画像システムでは、簡単には（あるいは、観念的には）、ある視点から見た被写体の画像が、その画像を構成する各画素を、複眼レンズ２０４を構成する各小レンズによって、各小レンズ画像から集めることによって形成される。
【００１０】
従って、ユーザに提示される画像の解像度は、複眼レンズ２０１および２０４を構成する小レンズによって決まるが、小レンズの小型化や、複眼レンズ２０１および２０４を構成させる小レンズの個数には限界がある。従って、ユーザに提示される画像を、高解像度の画像とすることが困難であった。
【００１１】
そこで、多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる他の空間提示系としては、例えば、zebra imagingと呼ばれるものがある。ここで、zebra imagingについては、例えば、zebra imaging社のwebページであるhttp://www.zebraimaging.com/に開示されている。
【００１２】
zebra imagingは、ホログラフィを利用した方法であり、多数のユーザに対して、各ユーザの視点から見た高解像度の画像を提示することが可能である。しかしながら、zebra imagingによって表示される画像はホログラムであるため、その作成に多大の演算量と時間を要し、従って、動きのある画像を表示することは困難であった。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の表示装置は、受光した光を散乱する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタとを有し、光を受光することにより、光に対応する画像を表示するスクリーンと、スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、スクリーンに対して、複数の方向から、画像に対応する光を照射する照射手段とを備えることを特徴とする。
【００１５】
本発明の第１の表示方法は、受光した光を散乱する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタとを有し、光を受光することにより、光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、スクリーンに対して、複数の方向から、画像に対応する光を照射することを特徴とする。
本発明の第２の表示装置は、光を受光することにより、光に対応する画像を表示するスクリーンと、スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、画像に対応する光を、広角に発光する広角発光手段と、広角発光手段が発光した光を、スクリーンの方向に反射する反射手段とを備えることを特徴とする。
本発明の第２の表示方法は、光を受光することにより、光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、画像に対応する光を、広角に発光し、発光した光を、スクリーンの方向に反射することを特徴とする。
本発明の第３の表示装置は、光を受光することにより、光に対応する画像を表示するスクリーンと、スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、被写体を撮像する、被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された被写体の画像に対応する光を、広角に発光する広角発光手段と、広角発光手段が発光した光を、スクリーンの方向に反射する反射手段と、反射手段によって反射された光がスクリーンで受光されることにより表示される画像が、複数の撮像手段によって撮像された被写体の画像になるように、複数の撮像手段によって撮像された被写体の画像を変換する変換手段を備え、広角発光手段は、変換手段により変換された画像に対応する光を発光することを特徴とする。
本発明の第３の表示方法は、光を受光することにより、光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、被写体を撮像する、被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された被写体の画像に対応する光を、広角に発光し、発光した光を、スクリーンの方向に反射し、反射された光がスクリーンで受光されることにより表示される画像が、複数の撮像手段によって撮像された被写体の画像になるように、複数の撮像手段によって撮像された被写体の画像を変換し、変換された画像に対応する光を発光することを特徴とする。
【００１６】
本発明の第４の表示装置は、光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィルタとを備えることを特徴とする。
【００１７】
本発明の第４の表示方法は、受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、散乱板で散乱された光のうち、所定の方向の光のみを透過させることを特徴とする。
【００１８】
本発明の第１の表示装置および表示方法においては、受光した光を散乱する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタとを有し、光を受光することにより、光に対応する画像を表示するスクリーンが、所定の回転軸を中心に回転駆動され、そのスクリーンに対して、複数の方向から、画像に対応する光が照射される。
【００１９】
本発明の第２の表示装置および表示方法においては、光を受光することにより、光に対応する画像を表示するスクリーンが、所定の回転軸を中心に回転駆動され、画像に対応する光が、広角に発光され、発光された光が、スクリーンの方向に反射されることを特徴とする。
本発明の第３の表示装置および表示方法においては、光を受光することにより、光に対応する画像を表示するスクリーンが、所定の回転軸を中心に回転駆動され、被写体を撮像する、被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された被写体の画像に対応する光が、広角に発光され、発光された光が、スクリーンの方向に反射され、反射された光がスクリーンで受光されることにより表示される画像が、複数の撮像手段によって撮像された被写体の画像になるように、複数の撮像手段によって撮像された被写体の画像が変換され、変換された画像に対応する光が発光される。
本発明の第４の表示装置および表示方法においては、受光した光を散乱する散乱板で散乱された光のうち、所定の方向の光のみが透過され、その光に対応する画像が表示される。
【００２０】
【発明の実施の形態】
図３は、本発明を適用した撮像表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かを問わない）の一実施の形態の構成例を示している。
【００２１】
撮像表示システムは、撮像装置１と表示装置２から構成されている。
【００２２】
撮像装置１は、被写体を撮像し、その結果得られる画像データを、例えば、地上波、衛星回線、ＣＡＴＶ(Cable Television)網、電話回線、インターネットその他の伝送媒体３を介して伝送し、あるいは、例えば、半導体メモリ、光ディスク、磁気ディスクなどの記録媒体４に記録する。
【００２３】
表示装置２は、伝送媒体３から送信されてくる画像データ、あるいは記録媒体４から再生される画像データを受信して表示する。
【００２４】
図４は、図１の撮像装置１の構成例を示している。
【００２５】
撮像装置１は、撮像光学系１０と信号処理部１２から構成されている。
【００２６】
撮像光学系１０は、複数としてのＮ個のカメラ１１₁乃至１１_Nから構成されている。このＮ個のカメラ１１₁乃至１１_Nは、被写体の水平方向の周囲３６０度に、例えば、等間隔（等角度）で配置されている。さらに、Ｎ個のカメラ１１₁乃至１１_Nは、例えば、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。なお、Ｎ個のカメラ１１₁乃至１１_Nの配置位置は、上述したものに限定されるものではない。即ち、Ｎ個のカメラ１１₁乃至１１_Nは、例えば、異なる間隔で配置することなどが可能である。
【００２７】
カメラ１１_n（ｎ＝１，２，・・・，Ｎ）は、被写体を撮像し、即ち、被写体からの光を受光して光電変換することで、被写体の画像データを得て、その画像データを、例えば、１フレーム（または１フィールド）単位で、信号処理部１２に供給する。
【００２８】
信号処理部１２は、カメラ１１₁乃至１１_Nと同一の個数のストレージ３１₁乃至３１_N、符号化部３２、および多重化部３３から構成され、カメラ１１_nから供給される画像データを処理して出力する。
【００２９】
即ち、ストレージ３１_nは、カメラ１１_nから供給される画像データを一時記憶する。符号化部３２は、ストレージ３１₁乃至３１_Nそれぞれから画像データを読み出し、例えば、ＤＶ(Digital Video)方式などの所定の方式で圧縮符号化する。さらに、符号化部３２は、画像データを圧縮符号化することにより得られる符号化データを、多重化部３３に供給する。多重化部３３は、符号化部３２から供給される、Ｎ個のカメラ１１₁乃至１１_Nそれぞれで撮像された画像データに対応する符号化データを、１つのデータストリームに多重化し、伝送媒体３（図３）を介して伝送し、または記録媒体４（図３）に供給して記録する。
【００３０】
次に、図５のフローチャートを参照して、図４の撮像装置１の処理について説明する。
【００３１】
まず最初に、ステップＳ１において、カメラ１１_nは、被写体を撮像し、その結果得られる１フレームの画像データを、信号処理部１２のストレージ３１_nに供給して、ステップＳ２に進む。ステップＳ２では、ストレージ３１_nが、カメラ１１_nから供給される画像データを記憶し、ステップＳ３に進む。ステップＳ３では、符号化部３２が、ストレージ３１_nに記憶された画像データを読み出して符号化し、その結果得られる符号化データを、多重化部３３に供給する。
【００３２】
そして、ステップＳ４に進み、多重化部３３は、符号化部３２から供給される、Ｎ個のカメラ１１₁乃至１１_Nそれぞれで撮像された画像データに対応する符号化データを、１つのデータストリームに多重化して出力する。多重化部３３が出力するデータストリームは、伝送媒体３（図３）を介して伝送され、あるいは記録媒体４（図３）に供給されて記録される。
【００３３】
その後、ステップＳ５に進み、ユーザによって、図示せぬ操作部が、画像データの撮像を終了するように操作（以下、適宜、撮像終了操作という）されたか否かが判定される。
【００３４】
ステップＳ５において、撮像終了操作がされていないと判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００３５】
また、ステップＳ５において、撮像終了操作がされたと判定された場合、処理を終了する。
【００３６】
以上のようにして、撮像装置１では、Ｎ個のカメラ１１₁乃至１１_Nによって、被写体を、その周囲のＮ個の視点から見た画像、即ち、被写体を、その水平方向の周囲３６０度から見た連続的な画像が撮像される。
【００３７】
次に、図６は、図３の表示装置２の構成例を示している。
【００３８】
表示装置２は、表示光学系２０、信号処理部２２、およびコントローラ２３から構成されている。
【００３９】
表示光学系２０は、撮像光学系１０を構成するカメラ１１₁乃至１１_Nと同一の個数であるＮ個のプロジェクタ２１₁乃至２１_N、駆動部２４、およびライトコントロールスクリーン２５から構成されている。
【００４０】
Ｎ個のプロジェクタ２１₁乃至２１_Nは、ライトコントロールスクリーン２５の水平方向の周囲３６０度に配置されており、撮像光学系１０（図４）における、被写体に対するＮ個のカメラ１１₁乃至１１_Nの位置それぞれに対応する方向それぞれから、信号処理部２２より供給される画像データに対応する光を発し、これにより、その光を、ライトコントロールスクリーン２５に照射する。
【００４１】
即ち、Ｎ個のプロジェクタ２１₁乃至２１_Nは、それぞれの光軸の位置関係が、Ｎ個のカメラ１１₁乃至１１_Nそれぞれの光軸の位置関係と相似になるように配置されている。従って、Ｎ個のプロジェクタ２１₁乃至２１_Nは、図４で説明したＮ個のカメラ１１₁乃至１１_Nと同様に、ライトコントロールスクリーン２５の周囲３６０度に、例えば、等間隔（等角度）で配置されており、さらに、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。
【００４２】
プロジェクタ２１_n（ｎ＝１，２，・・・，Ｎ）は、信号処理部２２から供給される、カメラ１１_nで撮像された被写体の画像データに対応する光線を発する。
【００４３】
駆動部２４は、コントローラ２３の制御にしたがい、ライトコントロールスクリーン２５を、例えば、等角速度で回転駆動する。
【００４４】
ライトコントロールスクリーン２５は、例えば、長方形状のスクリーンで、プロジェクタ２１が発する光線を受光することで、その光線に対応する画像を表示する。
【００４５】
なお、ライトコントロールスクリーン２５は、それを左右に二分する垂直方向の分割線に沿った軸２５Ａを回転軸として、駆動部２４によって回転駆動されるようになっている。
【００４６】
また、Ｎ個のプロジェクタ２１₁乃至２１_Nは、例えば、それぞれの光軸が、ライトコントロールスクリーン２５の軸２５Ａ上の同一の点で交わるように配置されている。
【００４７】
信号処理部２２は、ストレージ４１、分離部４２、および復号部４３で構成されている。
【００４８】
ストレージ４１は、伝送媒体３（図３）を介して伝送されてくるデータストリーム、あるいは記録媒体４（図３）から再生されたデータストリームを一時記憶する。分離部４２は、ストレージ４１に記憶されたデータストリームを読み出し、カメラ１１₁乃至１１_Nで撮像された画像データを符号化した符号化データそれぞれに分離して、復号部４３に供給する。復号部４３は、分離部４２から供給される符号化データを、カメラ１１₁乃至１１_Nで撮像された画像データそれぞれに復号し、カメラ１１_nで撮像された画像データを、例えば、プロジェクタ２１_nに供給する。
【００４９】
なお、復号部４３は、カメラ１１_nで撮像された画像データを、例えば、１フレーム単位で、プロジェクタ２１_nに供給するが、その供給は、他のカメラ１１_n'から他のプロジェクタ２１_n'への画像データの供給と同期をとって行われる。
【００５０】
コントローラ２３は、復号部４３からプロジェクタ２１₁乃至２１_Nへの画像データの供給タイミングに同期して、ライトコントロールスクリーン２５を回転駆動するように、駆動部２４を制御する。
【００５１】
次に、図７は、図６のライトコントロールスクリーン２５の構成例を示す断面図である。
【００５２】
図７の実施の形態では、ライトコントロールスクリーン２５は、両面スクリーン５１、並びに光学フィルタフィルム５５および５６で構成されている。
【００５３】
両面スクリーン５１は、平板形状の散乱板５２および５３、並びに遮光板５４で構成され、遮光板５４を、散乱板５２と５３との間に挟んだ構造（遮光板５４が、散乱板５２と５３でサンドイッチされた構造）となっている。
【００５４】
なお、図７の実施の形態では、両面スクリーン５１は、散乱板５３の上部に、遮光板５４が配置され、遮光板５４の上部に、散乱板５２が配置されている。
【００５５】
従って、両面スクリーン５１に対して、上方向（散乱板５２側）から入射した光線は、散乱板５２で受光、散乱され、これにより、両面スクリーン５１を上方向から見た場合、散乱板５２において、その光線に対応する画像が表示される。一方、両面スクリーン５１を下方向から見た場合、散乱板５２の手前に遮光板５４が配置されており、この遮光板５４によって散乱板５２を透過する光が遮断されるため、散乱板５２で散乱された光線に対応する画像を見ることはできない。
【００５６】
また、両面スクリーン５１に対して、下方向（散乱板５３側）から入射した光線は、散乱板５３で受光、散乱され、これにより、両面スクリーン５１を下方向から見た場合、散乱板５３において、その光線に対応する画像が表示される。一方、両面スクリーン５１を上方向から見た場合、散乱板５３の手前に遮光板５４が配置されており、この遮光板５４によって散乱板５３を透過する光が遮断されるため、散乱板５３で散乱された光線に対応する画像を見ることはできない。
【００５７】
従って、両面スクリーン５１によれば、散乱板５２側の面と、散乱板５３側の面の２つの面それぞれにおいて、いわば独立に、画像を表示することができる。
【００５８】
ここで、散乱板５２および５３としては、例えば、すりガラスその他の光を散乱させるものを採用することができる。
【００５９】
図７の実施の形態において、ライトコントロールスクリーン２５は、両面スクリーン５１の散乱板５２側と５３側に、光学フィルタフィルム５５と５６をそれぞれ配置することによって構成されている。
【００６０】
光学フィルタフィルム５５および５６は、例えば、図８の斜視図に示すように、いわゆるルーバー構造を有するシート状の光学フィルタで、遮光性を有する長方形状の多数の微小フィルムを、その面どうしが対向するように、微小間隔で配置することにより構成されており、これにより、微小フィルムどうしの間にスリットが形成されている。
【００６１】
いま、光学フィルタフィルム５５および５６を構成する多数の微小フィルムの面と平行な方向、つまりスリットの方向を、正面方向というものとすると、光学フィルタフィルム５５および５６は、例えば、図９に示すような光学特性を有する。
【００６２】
即ち、光学フィルタフィルム５５および５６は、正面方向の光線のみをそのまま透過させ、正面方向からずれた光線（微小フィルムの面と交わる光線）ほど、透過する光量を小さくする光学特性を有する。従って、光学フィルタフィルム５５や５６を、正面から見た場合には、向こう側が見えるが、正面からずれた方向（いわゆる斜め方向）から、光学フィルタフィルム５５や５６を見た場合には、向こう側が見えなくなる。
【００６３】
ここで、上述のような光学特性を有する光学フィルタフィルム５５および５６としては、例えば、住友スリーエム社のライトコントロールフィルムなどを採用することができる。
【００６４】
図７のライトコントロールスクリーン２５においては、両面スクリーン５１の散乱板５２側に、上述のような光学特性を有する光学フィルタフィルム５５が、そのスリットが垂直方向（ライトコントロールスクリーン２５の軸２５Ａと平行な方向）に並ぶように配置されている。また、両面スクリーン５１の散乱板５３側にも、上述のような光学特性を有する光学フィルタフィルム５６が、そのスリットが垂直方向に並ぶように配置されている。
【００６５】
従って、散乱板５２に入射した光線が、その散乱板５２で散乱されることにより得られる散乱光のうち、正面方向の光線は、光学フィルタフィルム５５を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム５５によって遮断される。その結果、ライトコントロールスクリーン２５を、光学フィルタフィルム５５の正面方向を視点として見た場合には、散乱板５２で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５５を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン２５を、光学フィルタフィルム５５の正面方向から左または右に（水平方向に）ずれた位置を視点として見た場合には、散乱板５２で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５５で遮断され、視点に到達しないから、画像を見ることができない。
【００６６】
散乱板５３でも、そこに入射した光線が散乱され、その散乱光のうち、正面方向の光線は、光学フィルタフィルム５６を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム５６によって遮断される。その結果、ライトコントロールスクリーン２５を、光学フィルタフィルム５６の正面方向を視点として見た場合には、散乱板５３で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５６を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン２５を、光学フィルタフィルム５６の正面方向から左または右にずれた位置を視点として見た場合には、散乱板５３で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５６で遮断され、視点に到達しないから、画像を見ることができない。
【００６７】
以上のように、図７のライトコントロールスクリーン２５によれば、（理想的には）その正面方向に位置するユーザにのみ、画像が提示され、正面方向から左または右にずれたユーザには、画像は提示されない。
【００６８】
従って、いま、ライトコントロールスクリーン２５において画像が表示される面を、表示面というものとすると、図７のライトコントロールスクリーン２５は、散乱板５２側と５３側との２つの表示面を有するが、この表示面が、プロジェクタ２１_nの正面方向に位置した場合、そのプロジェクタ２１_nが発する光線が、光学フィルタフィルム５５または５６を介して、散乱板５２または５３で受光、散乱されることにより、その光線に対応する画像が、表示面としての散乱板５２または５３に表示される。そして、この散乱板５２または５３に表示された画像は、表示面の正面方向に位置するユーザのみが、光学フィルタフィルム５５または５６を介して観察することができ、他の方向に位置するユーザは観察することができない。
【００６９】
また、プロジェクタ２１_nでは、上述したように、カメラ１１_nで撮像された被写体の画像データに対応する光線が発光される。従って、プロジェクタ２１_nが、ライトコントロールスクリーン２５の表示面の正面方向に位置した場合にのみ、その正面方向に位置するユーザのみが、カメラ１１_nの位置から見た被写体の画像を観察することができる。
【００７０】
即ち、Ｎ個のプロジェクタ２１₁乃至２１_Nそれぞれが発する光線は、図１０Ａに示すように、垂直方向の軸２５Ａを回転軸として回転するライトコントロールスクリーン２５の表示面の正面方向が、プロジェクタ２１₁乃至２１_Nそれぞれの光軸方向と一致したときに、図１０Ｂに示すように、ライトコントロールスクリーン２５の表示面で結像し、カメラ１１₁乃至１１_Nで撮像された被写体の画像がそれぞれ表示され、この画像は、表示面の正面方向にいるユーザのみが観察することができる。
【００７１】
従って、ライトコントロールスクリーン２５では、その表示面の方向ごとに、その方向から見た被写体の画像が表示される。その結果、ユーザは、ライトコントロールスクリーン２５を見る位置ごとに、その位置から見た被写体の画像を観察すること、即ち、多数のユーザに対して多視点の画像を提示することができる。
【００７２】
なお、ユーザは、例えば、図１０に示すように、プロジェクタ２１_nの後側から、ライトコントロールスクリーン２５を見ることにより、その表示面に表示される画像を観察する。
【００７３】
また、コントローラ２３は、ライトコントロールスクリーン２５が、その表示面の回転レートが信号処理部２２から供給される画像データのフレームレート（またはフィールドレート）以上となる角速度で回転するように、駆動部２４を制御する。
【００７４】
従って、信号処理部２２から供給される画像データのフレームレートが、例えば、３０Ｈｚであるとすると、２つの表示面を有するライトコントロールスクリーン２５は、１５Ｈｚ以上の角速度で回転される。
【００７５】
この場合、プロジェクタ２１_nは、少なくとも、フレーム周期内に１度は、ライトコントロールスクリーン２５の表示面の正面方向に位置することになり、いわゆるコマ落ちを防止することができる。
【００７６】
即ち、信号処理部２２から供給される画像データのフレームレート未満の角速度で、ライトコントロールスクリーン２５が回転する場合、あるプロジェクタ２１_nに注目すると、そのプロジェクタ２１_nが、表示面の正面方向に位置したときに、その表示面で、あるフレームの画像データが表示された後、次のフレームの画像データに対応する光線が発せられるまでの間に、表示面の正面方向が、プロジェクタ２１_nの方向を向かないため、次のフレームの画像が表示されず、そのフレームは、コマ落ちすることになる。かかるコマ落ちを防止するためには、プロジェクタ２１_nが、少なくとも、フレーム周期内に１度は、ライトコントロールスクリーン２５の表示面の正面方向に位置するように、即ち、信号処理部２２から供給される画像データのフレームレート以上の角速度で、ライトコントロールスクリーン２５を回転させる必要がある。
【００７７】
次に、図１１のフローチャートを参照して、図６の表示装置の処理について説明する。
【００７８】
まず最初に、ステップＳ１１において、コントローラ２３は、駆動部２４を制御することにより、ライトコントロールスクリーン２５の回転を開始させ、ステップＳ１２に進む。
【００７９】
ステップＳ１２では、ストレージ４１が、伝送媒体３または記録媒体４（図３）から供給される、例えば、１フレーム分のデータストリームを記憶し、ステップＳ１３に進む。ステップＳ１３では、分離部４２が、ストレージ４１に記憶されたデータストリームを読み出し、図４の撮像装置１のカメラ１１₁乃至１１_Nで撮像された画像データを符号化した符号化データそれぞれに分離して、復号部４３に供給する。
【００８０】
そして、ステップＳ１４に進み、復号部４３は、分離部４２から供給された符号化データを、カメラ１１₁乃至１１_Nで撮像された画像データそれぞれに復号し、カメラ１１_nで撮像された画像データを、プロジェクタ２１_nに供給して、ステップＳ１５に進む。
【００８１】
ステップＳ１５では、プロジェクタ２１_nは、復号部４３から供給される画像データに対応する光線を、ライトコントロールスクリーン２５に向かって発光し、これにより、回転しているライトコントロールスクリーン２５の表示面において、その表示面の正面方向に位置するプロジェクタ２１_nが発した光線に対応する画像が表示される。
【００８２】
その後、ステップＳ１６に進み、ユーザによって、図示せぬ操作部が、画像の表示を終了するように操作（以下、適宜、表示終了操作という）されたか否かが、コントローラ２３によって判定される。
【００８３】
ステップＳ１６において、表示終了操作がされていないと判定された場合、ステップＳ１１に戻る。そして、ステップＳ１１において、ストレージ４１が、そこに供給される、次の１フレーム分のデータストリームを記憶し、以下、同様の処理が繰り返される。
【００８４】
また、ステップＳ１６において、表示終了操作がされたと判定された場合、ステップＳ１７に進み、コントローラ２３は、駆動部２４を制御することにより、ライトコントロールスクリーン２５の回転を停止させ、処理を終了する。
【００８５】
以上のように、ライトコントロールスクリーン２５を回転させ、そのライトコントロールスクリーン２５に対して、複数の方向から撮像した画像データに対応する光を、その方向から照射するようにしたので、各方向から、ライトコントロールスクリーン２５を見ることにより、その方向から見た被写体の画像を観察することができる。また、ライトコントロールスクリーン２５は、その表示面に、光学フィルタフィルム５５および５６を有するため、その表示面の正面方向以外の方向に位置するユーザは、表示面に表示されている画像を観察することはできない。
【００８６】
従って、多数のユーザが、各ユーザの視点から被写体を見たときに、その視覚に映るのと同一の画像を視聴することができる。
【００８７】
さらに、カメラ１１_nおよびプロジェクタ２１_nとして、高解像度のものを採用するだけで、容易に、高解像度の画像を提供することができる。
【００８８】
また、画像の動きの有無によって、撮像装置１および表示装置２の処理量は、殆ど変化しないので、動きのある画像であっても、多数のユーザに対して、各ユーザの視点から見たの画像を提示することができる。
【００８９】
次に、図１２は、図６のライトコントロールスクリーン２５の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００９０】
図１２の実施の形態では、ライトコントロールスクリーン２５は、反射型スクリーン６１と光学フィルタフィルム５５から構成されている。
【００９１】
反射型スクリーン６１は、図１２において、遮光板５３の上部に散乱板５２を配置して構成されている。そして、散乱板５２の上部に、光学フィルタフィルム５５が配置されている。
【００９２】
即ち、図１２のライトコントロールスクリーン２５は、図７のライトコントロールスクリーン２５の散乱板５３および光学フィルタ５６を取り除いたものと同一構成となっている。
【００９３】
従って、図１２のライトコントロールスクリーン２５は、上方向（散乱板５２側）だけに１つの表示面を有するものとなっている。
【００９４】
即ち、図１２のライトコントロールスクリーン２５では、上方向から散乱板５２の面に向かって光線を照射することにより、その光線が散乱板５２で散乱され、その光線に対応する画像が表示される。この画像は、光学フィルタフィルム５５を介して観察することができる。従って、図１２のライトコントロールスクリーン２５では、光線が照射される散乱板５２の面側だけに、画像が表示され、表示面は、その面１つだけである。
【００９５】
ここで、図６および図１２のライトコントロールスクリーン２５によれば、そのライトコントロールスクリーン２５で反射された光線が、ユーザの網膜に結像することによって、ユーザにより画像が知覚される。従って、図６および図１２のライトコントロールスクリーン２５は、反射型のスクリーンであるということができる。
【００９６】
次に、図１３は、図６のライトコントロールフィルム２５の第３の構成例を示している。なお、図中、図７または図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００９７】
図１３の実施の形態では、ライトコントロールスクリーン２５は、透過型スクリーン６２と光学フィルタフィルム５５から構成されている。
【００９８】
透過型スクリーン６２は、散乱板５２で構成されており、図１３において、その散乱板５２の上部に、光学フィルタフィルム５５が配置されている。
【００９９】
以上のように構成される透過型スクリーン６２では、下方向（散乱板５２側）から光線を照射することにより、その光線が散乱板５２で散乱され、その光線に対応する画像が表示される。この画像は、上方向から光学フィルタフィルム５５を介して観察することができる。なお、図１３では、散乱板５２に表示された画像は、下方向からでも観察することができる。しかしながら、この場合、下方向からは、その正面方向からだけではなく、任意の方向から画像を観察することができるため、ここでは、散乱板５２の下方向の面は、表示面として考えないものとする。従って、図１３のライトコントロールスクリーン２５では、光線が照射される散乱板５２の面と反対側の面側だけに、画像が表示され、表示面は、その面１つだけである。
【０１００】
ここで、図１３のライトコントロールスクリーン２５によれば、そのライトコントロールスクリーン２５を透過した光線が、ユーザの網膜に結像することによって、ユーザにより画像が知覚される。従って、図１３のライトコントロールスクリーン２５は、透過型のスクリーンであるということができる。
【０１０１】
なお、図７や図１２のライトコントロールスクリーン２５を用いる場合、上述したように、ライトコントロールスクリーン２５で反射される光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、ライトコントロールスクリーン２５から見て、視聴しようとしている画像に対応している光線を発するプロジェクタ２１_nと同一方向に位置すれば、その画像を視聴することができる。
【０１０２】
これに対して、図１３のライトコントロールスクリーン２５を用いる場合、ライトコントロールスクリーン２５を透過する光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、画像を視聴するためには、図１４に示すように、ライトコントロールスクリーン２５から見て、その視聴しようとしている画像に対応している光線を発するプロジェクタ２１_nと反対方向に位置する必要がある。
【０１０３】
ここで、図１４Ａでは、ライトコントロールスクリーン２５の周囲３６０度のうちの１８０度の範囲の各位置にプロジェクタ２１_nが配置されており、ユーザは、残りの１８０度の範囲における、プロジェクタ２１_nの反対側の位置で、画像を視聴することになる。この場合、ユーザは、その位置を、プロジェクタ２１_nが配置されていない１８０度の範囲でしか移動することができないため、その範囲から見た被写体の画像しか観察することができない。
【０１０４】
そこで、プロジェクタ２１_nは、例えば、図１４Ｂに示すように、ユーザの位置と交互になるように配置することができる。この場合、ユーザは、その位置を、３６０度の範囲で移動することができる。
【０１０５】
なお、ライトコントロールスクリーン２５は、上述した構成に限定されるものではない。即ち、ライトコントロールスクリーン２５は、上述した構成のものの他、所定の方向から入射する光のみを受光して散乱することにより、画像を表示するスクリーンや、光を受光して散乱することにより、画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出するスクリーンであれば、どのような構成のものであってもかまわない。
【０１０６】
次に、図１５は、図６の表示光学系２０の他の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の表示光学系２０は、Ｎ個のプロジェクタ２１₁乃至２１_Nに代えて、保持部７１、Ｎ個の平面ミラー７１₁乃至７２_N、および魚眼プロジェクタ７３が設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１０７】
但し、図６の表示光学系２０においては、駆動部２４が、例えば、床などに固定され、ライトコントロールスクリーン２５を回転駆動するのに対して、図１５の表示光学系２０では、駆動部２４は、例えば、天井などに固定され、ライトコントロールスクリーン２５を回転駆動するようになっている。
【０１０８】
保持部７１は、略円筒形状をしており、ライトコントロールスクリーン２５を囲むように設置されている。なお、保持部７１は、ライトコントロールスクリーン２５に表示された画像の視聴を妨げない程度に、ライトコントロールスクリーン２５より下部に設置されている。
【０１０９】
また、円筒形状の保持部７１の内側には、その法線方向（正面方向）がライトコントロールスクリーン２５の軸２５Ａの方向を向くように、Ｎ個の平面ミラー７２₁乃至７２_Nが設置されており、保持部７１は、このＮ個の平面ミラー７２₁乃至７２_Nを保持するようになっている。
【０１１０】
ここで、保持部７１は、平面ミラー７２_nを保持する役割を果たす他、後述する魚眼プロジェクタ７３が発する光線が、直接、ユーザの視覚に入ることを防止する役割も果たす。
【０１１１】
魚眼プロジェクタ７３は、プロジェクタ７４と魚眼レンズ７５で構成されており、プロジェクタ７４は、信号処理部２２から供給される画像データに対応する光線を発し、魚眼レンズ７５は、そのプロジェクタ７４からの光を、周囲に、広角に放射する。なお、魚眼プロジェクタ７３は、例えば、その光軸が、ライトコントロールスクリーン２５の軸２５Ａと一致するように配置されている。また、魚眼プロジェクタ７３は、保持部７１より下部に配置されている。
【０１１２】
以上のように構成される表示光学系２０では、魚眼プロジェクタ７３が、信号処理部２２から供給される画像データに対応する光線を、魚眼レンズ７５を介することにより広角に発する。魚眼プロジェクタ７３が発する光線は、図１６に示すように、その魚眼プロジェクタ７３の光軸を囲むように配置されている保持部７１に保持されている平面ミラー７２_nに入射し、そこで、ライトコントロールスクリーン２５に向かって反射される。ライトコントロールスクリーン２５では、この光線が受光されることにより、その光線に対応する画像が表示される。
【０１１３】
従って、図１５の表示光学系２０では、平面ミラー７２_nがライトコントロールスクリーン２５に向かって反射する光線が、図６のプロジェクタ２１_nが発する光線と同一であれば、平面ミラー７２_nは、プロジェクタ２１_nと等価になるから、図６の表示光学系２０における場合と同一の画像が、ライトコントロールスクリーン２５で表示される。
【０１１４】
そこで、図１７は、表示光学系２０が図１５に示したように構成される場合の、図６の信号処理部２２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の信号処理部２２は、幾何変換合成部４４が新たに設けられている他は、図６における場合と同様に構成されている。
【０１１５】
幾何変換合成部４４は、復号部４３から供給される、カメラ１１₁乃至１１_Nそれぞれで撮像された画像データを幾何変換して合成することにより、平面ミラー７２_nがライトコントロールスクリーン２５に向かって反射する、魚眼プロジェクタ７２からの光線が、図６のプロジェクタ２１_nが発する光線に一致するものとなるような画像データ（以下、適宜、幾何変換画像データという）を生成し、魚眼プロジェクタ７３（図１５）に供給する。
【０１１６】
即ち、ここでは説明を簡単にするために、魚眼プロジェクタ７３の魚眼レンズ７５として、例えば、図１８に示すような等距離射影方式の魚眼レンズ（いわゆるｆθの魚眼レンズ）が採用されているものとする。
【０１１７】
ここで、等距離射影方式の魚眼レンズ７５によれば、その魚眼レンズ７５の光軸に対する入射光の入射角をθとするとともに、魚眼レンズ７５の焦点距離をｆとすると、像高ｙは、ｆθで表される。
【０１１８】
従って、いま、図１８に示すように、魚眼レンズ７５の光軸と垂直な２次元平面において、その光軸と交わる点を基準点Ｐ₀と表す場合において、入射角θ₁の入射光Ｒ₁が魚眼レンズ７５に入射したときに、その入射光Ｒ₁が２次元平面で受光される点Ｐ₁と、基準点Ｐ₀との間の距離ｒ₁は、ｆθ₁で表される。同様に、入射角θ₂の入射光Ｒ₂が魚眼レンズ７５に入射したときに、その入射光Ｒ₂が２次元平面で受光される点Ｐ₂と、基準点Ｐ₀との間の距離ｒ₂は、ｆθ₂で表される。そして、光線Ｒ₂の入射角θ₂が、光線Ｒ₁の入射角θ₁の、例えば２倍の角度である場合には、距離ｒ₂も、距離ｒ₁の２倍となる。
【０１１９】
ところで、上述の魚眼レンズ７５の光軸と垂直な２次元平面上に、図１９に示す２次元座標系を考え、基準点Ｐ₀の座標を、（ｘ₀，ｙ₀）と表すこととする。そして、この基準点Ｐ₀を中心とする楕円を想定する。なお、この楕円の長軸または短軸のうちの一方は、２次元座標系のｘ軸またはｙ軸のうちの一方と平行に、長軸または短軸のうちの他方は、２次元座標系のｘ軸またはｙ軸のうちの他方と平行に、それぞれ配置するものとする。
【０１２０】
この場合、２次元座標系の楕円内のある点（画素）Ｐの座標（ｘ，ｙ）と、魚眼レンズ７５によって、点Ｐに射影される光線の光線方向との関係は、次式で表される。
【０１２１】
【数１】

【０１２２】
但し、式（１）において、ｒ_xは、２次元座標系に想定した楕円の長径または短径のうちの、ｘ軸と平行な方の１／２の長さを表し、ｒ_yは、長径または短径のうちの、ｙ軸と平行な方の１／２の長さを表す。
【０１２３】
また、式（１）において、θは、図２０に示すような、魚眼レンズ７５の光軸をｚ軸とするとともに、ｘ軸とｙ軸として、図１９の２次元座標系の原点を基準点Ｐ₀としたときの、その２次元座標系のｘ軸とｙ軸を採用した３次元座標系において、魚眼レンズ７５に入射する光線Ｒと、ｘｙ平面とがつくる角度を表す。さらに、式（１）において、φは、魚眼レンズ７５に入射する光線Ｒをｘｙ平面に射影した線と、ｘ軸とがつくる角度を表す。なお、式（１）において、角度θとφの単位は、ラジアンである。
【０１２４】
式（１）から、ｔａｎφは、式（２）で表すことができる。
【０１２５】
【数２】

【０１２６】
式（２）から、角度φは、式（３）によって求めることができる。
【０１２７】
【数３】

【０１２８】
但し、式（３）の逆正接(arctangent)（ｔａｎ^-1）を計算するにあたっては、点Ｐが位置する象限を考慮する必要がある。
【０１２９】
式（１）と式（３）から、角度θは、式（４）によって求めることができる。
【０１３０】
【数４】

【０１３１】
いま、幾何変換合成部４４が魚眼プロジェクタ７２に供給する幾何変換画像データを構成する画素における、ある位置（ｘ，ｙ）の画素に注目すると、その注目画素に対応する光線が、魚眼プロジェクタ７２から射出される光線方向（θ，φ）は、式（３）および（４）によって求めることができる。
【０１３２】
そして、この注目画素に対応する光線（以下、適宜、注目光線という）が、平面ミラー７２_nで反射され、ライトコントロールスクリーン２５に向かうから、平面ミラー７２_nの位置に、平面ミラー７２_nの代えて、プロジェクタ２１_nが配置されていると仮定した場合に、プロジェクタ２１_nが発する光線のうち、平面ミラー７２_nで反射された注目光線と一致する光線に対応する画素（の画素値）が、注目画素と一致していれば、平面ミラー７２_nから、ライトコントロールスクリーン２５に対して、プロジェクタ２１_nが発する光線と同一の光線が照射されることになる。
【０１３３】
そこで、幾何変換合成部４４（図１７）は、復号部４３から供給される、カメラ１１₁乃至１１_Nそれぞれで撮像された画像データを用い、上述したように、平面ミラー７２_nの位置に、平面ミラー７２_nの代えて、プロジェクタ２１_nが配置されていると仮定した場合に、プロジェクタ２１_nが発する光線のうち、平面ミラー７２_nで反射された注目光線と一致する光線に対応する画素が注目画素と一致する画像データとしての幾何変換画像データを生成し、魚眼プロジェクタ７３に供給する。
【０１３４】
この場合、魚眼プロジェクタ７３が幾何変換合成部４４から供給される幾何変換画像データに対応して発光する光線が、平面ミラー７２_nで反射されると、その反射光は、平面ミラー７２_nの位置にプロジェクタ２１_nが配置されている場合に、そのプロジェクタ２１_nが発する光線と同様のものとなるから、図１５の表示光学系２０では、図６の表示光学系２０における場合と同様の画像の表示が行われることになる。
【０１３５】
なお、図１５の表示光学系２０では、保持部７１の内側に、平面ミラー７２_nを保持し、その平面ミラー７２_nによって、魚眼プロジェクタ７３が発する光線を、ライトコントロールスクリーン２５に向かって反射するようにしたが、その他、例えば、保持部７１の内側に、平面ミラー７２_nを設ける代わりに、保持部７１の内側をミラーで構成し、そのミラーによって、魚眼プロジェクタ７３が発する光線を、ライトコントロールスクリーン２５に向かって反射するようにすることが可能である。
【０１３６】
また、図１５では、プロジェクタ７４のレンズとして、魚眼レンズ７５を採用することにより、プロジェクタ７４が発する光線を広角に射出するようにしたが、プロジェクタ７４のレンズとしては、魚眼レンズ７５以外の、光線を広角に射出するレンズを採用することが可能である。
【０１３７】
次に、図２１は、図４の撮像装置１における信号処理部１２の他の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の信号処理部１２は、幾何変換合成部３４が新たに設けられ、多重化部３３が設けられていない他は、図４における場合と同様に構成されている。
【０１３８】
幾何変換合成部３４は、ストレージ３１₁乃至３１_Nから、カメラ１１₁乃至１１_Nで撮像された画像データを読み出し、その画像データを用いて、図１７の幾何変換合成部４４における場合と同様の処理を行うことで、幾何変換画像データを生成する。
【０１３９】
この幾何変換画像データは、幾何変換合成部３４から符号化部３２に供給され、符号化部３２において、符号化データとされた後、伝送媒体３または記録媒体４（図３）を介して、表示装置２に供給される。
【０１４０】
次に、図２２は、撮像装置１の信号処理部１２が図２１に示したように構成される場合の、表示装置２における信号処理部２２の構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の信号処理部２２は、分離部４２および幾何変換合成部４４が設けられていない他は、図１７における場合と同様に構成されている。
【０１４１】
図２１の信号処理部１２によれば、上述したように、幾何変換画像データが生成され、その幾何変換画像データを符号化した符号化データが、伝送媒体３または記録媒体４を介して、図２２の信号処理部２２に供給される。図２２の信号処理部２２では、ストレージ４１において、その符号化データが一時記憶され、さらに、復号部４３において、その符号化データが、幾何変換画像データに復号され、図１５に示した表示光学系２０の魚眼プロジェクタ７３に供給される。
【０１４２】
次に、図２３は、本発明を適用した撮像表示システムの他の一実施の形態の構成例を示している。なお、図中、図３、図４、または図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４３】
図２３の実施の形態では、撮像装置１が、２つの撮像光学系１０₁および１０₂、２つの信号処理部１２₁および１２₂、並びに多重化部８１で構成されている。
【０１４４】
撮像光学系１０₁と１０₂は、いずれも、図４の撮像光学系１０と同様に構成されている。撮像光学系１０₁は、被写体Ｓ₁を撮像し、その結果得られる画像データを、信号処理部１２₁に供給する。また、撮像光学系１０₂は、被写体Ｓ₁とは異なる被写体Ｓ₂を撮像し、信号処理部１２₂に供給する。
【０１４５】
即ち、図２４に示すように、撮像光学系１０₁では、被写体Ｓ₁の周囲に配置された多数のカメラ（本実施の形態では、図４で説明したように、Ｎ個のカメラ）によって、被写体Ｓ₁が撮像され、また、撮像光学系１０₂でも、被写体Ｓ₂の周囲に配置された多数のカメラによって、被写体Ｓ₂が撮像される。
【０１４６】
信号処理部１２₁と１２₂は、いずれも、図４の信号処理部１２と同様に構成されている。そして、信号処理部１２₁と１２₂は、撮像光学系１０₁と１０₂から供給される被写体Ｓ₁とＳ₂の画像データを、図４の信号処理部１２における場合と同様にそれぞれ処理し、その結果得られるデータストリームを、多重化部８１に供給する。
【０１４７】
多重化部８１は、信号処理部１２₁と１２₂それぞれから供給される２つのデータストリームを、１つのデータストリームに多重化し、伝送媒体３または記録媒体４を介して、表示装置２に供給する。
【０１４８】
図２３において、表示装置２は、表示光学系２０、２つの信号処理部２２₁および２２₂、コントローラ２３、分離部９１、並びに合成部９２から構成されており、撮像装置１（の多重化部８１）から供給されるデータストリームは、分離部９１で受信される。
【０１４９】
分離部９１は、撮像装置１からのデータストリームを、信号処理部１２₁と１２₂で得られた２つのデータストリームに分離し、それぞれを、信号処理部２２₁と２２₂に供給する。
【０１５０】
信号処理部２２₁と２２₂は、いずれも、図６の信号処理部２２と同様に構成されている。そして、信号処理部２２₁と２２₂は、分離部９１から供給される、信号処理部１２₁と１２₂それぞれで得られたデータストリームを、図６の信号処理部２２における場合と同様に処理し、その結果得られる被写体Ｓ₁とＳ₂の画像データを、合成部９２に供給する。
【０１５１】
合成部９２は、信号処理部２２₁から供給される被写体Ｓ₁の画像データと、信号処理部２２₂から供給される被写体Ｓ₂の画像データとを合成（スーパインポーズ）し、合成画像データを生成する。なお、図２４に示したように、信号処理部２２₁と２２₂から供給される被写体Ｓ₁とＳ₂の画像データは、被写体Ｓ₁とＳ₂を、その周囲に配置された多数のカメラで撮像されたものであり、合成部９２では、例えば、各方向から撮像された被写体Ｓ₁の画像データと、その方向と同一方向から撮像された被写体Ｓ₂の画像データとが合成される。
【０１５２】
ここで、合成部９２では、各方向から撮像された被写体Ｓ₁の画像データと、その方向と異なる方向から撮像された被写体Ｓ₂の画像データとを合成することも可能である。但し、この場合、合成する２つの被写体Ｓ₁とＳ₂の画像データの撮像方向は、同一角度だけずれている（同一位相だけずれている）必要がある。
【０１５３】
合成部９２で得られた合成画像データは、表示光学系２０に供給され、表示光学系２０では、図６における場合と同様にして、合成画像データが表示される。従って、図２３の表示光学系２０では、例えば、図２５に示すように、被写体Ｓ₁の画像と、被写体Ｓ₂の画像とを合成した画像が表示される。
【０１５４】
図２３の撮像表示システムによれば、例えば、被写体Ｓ₁の画像データとして、プロゴルファーが素振りをしている様子を撮像した画像データを採用するとともに、被写体Ｓ₂の画像データとして、ユーザがゴルフクラブの素振りをしている様子を撮像した画像データを採用することで、表示光学系２０では、その２つの画像データを合成した画像データが表示される。この場合、ユーザは、自身のスイングと、プロゴルファーのスイングとの違いを、詳細にチェックすることができる。
【０１５５】
ここで、図２３の実施の形態では、撮像装置１において、撮像光学系１０₁と１０₂それぞれで得られた画像データを、多重化部８１で多重化することにより、１つのデータストリームとして、表示装置２に供給するようにしたが、表示装置２には、図４に示した撮像装置１と同様に構成される複数の撮像装置を、遠隔地に設置し、その複数の撮像装置それぞれから、図２３の表示装置２に画像データを送信するようにすることも可能である。なお、この場合、図２３の表示装置２は、分離部９１を設けずに構成することができる。但し、表示装置２には、信号処理部２２と同様の信号処理部を、複数の撮像装置と同一個数だけ設ける必要がある。
【０１５６】
また、図２３の実施の形態では、合成部９２において、被写体Ｓ₁とＳ₂の画像データを単に合成するようにしたが、合成部９２では、被写体Ｓ₁とＳ₂の画像データを、その前後関係を考慮して合成したり、スケールを変えて合成したりすることが可能である。さらに、合成部９２では、Ｓ₁とＳ₂の画像データを、そのうちの一方または両方の位置をシフトして合成すること等も可能である。
【０１５７】
次に、図２６は、図６の表示光学系２０のさらに他の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２６の表示光学系２０は、１セットの駆動部２４およびライトコントロールスクリーン２５に代えて、複数としての、例えば、７セットの駆動部２４₁乃至２４₇およびライトコントロールスクリーン２５₁乃至２５₇が設けられている他は、図６における場合と同様に構成されている。
【０１５８】
駆動部２４₁乃至２４₇は、コントローラ２３（図６）の制御の下、ライトコントロールスクリーン２５₁乃至２５₇を、例えば、同一位相で、かつ同一の角速度で回転駆動する。従って、ライトコントロールスクリーン２５₁乃至２５₇のうちの１つのライトコントロールスクリーン２５_j（ｊ＝１，２，・・・，７）の正面方向が、あるプロジェクタ２１_nの光軸方向を向いた場合、他のライトコントロールスクリーン２５_j'（ｊ＝１，２，・・・，７：ｊ≠ｊ’）の正面方向も、そのプロジェクタ２１_nの光軸方向を向くことになる。
【０１５９】
また、駆動部２４₁乃至２４₇およびライトコントロールスクリーン２５₁乃至２５₇は、ライトコントロールスクリーン２５₁乃至２５₇を、その正面方向に位置するプロジェクタ２１_nの位置から見たときに、少なくとも３つのスクリーンの端部が重なり合って、その少なくとも３つのスクリーンを水平方向に並べたのと同程度の大きさのスクリーンが等価的に形成されるように配置されている。
【０１６０】
従って、図２６の表示光学系２０によれば、ライトコントロールスクリーン２５₁乃至２５₇それぞれの大きさが小さくても、等価的に形成される大きなスクリーンに、大きな画像を表示することができる。
【０１６１】
なお、本件発明者が行った実験によれば、Ａ５サイズの長手方向を回転軸としたスクリーンは、市販のモータによって、８Ｈｚ程度で回転させることができた。
【０１６２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１６３】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１６４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１６５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１６６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１６７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１６８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１６９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１７０】
なお、図３や図２３に示した撮像表示システムと、前述したＩＰ立体画像システム、およびzebra imagingを比較すると、図２８に示すようになる。
【０１７１】
即ち、ＩＰ立体画像システムでは、図２８Ａに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、動きのあるものであっても問題ない。また、ＩＰ立体画像システムは、ユーザの視点の自由度も高い。しかしながら、ＩＰ立体画像システムでは、前述したように、高解像度の画像を提示することは困難である。
【０１７２】
また、zebra imagingでは、図２８Ｂに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、高解像度のものとすることができる。さらに、zebra imagingは、ＩＰ立体画像システムと同様に、ユーザの視点の自由度も高い。しかしながら、zebra imagingでは、前述したように、動きのある画像の提示が困難である。
【０１７３】
これに対して、図３や図２３に示した撮像表示システムでは、図２８Ｃに示すように、ユーザの視点の自由度が、ＩＰ立体画像システムやzebra imagingと比較して多少劣るものの、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。そして、その提示する画像は、高解像度のものとすることができ、さらに、動きのある画像であっても、問題ない。
【０１７４】
ここで、本件出願人は、被写体の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その画像データを、ユーザの視点から見える被写体の画像データに変換する方法について先に提案している。この方法によれば、ディスプレイにおける画像に表示された被写体をのぞき込むように、ユーザが視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の画像データ、つまり、ユーザが覗き込んだ被写体の部分が見える状態となった画像データがディスプレイに表示されるので、「のぞけるテレビ」と呼ばれる。この「のぞけるテレビ」では、図２８Ｄに示すように、高解像度の画像を表示することができ、さらに、ユーザの視点の自由度も高い。但し、「のぞけるテレビ」では、多数のユーザに対して、各ユーザの視点から見た画像を提示することは想定されていない。
【０１７５】
なお、本実施の形態では、ライトコントロールスクリーン２５を１つのスクリーンで構成するようにしたが、ライトコントロールスクリーン２５は、例えば、図１２に示したライトコントロールスクリーン２５と同一構成の３枚のスクリーンを、その表示面が表側を向くように、３角柱状に接続して構成し、その底面の３角形の重心を通る軸を回転軸として回転させること等が可能である。
【０１７６】
【発明の効果】
以上の如く、本発明によれば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することが可能となる。
【図面の簡単な説明】
【図１】ＩＰ立体画像システムの一例の構成を示す図である。
【図２】複眼レンズ１および４の構成例を示す平面図と断面図である。
【図３】本発明を適用した撮像表示装置の第１実施の形態の構成例を示す図である。
【図４】撮像装置１の構成例を示すブロック図である。
【図５】撮像装置１の処理を説明するフローチャートである。
【図６】表示装置２の構成例を示すブロック図である。
【図７】ライトコントロールスクリーン２５の第１の構成例を示す断面図である。
【図８】光学フィルタフィルム５５および５６を示す斜視図である。
【図９】光学フィルタフィルム５５および５６の光学特性を示す図である。
【図１０】表示光学系２０での画像の表示を説明するための図である。
【図１１】表示装置２の処理を説明するフローチャートである。
【図１２】ライトコントロールスクリーン２５の第２の構成例を示す断面図である。
【図１３】ライトコントロールスクリーン２５の第３の構成例を示す断面図である。
【図１４】プロジェクタ２１_nとユーザの位置関係を示す図である。
【図１５】表示光学系２０の構成例を示す図である。
【図１６】表示光学系２０における光線の軌跡を示す図である。
【図１７】信号処理部２２の構成例を示すブロック図である。
【図１８】等距離射影方式の魚眼レンズを示す図である。
【図１９】魚眼レンズ７５によって射影された光線を示す図である。
【図２０】光線Ｒの光線方向を表す角度θとφを示す図である。
【図２１】信号処理部１２の構成例を示すブロック図である。
【図２２】信号処理部２２の他の構成例を示すブロック図である。
【図２３】本発明を適用した撮像表示システムの第２実施の形態の構成例を示すブロック図である。
【図２４】撮像光学系１０₁と１０₂で被写体Ｓ₁とＳ₂がそれぞれ撮像されている様子を示す図である。
【図２５】表示光学系２０で被写体Ｓ₁とＳ₂の画像を合成した画像が表示されている様子を示す図である。
【図２６】表示光学系２０の他の構成例を示す平面図である。
【図２７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２８】本発明を適用した撮像表示システムと、ＩＰ立体画像システムおよびzebra imagingとの比較結果を示す図である。
【符号の説明】
１ 撮像装置， ２ 表示装置， ３ 伝送媒体， ４ 記録媒体， １０，１０₁，１０₂ 撮像光学系， １１₁乃至１１_N カメラ， １２，１２₁，１２₂信号処理部， ２０ 表示光学系， ２１₁乃至２１_N プロジェクタ， ２２，２２₁，２２₂ 信号処理部， ２３ コントローラ， ２４，２４₁乃至２４₇駆動部， ２５，２５₁乃至２５₇ ライトコントロールスクリーン， ２５Ａ軸， ３１₁乃至３１_N ストレージ， ３２ 符号化部， ３３ 多重化部，３４ 幾何変換合成部， ４１ ストレージ， ４２ 分離部， ４３ 復号部， ４４ 幾何変換合成部， ５１ 両面スクリーン， ５２，５３ 散乱板， ５４ 遮光板， ５５，５６ 光学フィルタフィルム， ６１ 反射型スクリーン， ６２ 透過型スクリーン， ７１ 保持部， ７２₁乃至７２_N 平面ミラー， ７３ 魚眼プロジェクタ， ７４ プロジェクタ， ７５ 魚眼レンズ， ８１ 多重化部， ９１ 分離部， ９２ 合成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ，１１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (23)

1. 受光した光を散乱する散乱板と、前記散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタとを有し、光を受光することにより、前記光に対応する画像を表示するスクリーンと、
   前記スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、
   前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射する照射手段と
   を備えることを特徴とする表示装置。
2. 前記スクリーンは、平板形状の前記散乱板の両面または１つの面に、前記光学フィルタを配置したものである
   ことを特徴とする請求項１に記載の表示装置。
3. 前記照射手段は、前記スクリーンの回転軸を囲むように、同一平面内に配置された、前記画像に対応する光を発光する複数の発光手段を有する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記複数の発光手段は、その光軸が、前記スクリーンの回転軸上の同一の点で交わるように配置されている
   ことを特徴とする請求項３に記載の表示装置。
5. 前記照射手段は、
   前記画像に対応する光を、広角に発光する広角発光手段と、
   前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と
   を有する
   ことを特徴とする請求項１に記載の表示装置。
6. 前記照射手段は、被写体を撮像する、前記被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された前記被写体の画像に対応する光を照射する
   ことを特徴とする請求項１に記載の表示装置。
7. 前記照射手段は、前記被写体に対する前記複数の撮像手段の位置それぞれに対応する前記複数の方向それぞれから、前記画像に対応する光を照射する
   ことを特徴とする請求項６に記載の表示装置。
8. 前記照射手段は、前記複数の撮像手段それぞれによって撮像された前記被写体の画像に対応する光を発光する複数の発光手段を有する
   ことを特徴とする請求項７に記載の表示装置。
9. 前記複数の発光手段は、それぞれの光軸の位置関係が、前記複数の撮像手段それぞれの光軸の位置関係と相似になるように配置されている
   ことを特徴とする請求項８に記載の表示装置。
10. 前記照射手段は、
    前記画像に対応する光を、広角に発光する広角発光手段と、
    前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と
    を有し、
    前記反射手段によって反射された光が前記スクリーンで受光されることにより表示される画像が、前記複数の撮像手段によって撮像された前記被写体の画像になるように、前記複数の撮像手段によって撮像された前記被写体の画像を変換する変換手段をさらに備え、
    前記広角発光手段は、前記変換手段により変換された画像に対応する光を発光する
    ことを特徴とする請求項６に記載の表示装置。
11. ２以上のセットの前記複数の撮像手段の各セットで撮像された画像を合成し、合成画像を出力する合成手段をさらに備え、
    前記照射手段は、前記合成画像に対応する光を照射する
    ことを特徴とする請求項６に記載の表示装置。
12. 前記複数の撮像手段をさらに備える
    ことを特徴とする請求項６に記載の表示装置。
13. 前記スクリーンは、所定の方向から入射する光のみを受光して散乱することにより、前記画像を表示する
    ことを特徴とする請求項１に記載の表示装置。
14. 前記スクリーンは、光を受光して散乱することにより、前記画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出する
    ことを特徴とする請求項１に記載の表示装置。
15. 前記駆動手段は、前記スクリーンを、前記スクリーンの表示面の回転レートが、前記画像のフレームレートまたはフィールドレート以上となる角速度で、所定の回転軸を中心に回転駆動する
    ことを特徴とする請求項１に記載の表示装置。
16. 受光した光を散乱する散乱板と、前記散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタとを有し、光を受光することにより、前記光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、
    前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射する
    ことを特徴とする表示方法。
17. 光を受光することにより、前記光に対応する画像を表示するスクリーンと、
    前記スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、
    前記画像に対応する光を、広角に発光する広角発光手段と、
    前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と
    を備えることを特徴とする表示装置。
18. 光を受光することにより、前記光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、
    前記画像に対応する光を、広角に発光し、
    発光した光を、前記スクリーンの方向に反射する
    ことを特徴とする表示方法。
19. 光を受光することにより、前記光に対応する画像を表示するスクリーンと、
    前記スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、
    被写体を撮像する、前記被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された前記被写体の画像に対応する光を、広角に発光する広角発光手段と、
    前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と、
    前記反射手段によって反射された光が前記スクリーンで受光されることにより表示される画像が、前記複数の撮像手段によって撮像された前記被写体の画像になるように、前記複数の撮像手段によって撮像された前記被写体の画像を変換する変換手段を備え、
    前記広角発光手段は、前記変換手段により変換された画像に対応する光を発光する
    ことを特徴とする表示装置。
20. 光を受光することにより、前記光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、
    被写体を撮像する、前記被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された前記被写体の画像に対応する光を、広角に発光し、
    発光した光を、前記スクリーンの方向に反射し、
    反射された光が前記スクリーンで受光されることにより表示される画像が、前記複数の撮像手段によって撮像された前記被写体の画像になるように、前記複数の撮像手段によって撮像された前記被写体の画像を変換する表示方法であり、
    変換された画像に対応する光を発光する
    ことを特徴とする表示方法。
21. 光を受光することにより、前記光に対応する画像を表示す
    る表示装置であって、
    光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、
    前記散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィルタと
    を備えることを特徴とする表示装置。
22. 前記散乱板は、平板形状のものであり、
    前記光学フィルタは、前記散乱板の両面または１つの面に配置されている
    ことを特徴とする請求項２１に記載の表示装置。
23. 光を受光することにより、前記光に対応する画像を表示する表示方法であって、
    受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、
    前記散乱板で散乱された光のうち、所定の方向の光のみを透過させる
    ことを特徴とする表示方法。

Images