JP4023827B2 - 全方向性撮像装置 - Google Patents

Description

政府の権利の通知
米国政府は、Ｎｕｃｌｅａｒ Ｒｅｓｅｒｃｈ ＭＵＲＩ Ｇｒａｎｔ Ｎｏ．０００１４−９５−１−０６０１のＮａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ Ｙｏｕｎｇ Ｉｎｖｅｓｔｉｇａｔｏｒ Ａｗａｒｄ及びＤｅｐａｒｔｍｅｎｔ ｏｆ Ｄｅｆｅｎｃｅ／Ｏｆｆｅｎｃｅの条項に従う本発明の所定の権利を有する。
発明の背景
１．発明の分野
本発明は、単一視点に関する全方向性の像の感知及び投影に関するものであり、より詳しくは、先端が切られた凸のほぼ放物面形状の反射器を用いた像の感知及び投影に関するものである。
２．従来技術の説明
監視、テレコン、遠隔感知、写真測量、型取り出し、仮想現実学、コンピュータグラフィック、マシンビジョン、ロボット光学のような多数の用途に対して、撮像装置が広大な視野を有して周りの世界についての情報をできるだけ多く取り出すことができるようにするのが望ましい。
従来の撮像装置は、像の透視投影を行うレンズを有するカメラを有する。しかしながら、非常に広い角度のレンズを有するカメラでさえも視野が制限される（すなわち、半球全体よりも狭くカバーする。）。このような視野の制限は、投影中心の周りの全撮像装置のチルト及びパンによって大きくなるおそれがある。このような装置の一つは、１９９５年８月に刊行されたＳ．Ｅ．ＣｈｅｎによるＰｒｏｃ．ｏｆ ＳＩＧＧＲＡＰＨ ９５，（８）の“Ｑｕｉｃｋｔｉｍｅ ＶＲ − Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”に記載されている。１９９５年８月にＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：Ｐｒｏｃ．ｏｆ ＳＩＧＧＲＡＰＨのＭｃＭＩｌｌａｎ及びＧ．Ｂｉｓｈｏｐによる論文“Ｐｌｅｎｏｐｔｉｃ Ｍｏｄｅｌｉｎｇ：Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ Ｓｙｓｔｅｍ”も、通常のパン−チルト装置を記載している。しかしながら、このタイプの装置は二つの欠点を有し、そのうちの一つは、重大な移動部を有する装置に関連した明瞭な欠点であり、もう一つは、周りの世界を観察するように全回転を行うために要求される時間が著しく長いということである。このような時間的な制限によって、このような装置はリアルタイム用途に適切でなくなる。
撮像装置の視野を増大させる他のアプローチは、１９８６年にＥ．Ｌ．Ｈａｌｌ等によるＳＰＩＥ Ｖｏｌ．７２８ Ｏｐｔｉｃｓ，Ｉｌｌｕｍｉｎａｔｉｏｎ， ａｎｄ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ ｆｏｒ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎの“Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｖｉｅｗｉｎｇ Ｕｓｉｎｇ ａ Ｆｉｓｈ Ｅｙｅ Ｌｅｎｓ”に記載されたようないわゆる「魚眼レンズ」を用いることである。魚眼レンズは非常に短い焦点距離を有し、視野は半球程度に大きくなる。しかしながら、撮像装置のこのようなレンズの使用は、レンズが著しく大きくなるとともに通常のレンズに比べて複雑になるという問題を抱える。さらに、関連のシーンの全ての点に対して固定された視点を有する魚眼レンズを開発することは困難である。Ｚｉｍｍｅｒｍａｎによる米国特許出願明細書第５，１８７，６６７号及びＫｕｂａｎ等による米国特許出願明細書第５，３５９９，３６３号も、通常のパンチルト機構の代わりに魚眼レンズを用いるようにしており、したがって、同一の不都合を被る。
他の従来の装置は、反射面を用いて視野を増大させている。このような従来の装置の一つは、１９９６年１月にＡＴＴ Ｂｅｌｌ Ｌａｂｏｒａｔｏｒｉｅｓ Ｔｅｃｈｎｉｃａｌ Ｍｅｍｏｒａｎｄｕｍ， ＢＬ０１１５５００−９６０１５５−０１のＶ．Ｓ．Ｎａｌｗａによる“Ａ Ｔｒｕｅ Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｖｉｅｗｅｒ”に記載されている。Ｎａｌｗａは、５０°のバンドの半球のシーンの３６０°の全景を得るために複数の電荷結合装置（“ＣＣＤ”）と協同して複数の平坦な反射面を開示する。特に、Ｎａｌｗａでは、四つの平坦なミラーがピラミッド形態で配置され、一つのカメラを四つの平坦な反射側の各々の上に配置し、各カメラは、５０°の半球シーンによって９０°よりわずかに多くを観察する。この装置は、半球の像を取り出すために多数のセンサを必要とするという重大な欠点を被る。それに加えて、この装置は、個別の像を結合して完全な３６０°の観察を行う際に「継ぎ目」の歪みに関連する固有の問題を被る。
湾曲した反射面もイメージセンサとともに用いられている。しかしながら、透視投影に当たり、単一視点から見えるような世界の像を発生させる反射面のみが、レンズと視点との間の線分の中点を通過する平面となり、線分の方向に法線を有することは従来既知である。したがって、透視投影に当たり、任意の湾曲した面は必然的に複数の視点を有する。
１９９５年６月に刊行されたＹａｇｉ等によるＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎの“Ｅｖａｌｕａｔｉｎｇ Ｅｆｆｅｃｔｉｖｉｔｙ ｏｆ Ｍａｐ Ｇｅｎｅｒａｔｉｏｎ ｂｙ Ｔｒａｃｋｉｎｇ Ｖｅｒｔｉｃａｌ Ｅｄｇｅｓ ｉｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ”及び１９９５年１０月に刊行されたＹａｇｉ等によるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌ．ＩＩ，Ｎｏ．５の“Ｍａｐ−Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ ａ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｗｉｔｈ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｎｓｏｒ ＣＯＰＩＳ”は共に、周囲の環境から像を集める円錐形状の反射面を用いる円錐図法イメージセンサ（ＣＯＰＩＳ）と、移動ロボットのナビゲーションを行う情報の処理とを開示している。ＣＯＰＩＳは３６０°の観察を行うことができるが、真の全方向性イメージセンサではない。その理由は、視野が円錐身等の頂角及びカメラレンズの視野角によって制限されるからである。さらに、既に説明したように、円錐に対する視点の位置が円になるので、湾曲した面の完全な反射によって多数の視点が必要となる。複数の視点によって、著しい歪みが生じ、単一視点から見られるようなシーンを再構成するために複雑な処理及び像の変換が必要となる。
１９９５年１０月にＹａｍａｚａｗａ等によるＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎの１０６２ページの“Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｗｉｔｈ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｎｓｏｒ ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎ”は、円錐面の位置に双曲面の反射面を必然的に用いるＣＯＰＩＳ装置の意図的な向上を開示している。ここで説明されているように、原点の位置に関係なく双曲面で完全に反射された光は、単一点で全て収束されて透視観察を可能にする。双曲面のミラーを使用することによって完全な透視像を感知することができるが、反射した像を構成する光が反射器の焦点に収束するので、反射面に対するセンサの配置が重要になり、任意の妨害が画像品質を損なう。さらに、透視投影モデルを使用すると、必然的に、センサとミラーとの間の距離が増大するに従ってミラーの断面を増大させる必要がある。したがって、実際の考察では、ミラーを理想的なサイズに保持するために、ミラーをセンサに近接して配置する必要がある。このために、イメージセンサ光学の設計が複雑なものとなる。さらに、座標を用いることができるマッピング感知された像は、像の収束の性質のために複雑な測定が必要となる。
上記従来の装置は、単一視点からほぼ半球のシーンを感知することができる真の全方向性撮像装置を提供することができない。これら装置は、フレーム再構成及び複雑なフレーム変換を必要とすることなくほぼ半球のシーンの任意の選択した位置を観察することができる、すなわち、シーンをパンすることができる撮像装置を達成することもできない。
発明の要約
既に説明したような従来の欠点は、本発明によってほとんど改善され、その一態様は、焦点が単一視点に一致する場合にほぼ半球のシーンの像を垂直に反射するように配置した、先端が切られたほぼ放物面形状の反射器を有する全方向撮像装置である。イメージセンサを、像の垂直の反射を受けるように配置する。
本発明の一例において、反射面は、円柱座標で表現した式

に従い、この場合、ｒを半径座標とし、ｚを回転軸とし、ｈを定数とする。式が対称な回転面を表すので、面形状は角座標φの関数ではない。反射器は、ｚ軸にほぼ垂直であるとともに放物面形状の反射器の焦点を有する平面で先端が切られたものである。イメージセンサを、好適には反射器のｚ軸に一致する光軸に沿って配置する。
装置の一例において、イメージセンサを電子的なものとし、それは、垂直に反射した像を表す画像信号を発生させる。この画像信号をデジタル化するとともに画像処理装置に転送する。画像処理装置を、好適には、半球シーンの任意の位置の観察、シーンの一部の拡大及び予め決定された視点からシーンをパンすることができるように適合させる。
本発明の他の例は、単一視点から追加の半球のシーンの像を垂直に反射するように配置した、追加の先端が切られた凸のほぼ放物面形状の反射器を有する。半球のシーン及び追加の半球のシーンは、その結合が半球のシーンとなるように互いに相補的なものとなる。追加のイメージセンサを、追加の反射器から垂直に反射した像を受けるように配置する。
本例では、反射器及び追加の反射器を背中合わせに配置し、これらが、光軸に整列した共通のｚ軸と、共通の焦点とを有する。各々は、共通のｚ軸にほぼ垂直であるとともに共通の焦点を有する平面で先端が切られる。
本発明の他の態様は、単一視点から見てほぼ半球のシーンを表す像を投影する全方向性投影装置である。全方向性投影装置は、像を（空間的及び可能な場合には時間的に）調整した視準光ビームを投影するように半球のシーンの像を有する透明媒体の背後の視準光源と、像を調整した視準光ビームを垂直に反射するように配置してほぼ半球のシーンを投影する、先端が切られた凸のほぼ放物面形状の反射器とを有する。
全方向性投影装置の他の例は、追加の光源と、単一視点から見てほぼ半球の追加のシーンを表す他の像を調整した他の視準光ビームを投影するように画像を発生させる透明媒体とを有する。半球シーン及び追加の半球シーンは、その結合がほぼ半球のシーンとなるように互いに相補的なものとなる。先端が切られた凸のほぼ放物面形状の追加の反射器を、追加の半球のシーンを投影するように追加の視準光ビームを垂直に反射するように配置する。反射器及び追加の反射器を背中合わせに配置し、これらは共通の光軸及び共通の焦点を有する。各々は、光軸にほぼ垂直であるとともに焦点を有する平面で先端が切られている。
本発明は、単一視点からほぼ半球のシーンの像を感知する方法も提供し、その一例は、（ａ）単一視点がほぼ放物面形状の反射面の焦点に一致するように前記反射面でほぼ半球のシーンの像を垂直に反射するステップと、垂直に反射した像を感知するステップとを具える。ステップ（ｂ）は、反射器の光軸に沿った位置からほぼ垂直に反射した像の感知を有する。
撮像方法の一例において、垂直に反射した像を表す画像信号を発生させるステップと、画像信号を画像データに変換するステップと、画像データをカルテシアン座標系に写像するステップと、画像データを補間するステップと、写像された画像データ及び補間された画像データからデジタル画像を形成するステップとを有する。所望の場合には、観察距離、焦点距離及び画像サイズを指定した後、このように選択した画像の部分を、補間ステップを実行する前にズームインする。
最後に、撮像方法の他の例において、追加のシーンの単一観察点が追加のほぼ放物面形状の反射面の焦点に一致するように前記反射面上でほぼ半球のシーンの追加の像を垂直に反射するステップと、追加の垂直に反射した像を感知するステップとを更に有する。
本発明は、単一視点から見てほぼ半球のシーンを表す像を投影する方法も提供し、この一例は、（ａ）像を（空間的及び可能な場合には時間的に）調整したほぼ放物面形状の反射面上に視準光ビームを投影するステップと、（ｂ）ほぼ放物面形状の反射面で、像を調整した視準光ビームを垂直に反射して、像の単一視点をその垂直な反射面の焦点に一致させるステップとを更に有する。
投影方法の他の例は、単一視点から見てほぼ半球の追加のシーンを表す追加の像を調整する追加の視準光ビームを投影するステップと、追加の像を調整する追加の視準光ビームを垂直に反射して、他の半球のシーンと相補的な追加の半球シーンを投影するステップとを有する。
【図面の簡単な説明】
本発明の実施の形態を、添付図面を参照して詳細に説明する。
図１ａは、全方向撮像装置の一実施の形態の側面図である。
図１ｂは、放物面形状の反射器を透明サポートによってイメージセンサにも接続した他の例の側面図である。
図２は、基板上に載せ置いた放物面形状の反射器の等角投影図である。
図３は、円柱座標系に写像した放物面形状の反射器の部分的な等角投影図である。
図４は、湾曲した反射面からの垂直の反射を幾何学的に表す。
図５は、ほぼ放物面形状の反射器からイメージセンサへの垂直の反射を表す。
図６は、半球のシーンの任意の選択した部分を単一視点から観察することができる方法を示す。
図７は、二つの背中合わせのほぼ放物面形状の反射器及び二つのイメージセンサを有する全方向撮像装置の側面図である。
図８は、共通の回転軸及び共通の焦点を有する背中合わせに配置した二つのほぼ放物面形状の反射器の断面図である。
図９ａは、全方向性投影装置の一実施の形態の側面図である。
図９ｂは、像を調整した視準光ビームを投影する装置の一例を示す。
図１０は、二つの背中合わせのほぼ放物面形状の反射器と、対応する反射器方向の二つのほぼ半球のシーンの各像を調整した二つの視準光ビームを投影する二つの像発生媒体とを有する全方向性投影装置の側面図である。
図１１は、円柱座標系に写像した全方向性投影装置の放物面形状の反射器の部分的な等角投影図である。
図１２は、単一視点からほぼ半球のシーンの像を感知し及び処理する方法の一実施の形態のフローチャートである。
図１３は、単一視点から観察してほぼ半球のシーンを表す像を投影する方法のフローチャートである。
詳細な説明
図１ａは、本発明の実施の形態による全方向撮像装置を示す。基板１４０上に載せ置かれた凸の放物面形状の反射器１３５を、ほぼ半球のシーン１３０の像を垂直に反射するように配置する。拡大レンズ１１２及びテレセントリックレンズ又はテレセントリックアパーチュア１１３を有する市販のソニー社の３ＣＣＤカラービデオカメラ装置１１１のようなイメージセンサ１１０を、像の垂直的な反射を受けるように配置する。テレセントリックレンズ１１３は、レンズの面に垂直でない光の全て、すなわち、半球のシーンの垂直の反射の一部を形成しない背景光を除去するように作用する。
ここでの記載は可視光に関するものであるが、本発明は、紫外光や赤外光のような他の形態の電磁放射にも適用される。
図１ｂに示した本発明による撮像装置１００の他の例のおいて、放物面形状の反射器を、所定の長さの透明管のような透明サポート１３６によってイメージセンサに結合する。
再び図１ａを参照すると、ビデオカメラ１１０は、ケーブル１５０を通じて送り出される垂直に反射した像を表すアナログビデオ信号を発生させる。ビデオ信号はデジタイザ１２０によってデジタル信号に変換され、このデジタイザを、市販されているＮＴＳＣビデオ信号アナログ−デジタルコンバータとする。
その後、デジタル信号は、ケーブル１５５を通じてＤＥＣ社のＡｌｐｈａ３０００／６００ワークステーションのような一般的な目的のコンピュータ１２５に送信される。詳細に説明するように、コンピュータ１２５は、ユーザが半球のシーンの任意の所望の部分を観察し、シーンの選択した部分をズームインし、又は所望のやり方でシーンをパンするようにプログラムされている。
イメージセンサ１１０を、通常の写真フィルムを用いる静止画像又は動画の写真カメラとする。イメージセンサを、デジタルビデオ信号を出力するカムコーダ又はビデオカメラ１１６とすることができ、これを、アナログ−デジタルコンバータ１２０を必要とすることなくコンピュータ１２５に直接設けることができる。
図２は、放射面形状の反射器の等角投影図を示し、これは、これが形成される基板１４０から延在する。反射器１３５を含む基板１４０の全面に、銀のような反射の強い金属の薄膜１４５を被覆する。
図３は、放射面形状の反射器１３５の好適な配置と、ほぼ半球のシーン１３０の像をイメージセンサ１１０への垂直な反射を示す。図３の反射器１３５を、式

にほぼ従うように円筒座標ｒ，φ及びｚによって規定される。この場合、ｚを回転軸とし、ｒを半径座標とし、ｈを定数とする。ｚ軸は撮像装置の光軸に一致し、式（１）によって規定される放物面の焦点３１５は、座標系の原点に一致する。図３の反射器１３５は、ｚ軸３１０にほぼ直交するとともに放物面の焦点３１５を含む平面ｐで先端を切られたものである。
焦点３１５を通過する以外の全ての入射光３０５は、反射放物面によってイメージセンサ１１０方向に対して垂直に反射される。したがって、焦点３１５は、ほぼ半球のシーン１３０を観察する単一視点に一致する。イメージセンサ１１０を、撮像装置の光軸３１０に沿って配置するとともに、その光電性の表面を光軸に垂直に配置する。
透視投影を行う曲面からの反射によって多数の視点を必要とすることは従来既知であるので、単一視点からほぼ放物面のシーンを見ることができるように直角の反射を利用することは、本発明の有利な特徴である。
直角の反射によって単一視点からの観察ができることを、図４を参照して説明する。図４において、ｚ及びｒを、所定の値の角度座標φに対して直交する円筒座標とする。

軸に対する入射光の角度をθとする。入射光４０５を、反射面４１５によって出射光４１０として直角に反射させる。
単一視点４２０を有するために、任意の入射光は、
ｔａｎ（θ）＝ｚ／ｒ （３）
を満足する必要があり、直角の反射に対して、全ての光を角度
α＝π／２ （４）
で反射させる必要がある。ここでαを、出射光４１０と軸との間の角度とする。満足すべきこれら二つの制約及び反射角に等しい傾斜角に対して、反射光４１０と反射点における表面の法線方向

との間の角度βは、

を満足する必要があり、次のように表現することもできる。

最後に、反射点での

の反射面４１５の勾配は次のようになる。

（６）及び（４）を（５）に置換すると

となる。式（７）の２次表現を、ｄｚ／ｄｒに対する二つの解を得るが反射面による自己接眼（ｓｅｌｆ ｏｃｃｕｌａｔｉｏｎ）を回避するように解くことができ、直角の象限角の曲線の勾配は負となる（すなわち、表面は凸面となる。）。その結果、

となる。ａ＝ｚ／ｒの場合、上記表現は、

となる。この場合、ｈを積分の定数とする。ｚ＝ｒａを式（９）に置換すると（１）となる。
したがって、

軸周りに回転するときに単一視点からほぼ半球のシーンの直角の反射を許容する表面を発生させる曲線が存在する。この曲線は、式（１）によって規定された放物線であり、これは、放物線の焦点４２０に一致する単一視点を有する。
単一視点からのほぼ半球のシーンの観察を行うのに加えて、本発明による全方向撮像装置によって、単一視点に対する全てについて及び像を再構成したり複雑なフレーム変換をする必要なく、シーンの任意の部分を観察することができ、選択した部分をズームインすることができ、任意のやり方でシーンをパンすることができる。
図５は、ほぼ半球のシーンの一部を単一視点からイメージセンサによって観察する方法を示す。先端が切られた凸のほぼ放物面形状の反射器１３５を、デカルト座標系に写像する。撮像装置の光軸５０２はｚ軸に一致し、ほぼ放物面形状の反射器１３５の焦点５０１を原点に配置する。観察されるシーン３００の一部からの入射光５０５，５１０は、ｘ座標及びｙ座標によって規定することができる点５１５及び５２０で反射面に交差する。点５１５及び５２０はそれぞれ、シーンの観察点すなわち放射面形状の反射器の焦点５０１から生じる仮想放射状線５１６及び５２１沿いにある。これらの光は、ｚ軸に垂直な平面の光感知面を有するイメージセンサ１１０に向かって垂直に反射されるので、投射された光はそれぞれ、同一のｘ座標及びｙ座標で光感知面に交差する。ｚ座標のみ変化する。したがって、直角に投影された光の反射器１３５に対する交差点のｘ−ｙ座標と、垂直に投影した光がイメージセンサ１１０の平坦な光感知面に交差する点のｘ−ｙ座標との間に１対１の対応がある。
好適な配置では、イメージセンサ１１０は、光感知素子のアレイを有する平坦な電荷結合装置（“ＣＣＤ”）のイメージセンサを有する。各セルは、アレイの特定の位置の光強度を感知する。したがって、１対１対応を用いて、格子のｘ−ｙ座標の特定の範囲をカバーするＣＣＤセルによって生じた画像信号は、ｘ−ｙ座標の同一範囲内の点で反射面１３５からから垂直に反射した光を表す。その結果、像の写像は当業者にとって容易な作業である。
図６は、既に説明した１対１対応を用いて、ほぼ半球のシーンの任意の選択した部分をズームインする技術を示す。反射器１３５を、図５と同様に互いに直交するｘ軸、ｙ軸及びｚ軸に対して配置する。点５５０を中心とするシーンの選択した位置の焦点距離ｆでズームインするために、特定のサイズを用いて、シーンの選択した部分を投影する反射面の領域としてｘ−ｙ座標の同一範囲に配置したＣＣＤセルの画像信号のみを、倍率及び観察のために選択する。より詳しくは、シーンの選択した部分の点５７０に対する適切な光強度を決定するために、５８０に位置するＣＣＤセルによって発生した光強度信号を選択する。図６に示すように、点５７０と焦点５５１との間を結ぶ線分は、点５５２で反射器１３５に交差する。点５７０の光強度を、点５５２のｘ−ｙ座標に最も近接する格子上のｘ−ｙ座標に配置した５８０のＣＣＤセルによって発生した画像信号によって生じたものに等しくする。同様なことを、シーンの選択した部分を投影する反射面の領域としてｘ−ｙ座標の同一範囲内の各ＣＣＤセルに対して繰り返す。直角の反射及び既に説明したような１対１対応の結果、像の再構成及び複雑なフレーム変換は必要とされない。
一般的な目的のコンピュータ１２５を、単一視点からの半球のシーンの任意の位置を観察することができるとともにその位置の拡大された像を提供するために任意の特定の位置のズームインを可能にする上記ステップを実行するように、当業者によって容易にプログラムすることができる。さらに、反射器に沿って連続的な点を示すことによって、半球のシーンを、単一視点からシーンを観察するかのようにパンすることができる。
上記実施の形態において、シーンの小部分をズームインすると、コンピュータ１２５に情報を提供するＣＣＤセルの数を減少させることができ、したがって、観察される像の粒度を増大させることは容易にわかる。好適な実施の形態において、ＣＣＤセルに正確に対応しないシーンの点についての情報を、補間によって更に近似させることができる。コンピュータ１２５上で実行することができる適切な補間プログラムを、本明細書の補遺Ｉに含める。補遺Ｉとして添付したプログラムは、感知した全方向性の像を、コンピュータ１２５上に表示するのに適切な通常のパースペクティブ像にマッピングする。プログラムは、ユーザに対して、変換すべき全方向性の像の名称、中心位置及び半径を入力することを要求する。プログラムは、ユーザに対して、発生したパースペクティブ像の名称とともにパースペクティブ像に対する焦点距離及びサイズを入力することも要求する。
したがって、ＣＣＤセルに正確に対応しない像の位置を表すために最も近接するＣＣＤセルによって発生した画像信号を単に選択する代わりに、このようなシーンの部分に対する像を、シーンの隣接する部分に対応するＣＣＤセルによって生じた画像信号の適切な平均に基づいて、添付したプログラムによって評価する。多項式又は時間的な整合に基づくような当業者には既知の更に複雑な補間プログラムを、ここに記載した請求の範囲によって規定した本発明の範囲から逸脱することなく用いることができる。
本発明の更に別の例において、全方向撮像装置は、図７に示すような追加のほぼ放物面形状の反射器７３５を有する。追加の反射器を、半球のシーン１３０を補足する追加の半球のシーン７３０の像を直角に投影するように配置して、協同して半球のシーンを構成する。追加のイメージセンサ７１０を、追加の反射器７３５によって垂直に投影された像を受信するように配置する。
追加の反射器７３５の垂直の反射を表す画像信号を、既に説明したようにしてコンバータ７２０によってデジタル信号に変換し、ライン７２５を通じて同一の一般目的のコンピュータ１２５に送信する。
図８に示すように、反射器１３５及び７３５を背中合わせに配置し、これらは、撮像装置の光軸でもある共通の回転軸８１０と共通の焦点８０５とを共有し、これらの各々は、焦点８０５を含む回転軸８１０にほぼ垂直な平面ｐによって先端が切られている。
図９ａは、単一視点から見えるようなほぼ半球のシーンを表す像を投影する本発明による全方向撮像装置の一例を示す。全方向撮像装置は、視準光源９１０と、ほぼ半球のシーンの像を発生させる透明媒体９２０とを有する。透明な像発生媒体を、上記全方向撮像装置によって発生した写真的な透明画、又はほぼ半球のシーンの静止画像又は動画を発生させる透明な液晶表示装置（ＬＣＤ）とする。
光源９１０は、透明な画像発生媒体９２０を通じて視準光を投影して、透明媒体９２０上の像によって空間的に（及び可能な場合には時間的に）変調した視準光ビーム９４０を発生させる。本実施の形態では図２及び３を参照して説明したミラーとするほぼ放物面形状の反射器９３０を、視準像の変調されたビーム９４０を垂直に反射するように配置して、ほぼ半球のシーンを投影する。
図９ｂに示した本発明による投影装置の他の例において、視準光源及び透明な画像発生媒体を、一般的な目的のコンピュータ９７０によって制御されるビデオ投影装置９６０に置き換える。ビデオ投影装置９６０は、所望の画像情報によって変調した視準光ビーム９４０を発生させる。このために、コンピュータ９７０は、投影装置９６０から出射した光９４０の強度分布を制御する。
図１０に示すような本発明による全方向撮像装置の他の例は、追加のほぼ半球のシーンを表す追加の像を保持する追加の透明な像発生媒体１０２０と、追加の視準光源１０１０と、ほぼ放物面形状の反射器１０３０とを有する。ほぼ半球のシーン及び追加のほぼ半球のシーンは、二つの結合が球面のシーンとなるように互いに相補のものとなる。
追加のほぼ放物面形状の反射器１０３０を、追加の視準光ビーム１０４０を垂直に反射するように配置して、追加の半球のシーンを投影する。
図８に示すように、二つの反射器を背中合わせに配置し、これらは共通の回転軸及び共通の焦点を共有する。各々は、共通の回転軸にほぼ垂直であるとともに共通の焦点を有する平面で先端を切られている。
図１２を参照すると、本発明の実施の形態によって単一視点からのほぼ半球状又は球状のシーンの像の感知する方法を示すフローチャート１２００を示す。フローチャート１２００は、単一視点から半球シーンを感知するのに必要なステップを示す。この方法は、ほぼ半球のシーンの垂直の反射１２１０と、垂直に反射した像の感知１２２０とを必要とする。
この方法は、画像信号を画像信号データに変換するステップ１２３０と、画像データをカルテシアン座標系に写像するステップ１２４０と、画像データを補間して、消失した画像データに対する平均値を取り出すステップ１２６０と、写像された画像データ及び補間された画像データからデジタル画像を形成するステップ１２７０とをも有する。好適には、観察距離、焦点距離及び画像サイズを指定するステップ１２４５と、画像データのこのように選択した部分をズームインするステップ１２５０とを、補間ステップの前に実行する。
最後に、図１３は、本発明の実施の形態による単一視点から観察したようなほぼ半球のシーンを表す画像を投影する方法に対するフローチャート１３００を示す。この方法は、像を調整した視準光ビームを投影するステップ１３１０と、像の単一視点が反射面の焦点に一致するようにほぼ放物面形状の反射面上で視準光ビーム１３２０を垂直に反射するステップとを有する。
この方法は、単一視点から観察したような追加のほぼ半球のシーンを表す追加の像を、追加の視準光ビームとして投影するステップ１３３０と、追加のほぼ半球のシーンを再構成するために追加の視準光ビームを垂直に反射するステップ１３４０とをも有する。
したがって、本発明は、任意の移動部を有しない単一視点からほぼ半球のシーンの像を感知する全方向撮像装置を提供する。本発明の装置は、垂直の反射を用いて、向上した画像品質を提供するとともに、複雑な画像再構成又は複雑なフレーム変換を用いることなくシーンの任意の部分のズームイン及びシーンのパンを可能にする。
本発明は、単一視点から観察したようなほぼ半球のシーンを表す像を投影することができる全方向撮像装置も提供する。
上記説明は、本発明に含まれる原理を示しただけである。本発明の他の変形は当業者には明らかであり、添付した請求の範囲で説明したように本発明の範囲を制限するものではない。

Claims (22)

1. （ａ）ほぼ半球のシーンの像を垂直に反射するように配置され単一視点に一致する焦点を有する、先端を切った凸のほぼ放物面形状の反射器と、
   （ｂ）前記反射器に光学的に結合され、前記反射器によって垂直に反射されなかった電磁放射の主光線をほぼ除去するテレセントリック手段と、
   （ｃ）前記像の前記垂直の反射を受けるように配置したイメージセンサとを具え、
   前記単一視点が前記反射器を含む、単一視点からほぼ半球のシーンの像を感知する全方向撮像装置。
2. 前記イメージセンサが、電荷結合装置のイメージセンサを有することを特徴とする請求項１記載の全方向撮像装置。
3. 前記イメージセンサが写真フィルムを具えることを特徴とする請求項１記載の全方向撮像装置。
4. 前記イメージセンサがビデオカメラを具えることを特徴とする請求項１記載の全方向撮像装置。
5. 前記反射器が、円柱座標で
   

   

   でほぼ表現される式を与える面を有するほぼ放物面のミラーを具え、ｚを前記面の回転軸とし、ｒを半径座標とし、ｈを定数としたことを特徴とする請求項１記載の全方向撮像装置。
6. 前記反射器が、回転軸と、この回転軸にほぼ垂直であるとともに前記反射器の焦点を有する面で先端を切ったミラーとを有することを特徴とする請求項１記載の全方向撮像装置。
7. 前記イメージセンサを前記反射器の回転軸に沿って配置したことを特徴とする請求項１記載の全方向撮像装置。
8. 相対的な位置を維持するように前記反射器と前記イメージセンサとを結合する透明サポートを更に具えることを特徴とする請求項１記載の全方向撮像装置。
9. 前記イメージセンサが、前記垂直に反射した像を表す画像信号を発生させ、その画像信号を画像信号データに変換するとともにその画像信号データをカルテシアン座標系に写像するように前記イメージセンサに結合した画像信号処理装置を更に具えることを特徴とする請求項１記載の全方向撮像装置。
10. 前記画像信号処理装置が、前記デジタル画像を形成するために、補間された画像データを発生させてその補間されたデータ及び前記画像信号データを結合する補間手段を更に有することを特徴とする請求項９記載の全方向撮像装置。
11. 前記画像処理装置が、前記デジタル画像の選択された部分をズームインして、予め選択された焦点距離から予め選択された部分の拡大画像を発生させる手段を更に具えることを特徴とする請求項１０記載の全方向撮像装置。
12. 前記イメージセンサと反射器とを光学的に結合し、前記イメージセンサと反射器との間に配置された少なくとも一つのレンズを更に具えることを特徴とする請求項１記載の全方向撮像装置。
13. 前記テレセントリック手段がテレセントリックレンズを具えることを特徴とする請求項１２記載の全方向撮像装置。
14. 前記テレセントリック手段がテレセントリックアパーチュアを具えることを特徴とする請求項１２記載の全方向撮像装置。
15. 前記単一視点から追加の半球のシーンの像を垂直に反射するように配置した追加の先端を切った凸のほぼ放物面形状の反射器を更に具え、前記半球のシーン及び追加の半球のシーンの結合がほぼ半球のシーンとなるようにこれらを互いに相補的なものにし、前記追加の半球のシーンの像の垂直の反射を受け取るように配置した追加のイメージセンサを更に具えることを特徴とする請求項１記載の全方向撮像装置。
16. 前記反射器及び追加の反射器を背中合わせに配置し、これらが共通の光軸及び共通の焦点を有し、前記反射器の各々が、前記光軸にほぼ垂直であるとともに前記共通の焦点を有する平面で先端を切られたミラーを具えることを特徴とする請求項１５記載の全方向撮像装置。
17. （ａ）ほぼ半球のシーンの単一視点がほぼ放物面形状の反射面の焦点に一致するように前記ほぼ半球のシーンの像を前記反射面で垂直に反射するステップと、
    （ｂ）垂直に反射されなかった電磁放射の主光線の大部分をテレセントリックに除去するステップと、
    （ｃ）前記垂直に反射した像を感知するステップとを具える、単一観点からほぼ半球のシーンの像を感知する全方向性撮像方法。
18. 前記ステップ（ｃ）が、前記反射器の回転軸に沿った位置からのほぼ直角に反射した像の感知を具えることを特徴とする請求項１７記載の全方向性撮像方法。
19. 前記垂直に反射した像を表す画像信号を発生させるステップと、その画像信号を画像信号データに変換するステップと、前記画像信号データをカルテシアン座標系に写像するステップとを更に具えることを特徴とする請求項１８記載の全方向性撮像方法。
20. 前記画像信号データを補間して、消失した画像データの平均値を規定するステップと、前記写像した画像データ及び前記補間した画像データからデジタル画像を形成するステップとを更に具えることを特徴とする請求項１９記載の全方向性撮像方法。
21. 前記デジタル画像の選択した部分をズームインして、予め設定した焦点距離からその選択した部分の拡大画像をズームインするステップと、前記画像データを補間して、消失した画像データの平均値を規定するステップと、前記写像した画像データ及び前記補間した画像データからデジタル画像を形成するステップとを更に具えることを特徴とする請求項２０記載の全方向性撮像方法。
22. 追加のほぼ半球のシーンの追加の像を垂直に反射するステップと、前記追加の垂直に反射した像を感知するステップとを更に具えることを特徴とする請求項１８記載の全方向性撮像方法。

Images