JP4247113B2 - 長方形の画像センサによりパノラマ画像を撮像する方法 - Google Patents

Description

本発明は、デジタルパノラマ画像の取得およびパノラマ画像のコンピュータ画面上への表示に関する。

本発明は、特に、その光軸に対して一定の視界角を有する魚眼対物レンズによりパノラマを、長方形の形状の画像センサ上に投影するステップを有するデジタルパノラマ画像の撮像方法に関する。

本発明は、さらに、上述の方法に従って画面上に撮像された初期パノラマ画像を表示する方法に関する。

図１には、デジタルパノラマ画像をコンピュータ画面上に生成して表示することができる従来の装置が示されている。この装置は、その光軸に対して一定の視界角を有し、好ましくは、少なくとも２πステラジアンの立体画像撮像角（すなわち少なくとも１８０°の視界角）を提供する魚眼対物レンズ２を備えたデジタルカメラ１を備えている。カメラ１は、画面６を備えた、例えば、マイクロコンピュータなどのコンピュータ５に接続されている。マイクロコンピュータ５との接続は、例えば、カメラ１がデジタルビデオカメラの場合は常時接続であってもよいし、例えばカメラ１が画像メモリを備えた静止デジタルカメラの場合は、一時的な接続であってもよい。

図２は、魚眼対物レンズ２によりデジタル画像センサ３に投影されたパノラマ画像４の表示を示している。最も広く知られている民生品デジタルカメラの産業上の基準によると、画像センサ３は長方形の形状であり、４／３フォーマット（ビデオフォーマット）の長方形の写真を生成する。画像センサに投影されたパノラマの像は、円板の形状で、それぞれの光軸に対して一定の視界角を有する軸対称な複数の魚眼対物レンズを特徴としている。したがって、長方形の画像センサの全体像の端部は暗くなるため、後のデジタル処理で削除される。円板形画像４を有するこの長方形のデジタル画像は、カメラ１により、像点の赤ピクセルである「Ｒ」、緑ピクセルである「Ｇ」、青ピクセルである「Ｂ」、アルファパラメータすなわち透明である「Ａ」、からなる２次元テーブルに配置されたＲＧＢＡにコード化された物点を含むコンピュータファイルの形式で送り出される。パラメータＲ、Ｇ、Ｂ、Ａは通常は８ビットのコードである。

次に、画像ファイルはマイクロコンピュータ５に伝達され、初期の円板形画像４は３次元デジタル画像に変換され、画面６の全体または一部を占めるディスプレイウィンドウＤＷ上でユーザに３次元画像のセクタを表示する。

図３は、２次元パノラマ画像をパノラマ画像に変換して、現実的な遠近感を提供する従来のステップを示している。画像の黒い端部を削除した後、マイクロコンピュータは、中心Ｏ’を中心とし、軸ＯＵ’およびＯＶ’を有する円板形画像１０を形成する像点群を得る。円板形画像１０の像点は、直交する座標系軸ＯＸＹＺにより定義される３次元空間に変換される。軸ＯＺは円板形画像の面に対して垂直である。この変換は、マイクロコンピュータが実行するアルゴリズムが実現する数学的関数により行われ、この変換により座標系ＯＸＹＺで表される像点群が得られる。これらの像点は、例えば、球座標ＲＧＢＡ（φ、θ）にコード化される。φは像点の経度でθは像点の緯度を表し、角度φ、θは４から８バイトに符号化される（ＩＥＥＥ標準）。これらの像点は、系の中心Ｏに対して少なくとも２πステラジアンの立体角を網羅する球形部ＨＳを形成する。画像セクタ１１の中心点Ｏ’’を定義するＯＸＹＺ系の中心点Ｏに観察者がいるとした場合、方向ＯＯ’’は「視野方向」と呼ばれ、マイクロコンピュータは、上述のディスプレイウィンドウＤＷに対応する画面上に表示される３次元の仮想画像のセクタ１１を有する（図１）。

デジタルパノラマ画像セクタをコンピュータ画面上に表示する技術には様々な利点があり、その１つの利点として画面上で画像セクタ１１を上下左右にパノラマ画像の限度まで移動させる、パノラマ画像の「探索」を実行できる点があげられる。この技術は、２つの補完的な関係にあるデジタル画像が撮像されてマイクロコンピュータに提供された場合に、画像を回転させることにより、２つの半球を組み合わせて完全なパノラマの球を再構成することを可能にする。パノラマ画像を画面で表示することのもう１つの利点は、観察者が画像の一部を拡大またはズームできるという点にある。ズームは画面に表示される画像セクタを縮小したり、画面のピクセルの像点の分布を拡大するデジタル処理により実行される。

このような利点があるにもかかわらず、デジタルズームには、画像センサの解像度が、一般的に従来の写真の解像度と比較して大幅に低いため、解像度に限界があるという欠点もある。このため、拡大を繰り返し、画像センサの解像度が限界に達すると、画像の粒子があれてしまう。

この欠点を克服するために、センサの解像度の限界を示す色ブロックの出現を遅延させるようにピクセル補間を行う処理が知られている。しかしながら、この方法は画像セクタを拡大して表示する場合を改善するだけであり、精細度を改善することはできない。もう１つの解決方法として、ズームの際の精細度に余裕を持たせるように、拡大せずに画像セクタを表示する場合に必要な解像度を上回る高解像度の画像センサを提供することがある。しかしながら、この解決方法は画像センサの価格がエリア当たりのピクセル数が増えるごとに大幅にあがるため、費用がかかる。もう１つの解決方法は、円板形画像の直径を画像センサの長さと等しくした面に画像センサを配置する方法である。これにより画像センサの表面全体が網羅されるが、投影された画像では画像センサの上部および底部の幅が削除されてしまう。この場合、視界角が減少するという欠点がある。

したがって、本発明の一般的な目的は、画像センサのエリア当たりのピクセル数を増やす必要なく、また、視界角を減少することなく、デジタルパノラマ画像の特定の部位についてデジタル拡大した場合の精細度を向上することにある。

本発明は以下の２つの前提に基づいて上述の目的を達成している。
１）民生品デジタルカメラに使用される長方形画像センサ、特に４／３センサは、魚眼画像撮像には最適でない。図２に示されるように、円板形画像４の側方にある黒い端部はそれぞれ、表面エリアを広く占有しており、相当のピクセル数を浪費して、デジタルズームの精細度と品質を損なっている。
２）ビデオ監視、ビデオ会議、テレビ会議など多くの用途で、デジタルパノラマ画像で最も関心がもたれる部分は、円板形画像の中心部を通り円板形画像を左右に横断する水平線に沿った画像の中心方向の部分にある。余暇の分野でも、ほとんどのパノラマ画像には、例えば空や天井、地面など他の部分と比較して関心の薄い部分があり、一般的に最も役立つ部分は、上述の水平線に沿った画像の中心近辺にある。

これらの前提に基づき、本発明の主題は、アナモルフォーズにより画像を歪ませ、視野を狭めることなく側方に拡大させる本発明に係る魚眼対物レンズを使用することにより長方形の画像センサに投影される魚眼画像を拡大することにある。この拡大は、画像センサの長さ方向に実行され、画像がセンサの受光表面領域を超えることのないように画像センサの幅方向に画像が拡大されることはない。上述の水平線に沿った画像の中央ゾーンは、拡大しなかった場合よりも多くの画像センサのピクセル数を網羅し、精細度が高くなっているため、デジタルズームの品質を実質的に向上する。

本発明の他の態様によると、画像は続いて処理され、精細度が高いという利点を保ちながら、対物レンズの光学的歪みが補正され、歪みのない画像セクタがディスプレイウィンドウに表示される。

より詳細には、本発明は、外部パノラマを撮像する方法において、光軸に対して一定の視界角を有し、視野を狭めることなく従来の円板形画像より広い面積を網羅する、前記外部パノラマに対応し従来の円板形状ではない歪んだパノラマ画像を表面に投影する魚眼対物レンズを準備するステップと、長方形形状の画像センサを準備するステップと、従来の円板形画像により網羅されるピクセル数より多くのピクセル数を前記画像センサ上で網羅する歪んだパノラマ画像を前記画像センサに投影するよう前記魚眼対物レンズを用いるステップと、を備えることを特徴とする。

一実施の形態によると、魚眼対物レンズは、前記魚眼対物レンズの光軸に垂直な軸に応じて変化する像点分布関数を有し、前記光軸に垂直な第１軸に沿って画像の最小広がり率を有し、光軸に垂直な少なくとも１つの第２軸に沿って画像の最大広がり率を有し、前記画像センサに投影される画像が前記第２軸に沿って拡大する。

一実施の形態によると、前記魚眼対物レンズの前記第１軸と前記第２軸は垂直であり、前記魚眼対物レンズにより前記画像センサに投影された画像は楕円形形状である。

一実施の形態によると、前記楕円形形状の画像の長軸が前記画像センサの有効長と一致するように、前記画像センサは、前記魚眼対物レンズの前記第１軸および前記第２軸に対して配置される。

一実施の形態によると、前記楕円形形状の画像の長軸が前記画像センサの対角線と一致するように、前記画像センサは、前記魚眼対物レンズの前記第１軸および前記第２軸に対して配置される。

一実施の形態によると、投影された画像が少なくとも１つの実質的に拡大されたゾーンと、少なくとも１つの実質的に圧縮されたゾーンを有するように、前記魚眼対物レンズは、線形分布関数と比較して少なくとも±１０％の最大発散度を有する非線形の分布関数を有する。

一実施の形態によると、前記魚眼対物レンズは、所定の視界角に応じてパノラマ画像を撮像するレンズ群と、魚眼対物レンズの光軸に垂直な回転軸を有する少なくとも１つの円柱形レンズとの組み合わせを備える。

また、本発明は、外部パノラマを画面に表示する方法であって、前記歪んだパノラマ画像が前記画像センサ上に得られるよう、本発明の方法に従って外部パノラマを撮像するステップと、前記歪んだパノラマ画像を補正して歪みのないデジタル画像に変換するステップと、を備えたことを特徴とする。

一実施の形態によると、前記歪んだパノラマ画像を円板形の形状の補正されたデジタル画像に変換するステップを有し、前記歪んだパノラマ画像により網羅される前記画像センサのピクセル数より多い像点の数を前記補正された画像が有するように、前記補正された画像の直径が選択される。

一実施の形態によると、前記歪んだパノラマ画像は楕円形形状で、前記補正された画像は、前記楕円形形状のパノラマ画像の長軸のピクセル数と少なくとも同じサイズであるピクセル数のサイズの直径を有する。

一実施の形態によると、前記画面に表示される画像セクタの像点の色を決定する、画面上に表示される前記画像セクタの像点を前記歪んだパノラマ画像に投影するステップを備え、前記歪んだパノラマ画像を補正して歪みのないデジタル画像に変換するステップが前記投影ステップに含意されるように、前記画像セクタの像点を前記歪んだパノラマ画像に投影する前記ステップは、前記魚眼対物レンズの光学的特性を表す分布関数により実行される。

一実施の形態によると、前記投影ステップは、前記画像セクタの像点を球形部に投影する第１ステップと、前記球形部に投影された像点を前記歪んだパノラマ画像に投影する第２ステップと、を有する。

また、本発明は、本発明に係る表示方法のステップを実行するように、コンピュータにより実行可能なプログラムコードを有する、デジタルコンピュータのメモリにロード可能な媒体に記録されたコンピュータプログラムに関する。

また、本発明は、その光軸に対して一定の視界角を有し、パノラマ画像を画像センサに投影する光学手段を備えた魚眼対物レンズにおいて、視野を狭めることなく、従来の円板形画像により網羅されるピクセル数より多いピクセル数を網羅する、従来の円板形画像ではない歪んだ画像を画像センサに投影する魚眼対物レンズに関する。

一実施の形態によると、前記魚眼対物レンズは、前記魚眼対物レンズの光軸に垂直な軸に応じて変化する像点分布関数を有し、前記光軸に垂直な第１軸に沿って画像の最小広がり率を有し、前記光軸に垂直な少なくとも１つの第２軸に沿って画像の最大広がり率を有し、前記魚眼対物レンズにより与えられる画像は前記第２軸に沿って拡大する。

一実施の形態によると、前記魚眼対物レンズにより与えられた画像が少なくとも１つの実質的に拡大されたゾーンと、少なくとも１つの実質的に圧縮されたゾーンを有するように、前記魚眼対物レンズは、線形分布関数と比較して少なくとも±１０％の最大発散度を有する非線形の分布関数を有する。

一実施の形態によると、前記対物レンズは、所定の視界角に応じてパノラマ画像を撮像するレンズ群と、前記対物レンズの光軸に垂直な回転軸を有する少なくとも１つの円柱形レンズとの組み合わせを備える。

一実施の形態によると、前記対物レンズは、アポダイザを形成する光学手段を備える。

一実施の形態によると、アポダイザを形成する前記光学手段は少なくとも１つの非球面レンズを有する。

一実施の形態によると、前記対物レンズは少なくとも１つの歪み鏡を備える。

一実施の形態によると、前記対物レンズは、パノラマアダプタ形で、静止カメラの非パノラマ対物レンズの前部に配置される。

本発明に係るパノラマ画像撮像方法の説明。

Ｉ．初期画像の歪み
図４は、その光軸ＯＺに対して一定の視界角を有する本発明に係る魚眼対物レンズ１５と、対物レンズ１５の画像面に配置された長方形の画像センサ１６とから構成されるパノラマ画像撮像システムの断面図である。

図４に示された断面図から理解できるように、魚眼対物レンズ１５の特性は、従来の対物レンズの特性と同様であり、所定の角度分布関数Ｆｄに特徴がある。１つの例として、ａ、ｂという２つの物点がパノラマＰＭに含まれ、それぞれが視界角α１、α２を有するものとする。従来、物点の視界角は、上述の物点と点「Ｐ」で示されているパノラマＰＭの中心点を通過する入射光線と光軸ＯＺがなす角度である。センサ１６上の物点ａ、ｂに対応する像点ａ’、ｂ’は、画像の中心から距離をｄ（ａ’）、ｄ（ｂ’）とすると、角α１、α２と以下の関係式により表される、
（１）ｄ（ａ’）＝Ｆｄ（α１）
（２）ｄ（ｂ’）＝Ｆｄ（α２）
Ｆｄは物点の視界角に対する像点の分布関数である。

本発明に係る対物レンズ１５は、従来の対物レンズとは、分布関数Ｆｄが光軸ＯＺに垂直な面の物点の位置に応じて変化する点が異なる。図５Ａ、５Ｂおよび５Ｃを参照してこの対物レンズの特性についてわかりやすく説明する。

図５Ａは、円形の形状をしたパノラマＰＭを示しており、光軸ＯＺはこの図の面に対して垂直になっている。対物レンズは、光軸ＯＺに対して垂直な面ＰＬ上（すなわち、本紙の面と平行または同一）に位置する２つの軸Ｘ１、Ｘ２を有し、２つの軸Ｘ１、Ｘ２はそれぞれ、光軸ＯＺを通っている。２つの軸Ｘ１、Ｘ２の間の角偏差はψ１で、９０°が好ましい。本発明では、対物レンズは軸Ｘ１に沿って分布関数Ｆｄ[Ｘ１]、軸Ｘ２に沿って分布関数Ｆｄ[Ｘ２]を有している。関数Ｆｄ[Ｘ１] と関数Ｆｄ[Ｘ２]は異なり、関数Ｆｄ[Ｘ１]は、画像が低い広がり率を有する関数であり、関数Ｆｄ[Ｘ２]は、画像が高い広がり率を有する関数である。

理解を容易にするため、ａ１、ｂ１およびａ２、ｂ２と、２組の物点がそれぞれ軸Ｘ１、軸Ｘ２に沿って配置されており、物点ａ１、ａ２は光軸ＯＺに対して同一の視界角α１を有し、物点ｂ１、ｂ２は光軸ＯＺに対して同一の視界角α２を有するものとする（図４を参照）。図５Ｂはこれらの物点の長方形の画像センサ１６への投影を示している。対物レンズは画像センサ１６に対して広がりの小さいＸ１の軸がセンサの幅に対応し、広がりの大きいＸ２の軸がセンサの長さに対応するように配置されている。好ましくは、撮影された映像の軸Ｘ２は横軸に対応し、軸Ｘ１は縦軸に対応する。図５Ｂに示されるように、投影された画像上で、軸Ｘ１に沿った像点ａ１’、ｂ１’、軸Ｘ２に沿った像点ａ２’、ｂ２’は区別することができる。点ａ１’は画像の中心からｄ（ａ１’）＝Ｆ[Ｘ１]（α１）の距離離れており、点ｂ１’は画像の中心からｄ（ｂ１’）＝Ｆ[Ｘ１]（α２）の距離離れており、点ａ２’は画像の中心からｄ（ａ２’）＝Ｆ[Ｘ２]（α１）の距離離れており、点ｂ２’は画像の中心からｄ（ｂ２’）＝Ｆ[Ｘ２]（α２）の距離離れている。従来の魚眼対物レンズでは、物点ａ１、ａ２が同じ視界角α１を有するため、距離ｄ（ａ１’）は距離ｄ（ａ２’）と等しくなる。同様に、物点ｂ１、ｂ２が同じ視界角α２を有するため、距離ｄ（ｂ１’）は距離ｄ（ｂ２’）と等しくなる。本発明に係る魚眼対物レンズでは、距離ｄ（ｂ２’）は距離ｄ（ｂ１’）より大きく、本発明に係る魚眼対物レンズでは、距離ｄ（ａ２’）は距離ｄ（ａ１’）より大きい。

好ましくは、軸Ｘ１に沿う像点がセンサの有効幅ｌＣ全体を占めるように関数Ｆ[Ｘ１]を選択する。同様に、軸Ｘ２に沿う像点がセンサの有効長ＬＣ全体を占めるように関数Ｆ[Ｘ２]を選択する。このため、図４および５Ａに示されるように物点ｂ１、ｂ２の視界角が９０°で、対物レンズの開口角が１８０°の場合、像点ｂ１’、ｂ２’の画像の中心に対する距離ｄ（ｂ１’）、ｄ（ｂ２’）はそれぞれｌＣ／２、ＬＣ／２となる（図５Ｂ）。

軸Ｘ１、Ｘ２に加えて、本発明に係る対物レンズは無限の数の中間軸Ｘｉを有し、対物レンズはこの中間軸Ｘｉに沿って、最小広がり率を上回る広がり率を有する分布関数Ｆ[Ｘｉ]を有する。例えば、軸Ｘｉが軸Ｘ１に対して角ψｉの関係で、角ψｉはψ１を下回る場合、軸Ｘｉに沿って位置し、視界角α１、α２を有する２つの物点ａｉ、ｂｉ（図５Ａ）について考察する。センサ１６上の対応する像点ａｉ’、ｂｉ’（図５Ｂ）は、画像の中心に対してそれぞれ距離ｄ（ａｉ’）＝Ｆ[Ｘｉ]（α１）、ｄ（ｂｉ’）＝Ｆ[Ｘｉ]（α２）離れている。距離ｄ（ａｉ’）と距離ｄ（ｂｉ’）はそれぞれ、距離ｄ（ａ１’）と距離ｄ（ｂ１’）より大きい。

したがって、本発明に係る魚眼対物レンズの分布関数Ｆｄは、光軸ＯＺに垂直な面上の、物点が配置された軸に従って変化し、軸Ｘ１に沿って最小の広がり率を有し、少なくとも第２軸、すなわち、上述の例においては軸Ｘ２に沿って最大の広がり率を有する。

次に、図１１および図１２を参照して、光軸に対して垂直な回転軸を有する円柱形レンズと等価の、光軸に対して平行な回転軸を有する円環形（toroidal）レンズを使用して、楕円形の画像を提供する、本発明に係る対物レンズの１つの実施の形態について説明する。図５Ｂで、像点ａｉ’は点ａ１’とａ２’を通る楕円上に、像点ｂｉ’は点ｂ１’とｂ２’を通る楕円上に位置する。

さらに、図１１および図１２を参照して説明する本実施の形態では、関数Ｆｄは、対物レンズの各軸Ｘｉに沿って線形であり、像点ａｉ’の画像の中心に対する距離ｄ（ａｉ’）は以下の関係式により表される。

（３）ｄ（ａｉ’）＝Ｋｉαｉ
ここでαｉは対応する物点ａｉの視界角であり、Ｋｉは、物点が位置する軸Ｘｉに応じて変化する分布定数である。

理解を容易にするため、本発明に係る対物レンズの分布関数Ｆｄ[Ｘｉ]の例を、図５ＣにＹ軸を相対距離ｄｒ、Ｘ軸を視界角αとした曲線のグラフで表す。像点の相対距離ｄｒは、軸Ｘ１に位置する像点の画像の中心に対して最も離れた距離で割った像点の画像の中心に対する距離である。楕円形画像の場合、軸Ｘ１に沿って最も離れた距離は楕円の短軸の半分の長さＤ１／２である。

図５Ｃで、３本の曲線はそれぞれ異なり、分布関数Ｆｄ[Ｘ１]、Ｆｄ[Ｘ２]、Ｆｄ[Ｘｉ]に対応している。この場合、３つの分布関数は線形であるため、それぞれ傾きがＫ１、Ｋ２、Ｋｉの直線になっている。傾きＫ１は１８０°の開口角を有する対物レンズの場合１／９０°で、傾きＫ２はＫ１より大きく、傾きＫｉはＫ１とＫ２の間である。図示されているように、傾きＫ２は、画像が画像センサの有効長Ｌｃ全体を網羅するようにＫ１＊Ｌｃ／ｌｃと等しいことが好ましい。

以下、本発明の他の態様について楕円形の画像が画像センサに投影された場合を想定して説明する。本書では従来の円板形状の画像を「円板形画像」と呼び、楕円形状の画像は「楕円形画像」と呼ぶ。

本発明に係る方法の利点は、視界を減少することなく、投影された画像により網羅される面を円板形画像により網羅される面よりも広くして、画像により網羅されるピクセル数を高くする点にある。楕円形画像の場合、本発明を使用して得られる精細度のゲインは簡単にピクセル比で算出することができる。画像センサの表面エリアで、楕円形画像は以下に算出されるピクセル数ＮＰを網羅する。

（４）ＮＰ＝π（Ｄ１／２）＊（Ｄ２／２）＊Ｎｐ
Ｎｐはエリア当たりのセンサのピクセル数で、Ｄ２は楕円形画像の長軸、Ｄ１は楕円形画像の短軸である（Ｄ１はセンサの有効幅ｌｃにより決定され、Ｄ２は最大でもセンサの有効長Ｌｃと等しいことに注意する）。

これに対し、円板形画像により網羅されるピクセル数ＮＰ’は以下の通りである。

（５）ＮＰ’＝π（Ｄ１^２／４）＊Ｎｐ
Ｄ１は画像の直径で、センサの幅により決定される。

関係式（４）と（５）から、楕円形画像と円板形画像の間で得られるピクセルの百分率Ｇ％は以下の通りである。

（６）Ｇ％＝（Ｄ１／Ｄ２―１）＊１００
民生品デジタルカメラの画像センサは同時に有するピクセル数は２００万ピクセルのオーダー、すなわち１６００×１２００ピクセルであり、民生品デジタル写真市場の標準に対して４／３の比率である。楕円形の投影を実行する本発明に係る対物レンズは、網羅するピクセル数で３３％のゲインを提供し、これは、軸Ｘ２に沿って、Ｘ２軸の近隣に位置する画像の部分で精細度において大幅なゲインを意味する。

このゲインは、幅に対する長さの比が３／２のフィルム（２４＊３６フォーマットの民生品フィルム）を使用した従来のカメラに本発明に係る方法を実施した場合、さらに高くなる。撮影された映像を一定の精細度のスキャナでデジタル処理する。デジタル処理された後、網羅されるピクセル数のゲインは（デジタル処理の間の精細度は一定として）５０％となる。

ここで、本発明に係る方法は、デジタル画像センサを使用したデジタル写真技術、および従来の写真を撮影するステップと、写真をスキャナでデジタル処理するステップとを有したデジタル写真技術の両方に適用可能である点に注意したい。したがって、本願の「デジタル画像センサ」という用語はデジタル画像センサと、スキャナなどのデジタル処理装置を組み合わせた従来の写真フィルムの両方を意味する。

ＩＩ．初期画像の歪み補正
画像センサに投影された画像を拡大する際に、拡大されたゾーンに網羅される画像センサのピクセル数を増加することにより、拡大されたゾーンの画像の精細度を向上する本発明の第１の態様についてすでに説明した。本発明に係る魚眼対物レンズの一実施の形態を説明する前に、初期画像の歪みを補正して光学的歪みのない画像を観察者に提供する本発明の第２の態様を説明する。先に述べたように、本発明のこの態様は楕円形画像を参照して説明する。

本発明の第２の態様は、画面上に双方向パノラマ画像を提供するために、初期画像をコンピュータにより処理する段階で実施する。本発明の方法を実施する手段は図６に示すように、その装置は一般的である点においては従来と同様である。デジタルカメラ２０は、画面２３を有したマイクロコンピュータ２２に接続した、本発明に係る対物レンズである魚眼対物レンズ２１を備えた点において従来のものと異なるといえる。カメラ２０により撮影されたデジタル画像ＩＭｉはマイクロコンピュータに転送されて、処理され、画面２３上のディプレイウィンドウＤＷに表示される。画像を変換して表示するアルゴリズムを有する本発明に係る処理プログラムは、最初に、ＣＤ−ＲＯＭ２５により、あるいは、例えばインターネットを介してダウンロードすることにより画像をコンピュータに取り込む。カメラ２０は静止デジタルカメラまたはデジタルビデオカメラでもよく、マイクロコンピュータとの接続は常時接続でもよいし、そうでなくてもよい。ビデオカメラの場合、マイクロコンピュータは画像のフローを受け取ると、リアルタイムに処理して画面に表示する。

ここで、本発明が提供する２つの初期画像の歪み補正方法について説明する。第１の実施の形態では、楕円形画像は補正されて従来の円板形画像を得る。補正された円板形画像は従来の魚眼対物レンズにより生成される円板形画像と等価であり、後に、従来の市販のディスプレイソフトウェアプログラムで処理して、円板形画像の像点を３次元空間に変換し、３次元画像のセクタを画面上に双方向で表示することが可能である。第２の実施の形態では、対物レンズの角度分布関数Ｆｄを使用してディスプレイウィンドウＤＷに表示される画像セクタを形成する像点は随時決定され、画像はリアルタイムに補正される。

第１の実施の形態の補正方法
図７Ａおよび７Ｂは、本発明に係る方法の第１の実施の形態を示している。ここで、初期画像Ｉｍｇ１は、短軸Ｄ１、長軸Ｄ２の楕円形画像ＩＤ１を有するものとする（図７Ａ）。初期画像Ｉｍｇ１は、半径Ｄ３の円板形画像ＩＤ２を有する補正後画像Ｉｍｇ２に変換される（図７Ｂ）。円板形画像ＩＤ２の半径Ｄ３は、円板形画像ＩＤ２の回転が楕円形画像ＩＤ１の最も拡大されたゾーンの回転と同等またはほぼ同等となるように、楕円形画像ＩＤ１の長軸Ｄ２と等しいことが好ましく、ここで情報の密度が最も高くなる。すなわち、こことは長軸Ｄ２の近隣に位置する画像の中央部である。

本方法は画像を（Ｄ２／Ｄ１）＊１００パーセントの比率で垂直に拡大する。例えば以下に記載するアルゴリズム１により実行する。
―Ｉｍｇ１は楕円形画像ＩＤ１を有する初期画像である。
―Ｉｍｇ２は、従来の円板形画像ＩＤ２を有するアルゴリズム１により生成された画像である。
―ａは楕円形画像ＩＤ１の短軸の半分で、ピクセル数で以下のように表される。ａ＝Ｄ１／２＊Ｎｐ１、Ｎｐ１は使用する画像センサの長さ当たりのピクセル数である。
―ｂは楕円形画像ＩＤ１の長軸の半分で、ピクセル数で以下のように表される。ａ＝Ｄ２／２＊Ｎｐ１
―「Ｏ」は初期画像Ｉｍｇ１の中心であり同時に生成される画像Ｉｍｇ２の中心を意味する。
―ｉとｊは、画像Ｉｍｇ２の像点Ｉｍｇ２[ｉ、ｊ]の座標で、ｉは列、ｊは行で、座標点（０，０）は画像の中心である。
―ｒは画像Ｉｍｇ２の像点の画像の中心に対する距離である。
―「ｕ」と「ｖ」は初期画像Ｉｍｇ１の像点Ｉｍｇ１[ｉ、ｊ]の座標で、ｕは列、ｖは行で、座標点（０，０）は画像の中心である。
―[ＯＵ）は原点がＯで、方向Ｕの基本軸である。
―[ＯＰ]は原点がＯで、終点がＰの線分で、Ｐは座標（ｕ、ｖ）の像点である。
―θは軸[ＯＵ）と線分[ＯＰ]の角度である。
―√は平方根関数である。
―arc cosはコサイン関数の逆関数である。
ALGORITHM 1
1/ For i = -b to +b
2/ For j = -b to +b
3/ r = √(i*i + j*j)
4/ if (r <b) then
5/ if j < 0 then
6/ θ= arc cos (i / r)
7/ if not
8/ θ= - arc cos (i / r)
9/ End if
10/ u = r * cos (θ)
11/ v = (a/b) * r * sin (θ)
12/ Img 2 [i, j] = Img1 [u, v]
13/ End if
14/ End for
15/ End for
実際、当業者には周知のことであるが、アルゴリズム１は画像Ｉｍｇ２に双線形（Bilinear）補完を実質的に実行して最終画像を平滑化することにより改善することができる。

図８は、パノラマ画像を撮像し、画面に双方向に表示する方法のステップの概要を示すフローチャートである。このフローチャートは、本書の一部である付録の表１に記載されている。ステップＳ１とステップＳ２はそれぞれ、画像の取得と画像のコンピュータへの転送で、それ自体は従来のものであるが、撮像した画像が楕円形の形状であるという点において従来の手法とは異なる。楕円形画像ＩＤ１を補正するステップＳ３は、本発明の方法に従って上述のアルゴリズムにより実行される。「デジタル処理」と呼ばれるステップＳ４は従来のものと同じである。このステップは円板形画像ＩＤ２の像点を軸ＯＸＹＺの３次元空間に変換するステップで、像点は、例えば、球座標で表される。ステップＳ５もまた従来のものと同じで、ディスプレイウィンドウＤＷに画像のセクタを表示する。ディスプレイウィンドウはユーザの行動によっては上方または下方に移動し、あるいはユーザの要求に従って拡大される。拡大された場合、初期画像の拡大された部分に対応するゾーンは従来のものよりも精細度が向上されている。

第２の実施の形態の補正方法
図９は本発明に係る補正方法の第２の実施の形態を示している。概要を述べれば、本方法は、ディスプレイウィンドウＤＷ（図６）に表示される画像セクタＩＳの像点の初期画像Ｉｍｇ１の楕円形画像ＩＤ１への投影である。本方法は補正後の円板形画像を算出する必要はない。

ウィンドウディスプレイＤＷに表示される画像セクタＩＳの像点は、行座標ｉと列座標ｊとする画像セクタＩＳの座標系でＥ（ｉ、ｊ）と表される。点Ｅ（ｉ、ｊ）は最初に原点Ｏで軸ＯＸ、ＯＹ、ＯＺの座標系で中心Ｏで半径Ｒの球形部ＨＳに投影され、球形部に属する像点Ｐ（ｐｘ、ｐｙ、ｐｚ）を得る。

単純にするため、ここで使用する魚眼対物レンズの開口角は１８０°とする。この場合、球形部ＨＳは半球となる。画像セクタＩＳはこの半球へ接線方向に移動する。

半球ＨＳ上に決定される像点Ｐ（ｐｘ、ｐｙ、ｐｚ）は、魚眼対物レンズの分布関数Ｈｄにより楕円形画像ＩＤ１へ投影される。最初に半球の中心Ｏに対する点Ｐの視界角αが算出される。ここで中心Ｏは画像が撮像された時のパノラマの中心「ｐ」と仮想的に等価である。像点Ｐ（ｐｘ、ｐｙ、ｐｚ）を半球ＨＳに投影すると、楕円形画像の中心に対応する中心Ｏ’と、軸ＯＵ’、ＯＶ’を有する座標系の楕円形画像上に像点Ｐ’（ｐｕ、ｐｖ）が取得される。半球の系の軸ＯＺは楕円形画像ＩＤ１の面に垂直で、中心Ｏ’を通り、軸Ｏ’Ｚと軸ＯＺは重なる。

当業者には明らかなように、画像セクタＩＳの像点Ｅ（ｉ、ｊ）に対応する像点Ｐ’（ｐｕ、ｐｖ）が楕円形画像ＩＤ１から分布関数Ｆｄにより「導き出す」ことができるため、ここで画像の歪み補正は含意されている。

本発明に係る方法は以下に記載するアルゴリズム２により実行する。
―ｉとｊは、画像セクタＩＳの像点Ｅ（ｉ、ｊ）の座標である。
―ＩｍａｘとＪｍａｘは、画像セクタＩＳの列の数と行の数である。
―Ｅｘ、Ｅｙ、Ｅｚは、座標系ＯＸＹＺの画像セクタＩＳの点Ｅ（ｉ、ｊ）のデカルト座標である。
―ｐｘ、ｐｙ、ｐｚは、半球ＨＳの点Ｐ（ｐｘ、ｐｙ、ｐｚ）のデカルト座標である。
―ｐｕ、ｐｖは、座標系Ｏ’ＵＶの楕円形画像の像点Ｐ’（ｐｕ、ｐｖ）のデカルト座標である。
―Ｌ１は楕円形画像の短軸半分のサイズで、ピクセル数で表される（Ｌ１＝Ｄ１／２＊Ｎｐ１）。
―Ｌ２は楕円形画像の長軸半分のサイズで、ピクセル数で表される（Ｌ１＝Ｄ２／２＊Ｎｐ１）。
―Ｍは画像セクタＩＳの中心である。
―「視野方向」とは画像セクタＩＳの中心Ｍと点Ｏとにより決定される方向で、
画像セクタはピラミッド形の観察者の視野の底部を形成し、その頂部が点Ｏ（観察者の位置）となる。
―θ０とφ０は視野方向の経度と緯度である。
―Screen_Pixel[i, j]は画像セクタＩＳの点Ｅ（ｉ、ｊ）の色（ＲＧＢＡ）である。
―Image_Pixel[pu, pv]は楕円形画像ＩＤ１の点Ｐ’（ｐｕ、ｐｖ）の色である。
―Ｒは、画像セクタＩＳの画像選択ＩＳの接線方向の移動の基準として使用される半球の半径で、Ｒは、例えば１０，０００など、計算の制度を高めるために選択される任意の値を有する。
―αは、像点Ｐ（ｐｘ、ｐｙ、ｐｚ）の中心Ｏに対する角度である（対応する物点が撮影された時の視界角を表す）。
―ａｕｘ１、ａｕｘ２は、中間媒介変数である。
―“Ｚｏｏｍ”は、拡大を定義する変数で、デフォルト値はＲである。
―√は平方根関数である。
ALGORITHM ２
1/ For i = - Imax/2 to i=Imax/2 do [by increments of 1]
2/ For j = - Jmax/2 to j = Jmax/2 do [by increments of 1]
[calculation of the Cartesian coordinates Ex, Ey, Ez of the point E of the image sector in the coordinate system (OXYZ)]
3/ Ey = j * cos (φ０) - Zoom * sin (φ０)
4/ Ez = Zoom * cos (φ０) + j * sin (φ０)
5/ aux1 = Ez
6/ Ez = Ez * cos (θ０) - i * sin (θ０)
7/ Ex = i * cos (θ０) + aux1 * sin (θ０)
[calculation of the coordinates of a point P corresponding to the point E]
8/ aux2 = R /√(Ex * Ex + Ey * Ey + Ez * Ez)
9/ px = Ex * aux2
10/ py = Ey * aux2
11/ pz = Ez * aux2
[calculation of the coordinates of a point P’ (pu, pv) corresponding to the point P(px, py, pz)]
12/ X = px / R
13/ Y = py / R
14/ r = √(X * X + Y * Y)
15/ α= arc sine (r) [angle in relation to the cntere]
16/ u = X / r
17/ v = Y / r
18/ pu = L1 * U * Fd (α)
19/ pv = L2 * V * Fd (α)
[allocation of the colour of the point P’ (pu, pv) to the point E(i, j) of the image sector]
20/ Screen_Pixel [i, j] = Image_Pixel [pu, pv]
21/ end for
22/ end for
ステップＳ１８とステップＳ１９で使用する関数Ｆｄは、該当する軸Ｘｉに対応する関数Ｆｄ[Ｘｉ]ではなく、軸Ｘ１に対応する関数Ｆｄ[Ｘ１]であることに注意する。
ここでは、アルゴリズムを簡略化して画像ＩＤ１の楕円形の形状により生じる角ψを考慮しなくてすむようにこのよう選択がなされた。パラメータＬ１とＬ２によりステップＳ１８とステップＳ１９を楕円形の画像に対応させることができる。関数Ｆｄ[Ｘ１]が線形の場合、Ｆｄ（α）の各値はステップＳ１８とステップＳ１９で以下の関係式により算出される。

Ｆｄ（α）＝Ｆｄ[Ｘ１] （α）＝Ｋ１＊α
ここで Ｋ１＝２π／α
ユーザにより拡大（ズーム）が要求された場合、アルゴリズムは「Ｚｏｏｍ」パラメータを修正する。「Ｚｏｏｍ」パラメータが半球の半径Ｒと等しい場合、ズームは実行されない。「Ｚｏｏｍ」パラメータがＲを上回る場合、ウィンドウＤＷは半球ＨＳから離れ（視野方向ＯＭにより与えられる軸に沿って）、ピラミッド形の視野は縮小し、ウィンドウＤＷに表される画像セクタは拡大する。したがって、観察者が見える画像セクタの拡大率は、「Ｚｏｏｍ」パラメータとＲの比率に等しい。

アルゴリズムが、Ｒを上回る「Ｚｏｏｍ」パラメータで実行された場合、画像セクタの隣接する２つのピクセルに対応する楕円形画像ＩＤ１上の２つの像点は静止したままであり、解像度の限界に達することなく、撮影された時の状態で、画像が拡大するゾーンにおいて精細度のゲインが得られる。画像の拡大されないゾーンにおいては、関係式Ｌ１＊Ｕ＊Ｆｄ（α）およびＬ２＊Ｖ＊Ｆｄ（α）に従って最も近いピクセルが検索される。この結果、アルゴリズムは楕円形画像ＩＤ１上の画像セクタのいくつかの隣接するピクセルについて同じ像点を検出することになる。しかしながら、これらの拡大されない画像のゾーンでは、楕円形画像の精細度が他と比較して低く、従来の魚眼対物レンズで得られる精細度と等価であるため、本発明が基礎とする前提に従って、用途として二次的であると考えられる。

一般的に、当業者にとっては、分布関数Ｆｄを使用して算出するために中心Ｏに対する半球ＨＳ上の物点の視界角αを検出することが重要であり、投影方法としては他の方法も可能であることは明らかである。

一方がパノラマの前方部の写真で、他方がパノラマの後方部の写真に対応する２つの補完的な関係にある楕円形画像があり、他方の写真は本発明に係る魚眼対物レンズをパノラマの中心を通る軸の周りに１８０°回転させて撮影された写真である場合に、アルゴリズム２を適用することが可能であると解される。この場合、２つの補完的な関係にある半球と「Ｆｒｏｎｔ＿Ｉｍａｇｅ＿Ｐｉｚｘｅｌ」、「Ｒｅａｒ＿Ｉｍａｇｅ＿Ｐｉｚｘｅｌ」の２つの像点が定義される。アルゴリズムでステップＳ１８以下が以下のように修正される。
18’/ pu = L1 * U * Fd (α)
19’/ pv = L2 * V * Fd (α)
20’/ If pz >= 0 then
21’/ Screen_Pixel [i, j] = Front_Image_Pixel [pu, pv]
22’/ If not
23’/ Screen_Pixel [i, j] = Rear_Image_Pixel [L1 - pu, pv]
24’/ End if
25’/ end for
26’/ end for
図１０は、パノラマ画像を撮像し、画面に双方向に表示するステップの概要を示すフローチャートである。このフローチャートは、本書の一部である付録の表２に記載されている。前述の画像を取得するステップＳ１と画像を転送するステップＳ２は同様である。ステップＳ２には、対物レンズの分布関数Ｆｄを使用して楕円形画像の画像セクタのピクセルに対応する点を検索する楕円形画像の歪み補正を含意した、既に説明した方法に従って実行する画像を双方向に表示するステップＳ３’が続く。

ＩＩＩ．本発明に係る実施の形態の魚眼対物レンズの例
楕円形投影用魚眼対物レンズの設計は円柱形レンズの使用を基本としている。この種のレンズは、それ自体、既に知られており、映画ではシネマスコープ形式のレンズとして使用されている。また、この種のレンズは、コンパクトディスクプレイヤーではコンパクトディスクの表面上でレーザビームの位置を高精度に特定するために使用されている。

本発明の一部として、円柱形レンズ（曲率半径が無限大の場合は円環形レンズとも呼ばれる）は画像センサの縦方向の解像度を向上するために、魚眼式の画像撮像を実行するレンズと組み合わせて使用される。１個以上の円柱形レンズを魚眼対物レンズと等価のレンズ群の一端に配置することにより、円柱の軸に対して垂直な方向に沿って画像が拡大され、意図する技術的効果を得ることができる。

本発明に係る一実施の形態の対物レンズについて以下に例をあげて説明する。ただし、本発明はこれにより限定されるものではない。

図１１は本発明に係る魚眼対物レンズ３０の断面図である。ここで、対物レンズ３０はパノラマアダプタ形（「パノラマコンバータ」）で、静止カメラの前部レンズに取り付けられるように設計されている。また、３５ミリ固定対物レンズを有する非一眼レフ（non-SLR, non Reflex）型の民生品カメラにも関する。

対物レンズ３０は、光線の入射側（図の左側）から光線の出射側の方向に、８個のレンズＬ１〜Ｌ８を備えている。レンズＬ１はアクリルの発散メニスカス型の非球面レンズで、前方は凸面で後方は凹面になっている。レンズＬ２はアクリルの収束メニスカス型の球面レンズで、前方は凹面で後方は凸面になっている。レンズＬ３はアクリルの両凸型の非球面レンズである。レンズＬ４は収束メニスカス型の非球面回折性（asphero-diffractive）レンズで、前方は凸面で後方は凹面になっており、後部には回折格子を有している。レンズＬ５はアクリルの収束メニスカス型の非球面レンズで、前方は凹面で後方は凸面になっている。レンズＬ６はＢＫ７（光学システムで使用される標準ミネラルガラスまたはホウケイ酸塩）の平凸型球面レンズで、前方が凸面になっている。

本発明によると、レンズＬ７とＬ８は光軸に垂直な回転軸を有する円柱形レンズである。当業者にはこれらのレンズは光軸に平行な回転軸を有する半径が無限の円環部と等価である。レンズＬ７はＢＫ７の平凹円柱形レンズで、後部が凹面になっている（わずかであるため、図１１で凹面は示されていない）。レンズＬ８はＢＫ７の平凸型円柱形レンズで、前部が凸面になっている（わずかであるため、図１１で凹面は示されていない）。

概要を説明すると、レンズＬ１は、パノラマ画像を希望する視界角（ここでは視界角を１８５°とする）で撮像することができる。レンズＬ２の後部は瞳に対応し、本光学システムの主要な絞りを形成している。レンズＬ４は瞳撮像に貢献する視界レンズである。光屈折機能に加えて、このレンズが有する回折面は、開口半径の多項式の法則に従う光波の位相シフトを発生する。レンズＬ７とＬ８は、求める楕円形の歪みを実行する。これ以外のレンズには特別な役割はないが、最終的な結果である、本発明に係る対物レンズの全体的な性能を発揮することに貢献している。

パノラマアダプタ形レンズ３０の詳細な実施の形態について、本書の一部である付録の表３に記載した。表３は、各表面の特性について、レンズ系の分解図である図１２を参照して説明している。この図では、レンズＬ１の前部と後部はそれぞれＳ１１とＳ１２で表され、レンズＬ２の前部と後部はそれぞれＳ２１とＳ２２で表され、レンズＬ３の前部と後部はそれぞれＳ３１とＳ３２で表され、・・・・、レンズＬ８の前部と後部はそれぞれＳ８１とＳ８２で表されている。

非球面表面は以下の表面方程式により求められる。

z (r) = [(c*r²)/(1 + √(1 - (1 + k) * c² * r²)] + A₁r² + A₂r^{4 +} A₃r⁶ + A₄r⁸ + A₅r¹⁰
ここで、「ｋ」は円錐率定数、「Ａ１」、「Ａ２」、「Ａ３」、「Ａ４」、「Ａ５」は位置に応じて円錐率の係数を調整する定数、「ｚ」は表面の形状、「ｒ」は中心での半径、「ｃ」は曲率半径を意味する。

厚さと直径はミリメータで表される。円錐率は無次元の量で、「０」の円錐率は、円の回転体を表し、「―１」の円錐率は、放物線の回転体を表し、「―１」から「＋１」の間の円錐率は楕円形の回転体を表し、「―１」以下、または「＋１」以上の円錐率は双曲線の回転体を表す。上述の表面方程式で、係数Ａｉは一般的な形状を調整する。

レンズＬ４の回折側は以下の公式により決定される
Φ(r) =β１(r / R0) ² + β２(r / R0) ⁴
ここで、「ｒ」は、レンズ表面にある、該当する点のレンズ中心に対する距離、β１とβ２は、波表面の位相シフトを定義する定数、「Ｒ０」はｒを標準化する定数、「φ」は該当する点で回折表面により生じる位相シフトである。

当業者には、ここに記載されたレンズの組み合わせは、長方形に近い形状の画像センサを得るための一例にすぎないことは明かである。円環形レンズや双円環形レンズ、例えば、非球形表面の円環形などより複雑な形状のものを使用した対物レンズもまた可能である。１つの代替の実施の形態として、本発明に係る対物レンズは、鏡を使用した間接型光学システムにより生成することも可能である。特に、表面が円柱形または円環形の鏡を使用して、画像センサの表面の画像を歪ませたり、広げたりすることができる。

ＩＶ．本発明の範囲―代替の実施の形態
視野を狭めることなく、パノラマ画像を歪ませて、画像センサのピクセル数をより多く網羅するように設計されている魚眼対物レンズを備えた、パノラマ画像を魚眼対物レンズおよび長方形の形状をしたデジタル画像センサにより撮像する方法について説明した。また、歪みパノラマ画像を補正するステップを備えた、この方法により得られるパノラマ画像のセクタを画面に表示する方法についてもすでに説明した。この補正ステップは、従来の円板形画像を得るために画像を３次元空間に転送する前に、画像を補正するものであってもよい。また、対物レンズの分布関数または類似の数学関数により、画面に表示する画像セクタを非補正初期画像に投影する時に、補正を含意して実行することもできる。

使用する魚眼対物レンズの光学的特性または画像セクタに対するその配置、および取得したパノラマ画像を続いて処理するステップについて、当業者には本発明の様々な変形例が可能であることは明かである。また、本発明には様々な用途が可能である。写真およびビデオへの用途の他に、特に本発明は医療、一般的に長方形の画像センサが使用されている、例えば内視鏡にも応用可能である。これらの用途では、使用されるレンズの視界角は通常１８０°以下で、だいたい１４０°のオーダーである。

対物レンズの軸Ｘ１およびＸ２に対する画像センサの配置に関する代替例
図１３は、軸Ｘ２（広がりが大きい方の軸）が、画像センサ１６の対角線の１つに一致するように対物レンズと画像センサはお互いに配置されている本発明に係る方法の代替の実施の形態を示している。本実施の形態は、軸Ｘ２に沿って網羅される画像センサのピクセル数を多くしている。ここで、対物レンズは、軸Ｘ１に沿って（広がりが小さい方の軸）、従来の魚眼対物レンズと比較して、画像を圧縮する分布関数Ｆｄ[Ｘ１]を有している。本実施の形態は、実際には写真の水平な軸に対応することになる軸Ｘ２に沿った画像の精細度に、最大の優先度を与えることになる。

非線形魚眼対物レンズを提供する代替例
本発明に係る方法のもう１つの有利な代替例では、対物レンズがその軸Ｘｉに沿って分布関数Ｆｄ’[Ｘ１]を有している。理解を容易にするため、図１４Ａと図１４Ｂは、楕円形投影非線形魚眼対物レンズの特性を示している。図１４Ａは、像点の相対距離ｄｒ（画像の中心に対する相対距離）をＹ軸に、物点に対応する視界角αをＸ軸に有したグラフである。このグラフでは、２つの最も重要な対物レンズの分布関数、すなわち軸Ｘ１と軸Ｘ２に沿った分布関数Ｆｄ’[Ｘ１]とＦｄ’[Ｘ２]と、軸Ｘｉに沿った分布関数Ｆｄ’[Ｘｉ]が示されている。関連する図５Ｃに示された上述の線形関数Ｆｄ[Ｘ１]、Ｆｄ[Ｘ２]、Ｆｄ[Ｘｉ]は、比較のため点線で示されている。

角α１を下回る視界角で、関数Ｆｄ’[Ｘ１]、Ｆｄ’[Ｘ２]、Ｆｄ’[Ｘｉ]は、それぞれ、対応する線形係数Ｆｄ[Ｘ１]、Ｆｄ[Ｘ２]、Ｆｄ[Ｘｉ]の傾きＫ１、Ｋ２、Ｋｉより大きな傾きを有する。これは０〜α１の視界角を有する物点に対応する像点は、画像センサに定数Ｋ１、Ｋ２、Ｋｉより大きな広がり率で画像センサに投影されるため、お互いがさらに離れることを意味する。視界角がα１を超える場合、関数Ｆｄ’[Ｘ１]、Ｆｄ’[Ｘ２]、Ｆｄ’[Ｘｉ]は、それぞれ、対応する線形係数Ｆｄ[Ｘ１]、Ｆｄ[Ｘ２]、Ｆｄ[Ｘｉ]の傾きＫ１、Ｋ２、Ｋｉより小さな傾きを有する。これはα１〜Ａ／２の視界角を有する物点に対応する像点は（Ａは対物レンズの開口角）、お互いがさらに近づくことを意味する。

この非線形対物レンズにより得られる楕円形画像ＩＤ３を図１４Ｂに示す。楕円形画像は、画像が拡大する楕円形の中央ゾーンＩＤ３−１と、画像が圧縮される周辺ゾーンＩＤ３−２を有している。このため、２つの技術的効果を組み合わせることができる。第１の技術的効果は、軸Ｘ２に沿って画像が広がることによる精細度の向上である。第２の技術的効果は、あまり重要でないと考えられるゾーンＩＤ３−２が圧縮されて劣化することにより、画像の中央ゾーンＩＤ３−１の精細度が向上することである。圧縮されたゾーンの精細度は低くなるが、拡大されたゾーンにおいては画像センサでより多くのピクセル数が網羅されるため、精細度が高くなるという利点がある。

事実、デジタルズームを行う場合、実質的に有利な画像拡大を実行するためには、線形分布関数と比較して、少なくとも±１０％の最大発散度が必要である。ここで「発散度」とは、像点の中心に対する距離と、分布関数が線形の場合に同じ像点に対して得られる中心に対する距離の差のパーセンテージを意味する。最大発散度とは、対応する線形関数から最も離れた非線形関数の点で測定した発散度である。例えば、図１４Ａの曲線Ｆｄ’[Ｘ２]を考察してみると、曲線Ｆｄ’[Ｘ２]が直線Ｆｄ[Ｘ２]から最も離れた像点ｐｍａｘがあることがわかる。点ｐｍａｘの相対距離をｄｒｍａｘ、分布関数が直線の場合、画像の中心に対するこの点の相対距離をｄｒｉｎとすると、最大発散度は以下のようになる。

ＤＩＶｍａｘ％＝[[ｄｒｍａｘ−ｄｒｌｉｎ]／[ｄｒｌｉｎ]]＊１００
事実、非線形分布関数Ｆｄ’[Ｘ１]、Ｆｄ’[Ｘ２]、Ｆｄ’[Ｘｉ]を有する対物レンズを生成するために、本発明に係る対物レンズにアポダイザ（apodizer）を形成するレンズ群を加えることは当業者には理解の範囲である。アポダイザとは、例えば、回折パターンの二次リングを解消するために光学装置の開口を網羅するフィルタとして使用される、当業者にはよく知られた光学システムである。ここで、本発明の主題は、別の目的のためにアポダイザを使用すること、すなわち、パノラマレンズの角度分布を制御し、目的とする非線形を得ることにある。

実際、アポダイザは、回折表面に組み合わせることのできる１個以上の非球面レンズにより、簡単に生成することができる。この光学群として、例えば、前部が凹面で非球面の平凹レンズ、前部に向かって平面部を有する平凸レンズ、前部が凹面で非球面で、後部が回折性を有する凸面のメニスカスレンズを備えたものがあげられる。

アポダイザにより定義される非線形関数Ｆｄを使用していくつかの非線形関数Ｆｄ’[Ｘ１]、Ｆｄ’[Ｘ２]、Ｆｄ’[Ｘｉ]を得ることは、例えば円柱形レンズ群を備えた、上述の種類のレンズ群により実施される。

アポダイザを上述の種類の対物レンズに導入するもう１つの方法として、光ビームを凹面で非球面の歪み鏡に反射する平面鏡を備えた光学システムがある。歪み鏡により反射された光ビームは画像センサに送られる。この実施の形態では、鏡の凹部が有する球面度の不規則性が目的とする用途に必要な角度分布関数Ｆｄを決定する（中心部、端部の歪みなど・・・）。

補正方法とアルゴリズム２の一般化
近代のコンピュータ支援レンズ設計ツールを使用すると、直接的または間接的な光学システム（鏡）を使用して、線形または非線型分布関数を有した、円板形画像より多くのピクセルを網羅する任意の形状の画像を投影する本発明に係る対物レンズの種類のものを設計することができる。

上述の条件で、作成可能な本発明に係る対物レンズの予想として、本発明に係る補正方法を一般化することは有用である。

図１５Ａは、本発明に係る魚眼対物レンズが、長方形のセンサに類似した傾向の形状の歪み画像ＩＤ４を画像センサに投影する場合を示している。複数のカーブＪ（α１）、Ｊ（α２）、Ｊ（α３）、Ｊ（α＝９０°）は、それぞれが同じ視界角（α１、α２、α３、α＝９０°）を有した物点に対応する像点から構成されている点において区別することができる。曲線Ｇ（ψｉ）は、角度ψｉの同じ軸Ｘｉに沿って位置する物点群の投影を表している点で区別することができる。ここで、角度ψｉは、対物レンズが有する広がりの大きい２つの軸Ｘ２、Ｘ２’（これらの軸は画像のセンサの２つの対角線とほぼ同一で、図示されていない）の１つに対する角度である。ここで、曲線Ｇ（ψｉ）、または画像センサへの軸Ｘｉの投影は、レンズの物理的な欠陥により一直線にならないため、この歪みが生じていることがわかる。この歪みは、本発明に係る補正方法の実施を決して妨げるものではなく、複数の本発明に係る対物レンズの分布関数Ｆｄ[Ｘｉ]（α）を対物レンズのコンピュータ支援設計時に数量化する必要があるだけである。分布関数Ｆｄ[Ｘｉ]（α）の数量化は、角度ψ、αにより定義される物点ごとに歪み画像ＩＤ４上の対応する像点の位置を割り当てる表の形式をとることができる。画像ＩＤ４を（球形部の接線方向にスライドする双方向の画像セクタの形式で）表示するマイクロコンピュータのメモリ空間を節約するため、特定の数の物点を間引いて、表を標本化することもできる。間引かれた像点ごとの分布関数Ｆｄ[ψｉ]（αｉ）は、隣接する像点の分布関数を補間することにより算出することができる。

図１５Ｂを参照して、点Ｐ（ｐｘ、ｐｙ、ｐｚ）を画面（図に示されていない）に表示される画像セクタの像点Ｅ（ｉ、ｊ）の球形部ＨＳに投影する例として考察する。点Ｐ（ｐｘ、ｐｙ、ｐｚ）は、角度ψとαを決定している。角度ψは、点Ｐ（ｐｘ、ｐｙ、ｐｚ）の平面ＯＸＹへの投影である点「ｍ」が軸ＯＸに対してなす角度である。角度αは、点Ｐ（ｐｘ、ｐｙ、ｐｚ）と球形部ＨＳの中心Ｏを通る直線Ｌの線分が軸ＯＺに対してなす角度である。すでに説明したように、点Ｐ（ｐｘ、ｐｙ、ｐｚ）は、撮影したパノラマの物点と等価であり、球形部ＨＳの中心Ｏは撮影したパノラマの中心と等価であり、直線Ｌの線分は入射光線と等価であり、軸ＯＸは対物レンズの光軸を表し、角αは物点Ｐ（ｐｘ、ｐｙ、ｐｚ）の視界角を表す。

角度αとψが以下の角度の間であり、対物レンズの分布関数は、例えば以下に一部を示す表Ｔ１の角度αｉ、αｉ＋１、ψｉ、ψｉ＋１について数量化されているとする。

ψｉ＜ψ＜ψｉ＋１
αｊ＜α＜αｊ＋１
点Ｐ（ｐｘ、ｐｙ、ｐｚ）の歪み画像ＩＤ４への投影である点Ｐ’（ｐｕ、ｐｖ）の座標（ｐｕ、ｐｖ）は、例えば、４つの値で補間するなどの補間により、簡単に算出することができる。

pu = [(pu) _{i, j} + (pu) _{i + 1, j} + (pu) _{i, j + 1} + (pu) _{i+ 1, j + 1}]/ 4
pv = [(pv) _{i, j} + (pv) _{i + 1, j} + (pv) _{i, j + 1} + (pv) _{i+ 1, j + 1}]/ 4
（表Ｔ１）

これにより、上述のアルゴリズム２は行１６から１９を以下のステップで差し替えることにより一般化することができる。

[search for the angle ψ]
if px > 0 then
ψ = arc cos (px/ √(px²+ py²) )
if not if px < 0
ψ = - arc cos (px/ √(px²+ py²) )
if not if px = 0 and py > 0 then
ψ = π/2
if not if px = 0 and py < 0 then
ψ = - π/2
if not
ψ = 0
End if
pu = L2 * Fd (ψ)(α) (1)
pv = L2 * Fd (ψ)(α) (2)
これらのステップで、Ｆｄ[ψ]（α）（１）は、球形ＨＳに属する点Ｐ（ｐｘ、ｐｙ、ｐｚ）の画像ＩＤ４上への投影に対応する点Ｐ’（ｐｕ、ｐｖ）の座標「ｐｕ」を意味し、点Ｐはそれ自体、表示される画像セクタに属する点（ｉ、ｊ）の投影である（図１５Ｂには示されていない）。同様に、Ｆｄ[ψ]（α）（２）は、点Ｐ’（ｐｕ、ｐｖ）の座標「ｐｖ」を意味する。

したがって、アルゴリズム２は、本発明の意味の範囲で、あらゆる種類の対物レンズに一般化される。線形楕円形画像の場合、関数Ｆｄ[ψ]（α）は以下の数式で表すことができ、数量化テーブルを作成する必要はない。

Fd [ψ](α）=[cos（ψ）*２(π／α)*(L1/L2); sin（ψ）*2*（π／α）]

以上の例で、本発明に係る対物レンズが複数の広がりの大きい軸（Ｘ２、Ｘ２’）を有することができることを示した。この例はまた、広がりの大きい１つ以上の軸は広がりの小さい軸Ｘ１に対して必ずしも垂直である必要はないことも示している。

付録（本書の一部を形成する）

デジタルパノラマ画像を画面に表示する従来のシステムを示す図 長方形の画像センサに投影された魚眼形パノラマ画像を示す図 ２次元パノラマ画像を３次元デジタルパノラマ画像に変換する従来の方法を示す図 本発明に係る魚眼対物レンズを備えたパノラマ画像撮像システムの概略断面図 本発明に係る画像撮像方法を実施するために使用する魚眼対物レンズの光学的特性を示す図。 本発明に係る画像撮像方法を実施するために使用する魚眼対物レンズの光学的特性を示す図 本発明に係る画像撮像方法を実施するために使用する魚眼対物レンズの光学的特性を示す図 デジタルパノラマ画像を表示するシステムを示す図 本発明に係るパノラマ画像を補正する第１の方法を示す図 本発明に係るパノラマ画像を補正する第１の方法を示す図 第１の補正方法を含むパノラマ画像を表示する方法を説明するフローチャート 本発明に係るパノラマ画像を補正する第２の方法を示す図。 第２の補正方法を含むパノラマ画像を表示する方法を説明するフローチャート 本発明に係る一実施の形態の魚眼対物レンズの断面図 図１１に示された対物レンズを構成するレンズ系の分解断面図 本発明に係る一代替実施例のパノラマ画像撮像方法を示す図 本発明に係るもう一つの代替例のパノラマ画像撮像方法を示す図 本発明に係るもう一つの代替例のパノラマ画像撮像方法を示す図 本発明に係るさらに別の代替例のパノラマ画像撮像方法を示す図 本発明に係るさらに別の代替例のパノラマ画像撮像方法を示す図

Claims (18)

1. 光軸に対して所定の視界角を有する魚眼対物レンズによって矩形状の画像センサ上にパノラマ画像を投影するステップを含み、
   前記魚眼対物レンズが、視界を低減することなく、円板状画像によってカバーされるピクセル数より多いピクセル数をカバーする円板状ではない歪んだパノラマ画像である初期画像を前記画像センサ上に投影するために、前記光軸に垂直な複数の軸に沿って変化する像点分布関数を有し、前記光軸に垂直な第１の軸（Ｘ１）に沿って画像の最小広がり率を有し、前記光軸に垂直な少なくとも第２の軸（Ｘ２）に沿って画像の最大広がり率を有し、前記画像センサに投影される画像が前記第２の軸に沿って拡大されることを特徴とする外部パノラマ画像を撮像する方法。
2. 前記第１の軸は前記第２の軸に垂直であり、前記初期画像が楕円形状である請求項１に記載の外部パノラマ画像を撮像する方法。
3. 前記画像センサが、前記楕円形状の初期画像の長軸が前記画像センサの１つの有効長と一致するように配置される請求項２に記載の外部パノラマ画像を撮像する方法。
4. 前記画像センサが、前記楕円形状の初期画像の長軸が前記画像センサの対角線と一致するように配置される請求項２に記載の外部パノラマ画像を撮像する方法。
5. 前記初期画像が少なくとも１つの実質的に拡大された領域と少なくとも１つの実質的に圧縮された領域とを有するように、魚眼対物レンズの前記像点分布関数が、物点の像点の相対距離が前記物点の視界角に比例する線形像点分布関数に対して少なくとも±１０％の最大発散度を有する非線形像点分布関数である請求項１から請求項４のいずれか一項に記載の外部パノラマ画像を撮像する方法。
6. 前記魚眼対物レンズが、所定の視界角に応じたパノラマ画像を撮像するレンズ群と、前記魚眼対物レンズの光軸に垂直な回転軸を有する少なくとも１つの円柱形レンズとを含む請求項１から請求項４のいずれか一項に記載の外部パノラマ画像を撮像する方法。
7. 請求項１から請求項６までのいずれかに記載の方法に従って歪んだ初期パノラマ画像を画像センサ上に撮像する撮像ステップと、前記歪んだ初期パノラマ画像を歪みのない画像に変換する変換ステップ（Ｓ３ ' ）とを備えた画像表示方法。
8. 前記変換ステップは、前記歪んだ初期画像を歪みのない円板状画像に変換するステップであり、前記円板状画像が前記初期画像により網羅されるピクセル数より多い数の像点を有するように、前記補正画像の直径を選択するものである請求項７に記載の画像表示方法。
9. 前記歪んだ初期画像が楕円形状であり、前記変換された円板状画像は、前記楕円形の初期画像の長軸方向のピクセル数と少なくとも同じピクセル数の直径を有する請求項８に記載のパノラマ画像表示方法。
10. 画面に表示されるべき画像セクタの像点の色を決定するために、該像点を初期画像上に投影する投影ステップであって、該ステップは前記魚眼対物レンズの光学的特性を表わす分布関数手段によって実行され、初期画像の歪みの補正ステップ（Ｓ３ ' ）が該投影ステップに含まれる請求項７に記載のパノラマ画像表示方法。
11. 前記投影ステップは、前記画像セクタの像点を球形部に投影する第１ステップと、前記球形部に投影された像点を前記初期画像に投影する第２ステップを有する請求項１０に記載のパノラマ画像表示方法。
12. 光軸に対して所定の視界角を有し、円板状画像によってカバーされるピクセル数より多いピクセル数をカバーする円板状ではない歪んだパノラマ画像を前記画像センサ上に視界を低減することなく投影する光学手段を備える魚眼対物レンズであって、前記光軸に垂直な複数の軸に沿って変化する像点分布関数を有し、前記光軸に垂直な第１の軸（Ｘ１）に沿って画像の最小広がり率を有し、前記光軸に垂直な少なくとも第２の軸（Ｘ２）に沿って画像の最大広がり率を有し、画像が前記第２の軸に沿って拡大される魚眼対物レンズ。
13. 前記光学手段が、画像が少なくとも１つの実質的に拡大された領域と少なくとも１つの実質的に圧縮された領域を持つように、物点の像点の相対距離が前記物点の視界角に比例する線系像点分布関数に対して少なくとも±１０％の最大発散度を有する非線形像点分布関数を備える請求項１２に記載の魚眼対物レンズ。
14. 所定の視界角に応じてパノラマ画像を撮像するレンズ群と、前記魚眼対物レンズの光軸に垂直な回転軸を有する少なくとも１つの円柱形レンズとを含む請求項１２または請求項１３に記載の魚眼対物レンズ。
15. 前記光学手段がアポダイザである請求項１３または請求項１４に記載の魚眼対物レンズ。
16. 前記アポダイザは、少なくとも１枚の非球面レンズを含む請求項１５に記載の魚眼対物レンズ。
17. 前記アポダイザは、歪み鏡を含む請求項１５に記載の魚眼対物レンズ。
18. 静止カメラの非パノラマ対物レンズの前部に設置可能なパノラマアダプタ型である請求項１２から請求項１７のいずれか一項に記載の魚眼対物レンズ。

Images