JP3650578B2

JP3650578B2 - 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム

Info

Publication number: JP3650578B2
Application number: JP2000297723A
Authority: JP
Inventors: エドコムエクパルフランク; 信也山内
Original assignee: 株式会社立山アールアンドディ
Priority date: 2000-09-28
Filing date: 2000-09-28
Publication date: 2005-05-18
Anticipated expiration: 2020-09-28
Also published as: JP2002109531A; US6671400B1

Description

【０００１】
【発明の属する技術分野】
本発明は、概して広角画像システムによって作成された画像の歪みを補正する画像処理の分野に関する。特に本発明は、画像の歪みを除去するために、例えばパノラマ画像のような広角画像内で相互的なナビゲーションを可能にするシステムに関する。
【０００２】
【従来の技術】
近年、パノラマ画像埋没操作、テレプレゼンス、仮想現実などの分野における研究と応用開発にかつてなかったほどの興味が寄せられている。パノラマ画像埋没操作を使うと、使用する画像システムの視野内という制約はあるものの、ユーザは遠隔の景色中に埋没して望む方向を見ることができる。埋没式テレプレゼンスでは遠隔地の全方向の景色を生画像で、また、埋没式バーチュアル・リアリティーでは一般に、埋没する画像を合成して表示する。
【０００３】
埋没式パノラマ画像システムでの主な課題は、システムを実用レベルかつ低コストにするのに十分な視覚情報をどのように符号化するかということである。１つの解決策としては方向感知装置を用いてユーザの希望する方向を感知して、入力情報を用いて通常のカメラを回転させてユーザの指示する方向の視野を撮影することである。このようなシステムはクーガラン（Coughlan）その他に与えられた米国特許4,728,839に記載されている。ここでは、２人以上のユーザが遠隔の景色を快適に操作することができないという欠点のほか、方向指示の信号発信と、それに合う方向にカメラ位置を合わす操作との間に遅れが避けられず、このシステムの実用価値が大きく損なわれる。この問題をより優美に解決する方法はパノラマ画像を使用することである。グレガスパル（Greguss Pal）に与えられた米国特許4,566,763はその一解決法を示している。
【０００４】
サトーハルオ（Sato Haruo）に与えられた米国特許5,434,713に説明する魚眼レンズシステムはもう１つの解決法である。しかしパノラマ画像システムは、作り出す画像内に大きな非線形の幾何学的な歪みを伴うため、人間がその画像を快適にみようとすると、歪みを補正する必要がある。文献によればこの歪みは透視歪みと呼ばれ、これを補正するプロセスを透視補正視野の生成と呼ぶ。
【０００５】
透視歪みの問題にはいくつかの解決策が存在する。その１つはスティーブンズィマーマン（Steven Zimmermann）に与えられた米国特許5,185,667に説明されている。説明によればシステムは複雑な三角変換を用い、数学的に理想的な魚眼レンズを前提としている。現実の魚眼レンズは普通、理想からはずれており、’667特許に説明するシステムが使用できるのは、理想的な形状を前提としたときに避けられない誤差を許容できる場合に限られる。そのような用途であってもこの方法は魚眼レンズ以外のパノラマ画像システムには拡張できない。
【０００６】
ガリシエン（Gullischen）その他による米国特許6,005,611に記載されている解決法によって、’667特許に示すシステムの制約の一部が改善される。’611特許は１組の投影方程式から得られた制御点と透視歪みを補正するための２変数多項式を使用する。’611特許で提示された解決法は’667特許のそれよりも簡単で高速ではあるが、制御点の生成に魚眼レンズの投影方程式を使用することに依存している。この方程式は理想的な魚眼レンズを仮定しているため実用価値は限定される。さらに’611特許の方法を他のパノラマ画像システムに拡張しようとすると、それぞれのシステムに合う投影方程式を規定することが必要となる。方程式の作成は当初可能であったとしても手間がかかる。通常、投影方程式はパノラマ画像システムに対して数学的な理想状態を仮定するため、’611特許の方法でも、’667特許の主要な欠点の１つを解決できない。
【０００７】
【発明が解決しようとする課題】
上記の背景から、パノラマ画像システムの投影方程式を作成する必要がなく、数学的に理想的なパノラマ画像システムを仮定しなくとも、任意のパノラマ画像システムから透視歪みを補正した画像が作れるようなシステムに対して強い要望がある。また汎用コンピュータを用いて（典型的には毎秒３０フレームの）リアルタイムで画像を作成するシステムの要望もある。
【０００８】
さらに、任意のパノラマ画像システムから、任意の精度で透視歪みを補正した画像が作れるようなシステムに対して強い要望があり、これがあれば補正済みの画面上で正確な測定値を利用するようなシステムを作ることが可能となる。
【０００９】
以下に、パノラマ画像ナビゲーションシステムに関して、本発明の特徴を記述及び主張し、歪みのある広角画像から歪みのない画像を得るのに適用可能であるニューラル・ネットワークを教示し、使用する方法及び装置を本発明が開示することが明確となるであろう。したがって、本発明の適用範囲は、パノラマ画像の処理に限定されるものではない。
【００１０】
以下、『画像の歪み』という単語は、例えば３次元のパノラマ景色の環状画像で見られる内在した（凡庸な）歪みと、画像システムによって作られてしまう光学的歪みのような複雑で非線形的な歪みとの両方に対して適用されるものとして理解されるべきである。画像システムでは、光学レンズユニットの参照原点を通過する入射光線の方向は、正確に画像上にマッピングされるわけではない。
【００１１】
＜発明のまとめ＞
上記の従来の技術の課題を解決することが本発明の目的である。特に、十分に歪みの除去した対応する景色画像が得られるように、画像装置によって取り込まれる歪みのあるパノラマ画像の任意の領域が選択できる画像ナビゲーションシステムを供給することが目的である。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明はパノラマ画像システムの構築を行う。本発明のパノラマ画像システムでは、ニューラル・ネットワークによって画像の歪みの補正が達成される。ニューラル・ネットワークは、視覚的な目盛り点の配列（目盛りパターン上に定義）を有する目盛りパターンを用いて、前もって教示される。
【００１３】
特に、目盛りパターンはパノラマ画像システムのレンズユニットの周囲に配置され、目盛りパターンを有する（歪みのある）目盛りパノラマ画像がこのシステムによって取り込まれる。レンズユニットの参照原点から見た目盛りパターン上の目盛り点のそれぞれの視点は計算又は計測される。これらの視点は、目盛り画像内に現れる対応目盛り点でのそれぞれの位置に対して、例えば１組の角座標（仰角、アジマス）として特定される各々の方向と合わせられる。
【００１４】
その後、ニューラル・ネットワークへの入力に目盛り方向のセットを用いて、ニューラル・ネットワークは教示される。ネットワークからの対応する反応の出力は、目盛り画像内の目盛り点の対応位置を表す座標のセットと比較され、誤差が得られる。この誤差は、適切なアルゴリズムを用いて、十分な教示が達成されたと判断されるまで、ニューラル・ネットワークの内部パラメータ（例えばニューロン結合の重みの値）を変更するために用いられる。
【００１５】
ニューラル・ネットワークがいったん教示されると、任意の歪みのある広角画像が歪みのないサブ画像として表示された場合、例えば表示スクリーン内の画素の矩形配列から作られた視野ウィンドウに表示された場合、ユーザによって、サブ画像用の特定の視点が指定される。これによって、特定の視点が視野ウィンドウの中心に位置する画素に割り当てられる。次に、視野ウィンドウの他の画素の各々に対して、中心画素の視点と中心画素から見た他の画素の位置に基づいて、対応する視点が計算される。
【００１６】
以上のようにして得られた視点のセットは、その後、連続的に教示されたニューラル・ネットワークに入力される。その結果、ニューラル・ネットワークからの反応として、入力された視点にそれぞれ対応する歪みのある広角画像内の位置を特定する情報が得られる。その後、歪みのある広角画像内の各々の位置（すなわち、各々の位置は、特定の視点方向、つまり視野ウィンドウ内の特定の画素位置に合わせられている）における画素のビデオ特性が抽出され、視野ウィンドウ内の対応する画素に割り当てられる。
【００１７】
以上により、歪みのないサブ画像が視野ウィンドウ内に現れる。この歪みのないサブ画像は、元の実世界の景色内の選択された一部を特定の視点方向に沿って見ることによって見える画像に対応している。ニューラル・ネットワークによる位置データの生成は、主に一連の単純な乗算及び加算（その数はパノラマ画像システムの歪みの複雑さに依存する）を含んでいる。最も利用しやすいパノラマ画像システムでは、必要とされる乗算及び加算の数は非常に少なく、一般に用いられるパーソナルコンピュータで、複数のユーザがパノラマ画像のリアルタイム調整を同時に行うことが可能である。
【００１８】
上記のように歪みのあるパノラマ画像から抽出されたデータを用いて作成された歪みのないサブ画像は、コンピュータも似たのような適切な表示システム上に表示される。本発明では、パノラマ画像システムによる歪みのない３次元の実世界の景色から歪みのある２次元画像の作成することは、２次元画像内のそれぞれの点上で３次元空間内の特定の点に関して定義される方向の入出力マッピングとみなされる。人工ニューラル・ネットワークは、任意の精度で任意の入出力マッピングを近似できることが知られている。ニューラル・ネットワークは、任意の精度でパノラマ画像システムに特徴的な歪みを近似できるので（例えば機械による画像に基づく工業的な処理の制御などの）パノラマ画像からパラメータを正確に測定する場合にも、本発明を適用することができる。
【００１９】
本発明は、使用されている特定のパノラマ画像システムを用いて取り込まれた画像から得られたサンプルデータのみを利用しており、パノラマ画像システムに関する数学的な理想化を前提としない。さらに、パノラマ画像システムの投影方程式の導入も必要としない。それ故、どのようなパノラマ画像システムの利用も可能であり、望んだ精度で特徴的な歪みを近似することができる。
【００２０】
以上のように、本発明は、任意のパノラマ画像システムで取り込まれたパノラマ画像から歪みを補正した任意の画像を作成するシステムを提供することを目的とする。また、本発明は、複数のユーザが、同一又は異なる透視補正視野を同時に見られるようにすることを目的とする。また、任意のパノラマ画像システムに特徴的な歪みを任意の精度で近似し、透視補正視野上で正確な測定を行うシステムを作ることを目的とする。さらに、パノラマ画像システムの投影方程式の決定、又はパノラマ画像システムに係る理想化の前提を必要とせずに、上記の目的を達成することも、本発明の目的である。本発明のこれらの目的及び本発明の更なる目的は、後述の詳細な説明で明らかとなるであろう。
【００２１】
【発明の実施の形態】
本発明の説明に使用する方法を理解するためには、人工ニューラル・ネットワークの概要を説明する必要がある。人工ニューラル・ネットワークは人間や動物の神経系統に見られるニューロンの構造や動作原理を大まかなモデルとする、簡単な処理ユニットで構成された非線形マッピング・システムである。このことから人工ニューラル・ネットワークを構成する処理ユニットは、しばしば人工ニューロンと呼ばれる。
【００２２】
人工ニューロンがモデルとする生体ニューロンの一部は木の枝状で、近傍のニューロンとの間で信号を配分・集約する。その細胞体は信号を集積したり反応を生成したりする機能を有し、木の枝部分は細胞体が生成した反応を近傍のニューロンに配送する機能を果たす。図１に示すように、生体ニューロンの重要な要素は人工ニューロンと相似の機能を有する。生体ニューロンは自己の内部状態と入力とに応じた反応を生成する。ただしニューロンの反応はその結合の強さ（重み）によって決まると考えられている。図１を参照すると、人工ニューロンの反応yは次の式で代表される。
【００２３】
【数１】

【００２４】
ここでf( )は活性関数とよばれるもの（通常、単純な非線形関数）である。また、
【００２５】
【数２】

【００２６】
は結合の重みであり、
【００２７】
【数３】

【００２８】
は外部入力又は近傍のニューロンの出力である。式（１）は、人工ニューロンの反応を計算する唯一の方法ではないが、広く利用されている。
【００２９】
いくつかの人工ニューロンを繋ぎ合わせて多種類の動作形態をもつネットワークを形成することにより、興味深くかつ有益な挙動をするさまざまな人工ニューラル・ネットワークが得られる。人工ニューラル・ネットワークは普通、非線形入出力マッピング・システムに利用される。入出力マッピングの種類、すなわち人工ニューラル・ネットワークによって実現できる機能は、そのネットワーク内の結合に依存している。ある広範な制約条件を満足させる任意の機能は、適当な大きさと構造をもつ人工ニューラル・ネットワークによって、任意の精度で近似できることがわかっている。
【００３０】
ニューラル・ネットワークの構造は任意に選択はできるが、普通、層状のネットワークが広く用いられている。層状ネットワークはニューロンが層状に並んでおり、特定の層にあるニューロンが前の層とつながって、そこから信号をうけとり、次の層に出力（反応）を伝えるように結合されている。外部入力は最初の層に供給され、ネットワークの出力は最後の層から得られる。中間の層は入力・出力のいずれからも直接観察できないため、普通、隠れた層と呼ばれる。図２は３層ニューラル・ネットワークの一例である。
【００３１】
生体組織と同様に、人工ニューラル・ネットワークは、例から学習する能力を有する。ニューラル・ネットワークは教示の過程を通じて、前例から学習する。特別の指示なしでも入力データから学習することができる、いわゆる自己組織化人工ニューラル・ネットワークもあるが、本発明では、指示つき学習が必要な人工ニューラル・ネットワークを用いて学習データに含まれる機能を学習し、そのデータが表すシステムをモデル化するようにしている。
【００３２】
指示つき学習は、２セットの例題データを使用して行う。セットの１つは入力であり、もう一方のセットはモデル化するシステムの反応を表す。後者のセットはニューラル・ネットワークに要望する反応として使用する。学習時には入力データが与えられ、その反応が要望する出力と比較される。そのとき、いくつかの学習アルゴリズムの１つと関連して、ネットワークの実際の出力と要望する反応との差（これは、ネットワークの誤差と呼ばれる）を用いることができ、誤差が最小になるようにネットワーク内の結合の重みが変更される。このプロセスは指定の条件が満たされるまで繰り返し行われる。ニューラル・ネットワークを学習させる方法としてよく利用される方法の一つは、後方伝播(back propagation：バック・プロバケーション)という名で知られている。
【００３３】
教示データによって表されるシステムの特性をネットワークが十分学習したとみなされると、その重みを保存する。その後、その重みは入力に対応した正しい反応を得るのに用いられるが、このときの入力は最初の学習時のセットに含まれていないものもある。当初学習させたセットにない入力データに対し、かなり正確に反応できるように訓練されたニューラル・ネットワークの能力は普遍化と呼ばれており、本発明はその能力を十分に利用する。
【００３４】
本発明によれば、パノラマ画像システムを用いて歪みのない実世界の景色から歪んだパノラマ画像を作成することは、歪みのない実体空間中の座標と歪んだ画像空間中の座標との間の入出力マッピングとみなされる。どんなパノラマ画像システムでも、歪みのない実世界座標を示すデータと歪んだパノラマ画像座標を表すデータの２組のサンプル・データセットを得ることができる。こうして得られたデータを用いて、希望する精度で特定のパノラマ画像システムを近似するのに十分複雑なニューラル・ネットワークを教示することが可能である。
【００３５】
後述する本発明の実施の形態の説明において、適切なニューラル・ネットワークを自動的に構築する具体的なアルゴリズムを提示する。しかし、使用する特定のパノラマ画像システムの複雑さについて、前もって知識があれば、最適なネットワークの構造を手動で選択するのに役立つ。さらに、たとえばカスケード相関（階層なしのネットワークを生成する構築アルゴリズム）や還元ネットワークなど適用できる数多くの構築アルゴリズムが存在する。
【００３６】
図４には、本発明の実施の形態が示されている。パノラマ画像システム２０は、米国特許4,566,763に説明されているパノラマ画像ブロックのようなパノラマ・レンズの組み合わせと、ビデオ又は静止画カメラから構成され、実世界の景色の歪んだパノラマ画像を生成する。特許’763に記されたパノラマ画像ブロックは、いくつかの反射面と屈折面をもつ小型の組み立て品で構成される。以降、このパノラマ画像システムを単にＰＡＬ (Panorama Annular Lens) システムと呼ぶことにする。このシステムは図５に示すような歪みをもつドーナツ形の平面状の環状画像を生成する。
【００３７】
図５において、パノラマ画像ブロックは８０で示される。パノラマ画像ブロックの原点は８１で示され、図５で示されるＸＹＺ座標の原点に対応している。パノラマ画像ブロック８０の中心軸、すなわち一般に取り込まれた実世界の景色の垂直方向に近い方向を向いている軸は、ＸＹＺ座標システムのＺ軸に対応している。広角レンズユニットの『原点』という言葉は、ここではレンズユニットの視点方向の視点となる参照点という意味で用いられる。すなわち、視点方向のアジマス角度及び仰角は、原点８１に対して測定される。
【００３８】
記述を簡単にするため、中心に垂直であり原点を含む面、すなわち図５のＸＹ面が水平面として参照される。これは必ずしも実世界の実際の水平面に対応している必要はない。ＰＡＬシステムは、３６０度の水平方向の視野と１８０度の広さまで広がる垂直方向の視野を有する。水平面上の最大角は
【００３９】
【数４】

【００４０】
によって示され、一方、水平面下の最小角は
【００４１】
【数５】

【００４２】
によって示される。それぞれ異なる仰角を有する（原点８１から見られる）実世界の対象空間内の点は、ＰＡＬ画像内での異なる同心円状にそれぞれ存在する。同様に、お互い並行であり、異なる仰角方向を向いている実世界の対象空間の点（すなわち、パノラマ画像ブロックの中心軸を通る共通の垂直平面上に存在する）は、ＰＡＬ画像内の半径方向の線上に投影される。
【００４３】
ビデオカメラの出力は、カメラに内蔵されているビデオデジタル回路、又は４０に示す汎用コンピュータ内にあるビデオデジタル化回路、又は独立のデジタル化装置でデジタル信号化される。このビデオデジタル化はリアルタイム（普通毎秒３０フレーム）で行うことができる。ビデオデジタル化されたパノラマ画像は一般に３０で示す適当な記憶装置に保存され、コンピュータ４０により取り出せる。記憶装置はコンピュータ４０のランダム・アクセス・メモリー(ＲＡＭ)でもよいし、コンピュータ４０に動的に接続された適当な保存媒体でもよい。この画像に関して、３０での保存の前後に、アンチエイリアス回路（ギザギザを滑らかにする）に通したり、適当な前処理工程を行ったりすることも可能である。また、コンピュータ４０として、現在手に入る各種のパーソナルコンピュータを用いることが可能である。
【００４４】
図４では教示したニューラル・ネットワークは一般に１０で示し、コンピュータ４０によってアクセス可能である。ネットワークはコンピュータ４０のＲＡＭに内蔵されていてもよい。教示したニューラル・ネットワーク１０はその構造の種類と、教示したときの最終時の結合強度に対応する重みの値のセットとによって表される。
【００４５】
ユーザ入力データ５０は、コンピュータ・マウスのような適切な入力装置とコンピュータ４０上の適切な入力ポートを介して得られる。ユーザ入力データ５０によって、少なくとも歪みのあるパノラマ画像上の位置が、上記のＰＡＬシステムの原点から見た特定の方向に対応する方向（角座標の組）として指定される。歪みのあるパノラマ画像上の位置は、垂直方向（仰角方向）及び水平方向の角度（アジマス角度）の範囲内にあり、ＰＡＬシステムに包含されている。さらに、ユーザ入力によって、歪みのある出力画像のサイズ（表示スクリーン上の画素の矩形配列のような出力画像を作る視野ウィンドウに用いられる画素数）、ズーム率、出力画像の望ましい方向を記述するパラメータを指定するようにすることも可能である。
【００４６】
コンピュータ４０上のソフトウェアがユーザ入力５０及び入力画像バッファ３０内の歪みのあるパノラマ画像を、教示したニューラル・ネットワーク１０の操作と結合して、歪みのない画像を生成し、出力画像バッファ６０に保存する。ここでも、出力画像バッファ６０はコンピュータ４０のＲＡＭ上であっても、その他の適当な記憶装置であってもよい。出力画像バッファ６０に保存された視野補正ずみの画像は、一般に７０で示す適当な表示装置上に表示される。
【００４７】
その後、出力画像バッファ６０に保存された透視補正視野の画像は、一般に７０で示される適切な表示装置に表示される。表示装置７０としては、コンピュータモニタ又は頭に装着するディスプレイを用いることができる。
【００４８】
図３は、教示したニューラル・ネットワーク１０を得る過程を示すフローチャートである。まずネットワーク教示用に２つのデータセットを取得する。第１のデータセットは、（パノラマ画像システムの光学装置の原点に関して）目盛りパターン内で対応する目盛りの点のそれぞれの目盛り方向のセットの座標からなる。パノラマ画像ブロックがＰＡＬシステムの場合、その目盛りパターンは例えば円筒の白い表面に等間隔で描かれた黒い点でよい。この円筒を目盛り円筒と呼ぶことにする。
【００４９】
この目盛りパターンを用いて、ＰＡＬシステムの原点に関する目盛り点のそれぞれの方向、これらの方向と歪みのあるパノラマ画像内の対応点との調和をできるだけ容易に決めることが目的である。したがって、これらの目盛り点と目盛りパターンとの背景とはできるだけ大きなコントラストがあることが好ましい。
【００５０】
目盛り円筒は、ＰＡＬシステムの光軸が円筒の中心軸と同一になり、パノラマ画像ブロック８０を含むように並べられる。円筒の長さ及び半径、目盛りパターンは、パノラマ画像ブロック８０がだいたい円筒の中心に位置するように選択され、その結果、目盛りパターンがパノラマ画像ブロック８０の視野を全体的に十分覆うようになる。すなわち、（垂直方向での）目盛り方向の範囲は、少なくともパノラマ画像ブロック８０によって得られる仰角の最大範囲を覆うことになる。
【００５１】
そのとき、ＰＡＬ画像の目盛りパターンは、図５に示す平面状の環状画像８２内のそれぞれの場所での画素の値のセットとして得られる（ここで、『画素の値』とは画像要素での輝度／クロミナンスの特性データを意味する）。ＰＡＬシステムの中心軸と目盛り円筒の軸とを調整することによって、パノラマ画像ブロック８０の原点に関して、それぞれの目盛りの点の方向を決定すること、続いて目盛りパターンで表される歪みのあるパノラマ画像のそれぞれの位置にこれらの方向を合わせることが可能となる。これは、目盛り円筒表面のすべての点がＰＡＬシステムの中心軸から同一の半径距離上に存在することによる。しかし、例えば引き延ばした箱などの内面に目盛りパターンを作成するなど、目盛りパターンに関して、他の様々な配置を行うことも等しく可能である。
【００５２】
そのとき、目盛り点が目盛りパターンのＰＡＬ画像上に存在する場所は、実際の目盛りパターンのそれぞれ対応する目盛り点に合わされる。これにより、これらの目盛り点に対応するそれぞれの目盛り方向（ＰＡＬ画像ブロック８０の原点８１と目盛り点との間で各々測定又は計算されたもの）は、ニューラル・ネットワークの教示用の第１の教示データのセットとして得られる。一方、これらの目盛り方向は、第２の教示データセットを作り出す位置のセットを用いて、目盛りパターンのＰＡＬ画像上での対応位置（例えば半径と角度との組み合わせとして表される各々の位置を有する）と合わされる。各目盛り方向は、アジマス角の角度θ（０から３６０度まで）と水平面によって２分される仰角（垂直方向の角度）である。
【００５３】
【数６】

【００５４】
によって表される。
【００５５】
図８は、円筒９０の内面上に作成される目盛りパターンを用いた場合の目盛り情報源を示す概念的なダイアグラムである。記述を簡単にするため、目盛りパターンは、点で作られた３つのリングのみから構成されている例を示している。リング９２は、図示されているように円筒９０内に位置しているパノラマ画像ブロック９３の水平面に等しい方向となっており、円筒９０の軸はパノラマ画像ブロック９３の光軸と同一方向を向いている。
【００５６】
９４は、パノラマ画像ブロック９３の原点９６から点９４まで延長する線の方向である視点を有する目盛り点を示しており、
【００５７】
【数７】

【００５８】
で示される仰角と矢印９５で示されるアジマス方向とを有している。
【００５９】
上記のようにして得られた教示用データセットを用いて、最小構成に近い３層ニューラル・ネットワークを構築する。すなわち入力点の水平および垂直座標をそれぞれのための入力ニューロン２個、隠れたニューロン１個、出力点の水平および垂直座標のそれぞれのための出力ニューロン２個で構成する。隠れたニューロンの初期の重みは任意の値を入れる。教示には後方伝播法を用いる。
【００６０】
重み及びネットワーク出力に対してはＳ字放射化関数を使用する。ネットワーク性能の測定には平均二乗誤差関数を選択し、ネットワークの平均二乗誤差に対する上限を指定した上で、入力として最初のデータセットの点を提示して学習を開始する。出力された反応を第２のデータセット中の予想反応値と比較する。この技術に精通した人なら理解できるが、平均二乗誤差の上限値はネットワークの最終的な大きさに影響し、初期の最小構成に近いネットワークよりも大きいものが妥当な性能を得るのに必要となる。ネットワークの大きさは次に示すアルゴリズムにより、学習を繰り返すことによって新しい隠れたニューロンが動的に追加されて自動的に変化していく。
【００６１】
ステップ１：たとえば学習の１００回ごとに全体誤差を評価する。
ステップ２：全体誤差が例えば少なくとも１％以内しか減少しない場合、新しい隠れたニューロンを追加する。この新しい隠れたニューロンの重みの初期値は、任意の重みに設定される。
ステップ３：目標とする平均二乗誤差に達するまでステップ１を繰り返す。
【００６２】
技術に精通する人なら理解できるが、このアルゴリズムは新しい隠れニューロンを追加するだけであるから、指定した誤差の上限が示す精度でＰＡＬシステムの固有の歪みを近似するのに最低限必要な数以上のノードを、結果としてネットワークが持つことになる。この状態はネットワークの普遍化能力を低下させ、ネットワークが生成する視野補正画像の生成速度にも悪い影響を与える。よって上記の動的なニューロン生成アルゴリズムを適用したのち、摘み取り工程が必要となる。摘み取り工程は最近追加されたニューロンを取り除き、ネットワークを再教示し、誤差を再評価する。もしネットワークが収斂すれば、さらにもう一つのニューロンを取り除く。最適のネットワークの大きさに達すると、それ以上のニューロン除去でネットワークが収斂しなくなる。この段階で摘み取り作業が終わる。
【００６３】
ここでは、特定のニューラル・ネットワークの構造と構築アルゴリズムを説明したが、他のニューラル・ネットワークの構造と構築アルゴリズムも、本発明から逸脱することなく使用することができる。ニューラル・ネットワーク１０は普通コンピュータでシミュレートできるが、ハードウェアを用いても実現できる。ニューラル・ネットワーク１０をコンピュータでシミュレートする場合、教示用のデータセットはテキストファイルから読み込む。
【００６４】
図６及び図７は合わせて、ユーザ入力がどのように変換されて、教示したニューラル・ネットワーク用の入力として用いるための歪みのない複数の座標点になるかを示している。図６では、８４はＣＲＴなどの表示装置の画素の矩形配列から作られる視野ウィンドウを示しており、歪みのあるパノラマ画像から歪みのないサブ画像を表示するものである。視野ウィンドウの中心の画素位置は６´で示されており、４つの角はそれぞれ１´、２´、３´、４´で示されている。
【００６５】
パノラマ画像８２のように取り込まれた元の視野の特定領域中の歪みのない２次元視野を得るため、歪みのあるパノラマ画像８２内の画素に対応するセットのビデオ特性に従って、視野ウィンドウのそれぞれの画素を決定する必要がある。
【００６６】
ユーザが、視野ウィンドウ（すなわち、歪みのあるパノラマ画像を取り込む際のパノラマ画像ブロック８０の原点から見た方向を表す１組の角座標）での視点を指定していることを前提とする。ニューラル・ネットワークへの入力が行われた場合、視野ウィンドウは、最終的にニューラル・ネットワークから出力される反応データ（半径と角度との組み合わせ）として特定される歪みのあるパノラマ画像８２での画素位置６となる。
【００６７】
今、視野ウィンドウ８４の他の画素の各々に対して、ニューラル・ネットワークに入力し、これによるニューラル・ネットワークの出力から歪みのあるパノラマ画像８２内の対応位置を求めるための対応視点を得る必要がある。この方法で、各視野ウィンドウ８４の画素に対応する歪みのあるサブ画像８３内のすべての位置が求められる。図６では、領域８３は、視野ウィンドウ８４内のそれぞれの画素位置で得られた視点のセットに対応する（ＰＡＬ画像内の）位置のセットを表している。
【００６８】
視野ウィンドウの中心の位置でのユーザにより指定される上記の位置が、図６に示すように、
【００６９】
【数８】

【００７０】
で表せると仮定する。簡単にするため、ズーム率を１．０、ユーザによって指定された視野ウィンドウを幅Ｗピクセル、高さＨピクセルとし、視野ウィンドウを、図７のようにＵ−Ｖ面内の領域として表し、Ｕ−Ｖ面の原点を図６の視野ウィンドウ８４の中心点６´に対応させる。
【００７１】
ズーム率が１．０であるためＰＡＬ画像の全周(すなわち、外側の半径Ｒの長さによってその画像の画素数として表される)は２πＲであり、これは２πラジアンの角度範囲に対応する。すなわち、ＰＡＬ画像の外周上の１ピクセルは１/Ｒラジアンに対応する。よって、ズーム率１．０では、Ｕ軸上の1ピクセルであり、視野ウィンドウ８４内の１ピクセルは、アジマスの１/Ｒラジアンに対応する。２πラジアンの全アジマス角度範囲（２πラジアン）をＰＡＬ画像の外周に割り当てることで、入力ＰＡＬ画像のすべてのピクセルが変換によって少なくとも１回は使用される。すなわち、歪みのあるパノラマ画像８２中の画像データは使用されずに残ることはない。
【００７２】
同様に、ＰＡＬ画像８２の全半径幅(Ｒ−ｒピクセル)は、ＰＡＬシステムの垂直視野角
【００７３】
【数９】

【００７４】
に対応する。０より大きい角度
【００７５】
【数１０】

【００７６】
には正の値が与えられ、水平線から下の角度
【００７７】
【数１１】

【００７８】
には負の値が与えられる。このことより、垂直視野
【００７９】
【数１２】

【００８０】
は正となる。したがって、視野ウィンドウ８４内の補助画像のＶ軸上の１ピクセルは
【００８１】
【数１３】

【００８２】
ラジアンに対応する。すなわち、１組の（ｕ，ｖ）座標として表現される視野ウィンドウ８４内の任意の画素位置に対して、教示したニューラル・ネットワークへの入力として用いられる１組の対応する座標
【００８３】
【数１４】

【００８４】
は次のように計算できる。
【００８５】
【数１５】

【００８６】
式（２）及び（３）は、次の条件下で有効である（ズーム率１．０のとき）。
【００８７】
【数１６】

【００８８】
上記の式は図９の単純な概念図を参照することによって、簡単に理解できる。図９の概念図では、１００は環状パノラマ画像を示し、説明のために３つの画素のリングを有し、上記の角度１／ＲがＢ／８ラジアンであり、（ＶＡ−ＶＢ）／（Ｒ−ｒ）もまたＢ／８ラジアンであるような上記の蓄積データによって表現される。（実際のコースの環状画像は、外周で最大となる角度の解像度を有する連続的な画素の配列として表される。）
【００８９】
記述を簡単にするため、画素の一部のみが表されている。図９に示される環状画像内の画素の位置とそれぞれの視点との関係は、理想的な（光学的に歪みのない）画像システムにより得られる画像の場合において正しいものとなる。水平面内の位置に対応する環状画像内の画素の位置の軌跡は、図９の中心リング１０２である。
【００９０】
領域１０１は、平面状の環状画像１０１´全体が平面状の矩形、すなわち、環状画像１００内の画素と矩形領域１０１の画素（ズーム率が１．０の場合）との間で１：１の対応関係を持った画素の矩形配列となる変形を示している。したがって、画面の画素のピッチの２倍である領域１０１の高さは、仰角のＢ／４ｒａｄに等しい。また、領域１０１の水平方向の広さは、画面の画像のピッチの１６倍であり（なぜなら、環状画像の外周の画素が１６分割している）、アジマス角度の２Ｂラジアンに等しい。
【００９１】
したがって、この非常に単純な例で、中心のコラムとして例えば図９のコラム１０１を持つような、画面のサブ画像が３×３配列の９画素として得られるものであるならば、サブ画像の水平面上の画素のピッチはＢ／８ラジアンのアジマス角度に対応し、一方、画面の垂直方向に沿って測定されるように、画素のピッチはＢ／８ラジアンの仰角に対応する。正確な最初の実世界の景色に見られるような形状を正確に再生し、環状画像の比率ｒ／Ｒと仰角の範囲ＶＡ−ＶＢのラジアンとの関係が、１／Ｒを実質（ＶＡ−ＶＢ）／（Ｒ−ｒ）に等しくするものであることが理解できる。
【００９２】
式（２）及び（３）にズーム率１．０以外のズーム率を入れるのは比較的簡単で、ズーム率に応じて座標の縮尺を調整すればよい。さらに、ズーム率を用いるときは条件（６）、（７）は不要になる。視野ウィンドウ８４内の画素の位置に対応するそれぞれの視点は、各々式（２）及び（３）から得られる１組の角座標として表され、教示したニューラル・ネットワークに入力される。それによって、ニューラル・ネットワークから出力される反応として、それぞれの視点に対応する歪みのあるパノラマ画像８２内の位置を指定する対応位置情報（半径方向の値及び角度のそれぞれの組み合わせ）が得られる。
【００９３】
このように歪みのあるパノラマ画像８２内で指定される位置のそれぞれにおいて、その位置での歪みのあるパノラマ画像８２のビデオ特性が抽出され、図４の表示システム７０のような表示装置に供給される。表示装置は視野ウィンドウ８４を生成し、抽出されたビデオ特性が視野ウィンドウ８４内での対応画素のビデオ特性として設定される。
【００９４】
ユーザがニューラル・ネットワークに入力する前に、上記式（２）及び（３）によって得られる値のセットをユーザが変更することも可能である。例えば、単純な回転や座標上での適切なアフィン変換を適用するなど、画面上の画像に対していくつかの任意の向きを指定することが可能である。教示したニューラル・ネットワークからの反応は全データではないので（Ｓ字放射化関数を使用）、双１次内挿法などの適切な内挿法を適用する。
【００９５】
教示したネットワークから反応を取り出すには、それぞれのニューロンについて式（１）を用いて、入力層からはじめて出力層に至るまで単純な加算と乗算を繰り返す。３層ネットワークで２つの入力ニューロンと８つの隠れたニューロンがある場合、座標の計算は２４回の乗算と２２回の加算を必要とする。非常に高精度が必要な用途で、比較的大型のニューラル・ネットワークを生成するような場合は、乗算と加算をリアルタイムで行うような専用のハードウェアを用いることができる。
【００９６】
ただし、精度がそれほど重要でない用途、例えばパノラマを相互的に見るような場合、出力ウィンドウ８４の全面をカバーする制御座標の格子を用い、かつ制御点に対する（ニューラル・ネットワークに入力される）角座標のそれぞれの組み合わせのみを計算させ、ニューラル・ネットワークから歪みのあるパノラマ画像内の対応する位置を特定する情報を得ることにより、視野補正した画像の生成速度を何倍にも早くすることができる。その場合、双１次内挿法を用いて、制御点で示された画素以外の視野ウィンドウの画素に対応する歪みのあるパノラマ画像内のそれぞれの位置を特定することが可能である。
【００９７】
簡単な例として、歪みのあるパノラマ画像内にあって、互いに隣接した４つの制御点のそれぞれに対応する４つの位置を得るためにニューラル・ネットワークが用いられた場合、位置情報には内挿法が適用可能であり、画面ウィンドウ内の４つの制御点に関して中心に位置する画素に対応するほぼ正確な位置情報を得ることができる。それ故、視野ウィンドウの画素のすべてに対する（歪みのあるパノラマ画像に関する）位置情報を得るためにニューラル・ネットワークを利用することは必要ではなくなる。この技術に精通した人ならわかるが、制御点の数が多いほど結果はより正確になり、制御点の数をさらに多くして、出力画像のピクセルの数まで増やすと、教示したニューラル・ネットワークを用いてすべての座標点の計算する必要が生じてしまう。また、その他の最適値計算法も使用することができる。
【００９８】
この技術に精通した人ならわかるが、ここに述べた方法は入力画像を小さな部分に分割し、教示した小さなネットワークを用いて、分割の結果現れる歪みを後で修正することで、さらに最適化できる。また、本発明の好ましい実施の形態として、２次元対２次元の入出力マッピングを用いたが、この技術に精通した人なら、ここに述べた方法はどのような次元の組み合わせの入出力マッピングにでも応用できることがわかる。さらに、入力画像は実世界の景色のパノラマ画像でなく、人工の景色であってもよい。またさらに、上記の原理はアジマスに関して３６０度の範囲の視点を有するパノラマ画像システムに限定されず、一般に広角画像システムにも等しく適用可能である。上記よりわかるように、これらの原理は以下のようにまとめられる。
【００９９】
（１）目盛りパターンを構築する実世界の景色を用いて、パノラマ画像システムを使用して、（歪みのある）目盛り付きパノラマ画像を得る。目盛りパターンの目盛り上の点の配列における各々の点を画像システムの対応する視点と関連させる。教示するための入力として目盛り上の点に対応する視点を用い、ニューラル・ネットワークから出力される反応との比較を行うため、目盛り付き画像の目盛り上の点の対応位置を用い、ニューラル・ネットワークのパラメータを変更する際に使用する誤差を得て、ニューラル・ネットワークを教示する。
【０１００】
（２）ニューラル・ネットワークの教示が終了した後、任意の実世界の景色の歪みのあるパノラマ画像を取ってくる。サブ画像を作成するための画素の矩形配列における中心の画素に対応する視点を指定する。サブ画像の他の画素のそれぞれに関しては、中心の画素の視点と中心の画素を参照した他の画素の位置とに基づき、さらに半径方向の比率とパノラマ画像の垂直方向の視点の範囲との関係に基づいて、対応する視点を計算する。
【０１０１】
（３）続いて、教示したニューラル・ネットワークにこれらの視点（例えば角座標の組み合わせ）のそれぞれを入力し、これらの視点にそれぞれ対応する歪みのあるパノラマ画像内の位置を指定する情報を得る。これらの位置の各々において、広角画像の画素のビデオ特性を抽出し、ビデオ特性をサブ画像の画素（その位置に対応する視点を有する画素）に割り当てる。
【０１０２】
前述した本発明の望ましい実施の形態は特定の装置やアルゴリズムに言及しているが、この技術に精通した人なら本発明から離れない範囲で、例えば開示された方法を実現するためのコンピュータが実行する命令を格納する媒体であってコンピュータが利用可能である媒体など、数多くの代用可能な実施の形態や同等案が存在することがわかる。したがって、本発明は上記の説明によって制限されるものではなく、付随する請求の範囲によって規定されるものと理解されるべきである。
【図面の簡単な説明】
【図１】人工ニューラル・ネットワークの主要部分を表示したもの。
【図２】人工ニューロンの３層のネットワークを示す。
【図３】パノラマ画像システムの歪みをモデルとする妥当な複雑さのネットワークを得るためのフローチャート。
【図４】本発明の実施の形態のブロック図。
【図５】パノラマ画像システムによって歪みをもつ環状パノラマ画像を生成する状態。
【図６】ユーザの入力データを用いて環状のパノラマ画像内の興味ある領域を定義する方法の図示。
【図７】環状のパノラマ画像から透視歪みを補正した画像を作るための線形変換の方法を示す図。
【図８】ニューラル・ネットワークを教示するための目盛りパターンを示す概念的なダイアグラム。
【図９】画素の矩形配列での対応位置上への環状パノラマ画像内の画素位置のマッピングを示す概念的なダイアグラム。

Claims

歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整方法であって、
ニューラル・ネットワークを教示し、パノラマ画像システムの各視点と前記パノラマ画像システムによって取り込まれた歪みのあるパノラマ画像内の対応する位置とを関連させるステップと、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するステップと、
前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記配列の画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するステップと、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得るステップと、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するステップとを、
有し、
前記ニューラル・ネットワークを教示するステップが、
目盛りパターンが実質的に完全にパノラマ画像システムの視野を満たすように方向付けることが可能となるように次元及び形状があらかじめ定められている前記目盛りパターンであって、視覚的な目盛り点を定義する前記目盛りパターンを準備するステップと、
実質的に完全に前記視野を満たすよう前記目盛りパターンを配置し、前記目盛りパターンの歪みのあるパノラマ画像を取り込んで、目盛り画像を構成するステップと、
前記パノラマ画像システムに関して、前記目盛り点のそれぞれと、対応する視点とを関連づける第１のデータセットを生成するステップと、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第２のデータセットを生成するステップと、
前記第１のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行うステップと、
前記ニューラル・ネットワークから作成される各出力反応と、前記第２のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正するステップとを、
有する方法。
請求項１に記載の方法において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とする方法。
歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整装置であって、
実世界の景色を歪みのあるパノラマ画像として取り込むように調整されたパノラマ画像システムと、
前記パノラマ画像システムの視野を、前記パノラマ画像システムの各視点に対応する目盛り点によって満たすように、視覚的な前記目盛り点の配列を定義する目盛りパターンと、
ニューラル・ネットワーク、及び、パノラマ画像システムの各視点と、前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像内の対応する位置とを関連づけるために前記ニューラル・ネットワークを教示し、前記目盛りパターンの画像として取り込まれた目盛り画像を利用し、前記目盛り画像内で前記目盛り点が現れる各位置とともに前記目盛り点の前記視点に基づいて教示する教示手段と、
前記ニューラル・ネットワークの教示に続いて、前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像から抽出されたサブ画像を生成するための画素に対応しており、矩形に配列されている複数の画素を有する表示手段と、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するとともに、前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するデータ処理手段とを有し、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得て、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するように構成されており、
前記ニューラル・ネットワークを教示する前記教示手段が、
前記目盛り点のそれぞれと、対応する視点とを関連づける第１のデータセットを生成する手段と、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第２のデータセットを生成する手段と、
前記第１のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行う手段と、
前記ニューラル・ネットワークから作成される各出力反応と、前記第２のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正する手段とを、
有する装置。
請求項３に記載の装置において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とする装置。
歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整方法を実施する場合に実行されるコンピュータが実行可能な命令を記録するコンピュータが利用可能な記録媒体であって、
ニューラル・ネットワークを教示し、パノラマ画像システムの各視点と前記パノラマ画像システムによって取り込まれた歪みのあるパノラマ画像内の対応する位置とを関連させるステップと、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するステップと、
前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記配列の画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するステップと、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得るステップと、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するステップとを、
有し、
前記ニューラル・ネットワークを教示するステップが、
目盛りパターンが実質的に完全にパノラマ画像システムの視野を満たすように方向付けることが可能となるように次元及び形状があらかじめ定められている前記目盛りパターンであって、視覚的な目盛り点を定義する前記目盛りパターンを準備するステップと、
実質的に完全に前記視野を満たすよう前記目盛りパターンを配置し、前記目盛りパターンの歪みのあるパノラマ画像を取り込んで、目盛り画像を構成するステップと、
前記パノラマ画像システムに関して、前記目盛り点のそれぞれと、対応する視点とを関連づける第１のデータセットを生成するステップと、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第２のデータセットを生成するステップと、
前記第１のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行うステップと、
前記ニューラル・ネットワークから作成される各出力反応と、前記第２のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正するステップとを、
有する方法を実施する場合に実行されるコンピュータが実行可能な命令を記録するコンピュータが利用可能な記録媒体。
請求項５に記載のコンピュータが利用可能な記録媒体において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とするコンピュータが利用可能な記録媒体。