JP5669680B2 - シーン内のｐｓ（一点）と、反射屈折光学系のｃｏｐ（投影中心）との間の光線の少なくとも１つの折り返し点の３ｄ位置を求める方法、およびシステム - Google Patents

Description

本発明は、包括的には反射屈折光学系に関し、特に、非中心反射屈折光学系において投影を求めることに関する。

反射屈折光学系は、通常はレンズ（屈折光学）と曲面鏡（反射光学）とにより屈折原理と反射原理とを組み合わせる。反射屈折光学系は、広い視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の撮像を可能にするカメラの撮像用反射器又は屈折器を含む。反射屈折光学系は、パノラマ撮像及び可視化、広角再構成、監視、並びに携帯ロボット及びカーナビゲーションを含む幅広い用途に用いられてきた。反射屈折光学系には、中心式（ｃｅｎｔｒａｌ）と非中心式（ｎｏｎ−ｃｅｎｔｒａｌ）とがあり得る。

中心反射屈折光学系
中心反射屈折光学系は、単一の有効視点を可能にするように配置された単一のカメラ−鏡の対を用いる。すなわち、カメラセンサーによって取得された画像を形成する全ての光線は、一点で交わる。中心反射屈折光学系は、双曲面鏡又は楕円面鏡の焦点のうちの１つに配置された透視投影カメラと、放物面鏡の軸上に配置された立体角投射カメラ（ｏｒｔｈｏｇｒａｐｈｉｃ ｃａｍｅｒａ）とを含む。

非中心反射屈折光学系
非中心反射屈折光学系は、コンピュータビジョン用途で広く用いられている。非中心反射屈折光学系の例には、球面鏡の外側に配置された透視投影カメラ、及びカメラが双曲面鏡又は楕円面鏡の焦点に配置されない構成がある。中心反射屈折光学系と対照的に、非中心反射屈折光学系では、光線は一点で交わらない。その代わりに、光線は線に沿って交わるか、又は円若しくはより複雑な形状の接線となる。

多くの用途において、非中心反射屈折光学系をモデル化することが重要であり、非中心反射屈折光学系は、シーン内の一点（ＰＳ：ｐｏｉｎｔ ｉｎ ａ ｓｃｅｎｅ）の、反射屈折光学系のカメラの投影中心（ＣＯＰ：ｃｅｎｔｅｒ ｏｆ ｐｒｏｊｅｃｔｉｏｎ）に対する３次元（３Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）投影を求めることを必要とする。非中心反射屈折光学系は、有効な投影中心を持たない。ＣＯＰは、反射屈折光学系において用いられる物理的な透視投影カメラの投影中心を指す。

３Ｄ投影は、３次元のＰＳを反射屈折光学系のカメラの像面の２次元（２Ｄ：ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ）の画素にマッピングする。

例えば、反射屈折光学系が鏡等の反射器を含む場合、ＰＳをカメラの像面に投影するには、その点からＣＯＰまでの鏡面反射による光線の光路を計算する必要がある。したがって、鏡表面の反射点を求める必要がある。同様に、反射屈折光学系が屈折器、例えば屈折率球体を含む場合、投影をモデル化するには、２つの屈折点を求める必要がある。

中心反射屈折光学系の投影の解析解は知られている。しかし、非中心反射屈折光学系の投影の解析解はない。

いくつかの従来の方法が、非中心反射屈折光学系を、投影の解析解を可能にする中心反射屈折光学系として近似している。しかし、これらの方法は、歪んだ３Ｄ推定値等、不正確な解となる。

代替的な方法は、中心の近似を用いて反射点又は屈折点を初期化することにより反復による非線形最適化を用いる。しかし、これらの方法は、時間がかかり、不適切な反復により不正確な解となる。さらに別の方法は、一般的な線形カメラ表現を用いて、解析投影を可能にするアフィンモデルにより非中心反射屈折光学カメラを局所的に近似するが、この方法も近似を導入する。

したがって、非中心反射屈折光学系の投影の解析解を提供することが望ましい。また、ＰＳから非中心反射屈折光学系のＣＯＰへの光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を解析的に求めることが望ましい。

本発明の実施の形態は、非中心反射屈折光学系の特定の構成の、シーン内の一点（ＰＳ）の３次元（３Ｄ）投影は、この反射屈折光学系の３Ｄ構造を、この反射屈折光学系の折り返し光学素子の対称軸とＰＳとによって定義される２次元（２Ｄ）平面上にマッピングすることによって解析的に求めることができるという認識に基づく。

折り返し光学素子は、二次曲面の対称軸の周りに回転対称であるこの二次曲面を有する反射器又は屈折器である。透視投影カメラの投影中心（ＣＯＰ）は、この対称軸上に配置される。このような反射屈折光学カメラにおいて折り返し点、例えば反射点／屈折点を求める問題は、対称軸と３Ｄシーン点とによって定義される２Ｄ平面上でこの問題を公式化し、反射法則／屈折法則をこの平面上で制約として用いることによって解かれる。

いくつかの実施の形態は、一般的な円錐鏡の６次式を解くことによって鏡表面の反射点を求める。球面鏡の場合、式の複雑度は、４次式に低減され、閉形式解となる。解析順投影は、近似及び反復解を避け、バンドル調整による正確で高速な３Ｄ再構成に用いることができる。実施の形態は、反復順投影（ｉｔｅｒａｔｉｖｅ ｆｏｒｗａｒｄ ｐｒｏｊｅｃｔｉｏｎ）を用いる従来の方法と比べて２桁の高速化を達成する。

本発明の他の実施の形態は、反射球を介した所与の３Ｄ点から所与の視点までの光路が、１０次式を解くことによって得られることを開示する。したがって、鏡と同様に、バンドル調整に順投影式を組み合わせることによって、反射球も３Ｄ再構成に用いることができる。

例えば、一つの実施の形態は、シーン内の一点（ＰＳ）と、反射屈折光学系のカメラの投影中心（ＣＯＰ）との間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求める方法であって、この反射屈折光学系は、折り返し光学素子の表面から或る距離だけ離して配置されたカメラを備え、この折り返し光学素子は、反射器又は屈折器から選択され、折り返し点は、表面上にあり、この表面上の光線の反射又は屈折により、この折り返し点がこの光線を入射光線と出射光線とに分割するようにすることによって生じ、ＰＳ及びＣＯＰは、３Ｄ位置によって識別され、この方法は、反射屈折光学系の構成を取得するステップであって、この反射屈折光学系は非中心式であり、表面は、この表面の対称軸の周りに回転対称である二次曲面であり、ＣＯＰは対称軸上に配置される、取得するステップと、表面並びにＰＳ及びＣＯＰの３Ｄ位置を、対称軸とこのＰＳとによって定義される２次元（２Ｄ）平面上にマッピングするステップであって、この２Ｄ平面上に円錐並びにＰＳ及びＣＯＰの２Ｄ位置を生成し、この円錐は、表面を２Ｄ平面上でパラメーター化したものである、マッピングするステップと、円錐、ＰＳ及びＣＯＰの２Ｄ位置、並びに入射光線及び出射光線に関する少なくとも１つの制約に基づいて２Ｄ平面上の折り返し点の２Ｄ位置を求めるステップと、２Ｄ平面上の折り返し点の２Ｄ位置から折り返し点の３Ｄ位置を求めるステップと、を含み、この方法のステップは、プロセッサにより実施される、方法を開示する。

別の実施の形態は、シーン内の一点（ＰＳ）と、反射屈折光学系の投影中心（ＣＯＰ）との間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求めるように構成されるこの反射屈折光学系であって、ＰＳ及びＣＯＰは、３Ｄ位置によって識別され、この反射屈折光学系は非中心式であり、折り返し光学素子であって、折り返し点は、この折り返し素子の表面上の光線の折り返しによって生じ、この表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子と、表面から或る距離だけ離して配置されたカメラであって、この反射屈折光学系のＣＯＰは、このカメラのＣＯＰであって、対称軸上に配置される、カメラと、表面並びにＰＳ及びＣＯＰの３Ｄ位置を、対称軸及びこのＰＳによって定義される２次元（２Ｄ）平面上にマッピングする手段であって、この２Ｄ平面上に円錐並びにＰＳ及びＣＯＰの２Ｄ位置を生成し、この円錐は、表面を２Ｄ平面上でパラメーター化したものである、マッピングする手段と、円錐、ＰＳ及びＣＯＰの２Ｄ位置に基づいて２Ｄ平面上の折り返し点の２Ｄ位置を求めるプロセッサと、２Ｄ平面上の折り返し点の２Ｄ位置から折り返し点の３Ｄ位置を求める手段と、を備える、反射屈折光学系を開示する。

さらに別の実施の形態は、シーン内の一点（ＰＳ）と、反射屈折光学系の投影中心（ＣＯＰ）との間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求める方法であって、このＰＳ及びこのＣＯＰは、３Ｄ位置によって識別され、反射屈折光学系は非中心式であり、この方法は、折り返し光学素子を設けるステップであって、折り返し点は、この折り返し光学素子の表面上の光線の折り返しによって生じ、この表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子を設けるステップと、表面から或る距離だけ離して配置されたカメラを設けるステップであって、反射屈折光学系のＣＯＰは、このカメラのＣＯＰであり、対称軸上に配置される、カメラを設けるステップと、表面、並びにＰＳ及びＣＯＰの３Ｄ位置を、対称軸とこのＰＳとによって定義される２次元（２Ｄ）平面上にマッピングするステップであって、この２Ｄ平面上に円錐並びにＰＳ及びＣＯＰの２Ｄ位置を生成し、この円錐は、表面を２Ｄ平面上でパラメーター化したものである、マッピングするステップと、円錐、ＰＳ及びＣＯＰの２Ｄ位置に基づいて２Ｄ平面上の折り返し点の２Ｄ位置を求めるステップと、２Ｄ平面上の折り返し点の２Ｄ位置から折り返し点の３Ｄ位置を求めるステップと、を含む、方法を開示する。

本発明は、反射屈折光学撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中心反射屈折光学系の順投影及び逆投影の解析式を提供する。さらに、解析ＦＰ及びヤコビ行列式の計算は、バンドル調整の実行時間を大幅に削減する。したがって、非中心モデルを用いる計算複雑度は、中心近似の計算複雑度に近くなる。

本発明の実施の形態による反射屈折光学系上の折り返し点を求める方法のブロック図である。 本発明の実施の形態による反射屈折光学系上の折り返し点を求める方法の概略図である。 本発明の実施の形態による屈折球を含む系において屈折点を求める方法の概略図である。 （ａ）〜（ｃ）は、本発明の実施の形態による屈折球の順投影を解くことによって得られる光路の概略図である。 本発明の実施の形態による球面鏡の逆投影の概略図である。 本発明の実施の形態による球面鏡のエピポーラ曲線のグラフである。

方法及びシステムの概略
本発明の実施の形態は、非中心反射屈折光学系の特定の構成の、シーン内の一点（ＰＳ）の３次元（３Ｄ）投影は、この反射屈折光学系の３Ｄ構造を、この反射屈折光学系の対称軸とＰＳとによって定義される２次元（２Ｄ）平面上にマッピングすることによって解析的に求めることができるという認識に基づく。

このような構成は、反射器又は屈折器の表面から或る距離だけ離して配置されたカメラを有する非中心反射屈折光学系を含み、この表面は、二次曲面であり、対称軸の周りに回転対称であり、この反射屈折光学系内で用いられるカメラの投影中心（ＣＯＰ）は、対称軸上に配置される。２Ｄ平面は、対称軸とＰＳとによって定義され、投影の２Ｄ解は、反射屈折光学系の回転対称性のため、部分的に３Ｄ投影を表す。

図１Ａは、本発明の実施の形態による方法のブロック図を示す。本方法は、或るＰＳ、例えばＰＳ１３０と、或る表面、例えば光学折り返し素子の表面１０６から或る距離だけ離して配置された或るカメラ、例えばカメラ１２１を有する反射屈折光学系１７１の或るＣＯＰ、例えばＣＯＰ１２０との間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置１９９を求めるものであり、折り返し点は、この表面上にあり、この表面で光線を折り返すことにより、この折り返し点が光線を入射光線と出射光線とに分割するようにすることによって生じ、ＰＳ及びＣＯＰは３Ｄ位置１７６によって識別される。この方法のステップは、当該分野で知られているようなプロセッサ１０１によって行われる。

反射屈折光学系の構成１７５を取得する（１７０）。この反射屈折光学系は非中心式であり、反射器又は屈折器の表面は、或る対称軸、例えば軸１１０の周りに回転対称である二次曲面であり、ＣＯＰ１２０は対称軸上に配置される。実施の形態において、カメラは、ピンホールカメラである。様々な実施の形態において、構成１７５は、既存の反射屈折光学系の構成又はこの反射屈折光学系のモデルである。

上記実現において、表面と、ＰＳの３Ｄ位置と、ＣＯＰとは、或る２Ｄ平面、例えば、対称軸とＰＳとによって定義される平面１４０上にマッピングされ（１８０）、円錐曲線１０５’並びに２Ｄ平面上のＰＳ及びＣＯＰの２Ｄ位置１８６が作成される。円錐曲線は、表面を２Ｄ平面上でパラメーター化したものである。

折り返し点の２Ｄ位置１９１は、円錐曲線、ＰＳ及びＣＯＰの２Ｄ位置、並びに反射法則又は屈折法則によって定義される入射光線及び出射光線に関する少なくとも１つの制約１９３に基づいて求められる（１９０）。例えば、実施の形態において、反射屈折光学系は反射器を含み、折り返し点は３Ｄ表面からの光線の反射点であり、制約は反射法則である。本実施の形態の一変形形態において、反射器は球面鏡であり、対称軸は、球面鏡の中心とＣＯＰとを通る。

別の実施の形態において、反射屈折光学系は屈折器を含み、折り返し点は光線の３Ｄ表面からの屈折点であり、制約は屈折法則である。本実施の形態の一変形形態において、屈折器は屈折率球体であり、対称軸は屈折率球体の中心とＣＯＰとを通る。

その後、折り返し点の３Ｄ位置を求め、ＰＳの２Ｄ画像投影を次式に従って求めることができる。

式中、（ｐ，ｑ）は２Ｄ画像投影の座標であり、（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）は折り返し点の座標であり、（ｆ_ｘ，ｆ_ｙ）はカメラのｘ方向及びｙ方向における有効焦点距離であり、（ｃ_ｘ，ｃ_ｙ）はカメラの２Ｄ主点である。

二次曲面鏡の順投影
図１Ｂは、本発明の実施の形態による反射屈折光学系の一例を示す。この反射屈折光学系は、非中心式であり、反射器又は屈折器から選択された折り返し光学素子１０５の表面１０６から或る距離だけ離して配置されたカメラ１２１、例えば透視投影カメラを含む。このカメラは、表面を撮像するように構成される。本実施の形態において、反射屈折光学系は、反射器、すなわち鏡を含む。他の実施の形態は、反射器の代わりに屈折器を含み、反射屈折光学系が反射器及び屈折器のうちの少なくとも一方を含むようにする。表面１０６は二次曲面であり、対称軸１１０の周りに回転対称であり、ＣＯＰ１２０はこの対称軸上に配置される。

本発明の実施の形態は、シーン内の一点（ＰＳ）１３０と、反射屈折光学系のＣＯＰ１２０とをつなぐ光線の少なくとも１つの折り返し点１６０の３Ｄ位置を求める。光線の折り返し点は、表面１０６上にある。折り返し点は、この表面上の光線の反射又は屈折により、この屈折点が光線を入射光線１３１と出射光線１３２とに分割するようにすることによって生じる。

説明のために、３Ｄ座標系のｚ軸は対称軸、例えば鏡軸である。カメラ１２１は、鏡軸上の原点１１１から距離ｄ１２２だけ離して配置されたピンホールカメラとすることができ、Ｐ＝［Ｘ，Ｙ，Ｚ］^ＴはＰＳであり、Ｘ、Ｙ、Ｚは、３Ｄ座標系におけるＰＳの３Ｄ位置の座標である。鏡は回転対称であるため、ＰＳの鏡面反射は、対称軸とＰＳとによって定義される２次元（２Ｄ）平面π１４０において解析される。

（ｚ_１，ｚ_２）を、２Ｄ平面πのローカル座標系を決める軸とする。この平面において、ＰＳの２Ｄ位置Ｐはｐ＝［ｕ，ｖ］^Ｔであり、ｕはＰＳの２Ｄ位置の第１の座標であり、ｕ＝Ｓｓｉｎθであり、ｖはＰＳの２Ｄ位置の第２の座標であり、ｖ＝Ｚであり、ここで、Ｚは、対称軸に対応する軸の座標であり、

は、ＰＳから原点１１１までの距離であり、角度θ＝ｃｏｓ^−１（Ｚ／Ｓ）は、鏡軸と、原点からＰＳまでの直線１５１との間の角度１５０である。

平面πにおいて、表面は、２Ｄ平面上で関数Ａｚ_２ ^２＋ｚ_１ ^２＋Ｂｚ_２＝Ｃによって記述される円錐断面１０５’（以下、「円錐曲線」）としてパラメーター化される。式中、Ａ、Ｂ、Ｃは、以下でより詳細に説明するように、二次曲面の種類に依存するこの関数のパラメーターである。折り返し点ｍが２Ｄ位置ｍ＝［ｘ，ｙ］^Ｔを有する場合、

である。入射光線のベクトルｖ_ｉはｖ_ｉ＝［ｘ，ｙ−ｄ］^Ｔであり、折り返し点ｍにおける法線ベクトルｎはｎ＝［ｘ，Ｂ／２＋Ａｙ］^Ｔである。反射法則を用いると、出射光線すなわち反射光線のベクトルは、ｖ_ｒ＝ｖ_ｉ−２ｎ（ｎ^Ｔｖ_ｉ）／（ｎ^Ｔｎ）である。

出射光線は点Ｐを通るため、ｙの関数はｆ（ｙ）＝ｖ_ｒ×（ｐ−ｍ）＝０となり、式中、ｘは外積を表す。実施の形態において、関数ｆ（ｙ）の分子は、次のように因数分解される。

式中、Ｋ_１（ｙ）及びＫ_２（ｙ）は、

のように定義されるｙの反射多項式であり、個々の項は、次式によって与えられる。

関数ｆ（ｙ）＝０であるため、式（１）の平方根項を次のように取り除く。

したがって、本発明の実施の形態は、座標ｙに関して６次順投影（ＦＰ）式を定義して用いる。

式中、ｕはＰＳの２Ｄ座標の第１の要素であり、Ｋ_１（ｙ）及びＫ_２（ｙ）は式（１）において定義されるｙの多項式であり、Ａ、Ｂ、Ｃは円錐曲線式のパラメーターである。

所与の点Ｐに関して、式（２）を解くと座標ｙの６つの解が得られる。最終的な解は、入射光線及び出射光線に関する制約、例えば反射法則及び／又は屈折法則を解毎に確認することによって決まる。例えば、図１Ａに示すように鏡を含む実施の形態において、最終的な解は、反射法則の制約、すなわち、

を考慮する。式中、ｖ_ｉは入射光線を表すベクトルであり、ｖ_ｒは出射光線を表すベクトルであり、Ｔは転置演算子であり、ｎは折り返し点における表面の法線を表すベクトルである。

したがって、実施の形態は、２Ｄ平面上の折り返し点の２Ｄ位置を、円錐曲線、ＰＳ及びＣＯＰの２Ｄ位置、並びに入射光線及び出射光線に関する少なくとも１つの制約に基づいて求め、次に、この２Ｄ平面上の折り返し点の２Ｄ位置から折り返し点の３Ｄ位置を求める。

例えば、図１Ｂに示す実施の形態において、折り返し点の３Ｄ位置は、次式に従って求められる。

式中、

である。

本発明の様々な実施の形態は、上述の６次ＦＰ式を用いて、折り返し点の２Ｄ位置を求める。しかし、円錐曲線の種類によっては、ＥＰ式が後述のように単純化される。折り返し点の３Ｄ位置は、２Ｄ平面上の折り返し点の２Ｄ位置から求められる。

球面鏡の順投影
実施の形態において、反射屈折光学系は球面鏡を含み、その場合、ＦＰ式の次数が下がる。パラメーターＡ＝１、Ｂ＝０、Ｃ＝ｒ^２をＦＰ式に代入すると（ここで、ｒは球面鏡の半径であり、ｄはＣＯＰと球体の中心との間の距離である）、４次順投影式が得られる。

ＦＰ式が４次式であるため、実施の形態は、累乗根に関して座標ｙの閉形式解を求める。また、本実施の形態において、ＣＯＰの位置は制限されない。あらゆるＣＯＰ、例えばピンホール位置に関して、ピンホールから球面鏡までの新たな軸が定義される。

いくつかの二次反射器のＦＰ式の次数
表１は、非中心反射屈折光学系の球面鏡（Ａ＝１、Ｂ＝０、Ｃ＞０）、楕円面鏡（Ｂ＝０）、双曲面鏡（Ａ＜０、Ｃ＜０）、及び放物面鏡（Ａ＝０、Ｃ＝０）のＦＰ式の次数を示す。

屈折率球体の順投影
図２は、本発明の別の実施の形態による屈折率球体を介した撮像のための順投影式を定義して用いる概略図を示す。本実施の形態は、半径ｒ及び屈折率μの屈折率球体２００を含む反射屈折光学系を用いる。例えば、半径ｒの屈折率球体は座標系の原点２０５に配置され、ピンホールカメラ２１０は原点から距離ｄだけ離して配置される。上述したように、実施の形態は、対称軸２３０とＰＳ ｐ２４０とによって定義される２Ｄ平面２２０上の投影を解析する。

点ｎ_１＝［ｘ，ｙ］^Ｔ及びｎ_２＝［ｘ_２，ｙ_２］^Ｔは、光線の折り返し点である。すなわち、球体上の第１の屈折点２５０は座標ｘ，ｙを有し、球体上の第２の屈折点２５５は座標ｘ_２，ｙ_２を有し、ベクトルｖ_１、ｖ_２、及びｖ_３は、それぞれ、ＣＯＰから第１の屈折点までの光路を示すベクトル、第１の屈折点から第２の屈折点までの光路を示すベクトル、及び第２の屈折点からＰＳまでの光路を示すベクトルである。

すると、ｖ_１＝［ｘ，ｙ−ｄ］^Ｔであり、ｎ_１ ^Ｔｎ_１＝ｎ_２ ^Ｔｎ_２＝ｒ^２である。

入射光線ｖ_ｉ、及び屈折率μ_１の媒体と屈折率μ_２の媒体とを分離する表面における法線ｎに基づき、屈折光線ｖ_ｒは、ｖ_ｒ＝ａｖ_ｉ＋ｂｎに従ってベクトル形式で書き表される。式中、

である。

したがって、次式が成り立つ。

ここで、符号は、別の制約を用いて求められる。すなわち、ベクトルｖ_ｒ ^Ｔｎ及びｖ_ｉ ^Ｔｎの符号は同一である。

ピンホールから球体へ向かう接線方向の光線はｙ＝ｒ^２／ｄにあるため、有効な屈折点の場合、ｙ≧ｒ^２／ｄである。したがって、ｖ_１ ^Ｔｎ_１＝ｒ^２−ｄｙ≦０であり、次式が成り立つ。

第２の屈折点ｎ_２は、定数λに関してｎ_１＋λｖ_２に等しく、λは、次式に従って求められる。

式中、

である。

出射する屈折光線は、いくつかのｂ_３の場合にｖ_３＝μｖ_２＋ｂ_３ｎ_２である。球体の対称性のために、ｖ_３ ^Ｔｎ_２＝−ｖ_１ ^Ｔｎ_１であり、ｖ_２ ^Ｔｎ_２＝−ｖ_２ ^Ｔｎ_１である。したがって、ｂ_３＝（−ｖ_１ ^Ｔｎ_１−μｖ_２ ^Ｔｎ_１）／ｒ^２である。

出射する屈折光線ｖ_３は、ＰＳ ｐ＝［ｕ，ｖ］^Ｔを通るため、ｖ_３×（ｐ−ｎ_２）＝０である。全ての項を代入することによって、次の式が得られる。

式中、Ａ＝ｄ^２μ^２ｒ^２−ｄ^２ｘ^２−２ｄμ^２ｒ^２ｙ＋μ^２ｒ^４であり、Ｋ_１、Ｋ_２及びＫ_３は、ｘ及びｙの屈折多項式である。

実施の形態において、式（１８）の平方根項は次のように取り除かれる。

これを単純化すると、ｘ及びｙの両方において８次多項式となる。ｘの奇数乗を片側に置き、２乗し、ｘ^２＝ｒ^２−ｙ^２を代入し、これを単純化すると、ｙの１０次式となる。

屈折率球体に関して得られる光路
図３（ａ）〜（ｃ）は、本発明のいくつかの実施の形態による、ＦＰ式を解くこと、及び屈折率球体の折り返し点を求めることの一例を示す。所与のＰＳ ｐ２４０に関して、式（１９）を解くとｙの１０個の解が得られる。一般に、ＰＳが対称軸上にない場合、１０個の解のうち８個の解のみが実数であり、そこから図３（ａ）に示すように対応する光路が得られる。制約ｙ≧ｒ^２／ｄは、考え得る解をさらに、図３（ｂ）に示す４つの解に減らす。図３（ｃ）に示す最後の解は、別の制約を用いて、すなわち、考え得る解毎に屈折法則を試すことによって求められる。

疎な３Ｄ再構成
解析順投影（ＡＦＰ：ａｎａｌｙｔｉｃａｌ ｆｏｒｗａｒｄ ｐｒｏｊｅｃｔｉｏｎ）を疎な３Ｄ再構成、すなわち、バンドル調整アルゴリズムを用いてシーン内の３Ｄ点と、反射屈折光学系のパラメーターとを同時に求めることに用いる。実施の形態において、反射屈折光学系は、複数の球面鏡を撮像する単一の透視投影カメラを含む。このような鏡の一例はステンレススチール球である。内部カメラ校正は、別々にオフラインで行われ、半径は分かっている。鏡の中心の３Ｄ位置は、後述するように求められる。

解析順投影を用いたバンドル調整
Ｃ（ｉ）＝［Ｃ_ｘ（ｉ），Ｃ_ｙ（ｉ），Ｃ_ｚ（ｉ）］^Ｔ、ｉ＝１．．．Ｍを球体中心とし、Ｐ（ｊ）＝［Ｐ_ｘ（ｊ），Ｐ_ｙ（ｊ），Ｐ_ｚ（ｊ）］^Ｔ、ｊ＝１．．．Ｎを、ピンホールカメラを原点に配置したときのカメラ座標系における３Ｄ ＰＳとする。ＦＰ式（３）を３Ｄの量に関して書き換える。所与の３Ｄ点Ｐ（ｊ）及び鏡の中心Ｃ（ｉ）に関して、２Ｄ平面πを定義する直交ベクトルＺ_１及びＺ_２は、ｚ_２＝−Ｃ（ｉ）及び

によって与えられる。さらに、次式が成り立つ。

式（３）にｄ、ｖ及びｕを代入することによって、ＦＰ式は次のように書き換えられる。

ここで、各係数ｃ_ｉは、Ｐ（ｊ）及びＣ（ｉ）のみの関数である。一般に、シーン点が球体の外側にあり、球面反射により見える場合、４つの考え得る解がある。単一の正しい解は、考え得る解毎に反射法則を確認することによって求められる。

解を用いて、球体上の３Ｄ反射点は、次式によって求められる。

最後に、２Ｄ画像の投影画素が、次式によって求められる。

ここで、（ｆ_ｘ，ｆ_ｙ）及び（ｃ_ｘ，ｃ_ｙ）は、それぞれ、カメラの焦点距離及び主点である。

をｉ番目の球体のｊ番目の３Ｄ点の画像投影とし、

を、球体中心及び３Ｄシーン点の現在の推定値から求められた現在の推定値とする。各対（ｉ，ｊ）は２ベクトルの誤差関数

を与え、平均再投影誤差は、

となる。

バンドル調整は、初期解から始めて誤差Ｅを最小化することによって行われる。初期３Ｄ点は、それぞれの逆投影光線の最短横断線の中心として得られる。初期球体中心は、取得された画像を用いて得られる。

ヤコビ行列式の計算
別の実施の形態は、ＡＦＰを用いて、再投影誤差のヤコビ行列を解析的に求める。これは、バンドル調整工程を加速する。ｔを未知数とする。すると、次式が成り立つ。

Ｘ_ｍ、Ｙ_ｍ、Ｚ_ｍは座標ｙに依存するため、上記の導関数は、∂ｙ／∂ｔに依存する。

通常、座標ｙの閉形式の式は、∂ｙ／∂ｔを求める必要がある。しかし、本発明の実施の形態は、ＦＰ式（１０）の導関数を取る代替的な手法を用いて、次式を得る。

所与の３Ｄ点Ｐ（ｊ）及び球体中心Ｃ（ｉ）に関して、ｙは、ＦＰ式を解くことによって計算され、これを式（１４）に代入して∂ｙ／∂ｔを求めることができる。各未知数に関する再構成誤差の勾配は、式（１１）、式（１３）、及び式（１４）を用いて求められる。

異常値の除去による３Ｄ再構成
いくつかの実施の形態は、対応する画像点が、スケール不変の特徴点変換（ＳＩＦＴ）等の特徴点マッチングアルゴリズムを用いて推定され、異常値及び誤一致を常に含むことを考慮する。これらの実施の形態は、異常値の除去と共にバンドル調整を繰り返すことによって再構成を行う。各バンドル調整ステップ後に、再投影誤差が平均再投影誤差の２倍よりも大きい３Ｄ点を除去する。ＡＦＰはバンドル調整時間を大幅に削減するため、実施の形態は、そのような除去を複数回繰り返し、異常値の処理に効果的である。したがって、解析ＦＰは、中心近似を用いることなく、複雑な非中心モデルを異常値の除去に使用することを可能にする。

球体中心の設定及び初期推定値
実施の形態は、例えば、３インチ（約７．６２センチメートル）の間隔で配置された半径０．７５インチ（約１．９１センチメートル）の４つの球面鏡を用い、マミヤ（Ｍａｍｉｙａ）６４５ＡＦＤカメラを用いて単一の画像を取得する。フォト画像の各球体画像は、１，３００×１，３００の解像度を有する。初期球体中心を求めるために、本実施の形態は、球体に対して接線方向の光線に対応して各球体境界のいくつかの点に印を付け、全ての接線方向の光線と同一の角度αを成す中心光線を求める。球体中心は、中心光線に沿ってｒ／ｓｉｎαの距離にある。

反復順投影ｖｓ解析順投影
従来の反復順投影（ＩＦＰ：ｉｔｅｒａｔｉｖｅ ｆｏｒｗａｒｄ ｐｒｏｊｅｃｔｉｏｎ）はまず、中心近似を用いて３Ｄ点の初期画像投影を計算し、次に、非線形最適化を行って、３Ｄ点と逆投影光線との間の距離を最小化する。単一の球体により１０^５個の３Ｄ点を投影する場合、ＩＦＰは１，１２０秒かかるのに対し、ＡＦＰは１３．８秒しかかからない。すなわち、〜８０倍速い。ＡＦＰは、解析的なヤコビ行列式の計算と共に、バンドル調整を用いた３Ｄ再構成のためのＩＦＰに比べて２桁速い速度を達成する。

球面鏡の逆投影
図４は、本発明の実施の形態による球面鏡の逆投影の概略図を示す。本実施の形態は、逆投影式を行列ベクトル形式に書き換える。例えば、或る点Ｃ_ｐ＝［０，０，−ｄ］^Ｔは、ＣＯＰ４００であり、半径ｒの球面鏡４１０は、原点４２０に配置される。画像点ｑ４３０において、ｓ＝Ｋ^−１ｑは光線の方向４３５であり、ここで、Ｋ_３×３は内部カメラ校正行列である。鏡との交差点ｂは、

であり、ここで、Ｓ_３はＳの第３の要素であり、ｂ^Ｔｂ＝ｒ^２であり、ｂにおける法線はｂ／ｒである。

ｖ_ｉ＝ｂ−Ｃ_ｐであるため、出射ベクトルｖ_ｒは、

であり、鏡軸とｍ＝［０，０，ｋ］^Ｔにおいて交わり、ここで、ｋ＝ｄｒ^２／（２ｄｂ_３＋ｒ^２）である。したがって、反射した３Ｄ光線のプリュッカー座標は、Ｌ＝（ｂ^Ｔ−ｍ^Ｔ，（ｂ×ｍ）^Ｔ）^Ｔである。Ｌ_＋４５０及びＬ₋４５５を用いて、ｖ_ｉと球体（ｂ_＋４６０及びｂ₋４６５）との２つの交点に対応する反射光線を表す。２本の線を、対称な６×６行列

として記述される２次線複素（ｌｉｎｅ ｃｏｍｐｌｅｘ）Ｃにより表す。式中、〜は行列がスケールファクターまで等しいことを表す。ｂ及びｍを代入することによって、ｓの４次単項式（ｑｕａｒｔｉｃ ｍｏｎｏｍｉａｌｓ）を含む線複素Ｃを得る。ｖ_ｓｙｍ（ｃ）をＣ（２１ベクトル）の右上の三角部分の列毎のベクトル化とし、

を辞書式順序（１５ベクトル）におけるｓの２倍（ｄｏｕｂｌｅ ｌｉｆｔｅｄ）座標とすると、以下の行列が得られる。

次に、行列ベクトル形式の逆投影式を得る。

ここで、Ｂ_ｒ，ｄは、ｒ及びｄのみに依存する疎な２１×１５行列

である。

球面鏡のエピポーラ曲線
実施の形態は、球体を中心とする座標系において定義され、プリュッカー座標でＬ_０として表される３Ｄ光線を考慮する。この光線は、

である場合にのみ線複素Ｃと交わる。

線複素ＣはＳの４次単項式を含むため、制約は、４次曲線となる。したがって、Ｌ_０の投影は、球面鏡の画像における４次曲線のように見える。これは、球面鏡に基づく反射屈折光学系が、４次エピポーラ曲線を与えることを意味する。

本実施の形態は、ＦＰ式を用いて、エピポーラ曲線の次数及び形状を検証する。

図５は、ＥＰ式を用いて、式（１９）に基づいて解析的に求められたエピポーラ曲線５１０と、３Ｄ点をＬ_０に投影することによって得られた曲線５２０とを比較するグラフである。曲線の形状は、解析４次曲線の連続断面である。また、画像点は、Ｌ_０上で３Ｄ点が±∞に近づくにつれて収束する。

透視投影カメラと同様に、４次エピポーラ曲線は、密なステレオマッチングの探索空間を制限するために用いることができる。通常、対応する一致がほぼ線に沿って配置されていると仮定するイプシロン−ステレオ制約等の近似が用いられる。しかし、実施形態は、非中心球面鏡カメラに対して解析２Ｄエピポーラ曲線を提供する。一般的な円錐鏡のＦＰ式は、他の非中心円錐型反射屈折光学系の一致探索も単純化する。

本発明の実施の形態は、反射屈折光学撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中心反射屈折光学系の順投影及び逆投影の解析式を提供する。さらに、解析ＦＰ及びヤコビ行列式の計算は、バンドル調整の実行時間を大幅に削減する。したがって、非中心モデルを用いる計算複雑度は、中心近似の計算複雑度に近くなる。

Claims (20)

1. 反射屈折光学系に関し、非中心反射屈折光学系をモデル化する際に、３次元空間上の点であるシーン内の一点（ＰＳ）の、前記反射屈折光学系において用いられるカメラの投影中心（ＣＯＰ）に対する３次元（３Ｄ）投影を求めるために、前記ＰＳと前記ＣＯＰとの間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求める方法であって、前記反射屈折光学系は、折り返し光学素子の表面から或る距離だけ離して配置された前記カメラを備え、前記折り返し光学素子は、反射器又は屈折器から選択され、前記折り返し点は、前記表面上にあり、前記表面上の前記光線の反射又は屈折により、前記折り返し点が前記光線を入射光線と出射光線とに分割するようにすることによって生じ、前記ＰＳ及び前記ＣＯＰは、３Ｄ位置によって識別され、前記方法は、
   前記反射屈折光学系の構成を取得するステップであって、前記反射屈折光学系は非中心式であり、前記表面は、前記表面の対称軸の周りに回転対称である二次曲面であり、前記ＣＯＰは前記対称軸上に配置される、取得するステップと、
   前記表面並びに前記ＰＳ及び前記ＣＯＰの前記３Ｄ位置を、前記対称軸と前記ＰＳとによって定義される２次元（２Ｄ）平面上にマッピングするステップであって、前記２Ｄ平面上に円錐並びに前記ＰＳ及び前記ＣＯＰの２Ｄ位置を生成し、前記円錐は、前記表面を前記２Ｄ平面上でパラメーター化したものである、マッピングするステップと、
   前記円錐、前記ＰＳ及び前記ＣＯＰの前記２Ｄ位置、並びに前記入射光線及び前記出射光線に関する少なくとも１つの制約に基づいて前記２Ｄ平面上の前記折り返し点の２Ｄ位置を求めるステップと、
   前記２Ｄ平面上の前記折り返し点の前記２Ｄ位置から前記折り返し点の前記３Ｄ位置を求めるステップと、を含み、
   前記方法の前記ステップは、プロセッサにより実施される方法。
2. 前記折り返し光学素子は前記反射器であり、前記折り返し点は前記表面からの前記光線の反射点であり、前記制約は反射法則である、請求項１に記載の方法。
3. 前記反射器は球面鏡であり、前記対称軸は、前記球面鏡の中心及び前記ＣＯＰを通る、請求項２に記載の方法。
4. 前記折り返し光学素子は前記屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点であり、前記制約は屈折法則である、請求項１に記載の方法。
5. 前記屈折器は屈折率球体であり、前記対称軸は、前記屈折率球体の中心及び前記ＣＯＰを通る、請求項４に記載の方法。
6. 前記制約は、
   

   

   であり、前記折り返し点の前記２Ｄ位置の第２の座標ｙは、順投影（ＦＰ）式
   

   

   に従って求められ、前記折り返し点の前記２Ｄ位置の第１の座標ｘは、前記第２の座標ｙに基づいて、
   

   

   に従って求められ、式中、ｖ_ｉは前記入射光線を表すベクトルであり、ｖ_ｒは前記出射光線を表すベクトルであり、Ｔは転置演算子であり、ｎは前記折り返し点における前記表面の法線を表すベクトルであり、ｕは前記ＰＳの前記２Ｄ位置の第１の座標であり、Ｋ_１（ｙ）及びＫ_２（ｙ）はｙの反射多項式であり、Ａ、Ｂ、Ｃは前記円錐のパラメーターである、請求項２に記載の方法。
7. 前記折り返し点の前記３Ｄ位置を、
   

   

   に従って求めることをさらに含み、式中、ｚ_１及びｚ_２は、前記２Ｄ平面の座標系を決める軸である、請求項６に記載の方法。
8. 前記折り返し光学素子は、球面鏡であり、前記ＦＰ式は、
   

   

   であり、式中、（ｕ，ｖ）は前記ＰＳの前記２Ｄ位置であり、ｙは前記折り返し点の前記２Ｄ位置の第２の座標であり、ｒは前記球面鏡の半径であり、ｄは前記ＣＯＰと球体の中心との間の距離である、請求項６に記載の方法。
9. 前記少なくとも１つの折り返し点は、第１の屈折点ｎ_１＝［ｘ，ｙ］^Ｔ及び第２の屈折点ｎ_２＝［ｘ_２，ｙ_２］^Ｔを含み、前記制約は、
   

   

   及び
   

   

   であり、前記第１の屈折点の前記２Ｄ位置の座標ｘ及び座標ｙは、順投影（ＦＰ）式
   

   

   に従って求められ、前記第２の屈折点の座標ｘ_２及び座標ｙ_２は、
   

   

   に従って求められ、式中ｖ_１、ｖ_２、及びｖ_３は、それぞれ、前記ＣＯＰから前記第１の屈折点までの光路を表すベクトル、前記第１の屈折点から前記第２の屈折点までの光路を表すベクトル、及び前記第２の屈折点から前記ＰＳまでの光路を表すベクトルであり、ｒは前記屈折率球体の半径であり、μは前記屈折率球体の屈折率であり、Ｋ_１、Ｋ_２、及びＫ_３はｘ及びｙの屈折多項式であり、ここで、ｘ^２＝ｒ^２−ｙ^２である、請求項５に記載の方法。
10. 前記折り返し点の３Ｄ位置から前記ＰＳの２Ｄ画像投影を、
    

    

    に従って求めることをさらに含み、（ｐ，ｑ）は前記２Ｄ画像投影の座標であり、（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）は前記折り返し点の座標であり、（ｆ_ｘ，ｆ_ｙ）は前記カメラのｘ方向及びｙ方向における有効焦点距離であり、（Ｃ_ｘ，Ｃ_ｙ）は前記カメラの２Ｄ主点である、請求項１に記載の方法。
11. バンドル調整を用いて前記シーン内の３Ｄ点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項１０に記載の方法。
12. 再投影誤差のヤコビ行列を求めることをさらに含む、請求項１０に記載の方法。
13. 前記ヤコビ行列及びバンドル調整を用いて前記シーン内の３Ｄ点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項１２に記載の方法。
14. 反射屈折光学系に関し、非中心反射屈折光学系をモデル化する際に、３次元空間上の点であるシーン内の一点（ＰＳ）の、前記反射屈折光学系において用いられるカメラの投影中心（ＣＯＰ）に対する３次元（３Ｄ）投影を求めるために、前記ＰＳと前記ＣＯＰとの間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求めるように構成される前記反射屈折光学系であって、前記ＰＳ及び前記ＣＯＰは、３Ｄ位置によって識別され、前記反射屈折光学系は非中心式であり、
    折り返し光学素子であって、前記折り返し点は、前記折り返し素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子と、
    前記表面から或る距離だけ離して配置されたカメラであって、前記反射屈折光学系の前記ＣＯＰは、前記カメラのＣＯＰであって、前記対称軸上に配置される、カメラと、
    前記表面並びに前記ＰＳ及び前記ＣＯＰの前記３Ｄ位置を、前記対称軸及び前記ＰＳによって定義される２次元（２Ｄ）平面上にマッピングする手段であって、前記２Ｄ平面上に円錐並びに前記ＰＳ及び前記ＣＯＰの２Ｄ位置を生成し、前記円錐は、前記表面を前記２Ｄ平面上でパラメーター化したものである、マッピングする手段と、
    前記円錐、前記ＰＳ及び前記ＣＯＰの前記２Ｄ位置に基づいて前記２Ｄ平面上の前記折り返し点の２Ｄ位置を求めるプロセッサと、
    前記２Ｄ平面上の前記折り返し点の前記２Ｄ位置から前記折り返し点の前記３Ｄ位置を求める手段と、
    を備える、反射屈折光学系。
15. 前記折り返し光学素子は反射器であり、前記折り返し点は前記表面からの前記光線の反射点である、請求項１４に記載の反射屈折光学系。
16. 前記折り返し光学素子は屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点である、請求項１４に記載の反射屈折光学系。
17. 前記折り返し点の３Ｄ位置から前記ＰＳの２Ｄ画像投影を、
    

    

    に従って求める手段をさらに備え、（ｐ，ｑ）は前記２Ｄ画像投影の座標であり、（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）は前記折り返し点の座標であり、（ｆ_ｘ，ｆ_ｙ）は前記カメラのｘ方向及びｙ方向における有効焦点距離であり、（ｃ_ｘ，ｃ_ｙ）は前記カメラの２Ｄ主点である、請求項１４に記載の反射屈折光学系。
18. バンドル調整を用いて前記シーン内の３Ｄ点と、前記反射屈折光学系のパラメーターとを同時に求める手段をさらに備える、請求項１４に記載の反射屈折光学系。
19. 反射屈折光学系に関し、非中心反射屈折光学系をモデル化する際に、３次元空間上の点であるシーン内の一点（ＰＳ）の、前記反射屈折光学系において用いられるカメラの投影中心（ＣＯＰ）に対する３次元（３Ｄ）投影を求めるために、前記ＰＳと前記ＣＯＰとの間の光線の少なくとも１つの折り返し点の３次元（３Ｄ）位置を求める方法であって、前記ＰＳ及び前記ＣＯＰは、３Ｄ位置によって識別され、前記反射屈折光学系は非中心式であり、前記方法は、
    折り返し光学素子を設けるステップであって、前記折り返し点は、前記折り返し光学素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子を設けるステップと、
    前記表面から或る距離だけ離して配置されたカメラを設けるステップであって、前記反射屈折光学系の前記ＣＯＰは、前記カメラのＣＯＰであり、前記対称軸上に配置される、カメラを設けるステップと、
    前記表面並びに前記ＰＳ及び前記ＣＯＰの前記３Ｄ位置を、前記対称軸及び前記ＰＳによって定義される２次元（２Ｄ）平面上にマッピングするステップであって、前記２Ｄ平面上に円錐並びに前記ＰＳ及び前記ＣＯＰの２Ｄ位置を生成し、前記円錐は、前記表面を前記２Ｄ平面上でパラメーター化したものである、マッピングするステップと、
    前記円錐、前記ＰＳ及び前記ＣＯＰの前記２Ｄ位置に基づいて前記２Ｄ平面上の前記折り返し点の２Ｄ位置を求めるステップと、
    前記２Ｄ平面上の前記折り返し点の前記２Ｄ位置から前記折り返し点の前記３Ｄ位置を求めるステップと、
    を含み、
    前記方法の前記ステップは、プロセッサにより実施される方法。
20. 前記折り返し光学素子は、反射器及び屈折器から選択される、請求項１９に記載の方法。

Images