JP7462890B2 - プレノプティック・カメラ・システムを較正するための方法及びシステム - Google Patents

Description

本発明は、プレノプティック・カメラ・システムを較正するための方法及びシステムに関する。

従来技術の方法、装置又は文献へのいかなる参照も、それらが共通の一般知識の一部を形成したか、又は形成することの何らかの証拠又は承認となると解釈されるべきではない。

インテグラル・フォトグラフィは、１００年以上前に、アイブス及びリップマンによって導入された。しかしながら、インテグラル・フォトグラフィは、プレノプティック・カメラの導入とともに再浮上してきた。３Ｄデータを取り込み、コンピュータ・ビジョン問題を解決するための技法として当初に提示されたとき、プレノプティック・カメラは、空間内の光線の分布を記録するためのデバイスとして設計された。プレノプティック・カメラの重要な利点のうちの１つは、像が取り込まれた後に焦点及び被写界深度のような像特性を調整できることである。

従来のプレノプティック（又はライト・フィールド）・カメラは、主カメラ・レンズの像面にあるマイクロレンズのアレイに基づいており、マイクロレンズの１焦点距離後方にセンサが配置されている。通常、マイクロレンズのアレイは、フォトセンサから短い距離に固定される。従来、マイクロレンズは、センサから厳密に１焦点距離ｆにあるように配置され、正確に調整される。ただし、ｆはアレイ内のマイクロレンズの焦点距離である。各マイクロレンズは、その点における放射輝度の角度分布をサンプリングする像を生成し、その角度分布は、主レンズ口径上の複数の視点から観測された単一の方向に対応する。したがって、従来のプレノプティック・カメラで取り込まれた原像は、主レンズの、一般には円形の小さい像のアレイから構成される。従来のプレノプティック・カメラ手法は、像面上の空間サンプル及び角度サンプルの配置を交換する。インテグラル・フォトグラフィの場合のように、通常の像のアレイを生成する代わりに、その手法は、そのシーン内の単一の点の角度サンプルの小さい２Ｄアレイからなる、単一の認識可能な「像」として現れるものを生成する。

残念なことに、製造工程の限界に起因して、フォトセンサに対するマイクロレンズ・アレイの厳密な位置及び向きは、隣り合うカメラごとに異なる場合がある。したがって、イメージ・センサによって受光された光の光源に関するライト・フィールド・データから正確な情報を入手するために、カメラは、イメージ・センサに対するマイクロレンズ・アレイの実際の位置及び向きに基づいて、適切に較正されなければならない。

プレノプティック・カメラのある適用例は、プレノプティック・カメラを較正する際にいくつかの特有の課題を提起する可能性がある。

例えば、網膜のプレノプティック３次元撮像の使用中に、物体の深度を再構成するために、一般に、事前の視差／深度較正が必要とされる。通常、較正中に、格子又は点目標がプレノプティック撮像システムの前に配置され、１つの軸（格子目標の場合）又は３つの空間軸（点目標の場合）に沿ってスキャンされる。しかしながら、目を撮像するとき、目の水晶体も撮像システムの一部であり、個々の目の内部に「既知の」深度を有する目標を置くことは絶対にできないので、そのような手順を使用することはできない。さらに、目の調節能力、接線方向及び軸方向の不整列が絶えず変化しているので、網膜撮像機器の実際の特性は撮影ごとに異なる。

デジタル眼底カメラ又はＯＣＴユニットのような現在市販されている網膜撮像機器は、多くの場合に、大きい卓上型のユニットであり、患者の視線とカメラの視線とを適切に合わせるために、システムは著しく複雑であり、信頼性がある撮像条件を保持する、詳細には、カメラ光学系から患者の眼球までの正確な距離、及び安定した眼球固定を保持するという問題にコストが充てられる。これらの条件のいずれかが満たされない場合には、結果として生じる像は、焦点が外れる可能性があるか、グレア光（ｆｌａｓｈ ｌｉｇｈｔ ｇｌａｒｅ）によって不鮮明にされる可能性があるか、又は像の忠実度を下げるか、若しくは重要な網膜細部を不鮮明にする他の光学アーティファクトを示す可能性がある。

網膜トポグラフィによる網膜機構の正確及び厳密な測定は、加齢黄斑変性（ＡＭＤ：Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ）、緑内障、糖尿病網膜症及び浮腫を診断及び監視する際に極めて重要である。上記のことを考慮して、従来技術の問題のうちのいくつかに少なくとも対処するために、網膜プレノプティック・カメラを較正する改善された方法を提供することが必要とされている。

一態様において、本発明は、プレノプティック・カメラ・システムが物体の明視野像内の物体特徴の真のサイズを特定するための較正方法を提供し、そのカメラ・システムは、物体内の点と交差する撮像軸に沿って位置決めされる対物レンズと、物体の部分の像を取得するために位置決めされるフォトセンサと、対物レンズとフォトセンサとの間に位置決めされるマイクロレンズ・アレイであって、アレイ内の各マイクロレンズは、像面に形成される像の異なるビューを投影し、それにより、フォトセンサ上に要素像のアレイを形成する、マイクロレンズ・アレイとを備え、その方法は、
物体の初期像を取得することと、
初期像を形成する複数の要素像から導出される任意の複数のビューから一致する特徴を抽出することと、
一致する特徴を有する２つ以上のビュー間の少なくとも１つの関数関係を計算することとを含む。

別の態様において、本発明は、眼科プレノプティック・カメラ・システムが、取得された被検者の目の網膜の１つ又は複数の明視野像に基づいて、網膜の特徴の真のサイズを特定するための較正方法を提供し、撮像装置は、照明光源、及び光源からの光を被検者の目の中に誘導するための光学アセンブリと、目の眼底上の点と交差する撮像軸に沿って位置決めされる対物レンズと、目の眼底の部分の像を取得するために位置決めされるフォトセンサと、対物レンズとフォトセンサとの間に位置決めされるマイクロレンズ・アレイであって、アレイ内の各マイクロレンズは、像面に形成される像の異なるビューを投影し、それにより、フォトセンサ上に要素像のアレイを形成する、マイクロレンズ・アレイとを備え、その方法は、
網膜の初期像を取得することと、
初期像を形成する複数の要素像から導出されるビューから一致する特徴を抽出することと、
一致する特徴を有する２つ以上のビュー間の少なくとも１つの関数関係を計算することとを含む。

一実施例において、計算するステップは、一致する特徴を有する２つ以上のビュー間の少なくとも２つの関数関係を計算することを含む。

一実施例において、関数関係を適用して、バーチャル・カメラの内部パラメータを計算するステップを含み、撮像システムは、複数のバーチャル・カメラを備える。

一実施例において、その方法は、関数関係を適用して、物体内の物体特徴の真のサイズを計算するステップを更に含む。同様に、その方法は、関数関係を適用して、被験者の目の網膜内の特徴の真のサイズを計算するステップも含むことができる。

一実施例において、先行する請求項のいずれか一項に記載の方法であって、一致する特徴を抽出するステップは、２つ以上のビュー内で容易に区別可能である２つ以上の点のグループを識別し、１組の一致する対を生成することによって、特徴検出ステップを適用することを含む。

一実施例において、一致する対を生成するステップの後に、一致する対間の共通一致点（ｃｏ－ｍａｔｃｈ）を取得するための、対応するビューにわたる一致する対間の共通照合（ｃｏ－ｍａｔｃｈｉｎｇ）ステップと、その後、対応するビューにわたる一致する点のクラスタを取得するために、共通一致点を共に付加することとが後続する。

更に別の態様において、本発明は、システムを提供し、
１つ以上のプロセッサと、
プレノプティック・カメラ・システムが物体の明視野像内の物体特徴の真のサイズを特定するための較正方法を実行するために、１つ以上のプロセッサによって実行可能な命令を含む不揮発性メモリとを備え、カメラ・システムは、物体内の点と交差する撮像軸に沿って位置決めされる対物レンズと、物体の部分の像を取得するために位置決めされるフォトセンサと、対物レンズとフォトセンサとの間に位置決めされるマイクロレンズ・アレイであって、アレイ内の各マイクロレンズは、像面に形成される像の異なるビューを投影し、それにより、フォトセンサ上に要素像のアレイを形成する、マイクロレンズ・アレイとを備え、その方法は、
物体の初期像を取得することと、
初期像を形成する複数の要素像から導出される任意の複数のビューから一致する特徴を抽出することと、
一致する特徴を有する２つ以上のビュー間の少なくとも１つの関数関係を計算することとを含む。

別の態様において、本発明はシステムを提供し、
１つ以上のプロセッサと、
眼科プレノプティック・カメラ・システムが、取得された被検者の目の網膜の１つ又は複数の明視野像に基づいて、網膜の特徴の真のサイズを特定するための較正方法を実行するために、１つ以上のプロセッサによって実行可能な命令を含む不揮発性メモリとを備え、撮像装置は、照明光源、及び光源からの光を被検者の目の中に誘導するための光学アセンブリと、目の眼底上の点と交差する撮像軸に沿って位置決めされる対物レンズと、目の眼底の部分の像を取得するために位置決めされるフォトセンサと、対物レンズとフォトセンサとの間に位置決めされるマイクロレンズ・アレイであって、アレイ内の各マイクロレンズは、像面に形成される像の異なるビューを投影し、それにより、フォトセンサ上に要素像のアレイを形成する、マイクロレンズ・アレイとを備え、その方法は、
網膜の初期像を取得することと、
初期像を形成する複数の要素像から導出されるビューから一致する特徴を抽出することと、
一致する特徴を有する２つ以上のビュー間の関数関係（Ｆ）を計算することとを含む。

本発明の方法及びシステム実施例とともに使用するための眼科撮像装置１００の概略図である。 眼科撮像装置１００の一部を形成する、マイクロレンズ・アレイ（６）及びフォトセンサ・アレイ（７）の拡大した概略図である。 眼科撮像装置１００の一部を形成する、マイクロレンズ・アレイ（６）及びフォトセンサ・アレイ（７）の詳細な概略図である。 一実施例による、方法５００のフロー・チャートである。 別の眼科撮像装置２００の一部を形成する、マイクロレンズ・アレイ（６）及びフォトセンサ・アレイ（７）の詳細な概略図である。 プレノプティック２構成の場合のバーチャル・カメラ・アレイの配置を示す図である。 プレノプティック１構成の場合のバーチャル・カメラ・アレイの配置を示す図である。 プレノプティック２カメラのための特徴照合ステップを示す図である。 プレノプティック１ライト・フィールドからパースペクティブ・ビューを生成するステップを示す図である。 方法５００を実行するための装置１００又は２００とともに使用される場合がある例示的なコンピュータ・システムを示す図である。

図１を参照すると、眼科プレノプティック・カメラ・システム１００の概略図が示される。眼科カメラ・システム（１００）は、単一のビューにおいて被検者の目１の眼底の複数の像を取り込むために設けられる。「眼底」という用語は、眼球の後極を指しており、一般に、網膜を含む（網膜は、黄斑及び視神経を含む）。

装置１００の使用を伴う通常の眼底像取得方法は、その像が網膜面（Ｒ）において形成される固視標（１０）を含む固定アセンブリの使用によって、目（１）が正確に軸方向に合わせられるように導くことを含む。固視標は、レンズ（１１）によってコリメートされた低電力ＬＥＤ（１２）によって後方照明され、その像はプレート・ビームスプリッタ（８）を通って、レンズ（９）によって、対物レンズ（２）の背面まで１焦点距離にある面に合焦する。これは、その後、対物レンズ（２）によって投影され、結果として、固視標（１０）が目によって結像される。目に対して、固視標（１０）は、無限遠の距離に現れる。結果として、弛緩した正視眼の場合に、固視標（１０）は合焦したままである。

目（１）の網膜照明ための光はＬＥＤ源（１４）によって与えられ、ＬＥＤ源は、集光レンズ（１３）によって合焦し、コリメートされたビームになる。ＬＥＤ源（１４）からのこの光は、その後、プレート・ビーム・プリッタ（３）を介し、対物レンズ（２）を通って、眼科装置１００の主光路の中に送り込まれる。ビーム・スプリッタ（３）によって送り込まれたビームは、その後、目の瞳孔面（Ｐ）において、又はそのわずかに後方において合焦し、目の中に拡散し、網膜表面を放射状に照明する。照明ＬＥＤは、２７００Ｋの「温白色」放射輝度を有する。このスペクトルは、目の損傷に関する光化学機構にとって最も重要な役割を果たす青色範囲（＜４５０ｎｍ）において減衰した出力を有する。瞳孔面における照明の放射力は、システム内の損失、主にビーム・スプリッタの低い反射率に起因して、ＬＥＤによって送達される放射力に比べて著しく低減され、像の信号対雑音比を最大にすることに加えて、患者の安全を確保するように設計される。

眼科プレノプティック・カメラ・システム（１００）は、目（１）の眼底の部分の像を取得するために位置決めされるフォトセンサ・アレイ（７）を備える。対物レンズ（２）が、目（１）の眼底上の点と交差する撮像軸（１３０）に沿って位置決めされる。対物レンズ（２）は、対物レンズ（２）の像面（１２０）上の眼底の像を形成するために、眼底によって反射された光を屈折させるために位置決めされる。正視眼（１）の網膜から反射された光は、人間の目（１）の光学素子によってコリメートされ、目（１）の虹彩を通して放射される。目（１）から放射される光のこの放射輝度は、対物レンズ（２）によって広角にわたって取り込まれ、ある面、具体的には、その像が反転され、正中継レンズ（ｐｏｓｉｔｉｖｅ ｒｅｌａｙ ｌｅｎｓ）（４）を介してマイクロレンズ・アレイ（６）に中継される像面に合焦する。単一の直線偏光フィルタ（５）を用いて、過大な対物レンズ後方散乱をフィルタリングすることによって、信号対雑音比が改善される。像面はフォトセンサ・アレイ（７）から離れて位置決めされ、マイクロレンズ・アレイ（複数のマイクロレンズを備える）は、アレイ内の各マイクロレンズが中継レンズ（４）の像面上に形成される像の少なくとも一部をフォトセンサ・アレイ（７）上に投影するのに適応するように、対物レンズ（２）とフォトセンサ・アレイ（７）との間に位置決めされる。

眼科撮像装置１００の少なくともいくつかの実施例において、マイクロレンズ・アレイ（６）のマイクロレンズは、従来のプレノプティック・カメラの場合のように、中継レンズ（２）上に合焦する代わりに、中継レンズ（４）によって形成される眼底の像上に合焦する。本眼科撮像装置（１００）の上述の構成におけるマイクロレンズ・アレイ（６）の配置は、より鮮明で、より高い空間分解能の像を達成するのに有用である。対物レンズ（２）は、中継レンズ（４）と組み合わせて、像面内に眼底の実像を形成する。像面は、単に、対物レンズ（２）及び中継レンズ（４）によって生成されるような、「空中の」像を有すると見なすことができる空間内の場所である。像面上に合焦しているマイクロレンズ・アレイ（６）のマイクロレンズは、像面において形成される眼底の像を取り込む。各マイクロレンズは、像面における像の小さいエリア又は領域を取り込み、取り込まれた領域をフォトセンサ・アレイ（７）の対応する領域上に写像又は投影する。

使用中に、マイクロレンズ・アレイ（６）は、図２に示されるように、ピクセル単位のセンサ・サイズをｂ／ａの比と乗算したものに相当する空間分解能において、ｕ×ｖの要素像をサンプリングする。マイクロレンズ・アレイ（６）は、直交パターンに配列される正方形のマイクロレンズ素子、又は最密六方素子のいずれかからなることができる。距離ｂ及びａは通常、マイクロレンズの焦点距離より長いが、短くてもよく、その場合、マイクロレンズ・アレイは、中継レンズ（４）によって形成される虚像をサンプリングする。

要素像はフォトセンサ・アレイ（７）上に形成され、フォトセンサ・アレイは、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）タイプ又は相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような任意の既知のタイプからなることができる。カラー撮像の場合、イメージ・センサは通常、デモザイキング・プロセスを介して、ＲＧＢカラーチャネルを分離できるようにするカラー・フィルタ・アレイを採用するが、Ｆｏｖｅｏｎ ３Ｘのような代替のセンサ技術が利用されてもよい。可視照明若しくは赤外線照明とともに、又は異なる波長照明下で別々のカラーチャネルが連射撮影されるバースト写真撮影を使用することによって、単色センサが使用されてもよい。それゆえ、１つの像においてフォトセンサ・アレイ（７）によって取り込まれる結果的な放射輝度は、多数（ｕ×ｖ）のサイズｓ×ｔピクセルの要素像からなる。

マイクロレンズ・アレイ（６）内の個々のマイクロレンズの結果としてフォトセンサ・アレイ（７）によって取り込まれる各要素像（３００）は、目の眼底のわずかに異なるパースペクティブ・ビューを与えることに留意することが重要である。言い換えると、フォトセンサ・アレイ（７）の所定の数のピクセル上に入射する各要素像は、マイクロレンズ・アレイ（６）内の個々のマイクロレンズを通り抜ける光を表す。マイクロレンズ・アレイ（６）のマイクロレンズを中継レンズ（４）によって生成される像上に合焦させることによって、本眼科システム（１００）の実施例は、ライト・フィールドの位置情報をより良好に取り込むことができる。また、ライト・フィールド・レンダリング法を用いて、従来のライト・フィールド・レンダリング技法より高い空間分解能において、フォトセンサ・アレイ（７）によって取り込まれたライト・フィールドからの像をレンダリングすることもできる。

本明細書において説明される眼科撮像システム（１００）の撮像プロセス又は方法５００は、３つのメイン・ステップから構成されると理解することができ、それらのステップは、前節において更に詳細に説明されたように、（Ａ）網膜の初期像を取得することと、（Ｂ）初期像を形成する複数の要素像から導出されたビューから一致する特徴を抽出することと、（Ｃ）一致する特徴を有する２つ以上のパースペクティブ・ビュー間の少なくとも１つの関数関係を計算することとを含む。

２つの異なる構成において眼科プレノプティック・カメラ・システムを較正するために、包括的な方法（５００）を利用することができる。

第１の方法（５００Ａ）は、図３に示されるシステム１００に関して、点Ｐ（Ｘ，Ｙ，Ｚ）をセンサ７上のその位置と関連付けるカメラ・モデルを決定する際に使用するためのものである。この方法は、マイクロレンズ・アレイ（６）を一連のピンホールとして近似し、他の全ての光学系を単一の薄いレンズ４として近似することに頼る。その際、カメラを通して、センサ７上の離散点ｐ（ｕ，ｖ，ｓ，ｔ）（ｓ及びｔは、１からインデックスを付されたマイクロレンズ下のピクセルの位置であり、ｕ及びｖは、１からインデックスを付された、光線が通り抜けるマイクロレンズである）を空間Ｐ（Ｘ，Ｙ，Ｚ）内のその点に再投影することができる。本明細書において説明される実施例に関して、センサ７とマイクロレンズ・アレイ６との間の距離はｂであり、主レンズとマイクロレンズ・アレイとの間の距離はｌであり、主レンズの焦点距離はｆ_ｍであることに留意されたい。これは、明細書を通して、「プレノプティック２構成」と呼ばれる。

第２の方法（５００Ｂ）は、図５に示されるシステム２００に関して、点Ｐ（Ｘ，Ｙ，Ｚ）をセンサ７のその位置に関連付けるカメラ・モデルを決定する際に使用するためのものである。図５に示される配置では、像面がフォトセンサ・アレイ（７）に位置決めされる必要があり、マイクロレンズ・アレイ（６）（複数のマイクロレンズを備える）が、対物レンズ（２）の焦点距離ｆ_ｍに位置決めされる。アレイ内の各マイクロレンズが、マイクロレンズ・アレイ（６）上に形成される像の少なくとも一部をフォトセンサ・アレイ（７）上に投影するのに適応するように、フォトセンサ・アレイ（７）がマイクロレンズ・アレイ（６）に対して位置決めされる。システム２００と本明細書において説明された装置１００との間の唯一の違いは、ｌ＝ｆ_ｍ及びｂ＝ｆ_μであることであり、ただし、ｆ_μはマイクロレンズの焦点距離であり、ｆ_ｍはレンズ（４）の焦点距離である。システム（２００）は、以後「プレノプティック１構成」と呼ばれる。

プレノプティック・カメラが、マイクロレンズ・アレイを用いて、到来する光線束をカメラの絞りにおける物体空間から分割する。この結果として、センサ上に多数の要素像が形成される。これらの要素像内の各ピクセルは、物体点から現れる個別の１組の光線を表すと言える。

パースペクティブ・ビューを生成するために、この光線空間表現を、それぞれが異なる位置にある、単純なピンホール・パースペクティブ・カメラのアレイの表現に抽象化することが有用である。図６Ａ及び図６Ｂはそれぞれ、プレノプティック２システム及びプレノプティック１システムに関して、マイクロレンズ・ベース・プレノプティック・カメラの２つの変形形態を等価カメラ・アレイとして示す。

図６Ｂに示されるようなプレノプティック１構成の場合、バーチャル・カメラがほとんど重なり合う視野（ＦＯＶ）を有し、焦点面と本物のカメラの光軸との交差点に向かってバージェンス（ｖｅｒｇｅｎｃｅ）を示す。アレイ内のバーチャル・カメラの数は、各マイクロレンズ下のピクセルの数に等しい。各カメラのＦＯＶは、カメラ・アレイ全体のＦＯＶに近似的に等しく、像分解能は、アレイ内のマイクロレンズの数に等しい。

図６Ａに示されるような、プレノプティック２構成プレノプティック・カメラの場合、バーチャル・カメラは、本物のカメラの光軸から発散する、部分的に重なり合う視野を有する。各カメラのＦＯＶは、各マイクロレンズのＦＯＶに等しく、分解能は、各マイクロレンズの後方にあるピクセルの数、すなわち、要素像サイズに等しい。バーチャル・カメラの数はアレイ内のマイクロレンズの数に等しく、全視野は、これらの個々の視野の和を多重化比（ｍｕｌｔｉｐｌｅｘｉｎｇ ｒａｔｉｏ）で割った値である。

特徴検出
物体空間内の同じ点に対応する、像空間内の２つ以上の点のグループを識別するために、ライト・フィールドに特徴検出が適用される。特徴検出は、（少なくともコンピュータの目において）他のエリアから容易に区別可能である像内のエリアを見つけることと、その後、その像のその特定の部分について特有であるものを符号化する、そのエリアに関する記述子を作成することとを含む。その際、像内の点と、それがどのように見えるかを符号化する記述子とが、特徴と呼ばれる。

特徴照合は、少なくとも２つの像上で特徴検出を実行することと、その後、類似の記述子を有する２つの像内の特徴を探索することとを含む。２つの記述子を比較するために、距離メトリックが使用され、この値が選択されたしきい値より小さいときに、一致したと判断される。複数の像の場合、複数の組の一致する対を結合して、完全な１組の一致点を取得するために、クラスタリングが使用される。

明視野像に関して特徴検出及び照合を適用するために、隣接するパースペクティブ・ビュー間で特徴検出を実行して、１組の一致する対を生成しなければならない。その後、一致する対間の共通一致点を互いに付加して、対応するパースペクティブ・ビューにわたる一致する点のクラスタを取得することができる。これが、プレノプティック２システムに関して図７に示される。信頼のないクラスタをフィルタリングにより除去するために、所与のクラスタから座標（ｔ，ｖ）及び（ｓ，ｕ）によって形成されたラインごとに、データがラインにいかに良好に当てはまるかを説明する決定係数（Ｒ^２）が計算される。これらのＲ^２値に基づいて、そのクラスタを受け入れるか、受け入れないかのしきい値が選択される。収差を考慮に入れるために、点（ｔ，ｖ）及び（ｓ，ｕ）の組は直線当てはめに近接すべきであり、この傾向からの著しい偏差は、一致が不正確であることを、それゆえ、信頼性のないクラスタを示す。

特徴照合を実行するには、物体空間内の同じ点を表示する一対（又は二対以上）の像が必要とされ、これらの像は、ライト・フィールドを構成する要素像のアレイから、１組のパースペクティブ・ビューを導出することによって生成することができる。パースペクティブ・ビューを導出するための方法は、プレノプティック１システム及びプレノプティック２システムの場合に異なり、両方の手法に関する概説が以下に与えられる。これらの方法を用いて生成されるパースペクティブ・ビューは、上記のバーチャル・カメラ・アレイによって取り込まれた１組の像に対応することになる。

パースペクティブ・ビュー内の点は（ｉ，ｊ，ｘ，ｙ）として表される。ただし、（ｉ，ｊ）は、その点が属するパースペクティブ・ビューのインデックスであり、（ｘ，ｙ）は、このパースペクティブ・ビュー内の点の場所である。

プレノプティック１ライト・フィールドからパースペクティブ・ビューを生成することは、各要素像内のピクセルの場所は同じでなければならないことに留意して、各要素像から１つのピクセルを取り込むことと、その後、それらを共にタイル張りすることとを含む。例えば、各要素像から左上ピクセルを取り込むことによって第１のパースペクティブ・ビューを生成することができ、その後、各要素像から左下ピクセルを取り込むことによって第２のパースペクティブ・ビューを生成することができる。このプロセスが図８に示される。

プレノプティック２ライト・フィールドから１組のパースペクティブ・ビューを生成することは、各要素像が図７に示されるようなパースペクティブ・ビューであるので、理論的にはより簡単である。しかしながら、要素像が小さく、そのため、小さい共有視野のみを有し、それにより、像対間の潜在的な一致点の数が制限されるという事実によって、これは複雑である。

一致する特徴を有する２つ以上のパースペクティブ・ビュー間の関数関係（Ｆ）の計算
特徴照合から２つ（又は３つ以上）のビュー内の一致する点の場所がわかると、較正方法のための次のステップは、一致する点間の関数関係を計算することである。

本明細書において説明される実施例において、対応する点の対間の基本行列［Ｆ］が計算される。基本行列は、２つの像間で推定することができる幾何学的制約を符号化し、それは、当該技術分野において、エピポーラ（幾何）拘束として知られている。詳細には、エピポーラ幾何は、所与のシーン内の所与の点、及びそのシーンの２つの所与の像の光学中心が同じ（エピポーラ）面上に存在するという事実を表す。これは、像のうちの１つにおいて点を与えられると、他の像内のその対応する点が、既知の（エピポーラ）線上に存在しなければならないことを意味する。

基本行列Ｆは、１つの像ｘ内の点の場所と、第２の像ｘ’内の点の対応する場所との間の関係を定義する。２つの像内の一致する点の任意の対ｘ⇔ｘ’に関して、
ｘ’^ＴＦｘ＝０
である。十分に多くの（少なくとも８個の）一致点ｘ_ｊ⇔ｘ’_ｊを与えられると、上記の式を用いて、未知の行列Ｆを計算することができる。詳細には、ｘ＝（ｘ，ｙ，１）^Ｔ及びｘ’＝（ｘ’，ｙ’，１）^Ｔと表すときに、各一致点は、Ｆの未知の成分に関する１つの一次方程式を生じさせる。この式の係数は、既知の座標ｘ及びｘ’に関して容易に表される。具体的には、点ｘ＝（ｘ，ｙ，１）及びｘ’＝（ｘ’，ｙ’，１）の対に対応する方程式は、
ｘ’ｘｆ_１１＋ｘ’ｙｆ_１２＋ｘ’ｆ_１３＋ｙ’ｘｆ_２１＋ｙ’ｙｆ_２２＋ｙ’ｆ_２３＋ｘｆ_３１＋ｙｆ_３２＋ｆ_３３＝０
である。ｆを、行優先順においてＦの成分を構成する９ベクトルであるとする。その際、上記の式は、以下のように表すことができる。
（ｘ’ｘ，ｘ’ｙ，ｘ’，ｙ’ｘ，ｙ’ｙ，ｙ’，ｘ，ｙ，１）ｆ＝０
１組のｎ個の一致点から、以下に示されるような形の１組の一次方程式を得ることができる。

Ｆは階数２の非正則行列であるので、８個の自由パラメータを有し、それは、基本行列を求めるために、最低でも８個の一致する点が必要とされることを意味する。

Ｐ^１＝［Ｉ｜０］であるような正規化カメラ（ｃａｎｏｎｉｃａｌ ｃａｍｅｒａ）として第１のビューを選択することができ、その後、任意の他のビューに関するカメラ行列（それは、第２のカメラが別のカメラに対していかに位置決めされるかを表すやり方である）を以下のように計算することができる。
Ｐ^ｉ＝［［ｅ’^ｉ］×Ｆ^ｉ｜ｅ’^ｉ］
ただし、Ｆ^ｉは、第１のビューと第ｉのビューとの間の基本行列であり、ｅ’^ｉは、第ｉのビューのエピポールであり、それはＦ^ｉの左零空間として計算することができる。バーチャル・カメラに関する内部行列（この関係は、プレノプティック・システムが、上記で説明されたのと同一である複数のそのようなバーチャル・カメラから構成されるという仮定に基づく）は、以下のように定義される。

ただし、ｆはバーチャル・カメラの焦点距離であり、（ｘ_０，ｙ_０）は主点である。内部行列Ｋを有するカメラに関する絶対円錐曲線の双対像は、ｗ^＊＝ＫＫ^Ｔによって与えられる。所与のバーチャル・カメラ行列Ｐに関して、絶対双対二次曲面Ｑ^＊ _∞が、絶対円錐曲線の双対像として投影されることも知られている。
Ｋ^ｉＫ^ｉＴ＝ω^＊ｉ＝Ｐ^ｉＱ^＊ _∞Ｐ^ｉＴ
上記の式は、自動較正の（形態のうちの１つの）基礎を形成し、Ｋの値に関する制約によって、Ｑ^＊ _∞を求めることができるようになり、それにより、Ｋを計算でき、それゆえ、カメラを較正できるようになる。

このステップをより明確に説明するやり方として、基本的には、絶対双対二次曲面が純粋なユークリッド空間（すなわち、投影、カメラなど何もない）内の無限遠にある平面に関連付けられ、その際、それはｄｉａｇ（１，１，１，０）によって定義されることになる。カメラを用いてそれを撮像することにより、二次曲面にホモグラフィが適用され、それがＨＱ^＊ _∞Ｈ^Ｔに見えるようにする。しかしながら、撮像中に、３Ｄ空間が２Ｄ像に変換され、３Ｄ二次曲面の２Ｄ像は円錐曲線である。二次曲面が同じ空間内に存在する任意のカメラに関して同じであることに留意することが重要であり、それは、二次曲面が式内のｉから独立しているためであり、それにより、問題を解くことができるようになる。留意すべき他の重要なことは、絶対円錐曲線の双対像がカメラ内部行列に依存することであり、それは、全てのカメラが同一であるなら、全てのｗ^＊ｉｓも同一であることを意味する。

Ｑ^＊ _∞は、対称な４×４行列であり、それは、その行列が１０個の独立した要素を有するので、それを求めるには１０個の独立した方程式が必要とされることを意味する。全てのバーチャル・カメラが同一であると仮定し（プレノプティック・カメラに関して無難な仮定）、量の均一性により、定数倍を含む（ｕｐ ｔｏ ｓｃａｌｅ）場合にのみ、それらが等しいままであることに留意することによって、上記の関係は、パースペクティブ・ビュー対ごとに１組の５個の二次方程式を生成することになり、その結果として、要求される１０個の方程式を得るために、少なくとも２つの関数関係が計算される必要がある。

最低３つのビューを与えられると、１０個の方程式を解いてＱ^＊ _∞を見つけることができ、それにより、Ｋを計算でき、ビュー対間のベースラインを計算でき、投影空間をメトリック空間に変換できるようになる。

カメラの特定の構成は縮退の事例であり、結果として、ビュー対あたりの独立した方程式の数が少なくなり、これらの事例では、より多くのビュー対が必要とされることに留意されたい。本発明では、十分過ぎるほどのビュー対があるので、そのプレノプティック・カメラの場合にこれは問題にはならない。

メトリック深度への変換
バーチャル・カメラ・アレイを構成するカメラの内部行列（Ｋ）、及びビュー対間のベースライン（Ｂ）がわかっている場合には、メトリック空間への変換は比較的簡単である。物体空間（Ｘ，Ｙ，Ｚ）内の点の位置は、三角測量を用いて、又は、

を使用することによって計算することができる。ただし、ｆはカメラの焦点距離であり、（ｘ_０，ｙ_０）はバーチャル・カメラの主点であり、（ｘ，ｙ）は点の座標であり、ρはピクセルのサイズであり（センサ・データシートによる）、ｋは点の視差（すなわち、その点が隣り合うビューごとにどの程度動くか）であり、Ｂは２つのカメラ間のベースラインである。Ｂは、バーチャル・カメラの姿勢の推定、カメラ転送行列を使用する光線交差点の推定のいずれかによって内部パラメータの知識から、又はカメラ光学系の知識（入射瞳の場所及びサイズ）を通して計算することができる。

図９を参照すると、出力網膜像を較正又はレンダリングするための例示的なシステムが示される。

本明細書において説明されたような種々の較正又は画像レンダリング方法のうちの１つ以上の実施例は、種々の他のデバイスとインタラクトすることができる１つ以上のコンピュータ・システム上で実行することができる。１つのそのようなコンピュータ・システムが図５に示される。異なる実施例では、コンピュータ・システム７００は、限定はしないが、パーソナル・コンピュータ・システム、デスクトップ・コンピュータ、ラップトップ、ノートブック若しくはネットブックコンピュータ、メインフレーム・コンピュータ・システム、ハンドヘルド・コンピュータ、ワークステーション、ネットワーク・コンピュータ、カメラ、セット・トップ・ボックス、モバイル・デバイス、コンシューマ・デバイス、又は一般に任意のタイプのコンピューティング若しくは電子デバイスを含む、種々のタイプのデバイスのいずれかとすることができる。

図示される実施例において、コンピュータ・システム７００は、入力／出力（Ｉ／Ｏ）インターフェース７３０を介して、システム・メモリ７２０に結合される１つ以上のプロセッサ７１０を備える。コンピュータ・システム７００は、Ｉ／Ｏインターフェース７３０に結合されるネットワーク・インターフェース７４０と、マウス・デバイス７６０、キーボード７７０及び１つ又は複数のディスプレイ７８０のような１つ以上の入力／出力デバイス７５０とを更に備える。いくつかの実施例では、実施例がコンピュータ・システム７００の単一のインスタンスを用いて実装される場合があることが企図され、一方、他の実施例では、複数のそのようなシステム、又はコンピュータ・システム７００を構成する複数のノードが、実施例の異なる部分又はインスタンスをホストするように構成される場合がある。

いくつかの実施例において、少なくとも１つのプロセッサ７１０はグラフィックス処理ユニットとすることができる。グラフィックス処理ユニット又はＧＰＵは、パーソナルコンピュータ、ワークステーション、又は他のコンピューティング若しくは電子デバイスのための専用グラフィックス・レンダリング・デバイスと見なすことができる。最新のＧＰＵは、コンピュータ・グラフィックスを操作し、表示することに関して非常に効率的な場合があり、ある範囲の複雑なグラフィック・アルゴリズムに関して、その高度な並列構造によって、通常のＣＰＵより最新のＧＰＵの実効性を高めることができる。１つ又は複数のＧＰＵは、プログラマが１つ又は複数のＧＰＵの機能を呼び出すことができるようにする１つ以上のアプリケーション・プログラマ・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｅｒ ｉｎｔｅｒｆａｃｅ）を実装することができる。適切なＧＰＵは、ＮＶＩＤＩＡ Ｃｏｒｐｏｒａｔｉｏｎ、ＡＴＩ Ｔｅｃｈｎｏｌｏｇｉｅｓなどの販売元から市販される場合がある。

システム・メモリ７２０は、プロセッサ１０１０によってアクセス可能なプログラム命令及び／又はデータを記憶するように構成することができる。種々の実施例において、システム・メモリ７２０は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ：ｓｙｎｃｈｒｏｎｕｏｓ ｄｙｎａｍｉｃ ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ＲＡＭ）、不揮発性／フラッシュタイプ・メモリ、又は任意の他のタイプのメモリのような、任意の適切なメモリ技術を用いて実装することができる。例示される実施例では、較正モジュールの実施例に関して上記で説明されたような、所望の機能を実装するプログラム命令及びデータはそれぞれ、プログラム命令７２５及びデータ・ストレージ７３５としてシステム・メモリ１０２０内に記憶されるように示される。他の実施例では、プログラム命令及び／又はデータは，異なるタイプのコンピュータ・アクセス可能媒体上、又はシステム・メモリ７２０若しくはコンピュータ・システム７０００とは別の類似の媒体上に受信されるか、送信されるか、又は記憶される場合がある。一般的に言うと、コンピュータ・アクセス可能媒体は、磁気媒体又は光媒体、例えば、Ｉ／Ｏインターフェース７３０を介してコンピュータ・システム７０００に結合されるディスク又はＣＤ／ＤＶＤ－ＲＯＭのような記憶媒体又はメモリ媒体を含むことができる。コンピュータ・アクセス可能媒体を介して記憶されるプログラム命令及びデータは、伝送媒体によって、又はネットワーク・インターフェース７４０を介して実装される場合があるような、ネットワーク及び／又はワイヤレス・リンクのような通信媒体を介して搬送することができる電気信号、電磁信号又はデジタル信号のような信号によって送信される場合がある。

図６に示されるように、メモリ７２０は、本明細書において説明されるような方法５００の実施例を実装するように構成されるプログラム命令７２５と、プログラム命令７２５によってアクセス可能な種々のデータを含む、データ・ストレージ７３５とを含むことができる。

コンピュータ・システム７００は例示にすぎず、本明細書において説明されるような較正モジュール又は較正方法の範囲を制限することを意図していないことは当業者には理解されよう。詳細には、コンピュータ・システム及びデバイスは、示された機能を実行することができるハードウェア又はソフトウェアの任意の組み合わせを含むことができる。また、コンピュータ・システム７００は、眼科装置１００及び図示されない任意の他のデバイスに結合することができるか、又は代わりに、スタンドアローン・システムとして動作することができる。さらに、例示される構成要素によって与えられる機能は、いくつかの実施例において、より少ない数の構成要素において組み合わせられる場合があるか、又は付加的な構成要素に分散される場合がある。同様に、いくつかの実施例において、図示される構成要素のうちのいくつかの構成要素の機能は与えられない場合があり、及び／又は他の付加的な機能が利用可能な場合がある。

法令に従って、本発明は、構造的特徴又は方法的特徴に多かれ少なかれ特有の用語において説明されてきた。「備える、含む（ｃｏｍｐｒｉｓｅ）」という用語、並びに「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」及び「から構成される（ｃｏｍｐｒｉｓｅｄ ｏｆ）」のようなその変形は、全体を通して包含する意味において使用され、任意の更なる特徴を除外すべきではない。

本明細書において説明される手段は本発明を実施する好ましい形態を含むので、本発明は図示又は説明された具体的な特徴に限定されないことを理解されたい。

それゆえ、本発明は、当業者によって適切に解釈される添付の特許請求の範囲の適切な範囲内で、その形態又は変更形態のいずれかにおいて特許請求される。

本明細書及び特許請求の範囲（もしある場合）を通して、文脈上他の意味に解すべき場合を除いて、「実質的に」又は「約」という用語は、それらの用語によって条件を付けられた範囲に関する値に限定されないことは理解されよう。

本発明のいかなる実施例も、例示にすぎないことを意図しており、本発明を制限することは意図していない。それゆえ、本発明の趣旨及び範囲から逸脱することなく、説明された任意の実施例に対して種々の他の変形及び変更を加えることができることは理解されたい。

Claims (6)

1. 眼科プレノプティック・カメラ・システムが、取得された被検者の目の網膜の１つ又は複数の明視野像に基づいて、前記網膜の特徴の真のサイズを特定することによって較正する方法であって、
   前記眼科プレノプティック・カメラ・システムを提供することであって、
   照明光源、及び前記光源からの光を被検者の目の中に誘導するための光学アセンブリを提供することと、
   前記目の眼底上の点と交差する撮像軸に沿って位置決めされる対物レンズを提供することと、
   前記目の眼底の部分の像を取得するために位置決めされるフォトセンサ・アレイを提供することと、
   前記対物レンズと前記フォトセンサ・アレイとの間に位置決めされ、中継レンズの像面から離間したマイクロレンズ・アレイであって、前記マイクロレンズ・アレイ内の各マイクロレンズは、前記中継レンズの前記像面に形成される前記像の異なるビューを投影し、それにより、前記フォトセンサ・アレイ上に要素像のアレイを形成する、前記マイクロレンズ・アレイを提供することとを備えた、前記眼科プレノプティック・カメラ・システムを提供することと、
   前記網膜の初期像を取得することと、
   前記初期像を形成する複数の要素像から導出されるビューから一致する特徴を抽出するステップと、
   一致する特徴を有する前記ビューのうちの２つ以上の間の少なくとも１つの関数関係を計算するステップと、
   前記関数関係を適用して、前記被検者の目の前記網膜内の特徴の前記真のサイズを計算するステップを含む、方法。
2. 前記計算するステップは、一致する特徴を有する２つ以上の前記ビュー間の少なくとも２つの関数関係を計算するステップを含む、請求項１に記載の方法。
3. 前記関数関係を適用して、バーチャル・カメラの内部パラメータを計算するステップを更に含み、前記眼科プレノプティック・カメラ・システムは複数の前記バーチャル・カメラを備える、請求項１または２に記載の方法。
4. 一致する特徴を抽出する前記ステップは、前記２つ以上のビュー内で容易に区別可能である２つ以上の点のグループを識別し、１組の一致する対を生成することによって、特徴検出ステップを適用することを含む、請求項１から３までのいずれか一項に記載の方法。
5. 一致する対を生成する前記ステップの後に、一致する対間の共通一致点を取得するための、対応するビューにわたる前記一致する対間の共通照合ステップと、その後、前記対応するビューにわたる一致する点のクラスタを取得するために、前記共通一致点を共に付加することとが後続する、請求項４に記載の方法。
6. システムであって、
   １つ以上のプロセッサと、
   眼科プレノプティック・カメラ・システムが、取得された被検者の目の網膜の１つ又は複数の明視野像に基づいて、前記網膜の特徴の真のサイズを特定することによって較正する方法を実行するために、前記１つ以上のプロセッサによって実行可能な命令を含む不揮発性メモリと、
   撮像装置と、
   を備え、
   前記撮像装置が、照明光源、及び前記光源からの光を被検者の目の中に誘導するための光学アセンブリと、前記目の眼底上の点と交差する撮像軸に沿って位置決めされる対物レンズと、前記目の眼底の部分の像を取得するために位置決めされるフォトセンサ・アレイと、前記対物レンズと前記フォトセンサ・アレイとの間に位置決めされ、中継レンズの像面から離間したマイクロレンズ・アレイであって、前記マイクロレンズ・アレイ内の各マイクロレンズは、前記中継レンズの前記像面に形成される像の異なるビューを投影し、それにより、前記フォトセンサ・アレイ上に要素像のアレイを形成する、マイクロレンズ・アレイとを備え、
   前記システムは、
   前記網膜の初期像を取得し、
   前記初期像を形成する複数の要素像から導出されるビューから一致する特徴を抽出し、
   一致する特徴を有する２つ以上の前記ビュー間の関数関係（Ｆ）を計算し、
   前記関数関係を適用して、前記被検者の目の前記網膜内の特徴の前記真のサイズを計算するように構成される、システム。

Images