JP7093402B2

JP7093402B2 - 網膜のバースト撮像における動的照明

Info

Publication number: JP7093402B2
Application number: JP2020503282A
Authority: JP
Inventors: クラーマー，ライアン; カヴーシ，サム; グリク，エリエゼル; ウー，ホンレイ
Original assignee: ヴェリリーライフサイエンシズエルエルシー
Priority date: 2017-08-14
Filing date: 2018-08-01
Publication date: 2022-06-29
Anticipated expiration: 2038-08-01
Also published as: JP2020530783A; US10827924B2; EP3668373A4; CN111031894B; US20190046031A1; EP3668373A1; CN111031894A; WO2019036196A1

Description

関連出願の相互参照
［0001］本出願は、２０１７年８月１４日に提出された米国仮出願第６２/５４５，２３４号の利益を主張しており、この特許はその全体が参照により本明細書に組み込まれる。

［0002］本開示は一般に撮像技術に関し、詳細には網膜の撮像に関する。

［0003］網膜の撮像は、多くの網膜の病気のスクリーニング、現場診断および進行のモニタリングのための基本的な目の検査の一部である。高い忠実度の網膜像は、正確なスクリーニング、診断およびモニタリングに重要である。瞳を通り抜けて眼球の後方の内側面（すなわち網膜）を明るく照らすことは、画像の忠実度を高める一方で、光学収差、またはレンズフレアなどの画像アーチファクトを生むことも多い。レンズフレアは、内部反射、種々の内部境界における屈折率の変化、不完全性またはそれ以外が原因で、光がレンズ系の内部要素から散乱する現象である。このような散乱光は、レンズフレアとして網膜像に現れ、これは画像品質にとって有害である。照明を明るくする程、レンズフレアは顕著になり、これは画像の忠実度を改善する目的を徐々に失わせる。他の画像アーチファクトは、瞳との位置合わせ不良からの角膜反射または虹彩反射によって生じる場合がある。

［0004］本発明の非制限的かつ非包括的な実施形態は、以下の図面を参照して説明されており、これらの図面では、同様の参照番号は、そうでないことが特定されていなければ様々な図面を通して同様の部分を指している。適切な場合には図面を乱雑にしないために、要素の全ての例が必ずしもラベル付けされる訳ではない。図面は、必ずしも縮尺通りではなく、代わりに、記載されている原理を例示する際に強調される。

［0005］本開示の一実施形態による、動的照明器を利用する網膜のバースト撮像システムを例示する図である。［0006］本開示の一実施形態による動的照明器の正面図である。［0007］本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。本開示の一実施形態による、異なる照明パターンで取り込まれた網膜の画像フレームを例示する図である。［0008］本開示の一実施形態による、動的照明器を利用する網膜のバースト撮像システムの動作のプロセスを例示するフローチャートである。［0009］本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。本開示の一実施形態による、例証の動的な放射状照明器を例示する図である。［0010］本開示の一実施形態による、動的照明器を利用する例証の網膜撮像システムを示す図である。［0011］本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラの機能ブロック図である。［0012］本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラによる画像処理を例示するブロックフロー図である。

［0013］照明アーチファクトを削減するために動的照明を利用する網膜のバースト撮像のためのシステム、装置およびその操作方法の実施形態が本明細書に記載される。以下の記載において、実施形態の完全な理解を提供するために多くの特有の詳細が述べられている。しかしながら当業者は、本明細書に記載される技術は、特有の詳細のうちの１つまたは複数なしで実施する、または他の方法、構成要素、材料などによって実施することができることを認識するであろう。他の例では、よく知られた構造、材料または動作は、特定の態様を曖昧にするのを避けるために、詳細には示されない、または記載されない。

［0014］本明細書を通して、「ある実施形態」または「一実施形態」という言及は、この実施形態に関連して記載される特定の機能、構造または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味している。よって「ある実施形態における」または「一実施形態における」というフレーズは本明細書の様々な場面に出てくるが、必ずしも全て同一の実施形態を指すわけではない。さらに、特定の機能、構造または特徴は、１つまたは複数の実施形態において任意の好適なやり方で組み合わされる場合もある。

［0015］高い忠実度の網膜像は、多くの網膜の病気をスクリーニングする、診断する、およびモニタリングするのに重要である。この目的のために、網膜像の一部を見えなくする、またはそれ以外の方法で害を及ぼす画像アーチファクト（例えば有害な影響を及ぼす角膜反射など）の事例を削減する、またはなくすことが望ましい。本明細書に記載される実施形態は、異なる照明パターンで照らされた網膜の複数の画像フレームを組み合わせることで複合網膜像における画像アーチファクトの発生率を低下させる。

［0016］図１Ａは、本開示の一実施形態による網膜のバースト撮像システム１００を示している。撮像システム１００の例示される実施形態は、動的照明器１０５、網膜カメラ１１０、コントローラ１１５および網膜１２５のバースト画像フレームを取り込むことが可能な光学中継システム１２０を含む。

［0017］光学中継システム１２０は、網膜１２５の撮像光を網膜カメラ１１０に誘導しつつ（例えば反射させつつ）、動的照明器１０５からの光を瞳１３０を通り抜けるように誘導して（例えば通して）網膜１２５を照らすような働きをする。例示の実施形態では、光学中継システム１２０は、ビームスプリッタである。しかしながら光学中継システム１２０は、図５に例示される光学中継システムなど、いくつかの多様な光学素子（例えばレンズ、反射面など）で実装され得ることを理解されたい。

［0018］コントローラ１１５は、網膜カメラ１１０および動的照明器１０５に結合されてその動作を構成する。コントローラ１１５は、マイクロコントローラ上で実行するソフトウェア／ファームウェア論理、ハードウェア論理（例えば用途固有集積回路、フィールドプログラマブルゲートアレイなど）、またはソフトウェアとハードウェア論理の組み合わせを含んでよい。図１Ａは、別個の機能要素としてコントローラ１１５を例示しているが、コントローラ１１５によって実施される論理的機能は、いくつかのハードウェア要素にわたって分散される場合もある。例えば、以下に記載される画像処理機能の一部は、一体型信号プロセッサ（ＩＳＰ）として網膜カメラ１１０に統合されてもよい、または網膜カメラ１１０の外部の別個のマイクロプロセッサ上で実行されてもよい。さらにコントローラ１１５は、画像フレームおよび複合網膜像をバッファに格納する／保管するために取り込まれた、または装着されたメモリを含んでもよい。コントローラ１１５は、入力／出力（Ｉ／Ｏポート）、通信システム、ユーザインターフェースまたはそれ以外をさらに含んでもよい。

［0019］網膜カメラ１１０は、相補形金属酸化物半導体（ＣＭＯＳ）画像センサ、電荷結合素子（ＣＣＤ）画像センサまたはそれ以外など、様々な撮像技術を利用して実装されてよい。一実施形態において、網膜カメラ１１０は、図６に関連して考察するように、オンボードメモリバッファおよびＩＳＰを含む。

［0020］動作中、コントローラ１１５は、動的照明器１０５および網膜カメラ１１０を操作して、瞳１３０を通して単一の撮像ウィンドウの間に網膜１２５の画像フレームのバーストを取り込む。動的照明器１０５は、その照明パターンが固定されず、むしろ画像フレーム間で変更され得る（例えばコントローラ１１５に反応して変更される）点において動的である。いくつかの実施形態において、単一の撮像ウィンドウは、動的照明器１０５から出力された照明パターンにより虹彩１３５が実質的に閉じる前に瞳１３０を通して網膜１２５を撮像するのに利用することができる時間量である。種々の実施形態では、単一の撮像ウィンドウは、５００ミリ秒未満の持続時間に相当する。他の実施形態において、単一の撮像ウィンドウは、２００ミリ秒未満の持続時間に相当する。一実施形態において、単一の撮像ウィンドウは、おおよそ１００ミリ秒である。さらに他の実施形態において、単一の撮像ウィンドウはこれより長い場合もあり、５秒まで継続する場合もある。撮像バーストまたは単一の撮像ウィンドウの範囲内で画像フレームのうちの１つまたは複数を取り込む作業の間に、コントローラ１１５は、異なる照明パターンを出力するように動的照明器１０５を再構成する。一実施形態において、異なる照明パターンは、網膜１２５の視野（ＦＯＶ）の周りの異なる角度位置から網膜１２５を照らす。当然のことながら、異なる照明パターンは、以下で考察するように動的照明器１０５のその他の再構成を含んでもよい。このような異なる照明パターンによって、画像アーチファクトは画像フレームの異なる領域に現れるようになる。したがって、異なる照明パターンで照らされた複数の異なる画像フレームを取得することによって、画像アーチファクトによって遮られる複合網膜像の領域がほとんどない、または全くない、高品質の複合網膜像を生成することができる。画像アーチファクトは、動的照明器１０５の瞳１３０との位置合わせ不良、レンズフレアまたはそれ以外が原因で、眼球１０１の角膜からの反射、または紅彩１３５からの反射から生じる可能性がある。

［0021］図１Ｂは、本開示の一実施形態による一例の動的な放射状照明器１５０の正面図を示している。動的な放射状照明器１５０は、動的照明器１０５の例示の実装形態を表しており、この場合照明地点は、環状領域１５５の周りに放射状に配置される。したがって、動的な放射状照明器は、放射状の実装形態を表しているが、動的照明器１０５は、動的に変化する照明を達成することが可能な他の構成（放射状またはそれ以外）で実装される場合もあることを理解されたい。

［0022］図１Ｂに示されるように、動的な放射状照明器１５０は、各々が網膜１２５のＦＯＶの周りの異なる角度位置を有する１２個の別個の照明地点１から１２を含む。動作中、網膜カメラ１１０および動的な放射状照明器１５０は、網膜１２５が、１から１２までの各々の照明地点から別々に照らされる間、１つまたは複数の画像フレームを取得するようにコントローラ１１５によって操作されてよい。他の実施形態において、１から１２の照明地点の集合は、画像フレーム毎に有効にされる。このような集合に分けられた照明地点は、環状領域１５５の周りの隣接する地点であってよい、または隣接しない照明地点であってもよい。

［0023］図２Ａ～図２Ｄは、本開示の一実施形態による、異なる照明パターンによって取り込まれた網膜１２５の４つの画像フレームを示す。例えば図２Ａは、画像の上部右の四分円に画像アーチファクト２２５を有する網膜１２５の一例の画像フレーム２０５を示す。画像アーチファクト２２５は、角膜反射、紅彩１３５による反射または妨害、レンズフレアまたはそれ以外のものである可能性がある。したがって、画像フレーム２０５の上部の右四分円は、許容できない画像アーチファクトを有する欠陥領域であるとみなされてよい。画像フレーム２０５の他の３つの四分円には、顕著な画像アーチファクトは含まれず、複合網膜像に使用できる領域であるとみさなれてよい。結果として、画像アーチファクト２３０を含む、画像フレーム２１０の下部の右四分円は欠陥領域であるとみなされてよく、画像アーチファクト２３５含む、画像フレーム２１５の下部の左四分円は欠陥領域であるとみなされてよく、画像アーチファクト２４０の一部を含む、画像フレーム２２０の下部の左四分円および上部の左四分円は欠陥領域であるとみなされてよい。画像アーチファクトは、図２Ａ～図２Ｄに例示されるように周辺部にちょうど沿っているのではなく、中央領域を含めた画像フレーム内のどこにでも現れる可能性があることを理解されたい。図２Ａ～図２Ｄは、四分円に分割された画像フレームを例示しているが、画像フレームは、様々な異なる形状を有する任意の数の領域に分けられてよい。一実施形態において、欠陥領域は、画像アーチファクト自体のサイズおよび形状に限定されてよい。顕著な画像アーチファクトを持たない領域は、複合網膜像になるように組み合わせるのに許容できる使用可能な領域とみなされてよい。網膜像２０５、２１０、２１５および２２０を位置合わせおよびクロッピングし、欠陥領域を無視する、またはその強調を抑える一方で、使用可能な領域を組み合わせることによって、対象の全領域または網膜１２５のＦＯＶをカバーする単一で高品質の欠陥のない複合網膜像を取得することができる。

［0024］上記で述べたように、画像アーチファクト２２５～２４０は、様々な理由で生じる可能性がある。角膜反射の場合では、画像アーチファクトは、照明位置から画像フレームの反対側に現れることが多い。したがって画像アーチファクト２３０が角膜反射によって生じた場合、このとき網膜１２５は照明地点１０－１２および１から照らされていた可能性がある。このようなシナリオでは、網膜１２５を他の地点から照らしながら再度撮像することで、使用可能な、またはほぼ欠陥のない下部の右四分円の画像を達成し得る。

［0025］紅彩１３５による反射または妨害の場合では、動的照明器１０５は、照明地点１－４から照らされたとき、瞳１３０と位置合わせ不良である可能性がある。そのような位置合わせ不良は、例示されるように、画像フレーム２０５の上部の右四分円に有害な影響を及ぼす反射を生じる可能性がある。このような画像の欠陥を修正するために、網膜１２５は、画像フレーム２０５の上部の右四分円にある欠陥領域の反対側の照明地点７－１０を利用して再度撮像されてよい。

［0026］図３は、本開示の一実施形態による、網膜撮像システム１００の動作のプロセス３００を例示するフローチャートである。プロセスの一部または全てがプロセス３００に登場する順序は、限定とみなすべきではない。むしろ本開示の利益を有する当業者は、プロセスブロックの一部は、例示されない様々な順序で、またはさらには並行して実行される場合もあることを理解するであろう。

［0027］プロセスブロック３０５において、網膜の撮像バーストがコントローラ１１５によって開始される。一実施形態において、開始は、ユーザ入力（例えばボタンの押圧）に応答して誘発される。さらに別の実施形態では、開始は、眼球１０１の視線が光学中継システム１２０と十分に位置合わせされたとき、網膜の撮像バーストを作動させる視線追跡システム（例えば紅彩／瞳追跡カメラ）に基づいて自動的に誘発される場合もある。

［0028］プロセスブロック３１０において、動的照明器１０５の最初の照明パターンおよび／または網膜カメラ１１０の最初のセンサ設定が選択される。このような最初の設定は、初期設定であってよい、または網膜カメラ１１０からのリアルタイムのフィードバックに基づいてコントローラ１１５によって動的に選択されてもよい。例えば環境条件または眼球１０１の特徴が、最初の照明パターンおよびセンサ設定の選択を変更する場合もある。

［0029］プロセスブロック３１５では、動的照明器１０５は、網膜カメラ１１０による撮像のための照明を提供する、予め選択された照明パターンを放出することができるようにされる。ひとたび動的照明器１０５が有効にされると、反復する動的照明および画像取り込みを伴う単一の撮像ウィンドウが始まる。プロセスブロック３２０では、網膜カメラ１１０は、現在選択されるセンサ設定で網膜１２５の画像フレームを取り込む。追加の画像フレームを取得すべき場合（決定ブロック３２５）、この場合プロセス３００は、プロセスブロック３１５および３２０において再度照明し次の画像フレームを取り込む前に、プロセスブロック３３０に進み、そこで照明パターンが調節されてよく、プロセスブロック３３５では、画像センサ設定が調節されてよい。

［0030］単一の撮像ウィンドウの間に取り込まれる画像フレームの数は、４つまたはそれ以上の画像フレームであってよい。種々の実施形態では、１６のフレーム、２４のフレーム、４８のフレーム、またはさらには４８を超えるフレームが、単一の撮像ウィンドウの間に取り込まれてよい。照明パターンおよび／またはカメラ設定は、同一の照明パターンおよび／または同一の画像センサ設定で複数の画像フレームが取得されるように、各画像フレーム間で、または画像フレームの集合間で調整されてよい。プロセスブロック３３０における照明パターンの調節には、異なる環状の位置または放射状の位置から網膜１２５を照らすための環状領域１５５の周りの照明位置の変更、照明の明るさの変更、照明波長（例えば赤色光、緑色光、青色光、赤外線光、白色光または他の波長）の変更、画像フレームの間、または他の照明設定間での照明継続時間の変更のうちの１つまたは複数が含まれてよい。プロセスブロック３３５における画像センサ設定の調節には、利得設定の変更、露出継続時間の変更、絞り設定の変更または他のセンサ設定の変更のうちの１つまたは複数が含まれてよい。

［0031］ひとたび全ての最初の画像フレームが取得されたと判定されると（決定ブロック３２５）、プロセス３００は、プロセスブロック３４０に進む。プロセスブロック３４０では、取り込まれた画像フレームは任意選択で分析されて、許容できない画像アーチファクトを含むと見なされる欠陥領域（または許容可能であると見なされる使用可能な領域）を特定する。このような領域（欠陥領域または使用可能な領域のいずれか）は任意選択でそのように注釈がつけられる。

［0032］決定ブロック３４５では、単一の撮像ウィンドウの期間が終わる前に、追加の画像フレームを取得すべきかどうかが判定される。一実施形態において、この判定は、プロセスブロック３４０での分析および注釈に基づくものである。したがって一実施形態においてコントローラ１１５は、網膜１２５の対象の任意の領域が不十分な品質で撮像されているかどうかを判定する。対象の任意の領域が不十分な品質で撮像されている場合、プロセス３００は、プロセスブロック３３０に戻り、不十分な品質で撮像された対象の領域における、および取得された（プロセスブロック３２０）１つまたは複数の追加の画像フレームにおける画像アーチファクトを削減する１つまたは複数の追加の照明パターンで動的照明器１０５を再構成する。一実施形態において、このような追加の画像フレームもまた、単一の撮像ウィンドウの閉鎖より前に取得される。

［0033］対象の全ての領域が十分な品質で撮像され、それ故に使用可能であると見なされると（または単一の撮像ウィンドウの期間が満了すると）、プロセス３００は、反復ループを出る。画像フレームはその後、互いに対して位置合わせされ、共通の網膜ＦＯＶに対してクロッピングされ（プロセスブロック３５０）、組み合わされ（プロセスブロック３５５）、複合網膜像として保存される（プロセスブロック３６０）。種々の実施形態では、画像フレームはいくつかの異なる方法で（例えば重ね合わされる、縫い合わされるなど）組み合わされてもよい。一実施形態において、欠陥領域を無視する、またはそれ以外の方法で強調を抑え、これによりより大きな重みを使用可能な領域に与えるために、画像フレームの欠陥領域および使用可能な領域に重み付けが適用される。別の実施形態において、画像フレームは、任意の特定のピクセルの良質な画像が、そのピクセルの欠陥画像より重要であるという前提と共に一緒に平均化される。一実施形態では、使用可能な領域のみが組み合わされる。

［0034］画像フレームのバーストを組み合わせるための画像スタッキング技術は、平行移動オフセットを特定するために画像フレームに対する位相相関の予備段階を含んでよい。ひとたび特定されると、画像フレームは、オフセットを補正するために反対方向にその分量だけ移動され、縁部はゼロ詰めされる（プロセスブロック３５０）。位置合わせされた画像のスタックはその後、以下の３つの一例の方法（または他の方法）のうちのいずれか１つによってより好適な信号対雑音比（ＳＮＲ）で単一の画像に合成される（プロセスブロック３５５）。

［0035］平均化：同一のｘ／ｙ座標を有する全ての非ゼロ詰めピクセルが、スタック内の全ての画像にわたって平均される。一実施形態において、増分平均化アルゴリズムが使用されることで、全てのスタックを同時にメモリに維持することは必須ではない。

［0036］シグマ－クリップ平均化：この技術は、各々のピクセルスタック（同一の画像空間座標を有する全てのピクセル）の標準偏差が計算され、外れ値がはねられる点を除いて平均化と同様である。この外れ値に対するカットオフ地点は、平均値+/-標準偏差の任意の倍数因子である、または固定標準偏差値の任意の倍数因子であり、これは所与のカメラ設定における雑音の所定の標準偏差に相当する。例えば、２．１を超える値が、倍数因子として使用されてよい。これは、増分アルゴリズムであるが、２つまたはそれ以上のパスが予想され、１つのパスは、スタックからの平均および標準偏差画像を計算し、別のパスは、外れ値をクリップする増分平均を計算する。

［0037］シグマ－クリップ平均化の性能は、カットオフ地点を決定する際の非線形論理によって改善されてよい。例えば、レンズフレアを伴う場合と、レンズフレアがない場合の２つのケースしかない場合、このとき各ピクセルに関するスタックにわたる輝度の分散は二方式性であるべきである。低い方のモードは真の値に相当し、高い方のモードはレンズフレアに相当する。この場合、レンズフレアを含むサンプルの大半を拒絶するために、モード間の中間点より上をクリップしたいと望むであろう。最適な方式の選択は、実際のシステムのノイズ特徴によって決まる。

［0038］中央値：同一のｘ／ｙ座標を有する全ての非ゼロ詰めピクセルの中央値が使用される。これは、増分アルゴリズムではなく、合成時間における全ての画像フレームを使用する。

［0039］図４Ａ～図４Ｅは、本開示の一実施形態による、例証の動的な放射状照明器を例示している。図４Ａ～図４Ｅに例示される動的な放射状照明器は、図１Ａに例示された動的照明器１０５の可能な実装形態を表している。

［0040］図４Ａは、光源４１０と、レンズ４１５と、動的マスク４２０とを含む動的な放射状照明器を例示している。光源４１０は、レンズ４１５によって平行にされる（または単に光の発散を抑える）点光源として実装されてよい。一実施形態において、光源４１０は、発光ダイオード（ＬＥＤ）である。動的マスク４２０は、光源４１０によってその裏側から照らされたときに照明光を通す位置が変えられる穴４２５を含む。穴４２５の位置は、中心４３０から半径方向に、または中心４３０の周りに角度を付けて移動されてよい。一実施形態において動的マスク４２０は、マスク４２０を回転させることによって位置が変えられる１つまたは複数の穴４２５を有する回転可能な不透明なマスクである。さらに他の実施形態において、動的マスク４２０は、コントローラ１１５の影響を受けて穴４２５の位置を変えることが可能な電気－彩度調光可能な窓または偏光子を備えた液晶ディスプレイ（ＬＥＤ）など空間光変調器（ＳＬＭ）であってもよい。他の実施形態では、動的マスク４２０は、正面側が照らされてもよく、位置が変えられる穴４２５は、位置が変えられる反射要素で置き換えられてもよい。

［0041］図４Ｂは、光源４４０と、アキシコンレンズ４４５と、動的マスク４２０とを含む動的な放射状照明器４３５を示している。動的な放射状照明器４３５は、光源４４０が、アキシコンレンズ４４５によって動的マスク４２０の裏側を照らすために光のリングに変換されるレーザ源であることを除いて、動的な放射状照明器４０５と同様である。

［0042］図４Ｃは、環状領域４６０（例えば環状基板）を取り囲んで配置された複数の別個の光源４５５を含む動的な放射状照明器４５０を示している。環状領域４６０は、網膜１２５のＦＯＶを取り巻くように位置決めされ、異なる照明パターンが環状領域４６０から放出される。ＦＯＶは、ユーザが環状領域４６０の中心をのぞき込むようにすることによって物理的に取り囲まれてよい、または網膜１２５のＦＯＶの周りで環状領域４６０を撮像するための光学中継システムを利用して光学式に取り囲まれる場合もある。これは、本明細書に記載される他の動的照明器にも同様に適用することができる。

［0043］別個の光源４５５は、個々の制御および照明のためにコントローラ１１５に結合される。別個の光源４５５の個々の１つは、点光源照明のために照明されてよい。あるいは、別個の光源４５５のうちの複数の選択されたものが、同時に照明される場合もある。一実施形態において別個の光源４５５はＬＥＤである。ＬＥＤは、全て同じ色である、複数の異なる色である、各々が単色である、または各々が広域スペクトルであってもよい。さらに、ＬＥＤは、可視帯域および／または赤外線（ＩＲ）帯域で光を放出してよい。

［0044］図４Ｄは、別個の光源４７５が多色であり、可変の角度位置および放射状の位置の両方で環状領域４６０を取り囲んで配置される動的な放射状照明器４７０を示している。図４Ｄは、異なる色または波長を有する別個の光源４７５を例示しているが、他の実施形態では、可視スペクトルまたは赤外線スペクトルでのこれより多くの、またはこれより少ない色／波長が使用されてもよい。同様に、他の実施形態は、別個の光源４７５のための３つより多くの、または３つより少ない放射状の位置を含む場合もある。さらに他の実施形態において、別個の光源４７５のうちの１つまたは複数は、偏光子（線形または円形のいずれかの）が被せられる場合もある。例えば別個の光源４７５の一部分は、水平方向の、または左円の偏光フィルムを含んでよく、その一方で他の部分は、垂直方向の、または右円の偏光フィルムを含んでもよい。一実施形態において、マイクロレンズが、別個の光源４７５の上に配置されてもよい。

［0045］図４Ｅは、別個の光源４８５が、可変の角度位置および放射状の位置の両方で環状領域４６０を取り囲んで配置される別の例の動的な放射状照明器４８０を示している。動的な放射状照明器４８０は、照明器４７０と同様の構成を有する。種々の実施形態では、別個の光源４８５は、白色ＬＥＤ、ＩＲＬＥＤまたは白色ＬＥＤとＩＲＬＥＤの組み合わせであり得る。さらに、別個の光源４８５は、不透明であり、各々の別個の光源４８５の照明開口部のサイズおよび形状に制約を加える照明バッフルで被覆されてもよい。一実施形態において、照明バッフルはまた、各々の別個の光源４８５から放出される個々の光円錐の発散に制約を加えてもよい。光バッフルはまた、各々の別個の光源４８５から放出された光円錐の分割および隔離を確実にし、別個の光源４８５間の相互汚染を抑制する、または阻止するような働きをしてもよい。当然のことながら、照明バッフルは、上記で考察した動的な放射状照明器のうちのいずれかの上に含まれてもよい。

［0046］図５は、本開示の一実施形態による、動的照明器を利用する例証の網膜撮像システム５００を示す図である。網膜撮像システム５００は、網膜撮像システム１００の１つの可能な実装形態である。網膜撮像システム５００の例示される実施形態は、動的な放射状照明器５０５と、網膜カメラ５１０と、コントローラ１１５と、ユーザインターフェース５１５と、ディスプレイ５２０と、レンズ５２５およびビームスプリッタ５３０を含む光学中継システムとを含む。システム５００は、システム１００およびプロセス３００と関連して記載したのと同じやり方で動作する。

［0047］動的照明器５０５の中央セクション５３５は、網膜１２５のＦＯＶの周りの光路内に物理的に位置決めされる。いくつかの実施形態において、動的照明器５０５の環状領域は、網膜カメラ５１０に到達する前に、多くの軸外の有害な影響を及ぼす反射を阻止するための中断部分として作用する。網膜像は、中央セクション５３５を通過して網膜カメラ５１０へと進む。角膜からの有害な影響を及ぼす反射による画像アーチファクトを削減することに加えて、動的照明器５０５の環状領域の周りの複数の照明地点の利用は、システム５００のアイボックスを拡大させる働きもする。アイボックスとは、眼球１０１を位置決めし、撮像することができる空間内の領域である。いくつかの実施形態において、動的照明器５０５の別個の光源（例えば点光源）の全てまたはその一部は、網膜１２５から網膜カメラ５１０まで延びる撮像経路の縁の外側（例えばその周辺に）配置される。他の実施形態において、動的照明器５０５の別個の光源のうちの１つまたは複数は、網膜カメラ５１０までの撮像経路の縁の内側に配置される。

［0048］一実施形態において、中央セクション６３０は、１つまたは複数の光学フィルム（例えば二色性コーティング）でコーティングされて、９００ｎｍ以下の波長を有する光を実質的に通し、９００ｎｍを超える光を実質的に反射することで赤外線（ＩＲ）視線追跡の使用を容易にする。一実施形態において、紅彩カメラ（例示されない）が、ＩＲ視線追跡を支援するために横方向に配置される。紅彩カメラは、眼球１０１の紅彩および／または瞳を追跡する、または撮像することによって、例えばまばたきおよび視線追跡など、眼球１０１の全体の動きを追跡するように作用してよい。

［0049］ビームスプリッタ５３０が、網膜像の光の一部を網膜カメラ５１０に通し、その一方でディスプレイ５２０から出力されたディスプレイ光を眼球１０１に反射させるために位置決めされる。ディスプレイ光は、撮像中の網膜の位置合わせを助けるために、固定標的または他の視覚的な刺激を含んでよい。いくつかの実施形態において、ビームスプリッタ５３０は、反射性ではなく、より透過性である。一実施形態において、ビームスプリッタ５３０は、おおよそ９０％の透過性であり、１０％の反射性である。他の反射／透過比が履行されてもよい。レンズ５２５が、システム５００全体にわたって設けられて光路内での画像および光の集中を実現する。ユーザインターフェース５１５は、バースト画像取り込みを開始するための機構を提供する。一実施形態においてユーザインターフェース５１５はボタンである。

［0050］図６は、本開示の一実施形態による、一体化された画像信号プロセッサを含む網膜カメラ６００の機能的ブロック図である。網膜カメラ６００は、網膜カメラ１１０（または５１０）の１つの可能な実装形態である。網膜カメラ６００の例示の実施形態は、二次元センサアレイ６０５と、データ変換回路６１０と、メモリバッファ６１５と、一体型画像信号プロセッサ（ＩＳＰ）６２０と、出力ポート６２５とを含む。

［0051］動作中、二次元画像データ（例えば網膜像）が、センサアレイ６０５によって取得され、データ変換回路６１０によってアナログ定義域からデジタル定義域に変換される。画像データは、高いフレーム率（例えば毎秒２４、４８、６０、２４０、１０００フレーム）で取得され、メモリバッファ６１５に格納されてよい。ＩＳＰ６２０は、バッファに格納された網膜像フレームに対して作用して、使用可能な領域または欠陥領域を特定し、画像フレーム中の対象の領域に注釈を付ける、および／または使用可能な領域を高品質の複合網膜像になるように組み合わせる。したがって一実施形態において上記に記載した画像処理タスクの一部は、コントローラ１１５からＩＳＰ６２０に移動されてもよい。ＩＳＰ６２０は、コントローラ１１５の論理サブコンポーネントとみなされてよい。

［0052］図７は、本開示の一実施形態による、高品質の複合網膜像を取得するために一体型ＩＳＰ６２０を有する利益を活用する、網膜カメラ６００による画像処理を例示するブロックフロー図である。例示されるように、網膜１２５の画像フレーム７０５Ａ-Ｃは、センサアレイ６０５によって高いフレーム率で取得され、データ変換回路６１０によってデジタル定義域に変換され、メモリバッファ６１５に格納される。画像分析器７１０がＩＳＰ６２０によって実行されて、バッファに格納された網膜像７０５を分析して（処理の一種）画像フレーム８０５のどの部分が十分な品質であり、どの部分が許容できない画像アーチファクトによって不十分な品質であるかを判定する。例えば、画像分析器７１０は、ぼやけた部分、有益であるために十分なコントラストを持たない、取り除かれた、および／または許容できない角膜または紅彩反射、あるいはレンズフレアを含む部分に関して画像フレーム７０５を分析してよい。許容できないとみなされる画像の部分は、許容不能とフラグが立てられ（例えば印が付けられる、または注釈が付けられる）、許容できるとみなされる画像の部分は、そのようにフラグが立てられる。画像フレームはその後、画像登録／クロッピングモジュール７１５によって互いに対して登録され（例えばピクセル同士の位置合わせ）、共通のＦＯＶに対してクロッピングされ、単一の複合網膜像７２５になるようにスタッキングモジュール７２０によって組み合わされる。スタッキングモジュール７２０は、画像を組み合わせて高い動的範囲の画像を生成する。他の実施形態において画像フレーム７０５は、個々の画像フレームの分析および／または注釈づけなしで単純に組み合わされる。

［0053］上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの点で説明されている。記載される技術は、機械によって実行される際、記載される動作をその機械に実行させる、実体のある、または非一時的機械（例えばコンピュータ）読み取り可能記憶媒体において具現化される機械実行可能命令を構成してよい。追加として、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）またはそれ以外のものなどハードウェアにおいて具現化されてもよい。

［0054］有形の機械読み取り可能記憶媒体には、機械（例えばコンピュータ、ネットワークデバイス、パーソナルデジタルアシスタント、製造工具、一セットの１つまたは複数のプロセッサを備えた任意のデバイスなど）によってアクセス可能な非一時的形態で情報を提供する（すなわち格納する）任意の機構が含まれる。例えば、機械読み取り可能記憶媒体には、記憶可能な／非記憶可能な媒体（例えば読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）が含まれる。

［0055］要約書に記載されるものを含めた、本発明の例示の実施形態の上記の記載は、包括的であること、または開示される正確な形態に本発明を限定することは意図されていない。本発明の特有の実施形態およびその例は、例示の目的のために本明細書に記載されており、関連分野の当業者が認識するように本発明の範囲内で種々の修正形態が可能である。

［0056］このような修正形態は、上記の詳細な記載に照らして本発明に対して作成することができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示される特有の実施形態に限定するように解釈すべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって全体が決定されるべきであり、特許請求の範囲の解釈の確立された教義に従って解釈されるべきである。排他的所有権または特権が主張される本発明の実施形態は、以下のように定義される。

Claims

特定の照明パターンで網膜を照らすように動的照明器を構成することと、
前記照明パターンで照らされる間、前記網膜の画像フレームを取り込むことと、
前記構成すること、および前記取り込むことを繰り返して、複数の異なる照明パターンで前記網膜を照らし、前記画像フレームを含む複数の画像フレームを取り込むために前記動的照明器を順次再構成し、前記画像フレームの各々が前記異なる照明パターンのうちの１つで照らされることと、
前記画像フレームの各々を分析して、許容できない画像アーチファクトを含むとみなされる欠陥領域、または許容できるとみなされる使用可能な領域を特定することと、
前記欠陥領域または前記使用可能な領域を示すために前記画像フレームに注釈をつけることと、
前記分析及び注釈に基づいて前記網膜の対象の任意の領域が不十分な品質で撮像されたかどうか判定することと、
前記網膜の対象の任意の領域が不十分な品質で撮像されたとの判定に応答して、
不十分な品質で撮像された対象の前記領域における画像アーチファクトを削減する追加の照明パターンで前記網膜を照らすように前記動的照明器を構成することと、
前記追加の照明パターンで前記網膜を照らす間、１つまたは複数の追加の画像フレームを取得することと、
少なくとも前記画像フレームのサブセットを複合網膜像になるように組み合わせることとを含む、網膜を撮像する方法。
前記複数の画像フレームを取り込むことは、瞳を通して単一の撮像ウィンドウの間に画像フレームのバーストを取り込むことを含んでおり、前記単一の撮像ウィンドウは、前記異なる照明パターンによる眼球の紅彩が実質的に閉じる前に、前記バーストを終える特定の持続時間で構成される、請求項１に記載の方法。
前記画像フレームを組み合わせることは、前記使用可能な領域を組み合わせることを含む、請求項２に記載の方法。
前記追加の照明パターンで前記網膜を照らす間、１つまたは複数の追加の画像フレームを取得することは、前記単一の撮像ウィンドウの閉鎖の前に行われる、請求項３に記載の方法。
前記複数の異なる照明パターンで前記網膜を照らすように前記動的照明器を順次再構成することは、
前記異なる照明パターンのうちの１つまたは複数の間で異なる角度位置または放射状の位置から前記網膜を照らすために、前記動的照明器の環状領域の周りの照明位置を変更することと、
前記異なる照明パターンのうちの１つまたは複数の間で明るさを変更することと、
前記異なる照明パターンのうちの１つまたは複数の間の照明波長を変更することと、あるいは
前記異なる照明パターンのうちの１つまたは複数の間の照明継続時間を変更することのうちの１つまたは複数を含む、請求項１に記載の方法。
網膜撮像システムであって、
網膜カメラと、
動的照明器と、
前記網膜カメラ、前記動的照明器および網膜の間で光学式に光を中継するための光学中継システムと、
前記網膜カメラおよび前記動的照明器を制御するために結合されるコントローラと
を備え、前記コントローラは、実行される際、前記網膜撮像システムに動作を実行させる論理を含み、前記動作が、
特定の照明パターンで前記網膜を照らすように前記動的照明器を構成することと、
前記照明パターンで照らす間、前記網膜の画像フレームを取り込むことと、
前記構成すること、および前記取り込むことを繰り返して、複数の異なる照明パターンで前記網膜を照らし、前記異なる照明パターンの１つで各々照らされた、前記画像フレームを含めた複数の画像フレームを取り込むために前記動的照明器を順次再構成することと、
許容できない画像アーチファクトを含むとみなされる欠陥領域、または許容できるとみなされる使用可能な領域を特定するために、前記画像フレームの各々を分析することと、
前記欠陥領域または前記使用可能な領域を示す前記画像フレームに注釈をつけることと、
前記分析及び注釈に基づいて前記網膜の対象の任意の領域が不十分な品質で撮像されたかどうか判定することと、
前記網膜の対象の任意の領域が不十分な品質で撮像されたとの判定に応答して、
不十分な品質で撮像された対象の前記領域における画像アーチファクトを削減する追加の照明パターンで前記網膜を照らすように前記動的照明器を構成することと、
前記追加の照明パターンで前記網膜を照らす間、１つまたは複数の追加の画像フレームを取得することと、
少なくとも前記画像フレームのサブセットを複合網膜像になるように組み合わせることとを含む動作を実行させる論理を含むコントローラとを備える網膜撮像システム。
前記動的照明器は、前記網膜の視野（ＦＯＶ）を取り巻く環状領域を有する動的な放射状照明器を備え、前記異なる照明パターンは、前記環状領域から放出される、請求項６に記載の網膜撮像システム。
前記動的な放射状照明器は、
前記環状領域の周りで前記異なる照明パターンを生成するために結合された動的マスクと、
前記動的マスクの裏側を照らすための光源と、
前記光源と前記動的マスクとの間に配置されたレンズとを備える、請求項７に記載の網膜撮像システム。
前記動的マスクは、
前記光源からの光を通すための１つまたは複数の穴を有する回転可能な不透明なマスクまたは
空間光変調器のうちの１つを備える、請求項８に記載の網膜撮像システム。
前記レンズは、アキシコンレンズを備え、前記光源はレーザ源を備える、請求項８に記載の網膜撮像システム。
前記動的な放射状照明器は、前記環状領域を取り囲んで配置された複数の別個の光源を備える、請求項７に記載の網膜撮像システム。
前記別個の光源は、複数の異なる波長の発光ダイオードを備える、請求項１１に記載の網膜撮像システム。
前記別個の光源は、異なる角度位置および異なる放射状の位置で前記環状領域を取り囲んで配置される、請求項１１に記載の網膜撮像システム。
前記別個の光源のうちの１つまたは複数は、偏光フィルムまたはマイクロレンズが被せられる、請求項１１に記載の網膜撮像システム。
前記複数の画像フレームは、前記異なる照明パターンよって紅彩が実質的に閉じる前に、瞳を通して単一の撮像ウィンドウの間に画像フレームのバーストとして取り込まれる、
請求項６に記載の網膜撮像システム。
前記画像フレームを組み合わせることは、前記使用可能な領域を組み合わせることを含む、請求項１５に記載の網膜撮像システム。
前記画像フレームを組み合わせることは、前記欠陥領域を無視する、または強調を抑える重み付けを適用することを含む、請求項１６に記載の網膜撮像システム。
前記コントローラは、実行される際、前記網膜撮像システムに、
前記画像フレームを取り込む作業の１つまたは複数の反復の間に、露出時間または利得のうちの１つまたは複数を含む前記網膜カメラの設定を変更することを含む別の動作を実行させる別の論理を含む、請求項６に記載の網膜撮像システム。
前記動的照明器は、前記網膜カメラの撮像経路の縁の内側に配置された前記異なる照明パターンのうちの１つまたは複数を生成するための少なくとも１つの点光源を含む、請求項６に記載の網膜撮像システム。
前記動的照明器は、前記網膜カメラの撮像経路の縁の外側に配置された前記異なる照明パターンのうちの１つまたは複数を生成するための少なくとも１つの点光源を含む、請求項６に記載の網膜撮像システム。