JP6446374B2 - 画像処理における改良または画像処理に関する改良 - Google Patents

Description

本発明は、画像処理における改良または画像処理に関する改良に関するものであり、特に、網膜像のような一対または一連の血管系画像を位置合わせする方法及び装置に関するものであるが、それのみではない。

走査型レーザー・オフサルモスコープ（ＳＬＯ：scanning laser ophthalmoscope）のような撮像システムは、１つ以上のデジタル撮像センサを用いて網膜像データを捕捉することが知られている。ＳＬＯ用のデジタル画像センサは、一般に単一センサであり、光強度信号を走査位置信号と同期させて単一のデータ流を生成することができ、このデータ流は、同期させて２Ｄ（二次元）画像にすることができる。デジタル画像センサは、その代わりに、感光画像要素（画素）のアレイを含むことができる。ＳＬＯ、あるいは眼底カメラのような他の網膜撮像装置によって生成される網膜像は、一般に二次元画素アレイであり、デジタル網膜像と称される。

こうした画素アレイから導出される一組の輝度値は、画像データとして知られている。こうした画素アレイによって出力される「原」画像データに種々の後処理技術を施して、人間による視認用の画像も機械による処理用の画像も生成することができる。網膜像の後処理技術は、一対または一連の網膜像の画像分析及び位置合わせのための種々の統計的方法を含む。

網膜像の対または列の位置合わせは、一般に、画像を基本画像と整列させる（「位置合わせ」する）ための、１つ以上の画像の基本画像に対するスケーリング（拡大縮小）、回転、及び平行移動に関係する。

位置合わせした網膜像は、一般に、基本網膜像と重ね合わせて、これらの画像間の比較を促進する。

一対または一連の網膜像のアフィン位置合わせを可能にするアルゴリズムが知られている。こうしたアルゴリズムは、「血管系追跡」を含むことができ、「血管系追跡」は、血管系をマッピングして抽出するための反復的な探索及び判定ツリーを含む。特に、こうした取り組みは、一般に、血管系の分岐接続点のような特定の特徴的な特性を探索する。こうしたアルゴリズムは、適度な程度の位置合わせ精度を提供するが、これらのアルゴリズムは、コンピュータ処理が非効率であり、即ち、コンピュータ処理が高価である。さらに、こうした既知のアルゴリズムは、共通の撮像モードから得られた画像を位置合わせすることができるに過ぎない。即ち、こうした既知のアルゴリズムは、反射または自己蛍光のような異なる撮像モードから得られた画像を位置合わせすることができない。

こうした既知のアルゴリズムの例は、次の刊行物に見出すことができる：米国特許出願公開第２０１２／０１９５４８１号明細書（特許文献１）；Can et al., “A feature based, Robust Hierarchical Algorithm for Registering Pairs of Images of the Curved Human Retina”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No.3 (2002年3月)（非特許文献１）；Zena & Klein, “A Multimodal Registration Algorithm of Eye Fundus Images Using Vessels Detection and Hough Transform”, IEEE Transactions on Medical Imaging, Vol.18, No.5 (1999年５月)（非特許文献２）；Hu et al., “Multimodal Retinal Vessel Segmentation From Spectral-Domain Optical Coherence Tomography and Fundus Photography”, IEEE Transactions on Medical Imaging, Vol.31, No.10 (2012年10月)（非特許文献３）。

欧州特許出願公開第２０６４９８８号明細書（特許文献２）（興和株式会社）は、整合確率得点に基づいて、２つ上の眼底像を重ね合わせることによって網膜眼底「マップ」を作成する装置及び方法を提案している。整合は、血管抽出画像中に識別されるコーナー（隅部）画像データに基づく。しかし、特許文献２に提案された技術は、特に異なる撮像モード間では、信頼性のある画像の整合及び位置合わせを可能にするのに十分なコーナーの特徴形を見出さないものと、発明者は確信する。網膜像は、非常に変化しやすい照明を受け、そして、近年のＳＬＯによって生成される高分解能網膜像では、血管の特徴形が、側部が比較的滑らかな特徴形になる。従って、コーナー抽出は、整合のための多数の候補点を生じさせないか、さもなければ、各種のノイズによって大きく影響される。

米国特許出願公開第２０１２／０１９５４８１号明細書 欧州特許出願公開第２０６４９８８号明細書

Can et al., "A feature based, Robust Hierarchical Algorithm for Registering Pairs of Images of the Curved Human Retina", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No.3 (2002年3月) Zena & Klein, "A Multimodal Registration Algorithm of Eye Fundus Images Using Vessels Detection and Hough Transform", IEEE Transactions on Medical Imaging, Vol.18, No.5 (1999年５月) Hu et al., "Multimodal Retinal Vessel Segmentation From Spectral-Domain Optical Coherence Tomography and Fundus Photography", IEEE Transactions on Medical Imaging, Vol.31, No.10 (2012年10月)

本発明の第１の態様によれば、デジタル血管画像を処理する方法が提供され、この方法は：
第１及び第２デジタル血管画像データを用意するステップと；
これらの第１及び第２画像データを指向性二次元フィルタで処理するステップであって、このフィルタは、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配の大きさが所定値より小さい画像データ点の集団を生成する効果を有するステップと；
第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
第１及び第２画像データ間に共通の集団どうしを位置合わせするステップとを含む。

上記デジタル血管画像は、網膜像とすることができる。上記デジタル血管画像は、網膜の血管系の細部を含むことができる。網膜の血管系は、網膜内の血管、動脈及び静脈を含む。網膜の血管系は、網膜の循環系を含む。

上記デジタル血管画像は、人間または動物の臓器または身体部分の血管画像とすることができる。上記デジタル血管画像は、これらの臓器または身体部分の血管系の細部を含むことができる。これらの臓器または身体部分の血管系は、これらの臓器または身体部分内の血管、動脈及び静脈を含む。これらの臓器または身体部分の血管系は、これらの臓器または身体部分の循環系を含む。

第１及び第２デジタル血管画像データは、これらの画像データを生成するために使用する１つ以上の画素上に入射する照射の強度を含むことができる。上記第１及び第２画像は、異なる撮像モードによって得ることができる。

上記フィルタは、整合（マッチト）フィルタとすることができる。このフィルタは、血管画像データ中の血管の特徴形の形態または形状と一致する形態または形状を有することができる。

このフィルタは、ガウス（Gaussian）フィルタとすることができる。このフィルタは、ガボール（Gabor）フィルタとすることができる。

１つ以上の上記フィルタは、同じフィルタまたは異なるフィルタにすることができる。異なる二次元フィルタカーネルを異なる配向で用いることは、血管系が方向に伴う何らかの形状感度を有する場合に有用であり得る。

上記カーネルは、整合（マッチト）カーネルとすることができる。上記カーネルは、血管画像データの形態または形状に整合する形態または形状を有することができる。直交方向に隣接した画像データ点の集団は、直交方向に隣接した各画像データ点間の輝度勾配が所定値より小さい、任意数または任意構成の直交方向に隣接した画像データを含むことができる。

第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップは、コーナー検出アルゴリズムの使用を含むことができる。このコーナー検出アルゴリズムを用いて、第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値を上回る集団を識別することができる。このコーナー検出アルゴリズムを用いて、第１及び第２画像データの各々における集団のうち、直交する２つの方向に隣接した１つ以上の集団どうしの間の輝度勾配の大きさが、同時に所定値を上回る集団を識別することができる。即ち、このコーナー検出アルゴリズムは、直交する２つの方向に同時に発生し、且つ所定値を上回る輝度勾配の変化を探索することができる。この所定値は、例えば、最大可能な勾配値の１０％〜５０％にすることができる。

上記コーナー検出アルゴリズムは、ハリス（Harris）コーナー検出アルゴリズムとすることができる。上記コーナー検出アルゴリズムは、モラベック（Moravec）コーナー検出アルゴリズムまたはシー・トーマス（Shi-Thomas）コーナー検出アルゴリズムとすることができる。

第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップは、畳み込み積分した第１画像データと第２画像データとの相互相関を計算するステップを含むことができる。

第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップは、第１及び第２画像データ中の上記識別した集団どうしの相互相関を計算するステップを含むことができる。

第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップは、畳み込み積分した第１及び第２画像データの複数回の相互相関計算を含むことができる。畳み込み積分した第１及び第２画像データの複数回の相互相関計算については、逐次的な相互相関計算の各々を、直前の計算から増分的に画像を回転させて行うことができる。これら複数回の相互相関計算は、約４０度以上にわたって画像を回転させて行うことができる。これら複数回の相互相関計算は、実質的に網膜の視神経円板点の付近に位置する軸点の周りに、およそ２０度以上にわたって段階的に画像を回転させて行うことができる。

畳み込み積分した第１及び第２の画像データの相互相関を計算するステップは、第１及び第２画像データの各々において識別した共通の集団どうしの位置の差を特定する追加的ステップを含むことができる。この集団の位置は、その角度位置及び／またはその平行移動位置を含むことができる。第１及び第２画像データの各々において識別した共通の集団どうしの位置の差は、平行移動パラメータと称することができる。

第１及び第２画像データ間に共通の集団どうしを位置合わせするステップは、上記特定した平行移動パラメータを用いて、第１及び第２画像データを位置合わせする。第２画像データを第１画像データと位置合わせすることができ、あるいは、第１画像データを第２画像データと位置合わせすることができる。位置合わせした画像データどうしを重ね合わせる。

上記方法は、第１及び／または第２デジタル血管画像データのサイズを低減する追加的な初期ステップを含むことができる。このことは、画像データの１つ以上の部分を除去するステップを含むことができる。第１及び／または第２デジタル血管画像データのサイズを低減するステップは、当該画像データをフィルタ処理（フィルタリング）、平滑化、サンプリング（標本化）、またはサブサンプリング（副標本化）するステップを含むことができる。画像データをフィルタ処理、平滑化、サンプリング、またはサブサンプリングするステップは、任意回数だけ反復することができる。

上記方法は、第１及び／または第２デジタル血管画像データをダウンサンプリングする追加的な初期ステップを含むことができる。第１及び／または第２デジタル血管画像データをダウンサンプリングするステップは、１つ以上の画像データ・スケーリング計算を含むことができる。第１及び／または第２デジタル血管画像データをダウンサンプリングするステップは、１つ以上の画像データ・ピラミッドスケーリング計算を含むことができる。

上記方法は、第１及び／または第２デジタル血管画像データの血管系と背景とのコントラストを増加させる追加的な初期ステップを含むことができる。上記方法は、第１及び／または第２デジタル血管画像データの血管系と背景とのコントラストを最適化する追加的な初期ステップを含むことができる。第１及び／または第２デジタル血管画像データの血管系と背景とのコントラストを最適化するステップは、ヒストグラム等化を用いることを含むことができる。第１及び／または第２デジタル血管画像データの血管系と背景とのコントラストを最適化するステップは、適応ヒストグラム等化を用いることを含むことができる。

上記方法は、第１及び／または第２デジタル血管画像データの血管系と背景とのコントラストを増加させるステップの後に、第１及び／または第２デジタル血管画像データからノイズを除去する追加的ステップを含むことができる。第１及び／または第２デジタル血管画像データからノイズを除去するステップは、ローパス（低域通過）フィルタの使用を含むことができる。

上記方法は、第１及び第２画像データの各々において、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値を上回る集団どうしを併合または結合する追加的ステップを含むことができる。これらの集団は、当該集団どうしの間で輝度データを増加させることによって「併合」することができる。単一パス（単一通過）平均化フィルタまたはカーネルを用いて、画像データの輝度値を、集団どうしの間で、所定領域内の集団の平均輝度値に調整することができる。このことの効果は、所定領域内の輝度値をぼかすか平均化し、これにより、ごく近接した２つの集団が事実上１つの集団になる。

上記方法は、集団を併合した第１及び／または第２画像データのサイズを低減する追加的ステップを含むことができる。このことは、当該画像データの１つ以上の部分を除去することを含むことができる。集団を併合した第１及び／または第２画像データのサイズを低減するステップは、当該画像データをフィルタ処理、平滑化、サンプリング、またはサブサンプリングするステップを含むことができる。画像データをフィルタ処理、平滑化、サンプリング、またはサブサンプリングするステップは、任意回数だけ反復することができる。

上記方法は、集団を併合した第１及び／または第２画像データをダウンサンプリングする追加的な初期ステップを含むことができる。集団を併合した第１及び／または第２画像データをダウンサンプリングするステップは、１つ以上の画像データ・スケーリング計算を含むことができる。集団を併合した第１及び／または第２画像データをダウンサンプリングするステップは、１つ以上の画像データ・ピラミッドスケーリング計算を含むことができる。

上記方法は、第１及び第２デジタル血管画像データから第１及び第２デジタル血管画像を生成する追加的ステップを含むことができる。

上記方法は、直交方向に隣接した画像データ点のうち、直交方向に隣接した各画像データ点間の輝度勾配が所定値より小さい画像データ点の第１及び／または第２集団のデジタル画像を生成する追加的ステップを含むことができる。

上記方法は、第１及び／または第２画像データにおいて識別された、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値を上回る集団のデジタル画像を生成する追加的ステップを含むことができる。

上記方法は、第１及び／または第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値を上回る上記識別された集団のデジタル画像を生成する追加的ステップを含むことができる。

上記方法は、第１及び第２画像データ間に共通の集団どうしを位置合わせしたもののデジタル画像を生成する追加的ステップを含むことができる。

上記方法は、複数のデジタル血管画像データを用意するステップと、上記本発明の第１の態様により各デジタル画像データを処理して、すべての画像データ間に共通のすべての集団を位置合わせするステップを含むことができる。

本発明の第２の態様によれば、画像処理装置が提供され、この画像処理装置は：
第１及び第２デジタル血管画像データを提供するように構成されたデジタル血管画像データ提供モジュールと；
プロセッサとを具え、このプロセッサは：
第１及び第２デジタル血管画像データを二次元指向性フィルタで処理し、このフィルタは、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配が所定値より小さい画像データ点の集団を生成する効果を有し、
第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別し、
第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別し、
第１及び第２画像データ間に共通の集団どうしを位置合わせするように構成されている。

本発明の第３の態様によれば、画像処理装置を有する走査型レーザー・オフサルモスコープが提供され、この画像処理装置は：
第１及び第２デジタル血管画像データを提供するように構成されたデジタル血管画像データ提供モジュールと；
プロセッサとを具え、このプロセッサは：
第１及び第２デジタル血管画像データを二次元指向性フィルタで処理し、このフィルタは、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配が所定値より小さい画像データ点の集団を生成する効果を有し、
第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別し、
第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別し、
第１及び第２画像データ間に共通の集団どうしを位置合わせするように構成されている。

本発明の第４の態様によれば、コンピュータ上で実行されると、このコンピュータに、画像データを受信させ、デジタル血管画像を処理する方法を実行させる命令を符号化したコンピュータプログラム製品が提供され、この方法は：
第１及び第２デジタル血管画像データを用意するステップと；
これらの第１及び第２画像データを二次元指向性フィルタで処理するステップであって、このフィルタは、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配の大きさが所定値より小さいデータ点の集団を生成する効果を有するステップと；
第１及び第２画像データの各々における集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
第１及び第２画像データ間に共通の集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
第１及び第２画像データ間に共通の集団どうしを位置合わせするステップとを含む。

このコンピュータプログラム製品は、１つ以上の命令またはコードとして、コンピュータ可読媒体上に記憶するか、コンピュータ可読媒体上で伝送することができる。コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を共に含むことができ、１つの場所から他の場所へのコンピュータプログラムの転送を促進するあらゆる媒体を含む。例として、こうしたコンピュータ可読媒体は、ＲＡＭ（random access memory：ランダムアクセスメモリ）、ＲＯＭ（read only memory：読出し専用メモリ）、ＥＥＰＲＯＭ（electrically erasable programmable ROM：電気的消去可能プログラマブルＲＯＭ）、ＣＤ−ＲＯＭ（compact disc ROM：コンパクトディスクＲＯＭ）、または他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、あるいは、所望のプログラムコードを命令またはデータ構造の形式で搬送または記憶するために使用することができ、かつコンピュータによってアクセスすることができる、他のあらゆる媒体を含むことができる。また、あらゆる接続も適宜コンピュータ可読媒体と称される。例えば、ソフトウェアは、ウェブサイト、サーバー、または他のデータ源から、同軸ケーブル、光ファイバーケーブル、ツイストペア線、デジタル加入者線（ＤＳＬ：digital subscriber line）、あるいは赤外線、無線波、及びマイクロ波のような無線技術を用いて伝送され、従って、これらの同軸ケーブル、光ファイバーケーブル、ツイストペア線、ＤＳＬ、あるいは赤外線、無線波、及びマイクロ波のような無線技術は、媒体の定義に含まれる。本明細書で用いる「ディスク」は、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ：digital versatile disc）、フロッピー（登録商標）ディスク、及びブルーレイ（登録商標）ディスクを含み、磁気ディスクは、通常、データを磁気的に再生するのに対し、光ディスクは、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。コンピュータプログラム製品のコンピュータ可読媒体に関連する命令またはコードは、コンピュータによって、例えば、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）、汎用マイクロプロセッサ、ＡＳＩＣ（application specific integrated circuit：特定用途向け集積回路）、ＦＰＧＡ（field programmable gate array：フィールド・プログラマブル・ゲートアレイ）、あるいは他の等価な集積またはディスクリート論理回路のような１つ以上のプロセッサによって実行することができる。

以下、本発明の実施形態を、ほんの一例として、添付した図面を参照しながら説明する。

デジタル血管画像を処理する方法を詳述するフローチャートである。 図２ａ及び２ｂは、第１及び第２デジタル血管画像である。 図３ａ及び３ｂは、ダウンサンプリング、等化、及びフィルタ処理後の、図２ａ及び２ｂの第１及び第２デジタル血管画像である。 図４ａ及び４ｂは、回転ガボールカーネルによる畳み込み積分後の、図３ａ及び３ｂの第１及び第２デジタル血管画像である。 図５ａ及び５ｂは、コーナー検出アルゴリズムによる処理、ぼかし、及びダウンサンプリング後の、図４ａ及び４ｂの第１及び第２デジタル血管画像である。 マイクロコーナー・ステッピング構造の識別及びマーキング後の、図５ａの第１デジタル血管画像である。 図５ａ及び５ｂの第１及び第２デジタル血管画像の相互相関を詳述する概略図である。 図８の説明である。 上記処理方法中に生成されたデジタル血管画像、及び第１及び第２デジタル血管画像を位置合わせした画像を例示する図である。 上記処理方法中に生成されたデジタル血管画像、及び第１及び第２デジタル血管画像を位置合わせした画像を例示する図である。 上記処理方法中に生成されたデジタル血管画像、及び第１及び第２デジタル血管画像を位置合わせした画像を例示する図である。

好適な実施形態の詳細な説明
図１は、一対または一連の網膜像のアフィン位置合わせ用の位置合わせアルゴリズムの、方法のステップを詳述するフローチャートである。
図１は、デジタル網膜像データを処理する方法のステップを例示する。最初の画像を「基本画像」と称することがあり、後続する各画像は「入力」画像と称する。

図１、２ａ及び２ｂを参照すれば、方法の第１ステップ１００は、第１及び第２デジタル網膜像データを用意するステップである。第１及び第２デジタル網膜像データは、第１及び第２デジタル網膜像１０ａ、１０ｂによって表現される。第１及び第２血管画像データは、画像データを生成するために使用される１つ以上の画素に入射する照射の強度を含む。ここに例示する第１及び第２デジタル網膜像１０ａ、１０ｂは、現在技術において既知の広視野走査型レーザー・オフサルモスコープ（ＳＬＯ：scanning ophthalmoscope）によって取得される。図２ａ及び２ｂに例示するように、第１及び第２網膜像１０ａ、１０ｂは、網膜３の視神経円板１及び血管系２を示している。

方法の第２ステップ２００は、第１及び第２デジタル網膜像データのサイズを低減するステップである。このことは、これらのデータをダウンサンプリングすることによって実現される。本明細書に記載する方法の実施形態では、第１及び第２デジタル網膜像データが、ピラミッドスケーリグ計算によってダウンサンプリングされる。しかし、他の既知のフィルタ処理、平滑化、サンプリング、またはサブサンプリング計算方法を用いることができることは明らかである。

第１及び第２デジタル血管画像データのサイズを低減することは、その後の計算の速度を増加させ、血管系の特徴形をスケーリングし、これにより、その後の畳み込み積分演算中に最適な度合いの共鳴が発生する。このダウンサンプリングは、代表的な屈曲、従ってマイクロコーナー（微小隅部）が対象領域内に入るように、即ち、コーナー検出フィルタまたはカーネルの最良の「共鳴」が実現されるように、血管系をスケーリングする。

方法の第３ステップ３００は、第１及び第２デジタル血管画像データの血管系と背景とのコントラストを最適化する。このことは、ヒストグラム等化計算の使用によって実現される。本明細書に記載する発明の実施形態では、適応ヒストグラム等化を用いて、第１及び第２デジタル血管画像データの血管系と背景とのコントラストを最適化する。適応ヒストグラム等化は、局所的コントラストを増加させつつ、画像データ中の全般照明の変動を減衰させる。この効果は、さもなければ偏光効果が血管系情報を無効にしがちな領域内で最も顕著である。

方法の第４ステップ４００は、適応ヒストグラム等化の使用により出現するノイズを、第１及び第２デジタル血管画像データから除去する。こうしたノイズの除去は、（以下に説明する）その後の畳み込み積分演算中に偽の「コーナー・ヒット」を記録する機会を低減する。第１及び第２デジタル血管画像データからノイズを除去するステップは、ローパス（ＬＰ：low pass）ノイズフィルタによって実現される。

図３ａ及び３ｂは、ダウンサンプリング（ステップ２００）、等化（ステップ３００）、及びノイズ低減（ステップ４００）後の、図２ａ及び２ｂの第１及び第２デジタル血管画像１０ａ、１０ｂである。図３ａ及び３ｂからわかるように、網膜の血管系２と背景４とのコントラストが、初期の第１及び第２デジタル網膜像２ａ、２ｂに比べて強調されている。網膜の背景４に対する血管系２の強調は、（以下に説明する）その後の畳み込み積分演算の結果を改善する。

方法の第５ステップ５００は、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配の大きさが所定値より小さいデータ点の集団を生成する効果を有する指向性フィルタで、第１及び第２画像データを処理するステップである。本明細書に記載する本発明の実施形態では、第１及び第２画像データを指向性フィルタで処理するステップ５００を、第１及び第２画像データを回転ガボールカーネル（またはフィルタ）で畳み込み積分することによって実行する。直交方向に隣接した画像データ点は、画素データのアレイ中で互いに直接隣接した画像データ点、即ち、このアレイのあらゆる所定の行または列中で互いに隣接した画像データ点を意味するものと考えられる。これらの集団が、任意数または任意構成の直交方向に隣接した画像データを含むことができることは明らかである。即ち、これらの集団は、１×１、１×２、２×１、２×２、３×２、２×３個、等の画像データ点の配列とすることができる。

ガボールカーネルは、二次元ガウスフィルタ・カーネルの一形式であり、本実施形態の場合、血管系全体にわたる画像データ、即ち血管系断面の画像データの輝度の形態または形状に整合するプロファイルを有する。ガボールカーネルのガウス形状は、ガボールカーネルが、血管系のプロファイルに「適合」するか血管系のプロファイルと「共鳴」することを可能にし、従って、他の（背景）領域にも適合することなしに血管系を強調し、従って、他の領域は減衰させる。

ガボールカーネルは、第１及び第２画像データの各々により、複数回畳み込み積分される。逐次的な畳み込み積分毎に、ガボールカーネルは画像データに対して異なるように配向される。本明細書に記載する実施形態では、ガボールカーネルが、第１及び第２画像データの各々により８回だけ有効に畳み込み積分され、ガボールカーネルは、逐次的な畳み込み積分毎に、画像データに対して４５度回転される。従って、ガボールカーネルは、８回の畳み込み積分を通して、画像データに対して３６０度にわたって回転される。ガボールカーネルは、血管系断面の特性と共鳴するに当たり、特に有効であることが判明している。カーネルが対称である実施形態では、３６０度にわたる８回の畳み込み積分の効果は、実際には、１８０度にわたる４回の畳み込み積分のみで達成される。

回転ガボールカーネルでの畳み込み積分後の第１及び第２デジタル網膜像データを、図４ａ及び４ｂに示す。図４ａ及び４ｂは、全８回の畳み込み積分の平均出力を示す。図示するように、第１及び第２デジタル網膜像データを上述した回転ガボールカーネルで畳み込み積分することの効果は、直交方向に隣接した画像データ点のうち、各画像データ点間の輝度勾配の大きさが所定値より小さい画像データ点の集団１２を生成することにある。換言すれば、この畳み込み積分は、同様の輝度値を有する直交方向に隣接した画像データ点のグループを生成する。[デイビット（David）：私は、閾値を設定することについてのこの段落を、コーナー検出を記述する節に移した。私は、Craig氏の説明では、「それより小さい」閾値と「それより大きい」閾値とは同じであるものと考える。しかし、我々の会合で議論したように、この閾値は、コーナー検出のステップにおいてのみ明示的に適用される。従って、コーナー検出のステップに関連して閾値を設定することを議論する方が、より意味がある。

図４ａ〜６を参照すれば、回転ガボールカーネルでの畳み込み積分後の第１及び第２デジタル網膜像データは、網膜３の血管系２に追従して見られるコーナー（または「マイクロコーナー」）の特徴形を有する一連の集団１２を含む。集団１２のコーナー（またはマイクロコーナー）の特徴形を生成するものは、画像データに対するガボールカーネルの回転である。特に、集団１２のコーナーの特徴形を生成するものは、少なくとも９０度にわたるガボールカーネルの回転である。

従って、網膜３の血管系２が局所レベルで強調されて、集団１２と網膜３の背景４との間で、集団１２のコーナー（またはマイクロコーナー）の特徴形が、高い輝度勾配の「ステップ状の」構造をなす形態となる。上述したように、集団１２のコーナーの特徴形は、画像データのアレイのあらゆるコーナーとすることができる。「マイクロコーナー」とは、１×２または２×１の画像データ点を具えた集団１２を称することができる。

上記方法の６番目のステップ６００は、第１及び第２画像データの各々において、１つ以上の隣接した集団１２どうしの間の輝度勾配が所定値を上回る集団１２を識別（または抽出）するステップである。従って、６番目のステップ６００は、およそ網膜３の血管系２と背景４との間の境界上にある集団１２を識別する。図４ａ〜６に示すように、集団１２は背景４よりも高い輝度を有する。従って、上記方法のステップ６は、網膜３の血管系２に追従する集団１２を識別する。

本明細書に記載する発明の実施形態では、第１及び第２画像データの各々において、１つ以上の隣接した集団１２どうしの間の輝度勾配の大きさが所定値を上回る集団１２を識別するステップ６００を、コーナー検出アルゴリズムを用いて実行する。本明細書に記載する実施形態では、ハリス（Harris）コーナー検出アルゴリズムを用いて、第１及び第２画像データの各々において、１つ以上の隣接した集団１２どうしの間の輝度勾配が所定値を上回る集団１２を識別する。しかし、他のあらゆる適切なコーナー検出アルゴリズムを用いることができることは明らかである。

上記コーナー検出アルゴリズムは、畳み込み積分した第１及び第２デジタル網膜像中の直角エッジ点を探索する。特に、このアルゴリズムは、上記勾配が、２方向における閾値を同時に超える点を検出する。このアルゴリズムは、必要に応じて、特定の感度及び品質閾値に合わせて設定可能である。図６に、コーナー検出アルゴリズムによって識別される点（＋）を例示する。

コーナー検出アルゴリズムは、一般に、網膜像では使用されない、というのは、コーナー点の存在が一般に見つからないからである。しかし、回転ガボールカーネルのような指向性フィルタによる画像データの前処理は、血管系２の全体を通して、血管系２が局所レベルで強調されて、高い輝度勾配の「ステップ状の構造」、あるいはコーナー（またはマイクロコーナー）の線の特徴形の形態となる。網膜３の血管系２の概略を表す集団１２を識別するためのコーナー検出アルゴリズムの使用を促進するものは、回転ガボールカーネルによるこうした前処理である。この方法の利点は、既知の追跡アルゴリズムの使用による血管系のマッピング及び抽出と比べると、計算負荷の大幅な減少にある。

画像データがヒストグラム等化されているので、関心のある輝度勾配閾値は、画像データ全体にわたっておよそ等しい。この所定閾値の値は、等化において用いられる対象領域のサイズに依存する。実際の値を設定することは、何らかの分析的方法によって行う必要はなく、単に、試行錯誤の経験的手段によって行うことができる。一部の実施形態では、この閾値は、例えば、最大可能な勾配の１０％〜５０％にすることができる。例えば、最大勾配が２５５である実施形態では、最大可能な勾配の約２０％を表す５０の閾値勾配を設定することができる。

上記方法の７番目のステップ７００は、第１及び第２画像データの各々において、１つ以上の隣接した集団１２どうしの間の輝度勾配が所定値を上回る集団１２どうしを併合するステップである。従って、７番目のステップ７００は、集団１２どうしをぼかすか併合して、血管系２をさらに強調する。画像データを画像の形に表現すると、７番目のステップ７００の効果は、血管系２に沿って集団１２の「点を結合」することになる。各画像データ中の集団１２の位置が少し異なることがあり、従って、集団１２どうしを併合することは、より多数の集団１２が特徴点において重複する機会を増加させるので、上記方法のステップ７００は有用である。画像から「閾値で選別」した血管系のコーナー点は、まだグレースケール形式であり、即ち、全データ点が閾値を上回るが、各データ点は異なる輝度値を有する。従って、上記方法は、「閾値で選別」した画像データを、すべての「コーナー」の集団が１の値を有し、他のすべての画像データ点が０の値を有するバイナリ（２進）画像に変換するステップを、さらに含むことができる。

上記方法の８番目のステップ８００は、まつ毛のような無関係の特徴形に付きものの、画像周辺部の集団１２をマスクするステップである。

上記方法の９番目のステップは、集団を併合した第１及び第２画像データのサイズを低減するステップである。このことは、これらのデータをダウンサンプリングすることによって実現される。本明細書に記載する発明の実施形態では、第１及び第２デジタル血管画像データを、ピラミッドスケーリング計算によりダウンサンプリングする。しかし、他の既知のフィルタ処理、平滑化、サンプリングまたはサブサンプリング計算法を用いることができることは明らかである。

併合（ステップ７００）、マスク処理（ステップ８００）、及びダウンサンプリング（ステップ９００）後の第１及び第２網膜像データを、図５ａ及び５ｂに示す。

上記方法の１０番目のステップ１０００は、第１及び第２画像データ間に共通の集団１２のうち、１つ以上の隣接した集団１２間の輝度勾配が所定値を上回る集団１２を識別するステップである。従って、１０番目のステップ１０００は、第１及び第２網膜像データの各々に共通の集団を識別する。本明細書に記載する実施形態では、ステップ１０００は図５ａと５ｂの画像データの相互相関を計算することを含む。

図５ａと５ｂの画像データの相互相関を、図７及び１に例示する。本明細書に記載する実施形態では、図５ｂの第２画像データと、図５ａの第１画像データとの相互相関を複数回計算する。後続する相互相関の各々により、第２画像データが直前のものに対して増分的に回転する。これら複数回の相互相関計算は、およそ４０度にわたって画像を回転させて行うことができる。これら複数回の相互相関計算は、実質的に網膜の視神経円板点の付近に位置する軸点の周りに、画像をおよそ２０度回転させて行うことができる。もちろん、これら複数回の相互相関計算は、実質的に網膜の視神経円板の付近に位置する軸点の周りに、およそ任意の適切な角度にわたって画像を回転させて行うことができる。

データは、正規化した相互相関として出力される。相互相関中のピーク（即ち、画像データ間の最良の整合）を、相関角度毎に記録し、相関角度毎に、相関面５内の孤立ピークの測定により、信頼度を推定する。より具体的には、ピーク高さに、ピーク「壁面」全体の傾きを乗算したものを、相関面５の残り（即ち、ピークの領域を除いたもの）で除算したものの重み付けとして、信頼係数を計算する。この測定基準における高い値は、尖鋭な高い孤立ピークを示し、これは、近い相関に特徴的なものであり、従って、位置合わせの精度における高い信頼度に特徴的なものである。信頼度の低い値は、１つの孤立した相関ピークが存在しないものとして観測され、信頼度が低い値に切り換わる閾値は、１より小さい値が低い信頼度を示すように信頼度測定値に重み付けすることによって確立される。

上記方法の１０番目のステップ１０００は、第１及び第２画像データの各々において識別された共通の集団１２どうしの位置の差を測定することも含む。集団１２の位置は、角度位置及び平行移動位置（回転角及びｘとｙの平行移動）を含む。第１及び第２画像データの各々において識別された共通の集団１２どうしの位置の差は、平行移動パラメータと称される。

上記方法の１１番目のステップ１１００は、第１及び第２画像データ間に共通の集団１２どうしを位置合わせするステップである。ここでは、ステップ１０００より決定された平行移動パラメータを用いて、既知の方法で、第２画像データを第１画像データに位置合わせするか、あるいは、第１及び第２デジタル網膜像１０ａ、１０ｂを位置合わせする。

図８に、上記処理方法中に生成されたデジタル血管画像、及び第１及び第２デジタル血管画像１０ａ、１０ｂを位置合わせしたものを例示する。図８の左上（図８Ａの上）及び右上（図８Ｃの上）は、ダウンダンプリング（ステップ２００）、等化（ステップ３００）、及びノイズ低減（ステップ４００）（図３ａ及び３ｂ）後の、図２ａ及び２ｂの第１及び第２デジタル血管画像１０ａ、１０ｂを例示する。図８の左中央（図８Ａの中央）及び右中央（図８Ｃの中央）は、回転ガボールカーネルでの畳み込み積分（図４ａ及び４ｂ）後の、第１及び第２網膜像データを例示する。図８の左下（図８Ａの下）及び右下（図８Ｃの下）は、第１及び第２デジタル血管画像１０ａ、１０ｂを、それらを位置合わせした位置で例示する。図８の上中央（図８Ｂの上）は、図７の相関面５である。図８の中央（図８Ｂの中央）は、相関角度毎の相互相関のピークを例示する。図８の下中央（図８Ｂの下）は、第１及び第２デジタル血管画像１０ａ、１０ｂを位置合わせして重ね合わせたものを例示する。

本発明の方法は、プロセッサの計算の必要量を劇的に低減し、精度を増加させ、複数の撮像モードにわたって得られた画像どうしの位置合わせを可能にする。本発明の方法によって提供される計算効率は、画像データを回転ガボールカーネルで畳み込み積分することにより、血管系に追従する画像データの集団が高い輝度勾配の「ステップ状の」構造をもたらすように血管系が修正された画像データが生成されることが実現された結果である。これらのコーナー（またはマイクロコーナー）の特徴形が画像中に生成されることは、既知のコーナー検出アルゴリズムを用いて集団の位置を抽出して、比較し位置合わせすることを促進する。このように、画像データを回転ガボールカーネルで畳み込み積分し、コーナー検出アルゴリズムを用いることは、上記方法の計算必要量を低減する。さらに、コーナー検出アルゴリズムを用いることは、既知の網膜像位置合わせ技術に比べてコーナー（及び血管系）を正確に測定することができるので、位置合わせ処理の精度を増加させる。

また、上記方法は、異なる網膜撮像モード（例えば、反射、自己蛍光、等）にわたって共通する特徴形の集合（血管系の点どうしの間の距離）を用いるので、モード間の位置合わせ（即ち、自己蛍光画像−反射画像）が可能である。

本発明の範囲を逸脱することなしに、以上のことに変更及び改良を加えることができる。例えば、上記方法を、網膜像の使用により説明し図示してきたが、人間または動物の臓器または身体部分の血管画像のような他のデジタル血管画像を用いることができることは明らかである。臓器または身体部分の血管系は、この血管系内の動脈血管及び静脈血管を含むことができる。臓器または身体部分の血管系は、その循環系を含むこともできる。

さらに、上記方法は、ガボールカーネルの使用により説明してきたが、適切に整形されたあらゆるカーネル、フィルタ、フィルタマトリクス、ウィンドウ、テンプレート、またはマスクを用いることができることは明らかである。例えば、ガウスフィルタまたはカーネルを用いることができる。また、（８回の畳み込み積分で）３６０度にわたって回転させる回転ガボールカーネルを説明してきたが、このカーネルは「回転」である必要はなく、画像データにより、直交する２つの次元で畳み込み積分さえすればよい（即ち、１回目の畳み込み積分、そして次に、１回目から９０度の角度で２回目の畳み込み積分）ことも明らかである。しかし、上述したように、３６０度の角度にわたってカーネルを回転させる方が、血管系の強調を改善し、好ましい。さらに、上記方法は、単一のカーネルを用いて画像データにより複数回畳み込み積分するものとして説明してきたが、任意数の異なるカーネルを、画像データにより、当該カーネルに対する任意数の角度で畳み込み積分することができることは明らかである。

また、上記方法は、２つの網膜画像を位置合わせするものとして以上に説明し図示してきたが、この方法は、複数のデジタル血管画像データ（及び複数のデジタル血管画像）を用意するステップと、各デジタル画像を上述した方法で処理して、すべての画像データ及び画像を位置合わせするステップを含むことができることも明らかである。

Claims (25)

1. デジタル血管画像を処理する方法であって、
   第１の前記デジタル血管画像及び第２の前記デジタル血管画像を表現する、それぞれ第１デジタル血管画像データ及び第２デジタル血管画像データを用意するステップと；
   前記第１デジタル血管画像データ及び前記第２デジタル血管画像データを、二次元指向性フィルタで処理するステップであって、この二次元指向性フィルタは、直交方向に隣接した画像データ点のうち、当該直交方向に隣接した画像データ点の各々の間の輝度勾配の大きさが所定値より小さい直交方向に隣接した画像データ点の集団を生成する効果を有するステップと；
   前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々における前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
   前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップと；
   前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団どうしを位置合わせするステップと
   を含むことを特徴とする方法。
2. 前記第１デジタル血管画像データ及び前記第２デジタル血管画像データを、前記二次元指向性フィルタで処理するステップが、１つ以上のフィルタカーネルによる前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々の複数回の畳み込み積分を含み、前記フィルタカーネルは、前記畳み込み積分毎に異なるように配向されることを特徴とする請求項１に記載の方法。
3. 前記二次元指向性フィルタが、逐次的な前記畳み込み積分毎に、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々に対して増分的に回転されることを特徴とする請求項２に記載の方法。
4. 前記二次元指向性フィルタが、前記複数回の畳み込み積分を通して、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々に対して実質的に３６０度にわたって回転されることを特徴とする請求項２または３に記載の方法。
5. 前記二次元指向性フィルタがガボールフィルタであることを特徴とする請求項１〜４のいずれかに記載の方法。
6. 前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々における前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップが、コーナー検出アルゴリズムの使用を含むことを特徴とする請求項１〜５のいずれかに記載の方法。
7. 前記コーナー検出アルゴリズムが、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々における前記集団のうち、直交する２つの方向に隣接した１つ以上の集団どうしの間の輝度勾配の大きさが同時に前記所定値を上回る集団を識別するように動作することを特徴とする請求項６に記載の方法。
8. 前記所定値が、最大可能な輝度勾配値の１０％〜５０％であることを特徴とする請求項６または７に記載の方法。
9. 前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップが、畳み込み積分した前記第１デジタル血管画像データと前記第２デジタル血管画像データとの相互相関を計算するステップを含むことを特徴とする請求項１〜８のいずれかに記載の方法。
10. 前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップが、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データにおいて識別した前記集団どうしの相互相関を計算するステップを含むことを特徴とする請求項１〜９のいずれかに記載の方法。
11. 前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団のうち、１つ以上の隣接した集団どうしの間の輝度勾配の大きさが所定値より大きい集団を識別するステップが、畳み込み積分した前記第１デジタル血管画像データと前記第２デジタル血管画像データとの、異なる配向での複数回の相互相関計算を含むことを特徴とする請求項１〜１０のいずれかに記載の方法。
12. 前記複数回の相互相関計算を、実質的に網膜の視神経円板点の付近に位置する軸点の周りに、およそ２０度以上にわたって段階的に前記画像を回転させて行うことを特徴とする請求項１１に記載の方法。
13. 畳み込み積分した前記第１デジタル血管画像データと前記第２デジタル血管画像データとの相互相関を計算するステップが、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々において識別した前記共通の集団どうしの位置の差を特定するステップをさらに含むことを特徴とする請求項１０〜１２のいずれかに記載の方法。
14. 前記集団の位置が、当該集団の角度位置及び／または当該集団の平行移動位置を含み、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々において識別した前記共通の集団どうしの位置の差を、平行移動パラメータと称し、前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団どうしを位置合わせするステップが、前記特定した前記平行移動パラメータを用いて、前記第１デジタル血管画像データと前記第２デジタル血管画像データとを位置合わせすることを特徴とする請求項１３に記載の方法。
15. 前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々において、１つ以上の隣接した前記集団どうしの間の輝度勾配の大きさが所定値を上回る前記集団どうしを併合するステップを含むことを特徴とする請求項１〜１４のいずれかに記載の方法。
16. 平均化フィルタを用いて、前記第１デジタル血管画像データ及び前記第２デジタル血管画像データの各々の輝度値を、前記集団どうしの間で、所定領域内の前記集団の平均輝度値に調整することを特徴とする請求項１〜１５のいずれかに記載の方法。
17. 前記第１デジタル血管画像データ及び前記第２デジタル血管画像データから、前記第１のデジタル血管画像及び／または前記第２のデジタル血管画像を生成するステップを含むことを特徴とする請求項１〜１６のいずれかに記載の方法。
18. 前記第１デジタル血管画像データと前記第２デジタル血管画像データとの間に共通の前記集団どうしを位置合わせしたもののデジタル画像を生成するステップを含むことを特徴とする請求項１〜１７のいずれかに記載の方法。
19. 複数のデジタル血管画像データを用意するステップと、前記デジタル血管画像データの各々を、請求項１〜１８のいずれかに記載の方法により処理して、すべての前記デジタル血管画像データ間に共通の前記集団どうしを位置合わせするステップとを含むことを特徴とする請求項１〜１８のいずれかに記載の方法。
20. 前記第１のデジタル血管画像及び前記第２のデジタル血管画像が、人間または動物の臓器または身体部分の血管画像であることを特徴とする請求項１〜１９のいずれかに記載の方法。
21. 前記第１のデジタル血管画像及び前記第２のデジタル血管画像が、人間または動物の網膜像であることを特徴とする請求項１〜２０のいずれかに記載の方法。
22. 前記第１のデジタル血管画像及び前記第２のデジタル血管画像が、異なる撮像モードを用いて得られた画像であることを特徴とする請求項２０または２１に記載の方法。
23. 第１デジタル血管画像データ及び第２デジタル血管画像データを提供するように構成されたデジタル血管画像提供モジュールと；
    請求項１〜２２のいずれかに記載の方法を実行するように構成されたプロセッサと
    を具えていることを特徴とする画像処理装置。
24. 請求項２３に記載の画像処理装置を具えた走査型オフサルモスコープ。
25. コンピュータ上で実行されると、当該コンピュータに画像データを受信させ、請求項１〜２２のいずれかに記載のデジタル血管画像を処理する方法を実行させる命令を符号化したコンピュータプログラム製品。

Images