JP4915737B2 - 画像解析システム、及び画像解析プログラム - Google Patents

Description

本発明は、画像解析システム及び画像解析プログラムに関するものであり、特に、ステレオ画像から撮影対象物の三次元形状を復元するために深度情報を算出する画像解析システム、及び、該画像解析システムに用いられる画像解析プログラムに関するものである。

画像解析によって撮影対象物の三次元形状を復元する処理は、一般的に、単一の撮影対象物を異なる位置から撮影して得られた一対の画像の一方におけるある点が、他方の画像においてどの点に対応するかという対応点の抽出を行い、両点の座標のずれ（Ｄｉｓｐａｒｉｔｙ）と二つの撮影位置間の距離に基づき、三角測量の原理を用いて三次元的な座標を求めることにより行われる。

かかる画像解析の医療分野での利用、例えば、眼底画像を用いた診断への利用が期待されている。ここで、眼底の状態は、緑内障、糖尿病、高血圧症等の診断に有用な情報を与えるが、特に、視神経乳頭部（Ｄｉｓｃ）と乳頭陥凹部（Ｃｕｐ）との径比（Ｃ／Ｄ比）は、緑内障の診断の重要な指標となる。通常、このＣ／Ｄ比は、医師等の専門家が眼底写真を観察して、視神経乳頭部及び乳頭陥凹部を判別し、写真にスケールを当てて目盛りを読み取ることにより求められている。

ところが、緑内障は眼科系疾患の中でも患者数が多く、また、社会の高齢化に伴って患者数の増加も予想されることから、眼底写真を観察して診断を行う医師の負担の増加が懸念されている。また、肉眼による写真観察には個人差が不可避であることから、同一の眼底写真を用いても、観察者が異なれば必ずしも同一の診断結果が得られないことがある。加えて、同一の者が同一の眼底写真を観察しても、時が異なれば必ずしも同一の診断結果とならないこともある。

そこで、デジタル化された眼底画像データをコンピュータで自動的に解析し、その結果を客観的な情報として医師に提示することにより、医師による診断を支援するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ，以下「ＣＡＤ」という）システムの開発が進められている。例えば、従来のＣＡＤシステムとして、視神経乳頭部及び乳頭陥凹部を定量的に評価すべく、画像解析によって眼底の三次元形状を復元する装置等が提案されている（例えば、特許文献１，２）。

特許第２９５４３２０号公報 特開２０００−２４５７００号公報

しかしながら、従来の方法及び装置（特許文献１）は、予め撮影条件を変えて複数のステレオ画像を撮影し、結果として得られた複数の三次元形状から、それぞれ最も確からしい部分を選択している。そのため、光源の輝度や波長等を異ならせた複数の撮影条件でステレオ画像を撮影する必要があり、手間や時間がかかるという問題があった。また、三角測量の原理を用いて撮影対象物の三次元形状を復元するためには、対応点の抽出を如何に高い精度で行うかが重要であると考えるが、この従来の方法及び装置は、対応点を抽出する段階で、その精度を高めるものではなかった。

一方、従来の装置及びプログラム記録媒体（特許文献２）は、色成分ごとの画像からそれぞれ深度情報を得て、それらを合成して三次元形状を復元するものであり、色成分ごとの深度情報を合成する際に、画像の領域別に重み付けを行っている。そして、視神経乳頭部とその周辺部との境界の輪郭情報を利用することによって、対応点の抽出精度を高めることを意図している。しかしながら、重み付けは、視神経乳頭部領域の内と外という大まかな領域別に設定しているため、三次元形状を細部まで高い精度で得るには不十分であった。また、視神経乳頭部の領域内で対応点の抽出精度を高めることは考慮されていないため、Ｃ／Ｄ比を求めるために重要な、乳頭陥凹部の三次元形状を高い精度で得るという点で、課題の残るものであった。

そこで、本発明は、上記の実情に鑑み、ステレオ画像から高い精度で対応点の抽出を行い、撮影対象物の三次元形状を復元するための深度情報を、より正確に算出する画像解析システム、及び、該画像解析システムに用いられる画像解析プログラムの提供を課題とするものである。

上記の課題を解決するため、本発明にかかる画像解析システムは、「単一の撮影対象物を異なる撮影位置からそれぞれカラー撮影して得た二以上の画像のうち、任意の一対の第一画像及び第二画像の画像データを、画像解析コンピュータに取り込んで解析する画像解析システムであって、前記画像解析コンピュータは、前記第一画像内の任意の対照点周りに設定した第一局所領域、及び、該第一局所領域と同一の大きさに設定し前記第二画像内を走査させる第二局所領域のそれぞれにおいて、画素の特徴を記述する画素情報値のコントラストの大きさに基づいて、前記画素情報値に重み係数を付与して前記第一局所領域及び前記第二局所領域の類似度を算出し、該類似度の最も高い前記第二局所領域から前記対照点に対応する対応点を抽出する対応点抽出手段と、前記対照点及び前記対応点の座標に基づいて前記撮影対象物の深度情報を算出する深度情報算出手段とを」具備している。

「画像解析コンピュータ」は、中央処理装置（ＣＰＵ）や主記憶装置を具備して構成され、市販の汎用コンピュータを使用することができる。そして、主記憶装置には、対応点抽出手段及び深度情報算出手段として画像解析コンピュータを機能させる、後述の画像解析プログラムが記憶され、ＣＰＵは記憶されたプログラムを読み出して、以下の画像解析を行う。

本発明にかかる画像解析システムは、画像解析コンピュータに加えて、画像データを取得するための画像データ取得装置、画像解析コンピュータによる処理の過程や結果を表示するモニタやプリンタ等の表示装置、画像解析コンピュータに対して各種命令やデータの入力を行うキーボードやポインティングデバイス等の入力装置、等を具備する構成とすることができる。ここで、画像データ取得装置としては、撮影対象物を撮影してデジタル化された画像データを取得するデジタルスチルカメラ等のデジタル式撮像装置や、アナログ画像を読み取って電子データに変換するレーザスキャナ等のデジタル化装置を、例示することができる。そして、画像データ取得装置によって取得された画像データは、ＣＤ−Ｒやフレキシブルディスク等の記憶媒体を介して、或いは、ハードウェアインターフェースを介して、画像解析コンピュータに取り込むことができる。

カラー撮影して得られる「画像データ」としては、例えば、赤色（Ｒ）８ビット，緑色（Ｇ）８ビット，青色（Ｂ）８ビットのメモリを割り当てられると共に、二次元の座標で表示される画素の集合として、画像を表現したデータを用いることができる。

「第一画像」及び「第二画像」は、異なる撮影位置から撮影された二以上の画像のうちの任意の一対の画像を、便宜上区別したものである。例えば、画像が二つの場合、当然ながら一方が第一画像となり他方が第二画像となるが、何れを第一画像として捉えても構わない。また、画像が三以上の場合、第一画像と第二画像の組み合わせは複数が存在するが、複数の組み合わせについて後述の対応点の抽出処理を行うことも、何れか一つの組み合わせについてのみ対応点の抽出処理を行うこともできる。

第一画像内の任意の画素である「対照点」が、第二画像におけるどの画素に対応するかが分かれば、すなわち、第二画像から「対応点」を抽出することができれば、対照点及び対応点の座標のずれ、及び、第一画像と第二画像の撮影位置間の距離に基づいて、三角測量の原理を用いて、対照点及び対応点によって特定される撮影対象物上の一点の三次元的な座標を求めることができる。ここでは、撮影対象物上のある点の三次元的な座標を、その点に関する「深度情報」と称している。従って、本発明の「深度情報算出手段」は、対照点及び対応点の座標、及び既知の撮影位置間の距離に基づいて、三角測量の原理を用いて三次元的な座標を算出する手段である。

ここで、対応点の抽出に当たり、一対の画像のそれぞれの画素同士で類似度を対比するのでは、その判断が困難かつ不安定となるため、第一画像における対照点及びその周囲の複数の画素によって構成される「第一局所領域」と、第二画像内に第一局所領域と同じ大きさに設定される「第二局所領域」との間で、類似度を面積的に対比する。そして、第一画像に設定された一つの対照点に対して、第二画像内で第二局所領域を走査させ、第一局所領域と最も高い類似度を示す第二局所領域が決定できれば、その第二局所領域から対応点を抽出することができる。更に、第一画像の他の画素に対照点を設定し、その対照点について対応点を抽出する処理を繰り返すことにより、第一画像の全ての画素のそれぞれについて、第二画像から対応点が抽出される。

第一局所領域および第二局所領域の「類似度」を求める方法としては、例えば、相互相関法、二乗残差法（最小二乗法）、残差逐次検定法を使用することができる。

「画素情報値」は、個々の画素の特徴を数値で記述するものであり、例えば、Ｒ成分、Ｇ成分、及びＢ成分の色成分のそれぞれの輝度値、及び、これに基づいて算出される特徴量（色相、彩度、明度等）を挙げることができる。また、「画素情報値のコントラスト」は、例えば、同一種類の画素情報値について、各局所領域内における最大値と最小値との差、最大値と最小値との差を最大値と最小値の和で除したもの、画素情報値の分散として、定義することができる。

上記の構成により、第一局所領域及び第二局所領域で対比される類似度の算出、ひいては対応点の抽出に、画素情報値のコントラストの大きい情報、すなわち情報量が多い画素情報値ほど、より大きく寄与させることが可能となる。これにより、対応点の抽出の精度が高いものとなり、撮影対象物に関する深度情報を、より正確に算出することができる。例えば、撮影された画像にある色成分の濃淡が乏しい部分が存在しても、その部分の情報に影響を受けて、実際には対応していない点が対応していると判断されて抽出される恐れを、低減することができる。

また、各画素の周りに設定された“局所的な領域ごと”に画素情報値のコントラストの大きさを判断し、それに応じて、“局所的な領域ごと”に画素情報値に重み付けをすることにより、画像の細部における情報量の差異を敏感に反映させて、精度高く対応点の抽出を行うことができる。

また、本発明にかかる画像解析システムは、「前記対応点抽出手段は、前記画素情報値のコントラストの大きさが予め定めた値以下の場合、その画素情報値に重み係数としてゼロを付与して前記類似度を算出する、或いは、その画素情報値を除外して前記類似度を算出する」ものとすることができる。ここで、「予め定めた値」は、画像情報値の種類ごとに定めることができる。

上記の構成により、第一局所領域及び第二局所領域の類似を判断する際、その局所領域内で情報量の少ない種類の画像情報値は、重み係数としてゼロを付与した上で類似度の算出に用いられるか、或いは、その画素情報値は類似度を算出する計算から予め除外されることとなる。これにより、対応点の抽出が、情報量の乏しい画像情報値によって影響を受けないものとなり、高い精度で対応点を抽出することができ、更には、撮影対象物に関する深度情報をより正確に算出することができる。

なお、ある局所領域において、何れの種類の画像情報値についても、そのコントラストの大きさが所定の値以下の場合は、その局所領域については類似度の算出を行わないこととしても構わない。例えば、対照点周りの第一局所領域について類似度の算出を行わない場合は、その対照点の対応点は求められないため、深度情報に欠落部分が生じることとなる。しかしながら、その周辺の対照点及びその対応点に基づいて求められた、信頼性の高い深度情報を利用して補完することにより、結果的には、情報量の少ない画素情報値を使用して不正確な対応点が抽出される場合に比べ、より正確に深度情報を求めることができる。

次に、本発明にかかる画像解析システムは、上記構成に加え、「前記画像解析コンピュータは、複数の前記深度情報に基づいて前記撮影対象物の三次元形状を復元する三次元形状復元手段を」具備するものとすることができる。

上記の構成により、本発明によれば、一対の画像の一方で複数の対称点を設定し、それぞれの対照点について他方の画像から対応点を抽出することにより、対照点及びその対応点で特定される撮影対象物上の複数の点について深度情報を算出することができ、その結果として、撮影対象物の三次元形状を復元することができる。そして、本発明では、上述のように、精度高く対応点を抽出することができるため、撮影対象物の三次元形状を、精度高く復元することができる。

更に、本発明にかかる画像解析システムは、「前記画像解析コンピュータは、前記画像データに基づいてエッジ抽出するエッジ抽出手段を更に具備し、前記画素情報値は、Ｒ成分値、Ｇ成分値、及びＢ成分値、並びに前記エッジ抽出手段によって抽出されたＲエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値のうちの複数を含む」ものとすることができる。

「Ｒ成分値、Ｇ成分値、及びＢ成分値」は、Ｒ成分、Ｇ成分、及びＢ成分の色成分のそれぞれの輝度値とすることができる。また、「Ｒエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値」は、それぞれの色成分の輝度値の変化を抽出する「エッジ抽出」処理を施して得ることができる。例えば、隣接する画素間で輝度値を微分（一次微分、二次微分）することにより、エッジ抽出を行うことができる。

上記の構成により、本発明によれば、エッジ成分値を画像情報値に含めることにより、各画素が単独で持っている輝度値等の情報に加え、近傍の画素の持つ情報との関係も含めて、その画素の特徴を記述することができる。これにより、画像情報値の種類の数が増えると共に、性質の異なる画像情報値を利用して類似度の算出を行うことができる。そして、画像内に線的な要素（輪郭線）が存在する場合は、その情報を有効に利用して、より精度高く対応点の抽出を行うことができる。また、撮影条件等に影響を受けて一対の画像の明るさが大きく相違する場合、輝度値のみによっては画像間の類似を正しく判断することが困難となる恐れがあるが、エッジ成分値を利用することにより、かかる恐れを低減して、より精度高く対応点の抽出を行うことができる。

また、本発明にかかる画像解析システムは、「前記撮影対象物は眼底であって、前記画像解析コンピュータは、取り込んだ前記画像データに基づいて、前記第一画像及び前記第二画像から、それぞれ視神経乳頭部を含む第一乳頭部領域及び第二乳頭部領域を抽出する乳頭部領域抽出手段を更に具備し、前記対応点抽出手段は、前記第一乳頭部領域内に前記対照点を設定し、前記第二乳頭部領域から前記対応点を抽出する」ものとすることができる。

「視神経乳頭部」は、それより外側の部分より輝度値が大きく、また、眼底画像において、視神経乳頭部の占める割合はある程度定まっているため、比較的容易に乳頭部領域を抽出することができる。例えば、輝度値と、その輝度値を有する画素の個数との関係を示すヒストグラムを作成し、眼底画像において視神経乳頭部の占める割合より少し大きな割合で切り出すように閾値を設定することにより、その閾値以上の輝度値を示す画素の集合として、視神経乳頭部を含む乳頭部領域を抽出することができる。

上記の構成により、本発明を眼底画像の画像解析に適用し、緑内障の診断を高度に支援するＣＡＤシステムとして機能させることができる。また、乳頭部領域抽出手段を備え、予め、視神経乳頭部を含む乳頭部領域を抽出し、その領域内のみで対応点の抽出処理を行うことにより、緑内障の診断に有用ではない領域で対応点を探索する時間や手間を省いて、緑内障の診断のために有用な情報を与える視神経乳頭部、及びその領域内に存在する乳頭陥凹部について、効率良く短時間で深度情報を算出することができる。

次に、本発明にかかる画像解析プログラムは、「単一の撮影対象物を異なる撮影位置からそれぞれカラー撮影して得た二以上の画像のうち、任意の一対の第一画像及び第二画像の画像データを取り込む画像データ取込手段、前記第一画像内の任意の対照点周りに設定した第一局所領域、及び、該第一局所領域と同一の大きさに設定し前記第二画像内を走査させる第二局所領域のそれぞれにおいて、画素の特徴を記述する画素情報値のコントラストの大きさに基づいて、前記画素情報値に重み係数を付与して前記第一局所領域及び前記第二局所領域の類似度を算出し、該類似度の最も高い前記第二局所領域から前記対照点に対応する対応点を抽出する対応点抽出手段、前記対照点及び前記対応点の座標に基づいて前記撮影対象物の深度情報を算出する深度情報算出手段として、画像解析コンピュータを機能させる」ものである。

また、本発明にかかる画像解析プログラムは、上記構成に加え、「複数の前記深度情報に基づいて前記撮影対象物の三次元形状を復元する三次元形状復元手段として、前記画像解析コンピュータを更に機能させる」ものとすることもできる。

上記の構成により、本発明の画像解析プログラムを実行することによって、上述の画像解析システムの主たる構成である画像解析コンピュータを機能させ、上述の優れた作用効果を奏することができる。

以上のように、本発明の効果として、ステレオ画像から高い精度で対応点の抽出を行い、撮影対象物の三次元形状を復元するための深度情報を、より正確に算出する画像解析システム、及び、該画像解析システムに用いられる画像解析プログラムを提供することができる。

以下、本発明の最良の一実施形態である画像解析システム及び画像解析プログラムについて、図１乃至図１０に基づいて説明する。ここで、図１は本実施形態の画像解析システムの構成を示すブロック図であり、図２は図１の画像解析システムにおける画像解析コンピュータの機能的構成を示すブロック図であり、図３及び図４は本実施形態の画像解析プログラムによる画像解析の流れを示すフローチャートであり、図５乃至図１０は本実施形態の画像解析プログラムによる画像解析を説明する説明図である。なお、本実施形態では、眼底画像の画像解析システム、及び、眼底画像の画像解析プログラムに、本発明を適用した場合を例示する。

本実施形態の画像解析システム１は、図１に示すように、画像データを取得する画像データ取得装置２と、画像データ取得装置２が取得した画像データを取り込んで画像解析を行う画像解析コンピュータ１０と、画像解析コンピュータ１０に対する種々の指令やデータの入力を行うキーボード、マウス、ポンティングデバイス等の操作入力装置３と、画像解析コンピュータ１０による処理の過程や結果を、画面に表示するモニタ５及びフィルムや紙媒体に印刷するプリンタ６で構成される画像出力装置４とを具備している。

更に詳細に説明すると、本実施形態では、画像データ取得装置２として、眼底をカラー撮影し、デジタル化された画像データを取得するデジタル眼底カメラを使用している。そして、左右に離れた二つの撮影位置から、デジタル眼底カメラで眼底を撮影し、左右一対の眼底画像を得る。以下では、図示を含めて、便宜上、右画像を第一画像、左画像を第二画像として説明するが、これに限定されず、逆の関係であっても良い。

画像解析コンピュータ１０は、ハード構成として、主記憶装置１２と、主記憶装置１２に記憶された画像解析プログラムに従って演算や処理を行う中央処理装置（ＣＰＵ）１１と、ハードディスク等の補助記憶装置１５とを具備している。ここで、補助記憶装置１５には、取り込んだ画像データや画像解析プログラムによって処理された各種データを、記憶することができる。

また、画像解析コンピュータ１０は、機能的構成として、図２に示すように、画像データ取得手段２によって取得された画像データを取り込む画像データ取込手段２１と、取り込んだ画像データに基づいて、第一画像及び第二画像から、それぞれ視神経乳頭部を含む第一乳頭部領域及び第二乳頭部領域を抽出する乳頭部領域抽出手段２２と、第一乳頭部領域及び第二乳頭部領域を、対応点抽出のための解析を行う対象の第一対象画像及び第二対象画像として設定する対象画像設定手段２３と、画像データに基づいてエッジ抽出するエッジ抽出手段２４と、第一対象画像内の任意の対照点について対応する対応点を第二対象画像から抽出する対応点抽出手段３０と、対照点及び対応点の座標に基づいて深度情報を算出する深度情報算出手段４１と、複数の深度情報に基づいて眼底の三次元形状を復元する三次元形状復元手段４２とを、具備している。

ここで、対応点抽出手段３０は、第一対象画像内の任意の画素に対照点を設定する対照点設定手段３１と、対照点の周りに第一局所領域を設定する第一局所領域設定手段３２と、第二対象画像内において対照点と同一の座標を有する画素の周りに、対応点の探索を行う探索範囲を設定する探索範囲設定手段３３と、探索範囲内に第一局所領域と同一の大きさの第二局所領域を設定する第二局所領域設定手段３４と、第一局所領域及び第二局所領域のそれぞれにおいて、画素の特徴を記述する画素情報値のコントラストの大きさを算出するコントラスト算出手段３６と、算出されたコントラストの大きさに基づいて画素情報値に重み係数を付与する重み係数付与手段３７と、重み係数の付与された画素情報値を使用して第一局所領域及び第二局所領域の類似度を算出する類似度算出手段３８と、算出された類似度の最も高い第二局所領域で対応点を決定する対応点決定手段３９とを具備している。

更に、画像解析コンピュータ１０は、取り込んだ画像データや、処理の過程や結果として得られる種々のデータを記憶する記憶手段２５を具備し、記憶手段２５には、予め定められた基準値とコントラストの大きさとの関係によって、画素情報値に付与すべき重み係数を画素情報値の種類ごとに規定した、重み係数テーブル５１が記憶されている。

次に、本実施形態の画像解析プログラムによる画像解析の流れについて、図５乃至図１０を参照しつつ、主に図３及び図４に基づいて説明する。なお、図３及び図４のフローチャートにおいて、ステップＳ５からステップＳ２９が、本実施形態の対応点抽出手段３０に相当する。

まず、画像データ取得装置により取得された第一画像及び第二画像の画像データを、画像解析コンピュータに取り込む（ステップＳ１）。例えば、画像データ取得装置により取得された画像データが記憶されている、ＣＤ−Ｒやフレキシブルディスク等の記憶媒体を介して間接的に、或いは、画像データ取得装置からハードウェアインターフェースを介して直接的に、画像データを取り込むことができる。ここで、取り込まれた画像データに基づき、第一画像ＲＩ及び第二画像ＬＩを、モニタ等の画像出力装置に出力することができる（図５参照）。

次に、第一画像ＲＩ及び第二画像ＬＩから、同一の大きさの第一乳頭部領域ＮＲ１及び第二乳頭部領域ＮＲ２を、それぞれ視神経乳頭部ＮＨを含むように抽出する（ステップＳ２）（図５参照）。ここで、乳頭部領域ＮＲ１，ＮＲ２の抽出は、例えば、次のようにして行うことができる。一般に、視神経乳頭部はそれより外側の部分より輝度値が大きく、眼底画像において視神経乳頭部の占める割合もある程度定まっている。そこで、図６に示すように、第一画像及び第二画像のそれぞれについて、画素の輝度値と、その輝度値を有する画素の個数との関係を示すヒストグラムを作成し、眼底画像において視神経乳頭部の占める割合より少し大きな割合で切り出すように閾値Ｔｐを設定する。これにより、その閾値Ｔｐ以上の輝度値を有する画素の集合として、乳頭部領域ＮＲ１，ＮＲ２を抽出することができる。

次に、抽出された第一乳頭部領域及び第二乳頭部領域の対応する位置に座標の原点を設定し、第一乳頭部領域及び第二乳頭部領域の画像データの座標を変換して、第一対象画像ＲＩ’及び第二対象画像ＬＩ’として設定する（ステップＳ３）（図７参照）。この第一対象画像ＲＩ’及び第二対象画像ＬＩ’には、緑内障の診断に有用な情報を与える視神経乳頭部ＮＨ、及び乳頭陥凹部ＣＵが含まれるため、以降の処理では、第一対象画像ＲＩ’及び第二対象画像ＬＩ’のみを対象として、効率良く画像解析を行う。なお、第一対象画像ＲＩ’及び第二対象画像ＬＩ’は、モニタ等の画像出力装置に出力することができる。

対照点の抽出処理に先立ち、第一対象画像及び第二対象画像内で、Ｒ成分、Ｇ成分、及びＢ成分のそれぞれの色成分について、エッジ抽出を行う（ステップＳ４）。これにより、画素の特徴を記述する画素情報値として、Ｒエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値を使用できることとなる。本実施形態では、この三つのエッジ成分値と、Ｒ成分、Ｇ成分、及びＢ成分の輝度値との、計六種類の画素情報値を使用する。

次に、対応点の抽出処理について説明する。まず、第一対象画像ＲＩ’内の任意の画素に対照点Ｐ１を設定し（ステップＳ５）、対照点Ｐ１の周囲に第一局所領域ＲＯＩ１を設定する（ステップＳ６）（図８参照）。例えば、２１ピクセル×２１ピクセルの大きさに、第一局所領域を設定することができる。

その後、設定された第一局所領域内で、各画素情報値のコントラストの大きさを判断し、その大きさに応じて重み係数を付与する処理を行う。本実施形態では、「画素情報値のコントラスト」を、局所領域内での各画素情報値の最大値と最小値の差として定義しているが、これに限定されず、例えば、最大値と最小値の差を最大値と最小値の和で除した値や、画素情報値の分散として定義することもできる。

以下では、便宜のために、Ｒ成分の輝度値、Ｇ成分の輝度値、Ｂ成分の輝度値、Ｒエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値の計六種類の画素情報値を、「第ｎ成分値」と総称し、それぞれにｎ＝１，２，３，４，５，６の異なるｎ値を与えて区別することとする。そして、まずｎ＝１として対応点を抽出する処理を開始し（ステップＳ７）、その後第６成分値まで、順次処理を行う場合について例示する。

例えば、第ｎ成分値について、コントラストＣ_ｎの大きさに応じて重み付けを行う基準となる基準値をＴ_ａｎ及びＴ_ｂｎとし、Ｃ_ｎ≧Ｔ_ａｎのときは重み係数としてＷ_Ｈｎを付与し、Ｔ_ｂｎ＜Ｃ_ｎ＜Ｔ_ａｎのときは重み係数Ｗ_Ｌｎを付与し、Ｃ_ｎ≦Ｔ_ｂｎのときは重み係数としてゼロを付与する場合について説明する。まず、第ｎ成分値のコントラストＣ_ｎを算出し（ステップＳ８）、記憶手段に記憶されている重み係数テーブルを参照して、Ｔ_ｂｎと対比する（ステップＳ９）。その結果、Ｃ_ｎ≦Ｔ_ｂｎであれば（ステップＳ９においてＮｏ）、第ｎ成分値に重み係数としてゼロ（Ｗ＝０）を付与する（ステップＳ１０）。

一方、Ｃ_ｎ＞Ｔ_ｂｎであれば（ステップＳ９においてＹｅｓ）、Ｔ_ａｎとの対比が行われ（ステップＳ１１）、Ｃ_ｎ≧Ｔ_ａｎの場合は（ステップＳ１１においてＹｅｓ）、重み係数としてＷ_Ｈｎを付与し（ステップＳ１２）、Ｃ_ｎ＜Ｔ_ａｎの場合は（ステップＳ１１においてＮｏ）、重み係数としてＷ_Ｌｎが付与される（ステップＳ１３）。本実施形態では、Ｗ_Ｈｎ＞Ｗ_Ｌｎに設定されており、コントラストＣ_ｎが大きいほど、第ｎ成分値が大きな値となる。なお、基準値の大きさや数は、画素情報値の種類ごとに定めることができる。

その後、ｎ値が６に達しているかが判断され（ステップＳ１４）、達していない場合は（ステップＳ１４においてＮｏ）、ｎに１が加算されて（ステップＳ１５）、ステップＳ８に戻り、別の種類の画素情報値について、コントラストの大きさに基づき重み係数を付与する処理が繰り返される（ステップ９〜ステップ１４）。最終的に、第一局所領域内で、六つの画像情報値の全てについて、重み係数が付与される。

次に、第二対象画像ＬＩ’内で、対照点と同一の座標を有する処理点Ｐ１’を基準として第二局所領域ＲＯＩ２を設定し、第二局所領域ＲＯＩ２を走査することによって、第一局所領域ＲＯＩ１と類似する第二局所領域ＲＯＩ２を探索するのであるが、本実施形態では、探索範囲ＳＲを設定することにより、第二局所領域ＲＯＩ２を走査する範囲を限定している（ステップＳ１６）（図８参照）。これは、撮影位置と撮影対象の眼底との距離が既知であれば、対照点と対応点との間に生じる可能性のある座標のずれを、ある程度の範囲に限定することが可能だからである。このようにして探索範囲ＳＲを適切に設定することにより、対応点が存在しないことが明らかな領域で対応点の探索を行う処理時間やコストを削減して、効率良く、対応点の抽出を行うことが可能となる。例えば、探索範囲ＳＲを第一局所領域ＲＯＩ１及び第二局所領域ＲＯＩ２より大きな４１ピクセル×２３ピクセルの大きさとし、その中心が処理点Ｐ１’より右よりとなるように設定することができる。

そして、探索範囲内で、第一局所領域と同一の大きさの第二局所領域を設定し（ステップＳ１７）、第二局所領域内で、六つの画像情報値の全てについて重み付けの付与を行う（ステップＳ１８〜ステップＳ２６）。なお、ステップＳ１８〜ステップＳ２６の処理は、ステップＳ７〜ステップＳ１５の処理と同様であるため、詳細な説明は省略する。

上記の処理により、第一局所領域及び第二局所領域のそれぞれにおいて、六つの画素情報値の全てについて重み付けが終了したため、重み係数が付与された画素情報値を用いて、第一局所領域及び第二局所領域の類似度を算出する（ステップＳ２７）。本実施形態では、相互相関法を用いて類似度を算出しているが、これに限定されず、残差逐次検定法や二乗残差法等を用いることもできる。

その後、探索領域内の全ての画素に第二局所領域が設定されて、第一局所領域との類似度が算出されたか否かが判断され（ステップＳ２８）、未処理の画素がある場合は（ステップＳ２８においてＮｏ）、ステップＳ１７に戻って第二局所領域設定手段による第二局所領域の移動が行われ、その第二局所領域について、六つの画素情報値に対する重み付け（ステップＳ１８〜ステップＳ２６）、及び第一局所領域との類似度の算出（ステップＳ２７）が行われる。

探索領域内の全ての画素について第二局所領域が設定され、第一局所領域との類似度の算出が終了すると（ステップＳ２８においてＹｅｓ）、最も第一局所領域との類似度の高い第二局所領域ＲＯＩ２_ｍａｘが抽出され、その第二局所領域ＲＯＩ２_ｍａｘの中心となる画素として、対応点Ｐ２が決定される（ステップＳ２９）。その結果、対照点Ｐ１（または処理点Ｐ１’）と対応点Ｐ２との座標のずれＤＩＳが求められ（図９参照）、座標のずれＤＩＳ及び二つの撮影位置間の距離に基づき、三角測量の原理を用いて、対照点Ｐ１及び対応点Ｐ２で特定される眼底上の一点について、三次元的な座標、すなわち深度情報が算出される（ステップＳ３０）。

更に、第一対象画像内の全ての画素を対照点として、対応点が抽出されて深度情報の算出が行われたか否かが判断され（ステップＳ３１）、未処理の画素がある場合は（ステップＳ３１においてＮｏ）、ステップＳ５に戻り、対照点設定手段による第一対象画像内での対照点の移動が行われ、ステップＳ３０までの処理が繰り返される。

第一対象画像内の全ての画素について、第二対象画像内からの対応点の抽出、及び深度情報の算出が終了すると（ステップＳ３１においてＹｅｓ）、対照点及びその対応点の全ての組み合わせにより特定される眼底上の点について、深度情報が算出されたこととなる。その結果、深度情報を総合して、眼底の三次元形状が復元され（ステップＳ３２）、画像解析が終了する。

なお、復元された三次元形状は、モニタやプリンタ等の画像出力装置に出力することができる。また、本実施形態の画像解析プログラムは、復元された三次元形状に基づいて、視神経乳頭部ＮＨの直径Ｄ、及び、乳頭陥凹部ＣＵの直径Ｃを求め（図１０参照）、Ｃ／Ｄ比を自動的に算出する手段を、更に備えるものとすることができる。なお、血管の三次元形状が復元された血管領域ＢＬを消去した画像を生成する手段を、更に備えても良い。

上記のように、本実施形態の画像解析システム１及び画像解析プログラムによれば、第一局所領域及び第二局所領域で対比される類似度、ひいては対応点の抽出に、情報量が多い種類の画素情報値を、より大きく寄与させることができる。その結果、精度高く対応点を抽出して、高い精度で眼底の三次元形状を復元することができ、医師による緑内障の診断を、高度に支援することが可能となる。

例えば、Ｒ成分値のコントラストは、視神経乳頭部の領域内で小さく、Ｂ成分値のコントラストは、視神経乳頭部の領域外で小さい傾向がある。更に、視神経乳頭部の領域の内外に関わらず、血管が走行している部分では、Ｂ成分値やＧ成分値のコントラストが高い傾向がある。そのため、各画素の周りに局所的に設定された領域ごとに画素情報値のコントラストの大きさを判断し、それに応じて、局所的に設定された領域ごとに画素情報値に重み付けをすることにより、画像の細部における情報量の差異を敏感に反映させ、精度高く対応点の抽出を行うことができる。

また、ある局所領域内において情報量の少ない種類の画素情報値は、重み係数としてゼロを付与することにより、対応点を抽出するために算出される類似度に寄与させていない。これにより、類似していない点が誤って対応点として抽出される恐れを低減することができ、高い精度で眼底の三次元形状を復元することができる。

更に、エッジ成分値を画像情報値に含めることにより、画像内に存在する血管等の線的な要素を有効に利用して、より精度高く対応点の抽出を行うことができる。また、撮影条件等によって、第一画像と第二画像の明るさが大きく相違するような場合であっても、輝度値以外の種類の画素情報値をも利用することにより、精度高く対応点の抽出を行うことが可能となる。

以上、本発明について好適な実施形態を挙げて説明したが、本発明は上記の実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。

例えば、上記の実施形態では、画素情報値のコントラストの大きさが所定の値以下の場合、その画素情報値に重み係数としてゼロを付与した上で類似度を算出する場合を例示したが、これに限定されず、その画素情報値を除外して類似度の算出を行っても良い。

また、異なる撮影位置から撮影された左右一対の画像を、第一画像及び第二画像として画像解析する場合を例示したが、これに限定されず、三以上の画像を撮影し、そのうちの任意の一対を第一画像及び第二画像として画像解析を行うこともできる。その場合、第一画像及び第二画像の組み合わせは複数存在するが、複数の組み合わせのそれぞれについて対応点の抽出を行うことにより、撮影対象物の深度情報ひいては三次元形状を、より正確に求めることができる。

更に、上記の実施形態では、画像解析の結果として得られた撮影対象物の三次元形状をモニタやプリンタ等の出力装置に出力する他、画像解析の処理の途中では、第一画像及び第二画像、第一対象画像及び第二対象画像を出力装置に出力する場合を例示したが、これに限定されない。例えば、図６に示した乳頭部領域の抽出に用いたヒストグラム、乳頭部領域の抽出結果、Ｒ成分値画像、Ｇ成分値画像、Ｂ成分値画像、Ｒエッジ成分値画像、Ｇエッジ成分値画像、Ｂエッジ成分値画像、対照点と対応点を示すオプティカルフロー、各画素情報値について重み係数の分布を示す画像、視神経乳頭部の抽出画像、及び乳頭陥凹部の抽出画像等を出力装置に出力する画像解析システム、及び画像解析プログラムとすることができる。

また、画像データ取得装置として、デジタル眼底カメラを用いる場合を例示したが、これに限定されず、アナログ画像からデジタル化された画像データに変換するレーザスキャナ等のデジタル化装置を用いることもできる。

また、対応点抽出手段による処理の流れは、本実施形態で例示したものに限定されない。例えば、第二対象画像内で探索範囲を設定してから第二局所領域を設定する場合を例示したが、対照点と同一の座標を有する処理点の周りに、最初の第二局所領域を設定してから、探索範囲を設定しても良い。更に、解析対象とする一対の画像において、全ての画素について対応関係を求める場合を例示したが、これに限定されず、画像における画素密度や眼底の部分に応じて、処理に使用する画素数を適宜設定することもできる。

加えて、画像情報値として、Ｒ成分値、Ｇ成分値、Ｂ成分値、Ｒエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値の六種類を使用する場合を例示したが、これに限定されず、これら六種類の内のいくつかの種類のみを使用しても、或いは、更に色相や彩度等を画像情報値として付加しても良い。

なお、眼底の三次元形状を復元する画像解析システム及び画像解析プログラムとして、本発明を適用する場合を例示したが、これに限定されず、ある色成分の濃淡分布にばらつきがある画像など、情報量の乏しい部分を有する画像から、三次元形状を精度高く抽出する技術として、広く適用することが可能である。

本実施形態の画像解析システムの構成を示すブロック図である。 図１の画像解析システムにおける画像解析コンピュータの機能的構成を示すブロック図である。 本実施形態の画像解析プログラムによる画像解析の流れを示すフローチャートである。 本実施形態の画像解析プログラムによる画像解析の流れを示すフローチャートである。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。 本実施形態の画像解析プログラムによる画像解析を説明する説明図である。

符号の説明

１ 画像解析システム
１０ 画像解析コンピュータ
２１ 画像データ取込手段
２２ 乳頭部領域抽出手段
２４ エッジ抽出手段
３０ 対応点抽出手段
４１ 深度情報算出手段
４２ 三次元形状復元手段

Claims (7)

1. 単一の撮影対象物を異なる撮影位置からそれぞれカラー撮影して得た二以上の画像のうち、任意の一対の第一画像及び第二画像の画像データを、画像解析コンピュータに取り込んで解析する画像解析システムであって、
   前記画像解析コンピュータは、
   前記第一画像内の任意の対照点周りに設定した第一局所領域、及び、該第一局所領域と同一の大きさに設定し前記第二画像内を走査させる第二局所領域の類似度を算出し、該類似度の最も高い前記第二局所領域から前記対照点に対応する対応点を抽出する対応点抽出手段と、
   前記対照点及び前記対応点の座標に基づいて前記撮影対象物の深度情報を算出する深度情報算出手段とを具備し、
   前記対応点抽出手段は、
   前記第一局所領域及び前記第二局所領域のそれぞれにおいて、色成分の輝度値を含む、画素の特徴を記述する画素情報値のうち複数について、前記画素情報値それぞれの最大値及び最小値に基づくコントラストの大きさが予め定めた基準値以上のとき、当該画素情報値に重み係数Ｗ _Ｈ を付与し、前記コントラストの大きさが前記基準値より小のとき、前記重み係数Ｗ _Ｈ より小さな重み係数を付与し、重み係数が付与された複数の前記画素情報値を用いて前記類似度を算出する
   ことを特徴とする画像解析システム。
2. 前記対応点抽出手段は、前記画素情報値のコントラストの大きさが予め定めた値以下の場合、その画素情報値に重み係数としてゼロを付与して前記類似度を算出する、或いは、その画素情報値を除外して前記類似度を算出することを特徴とする請求項１に記載の画像解析システム。
3. 前記画像解析コンピュータは、複数の前記深度情報に基づいて前記撮影対象物の三次元形状を復元する三次元形状復元手段を、更に具備することを特徴とする請求項１または請求項２に記載の画像解析システム。
4. 前記画像解析コンピュータは、前記画像データに基づいてエッジ抽出するエッジ抽出手段を更に具備し、
   前記画素情報値は、Ｒ成分値、Ｇ成分値、及びＢ成分値、並びに前記エッジ抽出手段によって抽出されたＲエッジ成分値、Ｇエッジ成分値、及びＢエッジ成分値のうちの複数を含む
   ことを特徴とする請求項１乃至請求項３の何れか一つに記載の画像解析システム。
5. 前記撮影対象物は眼底であって、
   前記画像解析コンピュータは、取り込んだ前記画像データに基づいて、前記第一画像及び前記第二画像から、それぞれ視神経乳頭部を含む第一乳頭部領域及び第二乳頭部領域を抽出する乳頭部領域抽出手段を更に具備し、
   前記対応点抽出手段は、前記第一乳頭部領域内に前記対照点を設定し、前記第二乳頭部領域から前記対応点を抽出する
   ことを特徴とする請求項１乃至請求項４の何れか一つに記載の画像解析システム。
6. 単一の撮影対象物を異なる撮影位置からそれぞれカラー撮影して得た二以上の画像のうち、任意の一対の第一画像及び第二画像の画像データを取り込む画像データ取込手段、
   前記第一画像内の任意の対照点周りに設定した第一局所領域、及び、該第一局所領域と同一の大きさに設定し前記第二画像内を走査させる第二局所領域の類似度を算出し、該類似度の最も高い前記第二局所領域から前記対照点に対応する対応点を抽出する対応点抽出手段、
   前記対照点及び前記対応点の座標に基づいて前記撮影対象物の深度情報を算出する深度情報算出手段として、画像解析コンピュータを機能させ、
   前記対応点抽出手段は、
   前記第一局所領域及び前記第二局所領域のそれぞれにおいて、色成分の輝度値を含む、画素の特徴を記述する画素情報値のうち複数について、前記画素情報値それぞれの最大値及び最小値に基づくコントラストの大きさが予め定めた基準値以上のとき、当該画素情報値に重み係数Ｗ _Ｈ を付与し、前記コントラストの大きさが前記基準値より小のとき、前記重み係数Ｗ _Ｈ より小さな重み係数を付与し、重み係数が付与された複数の前記画素情報値を用いて前記類似度を算出する
   ことを特徴とする画像解析プログラム。
7. 複数の前記深度情報に基づいて前記撮影対象物の三次元形状を復元する三次元形状復元手段として、前記画像解析コンピュータを更に機能させることを特徴とする請求項６に記載の画像解析プログラム。

Images