以下、本発明を実施するための最良の形態について、図面を用いて詳細に説明する。ただし、発明の範囲は図示例に限定されるものではない。
(第1実施形態)
本実施形態における画像処理装置10は、被検眼の断層像と眼底画像とを取得し、断層像と眼底画像との位置合わせを行うために、断層像から投影像を作成する。そして、眼底画像と投影像から病気の有無や種類を判定するための解剖学的情報を検出し、その結果に基づいて計測対象とする層を判定し、所定の層の解析処理を実行する。なお、本実施形態においては黄斑部が撮影された断層像について説明をする。ただし、撮影部位は黄斑部に限定されるものではなく、視神経乳頭に同様の処理をしてもよい。さらには、黄斑部と視神経乳頭とが同時に撮影されている画像に対しても処理を適用可能である。また、本実施形態においては取得する三次元の断層像全体に対して解析処理を行う場合について説明をする。しかし、三次元の断層像から注目すべき二次元の断層像(以下、二次元断層像を断面像と呼ぶ)を選択して、選択した断面像に対して処理を行う構成であってもよい。例えば、予め定めた眼底の特定部位(例えば中心窩)を含む断面像に対して処理を行ってもよい。この場合、検出される層の境界、正常構造、正常時データ等は、何れも当該断面上における二次元のデータとなる。
図1に示す画像処理装置10は、断層像撮像装置20、眼底画像撮像装置30及びデータサーバ50と、イーサネット(登録商標)等によるローカル・エリア・ネットワーク(LAN)40を介して接続され、画像処理システムを構築している。なお、これらの機器との接続は、光ファイバ、USBやIEEE1394等のインターフェイスを介して行ってもよい。また、これらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。
断層像撮像装置20は、眼部の断層像を撮像する装置であり、例えばタイムドメイン方式のOCTやフーリエドメイン方式のOCTからなる。眼底画像撮像装置30は、眼部の眼底画像を撮像する装置であり、例えば、眼底カメラやSLOである。データサーバ50は、被検眼の断層像や被検眼の画像特徴量などを保持するサーバである。データサーバ50は、断層像撮像装置20が出力する被検眼の断層像や、画像処理装置10が出力する解析結果を保存する。また、画像処理装置10からの要求に応じて、被検眼に関する過去のデータを画像処理装置10へと送信する。
次に、本実施形態に係る画像処理装置10を構成する各機能ブロックについて説明する。画像処理部200は、眼底画像から病変部や血管の特徴量を検出して眼底の疾病判定を行い、その結果に応じて、所定の層を解析する処理を断層像に対して実行する。被検眼情報取得部210は、被検眼を同定する情報を外部から取得する。画像取得部220は、断層像取得部221と、眼底画像取得部222で構成される。画像取得部220は、断層像撮像装置20から送信される断層像と、眼底画像撮像装置30から送信される眼底画像を取得する。指示取得部230は、操作者が入力する処理の指示を取得する。記憶部240は、被検眼情報取得部210が取得した被検眼に関する情報と、画像取得部220が取得した当該被検眼の断層像と眼底画像を一時的に保持する。表示部270は、画像取得部220で取得した断層像や、画像処理部200で断層像を処理した結果をモニタに表示する。結果出力部280は、検査日時と、被検眼を同定する情報と、被検眼の断層像と、画像処理部200によって得られた解析結果とを関連付けて、保存すべき情報としてデータサーバ50へと送信する。
次に図2を参照して、画像処理部200を構成する各機能ブロックについて説明する。投影像作成部251は、眼底画像と断層像との位置合わせを行うために、断層像を深度方向に積算した投影像を作成する。領域特定部252は、特徴抽出部257の抽出結果に基づいて、断層像における病変部や血管の領域を特定する。層構造強調部253は、網膜は層構造をなすという解剖学的特徴に基づいて、断層像から網膜の層構造を強調する。層構造検出部254は、網膜層の厚みや体積などを定量化するために、断層像から所定の層を検出する。層構造変更部255は、断層像の領域内において、信号強度の減弱などがおこる箇所において、層構造検出部254が検出した層の検出結果を変更する。定量化部256は、層構造検出部254の結果から、層厚、面積および体積を求める。特徴抽出部257は、投影像作成部251で作成した投影像と眼底画像撮像装置30が撮影した眼底画像から、血管、病変部を検出する。病変部とは、白斑、ドルーゼン、出血などである。位置合わせ部258は、特徴抽出部257が抽出した血管特徴、特徴部位を基に、投影像と眼底画像との位置合わせを行う。第一の判定部259は、特徴抽出部257が抽出した特徴に基づいて、層構造検出部254が検出する層の種類を判定する。なお、各機能ブロックが実行する具体的な処理の内容は、後に詳しく説明する。
次に、図3のフローチャートを参照して、本実施形態の画像処理装置10の処理手順を説明する。本実施形態の処理手順は、被検眼の断層像と眼底画像とを取得し、断層像と眼底画像との位置合わせを行うために、断層像から投影像を作成する。そして、眼底画像と投影像から病気の有無や種類を判定するための解剖学的情報を検出し、その結果に基づいて計測対象とする層を判定し、所定の層の解析処理を実行する。
S301において、被検眼情報取得部210は、被検眼を同定する情報として被験者識別番号を外部から取得する。そして、被験者識別番号に基づいて、データサーバ50が保持している当該被検眼に関する情報を取得する。当該被検眼に関する情報とは、例えば、患者の氏名、年齢、性別、検査対象が右眼であるか左眼であるかなどを取得する。さらに、他の検査情報として、視力、眼軸長や眼圧などの測定データがある場合は、その測定データを取得してもよい。そして、取得した情報を記憶部240へと送信する。
S302において、断層像取得部221は、断層像撮像装置20から送信される断層像を取得し、眼底画像取得部222は、眼底画像撮像装置30から送信される眼底画像を取得する。そして、取得した情報を記憶部240へと送信する。なお、以下の説明では、画像取得部220が取得した断層像と眼底画像は、被検眼情報取得部210において同定される被検眼のものであることを前提とする。また、断層像には断層像の撮像に関する各種パラメータが情報として付帯し、眼底画像には眼底画像の撮像に関する各種パラメータが情報として付帯しているものとする。
S303において、投影像作成部251は、眼底画像と断層像との位置合わせを行うために、各断面像(例えばB−scan像)を深度方向に積算した投影像を作成する。以下、投影像作成部251の処理について図5を用いて説明をする。図5は、断面像と投影像の一例を示す図である。図5(a)は、断面像T1〜Tnであり、図5(b)は断面像T1〜Tnから作成した投影像Pである。深度方向とは、図5(a)のz方向であり、深度方向に積算するとは、図5(a)のz方向の各深度位置における光強度(輝度値)を足し合わせる処理である。投影像Pは、各深度位置における輝度値を単純加算した値でもよいし、加算値を加算数で割った平均値でもよい。投影像Pは、深度方向に全画素の輝度値を加算する必要はなく、任意の範囲のみ加算するようにしてもよい。例えば、事前に網膜層全体を検出しておいて、網膜層内のみ加算してもよい。さらには、網膜層内の任意の層のみ加算してもよい。投影像作成部251は、断層像撮像装置20によって撮影されたn個の断面像T1〜Tnの夫々について深度方向に積算する処理を行い、投影像Pを作成する。図5(b)の投影像Pは、積算値が大きいほど輝度値が明るく、積算値が小さいほど輝度値が暗くなるように表している。図5(b)の投影像P内の曲線Vは血管を示しており、画像中心の円Mは黄斑部を示している。断層像撮像装置20は、低コヒーレンス光源から照射した光の反射光を、受光素子で受光することにより眼部の断面像T1〜Tnを撮像する。血管がある場所は、血管より深部の位置における光の反射光強度は弱くなりやすく、z方向に積算した値は、血管がない場所に比べて小さくなる。そのため、投影像Pを作成することで、血管とそれ以外でのコントラストのある画像を得ることができる。
S304において、特徴抽出部257は、投影像作成部251で作成した投影像と眼底画像撮像装置30が撮影した眼底画像から、血管、病変部を表す特徴量を抽出する。ここで病変部とは、白斑、ドルーゼン、出血などをいう。OCT断層像において、これら血管や病変部などの吸収物質の後方は信号が減衰もしくは欠損する偽像が発生することがある。そのため、眼底画像と投影像からこれらをよく表す特徴量を抽出し、層構造を決定する際に、この領域をマスク領域として用いる。さらに、これらの特徴量は、次のS305において、眼底画像と投影像との位置合わせを行う時の特徴として用いることもできる。血管は細い線状構造を有しているため、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、これに限らずSobelフィルタのような差分フィルタでもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる2つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。
病変部である白斑領域は、眼底画像内で局所的に存在し、かつ周辺に比べて輝度値が高いという画像特徴を持つ。そこで、このような画像特徴に注目して白斑抽出を行うことが可能である。抽出手法としては様々なものが考えられるが、例えば眼底画像のRGBのいずれかの成分に対してトップハット演算を適用する方法がある。トップハット演算とは、濃淡画像に対してモルフォロジー演算を適用し、その出力画像と原画像との間で画素ごとに濃度値差分を計算する演算である。トップハット演算適用後の画像において、白斑に含まれる画素はその他の画素に比べて高い信号を持つため、この画像に対して閾値処理を適用することで、白斑領域を抽出できる。
以上の処理により、白斑領域をよく表す特徴量を抽出することができる。ドルーゼン、出血なども同様に、解剖学的特徴量として抽出できる。眼底画像から得られる解剖学的特徴として、ドルーゼンは白い塊状の画像特徴を持つ。出血領域は、出血していない領域よりもRGB各成分において濃度値が低く、大量出血している箇所に関しては、血管部分の濃度値よりもかなり低くなるという画像特徴がある。このように、白斑、ドルーゼン、出血等の病変部は、投影像の画素値に着目して抽出することが出来る。
これら血管、病変部を表す特徴量の抽出方法は、上記の手法に限られるものではない。また、ひとつの手法に限定する必要はなく、複数の手法を組み合わせてもよい。病変部に関しては、投影像、あるいは眼底画像のどちらかから抽出できればよく、両方の抽出結果を統合することで、断層像での病変位置を特定することができる。
なお、特徴抽出部257では、血管や病変部に限らず、黄斑部や視神経乳頭などを抽出してもよい。これら、黄斑部や視神経乳頭位置などは、位置合わせ部258が、投影像と眼底画像とを位置合わせする際の特徴量として用いてもよいし、病変の誤検出を減らすための特徴量として用いてもよい。なお、眼底画像から層構造検出時に利用するための有効な特徴量(血管、病変)が抽出できなかった場合には、次のS305の処理を実行せずに、S306の処理を実行する。
S305において、位置合わせ部258は、投影像と眼底画像との位置合わせを行う。眼底画像を基準画像とすると、投影像のスケール(Sx,Sy)、位置座標(x,y)、回転(rot)パラメータを求めることにより、投影像と眼底画像の位置を合わせることができる。画像同士の位置を合わせるため、解剖学的に特徴的な領域を抽出する。代表的な解剖学的特徴のひとつとして、本実施形態では血管に注目する。投影像と眼底画像からそれぞれ抽出した血管を用いて、画像間の位置合わせを行う。位置合わせを行う際には、2つの画像間の類似度を表す評価値を事前に定義し、この評価値が最も良くなるように画像の変形を行う。評価値としては、前記処理により得られた投影像血管領域と眼底画像血管領域の重なりの程度を表す値や、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などが利用できる。また、本実施形態では解剖学的に特徴的な領域として血管を利用したが、視神経乳頭領域のようなその他の解剖学的特徴や、疾患により生じた白斑や出血領域を利用しても良い。さらに、血管などの解剖学的特徴にのみ注目するのではなく、画像全体から計算される評価値、例えば輝度値の平均2乗誤差、相関係数、相互情報量なども利用可能である。
S306において、領域特定部252は、特徴抽出部257で抽出された血管や病変部をOCT断層像上に逆投影する。これにより、眼底画像と投影像から得た血管や病変部を断層像にマスク領域として設定することができる。S307において、第一の判定部259は、特徴抽出部257において抽出された特徴量を用いて、病変部が検出されたか否か、また、検出された病変の種類は何かを判定し、層構造検出部254で検出する層の種類を選択する。病変の有無や病変の種類を判定するために、SupportVectorMachine等の識別器や、AdaBoost等により構築される識別器のアンサンブルを用いて判定する。例えば、白斑領域を抽出する場合、眼底画像のRGB各成分の濃度値や、RGBの各成分で輝度値のコントラストが高い領域を強調可能なさまざまな画像フィルタの出力結果を特徴量とする。そして、識別器やそのアンサンブルを用いて画素ごとに白斑であるか否かの判定を行う。さらに白斑と判定された全画素をクラスタリングし、クラスタごとに再度白斑領域であるかの識別を行う。このときの特徴量は、クラスタ内の輝度値の平均やその分散、クラスタ内外の輝度値コントラストなどを用いる。
第一の判定部259の判定結果として、病変部が何も検出されなければ、層構造検出部254では、内境界膜1、神経線維層境界2、内網状層境界3、外網状層境界4、視細胞内節外節接合部5、網膜色素上皮層境界6を検出する。病変部が検出された場合は、内境界膜1、網膜色素上皮層境界6を検出する。さらに、病変部としてドルーゼンが検出された場合は、網膜は加齢黄斑変性症であるため、網膜色素上皮層境界6は凹凸形状となる。そのため、網膜色素上皮層境界6を検出すると同時に網膜色素上皮層境界6の正常構造を推定する。第一の判定部259が、眼底の状態が正常であると判定した場合はS308へと処理を進め、眼底の状態が異常であると判定した場合はS309へと処理を進める。
S308において、網膜の状態が正常であるときの解析処理を実行する。本ステップの処理については、図4(a)に示すフローチャートを用いて後に詳しく説明する。S309において、網膜の状態が異常であるときの解析処理を実行する。本ステップの処理については、図4(b)に示すフローチャートを用いて後に詳しく説明する。S310において、指示取得部230は、被検眼に関する今回の処理の結果を、データサーバ50へ保存するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。そして、保存が指示された場合はS311へと処理をすすめ、保存が指示されなかった場合はステップ311へと処理を進める。
S311において、結果出力部280は、検査日時と、被検眼を同定する情報と、被検眼の断層像と眼底画像と、画像処理部200によって得られた解析結果とを関連付けて、保存すべき情報としてデータサーバ50へと送信する。S312において、指示取得部230は、画像処理装置10による断層像の解析処理を終了するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理装置10はその処理を終了する。一方、処理を継続する指示を取得した場合には、S301に処理を戻して、次の被検眼に対する処理(あるいは、同一被検眼に対する再処理)を実行する。以上によって、画像処理装置10の処理が行われる。
次に、図4(a)を参照して、S308の処理内容の詳細を説明する。S410において、層構造強調部253は、断層像から網膜の層構造を強調する。網膜の層構造を強調するために、ヘッセ行列の固有値に基づく層構造強調フィルタを用いる。これは、ヘッセ行列の3つの固有値(λ
1、λ
2、λ
3)の関係に基づいて、3次元濃淡分布の二次局所構造を強調することができる。ヘッセ行列は式1で与えられる。ヘッセ行列は、多変数関数の2階偏導関数全体が作る正方行列である。Iは画像の濃淡値である。図6に、層構造を強調する場合における、ヘッセ行列の固有値と固有ベクトル(e
1、e
2、e
3)の関係を示す。そして、式2にヘッセ行列の固有値の関係を示し、式3に層構造を強調するための固有値の条件式を示す。
λ
3 ≦ λ
2 ≦ λ
1 ・・・(式2)
λ
3 << λ
2 = λ
1=0 ・・・(式3)
これらで求めた3つの固有値から、以下の式4を求めることで、網膜の層構造を強調することができる。ここで、式4におけるω(λ
s;λ
t)は重み関数であり、それを式5に示す。式5におけるγとαは重みである。
さらに、様々な厚みの網膜層に対応するために、多重解像度による層構造強調フィルタを用いることが可能である。そのためには、複数の解像度σfのガウス関数G(x;σf)による平滑化画像に対するヘッセ行列の固有値を解析すればよい。ここで、xは(x,y,z)である。図7に解像度σfの異なるガウス関数(a)、(b)と、それにより、強調される層の厚みのイメージを(c)、(d)に夫々示す。図7(a)のガウス関数により強調される層の厚みが(c)で、図7(b)のガウス関数により強調される層の厚みが(d)である。図7(a)の解像度はσa、(b)の解像度はσbであり、二つの解像度の関係は式6に示す通りである。
次に、ガウス関数による平滑化画像の式を式7に示す。式7は、ヘッセ行列における1つの成分であり、他の成分も式7と同様にして求めることができる。式7において、解像度σfを複数設定し、夫々の解像度で式1、式4を解くことにより、夫々の解像度に対応した厚みの網膜層を強調することができる。式8は、複数の解像度σfの結果を統合化するための式である。それにより、1つの出力で、様々な厚みの網膜層に対応することができる。ここで、式8においてσi 2をかけているのは正規化処理をするためである。iは1〜nであり、設定した解像度の数nに対応する。
σ
a < σ
b ・・・(式6)
ここでは、式8を用いて複数の解像度σ
fを統合化する処理の説明をしたが、必ずしも統合化する必要はなく、各層の厚みに適した解像度で処理した結果を夫々保持しておき、層毎にそれらの結果を使い分けるようにしてもよい。例えば、断層像の画像サイズを256*240*256とした場合、内境界膜1などを求める時の解像度は3以上で、内網状層境界3などを求める時の解像度は1〜2とする。内境界膜1に関しては、低い解像度で強調した画像でもよいが、高い解像度で網膜層全体を強調した画像を用いることにより、網膜から剥離した硝子体皮質を誤検出する確率を小さくすることができる。
式4、式5を用いて、ヘッセ行列の固有値から網膜の層構造を強調する説明をしたが、固有値の関係を用いて、層構造を強調するのであれば、式4、式5は上記の式に限定されるものではない。図8(a)は、断層像の特徴を説明するための図である。図8(a)において、1は内境界膜、2は神経線維層境界、3は内網状層境界、4は外網状層境界、5は視細胞内節外節接合部、6は網膜色素上皮層境界、7は血管領域、7'は血管下の領域を表している。図8(a)の左図は、断面像Tiを示し、右図は左図の血管がある位置におけるA−scanに沿った画像のプロファイルを示している。つまり、左図はA−scanと示される線上の座標と輝度値の関係を示している。図8(b)は、図8(a)における断層像に対して層構造強調フィルタを適用した一例を示している。図8(b)の左図は、断面像Tiにおける層構造強調画像を示し、右図は左図の血管がある位置におけるA−scanに沿ったフィルタ出力のプロファイルを示している。層構造強調フィルタを用いることで、血管により信号が減弱したとしても、信号成分が失われていなければ、層構造を強調することができる。さらに、層構造以外のノイズ成分を低減することができる。
S420において、まず、層構造検出部254は、内境界膜1、神経線維層境界2、視細胞内節外節接合部5、網膜色素上皮層境界6を求める。層構造検出部254では、層構造強調部253で作成した層構造を強調した画像の特徴と、断層像に対して平滑化処理と勾配検出処理によって得た画像の勾配特徴とを用いて、各層を検出する。内境界膜1は、硝子体側から眼底の深度方向に層構造強調フィルタのピークを探索し、閾値以上の最初のピーク位置を内境界膜1と神経線維層境界2の初期値とする。その初期値から、硝子体側に勾配特徴を探索し、勾配のピーク位置を内境界膜1とする。神経線維層境界2も同様に、その初期値から眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を神経線維層境界2とする。網膜色素上皮層境界6は、さらに、眼底の深度方向に層構造強調フィルタのピークを探索し、閾値以上の最後のピーク位置を網膜色素上皮層境界6の初期値とする。その初期値から、眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を網膜色素上皮層境界6とする。視細胞内節外節接合部5も同様に、その初期値から硝子体側に勾配特徴を探索し、勾配のピーク位置を視細胞内節外節接合部5とする。
次に、外網状層境界4を検出する。外網状層境界4は、神経線維層境界2と視細胞内節外節接合部5の間で、層構造強調フィルタの出力値が式9を満たすものを候補点とする。そして、その中で眼底の一番深度方向に位置するものを外網状層境界4とする。式9においてThは閾値であり、0〜1である。ここでは、Thを0.7とする。Ssheet(x)は、画素(x,y,z)における層構造強調フィルタの出力値である。maxSsheet_NFL_ISOS_Aは、各A−scanにおける、神経線維層境界2と視細胞内節外節接合部5の間での、層構造強調フィルタの最大出力値である。外網状層境界4と内網状層境界3の層構造強調フィルタの出力値は、外網状層境界4の方が大きくなる傾向があるが、非常に僅差である。そのため、空間的な位置情報として、外網状層境界4は内網状層境界3よりも深度方向に位置するという解剖学的特徴を用いることで、誤検出を減らすことができる。内網状層境界3は、神経線維層境界2と外網状層境界4の間に位置する層構造強調フィルタのピークを探索し、その位置を初期値とする。そして、その初期値から眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を内網状層境界3とする。
各層において検出された点群は、多項式関数とM推定などにより外れ値除去処理を行う。あるいは、隣接する検出点間で角度計算をして、閾値以上の角度になる点を除去するなどの外れ値除去処理を行う。そして、除去した点については補間処理を行うことで、滑らかな層を検出する。ここでは、層構造強調フィルタの出力結果を利用した例を示した。しかし、必ずしも層構造強調フィルタの結果を用いる必要はなく、内境界膜1や神経線維層境界2などは、閾値処理、勾配検出、領域拡張法などの処理で層を検出するようにしてもよい。正常眼である場合、内境界膜1、神経線維層境界2、内網状層境界3、外網状層境界4、視細胞内節外節接合部5、網膜色素上皮層境界6を求める処理の説明を行った。しかし、その他に、不図示の神経節細胞層と内網状層の境界や外境界膜などを求めてもよい。あるいは、内境界膜1、神経線維層境界2、網膜色素上皮層境界6など、層の厚みや面積などを解析するのに必要な層のみを検出するようにしてもよい。
S430において、層構造変更部255は、特徴抽出部257が検出した血管の結果を用いて、層構造検出部254が検出した層の結果を変更する。図9に図8(a)における血管位置にマスクをした画像を示す。図9において、9はマスク領域、9'で示す破線はマスク領域内における探索範囲を示す。このマスク領域9は、特徴抽出部257が投影像と眼底画像のどちらか、あるいは両方から検出した血管位置を断層像上に逆投影したものである。層構造変更部255は、このマスク領域9内において、神経線維層境界2の検出結果を変更する。神経線維層境界2は血管が存在すると、神経線維層と血管が重なって検出される。そのため、この領域内においては、層構造強調フィルタのピークを初期値として眼底の深度方向に勾配特徴を探索して、神経線維層境界2を再検出する場合に、血管を誤検出しないように探索範囲を限定する。探索範囲の限定は、マスク領域9に隣接する神経線維層境界2の位置から補間処理をすることで求める。補間処理は、線形補間、スプライン補間やn次曲線による非線形補間などを用いればよい。ただし、補間により求めた位置よりも数画素程度、深度方向に余裕を持たせた領域で探索範囲を限定することが望ましい。探索範囲内で境界検出を行うことで、血管を誤検出することなく、神経線維層境界2を検出することができる。この領域内においては、探索範囲を限定するだけではなく、勾配検出の閾値や、勾配検出自体のアルゴリズムを変更するようにしてもよい。あるいは、層構造変更部255は、このマスク領域内において、内境界膜1以外の検出結果を変更するようにしてもよい。例えば、マスク領域内の点は除去をして、線形補間や非線形補間により層を補間する処理を行ってもよい。
S440において、定量化部256は、層構造検出部254が検出した層の境界に基づいて、層の厚み、層の面積、層の体積を求める。ここで層の厚みT1(神経線維層2')は、xz平面上の各座標点で、内境界膜1と神経線維層境界2のz座標の差を求めることで計算できる。また、各断面像における神経線維層2'の面積は、夫々のy座標毎にx軸方向の各座標点での層厚を加算することによって計算できる。また、神経線維層2'の体積は、求めた面積をy軸方向に加算することで計算できる。ここでは、神経線維層2'を例に説明したが、他の層や網膜層全体の厚み、面積、体積は同様にして求めることができる。
さらに、過去に定量化した層厚、面積、体積などがある場合には、過去の定量化データとの比較を行うことも可能である。この場合の過去の定量化データとの比較方法の一例を示す。まず、過去と現在の断層像の位置合わせを行う。断層像の位置合わせには、剛体アフィン変形や、非線形変形のFFD(Free form deformation)など公知の手法を用いることができる。過去に撮影された断層像と位置の対応がとれているならば、任意の断面での層厚、面積などの比較や、任意の領域の体積などを比較することができる。なお、過去画像と位置合わせをしてからデータを比較する例を示したが、断層像撮像装置20に追尾機能などが搭載されており、画像撮影時に前回と同じ位置を撮影できるのであれば、位置合わせを行う必要はない。さらには、位置合わせを行わずに、単純にB−scan像のスライス番号同士での比較や3Dで比較をしても良い。定量化部256では、上述の数値データの少なくとも一つを求めればよく、定量化するデータは任意に設定できるものとする。もしも、一つも求めることができなければ、次のS450において、定量化できない旨を表示部270で表示してもよい。
S450において、表示部270は、断層像と眼底画像と、断層像の層と層の境界を検出した結果と、断層像の層に関して定量化した結果を表示する。ここで、過去のデータがある場合には、過去データと比較をして表示するようにしても良い。S420からS440で求めた層や定量化した結果の全てを表示する必要はなく、結果は内部で保持しているようにしてもよい。次に、図4(b)を参照して、S309の異常時処理で実行される処理の手順を説明する。ここで、S415は、S410と同じであるため説明を省略する。ここでは、病変として白斑が検出された場合を図10(a)に示す。図10(a)は、白斑が存在する場合の断層像の特徴を説明するための図である。図10(a)において、1は内境界膜、2は神経線維層境界、6は網膜色素上皮層境界、8は白斑領域、8'は白斑下の領域を表している。図10(a)の左図は、断面像Tjを示し、右図は左図の白斑がある位置におけるA−scanに沿った画像のプロファイルを示している。つまり、左図はA−scanと示される線上の座標と輝度値の関係を示している。
S425において、層構造検出部254は、内境界膜1、網膜色素上皮層境界6を求める。層の検出方法については、S420と同様であるため、説明を省略する。なお、眼底疾患が存在する場合において、検出する層は、内境界膜1、網膜色素上皮層境界6に限定されるものではなく、ユーザの指示によって、任意の層を検出できるようにしてもよい。
S435において、層構造変更部255は、特徴抽出部257が検出した血管と白斑(病変部)の結果を用いて、層構造検出部254が検出した層の結果を変更する。図10(b)に、図10(a)における白斑と血管位置にマスクをした画像を示す。図10(b)において、9はマスク領域を示す。このマスクは、特徴抽出部257が断層像と眼底画像のどちらか、あるいは両方から検出した白斑と血管の位置を断層像上に逆投影したものである。層構造変更部255は、このマスク領域内において、網膜色素上皮層境界6の検出結果を変更する。例えば、病変領域内のマスク領域内の点を除去した後、残りの点群または曲線を用いて網膜色素上皮層境界6を補間する。それにより、白斑などの病気によって、網膜色素上皮層境界6の信号が欠落したとしても、白斑を誤検出することなく、網膜色素上皮層境界6を検出することができる。
ここでは、白斑と血管によるマスク領域を同一のものとして説明した。しかし、白斑、ドルーゼン、出血、血管など、夫々においてマスクにラベルを付与し、マスク領域が識別できるようにしておくことが望ましい。例えば、投影像と同じ画像サイズで、1画素あたり8ビットのマスク用のラベル領域を確保する。そして、夫々のビットには、病変部、眼底画像からの血管や断層像からの血管を事前に割り当てておく。それにより、同じ座標位置に病変部や血管が重なって検出されたとしても、複数のラベルを同じ座標位置に付与することができる。ビットサイズは、識別したい種類に応じて設定すればよい。
S445において、定量化部256は、特徴抽出部257が抽出した病変特徴を定量化する。例えば、図10(a)に示すように、網膜の中に白斑が存在する場合、検出した白斑の面積、白斑の体積、白斑の存在位置、白斑の数などを求める。白斑の面積は眼底画像、もしくは投影像から求め、白斑の体積は断層像から求める。さらに、過去に定量化した白斑の面積、白斑の体積、白斑の存在位置、白斑の数などがある場合には、過去の定量化データとの比較を行うようにしてもよい。定量化部256では、上述の数値データや層の厚み、面積、体積などの少なくとも一つを求めればよく、定量化するデータは任意に設定できるものとする。もしも、一つも求めることができなければ、次のS455において、定量化できない旨を表示部270で表示してもよい。
S455において、表示部270は、断層像と眼底画像と、断層像の層と層の境界を検出した結果と、病変部を検出した結果と、断層像の層に関して定量化した結果と、病変部を定量化した結果を表示する。ここで、過去のデータがある場合には、過去データと比較をして表示するようにしても良い。
以上で述べた構成によれば、眼底像より検出された病変や特徴から抽出すべき網膜層を特定することにより、入力された画像に適した層のセグメンテーションが自動で行え、網膜層のセグメンテーションを行う際の利用者の負荷が軽減される効果がある。また、網膜層の厚みを考慮して層を強調したり、眼底像あるいは投影像より検出された血管や病変等を考慮して網膜層のセグメンテーションを行うことにより、疾患に依存しない正確な層境界の抽出が可能となる。
(第2実施形態)
本実施形態は、第1実施形態の画像処理部200に、第一の判定部259の代わりに第二の判定部260を追加した場合の実施形態である。一般的に、加齢黄斑変性や浮腫などの疾患は眼底像や投影像からは判断が難しい。そこで、第二の判定部260を追加し、眼底画像や投影像から得られる画像特徴に加えて、網膜断層像の形状特徴も利用する。これにより、ユーザに提示する層の種類の選択をロバストに行うことが可能となる。
図11は、本実施形態の画像処理装置11の機能構成を示す図である。図中の画像処理部201以外は、第1実施形態と同じであるため、説明を省略する。画像処理部201には、図2の第一の判定部259の代わりに第二の判定部260が含まれる。第二の判定部260は特徴抽出部257が抽出した特徴量と、層構造検出部254で検出された層構造の検出結果に基づいて判定を行い、判定結果を層構造変更部255へ出力する。
次に、図12のフローチャートを参照して、本実施形態の画像処理装置11の処理手順を説明する。なお、S1201からS1206、S1214からS1216の処理は、夫々、第1実施形態におけるS301からS306、S310からS312と同様である。また、S1207、S1212、S1213は、第1実施形態におけるS410、S440、S450と同様なので、これら説明は省略する。
S1208において、層構造検出部254は、内境界膜1、神経線維層境界2、網膜色素上皮層境界6を求める。層の検出方法については、S420と同様であるため、説明を省略する。なお、S1204において、眼底画像から病変部が検出されている場合、断層像における病変部のマスク領域において、そのマスク領域内は、マスク領域近傍で層を検出した位置から、補間により層を求めておくのでもよい。次に、内網状層境界3は、外網状層境界4、視細胞内節外節接合部5を求める。ただし、これらの層は、病気の影響によって検出されないこともあるため、断層像における病変部のマスク領域においては、検出しないか、補間処理によって求めておくことが望ましい。
S1209において、特徴抽出部257は、断層像から画像特徴と網膜層の形状特徴を抽出する。まず、断層像の画像特徴について説明する。ここでは、S1208において検出された内境界膜1と網膜色素上皮層境界6の位置情報を用いる。すなわち、特徴抽出部257では、画像特徴を抽出するための範囲を内境界膜1と網膜色素上皮層境界6の間に制限する。網膜層の断層像は、層ごとに輝度値が異なり、正常眼の場合は、神経線維層2'と、視細胞内節外節接合部5と網膜色素上皮層境界6との間の視細胞層の輝度値が高い。白斑が網膜層内部に存在する場合は、白斑の位置で輝度値が高く、視細胞内節外節接合部5と網膜色素上皮層境界6との間の視細胞層の輝度値は低くなる。網膜層内部に出血が拡がっている場合は、視細胞内節外節接合部5と網膜色素上皮層境界6との間の視細胞層の輝度値は低くなる特徴がある。画像特徴は、ヒストグラムなどの1次統計量、濃度共起行列の二次統計量、フーリエ特徴などを抽出する。さらに、内境界膜1と網膜色素上皮層境界6との間で、A−scanに沿った輝度値のプロファイル特徴を抽出する。輝度値のプロファイルは、図8(a)と図10(a)の右図に示すものである。これらの画像特徴の他に、画像の勾配特徴やヘッセ行列による層構造強調画像の特徴量を用いてもよい。
次に、網膜層の形状特徴について説明する。内境界膜1は、網膜層内が出血していると、網膜の中に血が溜まることで上に凸の形状になる特徴がある。網膜色素上皮層6は、加齢黄斑変性になると、その下部から発生した新生血管によって層の形状が凹凸に変形するという特徴がある。そのため、層の形状特徴も病変を識別する特徴の一つとして利用することができる。形状特徴は、同一の層において隣接する検出点で曲率計算をすることで抽出できる。断層像からの画像特徴と形状特徴は、眼底画像と投影像から抽出したマスク領域内のみで抽出してもよいし、マスク領域内に限定せずに抽出してもよい。断層像の画像特徴のみしか用いない場合は、層の位置を利用せずに画像全体から画像特徴を計算してもよい。なお、網膜層の形状は、黄斑部と視神経乳頭において異なる。例えば、黄斑部中心付近よりも視神経乳頭中心付近の方が、内境界膜1は下に凸の形状となる特徴がある。そして、病気になると視神経乳頭陥凹の拡大が起こるため、内境界膜1の形状は拡大するという特徴がある。そのため、次のS1210では、部位の違いによる特徴の違いを考慮して学習をしておく。
S1210では、第二の判定部260が、眼底画像から求めた画像特徴と、断層像から求めた画像特徴と各層の形状特徴を用いて、病変の有無や病変の種類を判断し、ユーザに出力する層の種類を決定する。例えば、断層像から求めた画像特徴と層の形状特徴は、正常時と病変時の各特徴を、SupportVectorMachineや、AdaBoost等の識別器で学習しておくことで、病変の判定をすることができる。
S1211では、層構造変更部255は、第二の判定部260が、眼底画像と断層像から抽出した画像特徴量から、病変が存在しないと判定した場合、全層の層構造の結果を変更する。また、第二の判定部260が、病変が存在すると判定した場合、一部の層構造、即ち網膜色素上皮層境界6の結果を変更する。その際、層構造変更部255は、層構造検出部254が補間により求めた層の位置を初期値として、一定の範囲内で上下方向に勾配特徴を探索し、それぞれの層を検出する。
以上で述べた構成によれば、眼底画像や投影像から得られる画像特徴の他に、網膜層の断層像から得られる画像特徴、あるいは層の形状特徴を利用して、ユーザに提示する層の種類を選択する。眼部の表面像の特徴量に加え、網膜層内部の特徴量も利用するため、ユーザに提示する層の種類の選択をロバストに行うことができる。
(第3実施形態)
本実施形態は、第1実施形態の特徴抽出部257と第一の判定部259の処理内容を変更した場合の例である。第1実施形態とは、特徴抽出部257が抽出した特徴量に重みを設定する点、また、第一の判定部259が断層像内にマスク領域として逆投影する特徴量を、眼底画像と投影像から抽出した特徴量の中から選択する点が異なる。
本実施形態では、眼底画像と投影像から抽出した特徴量の全てを断層像検出時のマスク領域に使用するのではなく、断層像と眼底画像から得た特徴量の中から、確信度の高い特徴量を選択して断層像のマスク領域として設定する。すなわち、断層像上で信号の減弱が発生している可能性が高い領域のみにマスク領域を設定する。そのため、断層像上で信号の減弱が発生している可能性が低い領域は、補間によって層を近似するのではなく、直接層を検出するため、より精度良く層構造を検出することができる。
本実施形態では、図3のS304とS307における処理内容と、S306の領域特定処理がS307の判定結果に応じてそれぞれ実行される点とが、第1実施形態とは異なる。それ以外については同様のため説明は省略する。本実施形態では、特徴抽出部257が血管を検出する場合について説明する。なお、血管以外の病変部(白斑、ドルーゼン、出血など)も以下の処理と同様にして求めることができる。
本実施形態では、S304において、特徴抽出部257は、投影像と眼底画像から血管を検出する場合に、血管検出フィルタの出力結果を閾値処理して2値化するのではなく、閾値以上の出力値をそのまま保持する。あるいは、フィルタ出力値を閾値から最大値までの間で何分割かして多値化をしてもよい。あるいは、フィルタ出力値の閾値以下は0、最大値は1となるような重み関数をフィルタ出力値にかけてもよい。このようにして、本実施形態では特徴量を解剖学的特徴が存在する確信度を反映する値として抽出するので、特徴抽出部257が血管として検出した領域において、血管らしい領域の出力値は大きく、閾値付近の領域の出力値は小さくなる。なお、投影像と眼底画像の画素あたりのビット数が異なる時は、正規化処理をすることが望ましい。
S307において、第一の判定部259では、投影像と眼底画像からフィルタ出力値が大きい領域をそれぞれ選択することで、血管として確信度が高い領域を選択する。投影像と眼底画像からの領域の選択方法は、特徴量が所定値以上のものを選択することで行うことができる。それ以外にも、公知の識別器を用いて判定してもよいし、また、閾値以上の上位数%などで判定してもよい。
以上で述べた構成によれば、断層像上で信号の減弱が発生している可能性が低い領域は、補間によって層を近似するのではなく、層を直接検出するため、より精度良く層構造を検出することができる。
(第4実施形態)
本実施形態は、第1実施形態の画像処理部200に、層構造更新部261を追加した場合の実施形態である。層構造更新部261は、A−scanごとにそれぞれ独立に検出した層の位置を、3次元的に滑らかな層形状となるように、層の位置を更新する働きをする。本実施形態に係る画像処理装置は、第1実施形態の画像処理部200において、層構造変更部255と定量化部256との間に層構造更新部261を有する点で異なる。それ以外の構成については同様である。
また、本実施形態の画像処理部における正常処理時及び異常処理時の処理は、基本的には第1実施形態の図4(a)及び(b)と同様であるが、S430及びS435の層構造検出結果変更処理の後で、層構造検出結果更新処理が実行される点が異なる。以下、本実施形態の画像処理部における層構造検出結果更新処理について説明する。
層構造更新部261は、層構造検出部254が検出し、層構造変更部255が変更した網膜層の結果を更新する。Snakesやレベルセット法のような動的輪郭法を適用する場合、層構造検出部254の検出結果を初期値とし、エネルギー値を最小化するように繰り返し計算を行う。Snakesの場合、画像エネルギー、形状エネルギーを定義して、そのエネルギーの和を最小化するように計算を繰り返す。式10にSnakesのエネルギー式を示す。式10において、Eは全体のエネルギー値、Eshape_localは形状エネルギー値、Eimageは画像エネルギー値を表す。それにより、滑らかな層構造を維持しながら画像のエッジに収束する。このようにして得られたエネルギーに基づいて網膜層の変更結果を更新する。
例えば、画像エネルギーを、式11に示すように、各検出点における輝度勾配と、上下層内の輝度値の分散和で定義する。Eedgeは、各制御点における輝度勾配、Evariance_of_upper_layerは、上位層の輝度値の分散、Evariance_of_lower_layerは、下位層の輝度値の分散を表す。we、wvは重みである。このように、上下層の輝度値の分散を画像特徴として定義することで、血管や病変により層境界が減弱し、画像勾配が得られないような層境界においても、画像エネルギーは層境界に収束するように動作する。例えば、神経線維層境界2の場合、Evariance_of_upper_layerは、内境界膜1との間の層(神経線維層2')の輝度値の分散を最小にする。Evariance_of_lower_layerは、内網状層境界3との間の層(不図示の神経節細胞層+内網状層)の輝度値の分散を最小にする。本実施形態では、下層を内網状層境界3との間の層と定義したが、不図示の神経節細胞層を下層と定義してもよい。なお、式11で定義した画像エネルギーは、各層ごとに定義を変えてもよい。例えば、内境界膜1では、血管や病変の影響を受けないため、Eedgeのみを定義するのでもよい。
形状エネルギーは、一次微分、二次微分などの形状特徴を定義することで、各検出点間が滑らかになるように動作する。なお、形状エネルギーと画像エネルギーにそれぞれ与える重みは、マスク領域内外で変えてもよい。例えば、マスク領域内の信号の減弱が起こっている可能性が高い場合、信頼度の低い画像エネルギーの重みは小さく、形状エネルギーの重みを大きくする。形状エネルギーの重みを大きくすることにより、滑らかな層を検出することができる。
E = Eshape_local + Eimage ・・・(式10)
Eimage = weEedge + wν(Evariance_of_upper_layer+ Evariance_of_lower_layer ・・・(式11)
以上で述べた構成によれば、網膜の状態に応じた層境界を検出することができる。そして、血管や白斑等の病変により減弱した層を検出するとともに、層の形状構造を維持しながら層の境界を検出するように検出結果を更新する。そのため、3次元的に滑らかに網膜の層構造を検出することができる。
(第5実施形態)
本実施形態に係る画像処理装置は、眼底像が存在せず、断層像のみ存在する場合に対応するため、第2実施形態から眼底画像取得部222を削除した構成を有する。それ以外の構成については図11と同様であるため、ここでは説明を省略する。本実施形態の画像処理装置の処理手順も、第2実施形態の図12とほぼ同様であるが、S1205とS1206の処理がない点で異なる。また、入力画像は、断層像と、断層像から作成する投影像のみである点が異なる。
従ってS1202において、断層像取得部221は、断層像撮像装置20から送信される断層像を取得する。そして、取得した情報を記憶部240へと送信する。S1204において、特徴抽出部257は、投影像作成部251で作成した投影像から、血管、病変部を抽出する。これら血管、病変部の抽出方法は、S304の方法と同様である。ただし、抽出対象は投影像である。また、特徴抽出部257では、血管や病変部に限らず、黄斑部や視神経乳頭などを抽出してもよい。これらは、血管や病変抽出において誤検出を減らすための特徴量として用いてもよい。またS1209において、特徴抽出部257は、断層像から病変の特徴抽出を行う。ただし、網膜層内のマスク領域内のみで処理を行うのではなく、網膜層内全体で特徴抽出処理を行うことが望ましい。
以上で述べた構成によれば、断層像のみ存在する場合においても、ユーザの負担を増やすことなく、複数種の疾病を診断するための眼部の診断情報データを、眼部の断層像から取得することが可能となる。
(第6実施形態)
第1乃至第5実施形態においては、画像から得られる特徴量のみを用いて、計測する層の種類を選択していた。しかし、過去の検査結果がある場合、セグメンテーションを行いたい層は決まっていることが多い。したがって、この情報を利用することで、処理を簡素化、または高速化することができる。
本実施形態はこの点を考慮したものであり、第1乃至第5実施形態に係る第一の判定部259、または第二の判定部260において、検出する層の種類を判定する際に、被検眼情報取得部210で取得した情報を用いて判定を行うようにしたものである。被検眼情報取得部210は、当該被検眼に関する検査結果を取得し、検査結果の中に断層像撮像装置20に関する過去の検査結果がある場合、前回の撮影時に計測をした網膜層の情報を取得する。それにより、経過観察の場合、第一の判定部259、または第二の判定部260は、前回の撮影時に定量化に用いた網膜層と同一の層を選択する。あるいは、被検眼情報取得部210は、当該被検眼に関する検査結果を取得し、検査結果に症例名が記載されている場合、その情報を取得する。それにより、第一の判定部259、または第二の判定部260は、断層像撮像装置20以外の検査装置による検査結果から、計測対象とする層の種類を選択することができる。
以上で述べた構成によれば、被検眼情報を利用することで、処理を高速化するとともに、抽出すべき層をより正確に特定することができる。
(第7実施形態)
第1乃至第6実施形態においては、層構造強調処理を画像全体に対して適用していた。しかし、網膜層以外の画像領域に層構造強調処理を適用しても効果はなく、処理時間もかかってしまう。そのため、本実施形態では、層構造検出処理フロー全体の時間を短縮するために、層構造強調処理を行う前に、網膜層を検出して注目領域として設定し、層構造強調処理は、この注目領域内のみに適用する。本実施形態では、前記高速化処理のために、各実施形態において下記のように処理を変更する。ここでは、第1実施形態を例にとり、説明を行うが、同様の処理を第2〜第5実施形態に適用すれば、それぞれにおいて高速化を実現できる。
本実施形態に対応する高速化処理は、基本的には第1実施形態の図4(a)及び(b)と同様であるが、S410とS415の層構造強調処理の前に注目領域検出処理が実行される点が異なる。その他の処理は第1実施形態と同様である。以下、本実施形態の画像処理部における注目領域検出処理について説明する。
まず、層構造検出部254は、層構造を検出しやすい層を事前に検出しておき、その層を基準に網膜層の全体領域を注目領域として検出する。例えば、内境界膜1を検出し、検出した点群を多次元の曲面で近似する。そして、そこから深度方向に一定の距離までを注目領域として設定する。あるいは、網膜色素上皮層境界6も検出し、検出した点群を多次元の曲面で近似する。そして、近似で検出した内境界膜1と網膜色素上皮層境界6の内部を注目領域として設定する。あるいは、単純に閾値処理により網膜層領域を検出して、検出した領域にラベリング処理をする。そして、ラベリング領域の連結画素数の大きい上位2つを囲むように注目領域を設定する。これらの処理により、網膜層を注目領域として検出することができる。
そして、S410やS415の層構造強調処理は、以上で設定した注目領域内のみに適用する。S420やS425で層構造を検出する際も、探索領域は注目領域内のみとする。なお、注目領域検出処理で内境界膜1や網膜色素上皮層境界6などを事前に検出していたとしても、S420やS425の処理で、層構造を強調した画像特徴を用いて再度検出してもよい。
以上で述べた構成によれば、層構造強調部253は、注目領域内のみ層構造強調処理を行い、層構造検出部254は、注目領域内のみを探索領域とする。したがって、注目領域内のみで処理を行うことで、層構造検出処理フロー全体の時間を短縮することができる。
(その他の実施形態)
上述の各実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する。図13は、画像処理装置10の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。CPU1901は、RAM1902やROM1903に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置10の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。RAM1902は、外部記憶装置1904からロードされたコンピュータプログラムやデータを一時的に記憶するエリアを備えると共に、CPU1901が各種の処理を行うために必要とするワークエリアを備える。記憶部240の機能はRAM1902によって実現される。
ROM1903は、一般にコンピュータのBIOSや設定データなどが格納されている。外部記憶装置1904は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやCPU1901が実行するコンピュータプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてRAM1902にロードされる。モニタ1905は、液晶ディスプレイなどにより構成されている。例えば、表示部270が出力する内容を表示することができる。キーボード1906、マウス1907は入力デバイスであり、操作者はこれらを用いて、各種の指示を画像処理装置10に与えることができる。被検眼情報取得部210や指示取得部230の機能は、これらの入力デバイスを介して実現される。
インターフェイス1908は、画像処理装置10と外部の機器との間で各種データのやりとりを行うためのものであり、IEEE1394やUSB、イーサネット(登録商標)ポート等によって構成される。インターフェイス1908を介して取得したデータは、RAM1902に取り込まれる。画像取得部220や結果出力部280の機能は、インターフェイス1908を介して実現される。上述した各構成要素は、バス1909によって相互に接続される。
なお、本実施形態における画像処理装置10の各部の機能は、各部の機能を実現するコンピュータプログラムをCPU1901が実行し、コンピュータ全体を制御することで実現される。なお、上記夫々の本実施形態では、同フローチャートに従ったプログラムコードは、例えば外部記憶装置1904からRAM1902に既にロードされているものとする。本実施形態では、前記夫々の実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。