JP6198410B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は眼科診療に用いられる画像処理装置及び画像処理方法に関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した画像処理装置である走査型レーザー検眼鏡（ＳＬＯ；Scanning Laser Ophthalmoscope）は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。

上記問題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像の取得を可能にしている。

このような高横分解能なＳＬＯ画像は動画像として取得することができ、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、ＳＬＯ画像を用いて視機能との関連を評価するために視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測が行われている。図６（ｂ）に高横分解能なＳＬＯ画像の例を示す。視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。

上記ＳＬＯ画像において、視細胞Ｐを観察したり視細胞Ｐの分布を計測したりする場合にはフォーカス位置を網膜外層（図６（ａ）のＢ５）付近に設定して図６（ｂ）のようなＳＬＯ画像を撮影する。一方、網膜内層（図６（ａ）のＢ２からＢ４）には網膜血管や分岐した毛細血管が走行している。血管内に存在する血液の４５％が血球成分であり、そのうち約９６％を赤血球、約３％を白血球が占める。赤血球は直径約８μｍ、白血球のうち最も多く含まれる好中球の大きさは１２〜１５μｍである。

図６（ｃ）に示すように毛細血管内を白血球Ｗが移動する場合、後方を流れる小さな赤血球Ｒが前方の大きな白血球を追い抜くことができないために白血球の後方で停滞し凝集（以下、赤血球列と呼ぶ）する。このような赤血球列ＤＴｉの大きさは血管分岐の通過直後（図６（ｃ））が最も小さく、次の血管分岐に近づくに従って次第に大きくなっていく（図６（ｄ）及び（ｅ））。ただし、このような凝集は生理的に生じるものであり、前方に白血球が存在しなくなれば各赤血球は再び分離して個別に移動する。視細胞にフォーカス位置を設定して高横分解能なＳＬＯ画像を取得した場合には、赤血球列ＤＴｉは図６（ｆ）に示すように、高輝度な白血球領域Ｗの後方に低輝度領域（dark tail）として描出される。

一方、糖尿病のような疾患では図６（ｇ）に示すように白血球Ｗの有無に関わらず赤血球同士が病的に凝集し、赤血球列ＤＴｉを形成している。毛細血管において、赤血球列ＤＴｉは白血球Ｗの後方を含めて様々な位置に存在する。赤血球同士が恒常的に凝集しているため、白血球後方の赤血球列ＤＴｉの長さは血管分岐間を移動する間にほとんど変化しない。従って、高横分解能なＳＬＯ動画像から白血球後方の赤血球列ＤＴｉの大きさの変化を算出することで血液の流動性（血液がさらさらしている度合）を非侵襲に計測できる。

ただし、眼部の同一部位を撮像した複数のＳＬＯ画像から血液の流動性を計測する場合には、経時変化を把握するのが煩雑であるという問題があった。また、心臓の拍動のタイミングを考慮せずに計測値の統計値を算出しているために計測値の信頼性が低いという問題があった。そこで、
（ｉ） 眼部の血液の流動性に関する計測値の経時変化を簡便に定量化する
（ｉｉ）眼部の血液の流動性に関する計測値の信頼性を向上させる
技術が必要となる。

これまで、血液の流動性を非侵襲に計測する技術として、補償光学ＳＬＯ画像の毛細血管枝領域において時空間画像を生成し、該時空間画像上での赤血球列の長さの変化の程度を計測する技術が非特許文献１に開示されている。

宇治彰人 他："補償光学適用走査レーザー検眼鏡を用いた糖尿病網膜症におけるｄａｒｋ ｔａｉｌの観察"，第６６回日本臨床眼科学会抄録集，ｐ．２７（２０１２）

しかしながら、上記技術では、例えば、異なるタイミングで撮影した画像間の計測値の経時変化を簡便に計測・表示するために、過去に撮影した画像の計測位置に対応する計測位置を、簡便かつ精度良く求めることについて考慮されていない。また、上記技術では、例えば、心臓の拍動タイミングを考慮して該計測値をより正確に算出することについて、開示はない。

本発明は上記の課題に鑑みてなされたものであり、所定の部位を撮影した複数の動画像を用いて血液の流動性を簡便かつ精度良く計測することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
眼部の所定の部位を撮像した複数の動画像を取得する画像取得手段と、
前記複数の動画像の少なくとも一つの動画像を用いて血管領域を特定する特定手段と、
前記複数の動画像のそれぞれについて、前記特定された血管領域内の特定の血管枝において血球列の大きさを計測する計測手段と、を備える。

本発明によれば、所定の部位を撮影した複数の動画像を用いて血液の流動性を簡便かつ精度良く計測することができる。

実施形態に係る画像処理装置の機能構成例を示すブロック図。 実施形態に係る画像処理装置を含むシステムの構成例を示すブロック図。 実施形態に係るＳＬＯ像撮像装置の全体の構成について説明する図。 画像処理装置のハードウェア構成例を示すブロック図。 実施形態に係る画像処理装置が実行する処理のフローチャート。 実施形態で取得される画像及び血球動態を説明する図。 実施形態での画像処理内容を説明する図。 実施形態に係る計測位置決定処理の詳細を示すフローチャート。 実施形態に係る計測処理の詳細を示すフローチャート。 実施形態で計測された値に関する表示内容を説明する図。

以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし本発明は以下の実施形態に限定されるものではない。

本実施形態に係る画像処理装置は、血管枝内（分岐間）における血球列の大きさの変化を異なる日時に撮影されたＳＬＯ画像から各々計測し、異なる検査日時間の計測値の経時変化を表示するように構成したものである。

具体的には、画像処理装置は、撮影部位が同一で異なる検査日時に撮影された複数のＳＬＯ動画像同士の位置合わせを行う。次に基準画像（詳細は後述）に対して血管抽出を行って血管画像の貼り合わせ画像を生成する。貼り合わせ画像から傍中心窩領域内での血管形状に基づき計測対象の血管枝を特定する。同一撮影部位の異なる検査日時のＳＬＯ画像に対して特定された血管枝上で時空間画像を生成し、該生成された時空間画像上の脈波信号の位相が類似した時刻における血球列の軌跡の形状に基づいて血球列の大きさの変化を計測する。さらに、該計測値を検査日時順に並べて正常値範囲付きでグラフ表示する。

（全体構成）
図２は本実施形態に係る画像処理装置１０を含むシステムの構成図である。画像処理装置１０は、ＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、あるいは画像処理装置１０がＳＬＯ像撮像装置２０に直接接続されている構成であってもよい。

ＳＬＯ像撮像装置２０はＳＬＯ画像を撮像する装置であり、ＳＬＯ画像や撮影時に用いた固視標位置の情報を画像処理装置１０及びデータサーバ４０へ送信する。

なお、ＳＬＯ画像や固視標を異なる倍率、異なる撮影位置、異なる検査日時で取得する場合には各々Ｄｓｉｆ（ｆ＝１，２，．．．，ｎ）、Ｆｓｉｆのように表す。ここでｓは倍率、ｉは撮影位置番号、ｆは検査日時を示す変数であり、ｓ＝１，２，．．．，ｓｍａｘ、ｉ＝１，２，．．．，ｉｍａｘ、ｆ＝１，２，．．．，ｆｍａｘである。ｓが大きいほど撮影倍率は大きくなる（画角が狭くなる）。また、ｆが小さいほど検査日時が古いことを表す。

時相データ取得装置５０は、自律的に変化する生体信号データ（時相データ）を取得する装置であり、例えば脈波計もしくは心電計を具備する。時相データ取得装置５０は不図示の操作者による操作に応じ、ＳＬＯ画像Ｄｓｉｆの取得と同時に時相データを取得する。ここで時相データは一方の軸に取得時刻ｔ、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。得られた時相データは、画像処理装置１０、データサーバ４０へ送信される。

データサーバ４０は、被検眼のＳＬＯ画像Ｄｓｉｆ及び撮影時に用いた固視標位置Ｆｓｉｆ、時相データのような撮像条件データ、眼部の画像特徴、ＳＬＯ画像Ｄｓｉｆ間の位置合わせパラメータ値、血球列の大きさに関する計測値及び該計測値の正常値範囲データなどを保持する。眼部の画像特徴として、本実施形態では毛細血管Ｑ、血球Ｗ、網膜血管に関する画像特徴を扱う。ＳＬＯ画像Ｄｓｉｆや撮影時に用いた固視標位置ＦｓｉｆはＳＬＯ像撮像装置２０により出力される。時相データは時相データ取得装置５０により出力される。そして、眼部の画像特徴やＳＬＯ画像Ｄｓｉｆ間の位置合わせパラメータ値、血球列の大きさに関する計測値は、画像処理装置１０により出力される。また、データサーバ４０は、画像処理装置１０からの要求に応じて、ＳＬＯ画像Ｄｓｉｆ、固視標位置Ｆｓｉｆ、時相データ、眼部の画像特徴、位置合わせパラメータ値、計測値及び該計測値の正常値範囲データを画像処理装置１０に送信する。

次に、図１を用いて本実施形態に係る画像処理装置１０の機能構成を説明する。図１は画像処理装置１０の機能構成例を示すブロック図であり、画像処理装置１０は画像取得部１１０、時相データ取得部１２０、記憶部１３０、画像処理部１４０、指示取得部１５０を有する。また、画像処理部１４０は位置合わせ部１４１、特定部１４２、計測位置決定部１４３、計測部１４４、表示制御部１４５を備える。

図３を用いて補償光学ＳＬＯ２０（補償光学走査型レーザー検眼鏡（ＡＯ−ＳＬＯ））の構成を説明する。補償光学ＳＬＯ２０はＳＬＤ（Super Luminescent Diode）２０１、シャックハルトマン波面センサ２０６、補償光学系２０４、ビームスプリッタ（２０２、２０３）、Ｘ−Ｙ走査ミラー２０５、フォーカスレンズ２０９、絞り２１０、光センサ２１１、画像形成部２１２、出力部２１３を有する。

光源であるＳＬＤ２０１から照射された光は眼底で反射され、一部が第二のビームスプリッタ２０３経由でシャックハルトマン波面センサ２０６へ、それ以外は第一のビームスプリッタ２０２経由で光センサ２１１へ入力される。シャックハルトマン波面センサ２０６は眼の収差を測定するためのデバイスであり、レンズアレイ２０７とＣＣＤ２０８を有する。入射光がレンズアレイ２０７を透過するとＣＣＤ２０８に輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系２０４はシャックハルトマン波面センサ２０６で測定された波面収差に基づき、収差補正デバイス（可変形状ミラーもしくは空間光位相変調器）を駆動して収差を補正する。該収差補正された光はフォーカスレンズ２０９、絞り２１０を経由し光センサ２１１にて受光される。Ｘ−Ｙ走査ミラー２０５を動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレーム数／フレームレート）のデータを取得する。取得されたデータは画像形成部２１２へ伝送される。画像形成部２１２は、伝送されたデータについて、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って、画像データ（動画像もしくは静止画像）を形成する。出力部２１３は画像形成部２１２が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系２０４内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。

次に、図４を用いて画像処理装置１０のハードウェア構成について説明する。図４において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、図１に示した機能構成の各部として機能する。

画像処理装置１０を構成する各ブロックの機能については、図５のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。

＜ステップＳ５１０＞
眼部の所定の部位を撮像した複数の動画像を取得する画像取得手段の一例である画像取得部１１０は、データサーバ４０に対し過去のＳＬＯ画像Ｄｓｉｆ（ｆ＝１，２，．．．，ｎ−１）、固視標位置Ｆｓｉｆ、対応する時相データの転送を要求する。データサーバ４０は、該要求に対応するデータを画像処理装置１０に転送し、記憶部１３０に保存する。本実施形態では、ｎ＝６（すなわち過去のＳＬＯ画像としてＳＬＯ画像Ｄｓｉ１〜Ｄｓｉ５が取得される）とする。

次に、画像取得部１１０はＳＬＯ像撮像装置２０に対して最新の検査に対応するＳＬＯ画像Ｄｓｉｎおよび固視標位置Ｆｓｉｎの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Ｆ１１ｎを設定して低倍率なＳＬＯ画像Ｄ１１ｎを取得し、中心窩及び傍中心窩領域に固視標位置Ｆ２ｉｎを設定して高倍率なＳＬＯ画像Ｄ２ｉｎを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。ＳＬＯ像撮像装置２０は該取得要求に応じてＳＬＯ画像Ｄ１１ｎ、Ｄ２ｉｎ、固視標位置Ｆ１１ｎ、Ｆ２ｉｎを取得して送信する。画像取得部１１０は、ＳＬＯ像撮像装置２０から送信されたそれらの情報を、ＬＡＮ３０を介して受信し、記憶部１３０に格納する。なお、本実施形態ではＳＬＯ画像Ｄ１１ｆ、Ｄ２ｉｆ、Ｄ１１ｎ、Ｄ２ｉｎはフレーム間位置合わせ済みの動画像とする。

また、時相データ取得部１２０は時相データ取得装置５０に対しＤｓｉｎに対応する生体信号に関する時相データの取得を要求する。ここで、時相データ取得装置５０としては脈波計を用い、被験者の耳垂（耳たぶ）から脈波データを取得する。時相データ取得装置５０は取得要求に応じて対応する時相データを取得し送信するので、時相データ取得部１２０は時相データ取得装置５０からＬＡＮ３０を介して当該時相データを受信し、記憶部１３０に格納する。ここで時相データ取得装置５０が取得する時相データのある位相に合わせて画像取得部１１０がＳＬＯ画像Ｄｓｉｎを取得開始する場合と、ＳＬＯ画像Ｄｓｉｎの取得要求後直ちに時相データとＳＬＯ画像Ｄｓｉｎの取得を同時に開始する場合が考えられる。本実施形態ではＳＬＯ画像Ｄｓｉｎの取得要求後直ちに時相データとＳＬＯ画像Ｄｓｉｎの取得を開始するものとする。

＜ステップＳ５２０＞
位置合わせ部１４１は、各検査日時のＳＬＯ画像Ｄ１１ｆ（ｆ＝１，２，．．．，ｎ）と対応する高倍率ＳＬＯ画像Ｄ２ｉｆとの位置合わせを行い、ＳＬＯ画像Ｄ１１ｆ上のＳＬＯ画像Ｄ２ｉｆの相対位置を求める。ここで、同一検査日時のＳＬＯ画像Ｄ２ｉｆ間で重なり領域がある場合には、まず該重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置にＳＬＯ画像Ｄ２ｉｆ同士の位置を合わせる。なお、Ｓ５１０において３種類以上の異なる倍率のＳＬＯ画像が取得されている場合には、より低倍率なＳＬＯ画像から順に位置合わせを行う。また、位置合わせ部１４１は記憶部１３０からＳＬＯ画像Ｄ２ｉｆの撮影時に用いた固視標位置Ｆ２ｉｆを取得し、ＳＬＯ画像Ｄ１１ｆとＳＬＯ画像Ｄ２ｉｆとの位置合わせにおける位置合わせパラメータの探索初期点とする。画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて位置合わせを行う。この位置合わせ処理により得られたＳＬＯ画像Ｄ１１ｆ上のＳＬＯ画像Ｄ２ｉｆの相対位置の情報を用いて、ＳＬＯ画像Ｄ２ｉｆの貼り合わせ画像が生成される。

次に、基準画像Ｄ１１ｒと基準画像以外のＳＬＯ画像Ｄ１１ｆとの位置合わせを行う。ここで、基準となる検査画像（ＳＬＯ画像Ｄ１１ｒ及びＳＬＯ画像Ｄ２ｉｒ）はＳ５１０で取得された任意の検査日時のＳＬＯ画像の中から選ぶことができるが、本実施形態ではＳＬＯ画像Ｄ１１１及びＳＬＯ画像Ｄ２ｉ１、すなわち最も検査日時の古いＳＬＯ画像を基準画像とする。

さらに、基準画像Ｄ２ｉｒに対する基準画像Ｄ１１ｒの相対位置と、基準画像Ｄ１１ｒに対するＳＬＯ画像Ｄ１１ｆの相対位置と、ＳＬＯ画像Ｄ１１ｆに対するＳＬＯ画像Ｄ２ｉｆの相対位置を用いて、基準画像Ｄ２ｉｒに対するＳＬＯ画像Ｄ２ｉｆの相対位置を求める。なお、ＳＬＯ画像Ｄ２ｉｒとＳＬＯ画像Ｄ２ｉｆとの位置合わせを直接行ってもよい。ここで、位置合わせ部１４１は記憶部１３０から各ＳＬＯ画像の固視標位置を取得し、ＳＬＯ画像Ｄ２ｉｆとＳＬＯ画像Ｄ１１ｆ、ＳＬＯ画像Ｄ１１ｆと基準画像Ｄ１１ｒ、Ｄ１１ｒとＤ２ｉｒとの位置合わせにおける探索初期点とする。位置合わせ手法としては任意の公知の手法を用いることができ、本実施形態ではまず概略の位置合わせとして、Ａｆｆｉｎｅ変換を用いて位置合わせを行う。次に、詳細な位置合わせとして非剛体位置合わせ手法の一つであるＦＦＤ（Free Form Deformation）法を行いて位置合わせを行う。いずれの位置合わせにおいても、画像間類似度としては相関係数が用いられる。もちろんこれに限らず、任意の公知の画像間類似度を用いてよい。以上より、基準画像（Ｄ１１ｒ及びＤ２ｉｒ）の画素と、基準画像以外のＳＬＯ画像（Ｄ１１ｆ及びＤ２ｉｆ）との画素が対応づけられる。なお、本発明は画素値の類似度に基づく位置合わせに限定されるものではなく、たとえば、特定部１４２が血管領域を特定した上で、該特定された血管領域を用いて特徴ベースの位置合わせを行ってよい。

＜ステップＳ５３０＞
複数の動画像の少なくとも一つから血管領域を特定する特定手段の一例である特定部１４２は、基準画像Ｄ２ｉｒから、網膜における血管領域の特定を行う。本実施形態では、基準画像Ｄ２ｉｒから血管領域を以下の手順で血球成分の移動範囲として特定する。
（ａ） フレーム間位置合わせ済中間倍率画像Ｄ２ｉｒの隣接フレーム間で差分処理を行う（差分動画像を生成する）。
（ｂ） （ａ）で生成した差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（分散）を算出する。
（ｃ） 前記差分動画像の各ｘ−ｙ位置において輝度分散が閾値Ｔｖ以上の領域を血球が移動した領域、すなわち血管領域として特定する。

なお血管検出処理は上記の方法に限定されるものではなく、任意の公知の方法を用いて良い。例えば、上記（ａ）において、差分ではなく隣接フレーム間の輝度値の除算処理を行ってもよい（除算動画像を生成する）。あるいは、ＳＬＯ画像Ｄ１１ｒもしくはＳＬＯ画像Ｄ２ｉｒの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。

なお、以下ではＳＬＯ画像Ｄ２ｉｒから血管領域を特定して得られる画像を血管画像Ｖ２ｉｒと表記する。また、Ｓ５２０で得られた位置あわせパラメータ値を用いて血管画像Ｖ２ｉｒを貼り合わせることにより貼り合わせ画像が生成される。

＜ステップＳ５４０＞
計測位置決定部１４３は、基準画像Ｄ２ｉｒ上で、血球列の大きさの変化を計測する対象となる血管枝を自動決定する。基準画像以外のＳＬＯ画像Ｄ２ｉｆにおける計測位置（血管枝）は、基準画像Ｄ２ｉｒと他のＳＬＯ画像Ｄ２ｉｆとの位置関係により決定することができる。たとえば、基準画像Ｄ２ｉｒ上の計測対象の血管枝の座標と、Ｓ５２０で求めた基準画像Ｄ２ｉｒとＳＬＯ画像Ｄ２ｉｆとの相対位置を用いて、ＳＬＯ画像Ｄ２ｉｆにおける計測対象の血管枝が決定される。

本ステップにおける基準画像Ｄ２ｉｒに対する計測位置決定処理については、図８に示すフローチャートを用いて後に詳しく説明する。

＜ステップＳ５５０＞
計測手段の一例である計測部１４４は、各ＳＬＯ画像Ｄ２ｉｆ（ｆ＝１，２，．．．，ｎ）上の（Ｓ５４０で決定された）血管枝において、血球列の大きさの変化量を計測する。また計測部１４４は、基準画像Ｄ２ｉｒにおける計測値をベースラインとして、各ＳＬＯ画像における計測値とベースラインの差分（Difference）を算出する。このような指標は、正常値範囲の部位によるばらつきや個人差によるばらつきの影響を受けにくいためより鋭敏に計測値の経時変化を把握できる。

本ステップにおける血球列の大きさの変化量の計測処理については、図９に示すフローチャートを用いて後に詳しく説明する。

＜ステップＳ５６０＞
表示制御部１４５は、Ｓ５５０において得られた各ＳＬＯ画像Ｄ２ｉｆに対する血球列の大きさの変化に関する計測値、及び該計測値に基づいて生成された図をモニタ３０５上に表示する。

本実施形態では、表示制御部１４５がユーザから指定された血管枝に関して、図１０（ｂ）に示すような血球列の大きさの変化量の経時変化を示すグラフを表示する。図１０（ｂ）のグラフでは、横軸に検査日時（Ｔ）、縦軸に血球列の長さの変化量（Ｅ）が設定され、計測された変化量（Ｍｖ）が、正常値範囲Ｒｎ、正常値との境界領域Ｒｂ、異常値範囲Ｒａとともにプロットされる。なお、横軸の値は被験者の年齢に換算して表記してもよい。これにより、血球列の長さの変化量が正常値範囲と比較して問題ないかどうかを直ちに確認することができる。なお血球列の大きさの変化に関する計測値としては、後にＳ９３０で説明する式（１）に対応する計測値を表示する。なお、プロットされる計測値（Ｍｖ）として、ユーザから指定された単一の血管枝ではなく、例えば計測対象の複数の血管枝に対する計測値の平均値が用いられてもよい。

また本実施形態では、表示制御部１４５は、図１０（ｃ）に示すように、各検査日時におけるＳＬＯ画像Ｄ２ｉｆ（ｆ＝１，２，．．．，ｎ）の計測対象血管枝での血球列の大きさの変化に関する計測値を色付けしたマップを検査日時順に並べて表示する。これにより、血球列の大きさの変化量の分布に関する経時変化を一覧して把握することができる。なお、図１０（ｃ）において上段が血球列の大きさの変化に関する計測値マップを検査日時順に並べたものであり、下段がベースラインの計測値に対する差分（difference）マップである。図１０（ｃ）上段の計測値マップの上には検査日時を表示し、基準となる検査日時には印（図１０（ｃ）の例では“＊”）をつけてどの計測値マップがベースラインであるか把握しやすいようにしておく。

また、計測値の分布を表示する方法としてはカラー表示に限定されるものではなく例えば濃度値として表示してもよいし、計測値を併記してもよい。さらに、計測値は計測対象の各血管枝における血球列の大きさの変化に関する値（例えば、後述の伸長率）に限定されるものではなく、例えば血球列の大きさの変化量に関する正常値範囲の値に基づいて算出された正常値との偏差（Deviation）をマップ表示し、検査日時順に並べて表示してもよい。なお、本発明での表示制御はこれに限定されるものではなく、血球列の大きさの計測値に基づく表示であれば任意の表示を行ってよい。

＜ステップＳ５７０＞
指示取得部１５０は、ＳＬＯ画像Ｄ１１ｆ、Ｄ２ｉｆ、固視標位置Ｆ１１ｆ、Ｆ２ｉｆ、脈波の解析データ、位置合わせパラメータ値、血管画像Ｖ２ｉｆ、計測対象位置、血球列の大きさに関する計測値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ５８０へ、保存が指示されなかった場合はＳ５９０へと処理を進める。

＜ステップＳ５８０＞
画像処理部１４０は、検査日時、披検眼を同定する情報、ＳＬＯ画像Ｄ１１ｆ、Ｄ２ｉｆと固視標位置Ｆ１１ｆ、Ｆ２ｉｆ、脈波の解析データ、位置合わせパラメータ値、血管画像Ｖ２ｉｆ、計測対象位置、血球列の大きさに関する計測値を関連付けてデータサーバ４０へ送信する。

＜ステップＳ５９０＞
指示取得部１５０は画像処理装置１０によるＳＬＯ画像Ｄ２ｉｆに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはＳ５１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

次に図８に示すフローチャートを参照しながら、Ｓ５４０で実行される、血管領域内の計測対象の血管枝を決定するための計測位置決定処理の詳細について説明する。

＜ステップＳ８１０＞
計測位置決定部１４３はＳ５３０で得られた血管領域に基づいて関心領域（ＲＯＩ；Region Of Interest）を決定する。本実施形態では、傍中心窩に関するＲＯＩを設定する。具体的には、Ｓ５３０で得られた血管領域から無血管領域の境界を検出する。

網膜の中心窩付近には網膜血管の存在しない領域（無血管領域）が存在する（図７（ｂ）中心部の黒色閉領域）。無血管領域境界の形状は個人差が大きく、網膜血管の初期病変は無血管領域境界周囲に生じやすい。特に無血管領域境界に属する毛細血管は最も早期に血管病変が生じる場所であり、中心窩の位置を決定する際にも該無血管領域の境界が用いられる場合がある。従って無血管領域境界は観察及び解析の対象として重要である。

本実施形態では、図７（ｂ）で最も中心に位置する血管画像Ｖ２ｃｒ（図７（ｂ）ではＶ２ｃと表記）において血管画像Ｖ２ｃｒの内接円に相当する可変形状モデル（同図点線部）を血管画像Ｖ２ｉｒの貼り合わせ画像上に配置する。この可変形状モデルの変形が完了した位置（図７（ｃ）の点線部）を無血管領域境界とする。さらに無血管領域境界に対してユークリッド距離変換を行うことで得られる距離画像（境界からの距離値を画素値に持つ画像）を用いて無血管領域境界から外側に閾値Ｔｏの距離にある位置を決定する。閾値Ｔｏとしては任意の値が設定できるが、一般的に健常者で１５０［μｍ］程度に設定されることが多いため、本実施形態でもこの値を用いる。図７（ｃ）に示すように、特定された内側境界及び外側境界の２つを用いて環状（ドーナツ型）の関心領域が決定される。

なお、関心領域である環状領域の太さを閾値Ｔｏで固定したが、これに限定されるものではない。例えば、糖尿病網膜症のような傍中心窩の網膜毛細血管に病変が生じる疾患では、疾患が進行するに従って毛細血管が閉塞し、無血管領域が大きくなる。また、無血管領域が大きくなると、無血管領域周辺のより広範囲に血管病変が生じている可能性がある。そこで、閾値Ｔｏに対して無血管領域の面積に比例する値を乗じた値を無血管領域境界からの距離として設定し、環状の関心領域を決定してもよい。

＜ステップＳ８２０＞
計測位置決定部１４３は、Ｓ８１０で設定された関心領域内の血管領域から分岐位置を検出する。

本実施形態では、図６（ｃ）〜（ｅ）に示すような分岐間での血球列の大きさの変化を計測するため、血管分岐の位置を特定する必要がある。しかし実際には分岐に似ているものの血管同士が交差しているだけの場合もあることから、交差と区別した上で正しく分岐部を特定する必要がある。

具体的には、まず関心領域内の血管領域に対して細線化処理を行い、得られた２値画像の白画素（画素値が非０の画素）の連結性に基づいて分岐を判定する。本実施形態では、判定対象の白画素に隣接する画素のうち、３画素が白画素であれば分岐、４画素が白画素であれば交差と判定することによって図７（ｃ）の丸印で示すような分岐位置を特定する。

＜ステップＳ８３０＞
計測位置決定部１４３は各血管画像Ｖ２ｉｒに対して、関心領域内にある血管のうち、Ｓ８２０で決定した分岐位置を両端に持つ領域を血管枝候補とする。次に、該血管枝候補のうち
ｉ） 血管枝候補の長さが閾値Ｔｌ以上
ｉｉ）血管枝候補の径（太さ）が閾値Ｔｍｉｎ以上閾値Ｔｍａｘ未満
の条件を満たす血管枝候補を計測対象の血管枝として決定する。

ここで、ｉ）は、血球列の大きさが変化するには、血管枝の長さとして一定の距離が必要であることに対応している。例えば、血球列の長さの変化をみる場合には、血球列の最終的な長さを考慮して、血管枝の長さは、１００μｍ以上であることが好ましい。また、ｉｉ）は白血球が通過できる毛細血管径の小ささには限界があり、また血管径が白血球の大きさよりも大きすぎると、赤血球が入射光をブロックして白血球の位置が特定できなくなるという制約に基づいている。例えば、赤血球の直径が約８μｍであり、白血球のうち最も多く含まれる好中球の大きさが１２〜１５μｍであることから、血管枝の血管径は約１０μｍ〜約２０μｍであることが好ましい。

なお、計測対象の血管枝の決定法はこれに限らない。たとえば、血管枝候補の同一動画像内の経時的な輝度値の差もしくはばらつきの少なくとも一つに基づいて計測対象の血管枝を絞り込むようにしてもよい。例えば、Ｓ５３０で算出した全フレームを通じた同一箇所における、
ａ）輝度値の分散値
もしくは
ｂ）最大輝度値と最小輝度値との差分
が各々閾値Ｔｖ、閾値Ｔｓ以上となるという条件を計測対象血管枝を決定するための追加の条件にしてもよい。これは多数の血管枝候補の中から白血球や血球列が通過する毛細血管枝を絞込むために設定する条件である。白血球の通過時に最大輝度、血球列の通過時に最小輝度であるため、白血球や血球列が通過する毛細血管では上記ａ）またはｂ）の値が大きくなることに対応している。

次に図９に示すフローチャートを参照しながら、Ｓ５５０で実行される計測処理の詳細について説明する。

＜ステップＳ９１０＞
計測部１４４は、計測対象として決定された血管枝において、図７（ｅ）や図７（ｆ）に示されるような時空間画像を生成する。この時空間画像は横軸に血管枝上の位置（Ｐｔ）、縦軸に走査時刻（Ｔ）を持ち、決定された血管枝の位置に沿って（フレーム間位置合わせ済の）ＳＬＯ動画像の曲断面画像を生成することに相当する（図７（ｄ））。なお、時空間画像の横軸は原点に近い方が上流側となるように設定する。

時空間画像には白血球の移動を示す高輝度な線状成分と、そのすぐ後方に存在する赤血球列の移動を示す低輝度な線状線分とが含まれる。

＜ステップＳ９２０＞
計測部１４４は、Ｓ９１０で生成された時空間画像から、計測対象の赤血球列を検出する。本実施形態では白血球の後方にある赤血球列を計測対象としているので、まず、図７（ｅ）や図７（ｆ）に示されるように、時空間画像から高輝度な白血球の移動軌跡を検出した上で、該高輝度軌跡の真下に存在する低輝度領域を検出して赤血球列を特定する。

具体的には、任意の公知な線強調フィルタを用いて線強調した上で、閾値Ｔｔ１で二値化することにより高輝度な白血球の軌跡を検出する。さらに、検出された高輝度な軌跡に接する低輝度領域を閾値Ｔｔ２で二値化することにより低輝度な血球列の軌跡を検出する。但し、血球列の検出法は上記の方法に限定されるものではなく、任意の公知な画像処理手法を用いてよい。

次に、血球列形状の計測結果が心拍動による影響を受けるのを避けるために、検出された血球列軌跡のうち、複数の動画像（ＳＬＯ画像）に共通の位相の範囲、すなわち、時相データの特定の位相区間に対応する血球列軌跡のみを計測対象として選択する。ここで、計測部１４４はあらかじめ記憶部１３０より各ＳＬＯ動画像Ｄ２ｉｆに対応する時相データを取得し、各々の時相データの極値を検出しておくものとする。本実施形態では、血球列が上流側分岐Ｂｕから下流側分岐Ｂｄまで移動した軌跡が、時相データ信号値Ｐｗが単調減少する特定位相区間内に存在する場合に計測対象とする。例えば図７（ｅ）や図７（ｆ）のような時空間画像では、各々上から２本目と３本目の血球列軌跡が計測対象となる。

＜ステップＳ９３０＞
計測部１４４は、Ｓ９２０で検出・選択された血球列の移動軌跡の大きさの変化量を計測する。本実施形態では、赤血球列の大きさとして赤血球列の血管中心軸方向の長さ（時空間画像上では横方向の長さ）を計測し（図７（ｅ）、（ｆ）の矢印の長さ）、
（下流側の分岐近傍での赤血球列の大きさ−上流側の分岐近傍での赤血球列の大きさ）／（血管枝の長さ）・・・（１）
を赤血球列の伸長率として算出する。さらに、複数の計測値の統計値に基づいて計測値（本例では伸長率）の信頼度を算出する。本実施形態では、そのような信頼度の算出の一例として、同一時空間画像上で計測された各血球列軌跡の伸長率の平均値と分散値を求め、該平均値を当該血管枝における赤血球列の伸長率、算出された分散値の逆数を当該血管枝における伸長率の信頼度とする。例えば図７（ｅ）や図７（ｆ）のような時空間画像では、各々上から２本目と３本目の血球列における伸長率を計測し、計測された伸長率の平均値と分散値を求めて該分散値の逆数を信頼度とする。時相データの特定位相区間で計測された伸長率を用いて計測値を算出しているので、拍動の影響を受けにくい、より正確な計測値を算出することができる。ただし、該分散値が閾値Ｔｃ未満である場合にはあらかじめ設定された信頼度に関する最大値を割り当てるものとする。

なお、上記の赤血球列の大きさは次のような方法で計測してもよい。すなわち、時空間画像上での赤血球列の移動軌跡の傾き（角度）をハフ変換を用いて算出し、その角度に基づいて赤血球列の移動速度を算出する。次に、赤血球列の長さを、
（血球列の移動速度）×（血管枝上のある位置において血球列が通過するのにかかった時間）・・・（２）
として計測する。すなわち、血管枝上のある位置で赤血球列の移動を定点観測する場合に、赤血球列が（移動軌跡の傾きから算出した）移動速度を保ったまま観測地点を通過すると仮定して、式（２）を算出することにより赤血球列の長さが計測できる。この方法は、時空間画像上では、赤血球列に関する移動軌跡の縦方向の長さを計測することに相当する。

また、血球列の大きさの変化に関する計測値は、時空間画像上での血球列の縦方向もしくは横方向の伸長率を上流側の分岐近傍と下流側の分岐近傍との間で算出／比較することに限定されるものではない。例えば、血球列の上流側の分岐近傍での長さとの差を血管枝上の各点で求めて積分した値を計測してもよい。そのような積分値を算出することで、より血球列の長さの細かな変化を反映した計測ができる。あるいは、時空間画像を生成せずに血球列の大きさをＳＬＯ動画像Ｄ２ｉｆのフレーム上で直接計測した値に基づいて算出してもよい。あるいは、血球列の大きさの伸長率に関する正常値範囲の値に基づいて正常値との偏差（Deviation）を算出してもよい。

以上述べた構成によれば、画像処理装置１０は血球列の大きさの計測に適した血管枝を自動決定した上で、脈波信号の位相が類似した時刻における該血管枝内（分岐間）の血球列形状に関する変化量（本例では伸長率）を計測する。さらに、画像処理装置１０は、血管分岐間の血球列形状に関する変化量を、異なる日時に撮影されたＳＬＯ画像から各々計測した上で、異なる検査日時間の該計測値の経時変化を表示する。

これにより、簡便に計測対象の血管枝を特定した上で、血液の流動性に関する異なる検査日時間の経時変化を精度良く計測・表示できる。

［その他の実施形態］
上述の実施形態では本発明を画像処理装置として実現したが、本発明の実施形態は画像処理装置のみに限定されない。例えばコンピュータのＣＰＵにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

Claims (21)

1. 眼部の所定の部位を撮像した複数の動画像を取得する画像取得手段と、
   前記複数の動画像の少なくとも一つの動画像を用いて血管領域を特定する特定手段と、
   前記複数の動画像のそれぞれについて、前記特定された血管領域内の特定の血管枝において血球列の大きさを計測する計測手段と、を備えることを特徴とする画像処理装置。
2. 前記計測手段は、前記複数の動画像のそれぞれにおいて、前記血球列の大きさに基づく計測値の経時変化を計測することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の動画像のそれぞれについて計測された前記経時変化を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記計測手段は、前記複数の動画像のそれぞれについて、心拍もしくは脈波データの共通の位相の範囲において計測された前記血球列の大きさに基づく複数の計測値を計測することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の計測値の統計値に基づき計測値の信頼度を算出する算出手段を更に有することを特徴とする請求項４に記載の画像処理装置。
6. 前記特定された血管領域における血管分岐を用いて、血管枝を決定する決定手段を更に備え、
   前記計測手段は、前記決定された血管枝において前記血球列の大きさを計測することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 眼部の部位を撮像した動画像を取得する画像取得手段と、
   前記動画像を用いて血管領域を特定する特定手段と、
   前記特定された血管領域における血管分岐を用いて、血管枝を決定する決定手段と、
   前記動画像を用いて、前記決定された血管枝における血球列の大きさを計測する計測手段と、を備えることを特徴とする画像処理装置。
8. 前記決定手段は、血管領域において検出した血管分岐を両端とする領域を血管枝候補とし、前記血管枝候補から血管の長さおよび径に基づいて、前記血管枝を決定することを特徴とすることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記決定手段は、さらに、前記血管枝候補の動画像内の経時的な輝度値の差もしくはばらつき、の少なくとも一つに基づいて、前記血管枝を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、一つの動画像について前記特定された血管領域から前記血管枝を決定し、他の動画像における血管枝を、前記一つの動画像と前記他の動画像の位置関係に基づいて決定することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 前記特定手段は、前記動画像の隣接フレーム間で差分処理して得た差分動画像に基づいて、血球が移動した領域を前記血管領域として特定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記特定手段は、前記差分動画像の平面方向の輝度分散が閾値以上の領域を前記血球が移動した領域として特定することを特徴とする請求項１１に記載の画像処理装置。
13. 補償光学ＳＬＯ像撮像装置と通信可能な通信手段をさらに備え、
    前記画像取得手段は、前記通信手段を介して前記補償光学ＳＬＯ像撮像装置から眼部に関する画像を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 眼部の所定の部位を撮像した複数の動画像を取得する画像取得工程と、
    前記複数の動画像の少なくとも一つの動画像を用いて血管領域を特定する特定工程と、
    前記複数の動画像のそれぞれについて、前記特定された血管領域内の特定の血管枝において血球列の大きさを計測する計測工程と、を有することを特徴とする画像処理方法。
15. 前記計測工程では、前記複数の動画像のそれぞれにおいて、前記血球列の大きさに基づく計測値の経時変化を計測することを特徴とする請求項１４に記載の画像処理方法。
16. 前記複数の動画像のそれぞれについて計測された前記経時変化を表示手段に表示させる表示制御工程を更に有することを特徴とする請求項１５に記載の画像処理方法。
17. 前記計測工程では、前記複数の動画像のそれぞれについて、心拍もしくは脈波データの共通の位相の範囲において計測された前記血球列の大きさに基づく複数の計測値を計測することを特徴とする請求項１４乃至１６のいずれか１項に記載の画像処理方法。
18. 前記複数の計測値の統計値に基づき計測値の信頼度を算出する算出工程を更に有することを特徴とする請求項１７に記載の画像処理方法。
19. 前記特定された血管領域における血管分岐を用いて、血管枝を決定する決定工程を更に有し、
    前記計測工程では、前記決定された血管枝において前記血球列の大きさを計測することを特徴とする請求項１４乃至１８のいずれか１項に記載の画像処理方法。
20. 眼部の部位を撮像した動画像を取得する画像取得工程と、
    前記動画像を用いて血管領域を特定する特定工程と、
    前記特定された血管領域における血管分岐を用いて、血管枝を決定する決定工程と、
    前記動画像を用いて、前記決定された血管枝における血球列の大きさを計測する計測工程と、を有することを特徴とする画像処理方法。
21. コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。