JP7467875B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

眼底画像から血管の交差・分岐部位を抽出する方法が開示されている（下記特許文献１を参照。）。眼底画像から渦静脈の位置を検出することが求められている。

特開２０１１‐０５６０６８号公報

第１開示技術の画像処理装置は、眼底画像データから生成された脈絡膜血管データを取得する取得部と、前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定部と、前記渦静脈位置を出力する出力部と、を備える。

第２開示技術の画像処理方法は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する画像処理装置が実行する画像処理方法であって、前記プロセッサは、眼底画像データから生成された脈絡膜血管データを取得する取得処理と、前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定処理と、前記決定処理による決定結果を出直する出力処理と、を実行する。

第３開示技術の画像処理プログラムは、プロセッサに、眼底画像データから生成された脈絡膜血管データを取得する取得処理と、前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定処理と、前記決定処理による決定結果を出力する出力処理と、を実行させる。

図１は、眼科システムのシステム構成例を示す説明図である。 図２は、眼底画像データを二値化処理した二値化画像データの一例を示す説明図である。 図３は、コンピュータ（画像処理装置および端末）のハードウェア構成例を示すブロック図である。 図４は、画像処理装置の機能的構成例を示すブロック図である。 図５は、画像処理装置による渦静脈の検出処理手順例を示すフローチャートである。 図６は、出力デバイスでの出力画面例を示す説明図である。 図７は、実施例１にかかる二値化画像データＣの一部の探索領域Ａの拡大図である。 図８は、探索領域Ａ内において着目領域Ｐを除外領域Ｂでラスタスキャンしたスキャン結果を示す説明図である。 図９は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例１を示すフローチャートである。 図１０は、実施例２にかかる二値化画像データＣの一部の探索領域Ａの拡大図である。 図１１は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例２を示すフローチャートである。 図１２は、実施例３にかかる二値化画像データＣの一部の探索領域Ａの拡大図である。 図１３は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例３を示すフローチャートである。

＜眼科システムのシステム構成例＞
図１は、眼科システムのシステム構成例を示す説明図である。眼科システム１００は、眼科装置１０１と、画像処理装置１０２と、端末１０３と、を有する。眼科装置１０１、画像処理装置１０２、および端末１０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１０４を介して通信可能に接続される。

眼科装置１０１は、患者の被検眼１０５を撮像して眼底画像データ１１０を生成する。眼科装置１０１は、たとえば、被検眼１０５にレーザ光を走査し眼底からの反射光に基づいて眼底画像データ１１０を生成する走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：ＳＬＯ）である。眼科装置１０１は、生成した眼底画像データ１１０を画像処理装置や端末に送信する。

被検眼１０５は、内部に多数の脈絡膜血管１０６を有する。脈絡膜とは、被検眼１０５の眼球壁を構成する薄膜であり、脈絡膜血管１０６とは、脈絡膜に存在する血管である。太さの異なる脈絡膜血管１０６が多数存在する脈絡膜の深部（脈絡膜と強膜との境界付近）には、渦静脈１０７が存在する。解剖学的には、渦静脈１０７は、脈絡膜血管１０６が集中する血管部位であり、眼球に流れ込んだ血液の排出路である。渦静脈１０７は、脈絡膜血管１０６の一部である。渦静脈１０７は３～７つ存在し、眼底周辺部（眼球の赤道部付近）に存在している。なお、眼科装置１０１は、渦静脈１０７の存在している眼底周辺の領域を撮影可能な画角を有するものとする。

画像処理装置１０２は、眼科装置１０１からの眼底画像データ１１０から、画像解析により渦静脈１０７を検出する。端末１０３は、画像処理装置１０２からの検出結果を表示する。眼科装置１０１、画像処理装置１０２、および端末１０３は、それぞれ別の装置として説明したが、これらのうち少なくとも２つは１つの装置で構成されてもよい。

＜二値化画像データ例＞
図２は、眼底画像データ１１０を二値化処理した二値化画像データの一例を示す説明図である。二値化画像データＣは、画像処理装置１０２により、眼底画像データ１１０を二値化処理した画像データである。なお、二値化画像データＣの横方向をＸ方向、Ｘ方向に直交する方向をＹ方向とする。なお、本明細書では、脈絡膜血管１０６を白画素で示し、背景を黒画素で示すが、脈絡膜血管１０６を黒画素で示し、背景を白画素で示してもよい。

図２において、探索領域Ａは、二値化画像データＣの一部の領域であり、画素Ｐを中心位置とする。図２において白画素領域である血管画素領域Ｄは、二値化処理による脈絡膜血管１０６の検出結果である（血管検出結果Ｄと表記する場合もある）。

血管画素領域Ｄには、脈絡膜血管１０６、渦静脈１０７のほか、誤検出された画素も含まれる。また、眼底画像データ１１０のコントラストが低いなどの理由により、一部の脈絡膜血管１０６や渦静脈１０７が検出されていない場合もある。

＜コンピュータのハードウェア構成例＞
図３は、コンピュータ（画像処理装置１０２および端末１０３）のハードウェア構成例を示すブロック図である。コンピュータ３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。

プロセッサ３０１は、コンピュータ３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。

入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワークと接続し、データを送受信する。

＜画像処理装置１０２の機能的構成例＞
図４は、画像処理装置１０２の機能的構成例を示すブロック図である。画像処理装置１０２は、画像取得部４０１と、血管取得部４０２と、決定部４０３と、出力部４０４と、を有する。画像取得部４０１、血管取得部４０２、決定部４０３、および出力部４０４は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムを、プロセッサ３０１に実行させることにより実現される。

画像取得部４０１は、眼底画像データ１１０を取得する。眼底画像データ１１０の取得元は、眼科装置１０１、端末１０３、または図示しないコンピュータでもよい。血管取得部４０２は、眼底画像データ１１０から脈絡膜血管１０６の血管画素領域Ｄを検出する。決定部４０３は、血管取得部４０２による血管検出結果Ｄ内の着目領域Ｐと、着目領域Ｐを除く血管検出結果Ｄ内の残余の血管画素領域と、の状態に基づいて、着目領域Ｐを渦静脈候補に決定する。出力部４０４は、決定部４０３による決定結果を出力する。決定結果は、二値化画像データＣにおける渦静脈候補の座標位置である。また、決定結果には、当該座標位置が、血管検出結果Ｄの位置であるか否かを示す情報が含まれてもよい。

図５は、画像処理装置１０２による渦静脈１０７の検出処理手順例を示すフローチャートである。画像処理装置１０２は、画像取得部４０１により、眼底画像データ１１０を取得する（ステップＳ５０１）。

つぎに、画像処理装置１０２は、血管取得部４０２により、眼底画像データ１１０から脈絡膜血管１０６の血管画素領域Ｄを取得する（ステップＳ５０２）。具体的には、たとえば、血管取得部４０２は、グレースケールの眼底画像データ１１０を強調した後、所定の閾値を設定する等の方法により二値化処理を行い二値化画像データに変換する。

たとえば、血管取得部４０２は、眼底画像データ１１０の各画素の輝度値に関して二値化処理することで、二値化画像データＣに変換してもよく、深層学習で得られた予測結果に基づき二値化画像データＣに変換してもよい。そして、血管取得部４０２は、二値化画像データＣの血管画素領域を脈絡膜血管１０６の血管画素領域Ｄとして検出する。

つぎに、画像処理装置１０２は、決定部４０３により、渦静脈位置決定処理を実行する（ステップＳ５０３）。渦静脈位置決定処理（ステップＳ５０３）は、血管検出結果Ｄから渦静脈１０７の位置を決定する処理である。渦静脈位置決定処理（ステップＳ５０３）の詳細は後述する。血管検出結果Ｄは脈絡膜血管の走行方向、血管径（血管の太さ）血管の面積、血管の分岐/合流などの脈絡膜血管のネットワークや構造を示す脈絡膜血管情報ともいえる。血管走行方向だけでなく、血管の太さや血管の分岐点/合流点を組み合わせて、高精度で渦静脈位置を検出することが可能となる。

つぎに、画像処理装置１０２は、出力部４０４により、渦静脈１０７に関するデータを出力する（ステップＳ５０４）。具体的には、たとえば、出力部４０４は、渦静脈１０７に関するデータを画像処理装置１０２の出力デバイス３０４に出力し、端末１０３にて表示可能にする。また、出力部４０４は、渦静脈１０７に関するデータを端末１０３に送信する。この場合、端末１０３は、渦静脈１０７に関するデータを、端末１０３の出力デバイス３０４で表示可能に出力する。渦静脈１０７に関するデータとは、血管検出結果Ｄにおいて渦静脈１０７の位置が特定されたデータを含む。さらに、渦静脈１０７に関するデータには、複数の渦除脈を識別するＩＤや、黄斑や視神経乳頭などからの距離や角度などのデータを含むようにしてもよい。

＜出力画面例＞
図６は、出力デバイス３０４での出力画面例を示す説明図である。出力画面６００は、第１表示領域６０１と、第２表示領域６０２と、第３表示領域６０３と、を有する。第１表示領域６０１には、今回（２０１９／０７／１６）の撮影で得られたグレースケールの眼底画像６１１と、今回の撮影で得られた二値化画像６１２と、が表示されている。二値化画像６１２は、渦静脈１０７の画像６１３を含む。第２表示領域６０２には、前回（２０１９／０４／１６）の撮影で得られたグレースケールの眼底画像６２１と、前回の撮影で得られた二値化画像６２２と、が表示されている。二値化画像６２２は、渦静脈１０７の画像６２３を含む。

ユーザは、眼底画像６１１，６２１と、二値化画像６１２，６２２と、を比較することにより、眼底画像６１１，６２１では視認できなかった渦静脈１０７の画像６１３，６２３とその位置を二値化画像６１２，６２２で視認することができる。

第３表示領域には、経過観察に関する情報が表示される。経過観察に関する情報には、眼底画像６１１の部分拡大領域６３１の画像、二値化画像６１２の部分拡大領域６３２の画像、眼底画像６２１の部分拡大領域６４１の画像、二値化画像６２２の部分拡大領域６４２の画像が含まれる。部分拡大領域６３１、６３２、部分拡大領域６４１および部分拡大領域６４２は渦静脈１０７の位置を含み、部分拡大領域６３２，６４２には、渦静脈１０７の画像６１３，６２３が表示される。

また、経過観察に関する情報には、血管径の経過情報６３０が含まれる。血管径とは、脈絡膜血管１０６の直径である。膨大部６１とは、複数の脈絡膜血管１０６の一端が集約される血管部位、すなわち、渦静脈１０７である。周辺部６２とは、膨大部６１に接続される複数の脈絡膜血管１０６である。周辺部６２を構成する脈絡膜血管１０６は複数存在するため、周辺部６２の血管径は、複数の脈絡膜血管１０６の統計値（たとえば、平均値、最大値、最小値、中央値）でもよい。また、血管径の測定位置は、たとえば、入力デバイスを操作することで指定される。

以下に、渦静脈位置決定処理（ステップＳ５０３）についての実施例１～実施例３を説明する。実施例１～実施例３はそれぞれ、血管取得部４０２による血管検出結果Ｄ内の着目領域Ｐと、着目領域Ｐを除く血管検出結果Ｄ内の残余の血管画素領域と、の状態に基づいて渦静脈の位置を決定処理を具体化した例である。

実施例１は、渦静脈位置決定処理（ステップＳ５０３）の例１を示す。渦静脈位置決定処理（ステップＳ５０３）の例１は、血管検出結果Ｄ内の着目領域Ｐと、着目領域Ｐを除く血管検出結果Ｄ内の残余の血管画素領域とが連結している数に基づいて渦静脈の位置を決定する処理である。

図７は、実施例１にかかる二値化画像データＣの一部の探索領域Ａの拡大図である。探索領域Ａは、二値化画像データＣ内において、着目領域Ｐを中心とする矩形領域である。図７では、例として４５×３５画素とした。着目領域Ｐは１以上の画素である。図７では、１×１画素とした。除外領域Ｂは、着目領域Ｐを中心とする矩形領域である。除外領域Ｂは、着目領域Ｐを包含し、かつ、探索領域Ａに包含される領域である。図７では、例として９×９画素とした。除外領域Ｂの形状は、矩形には限定されず、矩形以外の多角形でもよい。本実施例では除外領域Ｂは単一領域としたが、複数の矩形から成る領域で構成されていても良い。またこの場合、点Ｐは除外領域に含まれていなくても良い。

着目領域Ｐは、二値化画像データＣ内でラスタスキャンされる。したがって、着目領域Ｐを中心とする探索領域Ａおよび除外領域Ｂも着目領域Ｐのラスタスキャンに追従する。着目領域Ｐのストライド（移動前の着目領域Ｐと移動後の着目領域Ｐとの間隔）は、着目領域Ｐの移動前の除外領域Ｂと移動後の除外領域Ｂとが重複または隣接するような間隔でよい。

図２に示したように、除外領域Ｂの設定前における着目領域Ｐを除く血管検出結果Ｄ内の残余の白画素連結領域ＤＷは１個である。白画素連結領域ＤＷとは複数の白画素同士が連結している状態にある領域である、ここで、同一色（ここでは白色）の画素の連結とは、注目する画素に対し上下（Ｙ方向）左右（Ｘ方向）に隣接する周囲４画素と同一色か考慮する場合と、さらに右斜め上、左斜め上、右斜め下、および左斜め下の４画素を含む周囲８画素と同一色か考慮する場合と、がある。本実施例では、特に断りがない限り、連結の定義として、注目する白画素に対し、周囲８画素を考慮する方法を採用した。図２ではすべての白画素が連結しているので、白画素連結領域ＤＷの個数は１となる。

図７のように除外領域Ｂが設定されると、血管画素領域Ｄが変更される。つまり、図２で１個であった白画素連結領域ＤＷは除外領域Ｂによって分断され、図７に示すようにＦａ，Ｆｂ，Ｆｃ，Ｆｄ，Ｆｅの５個の白画素連結領域ＤＷに分断される。これら５つの白画素連結領域ＤＷは除外領域Ｂと連結している。よって、図７の着目領域Ｐにおける除外領域Ｂに連結している白画素連結領域ＤＷの数はＦａ，Ｆｂ，Ｆｃ，Ｆｄ，Ｆｅの５個である。

このようにして、決定部４０３は、着目領域Ｐをスキャンしていくことにより除外領域Ｂを移動させ、移動後の着目領域Ｐの位置において、除外領域Ｂに接続している白画素連結領域ＤＷの数をカウントする処理を行う。探索領域Ａ内の血管画素（白画素）のすべてについてスキャンすることにより、探索領域Ａ内の血管画素の各画素に対して連結数を得ることができる。

図８は、探索領域Ａ内において着目領域Ｐを除外領域Ｂでラスタスキャンしたスキャン結果を示す説明図である。スキャン結果８００の各画素の位置は、探索領域Ａの各画素の位置に対応する。スキャン結果８００において、黒画素は探索領域Ａの背景（血管以外の眼底領域を示す画素）を示し、白画素は探索領域Ａの血管検出結果Ｄの画素（血管を示す画素）を示す。

画素内の数値は、当該画素が着目領域Ｐとなった場合において除外領域Ｂに連結される探索領域Ａ内の白画素連結領域ＤＷの個数Ｎ２である。図７の場合、Ｎ２＝５である。決定部４０３は、個数Ｎ２から、除外領域Ｂが設定されていない状態での探索領域Ａ内における血管検出結果Ｄの白画素連結領域ＤＷの個数Ｎ１を引いた差分値Ｎに基づいて、着目領域Ｐを渦静脈候補に決定する。図７の場合、Ｎ１＝１（図２を参照）である。したがって、差分値Ｎは、Ｎ２－Ｎ１＝４である。差分値Ｎは、除外領域Ｂの設定前後の白画素連結領域ＤＷの個数の変化量となる。すなわち、変化量が大きいほど渦静脈候補として決定されやすくなる。

決定部４０３は、スキャン結果８００において、差分値Ｎに基づいて、着目領域Ｐを渦静脈候補に決定する。具体的には、たとえば、決定部４０３は、差分値Ｎが最大となる画素を渦静脈候補に決定する。図８の例では、画素内の数値Ｎ２＝６が最大値となり、差分値Ｎ＝５となるため、当該画素が渦静脈候補に決定される。すなわち、当該画素の座標位置が渦静脈候補の位置となる。これは、変化量が大きい画素の位置は当該画素の周囲に脈絡膜血管が多く存在していることを示しており、複数の脈絡膜血管が合流する渦静脈の特性を満たす可能性の高い位置と推測できるからである。

また、決定部４０３は、差分値Ｎが第１しきい値以上となる画素を渦静脈候補に決定してもよい。図８の例において、第１しきい値を「４」とした場合、画素内の数値Ｎ２＝５，６の画素の差分値Ｎは、Ｎ＝４，５であるため、当該画素が渦静脈候補に決定される。また、決定部４０３は、差分値Ｎが上位ｎ番目（ｎは１以上の任意の整数）までの画素を渦静脈候補に決定してもよい。図８の例では、画素内の数値Ｎ２＝６，５，４，３，２，１の６種類であるため、差分値Ｎは、Ｎ＝５，４，３，２，１，０の６種類である。ｎ＝３の場合、画素内の数値Ｎ２＝４の画素の差分値Ｎ＝３が上位３番目までの差分値Ｎであるため、画素内の数値「４」、「５」および「６」の画素が渦静脈候補に決定される。

また、決定部４０３は、渦静脈候補とされた画素が複数存在する場合、渦静脈候補の画素と連結状態にある白画素の総数をカウントする。当該総数に基づいて、渦静脈候補の絞り込みを実行してもよい。具体的には、決定部４０３は、渦静脈候補の画素と連結状態にある白画素の総数が第２しきい値以上でない場合、当該渦静脈候補の画素を渦静脈候補から除外する。第２しきい値は、除外領域Ｂの画素数以上としてもよい。

上述のように第２しきい値を設定することで、除外領域Ｂは、一般的な渦静脈１０７の大きさに対応するため、渦静脈１０７の検出精度の向上を図ることができる。なお、決定部４０３は、差分値Ｎではなく、単に、画素内の数値Ｎ２に基づいて、着目領域Ｐを渦静脈候補に決定してもよい。

なお、渦静脈候補となる着目領域Ｐの画素は、血管検出結果Ｄを構成する白画素には限定されず、血管検出結果Ｄではない背景を構成する黒画素でもよい。血管検出結果Ｄは、血管検出処理の精度に依存するため、血管検出結果Ｄにおいて渦静脈１０７として検出されるべき領域が検出されていない場合もある。したがって、黒画素が渦静脈候補に決定されてもよい。

＜渦静脈位置決定処理（ステップＳ５０３）＞
図９は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例１を示すフローチャートである。画像処理装置１０２は、決定部４０３により、二値化画像データＣ内の未指定の着目領域Ｐを指定する（ステップＳ９０１）。ステップＳ９０１は、上述したラスタスキャンの位置を指定する処理である。ステップＳ９０９：Ｙｅｓになると、決定部４０３は、着目領域Ｐの右隣（着目領域Ｐが二値化画像データＣの右端である場合は、Ｙ方向にストライドしたときの左端）の領域をつぎの着目領域Ｐとして指定する。

なお、決定部４０３は、着目領域Ｐを白画素に限定して指定してもよい。これにより、渦静脈候補を白画素に決定することができる。この場合、黒画素のラスタスキャンをスキップすることができるため、ラスタスキャンの高速化を図ることができる。また、２値化画像データＣの端または端の近傍に着目領域Ｐが設定された場合、予め設定した大きさの探索範囲が２値化画像データＣ内に設定できない場合がある。このような場合は、着目領域Ｐを設定しなくてもよい。あるいは、探索範囲を小さくするなど特別な処理を行ってもよい。

画像処理装置１０２は、決定部４０３により、着目領域Ｐを中心とする探索領域Ａを設定する（ステップＳ９０２）。画像処理装置１０２は、決定部４０３により、探索領域Ａ内における血管検出結果Ｄの血管画素領域を検出し、その個数Ｎ１を計数する（ステップＳ９０３）。具体的には、たとえば、図２に示した血管検出結果Ｄの血管画素領域の個数Ｎ１はＮ１＝１である。

画像処理装置１０２は、決定部４０３により、図７に示したように、着目領域Ｐを中心とする除外領域Ｂを設定する（ステップＳ９０４）。そして、画像処理装置１０２は、決定部４０３により、修正検出結果Ｄ２を出力する（ステップＳ９０５）。修正検出結果Ｄ２は、血管検出結果Ｄから除外領域Ｂを引いた領域である。

画像処理装置１０２は、決定部４０３により、探索領域Ａ内における修正検出結果Ｄ２の白画素連結領域ＤＷの個数Ｎ２を検出する（ステップＳ９０６）。図７の例では、Ｎ２＝５である。つぎに、画像処理装置１０２は、決定部４０３により、着目領域Ｐにおける差分値Ｎ＝Ｎ２－Ｎ１を算出し、差分値Ｎが、たとえば、第１しきい値ＶＭ以上であるか否かを判断する（ステップＳ９０７）。

差分値Ｎが第１しきい値ＶＭ以上でない場合（ステップＳ９０７：Ｎｏ）、当該着目領域Ｐは、渦静脈候補から外されたことになり、ステップＳ９０９に移行する。一方、差分値Ｎが第１しきい値ＶＭ以上である場合（ステップＳ９０７：Ｙｅｓ）、画像処理装置１０２は、決定部４０３により、着目領域Ｐを渦静脈候補Ｖに決定して（ステップＳ９０８）、ステップＳ９０９に移行する。

画像処理装置１０２は、決定部４０３により、未指定の着目領域Ｐがあるか否かを判断する（ステップＳ９０９）。未指定の着目領域Ｐがある場合（ステップＳ９０９：Ｙｅｓ）、ステップＳ９０１に戻る。一方、未指定の着目領域Ｐがない場合（ステップＳ９０９：Ｎｏ）、画像処理装置１０２は、渦静脈位置決定処理（ステップＳ５０３）を終了して、ステップＳ５０４に移行する。

このように、実施例１によれば、渦静脈１０７の複数の脈絡膜血管１０６が集中して接続されている血管部位である渦静脈１０７や、渦静脈１０７に接続されている複数の脈絡膜血管１０６の本数が不明な場合であっても、画像処理装置１０２は、高精度に渦静脈候補Ｖを検出することができる。また、画像処理装置１０２は、修正検出結果Ｄ２の血管画素領域の位置により、渦静脈候補Ｖに接続される脈絡膜血管１０６の存在位置も推定することができる。

実施例２は、渦静脈位置決定処理（ステップＳ５０３）の例２を示す。渦静脈位置決定処理（ステップＳ５０３）の例２は、血管検出結果Ｄのうち着目領域Ｐ周辺の血管部位の個数により、当該着目領域Ｐを渦静脈候補に決定する例である。実施例１と同一構成には同一符号を付しその説明を省略する。

図１０は、実施例２にかかる二値化画像データＣの一部の領域Ａの拡大図である。探索領域Ａには、２つの血管検出結果Ｄが検出されている。区別するため、図２の血管検出結果Ｄのうち、領域Ａ内部で着目領域Ｐと連結した領域をＤａ、連結していない領域をＤｂとする。Ｄａ，Ｄｂを区別しない場合、血管検出結果Ｄと称す。

図形Ｅは、領域Ａ内において、着目領域Ｐを中心とする円である。図形Ｅは、一般的な渦静脈１０７よりも大きい大きさとする。図形Ｅの形状は、円に限定されず、楕円あるいは矩形を含む多角形でもよい。決定部４０３は、図形Ｅ（の境界）と血管検出結果Ｄａ、Ｄｂとが交差する領域（ハッチングで表記。以下、交差領域）Ｊを検出する。図１０では、交差領域Ｊは複数の画素からなるが、図１０では連結領域の個数（領域Ｄａの個数と領域Ｄｂの個数との和）は８個であり、それらをＪ１,Ｊ２,・・・,Ｊ８と設定する。

そして、決定部４０３は、交差領域Ｊごとに、血管検出結果Ｄ内部を通り、着目領域Ｐと交差領域Ｊとを結ぶ経路Ｒを探索する。図１０では、交差領域Ｊ１と着目領域Ｐとの経路Ｒ１、交差領域Ｊ２と着目領域Ｐとの経路Ｒ２、交差領域Ｊ３と着目領域Ｐとの経路Ｒ３、交差領域Ｊ４と着目領域Ｐとの経路Ｒ４、交差領域Ｊ５と着目領域Ｐとの経路Ｒ５、交差領域Ｊ６と着目領域Ｐとの経路Ｒ６、交差領域Ｊ７と着目領域Ｐとの経路Ｒ７が検出される。

なお、交差領域Ｊ８は血管検出結果Ｄｂ内の領域であり、Ｄｂは着目領域Ｐと連結していないため、血管検出結果Ｄａ内の着目領域Ｐとは、白画素で接続できない。したがって、交差領域Ｊ８と着目領域Ｐとの経路は存在しない。なお、経路Ｒは、たとえば、ダイクストラ法により最短経路、すなわち、白画素数が最小となる経路である。なお、交差領域Ｊは、渦静脈１０７に接続される脈絡膜血管１０６の部位を想定している。したがって、経路Ｒの白画素数が第３しきい値以下の場合、脈絡膜血管１０６を構成しないと考えられるため、決定部４０３は、経路Ｒとして生成しなくてもよい。

＜渦静脈位置決定処理（ステップＳ５０３）＞
図１１は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例２を示すフローチャートである。画像処理装置１０２は、決定部４０３により、ステップＳ９０１を実行した後、図１０に示したように、着目領域Ｐを中心とする図形Ｅを設定する（ステップＳ１１０３）。画像処理装置１０２は、決定部４０３により、図形Ｅと血管検出結果Ｄとの交差領域Ｊを検出する（ステップＳ１１０４）。具体的には、たとえば、図１０では、交差領域Ｊ１～Ｊ８が検出される。

画像処理装置１０２は、決定部４０３により、図１０に示したように、交差領域Ｊと着目領域Ｐとの経路Ｒを探索する（ステップＳ１１０５）。つぎに、画像処理装置１０２は、決定部４０３により、経路Ｒの本数ｍが第１しきい値ＶＭ以上であるか否かを判断する（ステップＳ１１０６）。

経路Ｒの本数ｍが第１しきい値ＶＭ以上でない場合（ステップＳ１１０６：Ｎｏ）、当該着目領域Ｐは、渦静脈候補から外されたことになり、ステップＳ９０９に移行する。一方、経路Ｒの本数ｍが第１しきい値ＶＭ以上である場合（ステップＳ１１０６：Ｙｅｓ）、画像処理装置１０２は、決定部４０３により、着目領域Ｐを渦静脈候補Ｖに決定して（ステップＳ１１０７）、ステップＳ９０９に移行する。

このように、実施例２によれば、画像処理装置１０２は、着目領域Ｐと連結した交差領域Ｊを決定するプロセスを含むため、着目領域Ｐが渦静脈候補であると仮定した場合に、渦静脈候補に接続される脈絡膜血管１０６候補の本数を検出することができる。当該プロセス中、着目領域Ｐとの経路Ｒを探索することにより、経路Ｒを生成することができない交差領域Ｊを脈絡膜候補から除外することにより、渦静脈候補の決定精度低下を抑制することも可能となる。

さらに、経路Ｒの本数ｍが第１しきい値ＶＭ以上である場合に、着目領域Ｐを渦静脈候補に決定するため、渦静脈候補の決定精度の向上を図ることができる。このように、渦静脈１０７の複数の脈絡膜血管１０６が集中して接続されている血管部位である渦静脈１０７や、渦静脈１０７に接続されている複数の脈絡膜血管１０６の本数が不明な場合であっても、画像処理装置１０２は、高精度に渦静脈候補Ｖを検出することができる。また、画像処理装置１０２は、経路Ｒの方向により、渦静脈候補Ｖに接続される脈絡膜血管１０６の存在位置も推定することができる。

実施例３は、渦静脈位置決定処理（ステップＳ５０３）の例３を示す。渦静脈位置決定処理（ステップＳ５０３）の例３は、渦静脈１０７に接続される複数の脈絡膜血管１０６には渦静脈１０７に対して異方性があるという渦静脈１０７の形状の特徴を利用して、血管検出結果Ｄの分布（白画素の分布）により渦静脈候補を決定する例である。異方性とは、渦静脈１０７を中心としたときに、渦静脈１０７に接続する脈絡膜血管の本数が方向によって異なる傾向があることに基づく。眼底周辺側の脈絡膜血管の本数は多く、眼底中心側の脈絡膜血管の本数は少ないという傾向である。
実施例１，２と同一構成には同一符号を付しその説明を省略する。

図１２は、実施例３にかかる二値化画像データＣの一部の領域Ａの拡大図である。 図形Ｇは、領域Ａ内において、着目領域Ｐを中心とする円である。図形Ｇは、一般的な渦静脈１０７よりも大きい大きさとする。着目領域Ｐを通りＸ方向に平行な線分を線分Ｌ１とする。着目領域Ｐを通り線分Ｌ１と交差する線分を線分Ｌ２とする。線分Ｌ１と線分Ｌ２とのなす角度をθとする。線分Ｌ１あるいは線分Ｌ２により図形Ｇは面積が等しく二等分される。

図形Ｇにおいて線分Ｌ２で分断された領域をＨ１，Ｈ２とする。領域Ｈ１の面積と領域Ｈ２の面積は等しい。仮に着目領域Ｐが渦静脈１０７の位置に存在すれば、上述した渦静脈１０７の異方性により、分断領域Ｈ１内の血管検出結果Ｄの面積Ｓ１と分断領域Ｈ２内の血管検出結果Ｄの面積Ｓ２とに偏りが発生する。決定部４０３は、偏りに基づく値Ｓを算出し、値Ｓが第４しきい値以下であれば、着目領域Ｐを渦静脈候補に決定する。

なお、決定部４０３は、角度θを所定範囲（たとえば、０度≦θ≦１８０度）で変化させ、偏りが第４しきい値以上となる角度θを検出する。角度θを変化させるステップ幅Δθは、あらかじめ設定される。また、着目領域Ｐが渦静脈候補に決定された場合、脈絡膜血管１０６に相当する血管検出結果Ｄは、分断領域Ｈ１、Ｈ２のいずれか一方に偏っている（つまり、分断領域Ｈ１内の白画素の画素数と、分断領域Ｈ２内の白画素の画素数とに偏りが生じる）。したがって、決定部４０３は、渦静脈１０７に接続される脈絡膜血管１０６が分断領域Ｈ１、Ｈ２のいずれに多く存在するかを特定することができる。

＜渦静脈位置決定処理（ステップＳ５０３）＞
図１３は、図５に示した渦静脈位置決定処理（ステップＳ５０３）の詳細な処理手順例３を示すフローチャートである。画像処理装置１０２は、決定部４０３により、ステップＳ９０１を実行した後、図１２に示したように、着目領域Ｐを中心とする図形Ｇを設定する（ステップＳ１３０３）。画像処理装置１０２は、決定部４０３により、線分Ｌ１に対する予め設定した、角度θに関する初期値を設定する（ステップＳ１０３４）。

画像処理装置１０２は、決定部４０３により、図１２に示したように、着目領域Ｐを通り線分Ｌ１と角度θをなす直線Ｌ２を設定する（ステップＳ１３０５）。つぎに、画像処理装置１０２は、決定部４０３により、図形Ｇ内の直線Ｌ２での分断領域Ｈ１，Ｈ２の面積Ｓ１，Ｓ２を算出する（ステップＳ１３０６）。面積Ｓ１は、分断領域Ｈ１内の白画素数であり、面積Ｓ２は、分断領域Ｈ２の白画素数である。

つぎに、画像処理装置１０２は、決定部４０３により、偏りに基づく値Ｓを算出する（ステップＳ１３０７）。値Ｓは、下記式（１）により算出される。

Ｓ＝ＭＩＮ（Ｓ１，Ｓ２）／ＭＡＸ（Ｓ１，Ｓ２）・・・・（１）

値Ｓは、その値が小さいほど分断領域Ｈ１，Ｈ２の面積差が大きいことを示す。偏りＳが第４しきい値Ｓｔ以下でない場合（ステップＳ１３０８：Ｎｏ）、ステップＳ１３１０に移行する。偏りＳが第４しきい値Ｓｔ以下である場合（ステップＳ１３０８：Ｙｅｓ）、画像処理装置１０２は、決定部４０３により、着目領域Ｐを渦静脈候補に決定し（ステップＳ１３０９）に移行する。

なお、式（１）の右辺の分子と分母が入れ替わる場合、偏りＳは、その値が大きいほど分断領域Ｈ１，Ｈ２の面積差が大きいことを示す。この場合、ステップＳ１３０８では、偏りＳが第４しきい値Ｓｔ以上でない場合（ステップＳ１３０８：Ｎｏ）、ステップＳ１３１０に移行することになる。偏りＳが第４しきい値Ｓｔ以上である場合（ステップＳ１３０８：Ｙｅｓ）、画像処理装置１０２は、決定部４０３により、着目領域Ｐを渦静脈候補に決定し（ステップＳ１３０９）に移行することになる。

ステップＳ１３１０において、画像処理装置１０２は、決定部４０３により、着目領域Ｐでの角度探索が終了したか否かを判断する（ステップＳ１３１０）。角度探索の終了条件としては、たとえば、ステップ幅Δθ加算後の角度θが所定範囲を超えた場合や、ステップＳ１３０９で着目領域Ｐを渦静脈候補に決定された場合がある。着目領域Ｐでの角度探索が終了していない場合（ステップＳ１３１０：Ｎｏ）、ステップＳ１３０４に移行して、角度θにΔθを加算して角度θを更新する。一方、着目領域Ｐでの角度探索が終了した場合（ステップＳ１３１０：Ｙｅｓ）、ステップＳ９０９に移行する。

このように、実施例３によれば、画像処理装置１０２は、渦静脈１０７に対して異方性があるという渦静脈１０７の形状の特徴を利用して渦静脈候補を決定するため、渦静脈候補の検出精度の向上を図ることができる。また、画像処理装置１０２は、偏りが大きい方の分断領域の位置により、渦静脈候補Ｖに接続される脈絡膜血管１０６の存在する方向を推定することができる。

また、図１３では、ステップＳ１３１０の角度探索の終了条件として、ステップＳ１３０９で着目領域Ｐを渦静脈候補に決定された場合を挙げたが、着目領域Ｐを渦静脈候補に決定された場合であっても、ステップ幅Δθ加算後の角度θが所定範囲を超えていなければ、ステップＳ１３０４に戻ってもよい。

すなわち、決定部４０３は、着目領域Ｐにおいて、ステップＳ１３０９での渦静脈候補の決定回数を計数してもよい。この場合、決定回数が第５しきい値以上でない場合に、決定部４０３は、着目領域Ｐを渦静脈候補から除外してもよい。このように渦静脈候補を角度ごとに仮決定し、仮決定された回数に基づいて渦静脈候補を絞り込むことにより、渦静脈１０７の検出精度の高精度化を図ることができる。

また、実施例３では、眼底画像データ１１０を二値化処理した二値化画像データＣを用いたが、グレースケールの眼底画像データ１１０または脈絡膜血管を強調処理した画像データを二値化画像データＣの代わりに用いてもよい。この場合、面積Ｓ１、Ｓ２は、輝度値の合計にすればよい。これにより、二値化処理が不要となり、渦静脈の検出速度の向上を図ることができる。

実施例４は、実施例１～実施例３のうち少なくとも２つを結合した例である。たとえば、実施例１と実施例２とを結合する場合、画像処理装置１０２は、実施例１での渦静脈候補Ｖ（Ｖ１とする）と、実施例２での渦静脈候補Ｖ（Ｖ２とする）と、に共通する渦静脈候補を出力する。また、実施例１と実施例３とを結合する場合、画像処理装置１０２は、実施例１での渦静脈候補Ｖ１と、実施例３での渦静脈候補Ｖ（Ｖ３とする）と、に共通する渦静脈候補を出力する。

また、実施例２と実施例３とを結合する場合、画像処理装置１０２は、実施例２での渦静脈候補Ｖ２と、実施例３での渦静脈候補Ｖ３と、に共通する渦静脈候補を出力する。また、実施例１～実施例３を結合する場合、画像処理装置１０２は、実施例１での渦静脈候補Ｖ１と、実施例２での渦静脈候補Ｖ２と、実施例３での渦静脈候補Ｖ（Ｖ３とする）と、に共通する渦静脈候補を出力する。

このように、実施例１～実施例３のうち少なくとも２つを組み合わせることで、渦静脈候補が絞り込まれ、渦静脈候補の検出精度の向上を図ることができる。

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

Ａ 探索領域、Ｂ 除外領域、Ｃ 二値化画像データ、Ｄ 血管検出結果、１００ 眼科システム、１０１ 眼科装置、１０２ 画像処理装置、１０３ 端末、１０４ ネットワーク、１０５ 被検眼、１０６ 脈絡膜血管、１０７ 渦静脈、１１０ 眼底画像データ、３００ コンピュータ、３０１ プロセッサ、３０２ 記憶デバイス、３０３ 入力デバイス、３０４ 出力デバイス、４０１ 画像取得部、４０２ 血管取得部、４０３ 決定部、４０４ 出力部

Claims (10)

1. 眼底画像データから生成された脈絡膜血管データを取得する取得部と、
   前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定部と、
   前記渦静脈位置を出力する出力部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記渦静脈位置は、前記特徴量が所定条件を満たす渦静脈の候補位置であり、
   前記決定部は、複数の前記候補位置から、前記渦静脈位置を決定する、
   画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記決定部は、前記所定の図形によって囲まれた領域である第２領域を設定し、
   前記特徴量は、前記第２領域に連結する脈絡膜血管の本数である、
   画像処理装置。
4. 請求項１または２に記載の画像処理装置であって、
   前記特徴量は、前記所定の図形と脈絡膜血管との交点の数である、
   画像処理装置。
5. 請求項１または２に記載の画像処理装置であって、
   前記決定部は、前記所定の図形に内包される第１領域を含む図形を設定し、
   前記特徴量は、前記所定の図形と脈絡膜血管との交点から前記第１領域へ辿る経路の数である、
   画像処理装置。
6. 請求項１または２に記載の画像処理装置であって、
   前記決定部は、前記所定の図形内に存在する脈絡膜血管の分布に基づいて、渦静脈位置を決定する、
   画像処理装置。
7. 請求項１または２に記載の画像処理装置であって、
   前記決定部は、前記所定の図形を設定し、前記第１領域を通り、前記図形を面積の等しい第１分割領域と第２分割領域とに分割する線分を設定し、前記第１分割領域内の第１脈絡膜血管面積と、前記第２分割領域内の第２脈絡膜血管面積を算出し、
   前記特徴量は、前記第１脈絡膜血管面積と前記第２脈絡膜血管面積との比である、
   画像処理装置。
8. 請求項１ないし７のいずれか一項に記載の画像処理装置であって、
   前記決定部は、前記第１領域を、前記脈絡膜血管データの画素の一つから選択する、
   画像処理装置。
9. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する画像処理装置が実行する画像処理方法であって、
   前記プロセッサは、
   眼底画像データから生成された脈絡膜血管データを取得する取得処理と、
   前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定処理と、
   前記決定処理による決定結果を出直する出力処理と、
   を実行する画像処理方法。
10. プロセッサに、
    眼底画像データから生成された脈絡膜血管データを取得する取得処理と、
    前記眼底画像データの中に第１領域と前記第１領域を包含する所定の図形とを設定し、前記第１領域周辺の脈絡膜血管データと前記所定の図形とに基づいて算出される特徴量に基づいて、渦静脈位置を決定する決定処理と、
    前記決定処理による決定結果を出力する出力処理と、
    を実行させる画像処理プログラム。

Images