WO2019203309A1 - 画像処理方法、プログラム、画像処理装置、及び眼科システム - Google Patents

Abstract

眼底画像から渦静脈位置を検出する。　画像処理方法は、眼底画像から脈絡膜血管構造を解析するステップと、脈絡膜血管構造に基づいて、渦静脈位置を検出するステップとを有する。

Description

画像処理方法、プログラム、画像処理装置、及び眼科システム

　本開示の技術は、画像処理方法、プログラム、画像処理装置、及び眼科システムに関する。

　特開平８－７１０４５号公報には、脈絡膜血管の動脈と静脈を異なる色で表示する技術が開示されている。

　本開示の技術の第１の態様の画像処理方法は、眼底画像から脈絡膜血管構造を解析するステップと、前記血管構造に基づいて、渦静脈位置を検出するステップと、を含む。

　本開示の技術の第２の態様の画像処理装置は、眼底画像から脈絡膜血管構造を解析し、前記血管構造に基づいて、渦静脈位置を検出する画像処理部を有する。

　本開示の技術の第３の態様のプログラムは、コンピュータに、第１の態様の画像処理方法を実行させる。

　本開示の技術の第４の態様の眼科システムは、眼底画像から脈絡膜血管構造を解析し、前記血管構造に基づいて、渦静脈位置を検出する画像処理部を含むサーバと、前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を表示するビューワと、を備えている。

　本開示の技術の第５の態様の画像処理方法は、脈絡膜血管画像を生成するステップと、前記脈絡膜血管画像を解析し、渦静脈の位置を検出するステップと、を含む。

　本開示の技術の第６の態様の画像処理装置は、脈絡膜血管画像を生成し、前記脈絡膜血管画像を解析し渦静脈の位置を検出する画像処理部と、前記渦静脈の位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成する表示制御部と、渦静脈位置重畳眼底画像を出力する出力部と、を備える。

眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 管理サーバ１４０の電気系の構成のブロック図である。 管理サーバ１４０のＣＰＵ１６２の機能のブロック図である。 画像処理プログラムのフローチャートである。 第１のＶＶ候補検出処理プログラムのフローチャートである。 第２のＶＶ候補検出処理プログラムのフローチャートである。 脈絡膜血管画像を示す図である。 ＶＶとして検証されたＶＶの位置を眼底画像に重畳表示した画像を示す図である。 脈絡膜血管画像の２値化画像を示す図である。 ２値化画像の線画像を示す図である。 脈絡膜血管の分岐点を示す図である。 ＶＶ識別処理プログラムのフローチャートである。 ＶＶの様子を示す図である。 ＶＶの場合のＬｏｇ－Ｐｏｌａｒ処理結果を示す図である。 ＶＶでない様子を示す図である。 ＶＶでない場合のＬｏｇ－Ｐｏｌａｒ処理結果を示す図である。 図１４Ａあるいは図１５Ａのθ方向毎にＲ方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第１のグラフである。 図１４Ａあるいは図１５Ａのθ方向毎にＲ方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第２のグラフである。 図１４Ａあるいは図１５Ａのθ方向毎にＲ方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第３のグラフである。 脈絡膜血管解析モードの表示画面３００を示す図である。 図１７の表示画面で、渦静脈位置アイコン３３２をクリックされた場合に表示される表示画面である。 図１８の表示画面で、識別確率表示アイコン３４６がクリックされた場合に表示される表示画面である。 図１８の表示画面で、拡大アイコン３４８がクリックされた場合に表示される表示画面である。

　以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。

　図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。画像ビューワ１５０は、管理サーバ１４０により取得した眼底画像を表示する。
　管理サーバ１４０は、本開示の技術の「サーバ」の一例である。画像ビューワ１５０は、本開示の技術の「ビューワ」の一例である。

　眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
　なお、他の眼科機器（ＯＣＴ（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ）測定、視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。

　次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備え、被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。

　制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及びタッチパネルなどの入力／指示デバイス３４を備えている。
　ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。

　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。

　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。

　広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系８６を備えている。光学系８６により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼１２の外部からの外部光照射角で約１２０度（被検眼１２の眼球の中心Ｏを基準位置として、被検眼１２の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、２００度程度）の広範囲の眼底領域を撮影することができる。光学系８６は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳミラーを用いて構成された二次元スキャナを用いてもよい。

　光学系８６としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９や国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０に記載された楕円鏡を用いたシステムを用いる構成でもよい。２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９（国際公開ＷＯ２０１６／１０３４８４）の開示及び２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０（国際公開ＷＯ２０１６／１０３４８９）の開示の各々は、その全体が参照により本明細書に取り込まれる。

　なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。

　カラー眼底画像は、Ｇ光及びＲ光で同時に被検眼１２の眼底が撮影されることにより、得られる。より詳細には、制御ユニット２０が、同時に発光するように光源４２、４４を制御し、被検眼１２の眼底に渡って、広角光学系８０によりＧ光及びＲ光が走査される。そして、被検眼１２の眼底から反射されたＧ光がＧ光検出素子７２により検出され、第２眼底画像（Ｇ色眼底画像）の画像データが眼科装置１１０のＣＰＵ２２により生成される。同様に、被検眼１２の眼底から反射されたＲ光がＲ光検出素子７４により検出され、第１眼底画像（Ｒ色眼底画像）の画像データが、眼科装置１１０のＣＰＵ２２により生成される。また、ＩＲ光が照射された場合は、被検眼１２の眼底から反射されたＩＲ光がＩＲ光検出素子７６により検出され、ＩＲ眼底画像の画像データが眼科装置１１０のＣＰＵ２２により生成される。

　眼科装置１１０のＣＰＵ２２により、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とを所定の比率で混合し、カラー眼底画像として、ディスプレイ３２に表示する。なお、カラー眼底画像ではなく、第１眼底画像（Ｒ色眼底画像）、第２眼底画像（Ｇ色眼底画像）、あるいは、ＩＲ眼底画像を表示するようにしてもよい。
　第１眼底画像（Ｒ色眼底画像）の画像データ、第２眼底画像（Ｇ色眼底画像）の画像データ、ＩＲ眼底画像の画像データは、通信ＩＦ１６６を介して眼科装置１１０から管理サーバ１４０へ送付される。各種眼底画像は脈絡膜血管画像の生成に利用される。

　図１の眼軸長測定器１２０は、被検眼１２の眼軸方向（Ｚ方向）の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器１２０は、第１のモード又は第２のモードにより測定された眼軸長を管理サーバ１４０に送信する。第１のモード及び第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ１４０に送信する。眼軸長は患者のデータの一つとして管理サーバ１４０に患者情報として保存されるとともに、眼底画像解析にも利用される。

　次に、図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。なお、メモリ１６４には、画像処理プログラムが記憶されている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネルなどの入力／指示デバイス１７４を備えている。

　画像ビューワ１５０の構成は、管理サーバ１４０と同様であるので、その説明を省略する。

　次に、図４を参照して、管理サーバ１４０のＣＰＵ１６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。ＣＰＵ１６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ１６２は、図４に示すように、画像処理部１８２、表示制御部１８４、及び処理部１８６として機能する。

　次に、図５を用いて、管理サーバ１４０による画像処理を詳細に説明する。管理サーバ１４０のＣＰＵ１６２が画像処理プログラムを実行することで、図５のフローチャートに示された画像処理方法が実現される。

　画像処理プログラムは、管理サーバ１４０が、眼科装置１１０で撮影された眼底画像の画像データに基づいて脈絡膜血管画像を生成した時に実行される。
　脈絡膜血管画像は以下のようにして生成される。

　まず、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とに含まれる情報を説明する。

　眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、第１眼底画像（Ｒ色眼底画像）には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、第２眼底画像（Ｇ色眼底画像）には、網膜に存在する血管（網膜血管）の情報のみが含まれる。

　管理サーバ１４０の画像処理部１８２は、ブラックハットフィルタ処理を第２眼底画像（Ｇ色眼底画像）に施すことにより、第２眼底画像（Ｇ色眼底画像）から網膜血管を抽出する。次に、画像処理部１８２は、第１眼底画像（Ｒ色眼底画像）から、第２眼底画像（Ｇ色眼底画像）から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第２眼底画像（Ｇ色眼底画像）から抽出された網膜血管の位置情報を用いて第１眼底画像（Ｒ色眼底画像）の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部１８２は、網膜血管が除去された第１眼底画像（Ｒ色眼底画像）の画像データに対し、適応ヒストグラム均等化処理（ＣＬＡＨＥ、Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、第１眼底画像（Ｒ色眼底画像）において、脈絡膜血管を強調する。これにより、図８に示す脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ１６４に記憶される。
　また、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）から脈絡膜血管画像を生成しているが、画像処理部１８２は、第１眼底画像（Ｒ色眼底画像）Ｒ色眼底画像あるはＩＲ光で撮影されたＩＲ眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、２０１８年３月２０日に出願された特願２０１８－０５２２４６の開示は、その全体が参照により、本明細書に取り込まれる。

　画像処理プログラムがスタートすると、図５のステップ２０２で、画像処理部１８２は、脈絡膜血管画像（図８参照）をメモリ１６４から読み出す。

　ステップ２０４で、画像処理部１８２は、脈絡膜血管画像において渦静脈（Ｖｏｒｔｅｘ　Ｖｅｉｎ（以下、「ＶＶ」という））候補を検出する。ステップ２０４の処理の詳細は後述する。ここで、渦静脈ＶＶとは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに４から６個存在する。

　ステップ２０６で、画像処理部１８２は、ＶＶ候補に対し、ＶＶ候補がＶＶなのかを示す識別確率を算出し識別フラグ（ＶＶフラグ/非ＶＶフラグ）を設定するＶＶ識別処理（詳細は後述）を実行する。ステップ２０６の処理の詳細は後述する。

　ステップ２０８で、画像処理部１８２は、ＶＶの個数を特定するとともに、ＶＶ配置パターン（複数のＶＶの配置（ｃｏｎｆｉｇｕｒａｔｉｏｎ））を特定する。ＶＶ配置パターンとは、複数のＶＶ位置が眼底上にどのような位置に配置しているのかを示す情報である。ＶＶが４つの場合は、脈絡膜血管画像においては図９に示すように四隅にＶＶが存在する場合が多い。図９において、２４６Ｎ１、２４６Ｎ２、２４６Ｎ３、２４６Ｎ４はＶＶ位置を特定するための枠を示している。

　ステップ２１０で、処理部１８６は、ＶＶの個数、ＶＶの位置情報（脈絡膜血管画像におけるＶＶ位置を示す座標であり、それぞれのＶＶごとの座標が保存される）、ＶＶ配置パターン、識別フラグ（ＶＶフラグ/非ＶＶフラグ）、識別確率を含むデータをメモリ１６４に保存する。これらのデータは後述する脈絡膜解析モードの表示画面の作成に用いられる。

　次に、ステップ２０４の処理の詳細を説明する。ステップ２０４の処理としては、図６に示す第１のＶＶ候補検出処理で検出されたＶＶをＶＶ候補とする。図６には、第１のＶＶ候補検出処理プログラムのフローチャートが示されている。

　ステップ２２４で、画像処理部１８２は、脈絡膜血管画像における各画素の血管走行方向を求める。具体的には、画像処理部１８２は、全ての画素に対して、下記の処理を繰り返す。即ち、画像処理部１８２は、画素を中心とした周囲の複数の画素で構成される領域（セル）を設定する。そして、セルの各画素における輝度の勾配方向（０度以上から１８０度未満の角度で示される。なお、０度は直線（水平線）の方向と定義する。）を、計算対象画素の周囲の画素の輝度値に基づいて計算する。この勾配方向の計算をセル内のすべての画素に対して行う。

　次に、勾配方向が０度、２０度、４０度、６０度、８０度、１００度、１２０度、１４０度、１６０度の９つのビン（各ビンの幅が２０度）があるヒストグラムを作成するため、各ビンに対応する勾配方向のセル内の画素数をカウントする。ヒストグラムの１つのビンの幅は２０度に相当し、０度のビンには、０度以上１０度未満と１７０度以上１８０度未満の勾配方向を持つ、セル内の画素数（カウント値）が設定される。２０度のビンは、１０度以上３０度未満の勾配方向を持つ、セル内の画素数（カウント値）が設定される。同様に、４０度、６０度、８０度、１００度、１２０度、１４０度、１６０度のビンのカウント値も設定される。ヒストグラムのビンの数が９であるので、画素の血管走行方向は９種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。各ビンにおけるカウント値（ヒストグラムの縦軸）は規格化がなされ、解析点に対するヒストグラムが作成される。

　次に、画像処理部１８２は、ヒストグラムから、解析点の血管走行方向を特定する。具体的には、最もカウント値の小さい角度（６０度であるとする）のビンを特定し、特定されたビンの勾配方向である６０度を画素の血管走行方向と特定する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい（例えば、血管と血管以外のものでは輝度の差が大きい）。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するビンのカウント値が少なくなる。同様にして、脈絡膜血管画像における各画素に対してヒストグラムを作成し、各画素の血管走行方向を算出する。算出された各画素の血管走行方向はメモリ１６４に記憶される。
　なお、血管走行方向は、本開示の技術の「脈絡膜血管構造」の一例である。

　ステップ２２６で、画像処理部１８２は、脈絡膜血管画像上に等間隔に、縦方向にＭ個、横方向にＮ個、合計Ｌ個の仮想の粒子の初期位置を設定する。例えば、Ｍ＝１０、Ｎ＝５０、であり、合計Ｌ＝５００個の初期位置を設定する。

　ステップ２２８で、画像処理部１８２は、最初の位置（Ｌ個の何れか）の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。
　以上の処理を、Ｌ個の全ての位置において実行する。Ｌ個すべての仮想の粒子に対して設定した移動回数行った時点で、仮想の粒子が一定個数以上集まっている点をＶＶ候補とする。ＶＶ候補位置は、第１のＶＶ候補としてメモリ１６４に記憶される。

　図６で説明した第１のＶＶ候補検出処理に変えて、図７に示す第２のＶＶ候補検出処理を用いてもよい。図７には、第２のＶＶ候補検出処理プログラムのフローチャートが示されている。

　ステップ２３４で、画像処理部１８２は、脈絡膜血管画像を、所定の閾値で、２値化し、図１０に示す２値化画像を作成する。ステップ２３６で、画像処理部１８２は、２値化画像に対し細線化処理を施すことにより、図１１に示す幅が１ピクセルの線画像に変換して、太さ情報を消去する。

　ステップ２３８で、画像処理部１８２は、線画像において、図１２に示すように、線が交差する血管交差点、線が分岐する血管分岐点、特徴的なパターンを有する血管特徴点を特定する。図１２は白点分布図であり、血管交差点、血管分岐点、血管特徴点が白点で表示されている。この白点をＶＶ候補位置とする。
　なお、血管交差点、血管分岐点、血管特徴点は、本開示の技術の「脈絡膜血管構造」の一例である。

　次に、図１３を参照して、図５のステップ２０６のＶＶ識別処理を説明する。ＶＶ識別処理は、図５のステップ２０４で検出されたＶＶ候補がＶＶであるか確かめる処理である。図１３のステップ２５２で、画像処理部１８２は、複数のＶＶ候補の各々を識別する識別番号ｎを１にセットし、ステップ２５４で、画像処理部１８２は、識別番号ｎにより識別されるＶＶ候補を選択する。

　ステップ２５６で、画像処理部１８２は、識別番号ｎにより識別されるＶＶ候補について、Ｌｏｇ－Ｐｏｌａｒ変換を用いて、ＶＶ候補位置周辺の脈絡膜血管画像の特徴量を算出する。具体的には、まず、ＶＶ候補ｎ位置を含む所定領域の画像データを脈絡膜血管画像から抽出する。ＶＶ候補位置に相当する画素を中心とした所定領域の画像を抽出し、抽出された画像に対してＬｏｇ－Ｐｏｌａｒ変換を行う。

　ＶＶ候補ｎが真のＶＶであれば、ＶＶ候補位置を含む所定領域の画像は、ＶＶ候補位置を中心として放射状に脈絡膜血管が走行している。つまり、図１４Ａに示すように、血管が所定位置（ＶＶ候補位置）に収束している。このような放射状に血管が走行している画像をＬｏｇ－Ｐｏｌａｒ変換すると、図１４Ｂのように縞模様Ｚ１が１つできる（縞模様の領域の画素値は他の領域より明るい値を示す）。縞模様の出現領域の幅(縞模様のθ方向の幅)はＬ１となり、縞模様の中心のθ軸上の位置はθ１となる。このような縞模様の特徴を、図１６Ａに示す単峰性であると定義する。

　これに対し、ＶＶ候補が真のＶＶでなければ、図１５Ａに示すように、ＶＶ候補位置を含む所定領域の画像は、斜めの線が複数ある画像となり、血管は収束しない。このような斜め線からなる画像をＬｏｇ－Ｐｏｌａｒ変換すると、図１５Ｂのように縞模様Ｚ２と縞模様Ｚ３が２つできる。縞模様Ｚ２の出現領域の幅（θ方向の幅）はＬ２、同様に縞模様Ｚ３の出現領域の幅はＬ３（Ｌ２＜Ｌ１、Ｌ３＜Ｌ１）となる。縞模様の中心位置のθ軸上の位置はそれぞれ、θ２とθ３となる。このような縞模様の特徴を、図１６Ｃに示す多峰性であると定義する。なお、図１６Ｂに示す双峰性の場合もある。

　本ステップ２５６では、Ｌｏｇ－Ｐｏｌａｒ変換された画像を解析し単峰性であるか多峰性であるかを示す特徴量を算出する。図１４Ａあるいは図１５Ａのθ方向毎にＲ方向の画素値を積算する処理を行い、図１６Ａから図１６Ｃに示すように、横軸をθ、縦軸を積算画素値としたグラフを作成する。このグラフの形状を表す物理量を特徴量とする。図１６Ａのような山の数が１つである場合を単峰性、図１６Ｂのような山の数が２つである場合を双峰性、図１６Ｃのような山の数が３以上である場合を多峰性という。例えば、山の数、各山のピークに対応するθ軸上の位置、各山の幅などを特徴量とする。

　ステップ２５８で、画像処理部１８２は、この特徴量に基づいて、ＶＶ候補の識別確率を算出する。ＶＶ候補の識別確率は、上記特徴量により定まる。例えば、山の数をｎ、各山のピークに対応するθ軸上の位置をθ、各山の幅をＷとすると、ＶＶ候補の識別確率Ｐは、ｎ、θ、Ｗの関数ｆ（ｎ、θ、Ｗ）で表される。即ち、
Ｐ＝ｆ（ｎ、θ、Ｗ）
である。

　上述したように、図１４Ａのような中心位置から放射状に脈絡膜血管が走行している画像は、Ｌｏｇ－Ｐｏｌａｒ変換により単峰性を示すことから、特徴量が単峰性を示す場合は識別確率が高くなる。また、図１５Ａのような斜め線からなる画像は、Ｌｏｇ－Ｐｏｌａｒ変換により多峰性を示すことから、識別確率は低くなる。また、同じ単峰性でも鋭い山の形状（山の幅が狭い）であれば緩やかな山形状（山の幅が広い）より識別確率は高くなる。よって、特徴量である図１６Ａから図１６Ｃのグラフ形状を解析することにより、識別確率を求めることができる。

　ステップ２６０で、画像処理部１８２は、求められた識別確率が基準確率（閾値を示す確率であり、例えば確率５０％）より大きいか否かを判断する。

　識別確率が基準確率より大きいと判断された場合には、ステップ２６２で、画像処理部１８２は、識別番号ｎにより識別されるＶＶ候補は、ＶＶであると識別して、ｎに対応してＶＶであることを示すＶＶフラグ情報を付与する。識別確率が基準確率より小さいと判断された場合には、ステップ２６４で、画像処理部１８２は、識別番号ｎにより識別されるＶＶ候補は、ＶＶではないと識別して、ｎに対応してＶＶでないことを示す非ＶＶフラグ情報を付与する。

　ステップ２６６で、画像処理部１８２は、識別番号ｎが、ＶＶ候補の総数Ｎか否かを判断することにより、全ＶＶ候補について以上の処理（ステップ２５４から２６６）が終了したか否かを判断する。全ＶＶ候補について以上の処理（ステップ２５４から２６６）が終了したと判断されなかった場合、ステップ２６８で、画像処理部１８２は、識別番号ｎを１インクリメントする。その後、ＶＶ識別処理はステップ２５４に戻る。全ＶＶ候補について以上の処理（ステップ２５４から２６６）が終了したと判断された場合、ＶＶ識別処理は終了する。

（画像ビューワ１５０による脈絡膜血管解析モード）
　次に、脈絡膜血管解析モードの表示画面のデータについて説明する。管理サーバ１４０は、以下の脈絡膜血管解析モード画面に表示させるコンテンツデータ（画像データや各種データ）を有する。

　まず、上記のように、眼科装置１１０から管理サーバ１４０には、眼底画像（第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像））の画像データが送信され、管理サーバ１４０は、眼底画像（第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像））の画像データを有する。管理サーバ１４０は、脈絡膜血管画像（図８参照）の画像データ、ＶＶとして検証されたＶＶの位置を眼底画像に重畳表示した画像（図１０参照）の画像データ、ＶＶの位置、ＶＶの個数、ＶＶ配置パターンのデータを有する。

　また、患者の眼底が撮影される際には、眼科装置１１０には、患者の個人情報が入力される。個人情報には、患者のＩＤ、氏名、年齢、及び視力等が含まれる。また、患者の眼底が撮影される際には、眼底が撮影される眼は、右眼なのか左眼を示す情報も入力される。更に、患者の眼底が撮影される際には、撮影日時も入力される。眼科装置１１０から管理サーバ１４０には、個人情報、右眼・左眼の情報、及び、撮影日時のデータが送信される。管理サーバ１４０は、個人情報、右眼・左眼の情報、及び、撮影日時のデータを有する。

　更に、眼軸長測定器１２０により患者の眼軸長が測定され、管理サーバ１４０には、眼軸長測定器１２０から、患者ＩＤに対応して患者の眼軸長のデータも送信され、管理サーバ１４０は、眼軸長のデータを有する。

　以上のように管理サーバ１４０は、以上の脈絡膜血管解析モード画面に表示させるためのコンテンツデータを有する。

　眼科医が、患者を診断する際に、画像ビューワ１５０に表示された絡膜血管解析モードの表示画面を見ながら診断を行う。その場合、眼科医は画像ビューワ１５０を介して、脈絡膜血管解析モード画面の表示要求を図示せぬメニュー画面を通じて管理サーバ１４０に送信する。当該要求を受信した管理サーバ１４０の表示制御部１８４は、画像ビューワ１５０に、指定された患者ＩＤのコンテンツデータを用いて、脈絡膜血管解析モードの表示画面を作成し、処理部１８６は、表示画面の画像データを送信する。
　なお、処理部１８６は、本開示の技術の「出力部」の一例である。
　脈絡膜血管解析モードの表示画面の画像データを受信した画像ビューワ１５０は、図１７に示す脈絡膜血管解析モードの表示画面３００を、画像ビューワ１５０のディスプレイに表示する。

　ここで、図１７に示す脈絡膜血管解析モードの表示画面３００を説明する。図１７に示すように、脈絡膜血管解析モードの表示画面３００は、患者の個人情報を表示する個人情報表示欄３０２、画像表示欄３２０、及び脈絡膜解析ツール表示欄３３０を有する。

　個人情報表示欄３０２は、患者ＩＤ表示欄３０４、患者氏名表示欄３０６、年齢表示欄３０８、眼軸長表示欄３１０、視力表示欄３１２、及び患者選択アイコン３１４を有する。患者ＩＤ表示欄３０４、患者氏名表示欄３０６、年齢表示欄３０８、眼軸長表示欄３１０、及び視力表示欄３１２に、各情報を表示する。なお、患者選択アイコン３１４がクリックされると、患者一覧を画像ビューワ１５０のディスプレイ１７２に表示し、解析する患者をユーザ（眼科医など）に選択させる。

　画像表示欄３２０は、撮影日付表示欄３２２Ｎ１、右眼情報表示欄３２４Ｒ、左眼情報表示欄３２４Ｌ、ＲＧ画像表示欄３２６、脈絡膜血管画像表示欄３２８、及び情報表示欄３４２を有する。なお、ＲＧ画像は、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とを、各画素値の大きさを所定の割合（例えば、１：１）で合成することにより得られる画像である。

　脈絡膜解析ツール表示欄３３０は、画像ビューワ１５０に対して処理を指示する複数の脈絡膜解析ツール、例えば、渦静脈位置アイコン３３２、対称性アイコン３３４、血管径アイコン３３６、渦静脈・黄斑/乳頭アイコン３３８、及び脈絡膜解析レポートアイコン
３４０を備える。渦静脈位置アイコン３３２は、渦静脈位置を特定することを指示する。対称性アイコン３３４は、渦静脈の対称性を解析することを指示する。血管径アイコン３３６は、脈絡血管の径を解析するツールを実行することを指示する。渦静脈・黄斑/乳頭
アイコン３３８は、渦静脈、黄斑、及び視神経乳頭の間の位置を解析することを指示する。脈絡膜解析レポートアイコン３４０は、脈絡膜解析レポートを表示することを指示する。

　画像ビューワ１５０の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。ビューワ１５０のユーザ（眼科医など）がアイコン等をクリックすると、画像ビューワ１５０から管理サーバ１４０に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ１５０からの指示信号を受信した管理サーバ１４０は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ１５０に送信する。管理サーバ１４０から画像データを受信した画像ビューワ１５０は、受信した画像データに基づいて画像をディスプレイ１７２に表示する。管理サーバ１４０での表示画面の生成処理は、ＣＰＵ１６２で動作する表示画面生成プログラムによって行われる。

　図１７に示す例は、患者ＩＤ：１２３４５６により識別される患者の右眼の眼底が（３２４Ｒのアイコンが点灯）、撮影日が２０１６年１月１日に撮影された場合のＲＧ画像及び脈絡膜血管画像が表示される。

　図１７の脈絡膜解析ツール表示欄３３０における渦静脈位置アイコン３３２がクリックされると、図１８に示される渦静脈に関する情報を表示する表示画面に変更される。図１８に示すように、画像ビューワ１５０は、ＶＶの位置に基づいて、ＲＧ画像表示欄３２６の中のＲＧ画像と、脈絡膜血管画像表示欄３２８の中の脈絡膜血管画像とに、ＶＶの位置を中心とした□（矩形）３２６Ｓ、３２８Ｓを表示する。なお、図１７では、ＲＧ画像又は脈絡膜血管画像のみを表示し、ＶＶの位置に基づいて、□（矩形）を、表示された画像に表示してもよい。
　脈絡膜血管画像表示欄３２８における□（矩形）３２６Ｓ、３２８Ｓが表示された脈絡膜血管画像は、本開示の技術の「渦静脈位置重畳眼底画像」の一例であり、□（矩形）３２６Ｓ、３２８Ｓは、本開示の技術の「マーク」の一例である。
　また、画像ビューワ１５０は、ＶＶの個数、ＶＶ位置パターンに基づいて、情報表示欄３４２に、ＶＶの個数が３、ＶＶ配置パターンがタイプＡを表示する。画像表示欄３２０には、識別確率表示アイコン３４６、及び拡大アイコン３４８が表示される。ＶＶ配置パターンは実際に検出された渦静脈（ＶＶ）の個数と位置だけでなく、瞼に隠れて撮影されていない部分も考慮して推測されるようにしてもよい。

　識別確率表示アイコン３４６がクリックされると、図１９に示すＶＶごとに識別確率が反映された表示画面に変更される。図１９に示すように、画像ビューワ１５０は、□（矩形）３２６Ｓ、３２８Ｓに、ＶＶ候補がＶＶであることの識別確率（例えば、９５％、８０％、５０％）を表示する。画像ビューワ１５０は、情報表示欄３４２に、ＶＶの個数が３であると共に、『Ｌｏｇ－Ｐｏｌａｒ処理結果に基づいて、識別確率を算出』というテキストを追加表示する。

　図１８の表示画面において、拡大アイコン３４８がクリックされると、ＶＶを含む領域が拡大された表示画面を表示する。図２０に示すように、画像ビューワ１５０は、□（矩形）３２８Ｓがクリックされると、クリックされたＶＶの部分の拡大画像を、ＲＧ画像表示欄３２６に代えて表示する。

　以上説明したように本実施の形態では、脈絡膜血管画像から渦静脈（ＶＶ）位置を検出し、渦静脈位置を示すマークを脈絡膜血管画像上に重畳表示している。

　また、広角光学系を用いたＳＬＯユニットにより、眼球中心からの角度で２００度以上の範囲の超広角のＵＷＦ－ＳＬＯ画像を得ることができる。ＵＷＦ－ＳＬＯ画像を用いることにより、眼球の赤道付近に存在する渦静脈を検出することができる。

　次に、本開示の技術の種々の変形例を説明する。
＜第１の変形例＞
　上記実施の形態における図６に示す第１のＶＶ候補検出処理、及び図７に示す第２のＶＶ候補検出処理では、計算負荷低減のため、脈絡膜血管画像全体ではなく、統計的に渦静脈（ＶＶ）が存在する確率の高い領域を検出対象領域とするようにしてもよい。

＜第２の変形例＞
　上記実施の形態における特徴量の算出（図１３のステップ２５６）をＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）で決定してもよい。深層学習などの方法を用い隠れ層構造などの形で明示的ではない縞模様を特定するようにしてもよい。

＜第３の変形例＞
　上記実施の形態では、管理サーバ１４０が、予め図５に示す画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。例えば、次のようにしてもよい。図１７に示す渦静脈位置アイコン３３２がクリックされた場合に、画像ビューワ１５０が管理サーバ１４０に渦静脈位置検出の命令を送信する。これに応じて管理サーバ１４０が、図５の画像処理プログラムのステップ２０２、２０４を実行して、図１８の表示画面を表示する。更に、識別確率表示アイコン３４６がクリックされた場合に、画像ビューワ１５０が管理サーバ１４０に識別確率を算出する命令を送信する。これに応じて管理サーバ１４０が、図５のステップ２０６、２０８を実行して、図１９の表示画面を表示する。

＜第４の変形例＞
　上記実施の形態では、眼科装置１１０により内部光照射角が２００度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で１００度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
＜第５の変形例＞
　上記実施の形態では、ＳＬＯ撮影ユニットを備えた眼科装置１１０により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、ＯＣＴアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。

＜第６の変形例＞
　上記実施の形態では、管理サーバ１４０が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置１１０又は画像ビューワ１５０が画像処理プログラムを実行するようにしてもよい。

＜第７の変形例＞
　上記実施の形態では、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０を備えた眼科システム１００を例として説明したが、本開示の技術はこれに限定されない。例えば、第１の例として、眼軸長測定器１２０を省略し、眼科装置１１０が、眼軸長測定器１２０の機能を更に有してもよい。また、第２の例として、眼科装置１１０が、管理サーバ１４０及び画像ビューワ１５０の少なくとも一方の機能を更に有してもよい。例えば、眼科装置１１０が管理サーバ１４０の機能を有する場合、管理サーバ１４０を省略することができる。この場合、画像処理プログラムは、眼科装置１１０又は画像ビューワ１５０が実行する。また、眼科装置１１０が画像ビューワ１５０の機能を有する場合、画像ビューワ１５０を省略することができる。第３の例として、管理サーバ１４０を省略し、画像ビューワ１５０が管理サーバ１４０の機能を実行するようにしてもよい。

＜その他の変形例＞
　上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

Claims (19)

1. 　眼底画像から脈絡膜血管構造を解析するステップと、
   　前記脈絡膜血管構造に基づいて、渦静脈位置を検出するステップと、
   　を含む画像処理方法。
2. 　前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を作成するステップを含むことを特徴とする請求項１に記載の画像処理方法。
3. 　前記脈絡膜血管構造を解析するステップは、
   　血管走行方向を解析するステップを含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 　前記脈絡膜血管構造を解析するステップは、
   　血管分岐点あるいは血管特徴点を解析するステップを含むことを特徴とする請求項１または２に記載の画像処理方法。
5. 　前記眼底画像は、脈絡膜血管が強調された脈絡膜血管画像であることを特徴とする請求項１から４の何れか１項に記載の画像処理方法。
6. 　検出された渦静脈の個数を特定することを特徴とする請求項１から５の何れか１項に記載の画像処理方法。
7. 　眼底画像から脈絡膜血管構造を解析し、前記脈絡膜血管構造に基づいて、渦静脈位置を検出する画像処理部を有する画像処理装置。
8. 　前記画像処理部は、
   　前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を作成する、ことを特徴とする請求項７に記載の画像処理装置。
9. 　前記渦静脈位置重畳眼底画像に基づく画像信号を出力する出力部をさらに有する請求項８に記載の画像処理装置。
10. 　コンピュータに、請求項１から請求項６の何れか１項に記載の画像処理方法を実行させるためのプログラム。
11. 　眼底画像から脈絡膜血管構造を解析し、前記脈絡膜血管構造に基づいて、渦静脈位置を検出する画像処理部を含むサーバと、
    　前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を表示するビューワと、
    　を備えた眼科システム。
12. 　さらに被検者の眼底画像を取得する眼科装置と、を有する請求項１１に記載の眼科システム。
13. 　前記サーバと前記ビューワはネットワークで接続されていることを特徴とする請求項１１又は請求項１２に記載の眼科システム。
14. 　前記サーバ、前記ビューワ、及び前記眼科装置はネットワークで接続されていることを特徴とする請求項１２に記載の眼科システム。
15. 　脈絡膜血管画像を生成するステップと、
    　前記脈絡膜血管画像を解析し、渦静脈の位置を検出するステップと、
    　を含む画像処理方法。
16. 前記渦静脈の位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成するステップをさらに含むことを特徴とする請求項１５に記載の画像処理方法。
17. 前記脈絡膜血管画像は、超広角の眼底画像を画像処理することにより得られた画像であることを特徴とする請求項１５または１６の画像処理方法。
18. 前記脈絡膜血管画像は、赤色光で撮影された第１眼底画像と緑色光で撮影された第２眼底画像とに基づいて生成された画像であることを特徴とする請求項１５または１６の画像処理方法。
19. 　脈絡膜血管画像を生成し、前記脈絡膜血管画像を解析し渦静脈の位置を検出する画像処理部と、
    前記渦静脈の位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成する表示制御部と、
    　渦静脈位置重畳眼底画像を出力する出力部と、
    を備えた画像処理装置。

Images