JP7248142B2 - 画像処理方法、画像処理装置、プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置、プログラムに関する。

米国特許８６３６３６４号明細書には、眼底画像から渦静脈の位置を特定することが開示されている。

眼底底像において異常領域を検出できることが望まれている。

本開示の技術の第１の態様の画像処理方法は、プロセッサが、超広角眼底画像の眼底領域を少なくとも第１領域と第２領域と含む複数領域に分割し、前記プロセッサが、前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成し、前記プロセッサが、前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成する、ことを含む

本開示の技術の第２の態様の画像処理方法は、プロセッサが、超広角眼底画像の眼底領域を、脈絡膜血管網の分水嶺に応じて複数領域に分割し、前記プロセッサが、前記複数領域の各々を各々の領域に対応する態様で表示することを指示する複数の態様指示情報を生成する、ことを含む画像処理方法。

本開示の技術の第３の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、超広角眼底画像の眼底領域を少なくとも第１領域と第２領域と含む複数領域に分割し、前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成し、前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成する。

本開示の技術の第４の態様のプログラムは、コンピュータに、超広角眼底画像の眼底領域を少なくとも第１領域と第２領域と含む複数領域に分割し、前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成し、前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成する、ことを実行させる。

眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 サーバ１４０の電気系の構成のブロック図である。 サーバ１４０のＣＰＵ２６２の機能のブロック図である。 サーバ１４０による画像処理のフローチャートである。 図５のステップ５０４の領域分割処理のフローチャートである。 図６のステップ５０６の属性情報生成処理のフローチャートである。 網膜血管画像における血管画像部分で閉じられている部分を示す図である。 血管画像部分で閉じられていない部分が、血管画像部分と、網膜血管画像及び背景領域との境界とで閉じられていることを示す図である。 血管画像部分で閉じられていない部分における網膜血管画像及び背景領域との境界に輪郭線が設定された様子を示す図である。 複数領域に識別情報を付与した様子を示す図である。 第１眼底画像表示画面１０００Ａを示す図である。 第２眼底画像表示画面１０００Ｂを示す図である。 図５のステップ５０４の領域分割処理の他の例のフローチャートである。 図６のステップ５０６の属性情報生成処理の他の例のフローチャートである。 ＵＷＦ眼底画像Ｇ１を示す図である。 脈絡膜血管画像Ｇ２を示す図である。 視神経乳頭ＯＮＨと黄斑Ｍとを通る線ＬＨと、線ＬＨに垂直な線ＬＶが設定されたＵＷＦ眼底画像Ｇ１を示す図である。 ４つの渦静脈の位置が検出された様子を示す図である。 脈絡膜血管画像を、分水嶺を基準に複数の領域に分割した様子を示す図である。 第３眼底画像表示画面１０００Ｃを示す図である。

以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。

図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「サーバ」という）１４０と、画像表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって患者の眼底が撮影されることにより得られた眼底画像を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０から取得した眼底画像などの医療情報を表示する。

眼科装置１１０、眼軸長測定器１２０、サーバ１４０、およびビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。

次に、図２を参照して、眼科装置１１０の構成を説明する。

説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。

なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。

眼科装置１１０は、撮影装置１４および制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８、ＯＣＴユニット２０、および撮影光学系１９を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。

制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）１６Ｃ、および入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。

制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。

また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１６Ｇを備えている。画像処理装置１６Ｇは、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。制御装置１６はＩ／Ｏポート１６Ｄに接続された通信インターフェース（Ｉ／Ｆ）１６Ｆを備えている。眼科装置１１０は、通信インターフェース（Ｉ／Ｆ）１６Ｆおよびネットワーク１３０を介して眼軸長測定器１２０、サーバ１４０、およびビューワ１５０に接続される。

上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。

撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、およびＯＣＴユニット２０を含む。撮影光学系１９は、第１光学スキャナ２２、第２光学スキャナ２４、および広角光学系３０を含む。

第１光学スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、およびＹ方向に２次元走査する。第２光学スキャナ２４は、ＯＣＴユニット２０から射出された光をＸ方向、およびＹ方向に２次元走査する。第１光学スキャナ２２および第２光学スキャナ２４は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。

広角光学系３０は、共通光学系２８を有する対物光学系（図２では不図示）、およびＳＬＯユニット１８からの光とＯＣＴユニット２０からの光を合成する合成部２６を含む。

なお、共通光学系２８の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。

楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。

広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。

内部照射角の２００度は、本開示の技術の「所定値」の一例である。

ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ Ｆｉｅｌｄ（超広角）の略称を指す。もちろん、内部照射角で１６０度未満の撮影画角で眼底を撮影することにより、ＵＷＦではないＳＬＯ画像を取得することができる。

ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、および撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。

ＳＬＯユニット１８は、複数の光源、例えば、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、およびＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射または透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５６、５２で反射して、それぞれ１つの光路に導かれる。

ＳＬＯユニット１８は、Ｇ光、Ｒ光、およびＢ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。

ＳＬＯユニット１８から撮影光学系１９に入射された光は、第１光学スキャナ２２によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、被検眼１２の後眼部に照射される。眼底により反射された反射光は、広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射される。

ＳＬＯユニット１８は、被検眼１２の後眼部（例えば、眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。

ＳＬＯユニット１８は、複数の光源に対応して複数の光検出素子を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、およびビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、およびビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。

広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。

ＵＷＦ－ＳＬＯ画像（後述するようにＵＷＦ眼底画像、オリジナル眼底画像ともいう）には、眼底がＧ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｇ色眼底画像）と、眼底がＲ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像）とがある。ＵＷＦ－ＳＬＯ画像には、眼底がＢ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｂ色眼底画像）と、眼底がＩＲで撮影されて得られたＵＷＦ－ＳＬＯ画像（ＩＲ眼底画像）とがある。

また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像およびＲ色眼底画像が得られる。Ｇ色眼底画像およびＲ色眼底画像からＲＧカラー眼底画像が得られる。

このようにＵＷＦ－ＳＬＯ画像として、具体的には、Ｂ色眼底画像、Ｇ色眼底画像、Ｒ色眼底画像、ＩＲ眼底画像、ＲＧＢカラー眼底画像、ＲＧカラー眼底画像がある。ＵＷＦ－ＳＬＯ画像の各画像データは、入力／表示装置１６Ｅを介して入力された患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＳＬＯ画像の各画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。なお、患者の情報には、例えば、患者名ＩＤ、氏名、年齢、視力、右眼／左眼の区別等がある。患者の情報はオペレータが入力／表示装置１６Ｅを介して入力する。

ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影と同様に、広いＦＯＶ１２Ａでの眼底撮影を可能とする。ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。

光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、第２光学スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３０および第２光学スキャナ２４を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。

光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。

第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。

ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＯＣＴ眼底画像をＵＷＦ－ＯＣＴ画像と称する。もちろん、内部照射角で１６０度未満の撮影画角でＯＣＴデータを取得することができる。

ＵＷＦ－ＯＣＴ画像の画像データは、患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＯＣＴ画像の画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。

なお、本実施の形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。

次に、眼軸長測定器１２０を説明する。眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。

眼軸長測定器１２０は、第１のモードまたは第２のモードにより測定された眼軸長をサーバ１４０に送信する。第１のモードおよび第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ１４０に送信する。サーバ１４０は、患者の眼軸長を患者名ＩＤに対応して記憶する。

次に、図３を参照して、サーバ１４０の電気系の構成を説明する。図３に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、バス２７０により相互に接続されたＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、および入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ＲＯＭ２６４に記憶してもよい。

画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置２５４、ＲＯＭ２６４は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。ＣＰＵ２６２は、本開示の技術の「プロセッサ」の一例である。

サーバ１４０の後述する処理部２０８（図５も参照）は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶する。具体的には、処理部２０８は記憶装置２５４に、ＵＷＦ－ＳＬＯ画像の各画像データおよびＵＷＦ－ＯＣＴ画像の画像データと患者の情報（上記のように患者名ＩＤ等）とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置１１０の入力/表示装置１６Ｅを介して病変の情報が入力され、サーバ１４０に送信される。病変の情報は患者の情報と対応付けられて記憶装置２５４に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。

ビューワ１５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータとディスプレイとを備え、ＲＯＭには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ１４０から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。

次に、図４を参照して、サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能（分割機能、生成機能、塗り分け機能）、および処理機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、図４に示すように、表示制御部２０４、画像処理部２０６（分割部２０６０、生成部２０６２、塗り分け部２０６４）、および処理部２０８として機能する。

次に、図５を用いて、サーバ１４０による画像処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図５のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置１１０によりＵＷＦ眼底画像（ＵＷＦ－ＳＬＯ画像）が、取得され、患者名ＩＤと共にサーバ１４０に送信され、サーバ１４０が、患者名ＩＤおよびＵＷＦ眼底画像を受信した場合に、スタートする。

ステップ５０２で、処理部２０８は、記憶装置２５４から、ＵＷＦ眼底画像（オリジナル眼底画像）を取得する。処理部２０８は、例えば、Ｒ色眼底画像、Ｇ色眼底画像、ＲＧＢカラー眼底画像を取得する。

ステップ５０４で、画像処理部２０６は、ＵＷＦ眼底画像の眼底領域を少なくとも第１領域と第２領域とを含む複数領域に分割し、ステップ５０６で、画像処理部２０６は、各領域の属性情報を生成する。

本開示の技術では、ステップ５０４の領域分割処理には、複数の異なる処理が適用可能である。例えば、血管を領域の境界とする第１の処理と、脈絡血管網の分水嶺を領域の境界とする第２の処理等がある。なお、本実施の形態のステップ５０４の領域分割処理では、第１の処理が採用される。第２の処理は、後述するように、第２の実施の形態のステップ５０４の領域分割処理で採用される。

図６を参照して、血管を領域の境界とする第１の処理を説明する。

ステップ６０２で、分割部２０６０は、ＵＷＦ眼底画像のうちＧ色眼底画像から網膜血管を抽出する。Ｇ色眼底画像を用いるのは、Ｇ色（緑色に相当する波長）の光は、眼底の網膜が位置する深さに到達するので、網膜の構造物を可視化するのに適しているからである。Ｇ色眼底画像では、網膜血管は黒く可視化される。これは網膜血管が光を吸収するためである。

具体的には、分割部２０６０は、Ｇ色眼底画像内で、周辺の画素よりも画素値が小さい画素を含む領域を網膜血管領域として抽出することにより、網膜血管画像を生成する。より具体的には、分割部２０６０は、Ｇ色眼底画像に対してブラックハット処理を施す。ブラックハット処理は、クロージングした画像から元画像を差し引く処理であり、元画像においてホコリやノイズの場所を白い点として抽出する処理を意味する。Ｇ色眼底画像にブラックハット処理を施すことにより、黒い画素である網膜血管の画素の場所が白い画素として抽出される。つまり、網膜血管の領域が白画素でありそれ以外の領域が黒画素である二値化画像である網膜血管画像が生成される。

ステップ６０４で、分割部２０６０は、網膜血管画像における網膜血管領域の中心線を求めることにより細線化する。具体的には、分割部２０６０は、細線化処理（Ｈｉｌｄｉｃｈの方法などによる、二値化された画像において、線の中心１画素だけを残すように線を細くする処理）を網膜血管画像に施すことにより細線化する。図８に示す網膜血管が細線化された画像（スケルトン画像）が得られる。スケルトン画像は細線化処理による中心線が白い画素で示されている。

ステップ６０６で、分割部２０６０は、スケルトン画像（図８参照）を少なくとも第１領域と第２領域とを含む複数領域に分割（抽出）する。

具体的には、分割部２０６０は、スケルトン画像において、網膜血管の中心線を複数の区間に分割する。図８はスケルトン画像の視神経乳頭（図８のＯＮＨ）から下のエリアを分割した例を示している。分割は、分岐点や合流点を抽出する（図８における黒丸やＯＮＨを示す丸印）。

次に、分割部２０６０は、分岐点と分岐点とで定義される中心線の線分を区間として抽出する。図８には、ｔ１～ｔ５までの５つの区間が抽出された様子が示されている。
そして、分割部２０６０は、複数の区間に囲まれた領域を抽出する。図９では、区間ｔ１、ｔ２、ｔ３、t４、ｔ５により囲まれた領域Ｐが抽出される。さらに、分割部２０６０は、領域Ｐの輪郭を示す輪郭線１を設定する。分割部２０６０は、このように、区間の抽出、領域の抽出、輪郭線の設定をスケルトン画像の全体に対して行い、スケルトン画像を複数の領域に分割する処理を完了させる。

ところで、スケルトン画像において、眼底の血管に対応する区間で閉じていない領域も存在する。例えば、図９に示すように、輪郭の一部が区間ｔ６、ｔ３、ｔ７、ｔ８であるが、残りの輪郭の部分が、血管に起因しない輪郭、即ち、スケルトン画像の辺縁の区間ｋ（背景領域と眼底領域との境界の区間）に囲まれた領域Ｑも存在する。
この場合、分割部２０６０は、区間ｋを輪郭の一部として強制的に認識する。図９に示す区間ｔ６、ｔ３、ｔ７、ｔ８に相当する輪郭線と区間ｋによる輪郭線との和が、図１０に示すように、領域Ｑの輪郭線２として抽出される。分割部２０６０は、輪郭線２が設定された領域Ｑとして分割する。このようなスケルトン画像の辺縁が輪郭の一部となっている領域は、眼底周辺領域（眼底周辺という属性を有する領域）として認識される。

ステップ６０８で、分割部２０６０は、上記抽出した各領域に、識別情報を付与する。例えば、図１１に示すように、分割部２０６０は、領域Ｐに、識別情報（ＩＤ）として、ｎ＝１、別の領域Ｑに、識別情報（ＩＤ）としてｎ＝２を付与する等である。

ステップ６０８の識別情報付与処理が終了すると、図５のステップ５０４の領域分割処理が終了し、画像処理は、ステップ５０６の属性情報生成処理（図７参照）に移行する。

図７のステップ７０２で、生成部２０６２は、ＵＷＦ眼底画像（例えば、ＲＧＢカラー眼底画像）を読み出し、ステップ７０４で、生成部２０６２は、領域の識別情報（ＩＤ）を読み出す。

ステップ７０６で、生成部２０６２は、属性情報として、領域ごとの平均輝度を算出する。具体的には、生成部２０６２は、領域の識別情報である変数ｎを０にセットし、変数ｎを１インクリメントする。生成部２０６２は、ＵＷＦ眼底画像において、変数ｎで識別される領域に対応する部分の複数の画素値を取得し、取得した複数の画素値に基づいて、領域ｎの平均輝度を算出する。生成部２０６２は、変数ｎが、領域の総数Ｎになるまで、領域ｎの平均輝度の算出を繰り返す。これにより、全ての領域の各々について属性情報である平均輝度が算出される。

全ての領域の各々についての平均輝度は、当該領域に対応する眼底の物理情報、より具体的には、当該領域に対応する眼底の光学的情報（例えば、「光の反射率に関連する情報」）であり、本開示の技術の「第１属性情報」、「第２属性情報」の一例である。具体的には、図９に示す血管画像部分ｔ１からｔ５で閉じている領域Ｐの平均輝度は、本開示の技術の「第１属性情報」の一例である。また、図９に示す眼底の血管に対応する血管画像部分と、図１０に示す眼底領域と背景画像との境界部分とで閉じている領域Ｑ２の平均輝度は、本開示の技術の「第２属性情報」の一例である。

属性情報としては、各領域の平均輝度に代えて、各領域の画素値の最大輝度値、最小輝度値、最大輝度値および最小輝度値の差、商、積の値を用いてもよい。

また、属性情報としては、平均輝度の範囲のランクを用いてもよい。具体的には、次の通りである。平均輝度の範囲のランクとして、平均輝度が低い第１の範囲をランク１、平均輝度が第１の範囲より高い第２の範囲をランク２として予め定めておく。生成部２０６２は、各領域の平均輝度から、ランク１とランク２の何れのランクに属するか判断する。生成部２０６２は、平均輝度が第１の範囲に属する領域に対しては、ランク１に属することを示す情報を対応付ける。生成部２０６２は、平均輝度が第２の範囲に属する領域に対しては、ランク２に属することを示す情報を対応付ける。 ランク１に属することを示す情報及びランク２に属することを示す情報は、本開示の技術の「属性情報」の一例である。

更に、生成部２０６２は、各領域の網膜神経線維層（ＲＮＦＬ（Ｒｅｔｉｎａｌ Ｎｅｒｖｅ Ｆｉｂｅｒ Ｌａｙｅｒ））や脈絡膜層の厚さも算出する。なお、これらの層の厚さは、ＯＣＴデータに基づいて生成される。断層画像のセグメンテーションを行い、網膜神経線維層や脈絡膜層などの網膜の各層を特定する。各領域の網膜神経線維層および脈絡膜層の厚さの平均値を求める。各領域の網膜神経線維層および脈絡膜層の厚さの平均値は、属性情報の一例であり、本開示の技術の「眼底の層の厚さに関連した情報」の一例である。

各層の厚さの平均値に代えて、各領域の層の厚さの最大値、最小値、最大値および最小値の差、商、積の値、あるいはそれらの組み合わせを属性情報としてもよい。

ところで、上記複数の領域には、正常な領域の他に、異常な領域があり得る。正常な領域は、例えば、正常という属性を示す第１属性を有する。異常な領域は、例えば、異常という属性を示す第２属性を有する。異常な領域は、例えば、病変あるいは無灌流領域（ＮＰＡ（Ｎｏｎ Ｐｅｒｆｕｓｉｏｎ Ａｒｅａ）を含む領域である。

ここで、無灌流領域（ＮＰＡ）は、眼底において、網膜毛細血管床の閉塞、網膜血管あるいは脈絡膜血管の疾患による血流障害などにより、血液が流れていないまたはほとんど流れていない眼底領域である。眼底において、無血管もしくは血管が粗な領域である無血管領域（ＡＶＡ（ａｖａｓｃｕｌａｒ ａｒｅａ））でもある。

無灌流領域は、網膜血管画像から第１の暗さよりも暗い複数の画素を抽出し、抽出した複数の画素から、第１の暗さ以下の暗い画素が連続する所定面積以上の面積の領域を検出することにより、検出される無灌流領域を検出する方法としては、国際公開第２０１９／１３０５８３号に記載された方法でもよい。２０１９年７月４日に国際公開された国際公開第２０１９／１３０５８３号の開示は、その全体が参照により本明細書に取り込まれる。

領域が正常な領域である場合の、正常という属性を示す第１属性、及び領域が異常な領域である場合の、異常という属性を示す第２属性を、属性情報として用いることができる。
正常な眼底領域は、本開示の技術の「第１領域」の一例であり、異常な眼底領域は、本開示の技術の「第２領域」の一例である。

ステップ７０８の平均輝度保存処理が終了すると、図５のステップ５０６の属性情報の生成処理が終了し、画像処理は、ステップ５０８の属性付与処理に移行する。

ステップ５０８で、処理部２０８は、変数ｎで識別される領域ごとに、属性を付与する。具体的には、処理部２０８は、変数ｎと対応づけて、属性情報、例えば、平均輝度を、記憶装置２５４に記憶する。

ステップ５０８の属性付与処理が終了すると、画像処理は、ステップ５１０に移行する。ステップ５１０で、塗り分け部２０６４は、領域を、その領域の属性に従って可視化するための可視化データを作成する。

属性情報として平均輝度が算出された場合の可視化データについて説明する。なお、詳細には後述するが、可視化データに基づいて各領域が可視化された様子が、図１２の領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに示されている。

まず、平均輝度の取り得る範囲Ｄ０からＤ２５６を複数の輝度範囲に分割しておく。例えば、輝度Ｄ０からＤ２５６を、複数、例えば、第１輝度範囲Ｋ１から第４の輝度範囲Ｋ４に分割する。例えば、第１輝度範囲Ｋ１は輝度Ｄ２５６からＤ１９２、第２輝度範囲Ｋ２は輝度Ｄ１９２からＤ１２８、第３輝度範囲Ｋ３は輝度Ｄ１２８からＤ６４、第４の輝度範囲Ｋ４は輝度Ｄ６４からＤ０である。なお、４個の輝度範囲に限定されず、２、３、５、６個などでもよい。

各輝度範囲について、互いに異なる色を対応付けておく。例えば、第１輝度範囲Ｋ１に黄色、第２輝度範囲Ｋ２にオレンジ色、第３輝度範囲Ｋ３に緑色、第４の輝度範囲Ｋ４に青色を対応付けておく。

ステップ５１０では、塗り分け部２０６４は、各領域について、記憶装置２５４から平均輝度を読み出す。塗り分け部２０６４は、読み出した平均輝度が、第１輝度範囲Ｋ１から第４の輝度範囲Ｋ４の何れに属するか判断し、属すると判断された輝度範囲に対応付けられている色の情報を特定する。

色の情報により後述するように領域の表示態様が当該色の態様で表示されることが指示される。色の情報が、本開示の技術の「第１態様指示情報」および「第２態様指示情報」の一例である。具体的には、図９に示す血管画像部分ｔ１からｔ５で閉じている領域Ｐの平均輝度に対応して特定された色の情報は、本開示の技術の「第１態様指示情報」の一例である。また、図１０に示す眼底の血管に対応する血管画像部分と、眼底領域と背景画像との境界部分とで閉じている領域Ｑ２の平均輝度に対応して特定された色の情報は、本開示の技術の「第２態様指示情報」の一例である。

眼科医は、患者の被検眼を診察する際、患者名ＩＤをビューワ１５０に入力する。ビューワ１５０はサーバ１４０に、患者名ＩＤに対応する被検眼の画像データ等を送信するように指示する。サーバ１４０は、患者名ＩＤに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データ等を、患者名ＩＤと共に、ビューワ１５０に送信する。

画像データ等には、ＵＷＦ眼底画像、網膜血管画像、脈絡膜血管画像、各種類の各領域の位置情報、識別情報、平均輝度、および色の情報が含まれる。

患者名ＩＤ、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、およびの画像データを受信したビューワ１５０は、図１２に示す第１眼底画像表示画面１０００Ａをディスプレイに表示する。

図１２に示すように、第１眼底画像表示画面１０００Ａは、患者情報表示欄１００２と、第１眼底画像情報表示欄１００４Ａとを備えている。

患者情報表示欄１００２は、患者名ＩＤ、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長を表示するための、各々の表示欄１０１２から１０２２と、画面切替ボタン１０２４とを有する。表示欄１０１２から１０２２に、受信した患者名ＩＤ、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長が表示される。

第１眼底画像情報表示欄１００４Ａは、撮影日表示欄１０３０、ＵＷＦ眼底画像表示欄１０３２Ａ１、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂ、輝度範囲色表示欄１０３２Ｃ、情報表示欄１０３４、および属性切替ボタン１０３６を備えている。

撮影日表示欄１０３０に撮影日（ＹＹＹＹ/ＭＭ/ＤＤ）が表示される。情報表示欄１０３４には、ユーザ（眼科医）の診察時のコメントやメモがテキストとして表示される。

ＵＷＦ眼底画像表示欄１０３２Ａ１には、オリジナルのＵＷＦ眼底画像が表示される。
なお、網膜血管画像でもスケルトン画像が表示されてもよい。

領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂには最初は画像が表示されない。

属性切替ボタン１０３６は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに表示する画像を選択するためのボタンである。属性切替ボタン１０３６が操作されると、プルダウンメニュー１０３６ＰＤＭが表示される。プルダウンメニュー１０３６ＰＤＭには、例えば、「ＮＰＡ」、「ＲＮＦＬ厚み」、および「脈絡膜厚み」の３つのメニューがある。

「ＮＰＡ」は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、オリジナルのＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳された画像を表示させることを指示する。

「ＲＮＦＬ厚み」は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳され、ＲＮＦＬ厚みが表示可能な画像を表示することを指示する。

「脈絡膜厚み」は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳され、脈絡膜厚みが表示可能な画像を表示することを指示する。

図１２には、プルダウンメニュー１０３６ＰＤＭにおいて「ＮＰＡ」が選択された場合の画面の内容が示されている。領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳された画像が表示されている。

各領域の識別情報には色の情報が対応付けられているので、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂでは、重畳された領域が、色の情報により指示された色で表示される。

プルダウンメニュー１０３６ＰＤＭにおいて、「ＲＮＦＬ厚み」が選択された場合、ビューワ１５０は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳され、ＲＮＦＬ厚みが表示可能な画像を表示する。

プルダウンメニュー１０３６ＰＤＭにおいて、「脈絡膜厚み」が選択された場合、ビューワ１５０は、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂに、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳され、脈絡膜厚みが表示可能な画像を表示する。

図１２の画面切替ボタン１０２４が操作された場合、ビューワ１５０は、図１３に示す第２眼底画像表示画面１０００Ｂをディスプレイに表示する。

第１眼底画像表示画面１０００Ａと第２眼底画像表示画面１０００Ｂとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。

第２眼底画像表示画面１０００Ｂは、図１２のＵＷＦ眼底画像表示欄１０３２Ａ１に代えて、ＵＷＦ眼底画像に無潅流領域（ＮＰＡ）の領域が重畳された画像を表示するＵＷＦ眼底画像表示欄１０３２Ａ２を備えている。

ＵＷＦ眼底画像表示欄１０３２Ａ２において、ＵＷＦ眼底画像に重畳された無潅流領域（ＮＰＡ）の領域が、カーソル（矢印参照）を合わせることにより、選択されると、ビューワ１５０は、選択された領域の平均輝度（例えば、１．００）をカーソルに対応して表示する。

以上説明したように、本実施の形態では、超広角眼底画像の眼底領域を少なくとも第１領域と第２領域とを含む複数領域に分割し、第１領域の属性を示す第１属性情報および第２領域の属性を示す第２属性情報を生成する。第１領域を第１属性情報に対応した第１態様で表示することを指示する第１態様指示情報と、第２領域を第２属性情報に対応した第２態様で表示することを指示する第２態様指示情報とを生成する。第１領域が、第１態様指示情報により指示された第１態様で表示され、第２領域が、第２態様指示情報により指示された第２態様で表示される。よって、眼底内の個々の領域の状態を他の領域の状態と区別して把握することができる。

次に、本発明の第２の実施の形態を詳細に説明する。第２の実施の形態の構成は、第１の実施の形態の構成と同様であるので、同一部分には同一の符号を付してその説明を省略する。

次に、第２の実施の形態の画像処理を説明する。上記のように、第２の実施の形態では、第１の実施の形態とは、ステップ５０４の領域分割処理及びステップ５０６の属性情報生成処理の内容が次のように異なる。

図１４には、第２の実施の形態におけるステップ５０４の領域分割処理のフローチャートが示されている。

ステップ１２０２で、分割部２０６０は、脈絡膜血管網の分水嶺を抽出する。以下、ステップ１２０２の分水嶺抽出処理を説明する。

分割部２０６０は、記憶装置２５４から、ＵＷＦ眼底画像Ｇ１（オリジナル眼底画像、具体的には、Ｒ色眼底画像とＧ色眼底画像（図１６参照））を取得する。

分割部２０６０は、脈絡膜血管画像を、以下のようにして生成する。

まず、Ｒ色眼底画像とＧ色眼底画像とに含まれる情報を説明する。

眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、Ｒ色眼底画像には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、Ｇ色眼底画像には、網膜に存在する血管（網膜血管）の情報のみが含まれる。

分割部２０６０は、ブラックハットフィルタ処理をＧ色眼底画像に施すことにより、Ｇ色眼底画像から網膜血管を抽出する。次に、処理部２０８は、Ｒ色眼底画像から、Ｇ色眼底画像から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、Ｇ色眼底画像から抽出された網膜血管の位置情報を用いてＲ色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、分割部２０６０は、網膜血管が除去されたＲ色眼底画像の画像データに対し、適応ヒストグラム均等化処理（ＣＬＡＨＥ、Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、Ｒ色眼底画像において、脈絡膜血管を強調する。これにより、図１７に示すように、脈絡膜血管画像Ｇ２が得られる。生成された脈絡膜血管画像は記憶装置２５４に記憶される。

また、Ｒ色眼底画像とＧ色眼底画像から脈絡膜血管画像を生成しているが、分割部２０６０は、Ｒ色眼底画像Ｒ色眼底画像あるはＩＲ光で撮影されたＩＲ眼底画像を用いて脈絡膜血管画像を生成してもよい。

脈絡膜眼底画像を生成する方法について、２０１８年３月２０日に出願された特願２０１８－０５２２４６の開示は、その全体が参照により、本明細書に取り込まれる。

分割部２０６０は、黄斑Ｍと視神経乳頭ＯＮＨとの各々の位置を検出する。まず、分割部２０６０は、記憶装置２５４から、脈絡膜血管画像Ｇ２とＧ色眼底画像を読み込む。

黄斑はＧ色眼底画像において暗い領域である。そこで、分割部２０６０は、上記読み出したＧ色眼底画像において画素値が最も小さい所定数の画素の領域を黄斑Ｍの位置として検出する。

分割部２０６０は、Ｇ色眼底画像から視神経乳頭ＯＮＨの位置を検出する。具体的には、分割部２０６０は、上記読み出したＧ色眼底画像に対して、予め定まる視神経乳頭ＯＮＨの画像のパターンマッチングをすることにより、Ｇ色眼底画像において視神経乳頭ＯＮＨを検出する。また、視神経乳頭ＯＮＨはＧ色眼底画像において最も明るい領域であるので、上記読み出したＧ色眼底画像において画素値が最も大きい所定数の画素の領域を視神経乳頭ＯＮＨの位置として検出するようにしてもよい。

ところで、Ｒ光とＧ光を同時に眼底に走査して得られたＲ色眼底画像およびＧ色眼底画像を処理することにより、脈絡膜血管画像が作成される。従って、Ｇ眼底画像の座標系を脈絡膜血管画像の座標系に重ねると、Ｇ眼底画像の座標系の各位置は、脈絡膜血管画像の座標系の各位置と同じである。よって、Ｇ色眼底画像から検出された黄斑Ｍおよび視神経乳頭ＯＮＨの各々の位置に相当する脈絡膜血管画像上の各位置は、黄斑および視神経乳頭の各々の位置である。

よって、Ｇ色眼底画像に代えて脈絡膜血管画像から黄斑および視神経乳頭の位置を検出するようにしてもよい。

分割部２０６０は、図１８に示すように、ＵＷＦ眼底画像Ｇ１において、黄斑Ｍの位置と視神経乳頭ＯＮＨとの位置を結ぶ線ＬＨを、第１分水嶺ＬＨとして設定し、視神経乳頭ＯＮＨの位置を通り、線ＬＨに垂直な線ＬＶを、第２分水嶺ＬＶとして検出する。

ところで、分水嶺は、脈絡膜血管の密度が他の領域より低い領域（脈絡膜血管が脈絡膜血管の平均密度より小さい領域）である。一般的に渦静脈が４つの正常眼であれば、黄斑Ｍの位置と視神経乳頭ＯＮＨとの位置を結ぶ線ＬＨの領域、および視神経乳頭ＯＮＨの位置を通り、線ＬＨに垂直な線ＬＶの領域は、脈絡膜血管の密度が低い領域である。
そこで、本実施の形態では、線ＬＨを、第１分水嶺として検出、線ＬＶを、第２分水嶺として規定する。なお、本開示の技術では、分割部２０６０は、脈絡膜血管画像を複数の領域に分割し、各領域について脈絡膜血管の密度を検出し、密度のより小さい領域をたどることにより、分水嶺を抽出してもよい。更に、本開示では、分割部２０６０は、脈絡膜血管の走行方向を検出し、脈絡膜血管の走行方向が同方向の領域を検出し、検出した領域の境界を分水嶺として抽出してもよい。

さらに、分割部２０６０は、脈絡膜血管画像Ｇ２（図１７参照）から渦静脈を検出する。

渦静脈とは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに４～６個存在する。渦静脈の位置は、脈絡膜血管画像を解析することにより得られる脈絡膜血管の走行方向に基づいて検出される。

分割部２０６０は、脈絡膜血管画像における各脈絡膜血管の移動方向（血管走行方向）を設定する。具体的には、第１に、分割部２０６０は、脈絡膜血管画像の各画素について、下記の処理を実行する。即ち、分割部２０６０は、画素に対して、当該画素を中心とした領域（セル）を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、分割部２０６０は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい（例えば、血管と血管以外のものでは輝度の差が大きい）。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が設定される。

分割部２０６０は、Ｍ（自然数）×Ｎ（自然数）（＝Ｌ）個の仮想粒子の初期位置を設定する。具体的には、分割部２０６０は、脈絡膜血管画像上に等間隔に、縦方向にＭ個、横方向にＮ個、合計Ｌ個の初期位置を設定する。

分割部２０６０は、渦静脈の位置を推定する。具体的には、分割部２０６０は、Ｌ個の各々の位置について以下の処理を行う。即ち、分割部２０６０は、最初の位置（Ｌ個の何れか）の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、Ｌ個の全ての位置において実行する。その時点で仮想粒子が一定個数以上集まっている点を渦静脈の位置とする。図１９には、４個の渦静脈ＶＶ１からＶＶ４が検出された様子が示されている。図１９には渦静脈の膨大部（複数の脈絡膜血管が合流する部分であり、上述の血管走行方向で求められる渦静脈の位置である）と膨大部に接続している脈絡膜血管がデフォルメされて描かれている。

渦静脈の位置情報（渦静脈の個数や、脈絡膜血管画像上での座標など）は、記憶装置２５４に記憶される。渦静脈の検出方法については、日本出願の特願２０１８－０８０２７３及び国際出願のＰＣＴ／ＪＰ２０１９／０１６６５２に開示の方法が利用できる。２０１８年０４月１８日に日本に出願された特願２０１８－０８０２７３、２０１９年０４月１８日に国際出願されたＰＣＴ／ＪＰ２０１９／０１６６５２の開示は、その全体が参照のため、本明細書に取り込まれる。

以上の処理が終了すると、ステップ１２０２の分水嶺抽出処理が終了し、領域分割処理は、ステップ１２０４に進む。

ステップ１２０４で、分割部２０６０は、脈絡膜血管画像を、分水嶺を境界として複数の領域に分割する。言葉を変えると、渦静脈を一つ含むように脈絡膜血管画像を分割する。図２０に示すように、分水嶺ＬＨと分水嶺ＬＶによって、領域Ｃ１（渦静脈ＶＶ１を含む左上の領域）、領域Ｃ２（渦静脈ＶＶ２を含む右上の領域）、領域Ｃ３（渦静脈ＶＶ３を含む右下の領域）、そして領域Ｃ４（渦静脈ＶＶ４を含む左下の領域）に分割される。図２０は渦静脈が４つの場合の脈絡膜血管画像であるため、脈絡膜血管画像は分水嶺により渦静脈の個数と同じ数である、４つの領域に分割される。

ステップ１２０６で、分割部２０６０は、領域Ｃ１からＣ４の各々に、種類ごとの識別情報（ＩＤ）を付与する。

ステップ１２０６の識別情報付与処理が終了すると、図５のステップ５０４の領域分割処理が終了し、画像処理は、ステップ５０６の属性情報生成処理（図１５参照）に移行する。

ステップ１３０２で、生成部２０６２は、複数の領域の各々の識別情報（ＩＤ）を読み出す。

ステップ１３０４で、生成部２０６２は、水嶺（ＬＨ、ＬＶ）によって分割された領域の属性情報を算出する。脈絡膜血管網の分水嶺により分割された領域の属性情報としては、例えば、次の情報がある。

第１に、渦静脈に接続する複数の脈絡膜血管の総面積（脈絡膜血管画像において、渦静脈膨大部に接続する脈絡膜血管の画素が示す面積）がある。
脈絡膜血管の総面積は、同じ渦静脈に接続する複数の脈絡膜血管自体の領域である。図２０に示す例では、第１渦静脈ＶＶ１に接続する複数の脈絡膜血管の領域Ａ１から第４渦静脈ＶＶ４に接続する複数の脈絡膜血管自体の領域Ａ４である。例えば、第１渦静脈ＶＶ１においては、脈絡膜血管を示す白い領域Ａ１の画素の面積に相当する。領域ごとの面積には、領域Ａ１からＡ４の各々の面積ＳＡ１からＳＡ４が画素数と画素位置に基づいて算出される。画素位置も考慮されるのは、脈絡膜血管は球面に沿っているので、画像の周辺と画像の中心では一画素あたりの面積が異なる点を考慮したためである。

第２に、渦静脈に接続する複数の脈絡膜血管が存在する領域の凸包の領域（脈絡膜血管を河川とした場合、凸包領域は河川の流域面積に相当する）の面積や形状がある。
凸包（または凸包絡）の領域は、同じ渦静脈に接続する複数の脈絡膜血管を含む最小の凸集合である。図２０に示す例では、第１渦静脈ＶＶ１に接続する複数の脈絡膜血管の凸包の領域Ｂ１から第４渦静脈ＶＶ４に接続する複数の脈絡膜血管の凸包の領域Ｂ４である。例えば、第４渦静脈ＶＶ４の例では凸包Ｂ４は、第４渦静脈ＶＶ４の渦静脈膨大部を要（かなめ）とし脈絡膜血管の先端を扇状に結んだ扇形形状の領域を示す。
そして、領域Ｂ１からＢ４の各々の面積ＳＢ１からＳＢ４が算出される。また、領域Ｂ１からＢ４の各々の形状、例えば、どれだけ円に近いかを示す値が算出される。具体的には、真円度が算出される。生成部２０６２は、領域Ｂ１からＢ４の各々について、仮想円の中心を算出し、領域を区画する領域線の位置と仮想円の中心との距離を所定間隔で計算し、距離の最大値と最小値との差により、真円度を計算する。

第３に、脈絡膜血管画像が第１分水嶺ＬＨおよび第２分水嶺ＬＶを境界として分割されて得られた複数（例えば、４個）の領域Ｃ１からＣ４の各々の面積がある。また、面積だけでなく、形態的特徴の情報、例えば、面積比や形状を示す情報（ポリゴン情報など）でもよい。
面積比の場合は、各領域についての、各領域の面積と、当該領域に一部重なる他の領域の面積との比がある。
図２０に示す例で、同じ渦静脈に接続する複数の脈絡膜血管自体の領域Ａ１からＡ４の各面積を、ＳＡ１からＳＡ４とする。渦静脈に接続する複数の脈絡膜血管が存在する領域の凸包の領域Ｂ１からＢ４の各面積を、ＳＢ１からＳＢ４とする。脈絡膜血管画像が第１分水嶺ＬＨおよび第２分水嶺ＬＶを境界として分割されて得られた複数（例えば、４個）の領域Ｃ１からＣ４の各面積を、ＳＣ１からＳＣ４とする。
面積比は、具体的には、領域Ａ１については、領域Ａ１の面積と領域Ｂ１の面積との比（例えば、ＳＢ１／ＳＡ１）、および、領域Ａ１の面積と領域Ｃ１の面積との比（例えば、ＳＣ１／ＳＡ１）がある。同様に、領域Ａ２、Ａ３について、例えば、ＳＢ２／ＳＡ２、ＳＣ３／ＳＡ３があり、領域Ｂ１からＣ４について、例えば、ＳＡ１／ＳＢ１からＳＢ４／ＳＣ４がある。なお、分母と分子を変えてもよい。

ステップ１３０４の属性情報算出処理が終了すると、図５のステップ５０６の属性情報の生成処理が終了し、画像処理は、ステップ５０８の属性付与処理に移行する。

ステップ５０８で、処理部２０８は、領域ごとに、属性を付与する。具体的には、処理部２０８は、各領域の識別情報（ＩＤ）に対応して、属性情報、例えば、面積および面積比を、記憶装置２５４に記憶する。

上記のようにステップ５０８の属性付与処理が終了すると、画像処理は、ステップ５１０に移行する。ステップ５１０で、塗り分け部２０６４は、領域を、その領域の属性に従って可視化するための可視化データを、次のように作成する。

分水嶺を基準にした領域Ｃ１からＣ４について、互いに異なる色を対応付けておく。例えば領域Ｃ１に黄色、領域Ｃ２にオレンジ色、領域Ｃ３に緑色、領域Ｃ４に青色を対応付けておく。そして、塗り分け部２０６４は、各領域の識別情報Ｃ１からＣ４のそれぞれに対応して、対応する色の情報を特定する。この場合には、属性情報が算出されない。

また、面積および面積比が算出された場合の可視化データの作成方法について説明する。なお、面積比が算出された場合の可視化データの作成方法は、面積が算出された場合の可視化データの作成方法と同様であるので、その説明を省略する。

上記のように、領域ごとの面積には、領域Ａ１からＡ４の各々の面積ＳＡ１からＳＡ４、領域Ｂ１からＢ４の各々の面積ＳＢ１からＳＢ４、および領域Ｃ１からＣ４での各々の面積ＳＣ１からＳＣ４がある。

各領域Ａ１からＡ４、Ｂ１からＢ４、Ｃ１からＣ４について面積の取り得る範囲を複数の面積範囲に分割しておく。例えば、取り得る範囲を、４つの面積範囲に分割する。各面積範囲について、互いに異なる色、例えば、黄色、オレンジ色、緑色、青色を対応付けておく。

ステップ５１０では、塗り分け部２０６４は、各種類の各領域について、記憶装置２５４から面積を読み出す。塗り分け部２０６４は、読み出した面積が、何れの面積範囲に属するか判断し、属すると判断された面積範囲に対応付けられている色を特定する。

ステップ５１０の可視化データ作成処理が終了すると、画像処理は、ステップ５１２に移行する。ステップ５１２で、処理部２０８は、可視化データを、各領域の識別情報に対応して記憶装置２５４に保存する。

次に、図２１を参照して、第２の実施の形態のビューワ１５０によりディスプレイに表示される第３眼底画像表示画面１０００Ｃを説明する。

第３眼底画像表示画面１０００Ｃと第２眼底画像表示画面１０００Ｂとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。

第３眼底画像表示画面１０００Ｃは、ＵＷＦ眼底画像表示欄１０３２Ａ２、領域重畳ＵＷＦ眼底画像表示欄１０３２Ｂ、および輝度範囲色表示欄１０３２Ｃに代えて、領域重畳脈絡膜血管画像表示欄１０３７および色分け領域重畳脈絡膜血管画像表示欄１０３８を備えている。

領域重畳脈絡膜血管画像表示欄１０３７には、脈絡膜血管画像に、各種類の各領域が重畳された画像が表示される。

色分け領域重畳脈絡膜血管画像表示欄１０３８には、指定された種類の各領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示される。

プルダウンメニュー１０３６ＰＤＭには、「分水嶺領域」、「脈絡膜血管領域」、および「脈絡膜血管凸包領域」がある。

「分水嶺領域」は、分水嶺領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。

「脈絡膜血管領域」は、脈絡膜血管領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。

「脈絡膜血管凸包領域」は、脈絡膜血管凸包領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。

図２１には、「脈絡膜血管凸包領域」が選択され、色分け領域重畳脈絡膜血管画像表示欄１０３８に、分水嶺領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されている。

以上説明したように、第２の本実施の形態では、超広角眼底画像の眼底領域を、分水嶺を基準に複数の領域に分割し、各領域の属性情報を生成する。各領域を各属性情報に対応した色で表示することを指示する色の情報を生成する。各領域が、指示された色で表示され。よって、眼底内の個々の領域の状態を他の領域の状態と区別して把握することができる。

前述した第１の実施の形態及び第２の実施の形態では、内部照射角で１６０度以上の撮影画角で撮影されて得られたＵＷＦ－ＳＬＯ眼底画像（ＵＷＦ眼底画像）を用いているが、本開示の技術はこれに限定されない。本開示の技術は、内部照射角が１６０度未満で０度より大きい撮影画角で撮影されて得られた眼底画像にも適用可能である。

前述した第１の実施の形態及び第２の実施の形態では、各領域を、各領域の属性に対応した色で表示しているが、本開示の技術はこれに限定されない。本開示の技術には、各領域を、各領域の属性に対応した濃度、点滅間隔等で表示することも適用可能である。

以上説明した各例では、図５の画像処理は、サーバ１４０が実行しているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０またはビューワ１５０が実行したり、ネットワーク１３０に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。

以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第１技術および第２技術を含む。

（第１技術）
超広角眼底画像の眼底領域を少なくとも第１領域と第２領域とを含む複数領域に分割する分割部と、
前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成する第１生成部と、
前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成する第２生成部と、
を含む画像処理装置。

なお、上記実施の形態の分割部２０６０は、上記第１技術の「分割部」、生成部２０６２は、上記第１技術の「第１生成部」および「第２生成部」の一例である。

（第２技術）
分割部が、超広角眼底画像の眼底領域を少なくとも第１領域と第２領域とを含む複数領域に分割することと、
第１生成部と、前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成することと、
第２生成部と、前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成することと、
を含む画像処理方法。

以上の開示内容から以下の第３技術が提案される。

（第３技術）
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
超広角眼底画像の眼底領域を少なくとも第１領域と第２領域とを含む複数領域に分割し、
前記第１領域の属性を示す第１属性情報と、前記第２領域の属性を示す第２属性情報とを生成し、
前記第１属性情報に対応した第１態様で前記第１領域を表示することを指示する第１態様指示情報と、前記第２属性情報に対応した第２態様で前記第２領域を表示することを指示する第２態様指示情報と、を生成する、
ことを実行させる、
コンピュータープログラム製品。

以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (13)

1. プロセッサが、超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
   前記プロセッサが、前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
   前記プロセッサが、前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を第１態様で表示することを指示する第１態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第２態様で表示することを指示する第２態様指示情報と、を生成する、
   ことを含む画像処理方法。
2. 前記第１態様指示情報は、第１色であり、前記第２態様指示情報は、前記第１色とは異なる第２色である、請求項１に記載の画像処理方法。
3. 前記第１態様指示情報および前記第２態様指示情報に基づいて、前記複数領域の各々の領域を前記第１態様または前記第２態様で表示する、
   請求項１または請求項２に記載の画像処理方法。
4. 前記プロセッサが、前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第１態様とさらに前記第１態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
   請求項１から請求項３の何れか１項に記載の画像処理方法。
5. 前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することは、前記部分領域を含む領域をぞれぞれの属性に対応させた異なる色で表示することを含む、
   請求項４に記載の画像処理方法。
6. 前記眼底領域を前記複数領域に分割することには、
   前記プロセッサが、
   前記眼底領域において、前記眼底領域及び前記眼底領域を囲む背景領域の境界を前記領域の、輪郭線に設定する、
   ことを含む、請求項１から請求項５の何れか１項に記載の画像処理方法。
7. 前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記超広角眼底画像において所定の暗さ以下の暗い画素が連続する領域を前記部分領域として検出することを含む、
   請求項１から請求項６の何れか１項に記載の画像処理方法。
8. 前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記部分領域が無灌流領域であるか否かを検出することを含む、
   請求項１から請求項７の何れか１項に記載の画像処理方法。
9. 前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記部分領域が無血管領域であるか否かを検出することを含む、
   請求項１から請求項８の何れか１項に記載の画像処理方法。
10. メモリと、前記メモリに接続するプロセッサとを備え、
    前記プロセッサは、
    超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
    前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
    前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を、第１態様で表示することを指示する第１態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第２態様で表示することを指示する第２態様指示情報と、を生成する、
    画像処理装置。
11. 前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第１態様とさらに前記第１態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
    請求項１０に記載の画像処理装置。
12. コンピュータに、
    超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
    前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
    前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を第１態様で表示することを指示する第１態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第２態様で表示することを指示する第２態様指示情報と、を生成する、
    ことを実行させるプログラム。
13. 前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第１態様とさらに前記第１態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
    請求項１２に記載のプログラム。

Images