JP7306467B2 - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置、及びプログラムに関する。

米国特許第7445337号には、眼底領域（円形）の周囲を黒色の背景色で塗りつぶした眼底画像が生成されディスプレイに表示されることが開示されている。このような周囲を塗りつぶした眼底画像を画像処理するにあたって、誤検出などの不都合が生ずる場合がある。

本開示の技術の第１の態様の画像処理方法は、プロセッサが、前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得することと、前記プロセッサが、前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成することと、を含む。

本開示の技術の第２の態様の画像処理装置は、メモリと、前記メモリに接続されたプロセッサとを備え、前記プロセッサは、前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得し、前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成する。

本開示の技術の第３の態様のプログラムは、コンピュータに、前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得し、前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成する、ことを実行させる。

眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 被検眼１２の眼底を眼科装置１１０で撮影して得られたＵＷＦのＲＧカラー眼底画像ＵＷＦＧＰと、被検眼１２の眼底を図示しない眼底カメラで撮影して得られた眼底画像（眼底カメラ画像）ＦＣＧＱと、を示す図である。 サーバ１４０の電気系の構成のブロック図である。 サーバ１４０のＣＰＵ２６２の機能のブロック図である。 画像処理プログラムを示すフローチャートである。 図６のステップ３００の網膜血管除去処理プログラムを示すフローチャートである。 図６のステップ３０２の背景埋める処理プログラムを示すフローチャートである。 図６のステップ３０６の血管を抽出する処理プログラムを示すフローチャートである。 脈絡膜血管画像Ｇ１を示す図である。 背景処理済み画像Ｇ２を示す図である。 血管強調画像Ｇ３を示す図である。 血管抽出画像Ｇ４を示す図である。 従来技術において得られた脈絡膜血管画像Ｇ１を示す図である。 従来技術において得られた血管強調画像Ｇ７を示す図である。 従来技術において得られたしきい値画像Ｇ８を示す図である。 従来技術において得られた血管抽出画像Ｇ９を示す図である。 脈絡膜血管画像Ｇ１において前景領域ＦＧ、背景領域ＢＧ、及び境界ＢＤを示した図である。 背景埋める処理の変形例１において、背景領域ＢＧの各画素の画素値を、当該画素に距離が最も近い前景領域ＦＧの画素の値に変換する様子を示す図である。 脈絡膜血管画像Ｇ１における前景領域ＦＧ及び背景領域ＢＧを模式的に示した図である。 背景埋める処理の変形例２において、背景領域ＢＧの各画素の画素値を、当該画素の値より所定値大きい値に変換することを示す図である。 背景埋める処理の変形例３において、背景領域ＢＧの各画素の画素値を、当該画素に距離が最も近い前景領域ＦＧの画素の値より所定値小さい値に変換することを示す図である。 背景埋める処理の変形例４において、背景領域ＢＧの各画素の画素値を、前景領域ＦＧの全画素値の平均値に変換することを示す図である。 背景埋める処理の変形例５において、背景領域ＢＧの各画素の画素値を、前景領域ＦＧの中心ＣＰからの距離が長くなるに従って徐々に大きくなるように、変換することを示す図である。 背景埋める処理の変形例６において、背景領域ＢＧの各画素の画素値を、前景領域ＦＧの中心ＣＰからの距離が長くなるに従って徐々に小さくなるように、変換することを示す図である。 診断用画面４００Ａを示す図である。 診断用画面４００Ｂを示す図である。 合成画像Ｇ１４が、オリジナルの眼底画像（ＵＷＦのＲＧカラー眼底画像ＵＷＦＧＰ）に、血管抽出画像Ｇ４を重畳することにより得られることを示す図である。 血管ｂｔに枠ｆを付すことにより、血管を強調することを示す図である。 血管強調画像Ｇ３をぼかすことにより得られたぼかし画像Ｇｂを示す図である。

以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。

図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「サーバ」という）１４０と、画像表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって患者の眼底が撮影されることにより得られた眼底画像を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０から取得した眼底画像などの医療情報を表示する。
サーバ１４０は、本開示の技術の「画像処理装置」の一例である。

眼科装置１１０、眼軸長測定器１２０、サーバ１４０、およびビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。

次に、図２を参照して、眼科装置１１０の構成を説明する。

説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。

なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。

眼科装置１１０は、撮影装置１４および制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８、ＯＣＴユニット２０、および撮影光学系１９を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。

制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）１６Ｃ、および入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。

制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。

また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１６Ｇを備えている。画像処理装置１６Ｇは、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。制御装置１６はＩ／Ｏポート１６Ｄに接続された通信インターフェース（Ｉ／Ｆ）１６Ｆを備えている。眼科装置１１０は、通信インターフェース（Ｉ／Ｆ）１６Ｆおよびネットワーク１３０を介して眼軸長測定器１２０、サーバ１４０、およびビューワ１５０に接続される。

上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。

撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、およびＯＣＴユニット２０を含む。撮影光学系１９は、第１光学スキャナ２２、第２光学スキャナ２４、および広角光学系３０を含む。

第１光学スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、およびＹ方向に２次元走査する。第２光学スキャナ２４は、ＯＣＴユニット２０から射出された光をＸ方向、およびＹ方向に２次元走査する。第１光学スキャナ２２および第２光学スキャナ２４は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。

広角光学系３０は、共通光学系２８を有する対物光学系（図２では不図示）、およびＳＬＯユニット１８からの光とＯＣＴユニット２０からの光を合成する合成部２６を含む。

なお、共通光学系２８の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。

楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。

広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。

内部照射角の２００度は、本開示の技術の「所定値」の一例である。

ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ Ｆｉｅｌｄ（超広角）の略称を指す。もちろん、内部照射角で１６０度未満の撮影画角で眼底を撮影することにより、ＵＷＦではないＳＬＯ画像を取得することができる。

ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、および撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。

ＳＬＯユニット１８は、複数の光源、例えば、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、およびＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射または透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５６、５２で反射して、それぞれ１つの光路に導かれる。

ＳＬＯユニット１８は、Ｇ光、Ｒ光、およびＢ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。

ＳＬＯユニット１８から撮影光学系１９に入射された光は、第１光学スキャナ２２によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、被検眼１２の後眼部に照射される。眼底により反射された反射光は、広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射される。

ＳＬＯユニット１８は、被検眼１２の後眼部（例えば、眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。

ＳＬＯユニット１８は、複数の光源に対応して複数の光検出素子を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、およびビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、およびビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。

広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。

ＵＷＦ－ＳＬＯ画像（後述するようにＵＷＦ眼底画像、オリジナル眼底画像ともいう）には、眼底がＧ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｇ色眼底画像）と、眼底がＲ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像）とがある。ＵＷＦ－ＳＬＯ画像には、眼底がＢ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｂ色眼底画像）と、眼底がＩＲで撮影されて得られたＵＷＦ－ＳＬＯ画像（ＩＲ眼底画像）とがある。

また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像およびＲ色眼底画像が得られる。Ｇ色眼底画像およびＲ色眼底画像からＲＧカラー眼底画像が得られる。

このようにＵＷＦ－ＳＬＯ画像として、具体的には、Ｂ色眼底画像、Ｇ色眼底画像、Ｒ色眼底画像、ＩＲ眼底画像、ＲＧＢカラー眼底画像、ＲＧカラー眼底画像がある。ＵＷＦ－ＳＬＯ画像の各画像データは、入力／表示装置１６Ｅを介して入力された患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＳＬＯ画像の各画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。なお、患者の情報には、例えば、患者名ＩＤ、氏名、年齢、視力、右眼／左眼の区別等がある。患者の情報はオペレータが入力／表示装置１６Ｅを介して入力する。

ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影と同様に、広いＦＯＶ１２Ａでの眼底撮影を可能とする。ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。

光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、第２光学スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３０および第２光学スキャナ２４を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。

光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。

第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。

ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＯＣＴ眼底画像をＵＷＦ－ＯＣＴ画像と称する。もちろん、内部照射角で１６０度未満の撮影画角でＯＣＴデータを取得することができる。

ＵＷＦ－ＯＣＴ画像の画像データは、患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＯＣＴ画像の画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。

なお、本実施の形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。

次に、眼軸長測定器１２０を説明する。眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。

眼軸長測定器１２０は、第１のモードまたは第２のモードにより測定された眼軸長をサーバ１４０に送信する。第１のモードおよび第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ１４０に送信する。サーバ１４０は、患者の眼軸長を患者名ＩＤに対応して記憶する。

図３には、ＲＧカラー眼底画像ＵＷＦＧＰと、被検眼１２の眼底を、図示しない眼底カメラで撮影して得られた眼底画像ＦＣＧＱ（眼底カメラ画像）とが示されている。ＲＧカラー眼底画像ＵＷＦＧＰは、外部照射角が１００度の撮影画角で眼底が撮影されて得られた画像である。眼底画像ＦＣＧＱ（眼底カメラ画像）は、外部照射角が３５度の撮影画角で眼底が撮影されて得られた画像である。よって、図３に示すように、眼底画像ＦＣＧＱ（眼底カメラ画像）は、ＲＧカラー眼底画像ＵＷＦＧＰに対応する眼底の領域の一部の領域の眼底画像である。

図３に示すＲＧカラー眼底画像ＵＷＦＧＰ等のＵＷＦ－ＳＬＯ画像は、当該画像の周囲に、眼底からの反射光が到達しないので黒となっている領域がある画像になっている。このため、ＵＷＦ－ＳＬＯ画像は、眼底からの反射光が到達しない黒色の領域（後述する背景領域）と、眼底からの反射光が到達する眼底の部分の領域（後述する前景領域）とを有する。眼底からの反射光が到達しない黒色の領域と、眼底からの反射光が到達する眼底の部分の領域との境界は、各領域の画素値の違いが大きいので、はっきりしている。

これに対し、眼底画像ＦＣＧＱ（眼底カメラ画像）では、眼底からの反射光が到達する眼底の部分の領域（後述する前景領域）は、フレアに囲まれ、診断に必要な前景領域と、診断には不要な背景領域との境界が明瞭でない。よって、従来では、前景領域の周囲に、所定のマスク画像を重ね合わせたり、前景領域の周囲の所定領域の画素値を黒の画素値に書き換えたりしている。このように、眼底からの反射光が到達しない黒色の領域と、眼底からの反射光が到達する眼底の部分の領域との境界は、はっきりしている。

次に、図４を参照して、サーバ１４０の電気系の構成を説明する。図４に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、バス２７０により相互に接続されたＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、および入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ＲＯＭ２６４に記憶してもよい。

画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置２５４、ＲＯＭ２６４は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。ＣＰＵ２６２は、本開示の技術の「プロセッサ」の一例である。

サーバ１４０の後述する処理部２０８（図５も参照）は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶する。具体的には、処理部２０８は記憶装置２５４に、ＵＷＦ－ＳＬＯ画像の各画像データおよびＵＷＦ－ＯＣＴ画像の画像データと患者の情報（上記のように患者名ＩＤ等）とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置１１０の入力/表示装置１６Ｅを介して病変の情報が入力され、サーバ１４０に送信される。病変の情報は患者の情報と対応付けられて記憶装置２５４に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。

ビューワ１５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータとディスプレイとを備え、ＲＯＭには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ１４０から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。

次に、図５を参照して、サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能（眼底画像処理機能、眼底血管解析機能）、及び処理機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、図５に示すように、表示制御部２０４、画像処理部２０６（眼底画像処理部２０６０、眼底血管解析部２０６２）、及び処理部２０８として機能する。
眼底画像処理部２０６０は、本開示の技術の「取得部」及び「生成部」の一例である。

次に、図６を用いて、サーバ１４０による画像処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図６のフローチャートに示された画像処理及び画像処理方法が実現される。

画像処理プログラムは、眼科装置１１０により被検眼１２の眼底が撮影されて得られた眼底画像の画像データが、眼科装置１１０から送信され、サーバ１４０により受信された時にスタートする。

画像処理プログラムがスタートすると、ステップ３００で、詳細には後述するが（図７参照）、眼底画像処理部２０６０は、眼底画像を取得し、取得した眼底画像から網膜血管を除去する網膜血管除去処理を実行する。ステップ３００の処理により、図１０Ａに示す脈絡膜血管画像Ｇ１が生成される。
脈絡膜血管画像Ｇ１は、本開示の技術の「第１眼底画像」の一例である。

ステップ３０２で、詳細には後述するが（図８参照）、眼底画像処理部２０６０は、背景領域の各画素を、当該各画素に距離が最も近い前景領域の画像の画素の画素値で埋める背景埋める処理を実行する。ステップ３０２の背景埋める処理により、図１０Ｂに示す背景処理済み画像Ｇ２が生成される。なお、図１０Ｂにおいて、点線の円の範囲は眼底領域である。
ステップ３０２の背景埋める処理は、本開示の技術の「背景処理」の一例であり、背景処理済み画像Ｇ２は、本開示の技術の「第２眼底画像」の一例である。

ここで、前景領域と背景領域とを説明する。図１２に示すように、脈絡膜血管画像Ｇ１において、前景領域ＦＧは、被検眼１２の眼底領域からの光の到達領域により定まり、被検眼１２からの反射光の強度に基づく輝度値の画素領域（つまり、眼底が写っている領域、即ち、被検眼１２の眼底画像の領域）である。これに対し、背景領域ＢＧは、被検眼１２の眼底領域以外の領域であり、単色の領域であり、被検眼１２からの反射光に基づかない画像である。具体的には、背景領域ＢＧは、眼底が写っていない領域、即ち、被検眼１２の眼底領域以外の部分、詳細には、被検眼１２からの反射光が到達しない検出素子７０、７２、７４、７６の画素に対応する領域や、マスク領域、ケラレにより発生するアーチファクト、装置の映り込みや被検眼の瞼などの部分である。また、眼科装置１１０が前眼部領域（角膜、虹彩、網様体や水晶体など）を撮影する機能がある場合、所定領域は前眼部領域となり、被検眼の前眼部画像は、前景領域と背景領域からなる。網様体には血管が奏功しており前眼部画像から網様体の血管を抽出することが本開示の技術により可能となる。
被検眼１２の眼底領域は、本開示の技術の「被検眼の所定領域」の一例である。

ステップ３０４で、眼底血管解析部２０６２は、背景処理済み画像Ｇ２に対して血管強調処理を実行することにより、図１０Ｃに示す血管強調画像Ｇ３を生成する。血管強調処理としては、コントラストに制限を付けた適応ヒストグラム均等化（ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ））を用いることができる。コントラストに制限を付けた適応ヒストグラム均等化（ＣＬＡＨＥ）とは、画像データを複数の領域に分割して、分割された領域毎に局所的にヒストグラム平滑化を実施し、それぞれの領域の境界において、双一次内挿等の補間処理を行うことにより、コントラストを調整する手法である。血管強調処理は、コントラストに制限を付けた適応ヒストグラム均等化（ＣＬＡＨＥ）に限定されず、他手法でもよい。例えば、アンシャープマスク処理（周波数処理）、デコンボリューション処理、ヒストグラム平均化処理、ヘイズ除去処理、色味補正処理、デノイズ処理等や、これらを組み合わせた処理を用いてもよい。

ステップ３０６で、詳細には後述するが（図９参照）、眼底画像処理部２０６０は、血管強調画像Ｇ３から、血管を抽出（具体的には二値化）することにより、図１０Ｄに示す血管抽出画像（二値化画像）Ｇ４を生成する。この二値化画像は血管領域の画素は白、それ以外の領域の画素は黒となるので、眼底領域と背景領域の区別がつかない。よって、予め画像処理により眼底領域を検出し、記憶しておく。この記憶された眼底領域に基づいて、生成された血管抽出画像（二値化画像）Ｇ４の眼底領域の境界に線分を重畳表示させる。この境界を示す線分を重畳することでユーザは眼底領域と背景領域を区別することができる。
血管抽出画像Ｇ４は、本開示の技術の「第３眼底画像」の一例である。

次に、図７を用いて、図６のステップ３００の網膜血管除去処理を説明する。

ステップ３１２で、眼底画像処理部２０６０は、眼科装置１１０から受信した眼底画像の画像データの中から、第１眼底画像（Ｒ色眼底画像）の画像データを読み出す（取得する）。ステップ３１４で、眼底画像処理部２０６０は、眼科装置１１０から受信した眼底画像の画像データの中から第２眼底画像（Ｇ色眼底画像）の画像データを読み出す（取得する）。

ここで、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とに含まれる情報を説明する。

眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、第１眼底画像（Ｒ色眼底画像）には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、第２眼底画像（Ｇ色眼底画像）には、網膜に存在する血管（網膜血管）の情報のみが含まれる。

ステップ３１６で、眼底画像処理部２０６０は、ブラックハットフィルタ処理を第２眼底画像（Ｇ色眼底画像）に施すことにより、第２眼底画像（Ｇ色眼底画像）上では黒い細い線で可視化されている網膜血管を抽出する。ブラックハットフィルタ処理は細線を抽出するフィルタ処理である。

ブラックハットフィルタ処理は、第２眼底画像（Ｇ色眼底画像）の画像データと、この原画像データに対してＮ回（Ｎは１以上の整数）の膨張処理及びＮ回の収縮処理を行うクロージング処理により得られる画像データとの差分をとる処理である。網膜血管は照射光（Ｇ光だけでなく，Ｒ光あるいはＩＲ光）を吸収するため眼底画像では血管の周囲に比べて黒く撮影される。そのため、ブラックハットフィルタ処理を眼底画像に施すことにより、網膜血管を抽出することができる。

ステップ３１８で、眼底画像処理部２０６０は、第１眼底画像（Ｒ色眼底画像）から、インペインティング処理により、ステップ３１６で抽出した網膜血管を除去する。具体的には、第１眼底画像（Ｒ色眼底画像）において、網膜血管を目立たせなくする。より詳細には、眼底画像処理部２０６０は、第２眼底画像（Ｇ色眼底画像）から抽出した網膜血管の各位置を、第１眼底画像（Ｒ色眼底画像）において特定する。眼底画像処理部２０６０は、特定された位置の第１眼底画像（Ｒ色眼底画像）における画素の画素値を、当該画素の周囲の画素の平均値との差が所定範囲（例えば、０）になるように、処理する。網膜血管を除去する手法は、上述の例に限らず、一般的なインペインティング処理を用いて行うようにしてもよい。

このように、眼底画像処理部２０６０は、網膜血管と脈絡膜血管とが存在する第１眼底画像（Ｒ色眼底画像）において、網膜血管を目立たせなくするので、結果、第１眼底画像（Ｒ色眼底画像）において、脈絡膜血管を、相対的に目立たせることができる。これにより図１０Ａに示すように、眼底の血管として脈絡膜血管のみが可視化された脈絡膜血管画像Ｇ１が得られる。なお、図１０Ａでは白い線状のものが脈絡膜血管であり、白い円形の部分は視神経乳頭ＯＮＨに対応し、黒い円形の部分は黄斑Ｍに対応する。

ステップ３１８の処理が終了すると、図５のステップ３００の網膜血管除去処理が終了し、画像処理は図６のステップ３０２に進む。

次に、図８を用いて、図６のステップ３０２の背景埋める処理を説明する。

ステップ３３２で、眼底画像処理部２０６０は、図１２に示すように、脈絡膜血管画像Ｇ１において、前景領域ＦＧ、背景領域ＢＧ、及び前景領域ＦＧと背景領域ＢＧとの境界ＢＤを抽出する。

具体的には、眼底画像処理部２０６０は、画素値が０の部分を背景領域ＢＧ、画素値が０でない部分を前景領域ＦＧとして抽出し、抽出された背景領域ＢＧと抽出された前景領域ＦＧとの境界部分を境界ＢＤとして抽出する。

上記のように、背景領域ＢＧでは、被検眼１２からの光が到達しないので、画素値が０の部分としている。しかし、ケラレによるアーチファクトや、装置の映り込み、被検眼の瞼などの領域も背景領域として認識される場合もある。また、検出素子７０、７２、７４、７６の感度に起因して被検眼１２からの反射光が侵入しない検出素子の領域の画素の画素値が０でない場合もある。そこで、眼底画像処理部２０６０は、画素値が０より大きい所定値の部分を背景領域ＢＧとして抽出してもよい。

ところで、検出素子７０、７２、７４、７６の検出領域における被検眼１２からの光が到達する領域は、撮影光学系１９の光学素子の光の経路から予め定まる。被検眼１２からの光が到達する領域を前景領域ＦＧ、被検眼１２からの光が到達しない領域を背景領域ＢＧ、上記のように背景領域ＢＧと前景領域ＦＧとの境界部分を境界ＢＤとして抽出するようにしてもよい。

ステップ３３４で、眼底画像処理部２０６０は、背景領域ＢＧの画像の各画素を識別する変数ｇを０にセットし、ステップ３３６で、眼底画像処理部２０６０は、変数ｇを１インクリメントする。

ステップ３３８で、眼底画像処理部２０６０は、変数ｇで識別される背景領域ＢＧの画像の画素ｇに距離が最も近い最近傍の前景領域ＦＧの画素ｈを、画素ｇの位置と前景領域ＦＧの画像の各画素の位置との関係から、検出する。眼底画像処理部２０６０は、例えば、画素ｇの位置と前景領域ＦＧの画像の各画素の位置との距離を計算し、最も距離の短い画素を、画素ｈとして検出してもよい。しかし、本実施の形態では、画素ｇの位置と前景領域ＦＧの画像の各画素の位置との幾何学的な関係から、画素ｈの位置が予め定められている。

ステップ３４０で、眼底画像処理部２０６０は、画素ｇの画素値Ｖｇに、画素値Ｖｇとは異なる画素値Ｖｈ、例えば、ステップ３３８で検出された画素ｈの画素値Ｖｈをセットする。

ステップ３４２で、眼底画像処理部２０６０は、変数ｇが背景領域ＢＧの画像の画素の総数Ｇに等しいか否かを判断することにより、背景領域ＢＧの画像の全ての画素の画素値に、当該画素値とは異なる画素値をセットしたか否かを判断する。変数ｇが総数Ｇに等しいと判断されなかった場合には、背景埋める処理はステップ３３６に戻って、眼底画像処理部２０６０は、以上の処理（ステップ３３６から３４２）を実行する。

ステップ３４２で、変数ｇが総数Ｇに等しいと判断された場合には、背景領域ＢＧの画像の各画素の画素値が、当該画素値と異なる画素値に変換したので、背景埋める処理が終了する。

ステップ３０２の背景埋める処理（図８のステップ３３２から３４２）により、図１０Ｂに示す背景処理済み画像Ｇ２が生成される。

なお、詳細には後述するが、前景領域ＦＧの画像の画素の画素値を二値化するためのしきい値を計算する際に、眼底画像処理部２０６０は、当該画素を中心とした所定個数の画素を抽出し、抽出した画素の画素値の平均を用いている。よって、変数ｇとしては、背景領域ＢＧの画像の画素の内、しきい値を計算する際に抽出され得る画素のみを識別するようにしてもよい。この場合、総数Ｇは、しきい値を計算する際に抽出され得る画素の総数でもよい。この場合、変数ｇにより識別される画素は、背景領域ＢＧの画像の画素の内、前景領域ＦＧの周囲の画素である。なお、この場合、更に、変数ｇにより、前景領域ＦＧの周囲の画素の内、何れか１画素以上の画素が識別されてもよい。

このようにステップ３０２の背景埋める処理（図８のステップ３３２から３４２）では、背景領域ＢＧの各画素について順に、当該画素値が、当該各画素との距離が最も近い最近傍の前景領域ＦＧの画素の画素値に変換される。本開示の技術はこれに限定されない。

（ステップ３０２の背景埋める処理の変形例）
次に、図１３Ａから図１３Ｇを用いて、ステップ３０２の背景埋める処理の変形例を説明する。

（背景埋める処理の変形例１）
図１３Ａに示すように、例えば、眼底画像処理部２０６０は、脈絡膜血管画像Ｇ１の中心を通るラインＬ上の背景領域ＢＧの各画素の画素値を、当該各画素との距離が最も近い最近傍の前景領域ＦＧの画素の画素値に変換する。具体的には、眼底画像処理部２０６０は、脈絡膜血管画像Ｇ１の中心を通り一方の角の画素ＬＵから当該中心に対して反対側の他方の角の画素ＲＤを通るラインＬを抽出する。眼底画像処理部２０６０は、ラインＬ上の背景領域ＢＧの一方の角の画素ＬＵから画素ＬＵに距離が最も近い最近傍の前景領域ＦＧの画素Ｐに隣接する背景領域ＢＧの画素までの各画素の画素値を、画素Ｐの画素値ｇｐに変換する。眼底画像処理部２０６０は、ラインＬ上の背景領域ＢＧの他方の角の画素ＲＤから画素ＲＤに距離が最も近い最近傍の前景領域ＦＧの画素Ｑに隣接する背景領域ＢＧの画素までの各画素の画素値を、画素Ｑの画素値ｇqに変換する。眼底画像処理部２０６０は、このような画素値の変換を、脈絡膜血管画像Ｇ１の中心を通る全てのラインについて実行する。

（背景埋める処理の変形例２）
図１３Ｂには、前景領域ＦＧの中心位置ＣＰ、前景領域ＦＧ、及び前景領域ＦＧを取り囲む背景領域ＢＧを含む脈絡膜血管画像Ｇ１が模式的に示されている。具体的には、中心位置ＣＰが＊マークで示されている。前景領域ＦＧの画像の各画素は、被検眼１２からの光が到達し、到達した光の強度に応じた画素値であるが、図１３Ｂには、模式的に、前景領域ＦＧでは中心位置ＣＰから外へ向けて画素値が滑らかに増大するように示されている。背景領域ＢＧの画素値はゼロであるように示されている。
背景埋める処理の変形例２では、図１３Ｃに示すように、眼底画像処理部２０６０は、背景領域ＢＧの画像の各画素の画素値を、当該画素値よりも所定値α大きい値ｇｓ（＝０+α）に変換する。

（背景埋める処理の変形例３）
ステップ３０２では、背景領域ＢＧの画像の画素を、当該画素に距離が最も近い最近傍の前景領域ＦＧの画素の画素値に変換している。これに対し、背景埋める処理の変形例３では、図１３Ｄに示すように、眼底画像処理部２０６０は、背景領域ＢＧの画像の画素を、当該最近傍の前景領域ＦＧの画素の画素値ｇｔよりも所定値β小さい値ｇｕ（＝ｇｔ-α）に変換する。

（背景埋める処理の変形例４）
背景埋める処理の変形例４では、図１３Ｅに示すように、眼底画像処理部２０６０は、背景領域ＢＧの各画素の画素値を、前景領域ＦＧの全画素の画素値の平均値ｇｍに変換する。

（背景埋める処理の変形例５）
背景埋める処理の変形例５では、図１３Ｆに示すように、眼底画像処理部２０６０は、中心画素ＣＰから前景領域ＦＧの端部までの画素値の変化を検出する。そして、眼底画像処理部２０６０は、この前景領域ＦＧ内の画素値の変化と同様の画素値の変化を背景領域ＢＧに適用する。つまり、背景領域ＢＧの最内周から最外周までの画素値を、中心画素ＣＰから前景領域ＦＧの端部までの画素値に置き換える。
図１３Ｆの模式的な眼底画像の例では、前景領域ＦＧでは、中心位置ＣＰから外へ向けて画素値が滑らかに増大する。変形例５では、眼底画像処理部２０６０は、背景領域ＢＧの画像の各画素を、前景領域ＦＧの中心ＣＰからの距離が長くなるに従って徐々に大きくなる値に変換する。

（背景埋める処理の変形例６）
背景埋める処理の変形例６では、図１３Ｇに示すように、眼底画像処理部２０６０は、中心画素ＣＰから前景領域ＦＧの端部までの画素値の変化を検出する。そして、眼底画像処理部２０６０は、この前景領域ＦＧ内の画素値の変化と逆変化を背景領域ＢＧに適用する。つまり、背景領域ＢＧの最内周から最外周までの画素値を、前景領域ＦＧの端部から中心画素ＣＰまでの画素値に置き換える。
図１３Ｇの模式的な眼底画像の例では、前景領域ＦＧでは、中心位置ＣＰから外へ向けて画素値が滑らかに増大する。変形例６では、眼底画像処理部２０６０は、背景領域ＢＧの画像の各画素を、前景領域ＦＧの中心ＣＰからの距離が長くなるに従って徐々に小さくなる値に変換する。

また、本開示の技術は、これらの変形例１から６の処理の内容を、その主旨を逸脱しない範囲で、変更した場合を含む。

上記背景埋める処理が終了すると、画像処理は、図６のステップ３０４に進み、上記のようにステップ３０４で血管強調処理（例えば、ＣＬＡＨＥなど）が実行され、図１０Ｃに示す血管強調画像Ｇ３が生される。
血管強調画像Ｇ３は、本開示の技術の「血管を強調した画像」の一例である。

ステップ３０４の血管強調処理が終了すると、画像処理は、図６のステップ３０６に進む。

次に、図９を用いて、図６のステップ３０６の血管を抽出する処理を説明する。

ステップ３５２で、眼底画像処理部２０６０は、血管強調画像Ｇ３における前景領域ＦＧの画像の各画素を識別する変数ｍを０にセットし、ステップ３５４で、眼底画像処理部２０６０は、変数ｍを１インクリメントする。

ステップ３５６で、眼底画像処理部２０６０は、変数ｍで識別される前景領域ＦＧの画素ｍを中心とした所定個数の画素を抽出する。例えば、所定個数の画素は、画素ｍに隣接する上下左右の４個または上下左右及び斜め方向の合計８個の画素を抽出する。隣接した８個に限らず、より広い範囲の近傍画素を抽出してもよい。

ステップ３５８で、眼底画像処理部２０６０は、ステップ３５６で抽出した所定個数の画素の画素値の平均値Ｈを算出する。ステップ３６０で、眼底画像処理部２０６０は、画素ｍのしきい値Ｖｍとして、平均値Ｈをセットする。ステップ３６２で、眼底画像処理部２０６０は、画素ｍの画素値をしきい値Ｖｍ（＝Ｈ）で二値化する。

ステップ３６４で、眼底画像処理部２０６０は、変数ｍが前景領域ＦＧの画像の総画素数Ｍに等しいか否かを判断する。変数ｍが総画素数Ｍに等しいと判断されなければ、前景領域ＦＧの画像の各画素を上記しきい値で二値化していないので、血管を抽出する処理は、ステップ３５４に戻って、眼底画像処理部２０６０は、以上の処理（ステップ３５４から３６４）を実行する。

変数ｍが総画素数Ｍに等しい場合には、前景領域ＦＧの画像の全ての画素の画素値が二値化されたので、ステップ３６６で、眼底画像処理部２０６０は、血管強調画像Ｇ３における背景領域ＢＧの画素値に、元の画素値と同一の画素値を設定する。ステップ３６６の処理により、図１０Ｄに示す血管抽出画像Ｇ４を生成する。

血管強調画像Ｇ３における背景領域ＢＧの画素値は、本開示の技術の「第２画素値」の一例であり、元の画素値は、本開示の技術の「第１画素値」及び「第３画素値」の一例である。

なお、本開示の技術では、血管強調画像Ｇ３における背景領域ＢＧの画素値に、元の画素値と同一の画素値を設定することに限定されず、血管強調画像Ｇ３における背景領域ＢＧの画素値を、元の画素値とは異なる画素値に置換するようにしてもよい。

ステップ３０４の血管強調処理の後、ステップ３０６の血管を抽出する処理を実行している。よって、血管を抽出する処理の対象は、血管強調画像Ｇ３である。しかし、本開示の技術はこれに限定されない。例えば、ステップ３０２の背景埋め処理の後、ステップ３０４の血管強調処理を省略し、ステップ３０６の血管を抽出する処理を実行してもよい。この場合、血管を抽出する処理の対象は、背景処理済画像Ｇ２である。

ところで、ステップ３０６では、眼底血管解析部２０６２は、さらに脈絡膜解析処理を実行するようにしてもよい。眼底画像処理部２０６０は、脈絡膜解析処理として、例えば、渦静脈（Ｖｏｒｔｅｘ Ｖｅｉｎ）位置検出処理や脈絡膜血管の走行方向の非対称性の解析処理等を実行する。
脈絡膜解析処理は、本開示の技術の「解析処理」の一例である。

絡膜解析処理の実行タイミングは、例えば、ステップ３６４の処理とステップ３６６の処理との間でも、ステップ３６６の処理の後でもよい。
絡膜解析処理がステップ３６４の処理とステップ３６６の処理との間に実行される場合には、絡膜解析処理の対象の画像は、血管強調画像Ｇ３で背景領域の画素値に元の画素値が設定される前の画像である。なお、上記のように、ステップ３０４の血管強調処理が省略される場合には、背景処理済画像Ｇ２に対して絡膜解析処理が実行される。
これに対し、絡膜解析処理がステップ３６６の処理の後に実行される場合には、絡膜解析処理の対象の画像は、血管抽出画像Ｇ４である。対象の画像は、脈絡膜血管のみが可視化された画像である。

渦静脈とは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに４～６個存在する。渦静脈の位置は、対象の画像を解析することにより得られる脈絡膜血管の走行方向に基づいて検出される。

眼底画像処理部２０６０は、対象の画像における各脈絡膜血管の移動方向（血管走行方向）を設定する。具体的には、第１に、眼底画像処理部２０６０は、対象の画像の各画素について、下記の処理を実行する。即ち、眼底画像処理部２０６０は、画素に対して、当該画素を中心とした領域（セル）を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、眼底画像処理部２０６０は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい（例えば、血管と血管以外のものでは輝度の差が大きい）。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、対象の画像の各画素における血管走行方向が設定される。

眼底画像処理部２０６０は、Ｍ（自然数）×Ｎ（自然数）（＝Ｌ）個の仮想粒子の初期位置を設定する。具体的には、眼底画像処理部２０６０は、対象の画像上に等間隔に、縦方向にＭ個、横方向にＮ個、合計Ｌ個の初期位置を設定する。

眼底画像処理部２０６０は、渦静脈の位置を推定する。具体的には、眼底画像処理部２０６０は、Ｌ個の各々の位置について以下の処理を行う。即ち、眼底画像処理部２０６０は、最初の位置（Ｌ個の何れか）の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、Ｌ個の全ての位置において実行する。その時点で仮想粒子が一定個数以上集まっている点を渦静脈の位置とする。

渦静脈の位置情報（渦静脈の個数や、対象の画像上での座標など）は、記憶装置２５４に記憶される。渦静脈の検出方法については、日本出願の特願２０１８－０８０２７３及び国際出願のＰＣＴ／ＪＰ２０１９／０１６６５２に開示の方法が利用できる。２０１８年０４月１８日に日本に出願された特願２０１８－０８０２７３、２０１９年０４月１８日に国際出願されたＰＣＴ／ＪＰ２０１９／０１６６５２の開示は、その全体が参照のため、本明細書に取り込まれる。

処理部２０８は、少なくとも脈絡膜血管画像Ｇ１と血管抽出画像Ｇ４、脈絡膜解析データ（渦静脈位置や脈絡膜血管の走行方向の非対称性等を示す各データ）とを当該患者の情報（患者のＩＤ、氏名、年齢、視力、右眼／左眼の区別、眼軸長等）と共に、記憶装置２５４（図４参照）に記憶する。また、処理部２０８は、ＲＧカラー眼底画像ＵＷＦＧＰ（オリジナル眼底画像）と、背景処理済み画像Ｇ２及び血管強調画像Ｇ３などの処理過程の画像とを保存するようにしてもよい。
なお、本実施の形態では、処理部２０８は、ＲＧカラー眼底画像ＵＷＦＧＰ（オリジナル眼底画像）、脈絡膜血管画像Ｇ１、背景処理済み画像Ｇ２、血管強調画像Ｇ３、血管抽出画像Ｇ４、及び、脈絡膜解析データを当該患者の情報と共に、記憶装置２５４（図４参照）に記憶する。

以下、眼科装置１１０や眼底カメラで撮影された眼底画像を図６の画像処理プログラムで画像処理された眼底画像を、ビューワ１５０で表示することについて説明をする。
眼科医が患者の被検眼１２を診断する際、ビューワ１５０に、患者ＩＤを入力する。患者ＩＤが入力されたビューワ１５０は、サーバ１４０に、患者ＩＤに対応する患者の情報と共に、各画像（ＵＷＦＧＰ、Ｇ１からＧ４等）の画像データを送信するように指示する。患者の情報と共に、各画像（ＵＷＦＧＰ、Ｇ１からＧ４）の画像データを受信したビューワ１５０は、図１４に示す、患者の被検眼１２の診断用画面４００Ａを生成し、ビューワ１５０のディスプレイに表示する。

図１４には、ビューワ１５０の診断用画面４００Ａが示されている。図１４に示すように診断用画面４００Ａは、情報表示領域４０２と、画像表示領域４０４Ａとを有する。

情報表示領域４０２は、患者ＩＤ表示領域４０２１、患者名表示領域４０２２を有する。情報表示領域４０２は、年齢表示領域４０２３、視力表示領域４０２４を有する。情報表示領域４０２は、右眼／左眼の情報表示領域４０２５、眼軸長表示領域４０２６を有する。情報表示領域４０２は、画面切換アイコン４０２７を有する。ビューワ１５０は、受信した患者の情報に基づいて、各表示領域（４０２１から４０２６）に対応する情報を表示する。

画像表示領域４０４Ａは、オリジナル眼底画像表示領域４０４１Ａ、血管抽出画像表示領域４０４２Ａ、及びテキスト表示領域４０４３を有する。ビューワ１５０は、受信した画像データに基づいて、各表示領域（４０４１Ａ、４０４２Ａ）に対応する画像（ＲＧカラー眼底画像ＵＷＦＧＰ（オリジナル眼底画像）、血管抽出画像Ｇ４）を表示する。画像表示領域４０４Ａには、表示される画像が取得された撮影日の年月日（ＹＹＹＹ／ＭＭ／ＤＤ）も表示される。

テキスト表示領域４０４３には、ユーザ（眼科医）により入力された診断メモが表示される。その他、例えば、「左側の領域には、脈絡膜血管画像が表示されています。右側の領域には、脈絡膜血管が抽出された画像が表示されています。」等の表示されている画像を解析するテキストが表示されるようにしてもよい。

ところで、画像表示領域４０４Ａに、上記のようにオリジナル眼底画像ＵＷＦＧＰ及び血管抽出画像Ｇ４が表示されている状態において、画面切換アイコン４０２７が操作されると、診断用画面４００Ａが、図１５に示す診断用画面４００Ｂに変更される。診断用画面４００Ａと診断用画面４００Ｂとは同様の内容であるので、同様の内容の部分には同一の符号を付してその説明を省略し、異なる内容の部分のみを説明する。
図１５に示すように、診断用画面４００Ｂは、図１４のオリジナル眼底画像表示領４０４１Ａ及び血管抽出画像表示領域４０４２Ａに代えて、合成画像表示領４０４１Ｂ及び別の血管抽出画像表示領域４０４２Ｂを有する。合成画像表示領４０４１Ｂには合成画像Ｇ１４が表示される。血管抽出画像表示領域４０４２Ｂには、処理画像Ｇ１５が表示される。

合成画像Ｇ１４は、図１６に示すように、ＲＧカラー眼底画像ＵＷＦＧＰ（オリジナル眼底画像）に、血管抽出画像Ｇ４を重畳した画像である。合成画像Ｇ１４によりＲＧカラー眼底画像ＵＷＦＧＰ（オリジナル眼底画像）上において脈絡膜血管の状態をユーザが容易に把握することができる。

処理画像Ｇ１５は、血管抽出画像Ｇ４に、背景領域ＢＧと前景領域ＦＧとの境界ＢＤを示す枠（境界線）を付与することにより、血管抽出画像Ｇ４に境界ＢＧを重畳表示した画像である。境界ＢＤが重畳表示された処理画像Ｇ１５により、眼底領域と背景領域とをユーザが容易に判別できる。

なお、図１４の血管抽出画像表示領域４０４２Ａにおける血管抽出画像Ｇ４や、図１５の別の血管抽出画像表示領域４０４２Ｂにおける処理画像Ｇ１５において、図１７に示すように、血管ｂｔに枠ｆを付すことにより、脈絡膜血管をさらに強調してもよい。

従来では、図１１Ａに示す脈絡膜血管画像Ｇ１から図１１Ｂに示す血管強調画像Ｇ７が得られ、血管強調画像Ｇ７の前景領域の画像の各画素が、当該各画素を中心とした所定個数の画素の画素値の平均値をしきい値として、二値化される。この場合のしきい値は、図１１Ｃに示すように、前景領域の画像の周辺部が低い値である。これは、前景領域の画像の周辺部の画素の外側には、画素値が０の背景領域の画像の画素が存在し、当該０の値が平均値を低い値にするからである。このように、背景領域の画像の画素値（＝０）の影響により、血管強調画像Ｇ７の周辺部のしきい値が低く設定されてしまい、上記二値化により得られた血管抽出画像Ｇ９は、図１１Ｄに示すように、前景領域の周辺部に、枠（白色の部分）が生じてしまう。よって、血管抽出画像Ｇ９の前景領域ＦＢの周辺部に生ずる枠を誤って血管として抽出してしまい、ユーザ（眼科医）に、前景領域ＦＢにおいて本来は血管が無い部分に血管があると認識させてしまうおそれがあった。

これに対し、本実施の形態では、図１０Ａに示す脈絡膜血管画像Ｇ１の背景領域ＢＧの画像を前景領域ＦＧの画像を基準とした画素値に埋めた背景処理済み画像Ｇ２（図１０Ｂ参照）が生成される。背景処理済み画像Ｇ２から、血管強調処理を経て、二値化されるので、図１０Ｄに示すように、血管抽出画像Ｇ４の周辺部には枠（白色の部分）が生じない。従って、本実施の形態は、前景領域と背景領域との境界が、眼底の画像の解析結果に影響を及ぼすことを防止することができる。よって、本実施の形態は、ユーザ（眼科医）が、血管抽出画像Ｇ４において本来は血管が無い部分（すなわち背景領域や、前景領域の最外周部などに）に脈絡膜血管があると認識することを防止することができる。

前述した血管強調画像Ｇ３の二値化は、前景領域ＦＧの各画素について、当該各画素を中心とした所定個数の画素の画素値の平均値Ｈをしきい値として、行っているが、本開示の技術は、これに限定されず、以下の二値化処理の変形例を用いることができる。

（二値化処理の変形例１）
眼底画像処理部２０６０は、血管強調画像Ｇ３をぼかすこと（例えば、画像から低周波成分を除去する処理を行う）により、図１８に示すぼかし画像Ｇｂを生成する、そして、ぼかし画像Ｇｂの各画素の画素値を、ぼかし画像Ｇｂの当該各画素の位置に対応する血管強調画像Ｇ３の各画素のしきい値として使用する。血管強調画像Ｇ３をぼかす処理としては、点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）のフィルタによる畳み込み演算等がある。また、画像をぼかすための処理として、ガウシアンフィルタやローパスフィルタなどのフィルタリング処理を用いてもよい。

（二値化処理の変形例２）
眼底画像処理部２０６０は、予め定めた値を二値化処理のしきい値として用いてもよい。なお、予め定めた値は、例えば、前景領域ＦＧの全画素値の平均値等である。

（二値化処理の変形例３）
二値化処理の変形例３は、図６のステップ３０２（ステップ３３２から３４２）を省略する例である。この場合、図９のステップ３５６の処理の内容は次の通りである。
最初に、眼底画像処理部２０６０は、画素ｍを中心とした所定個数の画素を抽出する。
眼底画像処理部２０６０は、抽出した所定個数の画素に、背景領域ＢＧの画素が含まれているか否かを判断する。
抽出した所定個数の画素に、背景領域ＢＧの画素が含まれていると判断された場合には、眼底画像処理部２０６０は、当該背景領域ＢＧの画素を以下の画素に置換し、置換した画素と上記最初に抽出した画素に含まれている前景領域の画素とを、画素ｍを中心とした所定個数の画素として設定する。上記背景領域ＢＧの画素に置換される画素は、所定個数の画素に含まれる前景領域ＦＧの画素に隣接する前景領域ＦＧの画素（当該各画素から所定距離に位置する前景領域の画像の画素のみ）である。
一方、抽出した所定個数の画素に、背景領域ＢＧの画素が含まれていないと判断された場合には、眼底画像処理部２０６０は、上記画素の置換を行わず、上記最初に抽出した画素を、画素ｍを中心とした所定個数の画素として設定する。

つまり、二値化処理の変形例３では、眼底画像処理部２０６０にて以下のような画像処理のステップが実行される。被検眼の画像部分である前景領域と前記被検眼の画像部分に対する背景領域とを有する眼底画像を取得することとが行われる。次に、前景領域の画像の各画素の画素値を、当該各画素から所定距離に位置する前景領域の画像の画素の画素値のみに基づいて、二値化することが行われる。

（その他の変形例）

以上説明した実施の形態では、検出素子７０、７２、７４、７６では、背景領域の画素値は、黒の値である０であるが、本開示の技術はこれに限定されず、背景領域の画素値が白の値の場合にも適用可能である。

眼底画像（ＵＷＦ－ＳＬＯ画像（例えば、ＵＷＦＧＰ（図３参照）））を眼科装置１１０により取得しているが、眼底カメラを用いて、眼底画像（ＦＣＧＱ（図３参照）））を取得するようにしてもよい。眼底カメラを用いて眼底画像ＦＣＧＱを取得する場合、前述した画像処理では、ＲＧＢ空間のＲ成分、Ｇ成分、又はＢ成分が用いられる。なお、Ｌ＊ａ＊ｂ＊空間におけるａ＊成分が用いられたり、他の空間の他の成分が用いられたりしてもよい。

本開示の技術は、図６に示す画像処理を、サーバ１４０が実行することに限定されず、眼科装置１１０、ビューワ１５０、ネットワーク１３０に接続された別のコンピュータが実行するようにしてもよい。

また、眼科装置１１０は被検眼１２の眼球中心Ｏを基準位置として内部照射角が２００度の領域（被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７度）を撮影する機能を持つが、この画角に限らない。内部照射角が２００度以上（外部照射角が１６７度以上１８０度以下）であってもよい。

さらに、内部照射角が２００度未満（外部照射角が１６７度未満）のスペックであってもよい。例えば、内部照射角が約１８０度（外部照射角が約１４０度）、内部照射角が約１５６度（外部照射角が約１２０度）、内部照射角が約１４４度（外部照射角が約１１０度）などの画角でも良い。数値は一例である。

以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第１技術および第２技術を含む。

（第１技術）
前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得する取得部と、
前記プロセッサが、前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成する生成部と、
を含む画像処理装置。

なお、上記実施の形態の眼底画像処理部２０６０は、上記第１技術の「取得部」、「生成部」の一例である。

（第２技術）
取得部が、前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得することと、
生成部が、前記プロセッサが、前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成することと、
を含む画像処理方法。

以上の開示内容から以下の第３技術が提案される。

（第３技術）
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得し、
前記背景領域を構成する画素の第１画素値を、前記第１画素値と異なる第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成する、
ことを実行させる、
コンピュータープログラム製品。

以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (13)

1. プロセッサが、前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得することと、
   前記プロセッサが、前記背景領域を構成する画素の第１画素値を、前記第１画素値よりも画素値の大きな第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成することと、
   前記プロセッサが、前記第２眼底画像又は前記第２眼底画像において血管を強調した画像において、前記前景領域の画素を、当該画素の周囲の画素の画素値に基づいて定まるしきい値を基準に、２値化することにより、第３眼底画像を生成することと、
   を含む画像処理方法。
2. 前記前景領域は、前記被検眼の所定領域が撮影された領域である、請求項１に記載の画像処理方法。
3. 前記所定領域は被検眼の眼底領域である、請求項２に記載の画像処理方法。
4. 前記背景領域は、単色の領域である、
   請求項１から請求項３の何れか１項に記載の画像処理方法。
5. 前記プロセッサが、前記被検眼の眼底の血管の解析処理を実行することをさらに含む、請求項１から請求項４の何れか１項に記載の画像処理方法。
6. 前記血管は、脈絡膜血管である、請求項５に記載の画像処理方法。
7. 前記プロセッサが、前記第２眼底画像に対して、前記背景領域の画素の画素値を、前記第２画素値と異なる第３画素値に置換することをさらに含む請求項１から請求項６の何れか１項に記載の画像処理方法。
8. 前記第１画素値と前記第３画素値は同一である請求項７に記載の画像処理方法。
9. 前記背景処理は、少なくとも前記背景領域を構成する画素の内の前記前景領域の画素に隣接する画素を対象として行われる、請求項１から請求項８の何れか１項に記載の画像処理方法。
10. 前記第２画素値は、前記前景領域の画素の画素値として取り得る値の範囲内の値である、請求項１から請求項９の何れか１項に記載の画像処理方法。
11. 前記第２画素値は、前記前景領域の画素の中で前記背景領域の画素に距離が最も近い画素の画素値、または、前記前景領域の画素の画素値の平均値である、請求項１から請求項１０の何れか１項に記載の画像処理方法。
12. メモリと、前記メモリに接続されたプロセッサとを備え、
    前記プロセッサは、
    前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得し、
    前記背景領域を構成する画素の第１画素値を、前記第１画素値よりも画素値の大きな第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成し、
    前記第２眼底画像又は前記第２眼底画像において血管を強調した画像において、前記前景領域の画素を、当該画素の周囲の画素の画素値に基づいて定まるしきい値を基準に、２値化することにより、第３眼底画像を生成する、
    画像処理装置。
13. コンピュータに、
    前景領域と前記前景領域以外の背景領域とを有する被検眼の第１眼底画像を取得し、
    前記背景領域を構成する画素の第１画素値を、前記第１画素値よりも画素値の大きな第２画素値に置換する背景処理を行うことにより、第２眼底画像を生成し、
    前記第２眼底画像又は前記第２眼底画像において血管を強調した画像において、前記前景領域の画素を、当該画素の周囲の画素の画素値に基づいて定まるしきい値を基準に、２値化することにより、第３眼底画像を生成する、
    ことを実行させるプログラム。

Images