以下、図面を参照して本発明の実施の形態を詳細に説明する。
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「サーバ」という)140と、画像表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。サーバ140は、眼科装置110によって患者の眼底が撮影されることにより得られた眼底画像を、患者のIDに対応して記憶する。ビューワ150は、サーバ140から取得した眼底画像などの医療情報を表示する。
サーバ140は、本開示の技術の「画像処理装置」の一例である。
眼科装置110、眼軸長測定器120、サーバ140、およびビューワ150は、ネットワーク130を介して、相互に接続されている。
次に、図2を参照して、眼科装置110の構成を説明する。
説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18、OCTユニット20、および撮影光学系19を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
また、制御装置16は、I/Oポート16Dに接続された画像処理装置16Gを備えている。画像処理装置16Gは、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。制御装置16はI/Oポート16Dに接続された通信インターフェース(I/F)16Fを備えている。眼科装置110は、通信インターフェース(I/F)16Fおよびネットワーク130を介して眼軸長測定器120、サーバ140、およびビューワ150に接続される。
上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
内部照射角の200度は、本開示の技術の「所定値」の一例である。
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
SLOユニット18は、複数の光源、例えば、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射または透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系56、52で反射して、それぞれ1つの光路に導かれる。
SLOユニット18は、G光、R光、およびB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、被検眼12の後眼部に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
SLOユニット18は、被検眼12の後眼部(例えば、眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。
SLOユニット18は、複数の光源に対応して複数の光検出素子を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、およびビームスプリッタ58により反射したG光を検出するG光検出素子72を備えている。SLOユニット18は、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置16Gは、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
UWF-SLO画像(後述するようにUWF眼底画像、オリジナル眼底画像ともいう)には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
このようにUWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像がある。UWF-SLO画像の各画像データは、入力/表示装置16Eを介して入力された患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-SLO画像の各画像データと患者の情報とは、記憶装置254に、対応して記憶される。なお、患者の情報には、例えば、患者名ID、氏名、年齢、視力、右眼/左眼の区別等がある。患者の情報はオペレータが入力/表示装置16Eを介して入力する。
OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。CPU16Aの制御下で動作する画像処理装置16Gは、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。
UWF-OCT画像の画像データは、患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-OCT画像の画像データと患者の情報とは、記憶装置254に、対応して記憶される。
なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
次に、眼軸長測定器120を説明する。眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
眼軸長測定器120は、第1のモードまたは第2のモードにより測定された眼軸長をサーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ140に送信する。サーバ140は、患者の眼軸長を患者名IDに対応して記憶する。
次に、図3を参照して、サーバ140の電気系の構成を説明する。図3に示すように、サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、バス270により相互に接続されたCPU262、RAM266、ROM264、および入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、サーバ140は、眼科装置110、およびビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。
画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置254、ROM264は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。CPU262は、本開示の技術の「プロセッサ」の一例である。
サーバ140の後述する処理部210(図5も参照)は、眼科装置110から受信した各データを、記憶装置254に記憶する。具体的には、処理部210は記憶装置254に、UWF-SLO画像の各画像データおよびUWF-OCT画像の画像データと患者の情報(上記のように患者名ID等)とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置110の入力/表示装置16Eを介して病変の情報が入力され、サーバ140に送信される。病変の情報は患者の情報と対応付けられて記憶装置254に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
ビューワ150は、CPU、RAM、ROM等を備えたコンピュータとディスプレイとを備え、ROMには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ140から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
次に、図4を参照して、サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能(分水嶺検出機能、渦静脈位置検出機能)、評価値計算機能、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、図4に示すように、表示制御部204、画像処理部206(分水嶺検出部2060および渦静脈位置検出部2062)、評価値計算部208、および処理部210として機能する。
次に、図5を用いて、サーバ140による画像処理を詳細に説明する。サーバ140のCPU262が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置110によりUWF眼底画像(UWF-SLO画像)が、取得され、患者名IDと共にサーバ140に送信され、サーバ140が、患者名IDおよびUWF眼底画像を受信した場合に、スタートする。
ステップ502で、処理部210は、記憶装置254から、UWF眼底画像を取得する。上記のように、UWF眼底画像には、UWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像が含まれる。なお、図11には、RGBカラー眼底画像G1が示されている。
ステップ504で、処理部210は、脈絡膜血管画像を、以下のようにして生成する。
まず、UWF眼底画像の中のR色眼底画像とG色眼底画像とに含まれる情報を説明する。
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、R色眼底画像には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、G色眼底画像には、網膜に存在する血管(網膜血管)の情報のみが含まれる。
処理部210は、ブラックハットフィルタ処理をG色眼底画像に施すことにより、G色眼底画像から網膜血管を抽出する。次に、処理部210は、R色眼底画像から、G色眼底画像から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、G色眼底画像から抽出された網膜血管の位置情報を用いてR色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、処理部210は、網膜血管が除去されたR色眼底画像の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、R色眼底画像において、脈絡膜血管を強調する。これにより、図12に示すように、脈絡膜血管画像G2が得られる。生成された脈絡膜血管画像は記憶装置254に記憶される。
また、R色眼底画像とG色眼底画像から脈絡膜血管画像を生成しているが、処理部210は、R色眼底画像R色眼底画像あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。
脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
ステップ506で、画像処理部206は、脈絡膜血管画像G2において、脈絡膜血管網の分水嶺を検出する。
本開示の技術では、分水嶺の検出方法としては種々の方法がある。最初に、図6を参照して、分水嶺の第1の検出方法を説明する。
分水嶺は、眼底の脈絡膜血管の密度が他の領域より低い領域である。一般的に、黄斑の位置と視神経乳頭との位置を結ぶ線の領域、および視神経乳頭の位置を通り、当該線に垂直な直線の領域は、脈絡膜血管の密度が他の領域より低い領域である。
なお、本実施の形態では、黄斑の位置と視神経乳頭との位置を結ぶ線を水平線とする。
そこで、本実施の形態では、分水嶺検出部2060は、水平線を第1分水嶺として検出し、直線を第2分水嶺として検出する。具体的には次の通りである。
ステップ602で、分水嶺検出部2060は、図13に示すように、脈絡膜血管画像G2において、黄斑Mと視神経乳頭ONHとの各々の位置を検出する。
黄斑は脈絡膜血管画像G2において暗い領域である。そこで、分水嶺検出部2060は、脈絡膜血管画像G2において画素値が最も小さい所定数の画素の領域を黄斑Mの位置として検出する。
分水嶺検出部2060は、脈絡膜血管画像G2から視神経乳頭ONHの位置を検出する。具体的には、分水嶺検出部2060は、脈絡膜血管画像G2に対して、予め定まる視神経乳頭ONHの画像のパターンマッチングをすることにより、脈絡膜血管画像G2において視神経乳頭ONHを検出する。また、視神経乳頭ONHは脈絡膜血管画像G2において最も明るい領域であるので、脈絡膜血管画像G2において画素値が最も大きい所定数の画素の領域を視神経乳頭ONHの位置として検出するようにしてもよい。
ステップ604で、分水嶺検出部2060は、図13に示すように、脈絡膜血管画像G2において、黄斑Mの位置と視神経乳頭ONHとの位置を結ぶ水平線を、第1分水嶺LHとして検出する。ステップ606で、分水嶺検出部2060は、図14に示すように、水平線LHに直交し、視神経乳頭ONHの位置を通る直線を、第2分水嶺LVとして検出する。
ステップ606の処理が終了すると、図5のステップ506の分水嶺の検出処理が終了し、画像処理は、ステップ508に進む。
次に、図7を参照して、分水嶺の第2の検出方法を説明する。
上記のように、分水嶺は、脈絡膜血管画像G2において、脈絡膜血管の密度が他の領域より低い領域である。そこで、第2の検出方法では、分水嶺検出部2060は、脈絡膜血管画像G2において、密度が他の領域より低い領域の中心を結ぶことにより、分水嶺を検出する。具体的には、次の通りである。
ステップ702で、分水嶺検出部2060は、脈絡膜血管画像G2を、各々が所定個数の画素を備える複数の領域に分割する。
ステップ704で、分水嶺検出部2060は、各領域の脈絡膜血管の密度を計算する。具体的には、まず、分水嶺検出部2060は、脈絡膜血管画像G2において脈絡膜血管を検出し、各領域で、脈絡膜血管の密度を計算する。なお、脈絡膜血管の検出方法には、例えば、脈絡膜血管画像G2において、周辺の画素よりも画素値(例えば、輝度値)が大きい画素を含む領域を脈絡膜血管の画素として抽出する方法がある。
ステップ706で、分水嶺検出部2060は、各領域の密度から、各領域を、密度が低い順にソートし、総領域から、密度の低い側の1/n個の領域を抽出する(nは、例えば、100等)。
ステップ708で、分水嶺検出部2060は、総領域の(1/n)個の領域の各々の位置から、連続する領域を抽出する。
ステップ710で、分水嶺検出部2060は、連続する領域の中心を結ぶことにより、図15に示すように、分水嶺W1,W2を検出する。
ステップ710の処理が終了すると、図5のステップ506の分水嶺の検出処理が終了し、画像処理は、ステップ508に進む。
次に、図8を参照して、分水嶺の第3の検出方法を説明する。
図16に示すように、一般的には、眼底には、4個の渦静脈が存在し、各脈絡膜血管は、4個の渦静脈の何れかに接続され、眼底の分水嶺が存在すると予想される領域において、同じ渦静脈に接続される脈絡膜血管の血管走行方向は同方向である。分水嶺は、同じ渦静脈に接続される脈絡膜血管群の領域g1からg4の境界u1、u2に存在する。
そこで、第3の検出方法では、分水嶺検出部2060は、脈絡膜血管画像から脈絡膜血管網を抽出し、脈絡膜血管網の各脈絡膜血管の走行方向を検出し、各脈絡膜血管の走行方向から分水嶺を検出する。具体的には、次の通りである。
ステップ802で、分水嶺検出部2060は、脈絡膜血管画像G2において、複数の解析点を設定する。具体的には、まず、分水嶺検出部2060は、上記のように黄斑の位置と視神経乳頭とを検出し、各位置を結ぶ水平線により、脈絡膜血管画像G2において、水平線より上側の第1の領域と水平線より下側の第2の領域とを設定する。分水嶺検出部2060は、複数の解析点240KUを、第1の領域において、上下方向にM(自然数)行、左右(水平)方向にN(自然数)列に、等間隔に格子状のパターンに位置するように、配置する。例えば、第1の領域における解析点の個数は、M(3)×N(7)(=L:21)個である。分水嶺検出部2060は、解析点240KDを、第2の領域において、第1の領域において配置した解析点240KUと、水平線を基準に線対称となる位置に、配置する。
なお、解析点240KU、240KDは、第1の領域と第2の領域とで、等間隔でなかったり、格子状のパターンでなかったりしてもよい。第1の領域と第2の領域の大きさは眼軸長に応じて変化させて良い。Lの個数、M、Nも上述の例に限らず様々な値を設定することができる。数を増やせば分解能が上がる。
ステップ804で、分水嶺検出部2060は、脈絡膜血管画像G2における各脈絡膜血管の移動方向(血管走行方向)を特定する。具体的には、分水嶺検出部2060は、脈絡膜血管画像の各解析点240KU、240KDについて、下記の処理を実行する。即ち、分水嶺検出部2060は、各解析点240KU、240KDに対して、当該各解析点240KU、240KDを中心とした領域(セル)を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、分水嶺検出部2060は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各解析点240KU、240KDにおける血管走行方向が特定される。
ステップ806で、分水嶺検出部2060は、同方向の解析点群を検出する。具体的には、分水嶺検出部2060は、各解析点240KU、240KDにおける血管走行方向の水平線に対する角度が、例えば、0度~90度未満、90度~180度未満、180度~270度未満、270度~360度未満の範囲に属する解析点群を、同方向の解析点群として検出する。
ステップ808で、分水嶺検出部2060は、解析点群の領域間の境界線を、分水嶺として検出する。具体的には、分水嶺検出部2060は、脈絡膜血管画像G2において、0度~90度未満、90度~180度未満、180度~270度未満、270度~360度未満の範囲に属する解析点群を含む領域g1からg4を設定する。分水嶺検出部2060は、領域g1からg4間の境界線U1、U2を、分水嶺として検出する。
ステップ808の処理が終了すると、図5のステップ506の分水嶺の検出処理が終了し、画像処理は、ステップ508に進む。
分水嶺の検出方法は、第1の検出方法から第3の検出方法に限定されない。本開示の技術には、以下の検出方法も適用可能である。
例えば、脈絡膜血管画像から、画素値が局所的最小値の画素群を検出し、局所的最小値の画素群の頻度が、他の領域より高い領域を連結する方法(第4の検出方法)があげられる。
また、脈絡膜血管画像に低周波処理を施すことにより、前記眼底画像から、画素値が大域的に極小の領域を抽出する方法(第5の検出方法)があげられる。
更に、脈絡膜血管画像の各画素において、基準輝度より低い値の画素で構成される領域を、分水嶺とする方法(第6の検出方法)があげられる。なお、第6の検出方法における基準輝度とは、脈絡膜血管画像の画素値の平均値である。
ステップ508で、渦静脈位置検出部2062は、渦静脈(Vortex Vein(以下、VVともいう))の位置を検出する。脈絡膜血管画像を解析し、渦静脈位置を検出する。解析にあったては、脈絡膜血管の走行方向、血管径(血管の太さ)血管の面積、血管の分岐/合流などの脈絡膜血管のネットワークや構造を示す脈絡膜血管情報を用いることができる。例えば、血管走行方向や血管の太さや血管の分岐点/合流点を組み合わせて、渦静脈位置の検出することができる。
ここで、図9と図10を参照して、ステップ508の渦静脈の位置の検出処理の具体的な手法を説明する。
図9には、第1の渦静脈の位置検出処理のフローチャートが示され、図10には、第2の渦静脈の位置検出処理のフローチャートが示されている。渦静脈の位置検出処理としては、第1の渦静脈の位置検出処理(図9)でも、第2の渦静脈の位置検出処理(図10)でもよい。また、第1の渦静脈の位置検出処理(図9)結果と第2の渦静脈の位置検出処理(図10)との積(図9の処理でも検出され、かつ、図10の処理でも検出された位置を渦静脈位置とする)を取ることにより、渦静脈位置を検出するようにしてもよい。
最初に、図9の第1の渦静脈の位置検出処理を説明する。
ステップ902で、渦静脈位置検出部2062は、血管走行方向を求める。なお、ステップ902の処理は、図8のステップ802、804の処理と同じであるので、その説明を省略する。
ステップ904で、渦静脈位置検出部2062は、上記解析点の何れかに、粒子の初期位置を設定する。
ステップ906で、渦静脈位置検出部2062は、初期位置の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。
以上の処理を、全ての解析点ての位置において実行する。すべての仮想の粒子に対して設定した移動回数行った時点で、仮想の粒子が一定個数以上集まっている点をVVの位置のとして、記憶装置254に記憶する。
次に、図10の第2の渦静脈の位置検出処理を説明する。
ステップ1001で、渦静脈位置検出部2062は、脈絡膜血管画像を、所定の閾値で、2値化し、2値化画像を作成する。
ステップ1003で、渦静脈位置検出部2062は、2値化画像に対し細線化処理を施すことにより、幅が1ピクセルの線画像に変換して、太さ情報を消去する。
ステップ1005で、渦静脈位置検出部2062は、線画像において、線が交差する血管交差点および線が分岐する血管分岐点等、VVとしての特徴的なパターンを有する血管特徴点を特定する。血管特徴点をVV位置として、記憶装置254に記憶する。
図5のステップ508の渦静脈の位置の検出処理が終了し、画像処理はステップ510に進む。
ステップ510では、評価値計算部208は、分水嶺に関する評価値を計算する。分水嶺に関する評価値には種々の評価値があり、分水嶺自体の評価値、分水嶺と眼底の構造物(例えば、渦静脈)との関係により定まる評価値があり、具体的には、以下の評価値がある。
(第1評価値)
まず、分水嶺の第1評価値を説明する。第1評価値は、渦静脈と分水嶺との距離であり、具体的には、図17に示すように、渦静脈VV1からVV4の各々と第1分水嶺W1、第2分水嶺W2との距離である。当該距離には、例えば、次の3種類の距離がある。
第1に、渦静脈VV1からVV4の各々と第1分水嶺W1への垂線の長さである。具体的には、図17に示すように、例えば、評価値計算部208は、渦静脈VV1と第1分水嶺W1の各点との距離を計算し、最小距離となる点Q1を検出し、渦静脈VV1と点Q1との距離を、第1分水嶺W1への垂線の長さとして、記憶装置254に記憶する。
第2に、渦静脈VV1からVV4の各々と第2分水嶺W2への垂線の長さである。評価値計算部208は、第1分水嶺W1への垂線の長さと同様に、例えば、渦静脈VV1と第2分水嶺W2の各点との距離を計算し、最小距離となる点Q3を検出し、渦静脈VV1と点Q3との距離を、分水嶺W2への垂線の長さとして、記憶装置254に記憶する。
第3に、渦静脈VV1からVV4の各々と、第1分水嶺W1および第2分水嶺W2の交点Cとの距離である。
(第2評価値)
次に、分水嶺の第2評価値を説明する。第2評価値は、分水嶺を基準とした渦静脈の対称性を示す値である。具体的には、評価値計算部208は、第1分水嶺W1を挟んで対向する位置に位置する2つの渦静脈(例えば、渦静脈VV1、VV4)の各組について、以下の対称性を示す値RVを計算する。
例えば、渦静脈VV1の渦静脈VV4に対する対称性を示す値RV1は、
RV1=(VV1とQ1との距離)/(VV4とQ2との距離)
であり、渦静脈VV4の渦静脈VV1に対する対称性を示す値RV1は、
RV4=(VV4とQ2との距離)/(VV1とQ1との距離)
である。
対称性を示す値(RV1、RV2)が1に近いほど、第1分水嶺W1を挟んで対向する位置に位置する2つの渦静脈が対称性が高い。
(第3評価値)
次に、分水嶺の第3評価値を説明する。第3評価値は、分水嶺を基準とした脈絡膜血管の非対称性を示す値である。評価値計算部208は、例えば、第1分水嶺W1を、最小二乗近似法を用いて、直線を求め、求めた直線を新基準線として定義する。
上記例(図8のステップ802)では、黄斑Mの位置と視神経乳頭ONHとを結ぶ水平線を基準に第1の領域と第2の領域とを設定している。
第3評価値を求める場合には、評価値計算部208は、新基準線を基準に、新基準線より上側の領域を第1の領域と、新基準線より下側の第2の領域とを設定し、第1の領域と第2の領域とに、新基準線を基準に線対称となるように、解析点を設定する。
評価値計算部208は、各解析点について血管走行方向を特定する。
評価値計算部208は、新基準線に線対称となる解析点の各組について、非対称性を示す値を算出する。非対称性を示す値は血管走行方向の差であり、当該差は、各組の各解析点のヒストグラムから求められる。評価値計算部208は、組となるヒストグラムの各ビンにおける度数の差Δhを求め、Δhを二乗する。そして各ビンのΔh2の和であるΣΔh2を計算することにより、非対称性を示す値が求める。ΣΔh2が大きければ、ヒストグラムの形状が大きく異なることから、非対称性も大きくなり、小さければヒストグラムの形状が似ていることから非対称性が小さいことになる。
なお、非対称性を示す値は、このような各組の各解析点のヒストグラムの二乗誤差の和に限定されない。各組の各解析点のヒストグラムから代表角度を決定し、その絶対値差を算出したりしてもよい。
(第4評価値)
次に、分水嶺の第4評価値を説明する。第4評価値は、分水嶺間のなす角度である。評価値計算部208は、第1分水嶺W1および第2分水嶺W2の各々について、最小二乗近似法を用いて、直線を求めることにより、図18に示すように、第1分水嶺軸WNおよび第2分水嶺軸WMを求める。
評価値計算部208は、図19に示すように、第1分水嶺軸WNおよび第2分水嶺軸WMから、互いに直交する新第1分水嶺軸WNVおよび新第2分水嶺軸WMVを生成する。
評価値計算部208は、図20に示すように、第1分水嶺軸WNおよび第2分水嶺軸WMが求められた脈絡膜血管画像を、新第1分水嶺軸WNVおよび新第2分水嶺軸WMVにあわせてアフィン変換する。
評価値計算部208は、アフィン変換された脈絡膜血管画像を基準に上記第1評価値から第3評価値を、第4評価値(第1の第4評価値)として、求める。
第4評価値は、これに限定されない。
例えば、評価値計算部208は、アフィン変換される前の脈絡膜血管画像について、図18に示す第1分水嶺軸WNおよび第2分水嶺軸WMを第1分水嶺W1および第2分水嶺W2として上記第1評価値から第3評価値を、第4評価値(第2の評価値)として、求めるようにしてもよい。更に、評価値計算部208は、第1分水嶺軸WNおよび第2分水嶺軸WMと、新第1分水嶺軸WNVおよび新第2分水嶺軸WMVとを、脈絡膜血管画像の2次元ではなく、大円(眼球モデル)において求める。評価値計算部208は、大円において求められた第1分水嶺軸WNおよび第2分水嶺軸WMと、新第1分水嶺軸WNVおよび新第2分水嶺軸WMVと基準に、上記第1評価値から第3評価値、第1の第4評価値、第1の第4評価値を、第4評価値(第3の評価値)として、求めるようにしてもよい。
(第5評価値)
次に、分水嶺の第5評価値を説明する。第1分水嶺W1および第2分水嶺W2は、上記のように、脈絡膜血管の密度が小さいが、脈絡膜血管画像の画素の輝度値にはばらつきがある。評価値計算部208は、第1分水嶺W1および第2分水嶺W2の全体の画素の輝度値の平均値を求める。評価値計算部208は、記憶装置254に予め記憶されている眼底の病変の部分や渦静脈の部分の画素の輝度値と平均値との差分を、第5評価値として、求める。
(第6評価値)
次に、分水嶺の第6評価値を説明する。第6の検出方法のように、脈絡膜血管画像の各画素において基準輝度より低い値の画素で構成される領域RW(図21参照)が、分水嶺として求められた場合、当該領域RWの面積が第6の評価値である。
(第7評価値)
次に、分水嶺の第7評価値を説明する。第7評価値は、各分水嶺自体の蛇行性(tortuosity)を示す値である。具体的には、次の通りである。
評価値計算部208は、上記のように第1分水嶺W1および第2分水嶺W2の各々について直線を求めることにより、第1分水嶺軸WNおよび第2分水嶺軸WMを求め(図18参照)、第1分水嶺軸WNおよび第2分水嶺軸WMの各々の長さDWN、DWMを求める。
評価値計算部208は、第1分水嶺W1および第2分水嶺W2の各々の長さDW1、DW2を求める。
評価値計算部208は、第1分水嶺W1および第2分水嶺W2の各々の蛇行性を示す値として、以下の値を、第7の評価値として求める。
(DW1/DWN)-1
(DW2/DWM)-1
なお、DW1、DWN、DW2、DWMは、脈絡膜血管画像の2次元上の距離でも、眼球モデルの3次元上の距離でもよい。
(第8評価値)
次に、分水嶺の第8評価値を説明する。第8評価値は、脈絡膜血管画像を分水嶺で分割された領域に存在する脈絡膜血管の面積である。評価値計算部208は、分水嶺を基準に、脈絡膜血管画像を複数の領域に分割し、分割された複数の領域の各々に存在する脈絡膜血管の面積を、第8評価値として、算出する。具体的には、次の通りである。
第1に、具体的には、脈絡膜血管画像を、第1分水嶺W1および第2分水嶺W2で分割された4個の領域の各々に存在する同じ渦静脈に接続される脈絡膜血管の面積である。
評価値計算部208は、脈絡膜血管画像を、第1分水嶺W1および第2分水嶺W2を基準に分割する。評価値計算部208は、分割された4個の領域の各々に存在する同じ渦静脈に接続される脈絡膜血管を抽出する。評価値計算部208は、抽出した4個の領域の各々に存在する同じ渦静脈に接続される脈絡膜血管の面積を、第8評価値として求める。
第2に、脈絡膜血管画像を、第1分水嶺W1または第2分水嶺W2を基準に分割された2個の領域の各々に存在する脈絡膜血管の面積である。なお、第1分水嶺W1を基準に分割された2個の領域は、第1分水嶺W1より上側(耳上)の領域と、第1分水嶺W1より下側(耳下)の領域と、がある
以上のように評価値が計算されると、ステップ510の処理が終了し、画像処理はステップ512に進む。
ステップ512では、処理部210は、分水嶺に関する画面のデータを生成し、ステップ514で、処理部210は、画面のデータを記憶装置254に保存(記憶)する。
処理部210は、画面のデータを、ビューワ150に送信する。ビューワ150はディスプレイに、画面を表示する。なお、サーバ140の表示制御部204は、ディスプレイ256に、分水嶺に関する画面を表示してもよい。
次に、図22から図25を参照して、分水嶺に関する第1眼底画像表示画面1000Aおよび第2眼底画像表示画面1000Bを説明する。
図22に示すように、第1眼底画像表示画面1000Aは、患者情報表示欄1002と、第1眼底画像情報表示欄1004Aとを備えている。
患者情報表示欄1002は、患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長を表示するための、各々の表示欄1012から1022と、画面切替ボタン1024とを有する。表示欄1012から1022に、受信した患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長が表示される。
第1眼底画像情報表示欄1004Aは、UWF眼底画像表示欄1032A、分水嶺画像表示欄1032B、解析ツール表示欄1036、および情報表示欄1034を備えている。
UWF眼底画像表示欄1032Aには、UWF眼底画像(オリジナル眼底画像)、例えば、RGBカラー眼底画像(図11も参照)が表示される。
分水嶺画像表示欄1032Bには、オリジナル眼底画像に、分水嶺が重畳された画像が表示される。重畳表示される分水嶺は、第1の検出方法から第6の検出方法の何れかにより得られた分水嶺である。なお、図22では、第1の検出方法により検出された分水嶺LH、LVが重畳されている。
なお、分水嶺画像表示欄1032Bには、オリジナル眼底画像に代えて脈絡膜血管画像に、分水嶺が重畳された画像が表示されてよい。
情報表示欄1034には、ユーザ(眼科医)の診察時のコメントやメモがテキストとして表示される。
解析ツール表示欄1036には、UWF眼底画像表示欄1032Aおよび分水嶺画像表示欄1032Bの各々に、渦静脈を重畳表示することを指示する渦静脈表示指示アイコン1036Aがある。また、解析ツール表示欄1036には、分水嶺画像表示欄1032Bに、対称性を示す値を重畳表示することを指示する対称性表示指示アイコン1036Bがある。
渦静脈表示指示アイコン1036Aが操作された場合、ビューワ150は、図23に示すように、第1眼底画像表示画面1000Aにおいて、UWF眼底画像表示欄1032Aおよび分水嶺画像表示欄1032Bの各々に、渦静脈VV1からVV4を重畳表示する。
対称性表示指示アイコン1036Bが操作された場合、ビューワ150は、図24に示すように、第1眼底画像表示画面1000Aにおいて、分水嶺画像表示欄1032Bに、対称性を示す値が重畳表示される。図15に示す例では、対称性を示す値S1~S4、即ち、第2評価値である値RV1、RV2等である。
解析ツール表示欄1036には、対称性表示指示アイコン1036Bに限定されず、第2評価値以外の評価値を表示することを指示するアイコンを備え、当該アイコンが操作された場合、当該操作されたアイコンに対応する評価値を表示するようにしてもよい。
第1眼底画像表示画面1000Aにおいて、画面切替ボタン1024が操作されると、ビューワ150は、図25に示す第2眼底画像表示画面1000Bをディスプレイに表示する。
第1眼底画像表示画面1000Aと第2眼底画像表示画面1000Bとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
第2眼底画像表示画面1000Bは、分水嶺画像表示欄1032Bに代えて、分水嶺画像表示欄1032Cを有する。分水嶺画像表示欄1032Cに、第1の検出方法とは異なる検出方法により検出された分水嶺が重畳表示する。図25には、図15に示す分水嶺W1、W2が重畳表示される。
以上説明したように、上記実施の形態では、脈絡膜血管画像において、脈絡膜血管網の分水嶺を検出するので、脈絡膜血管の状態を検出することができる。
上記実施の形態で、視神経乳頭の位置と黄斑の位置とを通る水平線と、水平線に直交し、視神経乳頭を通る直線とから分水嶺を検出する場合、分水嶺の検出処理を、脈絡膜血管の密度を求めて分水嶺を検出する場合より、単純に分水嶺を検出できる。
上記実施の形態で、脈絡膜血管画像において脈絡膜血管の密度が他の領域より低い領域を検出することにより、分水嶺を検出する場合、上記水平線と上記視神経乳頭を通る直線とから分水嶺を検出する場合より、分水嶺を正確に検出することができる。
上記実施の形態では、分水嶺を表示するので、脈絡膜血管の状態を、眼科医等に知らせることができる。
以上説明した例では、図5の画像処理は、サーバ140が実行しているが、本開示の技術の技術はこれに限定されない。例えば、眼科装置110またはビューワ150が実行したり、ネットワーク130に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第1技術および第2技術を含む。
(第1技術)
眼底画像を取得する取得部と、
前記眼底画像から脈絡膜血管画像を生成する生成部と、
前記脈絡膜血管画像において、脈絡膜血管網の分水嶺を検出する検出部と、
を備える画像処理装置。
なお、上記実施の形態の処理部210は、上記第1技術の「取得部」および「生成部」の一例であり、上記実施の形態の分水嶺検出部2060は、上記第1技術の「検出部」の一例である。
上記のように以上の開示内容から以下の第2技術が提案される
(第2技術)
取得部が、眼底画像を取得することと、
生成部が、前記眼底画像から脈絡膜血管画像を生成することと、
検出部が、前記脈絡膜血管画像において、脈絡膜血管網の分水嶺を検出することと、
を含む画像処理方法。
以上の開示内容から以下の第3技術が提案される。
(第3技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
眼底画像を取得し、
前記眼底画像から脈絡膜血管画像を生成し、
前記脈絡膜血管画像において、脈絡膜血管網の分水嶺を検出する、
ことを実行させる、
コンピュータープログラム製品。
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。