JP6742691B2 - 眼科装置、画像処理方法およびプログラム - Google Patents

眼科装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6742691B2
JP6742691B2 JP2015016745A JP2015016745A JP6742691B2 JP 6742691 B2 JP6742691 B2 JP 6742691B2 JP 2015016745 A JP2015016745 A JP 2015016745A JP 2015016745 A JP2015016745 A JP 2015016745A JP 6742691 B2 JP6742691 B2 JP 6742691B2
Authority
JP
Japan
Prior art keywords
fundus image
image
eye
fundus
examined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015016745A
Other languages
English (en)
Other versions
JP2016140428A (ja
Inventor
小野 光洋
光洋 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015016745A priority Critical patent/JP6742691B2/ja
Priority to EP16152311.3A priority patent/EP3051490B1/en
Priority to DK16152311.3T priority patent/DK3051490T3/en
Priority to US15/011,278 priority patent/US9750402B2/en
Publication of JP2016140428A publication Critical patent/JP2016140428A/ja
Application granted granted Critical
Publication of JP6742691B2 publication Critical patent/JP6742691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

開示の技術は、眼科装置、画像処理方法およびプログラムに関する。
被検眼の水晶体に混濁が発生する白内障、や角膜に混濁が発生する疾患が知られている。水晶体に混濁がある被検眼の画像を細隙灯顕微鏡により取得する方法として、水晶体の混濁度合いが強くなるほど撮影光量およびブルー成分のゲインを下げて画像を取得する方法が知られている(特許文献1)。この方法により混濁部のブルー成分による反射光の画像への影響を低減している。
特開2003−310556号公報
しかしながら、混濁により主に短波長である青色成分が散乱されるため、混濁のある眼の画像に含まれる青色成分は混濁のない眼の画像に含まれる青色成分に比べて減少する場合がある。すなわち、従来のように混濁がある場合に撮影光量および青色成分のゲインを下げると画像に含まれる青色成分が更に減少することとなってしまう。
開示の技術はこのような状況に鑑みてなされたものであり、混濁がある被検眼から良好な画像を取得することを目的1つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の1つとして位置付けることができる。
開示の眼科装置の一つは、
被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得手段と、
前記眼底像に含まれる色情報を用いて得た前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分である青色成分の前記眼底像における割合が赤色成分及び緑色成分に対して相対的に大きくなるように前記眼底像を補正する補正手段と、を備える。
開示の技術によれば、混濁がある被検眼から良好な画像を取得することが可能となる。
眼底撮像装置の構成の一例を示す図である。 眼底カメラの測定部100およびカメラ部101内の構成の一例を示す図である。 画像処理手順の一例を示すフローチャートである。 眼底像の一例を示す図である。 眼底像に設定される解析エリアの一例を示す図である。 眼底像のヒストグラムの一例を示す図である。 色空間におけるハイライトポイントとシャドーポイントの一例を示す図である。 コントラスト値に対する強調量の特性の一例を示す図である。 画像処理手順の一例を示すフローチャートである。 フィルタの一例を示す図である。 眼底像に含まれる色成分の一例を示す図である。 画像処理手順の一例を示すフローチャートである。
以下、添付の図面を参照して、本実施形態に係る眼科装置について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は本明細書及び図面に開示された構成に限定されるものではない。
[実施例1]
<撮像装置の構成>
本実施例における眼底撮像装置の構成の一例について、図1、図2を用いて説明する。眼底撮像装置は眼科装置の一例に相当する。
図1は眼底撮像装置の構成の一例を示す側面図であり、測定部100、撮像素子を含むカメラ部101、本体部102、ジョイスティック103および顔受け104を備える。なお、測定部100内に撮像素子が含まれることとしてもよい。また、本実施例では眼底撮像装置として眼底カメラを例として説明するが、本発明はこれに限定されるものではなく、眼底撮像装置は、主波長の異なる複数の光源を用いたSLO(Scanning Laser Ophthalmoscopy)等眼底カメラ以外の装置であってもよい。
測定部100は、被検眼に対して光を照射する光学系及び被検眼からの戻り光を撮像素子に導く光学系を備える。また、測定部100はジョイスティック103に対する検者の操作に応じて本体部102に対して3次元的に駆動可能なように構成されている。さらに、オートアライメントを行う際にはプロセッサによって制御されたモーターにより、測定部100は本体部102に対して3次元的に駆動可能なように構成されている。
カメラ部101は撮像素子を備える。例えば、カメラ部101は一眼レフカメラの本体部により実現される。なお、カメラ部101は撮像した画像を表示可能な表示部を備えることとしてもよいしタッチパネル等の操作部を備えることとしてもよい。カメラ部101は測定部100の外部に取り付けられることとしてもよいし内部に備えられることとしてもよい。
本体部102は例えば測定部100を駆動するモーターおよびジョイスティック103に対する検者の操作を測定部100に動力として伝える機構を備える。
ジョイスティック103は測定部100を駆動する際に用いられる部材である。なお、本実施例においては測定部100を駆動するためにジョイスティック103を用いたがこれに限定されるものではない。例えばタッチパネルを用いて検者からの操作を受け付け、この操作に基づいて測定部100を駆動できるようにしてもよい。
顔受け104は被検者の顔を固定する部材である。顔受け104は顎受けおよび額当てを備える。顔受け104によって被検者の顎と額とを固定することで被検眼の固定を促す。
次に、眼底撮像装置の詳細な構成について説明する。図2は測定部100およびカメラ部101内の構成の一例を示す図である。
光軸O1、O2上には照明光学系が構成されている。光軸O1上には、近赤外光を発するLED光源を備える観察用光源1、コンデンサレンズ2、ストロボ等の撮影用光源3、レンズ4およびミラー5が配置されている。なお観察用光源1としてLED光源以外の光源を用いることとしてもよい。また撮影用光源3は例えばLED光源またはキセノン管により実現され、例えば可視光を射出する。
さらに、観察用光源1から射出された光のミラー5による反射方向の光軸O2上には、リング状開口を有するリング絞り6、フォーカス指標投影手段7、リレーレンズ8および中央部開口を有する孔あきミラー9が順次に配列されている。
また、観察用光源1から射出された光の孔あきミラー9による反射方向の光軸O3上には、被検眼Eに対向して対物レンズ10が配置されている。更に、孔あきミラー9の孔部に撮影絞り11が設けられ、その後方(被検眼側とは反対方向)にフォーカスレンズ12、撮影レンズ13、ミラー14および撮像素子15が順次に配列されている。
そして、被検眼からの戻り光のミラー14による反射方向の光軸O4上には、固視目標16が配置されている。この固視目標16は被検眼Eの眼底Erの任意の位置に、固視目標を投影するための液晶表示パネルとバックライト等を備え、撮像素子15と光学的に共役な位置に配置されている。
また、孔あきミラー9の孔部の近傍の光路O3から左右方向にずれた位置には、指標光束を導くライトガイド17の出射端が配置されている。このライトガイド17の入射端には、アライメント指標を点灯するためのLED光源18が接続され、ライドガイド17の出射端から射出された光がアライメント指標として被検眼に投影される。
撮像素子15は被検眼からの戻り光を受光するセンサであり例えばCCDによって実現される。なお、撮像素子15はCCDに限定されるものではなく、例えばCMOSによって実現されることとしてもよい。撮像素子15は例えば赤外光および可視光に感度を有する。なお、赤外光に感度を有する撮像素子および可視光に感度を有する撮像素子を別々に備えることとしてもよい。また、撮像素子15は画像処理部19に接続されている。
画像処理部19は撮像素子15の出力に基づいて被検眼の画像を生成する。具体的には画像処理部19は眼底からの戻り光を受光した撮像素子15の出力に基づいて眼底像を取得する。すなわち、画像処理部19は、被検眼の眼底に光を照射することで得られる眼底からの戻り光に基づいて被検眼の眼底像を取得する画像取得手段の一例に相当する。
また、画像処理部19は被検眼の画像に対して所定の画像処理を施す。なお、画像処理部19はカメラ部101に備えられることとしてもよいし、測定部100内に備えられることとしてもよい。また、眼底撮像装置とは別のPC等の装置に備えられることとしてもよい。
ここで、画像処理部19は例えばCPU、ASICまたはFPGA等の処理部により実現される。画像処理部19のより詳細な機能について説明する。CPU等の処理部が不図示のROMに記憶されたプログラムを実行することで図2(b)に示すように画像生成部190、抽出部191、検出部192、補正部193および強調部194として機能する。
CPU等の処理部およびROM等の記憶部は1つであってもよいし複数であってもよい。すなわち、少なくとも1以上の処理部(CPU)と少なくとも1つの記憶部(ROM等)とが接続されており、少なくとも1以上の処理部が少なくとも1以上の記憶部に記憶されたプログラムを実行した場合にCPU等の処理部は上記の各部として機能する。
画像生成部190は撮像素子15の出力に基づいて被検眼の画像を生成する。より具体的には被検眼の眼底像を生成する。なお、画像生成部190は、例えば、観察用光源1から射出された光の被検眼からの戻り光に基づいて白黒画像を生成し、撮影用光源3から射出された光の被検眼からの戻り光に基づいてカラー画像を生成する。
決定部191は画像生成部190によって生成された画像における色成分を抽出するための領域を決定する。より具体的には、決定部190は眼底像に対して予め定められた領域を設定し、この領域内で視神経乳頭に相当する領域を決定する。そして、決定部191は、視神経乳頭が含まれない領域を色成分を抽出するための領域(検出部192の処理対象の領域)と決定する。決定部191は、例えば、設定された領域を複数の小領域に分割し各小領域における輝度の平均値を求め、設定された領域内で輝度が高い小領域を視神経乳頭に相当する領域として特定する。また、決定部191は、輝度の平均値が所定の閾値以上の小領域を視神経乳頭に相当する領域として特定することとしてもよい。なお視神経乳頭のおおよそのサイズを不図示の記憶部に記憶しておき、このサイズに相当する分の設定された領域内で輝度が高い小領域を視神経乳頭に相当する領域として特定することもできる。このサイズはロバスト性を考慮し通常の視神経乳頭のサイズより大きなサイズとすることとしてもよい。
なお、決定部191は、設定された領域内で最も輝度が高い小領域を中心に記憶している視神経乳頭のサイズ分の小領域を視神経乳頭に相当する領域と特定することとしてもよい。また、不図示の記憶部はRAM、ROM、HDDまたはSSD等により構成される。
また、決定部191は、眼底像に対して領域を設定する以前に眼底像の輝度に基づいて視神経乳頭を検出し、視神経乳頭を避けるように眼底像に領域を設定することとしてもよい。
さらに、決定部191は、設定された領域内で小領域の平均輝度が所定の閾値より低い部分を検出部192の処理対象から外すこととしてもよい。このようにすれば眼底像において極端に輝度が高い部分および低い部分を処理対象から除外することができるため、画像処理の確実性を向上させることが可能となる。平均輝度が所定値より低い部分の一例としては眼底における黄斑が挙げられる。
なお、上記の例では小領域の平均輝度を用いることとしたが、小領域における輝度の最大値、最小値または中央値のいずれかを用いることとしてもよい。
検出部192は決定部191により決定された領域からハイライトポイント(明部)およびシャドーポイント(暗部)を検出する。すなわち、検出部192は、眼底像の輝度分布からハイライトポイントおよびシャドーポイントを検出する検出手段の一例に相当する。
より具体的には、検出部192は、視神経乳頭を除く領域の輝度分布からハイライトポイントおよびシャドーポイントを検出する。
ここで、検出部192は、例えば、決定部191により決定された領域における輝度の高い側から5%の輝度値をハイライトポイントとして検出する。また、検出部192は、例えば、決定部191により決定された領域における輝度の低い側から8%の輝度値をシャドーポイントとして検出する。なお、ハイライトポイントとして検出する輝度は輝度の高い側から5%以外の輝度値であってもよいし、1〜5%の輝度値をハイライトポイントとするなどハイライトポイントの輝度値に幅を持たせることとしてもよい。また、シャドーポイントとして検出する輝度は輝度の低い側から8%以外の輝度値であってもよいし、1〜8%の輝度値をシャドーポイントとするなどシャドーポイントの輝度値に幅を持たせることとしてもよい。
検出部192は更にハイライトポイントおよびシャドーポイントの色情報の平均を求める。例えば、ハイライトポイントのR,G,Bの各値の平均をとることでハイライトポイントの色情報の平均を求める。なお、平均はY,Cb,Cr等の他の情報を用いて平均をとることとしてもよい。また、平均値ではなく最大値、最小値または中央値のいずれかを用いることとしてもよい。
さらに、検出部192はハイライトポイントおよびシャドーポイントそれぞれの色情報の平均値を色空間にマッピングする。具体的には縦軸を輝度Yとして横軸をCbとする座標にハイライトポイントおよびシャドーポイントそれぞれの色情報の平均値をマッピングする。そしてマッピングしたハイライトポイントとシャドーポイントとを結ぶ直線の縦軸に対する角度を画像の色合いとして取得し、この角度を記憶部に保存する。なお、取得する角度は縦軸との角度に限定されるものではなく、ハイライトポイントとシャドーポイントとを結ぶ直線の横軸に対する角度であってもよい。ハイライトポイントおよびシャドーポイントをマッピングする座標はY−Cbの座標に限定されるものではなく、Y−Crの座標等の他の座標であってもよい。
また、検出部192は、マッピングされたハイライトポイントとシャドーポイントとの輝度差をコントラスト値として検出する。検出されたコントラスト値は図示しない記憶部に保存される。
なお、検出部192はハイライトポイントおよびシャドーポイント以外に例えば中間の輝度値のポイントを眼底像から抽出し、これら3つのポイントの近似直線を用いて上記の処理を行うこととしてもよい。すなわち、検出部192が検出するポイントはハイライトポイントおよびシャドーポイントの2点に限定されるものではない。また、検出部192はシャドーポイントまたはハイライトポイントと中間の輝度値のポイントとを通る直線に基づいて上記の処理を行うこととしてもよい。
補正部193は、検出部192により検出された角度を、混濁のない被検眼の画像のハイライトポイントとシャドーポイントとを結ぶ直線と輝度Yを示す縦軸とのなす角度に近づくように画像生成部190で生成された画像の色補正(回転変換)を行う。例えば、補正部193は、縦軸と横軸との交点(原点)あるいはシャドーポイントを中心としてハイライトポイントとシャドーポイントを結ぶ直線を回転させるように画像を補正する。補正方法の詳細については後述する。
なお、色補正の目標は、混濁のない被検眼の画像のハイライトポイントとシャドーポイントとを結ぶ直線と輝度Yを示す縦軸とのなす角度であることが理想的だが、完全に混濁のない眼の画像における角度に限定されるものではない。また、複数の画像における当該角度の平均値を色補正の目標とすることとしてもよい。
さらに、補正部193は、混濁のない被検眼の画像のハイライトポイントとシャドーポイントとの輝度差を目標として検出部192により検出されたコントラスト値を補正(コントラスト補正)する。なお、コントラスト値の補正の目標は、混濁のない被検眼の画像のハイライトポイントとシャドーポイントとの輝度差であることが理想的だが、完全に混濁のない眼の画像における輝度差に限定されるものではない。
なお、補正部193は、回転変換およびコントラスト値の補正の両方の補正を行うこととしてもよいし、いずれか一方の補正のみを行うこととしてもよい。
強調部194は被検眼の画像に対してコントラストの強調処理を行う。例えば、強調部194は、検出部192が検出したハイライトポイントとシャドーポイントとの輝度差(コントラスト値)に応じたコントラストの強調処理を行う。例えば、強調部194は検出部192によって検出されたコントラスト値が大きいほどコントラストの強調量を下げる。これにより過度なコントラストの強調を避けることが可能となる。
制御部20はCPU等の処理部により実現され、プログラムに従い各種の制御を行う。例えば、制御部20は観察用光源1および撮影用光源3の発光制御を行う。また、制御部20は画像処理部19により画像処理が施された画像をモニタ21に表示させる。さらに、制御部20は画像生成部190により生成された画像および画像処理部19により画像処理が施された画像を不図示の記憶部に記憶させる。また、制御部20は記憶部に記憶された画像を読出し画像処理部19に処理させることも可能である。より具体的には、操作部22を介して検者から画像処理の指示が制御部20に入力された場合、制御部20は記憶部に記憶された画像を読出し画像処理部19に画像処理を行わせる。
また、制御部20は、取得された被検眼の前眼部画像から混濁の有無を検出する手段を備え、混濁が検出された場合には自動的に上記の画像処理を行うように画像処理部19を制御することとしてもよい。なお、前眼部画像から混濁を求める手法は既知の種々の手法により実現可能である。
ここで、制御部20はカメラ部101に備えられることとしてもよいし、測定部100内に備えられることとしてもよい。また、眼底撮像装置とは別のPC等の装置に備えられることとしてもよい。なお、制御部20は画像処理部19、モニタ21および操作部22と接続されている。
モニタ21は画像生成部190で生成された被検眼の画像(例えば眼底像)を表示する。より具体的には、モニタ21は観察用光源1から射出された光の被検眼からの戻り光に基づく白黒画像および撮影用光源3から射出された光の被検眼からの戻り光に基づくカラー画像を表示する。ここでモニタ21はカメラ部101に備えられることとしてもよいし、カメラ部101とは別に備えられることとしてもよい。カメラ部101に備えられる場合モニタ21は例えばカメラ部101を構成するカメラの背面液晶に相当する。
操作部22はマウス、キーボード、タッチパネルおよび撮影スイッチ等の少なくとも一つを備える。検者は操作部22を介して制御部20に対して画像処理の指令等を送ることが可能である。操作部22にはジョイスティック103が含まれることとしてもよい。また、操作部22は眼底撮像装置とは別のPC等の装置に備えられることとしてもよい。なお、モニタ21がタッチパネルの機能を有する場合にはモニタ21に操作部22が備えられることとなる。
上述のように構成された眼底撮像装置によって被検眼の眼底像を撮像する場合、まず制御部20が観察用光源1を点灯させる。観察用光源1から射出した光束は、コンデンサレンズ2で集光され、レンズ4、ミラー5、及びリング絞り6を通ってリング光束とされた後に、リレーレンズ8、孔あきミラー9により光軸O3方向に偏向され、対物レンズ10を介して、被検眼Eの眼底Erを照明する。
眼底Erに達した光束は、眼底Erにより反射散乱されて眼底反射像として被検眼Eから出射する。この光束は対物レンズ10、撮影絞り11、フォーカスレンズ12、撮影レンズ13を通過した後に、撮像素子15に結像する。そして、制御部20は撮像素子15の出力を取得して、観察用撮像素子15で撮像した眼底像をモニタ21に表示させる。
検者はモニタ21に映出された眼底像を観察しながら、被検眼Eと光学ユニットとの位置合わせの微調整とフォーカス調整を行う。そして、検者は操作部22に含まれる撮影スイッチを押して撮影を行う。なお、撮影スイッチの押し下げを契機として制御部20は撮影用光源3を発光させることで被検眼に撮影用の可視光を照射させる。この光の眼底Erからの戻り光が撮像素子15に結像する。そして観察画像と同様に制御部20により眼底像がモニタ21に表示される。ここで観察用光源1を用いて撮影される画像は白黒画像であり、撮影用光源3を用いて撮影される画像はカラー画像である。
撮影された画像は、制御部20に接続された不図示の眼底撮像装置内部の記憶部に蓄積される。この内部の記憶部に蓄積された画像は、操作部22を操作することで、適宜読み出されモニタ21に表示される。また、制御部20に外部の記憶部および外部コンピュータを接続することができ、制御部20は撮影画像をそれら外部機器へ転送することができる。
<画像処理>
次に、画像処理部19による処理手順の一例について図3〜図8を参照し説明する。
本実施例における画像処理の流れの一例を図3に示す。なお、本実施例では、画像処理部19が、操作部22からの指示に基づいて制御部20が記憶部から読み出した撮影済みの画像(例えば、カラー眼底像)に対して画像処理を行う場合について述べる。なお、制御部20は眼底撮像装置の内部または外部の記憶部のいずれから読み出してもよい。
まず、ステップS301において、決定部191は検出部192の解析対象となるエリアを決定する。図4に、後極中心と呼ばれる構図で撮影された眼底Erの撮影画像の模式図の一例を示す。図4において、ODは視神経乳頭を、BVは血管をそれぞれ示している。視神経乳頭ODは、他の網膜部に対して非常に明るく映る器官である。
眼底像以外の一般的な画像補正では、明るいエリアをハイライトポイント、暗いエリアをシャドーポイントとして抽出し、それぞれのエリアが白と黒になるような画像変換を行う画像処理が知られている。眼底像においてこの処理を行うと、視神経乳頭がハイライトポイントとなり、処理を行った結果、視神経乳頭が白く変換される。ところが、視神経乳頭が、白くなりすぎると、緑内障などの疾患が疑われることになる。そのため、視神経乳頭を白くしすぎることは、眼底写真の色変換としては不適切な処理となる。また、視神経乳頭の明るさや色合いは、疾病により変わることが知られている。
そこで、本実施例では、ハイライトポイントおよびシャドーポイントを抽出するエリアとして、視神経乳頭以外の網膜部を対象とすることで、前記課題を解決して、視神経乳頭が白くなりすぎず、視神経乳頭の疾病により解析結果が左右されにくい構成としている。
詳しくは、図5に示すように、決定部191は眼底像の中央部に初期解析エリア400を設定し、そこをメッシュ状にサブエリア(小領域)に区切る。なお初期解析エリア400の大きさおよび位置は変更可能としてもよい。
次に、決定部191は、メッシュ状に区切られたサブエリアごとの平均輝度値を求める。ここで、予め記憶部に記憶した視神経乳頭のおよその大きさの情報を用いて、決定部191は、初期解析エリア400全体から視神経乳頭の大きさに相当する閾値以上の明るさのサブエリアを検出し、解析エリアから除外する。これにより、視神経乳頭を解析エリアから除外している。除外されたサブエリアを401、除外されず残ったサブエリアを402として図5に示す。サブエリア401には「×」が示されている。
上述の処理により決定部191はハイライトポイントおよびシャドーポイントを抽出する眼底像上の領域を決定する。
次に、ステップS302において検出部192は、決定部191により決定された領域におけるヒストグラム(輝度分布)を作成し、ハイライトポイントとシャドーポイントとを検出する。図6は眼底像のヒストグラムの一例である。
本実施例では、ハイライトポイントは、明るい側から5%の輝度値とし、ハイライトポイントの輝度値を有する画素の色情報の平均をハイライトポイントの色として保持する。また、ダーク側は、暗い側から8%の輝度値とし、シャドーポイントの輝度値を有する画素の色情報の平均をシャドーポイントの色として保持する。
ここで、シャドーポイントを暗い側から8%としている理由について説明する。眼底上で暗く映る部位としては血管、特に静脈が挙げられる。静脈の色は、血液の色によるため、色合いに個人差が少ないことが実験的に分かった。そのため、本実施例では、個人差の少ない部位として血管の一部をシャドーポイントに含められるようにシャドーポイントの輝度値を設定している。もちろんこの数値は、前述の解析エリアの大きさや位置により左右されるため、それらに応じて適宜変更されることが好ましく、血管の一部を含むように設定することがより好ましい。また、ハイライトポイントについてはノイズ等により発生する高輝度部分を避けるために明るい側から5%の輝度値としているが、他の値の輝度値であってもよい。
すなわち、ハイライトポイントとして検出する輝度値およびシャドーポイントとして検出する輝度値は上記の値に限定されるものではない。
次に、ステップS303において検出部192はハイライトポイントおよびシャドーポイントを用いて眼底像の色合いを検出する。色合いを検出する処理の一例を図7を用いて説明する。図7は、YCbCrの色空間において、眼底像のハイライトポイントとシャドーポイントとをプロットしたもので、Y−Cb空間上の射影を図示している。Cbを示す軸は紙面左方向に向かう程小さな値(大きな負の値)となり、Yを示す軸は紙面上方向に向かう程大きな値となる。なお、Crの軸は紙面鉛直方向になるため図示を省略している。ここで、CbおよびYを示す座標軸は色空間を規定する所定の座標軸の一例に相当する。
なお、本実施例で用いた色空間は、YCbCrの空間としている。これは、撮影画像として保持されるRGB色空間からの変換の手間が少ないことから選択した色空間である。しかしながら、RGB色空間や、XYZ色空間,L*a*b*色空間などどのような色空間で同様の処理を行ってもよい。
図7において、700は平均的な白内障眼のハイライトポイント、701は同じ白内障眼のシャドーポイントを示している。なお、本実施例では白内障眼の眼底像に対する画像処理を例に挙げているが、角膜に混濁のある被検眼の眼底像に対しても開示の画像処理は適用可能である。
また、702は非白内障眼のハイライトポイント、703は同じ非白内障眼のシャドーポイントを示している。白内障眼と非白内障眼のシャドーポイントはほぼ同じ位置であるが、ハイライトポイントは、Cb方向に大きなずれがあることが分かる。ハイライトポイントとシャドーポイントを結ぶ直線とY軸方向とのなす角を白内障眼については704、非白内障眼については705として図示する。図7より両者の角度に差があることが分かる。この差は、白内障の混濁により、撮影時の入射光中の短波長成分(青色成分)が散乱された結果、眼底像が黄色方向に色が傾いているためだと推測できる。このため、白内障眼は、非白内障眼と比較し、黄色がかぶったような画像が撮影され、結果、眼底上の血管などの特徴が視認しにくくなる。
なお、非白内障眼とは混濁が全くない眼および混濁が所定の閾値より少ない眼を含む概念である。すなわち、角度705は、混濁が閾値より少ない眼の眼底像の輝度分布から得られたハイライトポイントとシャドーポイントとを結ぶ直線と色空間を規定する所定の座標軸とが成す所定の角度の一例に相当する。
検出部192は、図7に示すように、ステップS302で求めたハイライトポイントの色およびシャドーポイントの色を用いて、YCbCrの色空間にハイライトポイント700およびシャドーポイント701をマッピングする。そして、検出部192はハイライトポイント700とシャドーポイント701とを結ぶ直線と縦軸との成す角度704を眼底像の色合いとして検出する。そして検出部192は検出した角度を記憶部に記憶させる。なお、非白内障眼における角度705は、例えば白内障眼の画像に対する処理と同様の処理を事前に行い予め記憶部に記憶されている。なお、角度705を本眼底撮像装置で検出するのではなく、他の装置で検出することとしてもよいし既知の値があれば単にその値を記憶部に記憶させることとしてもよい。
次に、ステップS304において検出部192は眼底像のコントラストを検出する。具体的には検出部192はハイライトポイント700の輝度とシャドーポイント701の輝度との差(輝度差)をコントラスト値として検出する。検出部192は検出したコントラスト値を記憶部に記憶させる。なお、非白内障眼におけるハイライトポイント702の輝度とシャドーポイント703の輝度との差も検出部192は事前に検出し記憶部に記憶させている。なお、非白内障眼の画像のコントラストを本眼底撮像装置で検出するのではなく、他の装置で検出することとしてもよいし既知の値があれば単にその値を記憶部に記憶させることとしてもよい。
なお、本実施例のステップS302〜S304の処理においては、撮影画像そのものを使っているが、処理速度を向上させるために縮小されたサムネイル画像を用いてもよいし、撮影者が設定した画像サイズを閾値として、撮影画像を用いるかサムネイル画像を用いるかを決定してもよい。また、サムネイル画像の画像サイズを適宜変更してよい。また、ステップS303、ステップS304の実行順序は逆であってもよいし並列に実行することとしてもよい。
次に、ステップS305において補正部193は眼底像の色補正を行う。この色補正は、ステップS303で検出した角度704を角度705に近づけるような回転変換を含む。さらに、ステップS305において行われる色補正は、回転変換後のハイライトポイント700とシャドーポイント701との輝度差をハイライトポイント702とシャドーポイント704との輝度差に近づけるように伸長する変換を備える。
回転変換の具体例について説明する。補正部193は縦軸と横軸との交点(原点)あるいはシャドーポイント701を中心にハイライトポイント700とシャドーポイント701とを結ぶ直線を回転させることで角度704を角度705に近づける。理想的には補正部193は角度704が角度705と等しくなるように眼底像の色補正を行う。なお、角度704と角度705とが完全に等しくなくとも、補正部193は、角度704と角度705との差が所定の閾値以内に収まるように眼底像の色補正を行うこととしてもよい。なお、角度704と角度705との差は混濁の程度に応じた差である。ここで、角度704を角度705に近づける色補正はCbの値を大きくする補正ということができる。すなわち、この回転変換は混濁により主に散乱される青色成分の画像における割合を他の色成分に対して相対的に大きくする補正である。つまり、補正部193は、被検眼に含まれる混濁の程度に応じて、眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の眼底像における割合を他の色成分に対して相対的に大きくなるように眼底像を補正する補正手段の一例に相当する。具体的には、混濁部分で散乱される割合が高い色成分である青色成分の画像における割合を赤色成分および緑色成分に対して相対的に大きくする。
ここで、角度704は、色空間においてハイライトポイントとシャドーポイントとを結ぶ直線と色空間を規定する所定の座標軸とが成す角度の一例に相当する。すなわち、ステップS305における角度704を角度705に近づける色補正は、色空間において前記ハイライトポイントと前記シャドーポイントとを結ぶ直線と色空間を規定する所定の座標軸とが成す角度が所定の角度に近づくように眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の眼底像における割合を他の色成分に対して相対的に大きくする補正の一例である。
なお、この色補正は図7から明らかなように輝度に応じて補正量が異なる。例えば、ハイライトポイント700に近い画像はシャドーポイントを701に近い画像に比べて大きく補正される。補正部193は、輝度と補正量との関係を示すテーブル等の情報を生成し記憶部に記憶させる。記憶されたテーブル等の情報は眼底像に対して再び画像処理を行い際に用いることとしてもよい。なお、輝度と補正量との関係はテーブルではなく変換式として記憶させることとしてもよい。また、補正部193は色情報と補正量とを対応付けるテーブルまたは変換式を生成し、記憶させることとしてもよい。例えば、(Y,Cb,Cr)のCr軸方向の回転φ(Rφ)後の(Y’,Cb’,Cr’)は次の変換式(回転変換)で計算される。補正部193は、この変換をすべての画素について行う。

Figure 0006742691

また、眼底像の明るい部分と暗い部分とで補正強度を変えてもよい。すなわち、画像の輝度に応じて補正強度を変更してもよい。ここで補正強度とは角度704を角度705と等しくする際に必要な補正量に対して乗算される係数である。例えば、画像のハイライトポイント700からシャドーポイント701までの輝度値における補正強度を1、輝度値0の黒点と、輝度値255の白点の補正強度を0としてもよい。また、ハイライトポイント700から白点までの輝度の画素に対しては白点に近づく程補正強度が小さくなるように補正強度を変更してもよい。同様にシャドーポイント701から黒点までの輝度の画素に対しては黒点に近づく程補正強度が小さくなるように補正強度を変更してもよい。なお、この輝度に対する補正強度の値を示すテーブルは記憶部に予め記憶されており、画像処理の際には輝度と補正量との関係を示すテーブルと輝度と補正強度との関係を示すテーブルとに基づいて補正部193は眼底像の色補正を行うこととしてもよい。
輝度と補正強度との関係を用いて色補正を行うことで、眼底像における明るい部分および暗い部分の画素が、平均輝度の画素に比べて補正強度が弱くなる。これにより、ハイライトポイント700よりも明るい視神経乳頭が白くなりすぎること、および、シャドーポイント701よりも暗いエリアが暗くなりすぎることを防ぐことが可能になる。すなわち、診断に適した良好な眼底像を得ることが可能となる。
さらに、補正部193は、血管部の色合いを揃えるために検出されたシャドーポイント701をターゲットとなるシャドーポイント703に近づける平行移動を加えてよい。例えば、補正部193はシャドーポイント701とシャドーポイント703との座標の差分を検出し、この差分に基づいてハイライトポイント700からシャドーポイント701までの画素を含む眼底像の画素を色空間において平行移動させるように補正を行うこととしてもよい。なお、回転変換および平行移動を実行する順序はどちらが先であってもよい。
また、本実施例は、YCbCrの空間を用い、ハイライトポイントおよびシャドーポイントの検出をY−Cb空間で行ったため変換は、Cr軸周りの回転変換となる。しかし、Y−Cr空間についても同様の処理を行い、Cb軸周りの回転変換を行ってもよい。
さらに、図7に示すハイライトポイント702とシャドーポイント703を変換のターゲットとし、検出されたハイライトポイント701とシャドーポイント702がターゲットに近づくように変換行列を設定してもよい。この場合、変換精度を高めるために、前述のステップS302において、ハイライトポイントとシャドーポイントとの間を補完するために、その間のポイントを保持してもよい。
また、前述の通り、他の色空間を用いてもよい。例えばL*a*b*空間であれば、b*の方向が黄色味の方向であるため、L*−b*の空間においてハイライトポイントとシャドーポイントとを検出し、a*軸周りに回転変換を行ってもよい。
上記の回転変換後に、補正部193は、ハイライトポイント700とシャドーポイント701との輝度差をハイライトポイント702とシャドーポイント704との輝度差に近づけるように伸長する変換を行う。図6における実線は回転変換後の眼底像のヒストグラムを示し、点線は伸長変換後の眼底像のヒストグラムを示す。図6に示すように、ハイライトポイント700とシャドーポイント701との輝度差を大きくする処理が行われる。なお、この伸長変換は回転変換より前に行うこととしてもよい。また、この伸長変換についてもYCbCr空間以外の色空間で行うこととしてもよい。
次に、ステップS306において強調部194は眼底像のコントラストを強調する。本実施例では、コントラストを強調するためにアンシャープマスクの処理を画像に適用する。一般的に、アンシャープマスクの処理には、アンシャープマスクのサイズ(処理マスクのサイズ)と強調量、処理を掛ける閾値のパラメータが含まれる。処理マスクのサイズは、一般的な画像処理で用いられるものよりも大きなサイズであり、網膜上の動脈、静脈が強調されるサイズに設定される。
強調量に関しては、ステップS304で検出、保持されたコントラスト値に基づいて決定される。コントラスト値が大きければ、混濁などの画像の視認性の阻害要因が弱いと考えられるため、過度な強調を避けるためにコントラスト値に応じて強調量を決定する。強調量をコントラスト値から決定するテーブルの一例を図8に示す。図8に示す例では、コントラスト値が小さいほど強調量が大きくなっている。これによりコントラスト値が大きい場合に過度な強調を避ける一方、コントラスト値が低い場合には強調量を大きくして血管等の視認性がよい眼底像を生成することが可能となる。すなわち、強調部19は輝度差(コントラスト値)に応じて眼底像のコントラストを強調する補正手段の一例に相当する。より具体的には、補正手段の一例に相当する強調部19は、図8のように輝度差が大きい程、コントラストの強調度を小さくする。
本ステップS306の処理により、コントラストが適応的に強調された画像補正が実現できる。上述の画像処理が施された画像は制御部20により記憶部に記録されるとともに、制御部20はモニタ21に画像処理が施された眼底像を表示させる。なお、制御部2は、モニタ21には画像処理前後の画像を並べて表示させてもよいし、画像処理前後の画像を切り替え可能に表示させることとしてもよい。
以上説明した画像処理によって、被検眼に混濁がある場合においても良好な眼底像を得ることができる。具体的には、青成分の割合を他の色成分に対して相対的に大きくしているため被検眼に混濁がある場合であっても血管等のコントラストの劣化を防止することが可能となる。
[実施例2]
第2の実施例について説明する。本実施例は、第1の実施例に対して、血管の検知機能を付加した実施例である。装置構成としては、実施例1と略同様であるため詳細な説明は省略する。
第2の実施例に係る画像処理部19による処理手順の一例について図9,10を参照し説明する。図9は本実施例における画像処理の流れの一例を示すフローチャートである。
なお、本実施例では、画像処理部19が、操作部22からの指示に基づいて制御部20が記憶部から読み出した撮影済みの画像に対して画像処理を行う場合について述べる。なお、制御部20は眼底撮像装置の内部または外部の記憶部のいずれから読み出してもよい。
まず、ステップS801において決定部191は検出部192の解析対象となるエリアを決定する。なお、ステップS801は、実施例1におけるステップS301と同様の処理であるため詳細な説明は省略する。
次に、ステップS802において検出部192は眼底像から血管の抽出を行う。血管の抽出を行う目的は、第1の実施例でヒストグラム解析から設定されたシャドーポイントを、より確実に血管部に一致させるためである。また、他の目的は、後述のコントラスト強調処理のためのフィルタのサイズを最適化するためである。
血管の抽出は、例えばガボールフィルタによるエッジ部の検知に基づいて行う。ガボールフィルタは、視神経乳頭から走行している太い動脈および静脈以外の血管に対し感度を持つように複数種類設定されている。これは、乳頭を含まない眼底像においては視神経乳頭から走行している太い動脈および静脈は含まれないためである。太いまた、方向は0、30、60、90、120、150度の6方向のフィルタを用いる。なお、方向は6方向に限定されるものではない。
周波数の異なるガボールフィルタの例を図10に示す。図10(a)と(b)は、どちらも0度方向のフィルタであり、図10(a)は細い血管により感度を持つように高周波に設定されている。図10(b)は、より太い血管に感度を持つように低周波に設定されている。
検出部192は、このガボールフィルタの出力が所定の閾値以上となる画素を血管部の画素とする認識することで、血管を抽出することができる。
また、検出部192は、ガボールフィルタの出力が閾値以上である画素数をフィルタ周波数ごとに保持しておき、最も閾値以上となる画素数の多いフィルタ周波数を保持する。
最も閾値以上となる画素数の多いフィルタ周波数が所定の周波数よりも低周波の場合、視神経乳頭周辺の太い血管が撮影されているか、出血痕などより大きなものが撮影されていると考えられる。また、最も閾値以上となる画素数の多いフィルタ周波数が所定の周波数よりも高周波の場合、細い血管もしくは、硬性白斑など小さな疾患が撮影されていると考えられる。
本実施例では、血管エリアの輝度の傾向が分かればよい為、詳細な血管検知機能は必要ないが、もちろん血管だけを検知するようにしても問題はない。また、フィルタとしてガボールフィルタを用いたが、血管や、疾患部などの画像上の周波数の傾向と、輝度差の傾向が出できれば、これに限定されるものではない。
次に、ステップS803において検出部192はハイライトポイントとシャドーポイントとを眼底像から検出する。第1の実施例のステップS302におけるハイライトポイント等の検出と異なる点は、シャドーポイントを、ステップS802において抽出された血管から検出する点である。すなわち、本実施例においてシャドーポイントは眼底像に含まれる血管部分を含む。
血管をシャドーポイントとすることで、縮瞳や、睫毛の写りこみにより暗い部分が想定以上の面積になる場合においても、血管部分を基準としてシャドーポイントを設定することができる。従って、撮影時の悪影響に対して画像処理のロバスト性を向上させることが可能となる。
具体的には、検出部192は、ガボールフィルタの出力が所定の閾値以上となる画素のヒストグラムを取得し、このヒストグラムに基づいて暗い部分から30%の輝度値の画素をシャドーポイントとして検出する。本実施例では、ガボールフィルタの出力が所定の閾値以上となる画素に血管だけではなく、疾患部も抽出されている可能性があるため、暗い側から30%の輝度値をシャドーポイントと設定している。なお、シャドーポイントは輝度が暗い側から30%の部分に限定されるものではなく他の輝度値の画素をシャドーポイントとすることとしてもよい。
次に、ステップS804において検出部192はハイライトポイントおよびシャドーポイントを用いて眼底像の色合いを検出する。ステップS804は、第1の実施例におけるステップS303と同様の処理であるため詳細な説明は省略する。
次に、ステップS805において検出部192は眼底像からコントラスト検出を行う。ここで、第1の実施例のステップS304におけるコントラスト検出においては、ステップS304の検出結果であるハイライトポイントとシャドーポイントとの輝度差をコントラスト値として検出していた。しかし、本実施例では、ステップS802の血管の抽出におけるフィルタの出力が閾値以上の画素数をコントラスト値とする。すなわち、眼底像に対するエッジ検出において検出されたエッジ量をコントラスト値として検出する。水晶体の混濁等によりコントラストが低い画像になると、S802における血管抽出のフィルタの出力結果も低くなるため、コントラスト値としてフィルタの出力が閾値以上となる画素数を用いる。なお、フィルタの出力が閾値以上の画素数とは、前述した複数のフィルタ出力のうち最も閾値以上となる画素数が多いものであってもよいし、複数のフィルタの出力の平均値であってもよい。
次に、ステップS806において補正部193は眼底像に対して色補正を行う。ステップS806は第1の実施例におけるステップS306と同様の処理であるため詳細な説明は省略する。
次に、ステップS807において強調部194は第1の実施例と同様にアンシャープマスクの処理を行うことでコントラストを強調する。
第1の実施例におけるコントラスト強調との違いは、ステップS802で取得した最も閾値以上となる画素数の多いフィルタ周波数を用いる点および強調量をステップS805で検出したコントラスト値を用いる点である。
具体的には、強調部194は、アンシャープマスクのサイズ(処理マスクのサイズ)をステップS802で取得した最も閾値以上となる画素数の多いフィルタ周波数に基づいて決定する。具体的にはフィルタ周波数が高いほどアンシャープマスクのサイズを小さくする。
さらに、強調部194は、ステップS805で検出したコントラスト値に基づいて例えば図8の特性に従って強調量を決定する。すなわち、補正手段の一例に相当する強調部194は、検出されたエッジ量に応じて眼底像のコントラストを強調する。また、検出されたエッジ量が多いほどコントラスト値は高く、図8に示すように検出されたエッジ量が多い程、コントラストの強調度は小さくなる。
血管抽出により決定された周波数によってコントラスト強調の為のフィルターサイズを決定することにより、コントラスト強調のためのフィルターサイズが不必要に大きくなることを防ぐことができ、結果処理時間の短縮や、過度なコントラストの強調を防止することができる。
本実施例によれば第1の実施例と同様の効果を奏することができることに加え、血管部分をシャドーポイントとして設定することができるため、撮影時の悪影響に対して画像処理のロバスト性を向上させることが可能となる。
[実施例3]
第3の実施例について説明する。本実施例は、第1の実施例の色補正アルゴリズムを第1の実施例とは異なり、RGB各チャンネル毎に補正を行う実施例である。装置構成としては、実施例1と略同様であるため詳細な説明は省略する。
まず、図11に眼底像のRGBチャンネル毎のヒストグラムの一例を模式図として示す。図11(a)は健常眼の眼底像のヒストグラムを示し、図11(b)は白内障眼の眼底像のヒストグラムを示す。横軸は、輝度であり紙面左方向が暗く、右方向が明るくなるようにプロットされている。また、図11において、Redチャンネルを一点鎖線、Greenチャンネルを破腺、Blueチャンネルを実線で示している。
混濁により短波長の光が散乱されるため、白内障眼の眼底像のRGBチャンネルそれぞれの分布範囲は健常眼の眼底像に比べて狭くなる。混濁によりBlueが他の色成分より多く散乱されるため、特に短波長側のBlueのチャンネルの輝度分布が狭くなり、輝度も低くなっている。図11(b)のようなヒストグラムになると、画像全体の青味が足りないため、黄色方向に色かぶりを起こしたような画像になり、眼底の視認性が悪化する。
本実施例では図11(b)のヒストグラムを用いて眼底像に対して画像処理を行う。
第2の実施例に係る画像処理部19による処理手順の一例について図12を参照し説明する。図12は本実施例における画像処理の流れの一例を示すフローチャートである。
なお、本実施例では、画像処理部19が、操作部22からの指示に基づいて制御部20が記憶部から読み出した撮影済みの画像に対して画像処理を行う場合について述べる。なお、制御部20は眼底撮像装置の内部または外部の記憶部のいずれから読み出してもよい。
まず、ステップS1201において決定部191は検出部192の解析対象となるエリアを決定する。なお、ステップS801は、実施例1におけるステップS301と同様の処理であるため詳細な説明は省略する。
次に、ステップS1202において検出部192は眼底像からハイライトポイントおよびシャドーポイントを検出する。実施例1のステップS302におけるハイライトポイント等の検出と異なる点は、RGB色空間において各チャンネル毎にヒストグラムを取得して各チャンネル毎にハイライトポイントおよびシャドーポイントを検出する点である。
次に、ステップS1203において検出部192は眼底像から色合いを検出する。ステップS1203の各チャンネルに対する処理は第1の実施例におけるステップS303と同様の処理であるため詳細な説明は省略する。
次に、ステップS1204において検出部192は眼底像のコントラストを検出する。ステップS1204の各チャンネルに対する処理は、第1の実施例におけるステップS304と同様の処理であるため詳細な説明は省略する。
次に、ステップS1205において補正部193は眼底像の色補正を行う。本ステップに置いて、補正部193はブルーチャンネルの補正を行う。本実施例では、γ補正を用いてBlueチャンネルの補正を行う。以下にγを求める方法について説明する。
1)ブルーチャンネルのハイライトポイントのターゲット(BHT)をグリーンチャンネルのハイライトポイント(GHP)から式2により求める。
HT=0.6*GHP (式2)
2)もし、このBHTがブルーチャネルのハイライトポイント(BHP)よりも低い値の場合、補正の必要はないと判断して、色補正処理を行わない。なお、この判定は例えば白内障眼ではない眼の眼底像に対して白内障用の画像処理を行うことを防止するためのものであり、マニュアルで白内障用の画像処理を指示する場合には省略することとしてもよい。
3)補正ガンマをBHT/255を底とする対数として式3により求める。
γ=LOGBHT/255(BHP/255) (式3)
以上求められたγ値によりBlueチャンネルの輝度値に補正を行う。すなわち、Blueチャンネルの輝度値を上昇させるとともに分布範囲を広げる。
なお、補正は、Blueチャンネルの輝度値の上昇と分布範囲が拡大されればよい為、この方法に限らない。例えば、Blueチャンネルのハイライトポイントと、シャドーポイントを所定の値に近づけるように拡張してもよい。
次に、ステップS1206において強調部194はコントラスト強調を行う。ステップS1206は第1の実施例におけるステップS306と同様の処理であるため詳細な説明は省略する。
実施例1に対する本実施例の利点としては、RGB各波長特性を維持できる点にある。波長の短いBlueチャンネルは、その波長特性から神経線維層に代表されるように網膜の表層の特徴を示している。一方、波長の長いRedチャンネルは、網膜のより奥の情報を反映する。実施例1による方法では、3次元的な変換で色味を補正するため、この波長の特性によるRGBチャンネルの差が小さくなることになる。一方、本実施例による方法では、RGBの各チャンネル毎に補正を行うため、波長ごとの特性は維持される。
他方、実施例1の本実施例に対する利点として、3チャンネルの情報から補正を行うため、血管などの全チャンネルにわたり描画される情報に対する補正の効果が強く、より強い混濁に対して有効であることが挙げられる。
第3の実施例における画像処理の流れを図12に示し、各ステップにおける処理について説明を加える。また、実施例1と同様に本実施例では、画像処理部は制御部20内にあり、操作部22の操作により、撮影済みの画像に対して画像処理が実行され実施例について説明を行う。
以上説明した画像処理によって、混濁等により視認性の低い眼底像の血管などの特徴を強調することができ、診断価値の高い画像に補正を行うことが可能となる。特に、RGB各波長特性を維持したまま、視認性を向上させることができるため、より診断価値の高い画像を提供することが可能になる。
[変形例]
上記の実施例においては眼底像に対して色補正およびコントラスト強調を行ったが、どちらか一方の処理を行うこととしてもよい。どちらか一方の処理であっても画像の視認性を向上させる効果は得られる。
また、上記の実施例では、色補正の変換ターゲットとして、あらかじめ混濁のない平均的な眼を測定し、その情報を保持することとしたが、本発明はこれに限定されるものではない。例えば、測定装置や撮影モードが変わると、色の特性が変わるため、測定装置や、撮影モードごとに異なるターゲットを保持して、ターゲットを切り替えてもよい。さらに、人種情報や、出力画像の色調整情報等によってターゲットを変更してもよい。
さらに、上記実施例ではカラー眼底像に対する画像処理を例として説明したがカラー前眼部像に対して適用することとしてもよい。また、白黒の眼底像または前眼部像に上記の画像処理を適用することとしてもよい。
また、上述した画像処理とは異なる画像処理を更に備えることとしてもよい。異なる画像処理としては例えば回転変換を含まない画像処理が挙げられる。検者は混濁に対応した上記の画像処理を行うか異なる画像処理を行うかを操作部22を用いて選択可能としてもよく、画像処理部19は選択された画像処理を眼底像等に施すこととしてもよい。
なお、上記実施例では青色成分のヒストグラムを変更することとしたが、青色成分のヒストグラムを変更することに代えて赤色成分および緑色成分のヒストグラムを変更することで青色成分の割合を赤、緑成分に対して相対的に大きくなるように色補正を行うこととしてもよい。
[その他の実施例]
以上、実施例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施例の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
19 画像処理部
20 制御部
21 モニタ
22 操作部
190 画像生成部
191 決定部
192 検出部
193 補正部
194 強調部

Claims (20)

  1. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得手段と、
    前記眼底像に含まれる色情報を用いて得た前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分である青色成分の前記眼底像における割合が赤色成分及び緑色成分に対して相対的に大きくなるように前記眼底像を補正する補正手段と、
    を備えることを特徴とする眼科装置。
  2. 前記補正手段は、前記眼底像におけるハイライトポイントおよびシャドーポイントであって、色空間における前記ハイライトポイントと前記シャドーポイントとを結ぶ直線と前記色空間を規定する所定の座標軸とが成す角度と所定の角度との差を前記被検眼に含まれる混濁の程度とし、前記成す角度が所定の角度に近づくように前記眼底像を補正することにより、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように、前記眼底像を補正することを特徴とする請求項1に記載の眼科装置。
  3. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得手段と、
    前記眼底像におけるハイライトポイントおよびシャドーポイントであって、色空間における前記ハイライトポイントと前記シャドーポイントとを結ぶ直線と前記色空間を規定する所定の座標軸とが成す角度が所定の角度に近づくように、前記眼底像を補正することにより、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように、前記眼底像を補正する補正手段と、
    を備えることを特徴とする眼科装置。
  4. 前記所定の角度は、混濁が閾値より少ない眼の眼底像の輝度分布から得られたハイライトポイントとシャドーポイントとを結ぶ直線と前記所定の座標軸とが成す角度であることを特徴とする請求項2または3に記載の眼科装置。
  5. 前記眼底像の輝度分布から前記ハイライトポイントおよび前記シャドーポイントを検出する検出手段を更に備えることを特徴とする請求項2乃至4のいずれか1項に記載の眼科装置。
  6. 前記検出手段は、前記眼底像における視神経乳頭を除く領域の輝度分布から前記ハイライトポイントおよび前記シャドーポイントを検出することを特徴とする請求項5に記載の眼科装置。
  7. 前記補正手段は、前記眼底像におけるハイライトポイントとシャドーポイントとの輝度差に応じて前記眼底像のコントラストを強調することを特徴とする請求項1乃至6のいずれか1項に記載の眼科装置。
  8. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得手段と、
    前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように前記眼底像を補正し、前記眼底像におけるハイライトポイントとシャドーポイントとの輝度差に応じて前記眼底像のコントラストを強調する補正手段と、
    を備えることを特徴とする眼科装置。
  9. 前記補正手段は、前記輝度差が大きい程、前記コントラストの強調度を小さくすることを特徴とする請求項7または8に記載の眼科装置。
  10. 前記シャドーポイントは前記眼底像に含まれる血管部分を含むことを特徴とする請求項2乃至9のいずれか1項に記載の眼科装置。
  11. 前記補正手段は、前記眼底像に対してエッジ検出して得たエッジ量に応じて前記眼底像のコントラストを強調することを特徴とする請求項1乃至10のいずれか1項に記載の眼科装置。
  12. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得手段と、
    前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように前記眼底像を補正し、前記眼底像に対してエッジ検出して得たエッジ量に応じて前記眼底像のコントラストを強調する補正手段と、
    を備えることを特徴とする眼科装置。
  13. 前記補正手段は、前記エッジ量が多い程、前記コントラストの強調度を小さくすることを特徴とする請求項11または12に記載の眼科装置。
  14. 前記混濁部分で散乱される割合が高い色成分は青色成分であり、
    前記補正手段は、前記青色成分を赤色成分および緑色成分に対して相対的に大きくするように前記眼底像を補正することを特徴とする請求項3、8、12のいずれか1項に記載の眼科装置。
  15. 前記眼底像の解析対象となる領域を決定する決定手段を更に備え、
    前記眼底像における前記決定された領域を解析することにより得た解析結果である輝度及び色の情報を用いて、前記被検眼に含まれる混濁の程度が得られることを特徴とする請求項1乃至14のいずれか1項に記載の眼科装置。
  16. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得工程と、
    前記眼底像に含まれる色情報を用いて得た前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分である青色成分の前記眼底像における割合が赤色成分及び緑色成分に対して相対的に大きくなるように前記眼底像を補正する補正工程と、
    を含むことを特徴とする画像処理方法。
  17. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得工程と、
    前記眼底像におけるハイライトポイントおよびシャドーポイントであって、色空間における前記ハイライトポイントと前記シャドーポイントとを結ぶ直線と前記色空間を規定する所定の座標軸とが成す角度が所定の角度に近づくように、前記眼底像を補正することにより、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように、前記眼底像を補正する補正工程と、
    を含むことを特徴とする画像処理方法。
  18. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得工程と、
    前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように前記眼底像を補正し、前記眼底像におけるハイライトポイントとシャドーポイントとの輝度差に応じて前記眼底像のコントラストを強調する補正工程と、
    を含むことを特徴とする画像処理方法。
  19. 被検眼の眼底に光を照射することで得られる前記眼底からの戻り光に基づいて前記被検眼の眼底像を取得する画像取得工程と、
    前記被検眼に含まれる混濁の程度に応じて、前記眼底像に含まれる色成分のうち前記被検眼の混濁部分で散乱される割合が高い色成分の前記眼底像における割合を他の色成分に対して相対的に大きくするように前記眼底像を補正し、前記眼底像に対してエッジ検出して得たエッジ量に応じて前記眼底像のコントラストを強調する補正工程と、
    を含むことを特徴とする画像処理方法。
  20. 請求項16乃至19のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2015016745A 2015-01-30 2015-01-30 眼科装置、画像処理方法およびプログラム Active JP6742691B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015016745A JP6742691B2 (ja) 2015-01-30 2015-01-30 眼科装置、画像処理方法およびプログラム
EP16152311.3A EP3051490B1 (en) 2015-01-30 2016-01-21 Ophthalmologic apparatus, image processing method, and program
DK16152311.3T DK3051490T3 (en) 2015-01-30 2016-01-21 Ophthalmological device, method of imaging and program
US15/011,278 US9750402B2 (en) 2015-01-30 2016-01-29 Ophthalmologic apparatus, image processing method, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015016745A JP6742691B2 (ja) 2015-01-30 2015-01-30 眼科装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016140428A JP2016140428A (ja) 2016-08-08
JP6742691B2 true JP6742691B2 (ja) 2020-08-19

Family

ID=55229571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015016745A Active JP6742691B2 (ja) 2015-01-30 2015-01-30 眼科装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US9750402B2 (ja)
EP (1) EP3051490B1 (ja)
JP (1) JP6742691B2 (ja)
DK (1) DK3051490T3 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102372676B1 (ko) * 2015-07-06 2022-03-11 삼성디스플레이 주식회사 영상 보정 장치 및 이를 포함하는 표시 장치
CN110870759A (zh) * 2018-08-31 2020-03-10 福州依影健康科技有限公司 用于远程眼底筛查的质量控制方法和系统、及存储设备
JP7225646B2 (ja) 2018-09-28 2023-02-21 株式会社ニデック 眼科用画像処理プログラム、および、眼底撮影装置
JP7053873B2 (ja) * 2018-10-22 2022-04-12 オリンパス株式会社 画像処理装置および内視鏡システム
CN112006651A (zh) * 2020-09-10 2020-12-01 孙礼华 一种白内障手术辅助诊断系统及其方法
US20240037794A1 (en) * 2022-08-01 2024-02-01 Alcon Inc. Color correction in ophthalmic imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61279220A (ja) * 1985-06-05 1986-12-10 キヤノン株式会社 眼底観察撮影装置
JPH07231878A (ja) * 1994-02-24 1995-09-05 Canon Inc 被検眼像強調装置及び眼撮影装置
JP3927424B2 (ja) * 2002-03-05 2007-06-06 興和株式会社 眼科撮影装置
JP3756127B2 (ja) * 2002-04-19 2006-03-15 株式会社トプコン 眼科撮影装置
JP4289973B2 (ja) * 2003-10-30 2009-07-01 株式会社扶桑プレシジョン 細隙灯顕微鏡から取得された白内障被検眼のカラー画像データに基づき、白内障の症状を定量化するための色補正装置
JP5073361B2 (ja) * 2007-05-15 2012-11-14 隆志 曽根 画像処理装置、画像処理システム、画像処理方法
JP4846042B2 (ja) * 2009-07-09 2011-12-28 キヤノン株式会社 眼科撮像装置、眼科システム及びプログラム
JP5297415B2 (ja) * 2010-04-30 2013-09-25 キヤノン株式会社 眼科装置及び眼科方法
JP5822485B2 (ja) * 2011-02-25 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム
JP2013075035A (ja) * 2011-09-30 2013-04-25 Canon Inc 光断層像撮像方法、光断層像撮像装置およびプログラム
JP2014155694A (ja) * 2013-01-16 2014-08-28 Canon Inc 眼科装置及び眼科方法
JP6184231B2 (ja) * 2013-07-31 2017-08-23 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
EP3051490B1 (en) 2018-04-25
JP2016140428A (ja) 2016-08-08
US9750402B2 (en) 2017-09-05
US20160220108A1 (en) 2016-08-04
DK3051490T3 (en) 2018-06-25
EP3051490A1 (en) 2016-08-03

Similar Documents

Publication Publication Date Title
JP6742691B2 (ja) 眼科装置、画像処理方法およびプログラム
JP6586196B2 (ja) 眼科撮影装置および眼科画像表示装置
US10098541B2 (en) Image processing apparatus
JP5773598B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6202924B2 (ja) 撮影装置及び撮影方法
JP5170625B2 (ja) 赤外光眼底撮影方法および装置
JP2022040372A (ja) 眼科装置
JP6633468B2 (ja) 血流計測装置
JP7096116B2 (ja) 血流計測装置
KR20190025298A (ko) 광원 및 초점 자동 제어 기능을 가지는 안저 형광 영상 획득 장치 및 방법
JP6402025B2 (ja) 血流計測装置
JP2017099717A (ja) 眼科撮影装置
WO2017033669A1 (ja) 血流計測装置
JP6637743B2 (ja) 眼科装置
JP2014083095A (ja) 眼科撮影装置、眼科撮影装置の制御方法、プログラム
JP5745943B2 (ja) 眼科装置
WO2017090549A1 (ja) 眼科撮影装置及び眼科画像表示装置
JP2019054994A (ja) 眼科撮影装置、眼科情報処理装置、プログラム、及び記録媒体
JP2017143919A (ja) 眼科装置
JP5508140B2 (ja) 眼底撮像装置及びその処理方法
JP6954831B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP6942627B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2014083147A (ja) 眼科システム及びその制御方法、画像処理装置、並びに、プログラム
JP6784019B2 (ja) 眼底撮影装置および眼科用情報処理プログラム
WO2017033670A1 (ja) 血流計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R151 Written notification of patent or utility model registration

Ref document number: 6742691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151