JP6656063B2 - 画像処理装置及び画像処理方法、プログラム - Google Patents

Description

本発明は、眼底画像を処理する画像処理装置及び画像処理方法、プログラムに関する。

眼底カメラや多波長ＳＬＯ（ＳＬＯ；Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｙ）のような眼底画像撮影装置を用いると、眼底の状態を広範囲に観察可能なマルチチャンネル画像（以下、カラー眼底画像と表記）を取得できる。これらの眼底画像撮影装置は疾病の診断に有用であり、低コストで操作が簡便なことから眼科の診療や検診で広く用いられている。カラー眼底画像は全体的に赤みがかっており、一般的なカラー画像に比べると色調の変化に乏しい傾向がある。従ってカラー眼底画像のみから低コントラストである病変部（例えば、加齢黄斑変性における地図状萎縮や視神経乳頭部の篩状板の欠損）を発見することは眼科専門医にとっても難しい場合がある。

カラー眼底画像における観察対象の視認性を向上させる方法として、赤・緑・青の各チャンネル成分が各々眼底の異なる深さの情報を反映する（青：網膜表層、緑：網膜内、赤：脈絡膜）と考え、観察に不要な成分を減弱もしくは削除する処理が行われてきた。赤成分の値を減弱させたレッドフリー画像はその代表例であり、主に神経線維や網膜血管領域のコントラスト強調に用いられている。

また、リモートセンシング等の分野で知られている無相関ストレッチと呼ばれる画像処理手法をカラー眼底画像に対して適用する技術が、非特許文献１に開示されている。このとき、非特許文献１では、糖尿病網膜症のカラー眼底画像からフラクタル解析やテクスチャ解析を用いて新生血管を自動検出するための前処理として、無相関ストレッチ法をカラー眼底画像全体に対して適用している。

ここで、無相関ストレッチ法は、色の変化に乏しいカラー画像を色調に富んだ画像に変換する方法として知られている。具体的には、無相関ストレッチ法は、各チャンネル成分間の相関が高いデータ（図５（ａ））を、主成分分析を用いて相関が低い表現に変換し（同図（ｂ））、各主成分のばらつき量を均一化する（同図（ｄ））。各主成分軸方向におけるデータのばらつき量を目標量までストレッチ（同図（ｅ））した後、逆変換（同図（ｆ））することでより色調に富んだ画像に変換する。

Ｊ． Ｌｅｅ ｅｔ ａｌ．；" Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｎｅｏｖａｓｃｕｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｒａｃｔａｌ ａｎｄ Ｔｅｘｔｕｒｅ Ａｎａｌｙｓｉｓ ｗｉｔｈ Ｉｎｔｅｒａｃｔｉｏｎ Ｅｆｆｅｃｔｓ ｉｎ Ｄｉａｂｅｔｉｃ Ｒｅｔｉｎｏｐａｔｈｙ"， ＰＬＯＳ ＯＮＥ， Ｖｏｌ．８， Ｉｓｓｕｅ１２， ｅ７５６９９， ２０１３．

カラー眼底画像に対して無相関ストレッチ法を適用すると、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）のような高価な検査機器を持たない医師やカラー眼底画像の読影経験の浅い医師でも、低コントラストである病変部を初期状態であっても発見し易くなり、読影の見落としを減らすのに有用であることが期待できる。

ここで、非特許文献１のように、カラー眼底画像全体に無相関ストレッチを適用することを考える。まず、低輝度である黄斑部と高輝度である視神経乳頭部とを含む画像のように、輝度レンジが広いと、低コントラストである病変部に対して色差が明確に強調されるように異なる色が割り当てられない場合がある。また、高輝度である視神経乳頭部等において無相関ストレッチ処理後の画像の画素値が飽和する場合があった。このとき、各主成分方向におけるデータのばらつき量に関する目標量を小さく設定すると、画素値が飽和する領域は生じないが、低コントラストである病変部に対して色差が明確に強調されるように異なる色を割り当てられない場合がある。

本発明は上記課題に鑑みてなされたものであり、被検眼の視神経乳頭部及び黄斑部を含むような輝度レンジが広いカラー眼底画像において、低コントラストである病変部の視認性を向上させることを目的の一つとする。

本発明の目的を達成するために、本発明の一態様による画像処理装置は以下の構成を備える。

被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像を取得する取得手段と、
前記眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む領域と前記視神経乳頭部を含む領域とのいずれかの領域を決定する決定手段と、
前記一部の領域に対して無相関ストレッチ法に基づく画像処理を適用することにより、前記一部の領域の色の差が強調された画像を生成する生成手段と、
を有する。

また、本発明の一態様による画像処理方法は、
被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む領域と前記視神経乳頭部を含む領域とのいずれかの領域を決定する決定工程と、
前記一部の領域に対して無相関ストレッチ法に基づく画像処理を適用することにより、前記一部の領域の色の差が強調された画像を生成する生成工程と、
を有する。

本発明によれば、被検眼の視神経乳頭部及び黄斑部を含むような輝度レンジが広いカラー眼底画像において、低コントラストである病変部の視認性を向上させることができる。

第一の実施形態に係る画像処理システムの構成を示すブロック図である。 第一の実施形態の眼底画像撮影装置の構成の一例を示す図である。 第一の実施形態に係る画像処理システムが実行する処理のフローチャートである。 第一の実施形態において設定する関心領域を説明する図である。 第一の実施形態における無相関ストレッチ処理の概要を説明する図である。 第一の実施形態におけるＳ３４０で実行される処理の詳細を示すフローチャートである。 第二の実施形態に係る画像処理システムの構成を示すブロック図である。 第二の実施形態における画像処理内容を説明する図である。 第二の実施形態に係る画像処理システムが実行する処理のフローチャートである。

［第１の実施形態］
本実施形態に係る画像処理装置は、加齢黄斑変性眼のカラー眼底カメラ画像に対して黄斑部を含む関心領域を設定し、該関心領域に対して無相関ストレッチを用いた色差強調処理を行うことで、地図状萎縮病変を強調する場合について説明する。下、図面を参照しながら、本実施形態に係る画像処理装置を備える画像処理システムについて説明する。

図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して眼底画像撮影装置２００（少なくとも可視光を発生させる撮影光源を有する眼科撮影装置の一例）、外部記憶部４００、表示部５００、入力部６００が通信可能に接続されることにより構成されている。 図２（ａ）は、眼底画像撮影装置２００の構成の一例を示す側面図であり、測定部２０１、撮像素子を含むカメラ部２０２、本体部２０３、ジョイスティック２０４および顔受け２０５を備える。なお、測定部２０１内に撮像素子が含まれることとしてもよい。また、本実施例では眼底画像撮影装置２００として眼底カメラを例として説明するが、本発明はこれに限定されるものではない。例えば、眼底画像撮影装置２００は、主波長の異なる複数の光源を用いたＳＬＯ等眼底カメラ以外の装置であってもよい。

測定部２０１は、被検眼に対して光を照射する光学系及び被検眼からの戻り光を撮像素子に導く光学系を備える。また、測定部２０１はジョイスティック２０４に対する検者の操作に応じて本体部２０３に対して３次元的に駆動可能なように構成されている。さらに、オートアライメントを行う際にはプロセッサによって制御されたモーターにより、測定部２０１は本体部２０３に対して３次元的に駆動可能なように構成されている。

カメラ部２０２は撮像素子を備える。例えば、カメラ部２０２は一眼レフカメラの本体部により実現される。なお、カメラ部２０２は撮像した画像を表示可能な表示部を備えることとしてもよいしタッチパネル等の操作部を備えることとしてもよい。なおカメラ部２０２は測定部２０１の外部に取り付けられることとしてもよいし内部に備えられることとしてもよい。

本体部２０３は例えば測定部２０１を駆動するモーターおよびジョイスティック２０４に対する検者の操作を測定部２０１に動力として伝える機構を備える。

ジョイスティック２０４は測定部２０１を駆動する際に用いられる部材である。なお、本実施例においては測定部２０１を駆動するためにジョイスティック２０４を用いたがこれに限定されるものではない。例えばタッチパネルを用いて検者からの操作を受け付け、この操作に基づいて測定部２０１を駆動できるようにしてもよい。

顔受け２０５は被検者の顔を固定する部材である。顔受け２０５は顎受けおよび額当てを備える。顔受け２０５によって被検者の顎と額とを固定することで被検眼の固定を促す。

次に、眼底画像撮影装置２００の詳細な構成について説明する。図２（ｂ）は測定部２０１およびカメラ部２０２内の構成の一例を示す図である。光軸Ｏ１、Ｏ２上には照明光学系が構成されている。光軸Ｏ１上には、近赤外光を発するＬＥＤ光源を備える観察用光源１、コンデンサレンズ２、ストロボ等の撮影用光源３、レンズ４およびミラー５が配置されている。なお観察用光源１としてＬＥＤ光源以外の光源を用いることとしてもよい。また撮影用光源３は例えばＬＥＤ光源またはキセノン管により実現され、例えば可視光を射出する。更に、観察用光源１から射出された光のミラー５による反射方向の光軸Ｏ２上には、リング状開口を有するリング絞り６、フォーカス指標投影手段７、リレーレンズ８および中央部開口を有する孔あきミラー９が順次に配列されている。

また、観察用光源１から射出された光の孔あきミラー９による反射方向の光軸Ｏ３上には、被検眼Ｅに対向して対物レンズ１０が配置されている。更に、孔あきミラー９の孔部に撮影絞り１１が設けられ、その後方（被検眼側とは反対方向）にフォーカスレンズ１２、撮影レンズ１３、ミラー１４および撮像素子１５が順次に配列されている。

そして、被検眼からの戻り光のミラー１４による反射方向の光軸Ｏ４上には、内部固視灯１６が配置されている。この内部固視灯１６は被検眼Ｅの眼底Ｅｒの任意の位置に、固視目標を投影するための液晶表示パネルとバックライト等を備え、撮像素子１５と光学的に共役な位置に配置されている。

また、孔あきミラー９の孔部の近傍の光路Ｏ３から左右方向にずれた位置には、指標光束を導くライトガイド１７の出射端が配置されている。このライトガイド１７の入射端には、アライメント指標を点灯するためのＬＥＤ光源１８が接続され、ライドガイド１７の出射端から射出された光がアライメント指標として被検眼に投影される。ここで、撮像素子１５は、被検眼からの戻り光を受光するセンサであり、例えば、ＣＣＤによって実現される。なお、撮像素子１５は、ＣＣＤに限定されるものではなく、例えば、ＣＭＯＳによって実現されることとしてもよい。また、撮像素子１５は、例えば、赤外光および可視光に感度を有する。なお、赤外光に感度を有する撮像素子および可視光に感度を有する撮像素子を別々に備えることとしてもよい。また、撮像素子１５は眼底画像生成部１９に接続されている。眼底画像生成部１９は、眼底からの戻り光を受光した撮像素子１５の出力に基づいて被検眼の眼底画像を生成する。例えば、観察用光源１から射出された光の被検眼からの戻り光に基づいて白黒画像を生成し、撮影用光源３から射出された光の被検眼からの戻り光に基づいてカラー画像を生成する。

なお、眼底画像生成部１９はカメラ部２０２に備えられることとしてもよいし、測定部２０１内に備えられることとしてもよい。また、画像処理装置３００に備えられることとしてもよい。ここで、眼底画像生成部１９は例えばＣＰＵ、ＡＳＩＣまたはＦＰＧＡ等の処理部により実現され、ＣＰＵ等の処理部が不図示のＲＯＭに記憶されたプログラムを実行することで眼底画像生成部１９として機能する。また、眼底画像撮影装置２００には制御部２０、モニタ２１、操作部２２が各々備えられている。

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、表示制御部３０４を備える。画像取得部３０１は、本発明に係る取得手段の一例である。画像取得部３０１は、眼底画像撮影装置２００により撮影されたマルチチャンネルの眼底画像（カラー眼底画像）を取得し、記憶部３０２に格納する。画像処理部３０３は、鮮鋭化処理部３３１、決定部３３２、生成部３３３を有する。決定部３３２は、本発明に係る決定手段の一例であり、部分領域決定部３３２１を有する。生成部３３３は、色差強調処理部３３３１を有する。

外部記憶部４００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。入力部６００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部６００を介して、画像処理装置３００へ指示を行う。次に、図３（ａ）を参照して本実施形態の画像処理装置３００の処理手順を示す。図３（ａ）は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。

＜ステップ３１０：眼底画像取得＞
画像処理装置３００の被検眼情報取得部（不図示）は、被検眼を同定する情報として被検者識別番号を外部から取得する。被検眼情報取得部は入力部６００を用いて構成されてもよい。そして、被検眼情報取得部は、被検者識別番号に基づいて、外部記憶部４００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。画像取得部３０１は、眼底画像撮影装置２００に対して被験者識別番号に関連付けられた眼底画像の転送を要求し、該眼底画像撮影装置２００から該当する眼底画像を取得する。ここで得られた眼底画像は、記憶部３０２（もしくは外部記憶部４００）に記憶されるとともに、後述のＳ３５０において、表示部５００に表示される。なお、画像取得部３０１による眼底画像の取得は眼底画像撮影装置２００から転送する場合に限定されるものではなく、例えば、外部記憶装置４００に記憶された眼底画像を画像取得部３０１が読み出すことにより実現してもよい。

＜ステップ３２０：鮮鋭化処理＞
画像処理装置３００の鮮鋭化部３３１は、中間透光体（水晶体もしくは硝子体）の混濁等の理由によりぼけが生じた眼底画像の鮮鋭化処理を行う。任意の公知な鮮鋭化処理を適用できるが、本実施形態においては、ｉ）中間透光体の混濁度合いに関する検出処理、及びｉｉ）検出された該混濁度合いに応じた色補正及びエッジ強調処理を行うことにより実現する。

ｉ）検出処理として、まず視神経乳頭部を除く眼底領域で取得したヒストグラムの明るい側からＴｈ％の点群の色情報の平均値をハイライトポイントの色情報、同様にヒストグラムの暗い側からＴｌ％の点群の色情報の平均値をシャドーポイントの色情報とする。次に、該ハイライトポイントとシャドーポイントの色情報をＹ−Ｃｂ−Ｃｒ空間にプロットし、該ハイライトポイントと該シャドーポイントとを結ぶ線分のＣｂ軸方向における傾き検知を行う。さらに、該ハイライトポイントとシャドーポイントとのコントラスト（Ｙ軸方向における差）も検出しておく。

ｉｉ）検知されたハイライトポイントとシャドーポイントとを結ぶ線分のＣｂ軸方向における傾きが非白内障眼の場合と同等になるようＣｒ軸を回転軸とした回転処理を行う。さらに該回転処理後のハイライトポイントとシャドーポイントとの間のコントラスト（Ｙ軸方向の差）も非白内障眼の場合と同様になるようにＹ軸方向に伸長する。なお本実施形態では、非白内障眼の場合のＣｂ軸方向の傾き及びコントラスト値に関するデータが予め外部記憶部４００から記憶部３０２に読み出されて参照可能になっているものとする。

またエッジ強調処理として任意の公知な手法を適用できるが、本実施形態ではアンシャープマスク処理を行う。

なお、本実施形態では本ステップで必ず鮮鋭化処理を行うように構成しているが、本発明はこれに限定されない。例えば、白内障モードを含む複数の診断目的に関するモードをユーザが選択可能に構成されていて、ユーザが白内障モードを選択した場合に該鮮鋭化処理を眼底画像に対して実行すればよい。また、後述するＳ３３０の後にＳ３２０を実行しても良い。

＜ステップ３３０：部分領域（眼底画像の一部の領域）決定＞
部分領域決定部３３２１は、Ｓ３２０で鮮鋭化した眼底画像に対して無相関ストレッチ法に基づく色差強調処理を適用する際の関心領域を設定する。眼底画像（図４の（ａ））における白線Ｌ上で生成した輝度プロファイル（同図（ｅ））に例示されている通り、眼底画像の視神経乳頭部Ｄは高輝度で輝度レンジが広く、黄斑部の中心窩Ｆでは低輝度になる。また、照射野絞りによってマスクされた領域Ｍにおける画素値は０を示す。従って、カラー眼底画像全体に無相関ストレッチ法を適用すると（視神経乳頭部に対して多くの色が割り当てられるために）黄斑部の低コントラストである病変部に対して色差が明確に強調されるように異なる色が割り当てられない場合が生じ得る。また、視神経乳頭部や中心窩等において無相関ストレッチ処理後の画像の画素値が飽和したりする場合が起きる。そこで、観察対象領域に応じて関心領域を設定した上で色差強調することにより、観察対象領域内の微小な画素値の変化に対してより多くの色調が割り当てられるようにしたり、観察対象領域内の画素値が飽和したりするのを抑制できる。

任意の関心領域を設定してよいが、本実施形態においては観察対象領域が黄斑であるので、黄斑部を含む領域として視神経乳頭部を除外した照射野（図４（ｂ）のＲｂとＲｄで囲まれた領域）を設定する。これに限らず、黄斑部を含む領域Ｒｍ（図４（ｃ））を設定してもよい。また観察対象領域が視神経乳頭部の場合には、視神経乳頭部Ｒｄ（図４（ｂ））を関心領域として設定すればよい。

また、本実施形態では、関心領域の決定法として、ユーザが関心領域として設定可能な部位リストの中から黄斑部を選択することにより、関心領域が決定される。本発明はこれに限らず、例えば、決定部３３２は、ユーザが入力部６００に入力した眼底画像上の位置に基づいて関心領域を決定してもよい。すなわち、決定部３３２は、ユーザの操作に応じて眼底画像上の少なくとも一点が指定されることにより、眼底画像の一部の領域を決定しても良い。あるいは、例えば、緑内障や加齢黄斑変性のような診断目的に関するモードをユーザが選択可能に構成されていて、選択されたモード（本実施形態では加齢黄斑変性）を入力部６００から取得することにより、関心領域が決定されてもよい。例えば、緑内障モードが選択された場合は視神経乳頭部Ｒｄ、加齢黄斑変性モードが選択された場合は黄斑部Ｒｍを関心領域として決定部３３２が決定する。さらに、決定部３３２が、眼底画像の撮影時に用いた固視灯の点灯位置に基づいて関心領域を決定する場合も本発明に含まれる。例えば、固視灯の点灯位置が中心窩であれば黄斑部Ｒｍ、固視灯位置が視神経乳頭部であれば視神経乳頭部Ｒｄを関心領域として決定する。また、視神経乳頭部と黄斑部を結ぶ線分に対して所定の角度で交差する線によって規定される２つの領域の中から１以上の領域を部分領域決定部３３２１が決定するよう構成してもよい。

なお、観察対象領域が眼底画像全体の場合でも、眼底画像に対する色差強調処理の適用範囲は少なくとも照射野Ｒｂ（図４（ａ））内に限定する必要がある。また関心領域は１つに限定されるものではなく、複数の関心領域を設定して各々に対して無相関ストレッチ法に基づく色差強調処理を実行してもよい。例えば図４（ｄ）に示すように視神経乳頭部Ｒｄ及び黄斑部Ｒｍに設定し、各々に対して無相関ストレッチ処理を実行することで視神経乳頭部、黄斑部の双方に対してより多くの色が割り当てられるようにしてもよい。

＜ステップ３４０：色差強調処理＞
色差強調処理部３３３１は、Ｓ３３０で設定された眼底画像上の関心領域に対して無相関ストレッチ法に基づく色差強調処理を行う。無相関ストレッチ処理の手順としては、色空間の変換後、主成分分析によって主成分軸方向を求め、相関の低い表現に変換する。次に該主成分軸方向におけるデータのばらつき量を算出し、該ばらつき量を均一化することでデータを無相関化する。次に該主成分軸方向におけるデータのばらつき量を目標量まで拡大（ストレッチ）させることで色空間内全体に（偏りなく）データが分布することになり、結果として色調がより豊かなデータになる。最後に逆変換することで元の色空間（ＲＧＢ空間）に戻す。具体的な無相関ストレッチ法に基づく色差強調処理についてはＳ６１０〜Ｓ６５０で詳述する。

＜ステップ３５０：表示＞
表示制御部３０４は、Ｓ３１０で取得したカラー眼底画像と、Ｓ３４０で無相関ストレッチ処理により色差強調した画像を表示部５００に表示させる。このとき、無相関ストレッチ法により色差強調した画像は、眼底画像と並べて表示部５００に表示されてもよいし、眼底画像上に重畳表示（重ねた状態で表示）してもよい。なお、表示部５００に表示させる色差強調画像はこれに限定されるものではなく、例えば、色差強調処理部３３３１がカラー眼底画像のＲｅｄ成分値を減弱させ各チャンネルデータを合成することで生成したレッドフリー画像も表示部５００に表示されてもよい。すなわち、表示制御部３０４は、色差強調画像と、無相関ストレッチ法に基づく画像処理とは異なる画像処理を適用して得た画像（色差強調画像とは異なる画像）とを並べて表示部５００に表示させても良い。これにより、カラー眼底画像だけでなく無相関ストレッチによる色差強調画像、観察上不要なチャンネル成分を減弱させ視認性を向上させたレッドフリー画像を合わせて表示することで、見落とし易い低コントラストである病変部の存在をより早くユーザに気付かせることができる。なお、これに限らず、例えば、Ｓ３４０で用いられる無相関ストレッチ法に用いられるパラメータの異なる値を用いて無相関ストレッチを適用することにより生成した複数の色差強調画像を表示部５００に表示する場合も、本発明には含まれる。すなわち、表示制御部３０４は、無相関ストレッチ法に用いられるパラメータの第１の値に基づく第１の画像と、第２の値に基づく第２の画像とを表示部５００に並べて表示させても良い。このとき、パラメータとしては、例えば、各画素値を所定の色空間に分布させた場合の複数の主成分軸の向きに関するパラメータがある。また、パラメータとしては、例えば、略一致されたばらつき量を強調する際の目標量に関するパラメータがある。あるいは、色空間の種類もパラメータとして挙げられる。また、本実施形態に係る画像処理装置３００は、色差強調画像に対して解析することにより色差強調画像の病変部等の所定の領域を抽出する解析部（不図示）を有することが好ましい。このとき、表示制御部３０４は、抽出された所定の領域を眼底画像の所定の領域に対応する位置に重ねた状態で表示部５００に表示させることが好ましい。

＜ステップ３６０：結果の保存要否の判定＞
画像処理装置３００は、Ｓ３１０で取得したカラー眼底画像やＳ３４０で無相関ストレッチ処理を適用した色差強調画像、Ｓ３５０で表示したレッドフリー画像等の他種類の色差強調画像データを外部記憶部４００へ保存するか否かの指示を外部から取得する。この指示は例えば入力部６００を介して操作者により入力される。保存が指示された場合はＳ３７０へ、保存が指示されなかった場合はＳ３８０へと処理を進める。

＜ステップ３７０：結果の保存＞
画像処理部３０３は検査日時、披検眼を同定する情報と、Ｓ３６０で決定した保存対象のデータとを関連付けて外部記憶部４００へ送信する。

＜ステップ３８０：終了要否の判定＞
画像処理装置３００はＳ３１０からＳ３７０に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部６００を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはＳ３１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

さらに、図６に示すフローチャートを参照しながら、Ｓ３４０で実行される処理の詳細について説明する。

＜ステップ６１０：色空間変換＞
色差強調処理部３３３１は、カラー眼底画像データを異なる色空間における表現に変換する。任意の色空間に変換してよいが、本実施形態ではＲＧＢの色空間からＬ＊ａ＊ｂ＊空間で表現したデータに変換するものとする。

＜ステップ６２０：主成分分析＞
色差強調処理部３３３１は、Ｓ６１０で異なる色空間の表現に変換したカラー眼底画像データの部分領域に対して主成分分析を実行する。分散共分散行列の固有ベクトル及び固有値を算出することにより、図５（ｂ）に示すような各主成分軸方向（灰色矢印の方向）及び該主成分軸方向における画像データのばらつき量（灰色矢印の長さ）を算出する。実際には部分領域に対して算出するため、例えば黄斑部を含む部分領域として図４（ｂ）のＲｂとＲｄで囲む領域を設定する場合には色空間上のデータ分布は図４（ｆ）となり、第１主成分軸方向のばらつき量は眼底画像全体に対して算出する場合に比べ小さくなる。なお、Ｒｄで囲まれる視神経乳頭領域に対応する画素は図４（ｇ）のようにＲ値及びＧ値が高い傾向を持つ。なお、本実施形態では主成分分析に分散共分散行列を用いたが、これに限らず相関行列を用いて固有ベクトル及び固有値を算出してもよい。

＜ステップ６３０：各主成分軸方向におけるデータのばらつき量の均一化＞
色差強調処理部３３３１は、図５（ｃ）に示すように眼底画像の各データに対するオフセット値を減算した上で、Ｓ６２０で算出した各主成分軸方向における画像データのばらつき量を均一化する（図５（ｄ））。すなわち、画素値を所定の色空間に分布させた場合に、複数の主成分軸における色のばらつき量を略一致させる。本実施形態では、各主成分軸方向における該画像データのばらつき量として標準偏差値を算出するが、これに限らず、例えば、分散値を算出する場合も本発明に含まれる。

＜ステップ６４０：ストレッチ＞
色差強調処理部３３３１は、図５（ｅ）に示すようにＳ６３０で均一化した眼底画像データの所定の色空間におけるばらつき量を目標量まで拡大（ストレッチ）させることでより色差を強調したカラー画像に変換する。

＜ステップ６５０：逆変換＞
色差強調処理部３３３１は、図５（ｆ）に示すようにＳ６４０で色差強調された画像データを元の色空間（本実施形態ではＲＧＢ色空間）に逆変換し、オフセット値（平均値）を追加することで眼底画像を元の色空間におけるデータ表現に戻す。無相関ストレッチ処理前の画像データ（図５（ａ））に比べてチャンネル間の相関が低下するとともに、色空間内で画素値を飽和させることなくコントラストが強調されていることがわかる。

なお、本実施形態では無相関ストレッチ処理により色差強調した画像を表示部５００に表示する場合について説明したが、本発明はこれに限定されるものではない。例えば、図３（ｂ）に示す画像処理フローのように、Ｓ３４１での無相関ストレッチによる色差強調処理後にＳ３５１で該色差強調処理画像に基づいた病変検出処理を行い、該検出した病変領域を眼底画像上に重畳するなどして表示部５００に表示する場合も本発明に含まれる。病変検出の例としては、本実施形態では黄斑部に限定した無相関ストレッチ処理によって地図状委縮領域に対応する画素間の（色空間上の）距離が短くなっている。そこで、色差強調画像における中心窩に対応する画素を起点として、色空間上の距離が所定値未満であれば拡張するという条件で色差強調画像における領域拡張処理を行い、地図状委縮領域を検出すればよい。検出した地図状委縮領域の境界を眼底画像上に重畳して表示部５００に表示する。

以上述べた構成によれば、画像処理装置３００は加齢黄斑変性眼のカラー眼底カメラ画像に対して黄斑部を含む関心領域を設定し、該関心領域に対して無相関ストレッチ処理を適用することで、低コントラストである地図状萎縮病変の色差を強調する。これにより、カラー眼底画像における黄斑部の低コントラストである病変部の視認性を向上させることができる。

なお、決定部３３２は、眼底画像の一部の領域として、眼底画像の黄斑部を含む第１の領域と視神経乳頭部を含む第２の領域とを決定しても良い。このとき、生成部３３３は、第１の領域及び第２の領域それぞれに対して無相関ストレッチ法に基づく異なる画像処理を適用することにより、第１の領域及び第２の領域それぞれの色の差が強調された画像を生成しても良い。これにより、カラー眼底画像における黄斑部及び視神経乳頭部のそれぞれの低コントラストである病変部の視認性を効率良く向上させることができる。

［第２の実施形態］
本実施形態に係る画像処理装置は、網膜血管からの出血Ｌｅが認められる眼に対して異なる検査日時にカラー眼底カメラ画像Ｅｘ１〜Ｅｘ３（図８（ａ）〜図８（ｃ））を撮像し、出血が収まった最新の検査画像Ｅｘ３（図８（ｃ））を基準画像として決定する。各検査画像の照射野Ｒｂに対して関心領域を設定し、該基準画像Ｅｘ３の照射野Ｒｂに対する無相関ストレッチ処理のパラメータ値を他検査画像の照射野にも適用することで、経時変化のない領域に対しては略同色を割り当てる色差強調を行う場合について説明する。

本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を図７に示す。決定部３３２が基準領域決定部３３２２を備える点が第１実施形態の場合と異なっている。また、本実施形態での画像処理フローは図９に示す通りであり、Ｓ９１０、Ｓ９３０、Ｓ９４０、Ｓ９５０、Ｓ９６０以外は第１実施形態の場合と同様であるので説明は省略する。

＜ステップ９１０：眼底画像取得＞
画像処理装置３００の被検眼情報取得部（不図示）は、被検眼を同定する情報として被検者識別番号及び検査日時を外部から取得する。被検眼情報取得部は入力部６００を用いて構成されてもよい。そして、被検眼情報取得部は、被検者識別番号に基づいて、外部記憶部４００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。画像取得部３０１は、眼底画像撮影装置２００に対して被験者識別番号及び検査日時に関連付けられた眼底画像の転送を要求し、該眼底画像撮影装置２００から該当する眼底画像Ｅｘ１〜Ｅｘ３（図８（ａ）〜（ｃ））を取得する。ここで得られた眼底画像は、記憶部３０２（もしくは外部記憶部４００）に記憶されるとともに、Ｓ９７０において表示部５００に表示される。なお、画像取得部３０１による眼底画像の取得は眼底画像撮影装置２００から転送する場合に限定されるものではなく、例えば外部記憶装置４００に記憶された眼底画像を画像取得部３０１が読み出すことにより実現してもよい。

＜ステップ９３０：基準画像・領域の決定＞
基準領域決定部３３２２は、Ｓ９１０で取得した同一眼に対応する異なる検査日時のカラー眼底画像Ｅｘ１〜Ｅｘ３の中から、画像位置合わせ及び色差強調処理において基準とする画像及び該基準画像に対応する部分領域を決定する。本実施形態では、網膜血管からの出血が収まった最新検査Ｅｘ３（図８（ｃ））に対応する眼底画像を基準画像とし、該基準画像の照射野Ｒｂを部分領域として決定する。基準画像及び領域の決定法はこれに限らず、任意の手法を用いてよい。また位置合わせ手法としては任意の公知の手法を用いることができるが、本実施形態ではアフィン変換による位置合わせを行う。

＜ステップ９４０：画像位置合わせ＞
画像位置合わせ部３３４はＳ９３０で決定した画像Ｅｘ３を基準として、Ｓ９１０で取得した同一眼に対応する異なる検査日時のカラー眼底画像間での位置合わせ処理を行う。位置合わせ手法としては任意の公知の手法を用いることができるが、本実施形態ではアフィン変換による位置合わせを行う。

＜ステップ９５０：部分領域の決定＞
部分領域決定部３３２１は、Ｓ９４０で位置合わせした各検査画像に対して関心領域を設定する。本実施形態では、照射野Ｒｂに対して関心領域を設定する。なお部分領域は照射野Ｒｂに限定されるものではなく、例えば視神経乳頭部や中心窩を中心とする領域、あるいはタイル状に分割した領域を関心領域としてもよい。また、部分領域は、眼底画像内おいて１つだけに限定されるものではなく、複数の部分領域を決定してもよい。

＜ステップ９６０：色差強調処理＞
色差強調処理部３３３１は、Ｓ９３０で決定した基準画像に対して色空間変換処理を行った後、該基準画像の部分領域に対して主成分分析を行い、分散共分散行列の固有ベクトル及び固有値を算出する。基準画像の部分領域に対して算出した固有ベクトル及び固有値を他検査画像の部分領域に対しても適用することにより、経時変化のない領域に対して割り当てられる色が略同一になるようにし、対応する病変領域の視認性を向上させる。

さらに、図６に示すフローチャートを参照しながら、Ｓ９６０で実行される処理の詳細について説明する。なお、図６に示すフローチャートの中で、Ｓ６２０、Ｓ６３０、Ｓ６４０以外は第１実施形態の場合と同様であることから説明は省略する。

＜ステップ６２０：主成分分析＞
色差強調処理部３３３１は、Ｓ６１０で異なる色空間の表現に変換した基準画像の部分領域に対して主成分分析を実行する。分散共分散行列の固有ベクトル及び固有値を算出することにより、図８（ｆ）に示すような各主成分軸方向（灰色矢印の方向）及び該主成分軸方向における画像データのばらつき量（灰色矢印の長さ）を算出する。他検査の画像に対しては主成分分析は実行せず、基準画像の部分領域に対して算出した（分散共分散行列もしくは相関行列の）固有ベクトル及び固有値を適用する。

ここで、もし他検査画像Ｅｘ１、Ｅｘ２に対して各々主成分分析を実行して主成分軸方向や該主成分軸方向におけるばらつき量を算出して無相関ストレッチ処理を行うと、以下のような問題が生じる。例えば出血領域に対応する画素が図８（ｄ）や（ｅ）の灰色領域のように存在するため、該当する主成分方向のばらつき量が大きく算出されてしまい（図８（ｄ）や（ｅ）の濃い灰色矢印）、結果として該主成分方向における色差強調効果は基準画像に対する場合ほど期待できなくなる。また、各検査画像間で主成分軸方向が異なることにより、実際には画素値の変化がほとんどない場合でも異なる色が割り当てられてしまう可能性が生じる。

＜ステップ６３０：各主成分軸方向におけるデータのばらつき量の均一化＞
色差強調処理部３３３１は、各検査画像の部分領域におけるデータに対してオフセット値を減算した上で、Ｓ６２０で算出した基準画像の部分領域に対して算出した固有ベクトル及び固有値を用いて各主成分軸方向における画像データのばらつき量を略均一化する。

＜ステップ６４０：ストレッチ＞
色差強調処理部３３３１は、Ｓ６３０で略均一化した各検査画像データの所定の色空間におけるばらつき量を目標量まで拡大（ストレッチ）させることで色差を強調したカラー画像に変換する。

本実施形態では、基準画像の部分領域に対して適用した色差強調パラメータを他検査画像に対しても適用することにより、経時変化の見られない領域では略同一の色が割り当てられる。従って、異なる検査画像間における低コントラストである病変部同士の対応関係も理解しやすくなり、視認性がさらに向上する。

以上述べた構成によれば、画像処理装置３００は、網膜血管からの出血が認められる眼に対して異なる検査日時にカラー眼底カメラ画像を撮像し、最新の検査画像を基準画像として決定する。各検査画像の照射野に対して関心領域を設定し、該基準画像の照射野に対する無相関ストレッチ処理のパラメータ値を他検査画像の照射野に対しても適用することで、経時変化のない領域に対して略同色を割り当てる色差強調処理を行う。これにより、異なる検査日時のカラー眼底画像間における黄斑部もしくは視神経乳頭部の低コントラストである病変同士の視認性を向上させる。

［その他の実施形態］
上記の各実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。例えば、本発明はシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステムまたは装置に供給し、そのシステムあるいは装置のコンピュータ、ＣＰＵ、ＭＰＵ等がプログラムを読み出して実行する処理である。

Claims (26)

1. 被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像を取得する取得手段と、
   前記眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む領域と前記視神経乳頭部を含む領域とのいずれかの領域を決定する決定手段と、
   前記一部の領域に対して無相関ストレッチ法に基づく画像処理を適用することにより、前記一部の領域の色の差が強調された画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、ユーザの操作に応じて前記眼底画像上の少なくとも一点が指定されることにより、前記一部の領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、ユーザが選択した診断目的に関するモードに応じて前記一部の領域を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、緑内障に関するモードが選択された場合には前記一部の領域として前記視神経乳頭部を含む領域を決定し、加齢黄斑変性に関するモードが選択された場合には前記一部の領域として前記黄斑部を含む領域を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、ユーザが選択した部位に応じて前記一部の領域を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、固視灯の点灯位置に応じて前記一部の領域を決定することを特徴とする請求項１に記載の画像処理装置。
7. 前記生成された画像を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記生成された画像を前記眼底画像の前記一部の領域の上に重ねた状態で表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
9. 前記生成された画像に対して解析することにより前記生成された画像の所定の領域を抽出する解析手段と、
   前記抽出された所定の領域を前記眼底画像の前記抽出された所定の領域に対応する位置に重ねた状態で表示手段に表示させる表示制御手段と、
   を更に有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
10. 前記生成手段は、前記一部の領域に対して前記無相関ストレッチ法に基づく画像処理とは異なる画像処理を適用することにより、前記強調された画像とは異なる画像として、前記一部の領域の色の差が強調された画像を生成し、
    前記表示制御手段は、前記強調された画像と前記異なる画像とを前記表示手段に並べて表示させることを特徴とする請求項７乃至９の何れか１項に記載の画像処理装置。
11. 前記生成手段は、前記一部の領域に対して前記無相関ストレッチ法に用いられるパラメータの第１の値及び前記第１の値とは異なる第２の値に基づく画像処理をそれぞれ適用することにより、前記強調された画像として第１の画像及び第２の画像を生成し、
    前記表示制御手段は、前記第１の画像と前記第２の画像とを前記表示手段に並べて表示させることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
12. 前記取得手段は、異なる日時で前記被検眼を撮影して得た複数の眼底画像を取得し、
    前記決定手段は、前記複数の眼底画像のうち基準となる眼底画像を決定し、
    前記生成手段は、前記基準となる眼底画像の前記一部の領域に対して適用された前記無相関ストレッチ法に用いられるパラメータの値を用いて、前記複数の眼底画像のうち前記基準となる眼底画像とは異なる眼底画像に対して前記無相関ストレッチ法に基づく画像処理を適用することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記パラメータとして、前記一部の領域の各画素値を所定の色空間に分布させた場合の複数の主成分軸の向きに関するパラメータを少なくとも含むことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記生成手段は、前記一部の領域の各画素値を所定の色空間に分布させた場合に、複数の主成分軸における色のばらつき量を略一致させ、
    前記パラメータは、前記略一致されたばらつき量を強調する際の目標量に関するパラメータであることを特徴とする請求項１１または１２に記載の画像処理装置。
15. 前記一部の領域に対する前記無相関ストレッチ法に基づく画像処理とは、前記一部の領域の各色を所定の色空間に分布させた場合に、複数の主成分軸における色のばらつき量を略一致させ、前記略一致されたばらつき量を強調する処理であることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 白内障モードを含む複数のモードのいずれかを選択する選択手段と、
    前記白内障モードが選択された場合に前記眼底画像または前記一部の領域を鮮鋭化する鮮鋭化手段を更に有することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 前記決定手段は、前記眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含み且つ前記視神経乳頭部を含まない領域と前記視神経乳頭部を含み且つ前記黄斑部を含まない領域とのいずれかの領域を決定することを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 前記決定手段は、前記眼底画像の前記視神経乳頭部と前記黄斑部とを結ぶ線分に対して交差する線によって規定される２つの領域のうち、前記黄斑部を含む領域と前記視神経乳頭部を含む領域とのいずれかの領域を決定することを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
19. 被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像を取得する取得手段と、
    前記眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む第１の領域と前記視神経乳頭部を含む第２の領域とを決定する決定手段と、
    前記第１の領域及び前記第２の領域それぞれに対して適用される無相関ストレッチ法に基づく画像処理であって、無相関ストレッチ法に用いられるパラメータの値として前記第１の領域及び前記第２の領域それぞれに対して異なる値に基づく画像処理を適用することにより、前記第１の領域及び前記第２の領域それぞれの色の差が強調された画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
20. 前記視神経乳頭部を含む第２の領域は、前記眼底画像における前記黄斑部を含む第１の領域以外の領域であることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 異なる日時で被検眼を撮影して得たカラーの複数の眼底画像を取得する取得手段と、
    前記複数の眼底画像のうち基準となる眼底画像を決定する決定手段と、
    前記基準となる眼底画像に対して無相関ストレッチ法に基づく画像処理を適用し、且つ前記無相関ストレッチ法に基づく画像処理に用いられるパラメータの値を用いて前記複数の眼底画像のうち前記基準となる眼底画像とは異なる眼底画像に対して前記無相関ストレッチ法に基づく画像処理を適用することにより、前記基準となる眼底画像の色の差が強調された画像及び前記異なる眼底画像の色の差が強調された画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
22. 可視光を発生させる撮影光源を有する眼科撮影装置と通信可能に接続され、
    前記取得手段は、前記可視光を用いて前記被検眼を撮影して得たカラーの眼底画像を取得することを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
23. 被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む領域と前記視神経乳頭部を含む領域とのいずれかの領域を決定する決定工程と、
    前記一部の領域に対して無相関ストレッチ法に基づく画像処理を適用することにより、前記一部の領域の色の差が強調された画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
24. 被検眼の視神経乳頭部及び黄斑部を含むカラーの眼底画像の一部の領域として、前記眼底画像の前記黄斑部を含む第１の領域と前記視神経乳頭部を含む第２の領域とを決定する決定工程と、
    前記第１の領域及び前記第２の領域それぞれに対して適用される無相関ストレッチ法に基づく画像処理であって、無相関ストレッチ法に用いられるパラメータの値として前記第１の領域及び前記第２の領域それぞれに対して異なる値に基づく画像処理を適用することにより、前記第１の領域及び前記第２の領域それぞれの色の差が強調された画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
25. 異なる日時で被検眼を撮影して得たカラーの複数の眼底画像のうち基準となる眼底画像を決定する決定工程と、
    前記基準となる眼底画像に対して無相関ストレッチ法に基づく画像処理を適用し、且つ前記無相関ストレッチ法に用いられるパラメータの値を用いて前記複数の眼底画像のうち前記基準となる眼底画像とは異なる眼底画像に対して前記無相関ストレッチ法に基づく画像処理を適用することにより、前記基準となる眼底画像の色の差が強調された画像及び前記異なる眼底画像の色の差が強調された画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
26. 請求項２３乃至２５のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。