JP6748434B2 - 画像処理装置、推定方法、システム及びプログラム - Google Patents

画像処理装置、推定方法、システム及びプログラム Download PDF

Info

Publication number
JP6748434B2
JP6748434B2 JP2016007429A JP2016007429A JP6748434B2 JP 6748434 B2 JP6748434 B2 JP 6748434B2 JP 2016007429 A JP2016007429 A JP 2016007429A JP 2016007429 A JP2016007429 A JP 2016007429A JP 6748434 B2 JP6748434 B2 JP 6748434B2
Authority
JP
Japan
Prior art keywords
region
fovea
tomographic image
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016007429A
Other languages
English (en)
Other versions
JP2017127397A5 (ja
JP2017127397A (ja
Inventor
関口博之
宇治彰人
川瀬 大輔
大輔 川瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016007429A priority Critical patent/JP6748434B2/ja
Priority to US15/405,197 priority patent/US10251548B2/en
Publication of JP2017127397A publication Critical patent/JP2017127397A/ja
Publication of JP2017127397A5 publication Critical patent/JP2017127397A5/ja
Application granted granted Critical
Publication of JP6748434B2 publication Critical patent/JP6748434B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

開示の技術は、中心窩の位置を推定する画像処理装置、推定方法、システム及びプログラムに関する。
中心窩は黄斑の中心部にある直径0.4mm程度の領域で、健常眼の断層画像では陥凹領域として観察される。また、中心窩に近いほど視機能を司る視細胞の密度が高くなるため、中心窩に近い病変ほど視機能に与える影響が大きくなる虞がある。従って、被検眼の状態を正確に診断するためには中心窩の位置を知ることが重要である。
中心窩の位置を推定する方法として、内境界膜の最深部を中心窩とする方法および内境界膜と網膜色素上皮層との間の距離が最短となる位置を中心窩とする方法が知られている(特許文献1)。
特表2015−531274号公報
上記のように、従来の中心窩の位置を推定する方法では中心窩が断層画像における陥凹領域に位置することを前提としている。すなわち、従来の中心窩の位置を推定する方法は、中心窩を抽出する対象が健常眼であることを前提としている。
従って、例えば図20に示すように病気によって網膜の形状が変形することで陥凹領域の形状が崩れた場合には、従来の方法では中心窩の位置を正確に推定できない虞があった。
開示の技術は上記課題に鑑みてなされたものであり、陥凹領域の形状が崩れた場合においても中心窩の位置を正確に推定することを目的の1つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも開示の技術の他の目的の1つとして位置付けることができる。
開示の画像処理装置の一つは、
眼底の断層画像に含まれる複数の層境界を検出する層境界検出手段と、
前記断層画像を解析することで、前記断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域において、内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域と、前記第1領域とは異なる第2領域であって、前記境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とを決定する決定手段と、
前記断層画像の深さ方向において、前記第1領域の厚さと前記第2領域の厚さとを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記眼底の中心窩の位置を推定する推定手段と、
前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出手段と、前記推定手段により推定された中心窩の位置と前記異常部位検出手段により検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得手段と、を備える。
開示の技術によれば、中心窩の位置を正確に推定することが可能となる。
システムの構成の一例を示す図である。 中心窩位置の推定の手順の一例を示すフローチャートである。 空隙領域の一例を示す図である。 断層像に対する処理の一例を示す図である。 中心窩の推定方法の一例を示す図である。 層厚比の一例を示す図である。 表示画面の一例を示す図である。 中心窩位置の推定の手順の一例を示すフローチャートである。 中心窩位置の推定の手順の一例を示すフローチャートである。 中心窩位置の推定の手順の一例を示すフローチャートである。 システムの構成の一例を示す図である。 網膜窩剥離の検出方法の一例を示す図である。 網膜剥離の検出手順の一例を示すフローチャートである。 濃度プロファイルの一例を示す図である。 表示画面の一例を示す図である。 断層画像の一例を示す図である。 表示画面の一例を示す図である。 表示画面の一例を示す図である。 網膜剥離の検出手順の一例を示すフローチャートである。 健常眼の断層像および患眼の断層像の一例を示す図である。
[実施例1]
図1は、中心窩の位置を推定するシステムの構成の一例を示す図である。図1に示されたシステムは光干渉断層計100および画像処理装置200を備える。なお、光干渉断層計100と画像処理装置200とは、有線または無線を介して通信可能に接続されている。
光干渉断層計100は、被検眼の眼底の断層像を撮像可能なOCT(Optical Coherence Tomography)装置である。光干渉断層計100は、例えば、Time−Domain OCT(TD−OCT)、Spectral−Domain OCT(SD−OCT)のうちいずれの種類のOCTであってもよい。また、光干渉断層計100は、Swept−Source OCT(SS−OCT)、またはPolarization−Sensitive OCT(PS−OCT)のうちいずれの種類のOCTであってもよい。光干渉断層計100は、眼底に対して近赤外光(測定光)を走査することにより得られた眼底からの戻り光と参照光との干渉を利用して網膜の断層を示す断層画像を取得する。すなわち、光干渉断層計100は眼底の断層画像を取得する。なお、被検眼の任意の点における深度方向の一次元の断層画像を取得するための走査を、本明細書ではAスキャンと呼び、Aスキャンで生成した断層画像をAスキャン画像と呼ぶ場合がある。さらに、任意の線に沿った二次元の断層画像を取得するための走査を、本明細書ではBスキャンと呼び、Bスキャンで取得した断層画像をBスキャン画像と呼ぶ場合がある。
光干渉断層計100は、取得した断層画像と、撮影情報(画像の種類、撮影部位、固視灯位置、撮影サイズ、走査パターンなど)を、有線または無線(例えばUSBまたはLANなど)を介して画像処理装置200へと出力する。撮影情報には例えば、画像の種類として「OCT」、撮影部位として「黄斑部」、撮影サイズとして「12mm」、走査パターンとして「ラインスキャン」などという情報が含まれる。また、撮影情報には固視灯位置の座標が含まれることとしてもよい。なお、撮影情報はこれに限るものではなく、上記に記載したすべての情報が必ずしも含まれている必要はないし、他の情報が含まれこととしてもよい。画像の種類はOCTだけではなく、SD−OCT、SS−OCTやPS−OCTなどOCTの種類まで情報に含めることとしてもよい。また、撮影サイズの単位は長さではなく角度(画角)でもよい。なお、撮影情報は断層画像と対応付けられた断層画像とは別の情報であってもよいし、断層画像のヘッダ等にメタデータとして含ませることとしてもよい。
画像処理装置200は、光干渉断層計100により得られた断層画像から中心窩の位置を推定する。なお、画像処理装置200は、例えば、デスクトップ型のPC、ノート型PC、またはタブレット型PCである。画像処理装置200はCPU、ROMおよびRAMを備えており、CPUはROMに記憶されたプログラムをRAMに展開することで種々の機能を実現する。具体的には画像処理装置200のCPUは取得手段201、決定手段202、比較手段203、推定手段204および表示制御手段205として機能する。
なお、画像処理装置200が備えるCPUおよびROMおよびRAMなどのメモリはそれぞれ1つであってもよいし複数であってもよい。すなわち、少なくとも1以上のプロセッサ(CPUなど)と少なくとも1つのメモリ(ROM、RAMなど)とが接続されており、少なくとも1以上のプロセッサが少なくとも1以上のメモリに記憶されたプログラムを実行した場合に画像処理装置200は上記の各手段として機能する。なお、CPU以外にもASICまたはFPGAによって上記の機能の少なくとも一部を実現することとしてもよい。
また、画像処理装置200は、表示手段206および記憶手段207を備える。本実施例において表示手段206および記憶手段207は画像処理装置200内に備えられることとしているが、表示手段206および記憶手段207の少なくとも一方を画像処理装置200外に備えることとしてもよい。すなわち、例えばPCである画像処理装置200と表示手段206とは一体であってもよいし別体であってもよい。また、記憶手段207は内部記憶装置であってもよいし外部記憶装置であってもよい。
取得手段201は、光干渉断層計100から画像処理装置200へ送信された断層画像および断層画像の撮影情報を取得する。すなわち、取得手段201は眼底の断層画像を取得する。
なお、取得手段201は、断層画像および断層画像の撮影情報を記憶手段207に予め保存しておき、操作者からの要求に応じて断層画像および断層画像の撮影情報を記憶手段207から読み出す構成であってもよい。なお、本実施例では、取得手段201は光干渉断層計100から断層画像および断層画像の撮影情報を取得するものとする。
決定手段202は、取得手段201により取得された断層画像から、内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域とこの境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とを決定する。一例として、決定手段202は、判別分析法を用いて第1領域および第2領域を決定する。判別分析法としては大津の判別分析法を用いることができるが、他の判別分析法を用いることとしてもよい。なお、大津の判別分析法は既知であるため詳細な説明を省略する。決定手段202は断層画像に含まれるAスキャン画像毎に判別分析法により閾値を決定する。すなわち、決定手段202は、第1領域と第2領域とを決定するための閾値を判別分析法により決定する。そして、決定手段202は、Aスキャン画像毎に、判別分析法により決定した閾値以上の濃度値を有する断層画像の領域を第1領域、当該閾値未満の濃度値を有する断層画像の領域を第2領域と決定する。
また、決定手段202は、断層画像を構成する画素の濃度値ではなく画素の輝度値に基づいて第1領域と第2領域とを決定することもできる。例えば、決定手段202は、Aスキャン画像毎に、判別分析法により決定した閾値以上の輝度値を有する断層画像の領域を第1領域、当該閾値未満の輝度値を有する断層画像の領域を第2領域と決定することとしてもよい。なお、本実施例において濃度値が高いほど輝度値が高いものとしている。上述のように、決定手段202は、断層画像を構成する画素の濃度または輝度が閾値以上の領域を第1領域、濃度または輝度が閾値未満の領域を第2領域と決定する。閾値を用いた領域の決定方法は、外顆粒層の輝度が内境界膜から外網状層と外顆粒層との境界までの領域の輝度に比べて低いことを利用している。
なお、決定手段202は断層画像における内境界膜(ILM)から視細胞内節外節境界部(IS/OS)までの領域を上記の第1領域および第2領域を決定するための処理対象とすることとしてもよい。この場合、第1領域および第2領域は内境界膜から視細胞内節外節境界部までの範囲に含まれることとなる。例えば、決定手段202は、断層画像からIS/OSを検出しIS/OSより深部の画像を削除することで第1領域および第2領域を決定するための処理対象を限定することが可能である。なお、決定手段202は断層画像における内境界膜から外境界膜(ELM)までの領域を上記の第1領域および第2領域を決定するための処理対象とすることとしてもよい。
比較手段203は、断層画像の深さ方向において、第1領域の厚さと第2領域の厚さとを比較する。より具体的には、比較手段203はAスキャン画像毎に第1領域の厚さと第2領域の厚さとを比較する。比較手段203は比較の結果として、例えば、第1領域の厚さと第2領域の厚さとの比を示す値を出力する。また、比較手段203は、第1領域の厚さ若しくは第2領域の厚さと第1領域および第2領域の厚さの和との比を示す値を出力することとしても良い。本実施例においては、比較手段203は、第1領域の厚さを第1領域および第2領域の厚さの和で除した値を出力する。
推定手段204は、比較手段203による比較結果に基づいて中心窩の位置を推定する。例えば、推定手段204は、比較手段203による比較結果が示す値の極点に基づいて中心窩の位置を推定する。一例として、推定手段204は、断層画像において第2領域の厚さに対する第1領域の厚さが最も小さいことを示す部分を中心窩の位置として推定する。なお、本実施例において推定手段204は第1領域の厚さを第1領域および第2領域の厚さの和で除した値が最小となる断層画像における位置を中心窩の位置として推定する。なお、比較手段203が比較結果として、第2領域の厚さを第1領域および第2領域の厚さの和で除した値を出力する場合には、推定手段204は第2領域の厚さを第1領域および第2領域の厚さの和で除した値が最大となる断層画像における位置を中心窩の位置として推定する。
表示制御手段205は、各種の情報を表示手段206に表示させる。例えば、表示制御手段205は、推定手段204により推定された中心窩の位置を示す情報を取得手段201が取得した断層画像に重畳して表示手段206に表示させる。なお、中心窩の位置を示す情報は中心窩の位置を示す矢印、線、円などの図形を含む。なお、表示制御手段205は、中心窩の位置を示す情報を中心窩の位置を示す情報を眼底の正面画像に重畳して表示手段206に表示させることとしてもよい。
表示手段206は、表示制御手段205の制御に基づいて各種の情報を表示する。表示手段206は、例えばLCDディスプレイである。
記憶手段207は、各種の情報を記憶する。記憶手段207は例えばRAM、ROM、SSDまたはHDDの少なくとも1つを含む。記憶手段207は断層画像および撮影情報を記憶する。また、記憶手段207は断層画像と推定手段204により推定された中心窩の位置を示す情報とを対応付けて記憶する。なお、中心窩の位置を示す情報を、断層画像を示す情報のヘッダ等に含ませることとしてもよい。
次に、上記のように構成された画像処理装置200の動作の一例を説明する。図2(a)〜(c)は画像処理装置200の動作の一例を示すフローチャートである。図2(a)は中心窩の位置の推定方法の一例の大まかな手順を示すフローチャートである。
ステップS300において、取得手段201は断層画像(例えばBスキャン画像)を取得する。そして、ステップS310において決定手段202は断層画像に含まれる網膜領域(網膜層)を抽出する。次に、ステップS320において、推定手段204は、抽出された網膜領域から中心窩の位置を推定する。なお、ステップS310またはS320の処理を行う前に、決定手段202は、ノイズ除去、濃度正規化、断層画像の中心位置や傾きの補正などの前処理を行ってもよい。前処理により、中心窩の位置推定の精度を向上させることが可能である。
図2(b)はステップS310の詳細な処理の一例を示すフローチャートである。
ステップS311で、決定手段202は、取得した断層画像の外周から中央部に向かってスキャンし、濃度値が閾値を超える画素までの領域を背景領域として除去する。なお、背景領域を画像から除去することなく、処理対象としないフラグを背景領域に設定することとしてもよい。
図3に示す断層画像において、網膜内の嚢胞401および外顆粒層は低濃度領域として描出されるため、単純に低濃度領域を除去すると、網膜内の領域も背景領域として削除されてしまう。これを避けるため、決定手段202は、取得した断層画像の外周から中央部に向かってスキャンし、濃度値が閾値を超える画素までの領域を背景領域としている。
ステップS312で、断層画像からステップS311で決定した背景領域を除いて残った領域のうち低濃度の孤立領域を抽出する。ここで低濃度領域とは断層画像において所定の閾値未満の濃度を有する画素の領域である。決定手段202は低濃度の孤立領域が網膜外の空隙と判断した場合はこの空隙を背景領域とする。例えば、図3に示すように、網膜上部に高濃度の後部硝子体皮質402が存在する場合、ステップS311では後部硝子体皮質402より前眼部側の領域までを背景領域と認識する。従って、ステップS311の処理後には斜線部で示すような空隙が残ってしまう。この空隙は本ステップにおいて低濃度の孤立領域として抽出される。削除すべき空隙(網膜外の空隙)か否かは、各孤立領域の位置、形状および面積の少なくとも一つの情報に基づいて判定される。例えば、断層画像の深さ方向において網膜の位置は通常略中心に位置するため網膜の厚さを考慮して、決定手段202は、深さ方向において断層画像の中心から所定値以上前眼部側に離れた位置を基準位置と設定する。そして、決定手段202は、この基準位置よりも前眼部側に存在する低濃度の孤立領域は削除すべき空隙であると判定する。また、網膜内の低濃度の孤立領域は網膜外の低濃度の孤立領域に比べて小さい場合が多い。そのため、低濃度の孤立領域の大きさが所定値以上の場合に決定手段202は、削除すべき空隙であると判定することとしてもよい。
ステップS313で、決定手段202はステップS312で削除すべき空隙と判定した領域を背景領域として除去する。ステップS311−S313の処理で決定手段202は断層画像から背景領域を削除し、網膜領域を抽出することができる。
ステップS314,S315により、ステップS313で抽出した網膜領域に対して解析を行うことで、決定手段202は例えばILM、RPEおよびIS/OSを抽出する。具体的には、決定手段202は、動的輪郭法を使用してILM、RPEおよびIS/OSを抽出する。網膜は複数の層から構成されており、健常眼では十層ほどの層が観察されるが、病変や出血がある網膜では十層すべての層を抽出することが困難な場合がある。そこで、本実施例では、決定手段202は、網膜の層のうち病変などが存在する場合でも比較的検出が容易な、内境界膜(ILM)、網膜色素上皮(RPE)、視細胞内接外接接合部(IS/OS)の三層を抽出する。なお、決定手段202が抽出する層はこれに限定されるものではなく、例えば、決定手段202はILMおよびIS/OSのみを抽出することとしてもよいし、ILMおよびRPEのみを抽出することとしてもよい。
まず、ステップS314において、決定手段202は、ステップS315で動的輪郭法を適用する際の初期輪郭位置を設定する。ステップS315で誤った局所解に陥らないようにするため、適切な初期輪郭位置を設定する必要がある。具体的には、まず、決定手段202は、網膜領域において深さ方向(Z軸方向)の濃度が最小となる画素を各X軸方向の座標について抽出する。ここで、X方向はBスキャン画像の水平方向に対応する。次に、決定手段202は、抽出された画素群の位置を4次近似曲線として近似する。決定手段202は、この近似曲線を網膜中央部を通る、網膜中央ラインとする。さらに、決定手段202は、この網膜中央ラインより脈絡膜の方向にスキャンし、濃度が最大となる複数の点をそれぞれ前眼部側から順にIS/OSおよびRPEの初期輪郭点の点列として設定する。また、決定手段202は、ステップS313で決定した網膜領域の上端を、ILMの初期輪郭点の点列として設定する。なお本実施例では、ステップS315での初期輪郭位置として閉曲線を使用するため、決定手段202は、Bスキャン画像の端部の点列を前記決定した初期輪郭点に追加して、最終的な初期輪郭位置とする。
ステップS315において、決定手段202は、ステップS314で決定した初期輪郭位置をもとに、動的輪郭法を用いて上記三層の位置を決定する。なお本実施例において、網膜層は途中で分岐することがなく且つ連続したラインとして各層を抽出することを目的としているため動的輪郭法を適用している。本実施例では、動的輪郭法のアルゴリズムの一例としてSnakesを用いる。Snakesでは、形状エネルギーEshapeと画像エネルギーEImageとを定義し、繰り返し計算によりこれらのエネルギーを最小化する。形状エネルギーEshapeは、網膜層の形状がなめらかになるほどエネルギーが小さくなり、画像エネルギーEImageは、エッジ強度が強いところほどエネルギーが小さくなるようにそれぞれ定義される。したがって、初期輪郭位置として設定した全点を動かしながらエネルギーが最小となる箇所を検出することで、エッジ強度が強い層境界がなめらかな形状として抽出できる。このように、決定手段202は、初期輪郭位置として設定した全点を動かしながらエネルギーが最小となる箇所を検出することで、ILM、RPEおよびIS/OSを抽出する。
なお、本実施例において断層画像をZ軸方向に微分した画像を画像エネルギーEImageとして用いた。Z軸方向に微分する方向は、抽出すべき網膜層の境界において画像エネルギーが最小となる向きに設定する。さらに本実施例では、連続、画像、曲率の各エネルギー寄与率はあらかじめ実験的に求めて決定した。
次に、ステップS316において、決定手段202は、ステップS315で検出したILMおよびIS/OSを用いて中心窩位置の推定処理の対象とする画像を取得する。具体的には、決定手段202は、図4に示すように、ILMを画像上端とする(またはILMを平坦にする)とともに、IS/OSより脈絡膜側の画像を削除した画像を生成する。なお、決定手段202は、ステップS311−S313の処理で得られた画像から図4に示す画像を取得することとしてもよいし、取得手段201が取得した断層画像から図4に示す画像を取得することとしてもよい。なお、図4に示す処理は、後述するステップS321〜S325の処理を簡単にするために行われる。図4に示す処理ではIS/OSより脈絡膜側の画像を削除したが、IS/OSに替えてRPEより脈絡膜側の画像を削除した画像を生成することとしてもよいし、外境界膜(ELM)が検出されている場合にはELMより脈絡膜側の画像を削除した画像を生成することとしてもよい。また、ILMを平坦にする処理は実行してもしなくともよい。
次に、中心窩位置特定処理S320の詳細な処理について説明する。図2(c)はステップS320の詳細な処理の一例を示すフローチャートである。
一般的に中心窩では、錐体細胞からなる外顆粒層が厚く、その上部に位置する外網状層は薄い。また、断層画像において、外網状層は外顆粒層より高濃度で描出される。さらに言えば、内境界膜から外網状層と外顆粒層との境界までの領域は外網状層と外顆粒層との境界から視細胞内節外節境界部までの領域より高濃度で描出される。したがって、決定手段202は、内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域と前記境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とに濃度に関する閾値で分離することができる。本実施例においては判別分析法を用いて第1領域と第2領域とを分離するが、この分離精度を向上させるための処理をステップS321で行う。
ステップS321で、決定手段202は、ステップS313で抽出した網膜領域に対して濃度値の上限を設定し、その上限濃度値を超える画素の濃度を上限濃度値で置き換える。これは、例えば、断層画像における網膜神経線維層(RNFL)は濃度値がきわめて高く、取得した断層画像の濃度値のまま判別分析法を適用すると、RNFLとそれ以外の層とで分離してしまう可能性があるためである。上限濃度値として、たとえばILMを起点にZ軸方向の脈絡膜側に数十画素の領域を抽出し、その濃度値の中央値を用いることとしてもよいし、あらかじめ規定した濃度値を一律で用いるとしてもよい。なお、RNFLなどの高濃度領域を画像から除外することができる場合には、本ステップを実行しなくともよい。
次に、ステップS322で、決定手段202は、判別分析法を用いて内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域と前記境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とに分離する。また、断層画像では撮影条件により輝度やコントラストが変動し、また濃度のムラも大きいため、二層を分離するための閾値は局所的、かつ動的に算出する必要がある。そのため、本実施例では、図5に示すように、層厚比を算出する位置を中心としてX軸方向に一定の幅(たとえば数十画素)を持つ領域に対して判別分析法を適用し、閾値を決定するものとする。なお、算出位置のみの領域に対して判別分析法を適用した後、得られた閾値(二層の境界線)を平滑化する構成にしてもよい。
図5に示すように、決定手段202は例えば、判別分析法により得られた閾値に基づいて画像の二値化を行うことで、網膜を高濃度領域である第1領域と低濃度領域である第2領域とに分離する。そして、決定手段202は第1領域の厚さと第2領域の厚さを算出する。なお、第1領域および第2領域のそれぞれは、画素が連続した領域であってもよいし不連続な画素を含む領域であってもよい。例えば、二値化の結果、低濃度の画素がZ軸方向に不連続に存在する場合、第2領域は、これらの不連続な画素を含むこととしてもよい。すなわち、二値化の結果得られた高濃度の画素のZ軸方向における合計を第1領域の厚さ、二値化の結果得られた低濃度の画素のZ軸方向における合計を第2領域の厚さとすることとしてもよい。
ステップS323で、比較手段203は、ステップS322の分離結果にもとづいて、第1領域が全体の層厚に対して占める割合である層厚比をX軸方向の各位置について、数1により算出する。ここで、全体の層厚とは第1領域の厚さと第2領域の厚さとの和である。

ここで、R(x)は、座標xにおける層厚比、PN(x)は、座標xにおける第1領域の厚さ、PA(x)は、座標xにおける全体の層厚を表す。すなわち、PA(x)は第1領域の厚さと第2領域の厚さとの和である。なお、本実施例では層厚比R(x)は、全体の層厚に対する第1領域の厚さの割合を層厚比として定義するが、これに限定されるものではない。たとえば、全体の層厚に対する第2領域の厚さの割合を層厚比R(x)としてもよい。さらに、第1領域の厚さを第2領域の厚さで除した値を層厚比R(x)として用いてもよい。または、第2領域の厚さを第1領域の厚さで除した値を層厚比R(x)として用いてもよい。すなわち、推定手段204は、眼底の断層画像の深さ方向において、断層画像を構成する画素の濃度または輝度が閾値以上の第1領域の大きさと濃度または輝度が閾値未満の第2領域の大きさとを比較する。
ステップS324で、比較手段203は、ステップS323で算出された層厚比R(x)に対して、Z軸方向に直交する方向であるX軸方向の移動平均を算出することで層厚比の平滑化を行う。すなわち、比較手段203は、深さ方向に直交する方向における複数の位置の比較結果の移動平均を算出する算出手段の一例に相当する。平滑化は、皺襞のある網膜では、各層の厚みが局所的に大きく変動し、局所的に層厚比が低くなる部位が存在する場合があり、局所的に層厚比が低くなる部分を中心窩の位置と誤って推定することを防止するために行われる。
なお、本実施例では、層厚比算出後に移動平均による平滑化を実行したが、あらかじめ画像を平滑化した後に層厚比を算出する構成にしてもよい。また、層厚比の平滑化を移動平均以外の方法により得ることとしてもよい。
ステップS325で、図5に示すように、推定手段204は、平滑化後の層厚比が最小値となる断層画像における位置(下凸のピークになる位置)を抽出し、この位置を中心窩の位置と推定する。すなわち、推定手段204は、算出された移動平均に基づいて中心窩の位置を推定する。
平滑化後の層厚比をX軸方向にスキャンした結果、ピークが単一であり、そのピークが高くなるほど、中心窩位置を高精度に特定することが可能となる。推定手段204は例えばピークの高さに基づいて中心窩の推定精度を示す指標を算出することとしてもよい。すなわち、推定手段204は層厚比に基づいて中心窩の推定精度を示す指標を算出する。例えば、推定手段204は、層厚比が小さいほど中心窩の推定精度が高いと判定する。なお、中心窩の推定精度を示す指標は表示制御手段205の制御により表示手段206に表示される。また、推定手段204は、第1領域の厚さおよび第2領域の厚さの少なくとも一方に基づいて中心窩の異常度を判定することとしてもよい。推定手段204は例えば、中心窩と推定された位置の第1領域の厚さが厚いほど中心窩の異常度は高いと判定してもよいし、第2領域の厚さが薄いほど中心窩の異常度が高いと判定することとしてもよい。また、推定手段204は例えば、中心窩と推定された位置における第1領域の厚さと第2領域の厚さとの差が小さいほど異常度が高いと判定してもよい。
図6に中心窩の推定処理の一例を説明するための図を示す。図6(a)は、健常眼の断層画像から中心窩位置を特定する場合、図6(b)は、黄斑上膜を発症した眼の断層画像から中心窩位置を推定する場合を説明するための図である。
ステップS310では、決定手段202は、断層画像からILM501、ISOS502、RPE503を抽出する。ステップSS322では、決定手段202は、例えば、第1領域と第2領域視細との境界線510を抽出する。さらに、ステップS323では、比較手段203は、各X座標におけるR層厚比R(x)を算出する。一例として、比較手段203は、ILM501と境界線510との間の距離であるPN(x)と、ILM501とISOS502との間の距離であるPA(x)を算出し、数1に従って層厚比R(x)を算出する。図6に示すように、たとえば黄斑上膜を発症した眼においても、中心窩付近において層厚比R(x)が低くなる傾向は維持される。従って、推定手段204は、健常眼のみならず患眼においても中心窩位置を精度よく推定することが可能となる。なお、本実施例では、断層画像における濃度を用いて解析したが、輝度を用いても同様の効果を得ることができる。また、外顆粒層の濃度が外網状層から内境界膜まで領域の濃度よりも低い断層画像を処理対象としたが、濃度値を反転させた画像を処理対象とすることも可能である。
上記のようにして推定した中心窩の位置を表示制御手段205は表示手段206に表示させる。図7は表示手段206における画面の一例を示す図である。図7(a)においては、表示制御手段205は正面画像110および断層画像111を表示手段206に表示させるとともに、推定手段204により推定された中心窩の位置を示すマーカー120を断層画像111に重畳して表示手段206に表示させる。なお、中心窩の位置を示すマーカー120の形状は矢印であってもよいし、図7(b)に示すように線であってもよい。また、中心窩周囲を囲むような楕円または円を表示してもよいし、画像上の座標などを数値として表示する構成にしてもよい。
また、表示制御手段205は、図7に示すように正面画像110上に断層画像111の取得位置を示すマーカーを表示手段206に表示させることとしてもよい。この断層画像111の取得位置を示すマーカーは操作者の操作により移動可能であり、表示制御手段205は、断層画像111の取得位置を示すマーカーの位置に対応した断層画像111を表示手段206に表示させる。さらに、表示制御手段205は、断層画像111の取得位置を示すマーカーの位置に対応した中心窩の位置を示すマーカー120を表示手段206に表示させる。すなわち、表示制御手段205は、断層画像111の取得位置を示すマーカーの位置の更新に伴い、断層画像111および中心窩の位置を示すマーカー120を更新する。
上述した本実施例によれば、健常眼のみならず患眼であっても断層画像から中心窩の位置を正確に推定することが可能である。
また、推定した中心窩の位置を断層画像上で示すことができるため、医師は患眼の断層画像であっても中心窩の位置を容易に把握することができる。すなわち、本実施例によれば医師の迅速な診断を支援することが可能となる。
また、本実施例によれば、全ての層をセグメンテーション(層認識)することなく判別分析法等を用いて第1領域と第2領域とに分離している。そのため、病気により網膜の形状が変形しており詳細なセグメンテーションが難しい場合においても、中心窩の位置を正確に推定することが可能となる。
(変形例1)
実施例1においては実施例1のステップS322では決定手段202が、判別分析法を使用して画像を第1領域と第2領域とに分離した。しかし本変形例では、決定手段202が外網状層と外顆粒層との境界を検出できる場合には、検出した外網状層と外顆粒層との境界を利用して第1領域と第2領域とに分割することとしてもよい。すなわち、決定手段202は、断層画像から検出された層境界に基づいて第1領域と第2の領域とを決定する。
なお、層境界の検出方法は既知の方法を用いることが可能である。例えば、決定手段202は断層像における濃度または輝度の変化をZ軸方向に検出し、輝度の変化が大きい部分を層境界と認識することが可能である。外網状層と外顆粒層とは通常輝度差があるため、決定手段202は断層像における濃度または輝度の変化をZ軸方向に検出ことで、外網状層と外顆粒層との境界を検出することが可能である。なお、決定手段202は、外網状層と外顆粒層との境界より前眼部側に位置する網膜領域を第1領域、外網状層と外顆粒層との境界より脈絡膜側に位置する領域を第2領域とすることができる。外網状層と外顆粒層との境界の検出はステップS310で実施することとしてもよいし、ステップS310以前に、あらかじめ実施することとしてもよい。
本変形例によれば、判別分析法を用いることなく中心窩の位置を推定することが可能となる。また、層厚マップ等を作成するために外網状層と外顆粒層との境界が使用される場合には、中心窩位置の推定と層厚マップの作成とで外網状層と外顆粒層との境界の抽出結果を共用することが可能となる。
(変形例2)
実施例1では、ステップS323で、第1領域の層厚と第1領域の層厚と第2領域の層厚の和の比を算出したが、比較手段203は第1領域の層厚と第2領域の層厚との差を算出してもよい。すなわち、比較手段203は、第1領域の厚さと第2領域の厚さの比較結果として第1領域の厚さと第2領域の厚さとの差を出力する。
例えば、数2に示すように、比較手段203は第1領域の層厚と第2領域の層厚との差を算出することで、相対的に第1領域の層厚が薄い領域を特定することができ、実施例1と同様の効果を得ることができる。

ここで、S(x)は、座標xにおける層厚差、PN(x)は、座標xにおける第1領域層の厚さ、PC(x)は、座標xにおける第2領域の厚さを表す。
なお、推定手段204は、層厚差S(x)が最大となる位置を中心窩の位置と推定する。なお、PN(x)からPC(x)を引くようにしてもよい。この場合、推定手段204は、層厚差が最小となる位置を中心窩の位置と推定する。すなわち、
本変形例によれば、実施例1と略同様の効果を奏することが可能となる。
(変形例3)
実施例1では、断層画像における解析処理の対象領域(X方向の領域)を限定していないが、撮影情報をもとに解析処理の対象領域を限定してもよい。具体的には、撮影情報として撮影時の固視灯位置を取得し、固視灯位置に対応する断層画像の領域周辺のみを解析処理の対象としてもよい。解析領域を限定する処理は、中心窩(黄斑)の位置は固視灯の提示位置に対応して移動することを利用するものである。
例えば、固視灯の提示位置が断層画像の撮影範囲(走査範囲)の中心に対応している場合には、通常中心窩は画像の中心付近に位置することとなるため、断層画像の左右端近傍の領域に対して上述した中心窩位置の推定処理は実施しないこととしてもよい。例えば、比較手段203は、固視灯の提示位置が断層画像の撮影領域の中心に対応している場合には断層画像の左右端近傍の領域において第1領域と第2領域の層厚の比較を行わないこととしてもよい。なお、推定手段204は、断層画像の左右端近傍の領域における比較手段203の比較結果を中心窩の位置推定に用いないこととしてもよい。また、固視灯の提示位置が断層画像の撮影領域の端部に対応している場合には、断層画像の中心付近の領域に対して上述した中心窩位置の推定処理は実施しないこととしてもよい。すなわち、推定手段204は、固視灯の提示位置に関する情報および比較手段による比較結果に基づいて中心窩を推定する。
本変形例によれば、中心窩の位置を推定するまでの処理時間を短縮することが可能となる。
(変形例4)
変形例3では、撮影情報をもとに解析処理の対象領域を限定したが、撮影情報から断層画像中に明らかに中心窩領域が含まれないと判断できる場合は、中心窩位置の推定処理自体を実行しないように構成してもよい。すなわち、推定手段204は、固視灯の提示位置に関する情報に基づいて中心窩の位置の推定を実行するか否かを判断する。
具体的には、取得手段201が断層画像および固視灯の提示位置および撮影範囲を含む撮影情報を取得すると、推定手段204は撮影時に使用した固視灯提示位置や撮影範囲などを取得し、断層画像における中心窩の位置を大まかに推定する。言い換えれば、推定手段204は、中心窩位置が解析処理対象としている断層画像に含まれているか否かを判断する。すなわち、推定手段204は、撮影範囲に固視灯の提示位置が含まれるか以下を判断する。中心窩領域が含まれていないと判断できる場合は、推定手段204は中心窩位置の推定処理自体を実行しない。例えば、視神経乳頭および黄斑のうち視神経乳頭のみを含むように断層画像が撮影された場合には、推定手段204は中心窩位置の推定処理を実行しない。
なお、予め視神経乳頭および黄斑のうち視神経乳頭のみを含むように断層画像撮影する撮影モードが光干渉断層計100に備えられており、当該撮影モードで撮影された断層画像であることを示す情報が撮影情報に含まれている場合には、推定手段204は固視灯提示位置などの情報を用いることなく撮影モードの情報に基づいて中心窩位置の推定処理を実行しないと判断する。
本変形例によれば、不要な中心窩推定処理を実行することを防止することができる。また、表示制御手段205は、表示手段206に解析処理対象の断層画像に中心窩領域が含まれていない旨の通知を表示させることとしてもよい。これにより、たとえばスクリーニング時のように、一度に大量の断層画像に対する判断が必要な場合に、判断に要する時間を短縮することができる。
[実施例2]
本実施例では、実施例1の構成において、ステップS325で中心窩位置の推定に失敗した場合の処理について述べる。図8は、本実施例における中心窩位置の推定処理の一例を示すフローチャートである。ステップS321からステップS325までの処理は、実施例1と同様であるため詳細な説明は省略する。ステップS325で、平滑化後の層厚比をX軸方向にスキャンした際、同程度の高さのピークが複数存在する場合や、ピークは単一でも高さが低く不明瞭な場合などには、精度よく中心窩の位置を推定できない虞がある
したがって、ステップS326において推定手段204は、ピークの数およびピークの高さに基づいて中心窩の推定に成功したか否かを判定する。例えば、推定手段204は、平滑化後の層厚比をX軸方向にスキャンした結果、ピークが単一でその高さが中心窩位置の特定に十分である場合には中心窩の位置を推定できたと判定する。中心窩位置が特定できたと判断した場合は、中心窩位置特定処理S320を終了する。
一方、推定手段204は、平滑化後の層厚比をX軸方向にスキャンした結果、同程度の高さのピークが複数存在する場合またはピークは単一でも高さが低く不明瞭な場合には中心窩位置が推定できていないと判断する。中心窩位置が推定できていないと判断された場合は、ステップS327において、推定手段204は断層画像の中心を中心窩の位置と推定する。すなわち、推定手段204は、層厚の比較結果に基づいて中心窩の位置を推定できない場合、断層画像の中心を中心窩の位置として推定する。
これは、一般的なOCT撮影において、黄斑部を中心に撮影する機会が多く、おおむね中心窩が画像中心部周辺にあると考えられるためである。この場合、推定手段204は画像中心部を中心窩と推定した後、中心窩位置特定処理S320を終了する。
表示制御手段205は、第1実施例と同様に表示手段206に中心窩位置を示すマーカー120を断層画像に重畳して表示させる。但し、中心窩位置をステップS325で推定に成功した場合とステップS327で推定した場合とでは推定精度が異なる虞があるため、表示制御手段205は中心窩位置を示すマーカー120の表示形態を異なる形態にすることとしてもよい。以降の実施例においても中心窩の推定方法が異なる場合には、中心窩位置を示すマーカー120を異なる表示形態としてもよい。また、ステップS327で中心窩を推定した場合には、表示制御手段205は、画像の中心を中心窩位置として推定した旨のメッセージを表示手段206に表示させることとしてもよい。
本変形例によれば、層厚比による中心窩位置の推定に失敗した場合においても、中心窩位置を推定することが可能となるため、ロバスト性を向上することができる。
(変形例1)
実施例2では、層厚比による中心窩位置特定に失敗した場合に、解析対象画像の中心を無条件で中心窩と推定していたが、この処理に替えて、撮影情報を用いて中心窩位置を推定する処理を実施することとしてもよい。より具体的には、推定手段204は例えば、撮影情報に含まれる固視灯の提示位置および撮影範囲に基づいて、固視灯の提示位置に対応する断層画像中の領域を決定し、この決定された位置を中心窩の位置と推定する。すなわち、推定手段204は、層厚の比較結果に基づいて中心窩の位置を推定できない場合、固視灯の提示位置に関する情報に基づいて中心窩の位置を推定する。
本変形例によれば、層厚比による中心窩位置の推定に失敗した場合においても、中心窩位置を推定することが可能となるため、ロバスト性を向上することができる。また、本変形例によれば、中心窩が断層画像の中心に位置しない場合においても、中心窩位置を精度よく推定することが可能となる。
(変形例2)
実施例2では、層厚比による中心窩位置特定に失敗した場合に、解析対象画像の中心を無条件で中心窩と推定していたが、この処理に替えて、層厚が最小となる部分(すなわち、陥凹部)を中心窩位置と推定する処理を実行することとしてもよい。例えば、推定手段204は、ステップS315において抽出したILMおよびIS/OS間の距離が最小となる位置を中心窩の位置と推定することとしてもよい。また、推定手段204はILMおよびRPE間の距離が最小となる位置を中心窩の位置と推定することとしてもよい。
本変形例によれば、層厚比による中心窩位置の推定に失敗した場合においても、中心窩位置を推定することが可能となるため、ロバスト性を向上することができる。また、本変形例によれば、中心窩が断層画像の中心に位置しない場合においても、中心窩位置を精度よく推定することが可能となる。
なお、推定手段204は、本変形例と実施例2とを連続的に実行することとしてもよいし、本変形例と変形例1とを連続的に実行することとしてもよい。
[実施例3]
実施例1および実施例2では、取得手段201で取得した断層画像に対して、最初に層厚比による中心窩位置の推定処理を実行する構成にしていたが、層厚比による中心窩位置の推定処理に先立って他の中心窩位置の推定処理を実行することとしてもよい。本実施例においては、他の中心窩位置の推定処理の一例として、健常眼における中心窩は陥凹領域として観察されることを利用した推定処理を採用する。
図9は本実施例における中心窩位置の推定処理の手順の一例を示すフローチャートである。ステップS321からステップS325までの処理は、実施例1と同様であるため詳細な説明は省略する。
ステップS328では、推定手段204は、ステップS315で決定手段202により抽出されたILMの層境界情報から、断層画像内の陥凹部を探索する。すなわち、決定手段202は、断層画像に含まれる層境界を検出する検出手段の一例に相当する。
次に、ステップS329では、例えば、推定手段204は、ILMとして抽出したラインのZ軸方向の座標が極小且つ最小となる点を算出し、その点を中心窩と推定する。ここで、Z軸方向の座標は脈絡膜側に近づく程小さな値となるものとしている。
さらに、ステップS330において、推定手段204は、極小且つ最小となる位置のILMのZ座標と、その他の位置のILMのZ座標との差を求めることで、中心窩と特定するに十分な陥凹であるかを判定する。例えば、推定手段204は、極小且つ最小となるILMのZ座標と、その位置からX軸方向に数十から数百画素離れた位置のILMのZ座標を比較することで十分な陥凹であるか判定することができる。なお、極小となる位置から判定に使用する位置までの画素数は、断層画像の解像度や撮影条件などを加味して決定することとしてもよいし、一律の画素数であってもよい。例えば、推定手段204は、ステップS330においてZ座標の差が所定閾値以上であれば中心窩位置を推定できたと判定する。一方、推定手段204は、ステップS330においてZ座標の差が所定閾値未満である場合には中心窩位置を推定できなかったものとして、ステップS321へ進み、実施例1の方法を実施する。すなわち、推定手段204は、検出された層境界(内境界膜)に基づいて中心窩を推定し、層境界に基づいて中心窩を推定できない場合に比較手段による層厚の比較結果に基づいて中心窩を推定する。
本実施形態によれば、中心窩位置の推定処理のロバスト性を向上できる。なお、本実施例ではILMがZ軸方向の座標において極小且つ最小となる点を中心窩の推定に使用した。しかし、例えばRNFLの厚みが最小となる点を中心窩の推定に用いもよいし、ILMとIS/OSなど他の層との距離が最小となる点を中心窩の位置推定に用いてもよい。また、本実施例では、層境界情報のみにもとづいて中心窩位置を判定したが、実施例1および実施例2に示したように、固視灯位置などの撮影情報も加味して判定する構成にしてもよい。例えば、推定手段204は、ILMのZ座標が極小且つ最小となる断層画像における位置が、撮影情報に含まれ固視灯の提示位置および撮影範囲の情報から推定された断層画像における中心窩位置と等しい場合または位置の差が所定閾値以内の場合に、ILMのZ座標が極小且つ最小となる断層画像における位置を中心窩の位置と推定することとしてもよい。これにより、撮影情報と層形状の両方の情報から中心窩位置を推定できるため、中心窩位置の推定精度を向上させることができる。
(変形例1)
実施例3では、層厚比による中心窩位置の推定処理に先立ち、層境界情報を使用して中心窩位置を推定こととしたが、他の方法を使用してもよい。健常眼における中心窩は、眼底カメラで撮影した眼底画像など、眼球の正面から観察した場合、暗部として観測されることが知られている。このため、例えば、推定手段204は断層画像の画素値(輝度値または濃度値)をZ軸方向に積算した画像を生成し、最も暗い位置を中心窩として推定することとしてもよい。このとき、推定手段204は、積算画像において、中心窩と推定した位置の輝度値と、その他の位置の輝度値とを比較することで、中心窩と推定するのに十分な輝度差があるかを判定することができる。すなあち、推定手段204は中心窩と推定した位置の輝度値と、その他の位置の輝度値との差の絶対値が閾値以上かを判定する。そして、推定手段204は、この差が閾値未満であれば、抽出した位置が中心窩ではないとして、実施例1の中心窩位置の推定方法を実施する。すなわち、推定手段204は、深さ方向における断層画像の輝度または濃度の積算値に基づいて中心窩を推定し、積算値に基づいて中心窩を推定できない場合に比較手段による比較結果に基づいて中心窩を推定する。
本変形例によれば、実施例3と同様の効果を得ることができる。
(変形例2)
上記では、層境界情報あるいは積算画像による中心窩位置特定に失敗した場合に、単に実施例1の方法を実施する構成としたが、他の構成にしてもよい。例えば、推定手段204は、積算画像にもとづいて1つ以上の中心窩位置の候補を抽出する。すなわち、推定手段204は、積算画像における輝度が最も低い部分を中心窩位置の候補とする。そして、次に、断層画像のうち抽出した中心窩位置候補の周辺に処理範囲を限定して、実施例1の中心窩推定方法を実施する。これにより、中心窩位置を推定する処理の高速化を図れるとともに、例えば積算画像の輝度と断層画像の層厚比という複数の情報にもとづいて中心窩位置を特定できるため、特定精度を向上させることが可能となる。なお、積算画像の輝度値が最小となる位置に替えてILMのZ座標が極小且つ最小となる位置を用いることとしてもよい。
[実施例4]
実施例1から実施例3では、1枚の断層画像から中心窩位置を特定する方法としたが、本実施例では複数の断層画像から中心窩位置を特定する方法について示す。光干渉断層計100は、被検眼の詳細な情報を取得するため、複数の走査モードを有することが多い。具体的には、同一部位を一度ずつスキャンする垂直スキャンや水平スキャンなどのラインスキャンのほかに、同一部位について放射状に走査するラジアルスキャンや、直交する方向に走査するクロススキャンなどがある。本実施例では、黄斑部をクロススキャンした場合の例について説明する。図10は本実施例における中心窩位置の推定処理手順の一例を示すフローチャートである。ステップS321からステップS325までの処理は、実施例1と同様であるため詳細な説明は省略する。クロススキャンにより得られた断層画像は、眼底に対して異なる方向(直行する方向)に測定光を走査することで得られた複数の断層画像の一例に相当する。
ステップS331において、推定手段204は、全ての断層画像から中心窩位置を推定したか否かを判定する。中心窩位置の推定が済んでいない断層画像が存在する場合にはステップS321へ進み、実施例1に示した中心窩位置の推定が実行される。一方、全ての断層画像に対して中心窩位置の推定が行われている場合には、ステップS332へ進む。
ステップS332では、推定手段204が、各断層画像において推定された中心窩位置を比較する。1枚の断層画像から中心窩の位置を推定した場合、推定した位置が本当に正しい位置か否かを確認することは難しいが、複数のBスキャン画像を用いることで中心窩の位置の推定精度を向上させることが可能である。このため、推定手段204は、各断層画像における中心窩位置の推定結果を比較する。そして、各断層画像の中心窩の推定位置が一致する場合にはステップS333へ進み、推定手段204は、一致している点を中心窩位置と推定する。すなわち、推定手段204は、複数の断層画像それぞれにおける層厚の比較結果に基づいて中心窩の位置を推定する。より具体的には、推定手段204は、前記取得手段は、前記眼底の異なる位置に測定光を走査することで得られた複数の断層画像それぞれから中心窩の位置を推定する。
一方、各断層画像の中心窩の推定位置が一致していない場合はステップS334へ進み、推定手段204は、複数の断層画像のうちステップS325で算出した平滑化後の層厚比のピークが高い位置を中心窩と推定する。
なお、推定手段204は、中心窩の推定位置を比較する前に、SLOなどで得られた眼底画像から既知の手法で眼の動きを検出し、この動きに基づいて断層画像同士を位置合わせすることとしてもよい。断層画像同士の位置合わせを行うことでより正確に中心窩の推定位置を比較することが可能となる。
本実施例によれば、1枚のBスキャン画像から中心窩位置を推定する場合に比べ、高精度に中心窩位置を推定することができる。なお、本実施例では、複数のBスキャン画像から推定した中心窩位置が一致しない場合、平滑化後の層厚比のピークを解析する方法としたが、これに限定するものではない。例えば、上述の方法と同様に、Bスキャン画像の中心を中心窩と推定してもよいし、撮影情報にもとづいて中心窩位置を推定してもよい。また、各断層画像の中心窩の推定位置が一致しない場合には、中心窩の推定ができなかったものとして、表示制御手段205は表示手段206に中心窩が推定できない旨のメッセージを表示させることとしてもよい。このようにすれば、精度の高い中心窩位置のみを操作者に知らせることができるため、操作者に誤った情報を伝える可能性を低減することが可能となる。
なお、直交する複数のラインスキャンを行うマルチクロススキャンで得たBスキャン画像においても、同様の方法で中心窩位置を特定することができる。マルチクロススキャンなど、複数枚のBスキャン画像を解析対象とすることで、中心窩位置の特定精度が向上する一方、処理時間が増大する懸念がある。この場合、実施例1で示したように、撮影情報などからBスキャン画像中に明らかに中心窩領域が含まれないと判断できる場合は、解析対象とせず、中心窩領域が含まれると判断できる画像のみを上述の方法により解析する。これにより、中心窩位置特定精度の向上と処理速度の向上を両立することが可能となる。
(変形例1)
実施例4では、複数枚のBスキャン画像から中心窩位置を特定する場合の方法について示したが、他の方法にしてもよい。具体的には、光干渉断層計100を使用することで、網膜内の矩形領域について、取得位置を移動しながら水平方向に複数回走査して、被検眼の三次元断層画像を生成することができる。すなわち、取得手段201は、三次元断層画像を取得する。なお、三次元断層画像は複数のBスキャン画像から構成される。
推定手段204は、取得した三次元断層画像に対して、実施例1と同様の処理を実行する。従って、三次元断層画像に対して推定された中心窩の位置を対応付けることができる。また、三次元断層画像を深さ方向に積算することで、眼底表面を示す積算画像を生成することが可能であるため、積算画像に対しても推定された中心窩の位置を対応付けることができる。さらに、SLO画像及び眼底カメラで取得した眼底画像と積算画像とは同じ眼底表面を示す二次元画像であるため、位置合わせを行うことで、SLO画像及び眼底画像に対しても推定された中心窩の位置を対応付けることができる。
表示制御手段205は、表示手段206に、正面画像110を表示させ、上述の対応付けに基づいて表示した正面画像110上に推定した中心窩位置を表示させることができる。正面画像としては、SLO画像や、取得した被検眼の三次元断層画像をZ軸方向に積算した積載画像を表示することが可能である。また、表示手段206は、正面画像としては、三次元断層画像から二つの任意の基準面にもとづいて平面に投影したEn−Face画像、あるいは眼底カメラで撮影した眼底画像などを表示することができる。
本変形例によれば、被検眼を正面から観察した正面画像上の中心窩位置を表示することできるため、操作者は眼底表面における中心窩位置を容易に認識することができる。
[実施例5]
本実施例では、推定された中心窩位置周辺の画像を詳細に解析することで中心窩における網膜剥離を検出する。RPEに存在する細胞は視細胞外節を貪食するため、健常眼においては視細胞外節とRPEとが近接して観察されるが、網膜剥離が発生した眼においては両者が分離した状態で観察される。上述のように中心窩は視機能に大きな影響を与える部位であるため、中心窩周辺で網膜剥離が生じた場合、それが微小領域であっても早期に発見できることが望ましい。断層画像全体から、この微小な網膜剥離を検出することは、画像内のノイズなどの影響もあり困難である。そこで本実施例における画像処理装置は、実施例1〜4で述べた方法により推定した中心窩位置を用いて画像解析の対象範囲を限定し詳細な解析処理を行う。
図11に示したシステムは図1のシステムと略同様であるが、解析手段208を備える点で異なっている。
取得手段201などと同様に画像処理装置200のCPUが解析手段208として機能する。解析手段208は、断層画像を解析することで異常部位を検出する。例えば、解析手段208は中心窩における網膜剥離を検出する。より具体的には、解析手段208は、図12に示すように、決定手段202により抽出されたRPEとIS/OSとに挟まれる領域且つ推定手段204により推定された中心窩の位置近傍の領域を画像解析の対象範囲と決定する。そして、解析手段208は、この対象範囲における画像の濃度または輝度を解析することで網膜剥離を検出する。
図13は、本実施例における画像処理装置の動作の一例を説明するためのフローチャートである。図13(a)は、本実施例における画像処理装置の大まかな動作の一例示すフローチャートである。ステップS300〜S320は図2(a)に示したステップS300〜S320と同様であるため詳細な説明は省略する。
ステップS1000で、解析手段208は、推定手段204によって推定された中心窩の位置の左右それぞれ数十〜百画素程度の画像解析の対象範囲を抽出する。この対象範囲の上端および下端はステップS315で抽出されたIS/OSとRPEとで規定される。すなわち、解析手段208は、推定手段により推定された中心窩の位置に基づいて、中心窩の位置を含む断層画像における一部の領域を抽出する抽出手段の一例に相当する。
次に、ステップS1010で、解析手段208は、断層画像の対象範囲を解析することで網膜剥離を検出する。図13(b)はステップS1010の詳細な処理手順の一例を示すフローチャートである。
まず、ステップS1011で、解析手段208は抽出した対象範囲において、Z軸方向に画像をスキャンし、濃度プロファイルまたは輝度プロファイルを算出する。
ステップS1012で、解析手段208は、濃度プロファイルにおいて、IS/OSとRPEとの間に低濃度領域がX軸方向に一定幅連続して存在する場合に、網膜剥離が発生している可能性があると判断する。すなわち、解析手段208は、抽出手段により抽出された領域における深さ方向に沿った濃度または輝度の変化に基づいて網膜剥離を検出する検出手段の一例に相当する。
中心窩において網膜剥離が存在しない場合、図14(a)に示すように、IS/OSからRPEにかけて、濃度はおおむね連続的に変化する。一方、網膜剥離が存在する場合は、図14(b)に示すように、網膜剥離領域が他の領域に比べ所定閾値以上濃度が低下する領域(低濃度の領域)として描出されるため、高濃度領域の間に低濃度領域がある状態となる。このため、解析手段208は、IS/OSとRPEとの間において、高濃度領域に挟まれた低濃度領域が存在するか否かを判定することで、網膜剥離の有無を検出することができる。具体的には、解析手段208は、IS/OSとRPEとの間において、図14(b)に示すよう濃度が近傍の領域の濃度に対して所定閾値以上低下している領域を網膜剥離領域として検出する。
なお、表示制御手段205は解析手段208による解析結果を表示手段206に表示させる。図15は、表示手段206の表示例を示す図である。表示制御手段205は、取得手段201で取得した断層画像111と、推定手段204により推定された中心窩の位置を示すマーカー120、および解析手段208による解析結果を表示手段206に表示させる。表示制御手段206は、表示される解析結果の例として、網膜剥離領域を囲むようなマーカー1202を表示手段206に表示させてもよいし、網膜剥離の有無を示すメッセージ1203を表示手段206に表示させてもよい。網膜剥離領域を囲むようなマーカー1202は網膜剥離領域を示すマーカーとして機能している。
表示制御手段206は、解析手段208により網膜剥離が検出された場合、中心窩周辺部を拡大した断層画像を自動的に表示手段206に表示させる構成にしてもよい。なお、中心窩周辺部を拡大した断層画像は断層画像111に重畳されてもよいし、断層画像と切換え可能に表示されることとしてもよい。さらに、表示制御手段205は、表示手段205に正面画像110上に、検出した網膜剥離領域を示すマーカー1201を表示させるようにしてもよい。
本実施例によれば、中心窩における網膜剥離を正確に検出することが可能となる。また、断層画像または正面画像上に網膜剥離の領域が明示されるため、医師は網膜剥離が発生している領域を容易に把握することが可能となる。
(変形例1)
本変形例では網膜剥離の検出に判別分析法を用いる。例えば、解析手段208は、断層画像全体ではなく推定された中心窩に基づいて抽出された画像解析の対象範囲に対してのみ判別分析法を適用し閾値を決定する。そして、解析手段208は、決定した閾値を用いて対象範囲の画素を二値化する。解析手段208は、この二値化により、対象範囲の画素を高濃度領域と低濃度領域と分ける。解析手段208は、二値化後の低濃度領域を抽出する。図12においては、例えば番号1〜3の領域が解析手段により低濃度領域として抽出される。その後、解析手段208は、番号1〜3の低濃度領域のうち領域の大きさが最大のものを選択して、選択した低濃度領域の大きさ、形状、位置の少なくとも一つに基づいて網膜剥離か否かを決定する。例えば、図12においては番号1の低濃度領域が解析手段208により選択され、この領域の大きさ、形状、位置が網膜剥離の症状に矛盾しないかい否かを判定する。解析手段208は、例えば、番号1の低濃度領域の大きさが所定の閾値以上か否か、低濃度領域のZ軸方向の長さがX方向の長さより長いか否か、低濃度領域の位置がRPEからの所定距離以内にあるか否かを判定する。
そして、表示制御手段205は、解析手段208により番号1の低濃度領域が網膜剥離であると判定された場合、表示手段206に図12に示すように断層画像上に網膜剥離の位置を示す情報を表示させる。なお、表示制御手段205は、表示手段206に番号1の低濃度領域を強調表示させることとしてもよい。強調表示の一例として、網膜剥離と判定された低濃度領域を断層画像とは異なる色で表示させることとしてもよいし、低濃度領域の輪郭を示すこととしてもよい。
本変形例によれば、実施例5と同様の効果を奏することが可能となる。
[実施例6]
実施例5では、解析手段208の処理として網膜剥離の有無を解析する処理としたが、本実施例ではその他の処理について示す。すなわち、推定された中心窩の位置は網膜剥離の検出以外の処理にも用いることが可能である。
上述のとおり、健常眼における中心窩は、断層画像上で陥凹領域として観察される。また、各網膜層の厚さは、視神経乳頭と黄斑を結ぶ直線に対して、上下方向でほぼ対称、左右方向についても神経線維層より外層についてはほぼ対称であることが知られている。一方、黄斑浮腫などが発生すると、たとえば図16に図示するように黄斑部が隆起し、層厚の対称性が維持されない場合がある。そこで上述の方法により中心窩位置を特定した後、さらに網膜層の厚さをX軸方向に解析することで、中心窩周辺の異常を検知することが可能となる。具体的には、解析手段208は、例えば中心窩周辺の所定の層の層厚を解析し、中心窩を挟んでその対称性が維持されているかを判定する。対称性が維持されていない場合は、異常と判断し、表示手段206は実施例5と同様の方法により対称性が維持されていない旨を表示することで、操作者に通知する。判定に使用する層厚情報は、新たに算出してもよいし、ステップS320で算出した層厚を使用することとしてもよい。
本実施例によれば、推定した中心窩の位置に基づいて眼の異常を検知することが可能となる。また、異常を検知したことを操作者に通知することが可能なため、操作者は異常があることを容易に知ることができる。
[実施例7]
実施例1では、推定手段204は第1領域の厚さと第2領域の厚さとを用いて中心窩の位置を推定することとしたが、推定手段204はいずれか一方の厚さのみに基づいて中心窩の位置を推定することとしてもよい。
例えば、推定手段204は、ステップS322において決定手段202により得られたX軸方向における第1領域の厚さの分布に基づいて第1領域の厚さが極小および/または最小となる断層画像における位置を抽出し、その位置を中心窩の位置として推定する。すなわち、推定手段204は、断層画像に含まれる内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域のみの厚さの分布に基づいて中心窩の位置を推定する。より具体的には、推定手段204は、第1領域の厚さの極点にもとづいて中心窩の位置を推定する。
また、推定手段204はステップS322において決定手段202により得られた第2領域の厚さが極大および/または最大となる断層画像における位置を抽出し、その位置を中心窩の位置として推定することとしてもよい。すなわち、推定手段204は、
本実施例によれば、実施例1と同様の効果を奏することが可能となる。また、中心窩の位置を推定するために、決定手段202は第1領域および第2領域のうち一方の厚さのみを算出すればよいため、処理時間を短縮することが可能となる。
[実施例8]
本実施例では、解析手段208の解析結果の表示方法について、黄斑円孔の断層画像を例に示す。一般的に眼球内の網膜より前方は、水とコラーゲン線維、ヒアルロン酸を主成分とする硝子体で満たされている。硝子体は加齢とともに収縮し、網膜から剥離する。このとき、中心窩付近の網膜が放射状に牽引された結果、円孔が生じる場合がある。これを黄斑円孔と呼び、黄斑部を含む断層画像は、たとえば図17に図示するようにILMが分断された形状となる。黄斑円孔が生じると、視力が低下し、中心視野が見えにくくなる。発症から時間が経つほど治療が困難となるため、早期に発見することが望ましい。
本画像処理装置の解析手段208は、ステップS310で抽出したILM周囲を解析する。ステップS315で動的輪郭法のアルゴリズムとしてSnakesを用いて網膜層を抽出しているため、黄斑円孔を生じた断層画像においても、ILM抽出結果1401は、図17に示すように1本のライン状となる。したがって、解析手段208は、ILM抽出結果1401がステップS310で判定した背景領域を走行しているかを判定することで、黄斑円孔が存在するか否かを判定できる。すなわち、解析手段208は、中心窩付近のILMが背景領域を走行していると判断した場合、黄斑円孔が存在すると判定する。さらに、断層画像においてILMより上方(Z方向の前眼部側)に高濃度領域が存在する場合がある。これは、ノイズによる影響を除いて、後部硝子体皮質あるいは蓋や弁である。解析手段208は、高濃度領域が黄斑円孔の真上にある場合は、蓋か弁、それ以外の場合は後部硝子体皮質と判断することができる。すなわち、解析手段208は、黄斑円孔を検出した場合、黄斑円孔に基づいて蓋または弁を検出する。
また、解析手段208は断層画像から嚢胞を検出することとしてもよい。具体的には、解析手段208は、ステップS315で検出されたILMとRPEとの間の領域に円または楕円上の低濃度領域が存在する場合には、その低濃度領域を嚢胞であると判定する。すなわち、解析手段208は、断層画像に対して構造解析を行うことで被検眼の異常部位を検出する検出手段の一例に相当する。
表示制御手段205は、図17に示すように解析手段208によって検出された黄斑円孔、蓋および嚢胞などの所見を所見が検出された断層画像における位置に対応付けて表示手段206に表示させる。所見が検出された部位が中心窩周辺であるほど視力に影響を与える可能性が高くなるため、表示制御手段208は、表示手段206は、推定手段204により推定された中心窩の位置に近い所見ほど強調して表示手段206に表示させることとしてもよい。例えば、同じ嚢胞という所見が複数検出された場合であっても、表示制御手段205は、中心窩に近い嚢胞の文字を、中心窩から遠い嚢胞の文字より大きく表示手段206に表示させることとしてもよい。図18は、図面上左の嚢胞が右の嚢胞に比べ中心窩に近いため文字を大きく表示した場合の表示画面である。なお、文字の大きさではなく、色を異ならせることで中心窩に近い所見を強調することとしてもよい。すなわち、表示制御手段205は、中心窩の位置に基づいて表示手段206に表示させる所見の文字の表示形態を変更する。なお、図17において中心窩の位置を示すマーカー120は図17を見やすくするため省略している。すなわち、中心窩の位置を示すマーカー120は所見と同時に表示手段206に表示されてもよい。
本実施形態によれば、中心窩との距離に応じて所見を強調して表示することが可能となる。従って、操作者は複数の所見のうち重要な所見を容易に把握することが可能となる。
[実施例9]
本実施例では、中心窩周辺の網膜剥離と、その他の所見の解析を行う処理の一例を、図19を用いて説明する。なお、図19におけるステップS300−S320およびステップS1000、S1010は上述の実施例と同様の処理であるため詳細な説明は省略する。
実施例5において検出した中心窩周辺の微小な網膜剥離は、初期病変の所見である。このため、ある程度進行した網膜疾患を検出した場合は、中心窩周辺の網膜剥離の検出は行わないように構成する。
具体的には、ステップS335において、解析手段208は、例えば、実施例8に示したように、まず、ステップS315で抽出されたILMの走行状態から、黄斑円孔の有無を検出する。そして、黄斑円孔が検出された場合、解析手段208は、上述のステップS1000、S1010を実施しないと判断する。そして、表示制御手段205は、表示手段206に黄斑円孔が存在する旨のメッセージを表示させ、処理を終了する。
一方、黄斑円孔がないと判断された場合は、解析手段208は上述の網膜剥離を検出する処理を実行する。なお、本実施例では、黄斑円孔の例を用いたが、これに限定するものではない。たとえば、黄斑浮腫を検出してもよいし、網膜色素上皮剥離などによるRPEの異常な走行状態を検出してもよい。すなわち、解析手段208は、所定の所見を検出した場合、網膜剥離の検出処理を実行しない。
本実施形態によれば、不要な処理を行う必要がなくなるため、装置全体の処理を高速化することができる。また、病気が進行している場合にも微小な網膜剥離を検出しようとし、誤った検出結果を得ることを防止することが可能となる。
[実施例10]
本実施例においては、上記の実施例において推定した中心窩の位置を用いて類似症例(類似画像)を検索する例について説明する。
本実施例において、記憶手段207は、推定手段204により推定された中心窩の位置または医師などにより指定された中心窩の位置が対応付けられた複数の断層画像を症例として記憶している。すなわち、記憶手段207は、複数の断層画像それぞれを各断層画像における中心窩の位置と対付けて記憶する。
そして、推定手段204はステップS325などで断層画像から中心窩の位置を推定した後に、当該中心窩の位置と同様または中心窩の位置の差が所定閾値以内の中心窩の位置に対応付けられた断層画像を記憶手段207から取得する。すなわち、推定手段204は、推定された中心窩の位置に対応する中心窩の位置を有する断層画像を記憶手段から取得する類似画像取得手段の一例に相当する。
その後、表示制御手段205は、記憶手段207から取得した断層画像を取得部201が取得した断層画像と並べて表示部206に表示させる。このようにすれば、操作者が比較しやすい複数の断層画像を表示することが可能である。
また、記憶手段207は、中心窩の位置に加えて、上記の実施例で解析手段208が検出した所見および所見の位置または医師などにより指定された所見および所見の位置が対応付けられた複数の断層画像を症例として記憶することとしてもよい。すなわち、記憶手段207は、複数の断層画像それぞれを中心窩の位置および異常部位の位置と対応付けて記憶する。ここで、所見の位置は異常部位の位置の一例に相当する。そして、
この場合、推定手段204によりステップS325などで断層画像から中心窩の位置を推定し且つ解析手段208により所見および所見の位置が検出された後に、推定手段204は、当該中心窩と所見との位置関係と同様あるいは中心窩と所見との位置関係の差が所定閾値以内の中心窩と所見との位置関係を有する断層画像を記憶手段207から取得する。すなわち、推定手段204は、推定された中心窩の位置と検出された異常部位の位置との関係に対応する中心窩の位置と異常部位の位置との関係を有する断層画像を記憶手段207から取得する。
そして、表示制御手段205は、記憶手段207から取得した断層画像を取得部201が取得した断層画像と並べて表示部206に表示させる。なお、推定手段204は、処理対象の断層画像の所見と所見の種類が同一の断層画像を記憶部207から取得することが望ましい。すなわち、推定手段204は、処理対象の断層画像の中心窩の位置と所見との位置関係にできるだけ近い中心窩の位置と所見との位置関係を有する断層画像を記憶手段207から取得する。このようにすれば、操作者が比較しやすい複数の断層画像を表示することが可能である。
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
100 光干渉断層計
200 画像処理装置
201 取得部
202 決定部
203 比較部
204 推定部
205 表示制御部
206 表示部
207 記憶部
208 解析部

Claims (29)

  1. 眼底の断層画像に含まれる複数の層境界を検出する層境界検出手段と、
    前記断層画像を解析することで、前記断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域において、内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域と、前記第1領域とは異なる第2領域であって、前記境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とを決定する決定手段と、
    前記断層画像の深さ方向において、前記第1領域の厚さと前記第2領域の厚さとを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記眼底の中心窩の位置を推定する推定手段と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出手段と、
    前記推定手段により推定された中心窩の位置と前記異常部位検出手段により検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得手段と、
    を備えた画像処理装置。
  2. 前記決定手段は、前記断層画像を構成する画素の濃度または輝度が閾値未満の領域が前記網膜領域から除かれた領域において、前記断層画像を構成する画素の濃度または輝度が閾値以上の領域を前記第1領域として決定し、前記濃度または前記輝度が閾値未満の領域を前記第2領域として決定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記決定手段は、前記第1領域と前記第2領域とを決定するための閾値を、前記断層画像におけるAスキャン毎に判別分析法により決定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記決定手段は、前記断層画像から検出された層境界に基づいて、前記断層画像を構成する画素の濃度または輝度が閾値未満の領域が前記網膜領域から除かれた領域において、前記第1領域と前記第2領域とを決定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記比較手段は、前記比較結果として前記第1領域の厚さと前記第2領域の厚さとの差を出力することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記比較手段は、前記比較結果として前記第1領域の厚さと前記第2領域の厚さとの比または前記第1領域の厚さ若しくは前記第2領域の厚さと前記第1領域および前記第2領域の厚さの和との比を示す値を出力することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  7. 前記第1領域および前記第2領域は内境界膜から視細胞内節外節境界部までの範囲に含まれることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記深さ方向に直交する方向における複数の位置の前記比較結果の移動平均を算出する算出手段を更に備え、
    前記推定手段は、前記算出手段により算出された移動平均に基づいて前記中心窩の位置を推定することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
  9. 前記推定手段は、前記比較結果に基づいて前記中心窩の位置を推定できない場合、
    前記断層画像の中心を前記中心窩の位置として推定する、
    または、固視灯の提示位置に関する情報に基づいて前記中心窩の位置を推定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記推定手段は、前記検出された層境界に基づいて前記中心窩を推定し、前記層境界に基づいて前記中心窩を推定できない場合に、前記比較手段による比較結果に基づいて前記中心窩を推定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記推定手段は、前記深さ方向における前記断層画像の輝度または濃度の積算値に基づいて前記中心窩を推定し、前記積算値に基づいて前記中心窩を推定できない場合に前記比較手段による比較結果に基づいて前記中心窩を推定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  12. 前記推定手段は、固視灯の提示位置に関する情報に基づいて前記中心窩の位置の推定を実行するか否かを判断することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
  13. 前記眼底に対して異なる方向に、または前記眼底の異なる位置に、測定光を走査することで得られた複数の断層画像を取得する取得手段を更に備え、
    前記推定手段は、前記複数の断層画像それぞれにおける前記比較結果に基づいて前記中心窩の位置を推定することを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  14. 前記推定手段により推定された前記中心窩の位置を示す情報を前記断層画像または前記眼底の正面画像に重畳して表示手段に表示させる表示制御手段を更に備えたことを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  15. 前記推定手段により推定された前記中心窩の位置に基づいて、前記中心窩の位置を含む前記断層画像における一部の領域を抽出する抽出手段と、
    前記抽出手段により抽出された領域における前記深さ方向に沿った前記断層画像を構成する画素の濃度または輝度の変化に基づいて網膜剥離を検出する網膜剥離検出手段と、
    を更に備えることを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
  16. 前記第1領域の厚さおよび前記第2領域の厚さの少なくとも一方に基づいて前記中心窩の異常度を判定することを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
  17. 眼底の断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域において決定された第1領域及び該第1領域とは異なる第2領域であって、前記断層画像の深さ方向において、前記断層画像を構成する画素の濃度または輝度が閾値以上の第1領域の大きさと、前記濃度または前記輝度が閾値未満の第2領域の大きさとを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記眼底の中心窩の位置を推定する推定手段と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出手段と、
    前記推定手段により推定された中心窩の位置と前記異常部位検出手段により検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得手段と、
    を備えた画像処理装置。
  18. 前記推定手段は、前記断層画像における前記比較結果が示す値の極点に基づいて前記中心窩の位置を推定することを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。
  19. 前記推定手段は、前記断層画像において前記第2領域の厚さに対する前記第1領域の厚さが最も小さいことを示す部分を前記中心窩の位置として推定することを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。
  20. 眼底の断層画像に含まれる複数の層境界を検出する層境界検出手段と、
    前記断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域のうち内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域のみの厚さの分布に基づいて、前記眼底の中心窩の位置を推定する推定手段と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出手段と、
    前記推定手段により推定された中心窩の位置と前記異常部位検出手段により検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得手段と、
    を備えた画像処理装置。
  21. 前記推定手段は、前記厚さの極点にもとづいて前記中心窩の位置を推定することを特徴とする請求項20に記載の画像処理装置。
  22. 前記記憶手段は、複数の断層画像それぞれを中心窩の位置および異常部位の位置と対応付けて記憶することを特徴とする請求項1乃至21のいずれか1項に記載の画像処理装置。
  23. 前記類似画像取得手段は、前記推定手段により推定された中心窩の位置と前記異常部位検出手段により検出された異常部位の位置との関係と、中心窩の位置と異常部位との位置との関係との差が閾値以内となる断層画像を、前記記憶手段から取得することを特徴とする請求項1乃至22のいずれか1項に記載の画像処理装置。
  24. 前記決定手段は、前記断層画像の外周から中央部に向かってスキャンして前記断層画像を構成する画素の濃度または輝度が閾値を超える画素までの前記外側の領域である背景領域を決定し、前記断層画像を構成する画素の濃度または輝度が閾値未満の領域のうち該領域の位置と形状と面積とのうち少なくとも一つの情報に基づいて前記内側の領域である孤立領域を決定し、前記背景領域及び前記孤立領域が前記断層画像から除かれた領域を前記網膜領域として決定することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。
  25. 眼底の断層画像を取得するOCT(Optical Coherence Tomography)装置と通信可能に接続されることを特徴とする請求項1乃至24のいずれか1項に記載の画像処理装置。
  26. 眼底の断層画像に含まれる複数の層境界を検出する層境界検出工程と、
    前記断層画像を解析することで、前記断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域において、内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域を含む第1領域と、前記第1領域とは異なる第2領域であって、前記境界から視細胞内節外節境界部までの少なくとも一部の領域を含む第2領域とを決定する決定工程と、
    前記断層画像の深さ方向において、前記第1領域の厚さと前記第2領域の厚さとを比較する比較工程と、
    前記比較工程における比較結果に基づいて、前記眼底の中心窩の位置を推定する推定工程と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出工程と、
    前記推定工程において推定された中心窩の位置と前記異常部位検出工程において検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得工程と、
    を含む中心窩の推定方法。
  27. 眼底の断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域において決定された第1領域及び該第1領域とは異なる第2領域であって、前記断層画像の深さ方向において、前記断層画像を構成する画素の濃度または輝度が閾値以上の第1領域の大きさと、前記濃度または前記輝度が閾値未満の第2領域の大きさとを比較する比較工程と、
    前記比較工程における比較結果に基づいて、前記眼底の中心窩の位置を推定する推定工程と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出工程と、
    前記推定工程において推定された中心窩の位置と前記異常部位検出工程において検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得工程と、
    を含む中心窩の推定方法。
  28. 眼底の断層画像に含まれる複数の層境界を検出する層境界検出工程と、
    前記断層画像における網膜領域の外側の領域及び内側の領域であって、前記断層画像を構成する画素の濃度または輝度が閾値未満である前記外側の領域及び前記内側の領域が前記断層画像から除かれた領域を前記網膜領域として決定し、前記網膜領域のうち内境界膜から外網状層と外顆粒層との境界までの少なくとも一部の領域のみの厚さの分布に基づいて、前記眼底の中心窩の位置を推定する推定工程と、
    前記断層画像を解析することで、前記眼底の異常部位を検出する異常部位検出工程と、
    前記推定工程において推定された中心窩の位置と前記異常部位検出工程において検出された異常部位の位置との関係に基づいて、該関係に対応する中心窩の位置と異常部位との位置との関係を有する断層画像を記憶手段から取得する類似画像取得工程と、
    を含む中心窩の推定方法。
  29. 請求項26乃至28のいずれか1項に記載の推定方法をコンピュータに実行させることを特徴とするプログラム。
JP2016007429A 2016-01-18 2016-01-18 画像処理装置、推定方法、システム及びプログラム Expired - Fee Related JP6748434B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016007429A JP6748434B2 (ja) 2016-01-18 2016-01-18 画像処理装置、推定方法、システム及びプログラム
US15/405,197 US10251548B2 (en) 2016-01-18 2017-01-12 Image processing apparatus, estimation method, system, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016007429A JP6748434B2 (ja) 2016-01-18 2016-01-18 画像処理装置、推定方法、システム及びプログラム

Publications (3)

Publication Number Publication Date
JP2017127397A JP2017127397A (ja) 2017-07-27
JP2017127397A5 JP2017127397A5 (ja) 2018-12-20
JP6748434B2 true JP6748434B2 (ja) 2020-09-02

Family

ID=59313745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016007429A Expired - Fee Related JP6748434B2 (ja) 2016-01-18 2016-01-18 画像処理装置、推定方法、システム及びプログラム

Country Status (2)

Country Link
US (1) US10251548B2 (ja)
JP (1) JP6748434B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10010247B2 (en) * 2016-04-26 2018-07-03 Optos Plc Retinal image processing
US9978140B2 (en) * 2016-04-26 2018-05-22 Optos Plc Retinal image processing
JP7201852B2 (ja) * 2018-03-16 2023-01-10 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体
JP7106311B2 (ja) * 2018-03-16 2022-07-26 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体
US20220129693A1 (en) * 2020-10-28 2022-04-28 Kabushiki Kaisha Toshiba State determination apparatus and image analysis apparatus

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1782387A1 (en) * 2004-08-20 2007-05-09 Philips Intellectual Property & Standards GmbH Computed tomography method and computer tomograph for reconstruction of object images from real and fictious measured values
JP2006149654A (ja) * 2004-11-29 2006-06-15 Hitachi Omron Terminal Solutions Corp 眼底の病変についての診断の支援
EP1858402B1 (en) * 2005-01-21 2017-11-29 Massachusetts Institute Of Technology Methods and apparatus for optical coherence tomography scanning
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
WO2010009447A2 (en) * 2008-07-18 2010-01-21 Doheny Eye Institute Optical coherence tomography - based ophthalmic testing methods, devices and systems
JP4466968B2 (ja) * 2008-11-10 2010-05-26 キヤノン株式会社 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
JP5473358B2 (ja) * 2009-03-02 2014-04-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP4909377B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP5665768B2 (ja) * 2009-12-15 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法、撮像システム及びプログラム
JP5727198B2 (ja) * 2010-11-05 2015-06-03 株式会社ニデック 眼科装置
JP5701024B2 (ja) * 2010-11-26 2015-04-15 キヤノン株式会社 画像処理装置及び方法
JP5751815B2 (ja) * 2010-12-09 2015-07-22 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム
US8801187B1 (en) * 2010-12-23 2014-08-12 Carl Zeiss Meditec, Inc. Methods to reduce variance in OCT analysis of the macula
US8553219B2 (en) * 2011-01-24 2013-10-08 Vanderbilt University Common detector for combined raman spectroscopy-optical coherence tomography
JP5904711B2 (ja) * 2011-02-01 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5792967B2 (ja) * 2011-02-25 2015-10-14 キヤノン株式会社 画像処理装置及び画像処理システム
US9986909B2 (en) * 2011-02-25 2018-06-05 Canon Kabushiki Kaisha Image processing apparatus and image processing system for displaying information about ocular blood flow
JP5289496B2 (ja) * 2011-03-31 2013-09-11 キヤノン株式会社 眼科装置
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
JP6226510B2 (ja) * 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP5936254B2 (ja) * 2012-02-29 2016-06-22 国立大学法人京都大学 眼底観察装置及び眼底画像解析装置
JP6105852B2 (ja) * 2012-04-04 2017-03-29 キヤノン株式会社 画像処理装置及びその方法、プログラム
DE102012217555A1 (de) * 2012-09-27 2014-03-27 Siemens Aktiengesellschaft Verfahren und Computertomographie-System zur Ermittlung von Knochenmineraldichtewerten
DE102012019473A1 (de) 2012-09-28 2014-06-12 Carl Zeiss Meditec Ag Verfahren zur verlässlichen Bestimmung der Achslänge eines Auges
JP2014110883A (ja) * 2012-10-30 2014-06-19 Canon Inc 画像処理装置及び画像処理方法
DE102012221913A1 (de) * 2012-11-29 2014-06-05 Siemens Aktiengesellschaft Richtkoppler, insbesondere mit hoher Koppeldämpfung
JP6046250B2 (ja) * 2013-06-19 2016-12-14 株式会社トプコン 眼科撮影装置および眼科画像表示装置
JP6429447B2 (ja) * 2013-10-24 2018-11-28 キヤノン株式会社 情報処理装置、比較方法、位置合わせ方法及びプログラム
KR20150145633A (ko) * 2014-06-20 2015-12-30 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법
KR20160107799A (ko) * 2015-03-05 2016-09-19 삼성전자주식회사 단층 영상 장치 및 그에 따른 단층 영상 복원 방법

Also Published As

Publication number Publication date
US20170202453A1 (en) 2017-07-20
JP2017127397A (ja) 2017-07-27
US10251548B2 (en) 2019-04-09

Similar Documents

Publication Publication Date Title
US9098742B2 (en) Image processing apparatus and image processing method
US9585560B2 (en) Image processing apparatus, image processing method, and program
JP6105852B2 (ja) 画像処理装置及びその方法、プログラム
JP4909377B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
JP6748434B2 (ja) 画像処理装置、推定方法、システム及びプログラム
US8870377B2 (en) Image processing apparatus, image processing apparatus control method, ophthalmologic apparatus, ophthalmologic apparatus control method, ophthalmologic system, and storage medium
US20110137157A1 (en) Image processing apparatus and image processing method
JP2019511940A (ja) 機械学習技法を用いたoctアンギオグラフィにおけるアーチファクトを減少させるための方法及び装置
EP2779095B1 (en) Optic disc image segmentation method
EP2693399B1 (en) Method and apparatus for tomography imaging
KR20130027506A (ko) 단층화상 관찰장치, 처리 방법 및 컴퓨터 판독 가능한 기억매체
JP2013153844A (ja) 画像処理装置、画像処理方法及びプログラム。
JP6526145B2 (ja) 画像処理システム、処理方法及びプログラム
JP2012075938A (ja) 画像処理装置及びその制御方法、コンピュータプログラム
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
EP3417401B1 (en) Method for reducing artifacts in oct using machine learning techniques
JP2011206519A5 (ja)
JP6739725B2 (ja) 前眼部3次元画像処理装置および前眼部3次元画像処理方法
JP6526154B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム
JP2018057828A (ja) 画像処理装置及び画像処理方法
JP6033478B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP5871890B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP2019115827A (ja) 画像処理システム、処理方法及びプログラム
JP2017012921A (ja) 眼科装置、層厚比較方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R151 Written notification of patent or utility model registration

Ref document number: 6748434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees