JP5932369B2 - 画像処理システム、処理方法及びプログラム - Google Patents

画像処理システム、処理方法及びプログラム Download PDF

Info

Publication number
JP5932369B2
JP5932369B2 JP2012015933A JP2012015933A JP5932369B2 JP 5932369 B2 JP5932369 B2 JP 5932369B2 JP 2012015933 A JP2012015933 A JP 2012015933A JP 2012015933 A JP2012015933 A JP 2012015933A JP 5932369 B2 JP5932369 B2 JP 5932369B2
Authority
JP
Japan
Prior art keywords
dimensional shape
image
tomographic image
shape data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012015933A
Other languages
English (en)
Other versions
JP2013153882A (ja
JP2013153882A5 (ja
Inventor
好彦 岩瀬
好彦 岩瀬
新畠 弘之
弘之 新畠
佐藤 眞
眞 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012015933A priority Critical patent/JP5932369B2/ja
Priority to US13/744,455 priority patent/US9149183B2/en
Publication of JP2013153882A publication Critical patent/JP2013153882A/ja
Publication of JP2013153882A5 publication Critical patent/JP2013153882A5/ja
Application granted granted Critical
Publication of JP5932369B2 publication Critical patent/JP5932369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

本発明は、画像処理システム、処理方法及びプログラムに関する。
低コヒーレント光による干渉を利用した光干渉断層法(OCT:Optical Coherence Tomography)を用いる断層画像撮影装置が知られている。このような断層画像撮影装置により眼底を撮影することによって、網膜層内部の状態を3次元的に観察することができる。
断層画像撮影装置による撮影は、疾病の診断をより的確に行なうのに有用な技術であるため、近年注目を集めている。このようなOCTの形態としては、例えば、広帯域な光源とマイケルソン干渉計とを組み合わせたTD−OCT(Time domain OCT)が知られている。TD−OCTでは、参照アームの遅延を走査することで信号アームの後方散乱光との干渉光を計測し、深さ分解の情報を得ることができる。
しかし、TD−OCTでは、画像を高速に取得することが難しい。そのため、画像をより高速に取得する方法として、広帯域光源を用いて、分光器でインターフェログラムを取得するSD−OCT(Spectral domain OCT)が知られている。また、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測するSS−OCT(Swept Source OCT)も知られている。
ここで、これらのOCTで撮影された断層画像において、網膜の形態変化を計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することができる。このような技術に関連して、特許文献1では、網膜の形態変化を定量的に計測するために、コンピュータを用いて断層画像から網膜の各層の境界を検出し、当該検出結果に基づいて層の厚みを計測する技術が開示されている。
特開2008−073099号公報
上述した特許文献1の技術では、2次元画像上で指定された範囲の断層画像を取得し、層境界を検出して層厚を求めている。しかし、網膜層の3次元的な形状解析を行なっておらず、また、形状解析の結果を効果的に表示するものではない。
本発明は、上記課題に鑑みてなされたものであり、被検眼の断層画像から検出された網膜層の3次元の形状データを提示するようにした技術を提供することを目的とする。
上記課題を解決するため、本発明の一態様による画像処理システムは、被検眼の断層画像を取得する取得手段と、前記被検眼を撮影する際の撮影モードに応じて前記被検眼の断層画像から網膜3次元の形状データの解析を行なう解析手段と、前記網膜層の深さ方向に直交する平面である計測面を前記3次元の形状データに交差させることにより、前記網膜層の特徴量を取得する取得手段と、前記特徴量を得るため3次元の形状データを表示装置に表示する表示制御手段とを具備する。
本発明によれば、被検眼の断層画像から検出された網膜層の3次元の形状データを提示できる。
本発明の一実施の形態に係わる画像処理システム10の構成の一例を示す図。 断層画像撮影画面60の一例を示す図。 図1に示す画像処理装置30の処理の流れの一例を示すフローチャート。 3次元の形状解析処理の概要を説明するための図。 3次元の形状解析処理の概要を説明するための図。 断層画像観察画面80の一例を示す図。 断層画像観察画面80の各部の一例を示す図。 断層画像観察画面80の各部の一例を示す図。 断層画像観察画面80の各部の一例を示す図。 断層画像観察画面80の一例を示す図。 断層画像観察画面80の各部の一例を示す図。 断層画像観察画面80の一例を示す図。 断層画像観察画面400の一例を示す図。 断層画像観察画面400の各部の一例を示す図。 断層画像観察画面400の一例を示す図。 断層画像観察画面400の各部の一例を示す図。
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
(実施形態1)
図1は、本発明の一実施の形態に係わる画像処理システム10の構成の一例を示す図である。
画像処理システム10には、画像処理装置30と、断層画像撮影装置20と、眼底画像撮影装置51と、外部記憶装置52と、表示装置53と、入力装置54とが具備される。
断層画像撮影装置20は、例えば、SD−OCTやSS−OCT等で実現され、低コヒーレント光による干渉を利用した光干渉断層法(OCT)を用いて、眼底の3次元形状を示す断層画像を撮影する。断層画像撮影装置20には、ガルバノミラー21と、駆動制御部22と、パラメータ設定部23と、内部固視灯24と、コヒーレンスゲートステージ25とが具備される。
ガルバノミラー21は、測定光(照射光)を眼底に2次元的に走査させる機能を有し、断層画像撮影装置20による眼底の撮影範囲を規定する。ガルバノミラー21は、例えば、Xスキャン用のミラーとYスキャン用のミラーとの2枚のミラーで構成され、被検眼の眼底に対して測定光を光軸に対して直交する面上に走査させる。
駆動制御部22は、ガルバノミラー21の駆動(走査)範囲及び速度を制御する。これにより、眼底における平面方向(測定光の光軸方向に直交する方向)の撮影範囲及び走査線数(平面方向の走査速度)が規定される。
パラメータ設定部23は、駆動制御部22によるガルバノミラー21の駆動制御に用いられる各種パラメータを設定する。このパラメータによって、断層画像撮影装置20による断層画像の撮影条件が決定される。例えば、走査線の走査位置、走査線数、撮影枚数などが決定される。その他、内部固視灯の位置、走査範囲(スキャン範囲)、走査パターン(スキャンパターン)、コヒーレンスゲート位置の設定等も行なわれる。なお、パラメータの設定は、画像処理装置30からの指示に基づいて行なわれる。
内部固視灯24は、断層画像の撮影中、眼球運動が起きないように輝点を視野内に置き、視点が動くことを抑制する。内部固視灯24は、表示部24aとレンズ24bとを具備して構成される。表示部24aは、例えば、複数の発光ダイオード(LD)がマトリックス状に配置されて実現される。発光ダイオードの点灯位置は、駆動制御部22の制御により、撮影対象となる部位に合わせて変更される。表示部24aからの光は、レンズ24bを介して被検眼に導かれる。表示部24aから出射される光は、例えば、520nmで、駆動制御部22の制御により、所望のパターンが表示(点灯)される。
コヒーレンスゲートステージ25は、被検眼の眼軸長の相違等に対応するために設けられる。より具体的には、(測定光と干渉させるための)参照光の光路長を制御し、眼底の深さ方向(光軸方向)に沿った撮影位置を調整する。これにより、眼軸長が異なる被検眼に対しても、参照光と測定光との光路長を一致させることができる。なお、コヒーレンスゲートステージ25は、駆動制御部22により制御される。
ここで、コヒーレンスゲートとは、断層画像撮影装置20における測定光と参照光との光学距離が等しい位置を示す。コヒーレンスゲートの位置の制御により、網膜層側の撮影か、或いは網膜層よりも深部側とするEDI(Enhanced Depth Imaging)法による撮影かが切り替えられる。EDI法で撮影を行なった場合、コヒーレンスゲートの位置が網膜層の深部側に設定されるため、断層画像の上部側を越えて網膜層が撮影された場合に、網膜層が断層画像の中に折り返して写ることがなくなることになる。
眼底画像撮影装置51は、例えば、眼底カメラやSLO(Scanning Laser Ophothalmoscope)等で実現され、眼底の(2次元)眼底画像を撮影する。
外部記憶装置52は、例えば、HDD(Hard Disk Drive)等で実現され、各種データを記憶する。外部記憶装置52は、例えば、被検眼に関する情報(患者の氏名、年齢、性別など)に対して、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持する。
入力装置54は、例えば、マウス、キーボード、タッチ操作画面等で実現され、操作者からの各種指示を入力する。例えば、操作者は、入力装置54を介して、画像処理装置30、断層画像撮影装置20及び眼底画像撮影装置51に対して各種指示や設定等を行なう。表示装置53は、例えば、液晶ディスプレイ等で実現され、各種情報を操作者に向けて表示(提示)する。
画像処理装置30は、例えば、パーソナルコンピュータ等で実現され、各種画像を処理する。すなわち、画像処理装置30には、コンピュータが内蔵されている。コンピュータには、CPU(Central Processing Unit)等の主制御手段、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶手段などが具備される。
ここで、画像処理装置30には、その機能的な構成として、画像取得部31と、記憶部32と、画像処理部33と、指示部34と、表示制御部35とが具備される。なお、記憶部32以外の構成は、例えば、CPUが、ROM等に記憶されたプログラムを読み出し実行することにより実現される。
画像処理部33には、検出部41と、解析部42と、判定部43と、位置合わせ部47とが具備される。
画像取得部31は、断層画像撮影装置20により撮影された断層画像と、眼底画像撮影装置51により撮影された眼底画像とを取得し、記憶部32に格納する。なお、記憶部32は、例えば、ROMやRAM等で実現される。
検出部41は、記憶部32に記憶されている断層画像から網膜の層(網膜層)を検出する。
析部4は、解析対象となる網膜層の解析を行なう。解析部4には、判定部43と、網膜層解析部4と、解析結果作成部45と、形状データ作成部46とが設けられる。
判定部43は、撮影モード(近視眼解析用の撮影モード、非近視眼解析用の撮影モード)に応じて、網膜層の3次元の形状解析処理を行なうか否かを判定する。なお、3次元の形状解析とは、3次元の形状データを作成し、当該形状データを用いて網膜層の形状解析を行なうことを指す。
網膜層解析部4は、判定部43の判定結果に基づいて、解析対象となる網膜層に対して解析処理を行なう。なお、本実施形態においては、3次元の形状解析処理として、近視眼の黄斑の解析を行なう場合について説明する。解析結果作成部45では、解析結果(網膜層の状態を示す情報)を提示するための各種データを作成する。形状データ作成部46では、撮影により得られた複数の断層画像同士を位置合わせし、3次元の形状データを作成する。すなわち、3次元の形状データは、網膜層の層情報に基づいて作成される。
位置合わせ部47では、解析結果と眼底画像との位置合わせや、眼底画像同士の位置合わせ等を行なう。指示部34は、断層画像撮影装置20で設定されている撮影モードに応じて、撮影パラメータ等の情報の指示を行なう。以上が、画像処理システム10の構成の一例についての説明である。
以上が、画像処理システム10の構成の一例についての説明である。なお、上述した各装置に設けられた機能的な構成は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていれば良い。例えば、図1においては、外部記憶装置52、表示装置53や入力装置54が、画像処理装置30の外部に設けられていたが、これら構成を画像処理装置30の内部に設けるようにしても良い。また、例えば、画像処理装置と断層画像撮影装置20とが一体的に構成されていても良い。
次に、図2を用いて、図1に示す表示装置53に表示される断層画像撮影画面60の一例について説明する。なお、この画面は、断層画像の撮影時に表示される。
断層画像撮影画面60は、断層画像の表示領域61と、眼底画像の表示領域62と、撮影モード設定用のコンボボックス63と、撮影を指示するキャプチャーボタン64とを具備して構成される。なお、眼底画像の表示領域62内の符号65は、撮影領域を示すマークであり、眼底画像上に重畳表示される。また、Mは黄斑部を示し、Dは視神経乳頭部を示し、Vは血管を示している。
コンボボックス63では、例えば、(黄斑部の)近視眼解析用の撮影モードか、(黄斑部の)非近視眼解析用の撮影モードかの設定が行なわれる。すなわち、コンボボックス63は、撮影モード選択機能を有する。この場合、近視眼解析用の撮影モードが設定されている。
ここで、断層画像の表示領域61には、眼底の断層画像が表示されている。L1は内境界膜(ILM)を示し、L2は神経線維層(NFL)と神経節細胞層(GCL)との境界を示し、L3は視細胞内節外節接合部(ISOS)を示している。また、L4は網膜色素上皮層(RPE)を示し、L5はブルッフ膜(BM)を示している。上述した検出部41においては、L1〜L5の各境界のいずれかを検出する。
次に、図3(a)及び図3(b)を用いて、図1に示す画像処理装置30の処理の流れの一例について説明する。まず、図3(a)を用いて、断層画像の撮影時の全体的な処理の流れについて説明する。
[S101]
画像処理装置30は、まず、被検眼を同定する情報として外部から被検者識別番号を取得する。そして、当該被検者識別番号に基づいて、外部記憶装置52が保持している当該被検眼に関する情報を取得して記憶部32に記憶する。
[S102]
画像処理装置30は、画像取得部31において、撮影時の撮影位置確認用のプレスキャン画像として眼底画像撮影装置51から眼底画像を取得するとともに、断層画像撮影装置20から断層画像を取得する。
[S103]
画像処理装置30は、撮影モードの設定を行なう。撮影モードの設定は、図2で説明した撮影モード設定用のコンボボックス63からの操作者の選択に基づいて行なわれる。ここでは、近視眼解析用の撮影モードで撮影を行なう場合について説明する。
[S104]
画像処理装置30は、指示部34において、当該コンボボックス63から設定された撮影モードに応じた撮影パラメータを断層画像撮影装置20に指示する。これにより、断層画像撮影装置20は、パラメータ設定部23において、当該指示に従って撮影パラメータを設定する。具体的には、内部固視灯の位置、走査範囲(スキャン範囲)、走査パターン(スキャンパターン)、コヒーレンスゲート位置の少なくともいずれかの設定を指示する。
ここで、近視眼解析用の撮影モード時のパラメータ設定について説明する。内部固視灯の位置のパラメータ設定では、黄斑部中心を撮影できるように内部固視灯24の位置が設定される。画像処理装置30は、駆動制御部22において、当該撮影パラメータに従って表示部24aの発光ダイオードを制御する。なお、撮影範囲が充分に広く取れるような構成の装置であれば、黄斑部と視神経乳頭部との中心が撮影の中心となるように制御しても良い。このような制御を行なうのは、近視眼における網膜層の形状解析を行なうために、黄斑部が写る領域を撮影するためである。
また、走査範囲のパラメータ設定では、例えば、装置の撮影範囲の限界値として9〜15mmの範囲が設定される。この数値はあくまで一例であり、装置のスペックに応じて適宜変更すれば良い。なお、撮影範囲は、形状変化が起こっている箇所を漏れなく検出できるようにするため、より広い領域が好ましい。
走査パターンのパラメータ設定では、網膜層の3次元形状を撮影できるように、例えば、ラスタスキャンや放射状スキャンが設定される。
コヒーレンスゲートの位置のパラメータ設定では、EDI法で撮影を行なえるようにゲート位置が設定される。高度近視眼においては、網膜層の湾曲の程度がきつくなり、断層画像の上部側を越えて網膜層が撮影されてしまう。その場合、断層画像の上部を越えた網膜層が断層画像内に折り返って写ってしまうので、それを防ぐためこのようなパラメータの設定が必要となる。なお、断層画像撮影装置20として高深達のSS−OCTを用いる場合には、網膜層の位置をゲート位置から遠ざけても良好な断層画像が得られるため、必ずしもEDI法で撮影を行なわなくても良い。
[S105]
画像処理装置30は、指示部34において、断層画像撮影装置20に対して被検眼の撮影を指示する。この指示は、例えば、操作者が、入力装置54を介して、断層画像撮影画面60のキャプチャーボタン64を押下すると行なわれる。この指示が行なわれると、断層画像撮影装置20は、パラメータ設定部23により設定された撮影パラメータに基づき、駆動制御部22を制御させる。これにより、ガルバノミラー21が動作し、断層画像の撮影が行なわれる。
上述した通り、ガルバノミラー21は、水平方向用のXスキャナと垂直方向用のYスキャナとで構成されている。そのため、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向(X)及び垂直方向(Y)それぞれの方向に沿って断層画像を撮影することができる。これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することができるため、眼底平面上の任意の方向に沿った撮影が可能となる。このとき、画像処理装置30は、表示制御部35において、当該撮影した断層画像を表示装置53上に表示させる。これにより、操作者は、撮影結果を確認することができる。
[S106]
画像処理装置30は、画像処理部33において、記憶部32に記憶された断層画像から網膜層の検出/解析を行なう。すなわち、S105の処理で撮影された断層画像に対して網膜層の検出/解析処理を行なう。
[S107]
画像処理装置30は、断層画像の撮影を終了するか否かを判定する。この判定は、入力装置54を介した操作者からの指示に基づいて行なわれる。すなわち、操作者が、終了を指示したか否かに基づいて断層画像の撮影を終了するか否かが判定される。
撮影終了が指示された場合、画像処理装置30は、この処理を終了する。一方、処理を終了せずに撮影を続ける場合、画像処理装置30は、再度、S102以降の処理を行なう。
なお、後述するS206やS209の処理によって、操作者が、網膜層の検出結果や、眼底画像とマップとの位置をマニュアル修正した場合等には、撮影の終了に際して、画像処理装置30は、それに伴って変更された撮影パラメータを外部記憶装置52に保存する。このとき、当該変更されたパラメータを保存するか否かの確認ダイアログを表示して、撮影パラメータの変更を行なうか否かを操作者に問い合わせるようにしても良い。
次に、図3(b)を用いて、図3(a)のS106の示す網膜層の検出/解析処理について説明する。
[S201]
網膜層の検出/解析処理が開始すると、画像処理装置30は、検出部41において、断層画像から網膜層を検出する。この処理について、図2に示す断層画像(表示領域61)を用いて具体的に説明する。黄斑部の場合、検出部41は、まず、断層画像に対して、メディアンフィルタとSobelフィルタとをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。続いて、検出部41は、当該作成したメディアン画像とSobel画像とから、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイルとなり、Sobel画像では勾配のプロファイルとなる。そして、検出部41は、Sobel画像から作成したプロファイル内のピークを検出する。最後に、当該検出されたピークの前後やピーク間に対応するメディアン画像のプロファイルを参照し、網膜層の各領域の境界を検出する。すなわち、L1(ILM)、L2(NFLとGCLとの境界)、L3(ISOS)、L4(RPE)、L5(BM)等の検出が行なわれる。なお、本実施形態においては、解析の対象となる層をRPEとして説明する。
[S202]
画像処理装置30は、判定部43において、網膜層の3次元の形状解析を行なうか否かの判定を行なう。より具体的には、近視眼解析用の撮影モードで撮影が行なわれた場合、網膜層の3次元の形状解析を行なうと判定する。また、近視眼解析モードを用いずに撮影が行なわれた場合(非近視眼解析用の撮影モード)は、当該3次元の形状解析を行なわないと判定する。この場合、検出部41の検出結果に基づく解析が行なわれる(3次元の形状データを用いない解析)。なお、近視眼解析用の撮影モードであっても、断層画像に基づいて当該断層画像内に黄斑部が写っているか否かを判定し、写っていなければ(例えば、視神経乳頭部のみが写ってる)、網膜層の(3次元の)形状解析を行なわないと判定するようにしても良い。
ここで、本実施形態においては、断層画像撮影装置20と画像処理装置30とが一体となった画像処理システム10において、撮影から解析までの一連の処理を行なうものとして説明を行なうが、これに限られない。すなわち、画像処理装置30は、3次元形状を取得するための走査パターンを用いて黄斑部が撮影された断層画像が入力された場合に、網膜層の形状解析を行なえれば良く、必ずしも、このような一体となったシステムである必要はない。そのため、断層画像撮影装置20以外で撮影された断層画像についても、撮影時の情報に基づいて、網膜層の形状解析を行なうことができる。但し、形状解析を必要としない場合は、当該形状解析処理を行なわないようにすれば良い。
[S203]
画像処理装置30は、形状データ作成部46において、3次元の形状データを作成する。3次元の形状データは、S201の処理の網膜層の検出結果に基づいて形状解析を行なうために作成される。
ここで、例えば、撮影時の走査パターンがラスタスキャンであれば、複数の隣接する断層画像同士の位置合わせが行なわれる。断層画像の位置合わせでは、例えば、2つの断層画像の類似度を表す評価関数を事前に定義しておき、この評価関数の値が最も良くなるように断層画像を変形する。
評価関数としては、例えば、画素値で評価する方法(例えば、相関係数を用いて評価を行なう方法)が挙げられる。また、画像の変形処理としては、アフィン変換を用いて並進や回転を行なう処理が挙げられる。形状データ作成部46においては、複数の断層画像同士の位置合わせ処理が終わった後、形状解析の対象となる層の3次元の形状データを作成する。3次元の形状データは、例えば、512×512×500のボクセルデータを用意し、網膜層を検出した層データの座標値に対応する箇所にラベルを割り当てることで作成すれば良い。
また、撮影時の走査パターンが放射状スキャンであれば、この場合も同様に、形状データ作成部46において、断層画像同士の位置合わせを行なった後、3次元の形状データを作成する。但し、この場合、隣接する断層画像の中心付近の領域情報のみを用いて深度方向(図2の断層画像(表示領域61)でのZ方向)の位置合わせを行なう。これは、放射状スキャンの場合、隣接する断層画像であっても、断層画像の中心付近と比べてその両端は、情報が疎であり、形状の変化が大きいので位置合わせの情報として使用しない方が良いためである。位置合わせの方法としては、上述した方法を用いれば良い。形状データ作成部46においては、位置合わせ処理が終わった後、形状解析の対象となる層の3次元の形状データを作成する。
放射状スキャンの場合、例えば、512×512×500のボクセルデータを用意し、まず、各断層画像の形状解析の対象となる層データを均等に円形に回転して展開する。その後、展開した層データにおいて、円周方向に隣接する形状データ間で補間処理を行なう。補間処理により、撮影していない箇所の形状データを作成する。補間処理の方法としては、線形補間、非線形補間などの処理を適用すれば良い。3次元の形状データは、網膜層を検出した層データの間を補間した座標値に対応する箇所にラベルを割り当てることで作成すれば良い。
なお、ここで示したボクセルデータの数値は、あくまで一例であり、撮影時のAスキャン本数や実行する装置のメモリ状況に応じて適宜変更すれば良い。大きなボクセルデータの場合、解像度が高くなるため、形状データを正確に表現することができるが、実行速度が遅くなりメモリも大量に消費する。一方、小さなボクセルデータの場合、解像度は低くなるが、実行速度が速くなりメモリの消費量も少なくなる。
[S204]
画像処理装置30は、網膜層解析部4において、網膜層の3次元の形状解析を行なう。ここでは、形状解析の方法として、網膜層の面積と体積とを計測する手法について例を挙げて説明する。
この処理について、図4を用いて説明する。図4には、3次元の形状データ(RPE)と、計測面(MS)と、面積(Area)と、体積(Volume)とが模式的に示されている。
まず、面積計測について説明する。S203の処理で作成したRPEの3次元の形状データにおいて、Z方向(光軸方向)で最も深部に位置する層データの場所にフラット(平面)な計測面(MS)を用意する。そして、そこから一定の間隔ずつ浅い方向(Z軸の原点方向)に計測面(MS)を移動させる。層の深部から浅い方向に計測面(MS)を移動させると、RPEの境界線を計測面(MS)が横断する。
面積(Area)は、その計測面(MS)とRPEとの境界線で囲まれる内部の平面領域を計測することにより得られる。より具体的には、面積(Area)は、計測面(MS)とRPEとの境界線との交差領域の面積を計測することにより得られる。このように面積(Area)とは、3次元の網膜層形状データの断面積である。基準となる部位の位置の断面積を計測する場合、網膜の湾曲がきつい形状であれば、面積は小さくなり、網膜の湾曲が緩やかであれば、面積は大きくなる。
また、体積(Volume)は、面積(Area)を計測する際に用いた計測面(MS)を利用して、計測面(MS)とRPEとの境界線で囲まれる内部の全領域を計測することにより得られる。基準となる部位の位置からZ方向に沿って下の体積を計測する場合、網膜の湾曲がきつい形状であれば、体積は大きくなり、網膜の湾曲が緩やかであれば、体積は小さくなる。ここで、基準位置は、部位を基準として、例えば、ブルッフ膜オープニングの位置とすれば良い。或いは、RPEの最深部の位置から100μm、500μmなどと一定の高さを基準としても良い。なお、面積や体積を計測する際に、内部に含まれるボクセル数をカウントする場合、1ボクセルあたりの物理サイズを乗じて計算する。
[S205]
形状解析後、画像処理装置30は、解析結果作成部45において、当該3次元の形状解析結果に基づいて解析結果(例えば、マップ、グラフ、数値情報)を作成する。
ここで、3次元の形状解析結果として等高線マップを作成する場合について説明する。等高線マップは、面積及び体積を計測した結果を表示する際に使用される。
図5(a)は、等高線マップ71の一例を示す。ここで、符号71は、等高線マップ全体を示し、符号72は、一定の間隔で引いた等高線を示し、符号73は、3次元の網膜層形状データのZ方向で最も深部に位置する箇所を示している。
等高線マップ71を作成する場合、等高線マップ用のルックアップテーブルを用意し、当該テーブルを参照して体積に応じて色分けする。ここで、等高線マップ用のルックアップテーブルは、例えば、体積に応じて用意すれば良い。それにより、マップ上においては、形状と体積の変化を一度に把握することができる。
より具体的には、図5(a)の符号73を底として等高線72が一定の間隔で描画されており、マップの色が体積に応じて設定されている。そのため、Z方向で最も深部に位置する箇所から計測面の高さ(深さ)を変更した場合、体積がどのように増加するかを把握することができる。具体的には、1mmの場合は青とし、2mmの場合は黄色として設定しておくと、Z方向で最も深部に位置する箇所から計測面の高さ(深さ)が100μmで青なのか、300μmで青なのかにより、操作者は、形状と体積との関係を把握することができる。従って、操作者は、マップの最外側の輪郭の色を確認することで、計測対象の網膜層の形状を計測した時の全体の体積の値を把握することができる。
また、操作者は、内部の等高線近傍の色を確認することで高さ(深さ)に対応した体積の値を把握することができる。なお、等高線マップの色を設定する際に用いられるルックアップテーブルは、体積に限らず、面積に応じて設けられても良いし、また、計測面(MS)から網膜層データのZ方向で最も深部に位置する箇所73までの高さ(深さ)に応じて設けられていても良い。図示はしないが、等高線の高さ(深さ)が分かるようにそれぞれの等高線上に数値を一緒に表示しても良い。等高線を表現する距離の間隔としては、例えば、Z方向に沿って100μm間隔としておく。なお、等高線マップは、カラーであっても良いし、グレースケールであっても良いが、カラーの方が視認性は良くなる。
また、等高線マップは、Z方向で最も深部に位置する箇所から計測面(MS)までの高さ(深さ)に応じて外形のサイズが変わる。図5(b)は、計測面(MS)の高さ(深さ)を変更した場合の等高線マップ74の一例を示している。
次に、3次元の形状形状解析として、網膜層の曲率を計測する場合について図2に示す断層画像(表示領域61)を用いて説明する。ここでは、横軸をx座標とするとともに縦軸をz座標とし、解析の対象となる層(RPE)の境界線の曲率を計算する場合について説明する。曲率κは境界線の各点において、「式1」を計算することで求めることができる。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。そのため、上に凸を+、下に凸を−とした場合、各断層画像において、曲率の符号が−領域、+領域、−領域となる場合はW形状となる。
[式1]
なお、ここでは、断層画像の境界線で曲率を計算する場合について説明したが、曲率計算はこれに限らず、3次元の形状データから3次元の曲率を計算するようにしても良い。この場合、形状解析後、画像処理装置30は、解析結果作成部45において、当該解析結果に基づいて曲率マップを作成する。
図5(c)に曲率マップの一例を示す。この場合、曲率がきつい箇所の色を濃く、曲率が滑らかな箇所の色を薄く表現している。すなわち、曲率に応じて色の濃さが変更されている。なお、曲率マップに設定する色は、曲率値0を基準に正負で色を変えれば良い。それにより、操作者は、網膜形状が滑らかなのか、上に凸形状か下に凸形状なのかを当該マップを見ることで把握することができる。
[S206]
画像処理装置30は、表示制御部35において、断層画像と、検出部41により検出された層(RPE)の検出結果と、解析結果作成部45により作成された各種形状解析の結果(マップ、グラフ、数値情報)とを表示装置53に表示する。
図6は、図1に示す表示装置53に表示される断層画像観察画面80の一例を示す図である。この画面は、断層画像の解析が終わった後に表示される(すなわち、S206の処理によって表示される)。
断層画像観察画面80は、断層画像の表示領域81を含む断層画像表示部91と、眼底画像の表示領域82を含む眼底画像表示部94とを具備して構成される。また、断層画像観察画面80には、第1の解析結果84を含む第1の解析結果表示部96、第2の解析結果85及び86を含む第2の解析結果表示部98も設けられる。
ここで、まず、断層画像の表示領域81を含む断層画像表示部91の詳細について説明する。断層画像の表示領域81では、撮影された断層画像に対して、網膜層の各層を検出したセグメンテーション結果(L1〜L5)と計測面(MS)とが重畳して表示されている。断層画像の表示領域81では、解析対象の網膜層(本実施形態においては、RPE(L4))のセグメンテーション結果が強調して表示されている。
また、断層画像の表示領域81において、計測面(MS)と解析対象の網膜層(RPE(L4))とで囲まれる斜線領域81aが面積及び体積の計測対象領域となる。このとき、斜線領域81aでは、体積計測結果に応じた色が所定の透明度αによって表示される。設定する色は、等高線マップ用のルックアップテーブルと同じものを使用すれば良い。透明度αは、例えば、0.5とする。
コンボボックス92は、断層画像を表示する際に、OCT比で表示するか、1:1比で表示するかを操作者が選択するために設けられる。ここで、OCT比とは、撮影時のAスキャンの本数から得られる横方向(X方向)の解像度と、縦方向(Y方向)の解像度とで表わした比のことである。1:1比とは、何mmの範囲を何本のAスキャンで撮影したかで得られる、横方向の1ピクセルあたりの物理サイズと、縦方向の1ピクセルあたりの物理サイズとを揃えた比のことである。
コンボボックス93は、断層画像を表示する際に、2次元表示(2D)/3次元表示(3D)を切り替えるために設けられる。ここで、2D表示の場合、断層画像の1スライスが表示され、3D表示の場合、網膜層の境界線データから作成された網膜層の3次元形状が表示される。
具体的には、コンボボックス93において3D表示が選択されると、断層画像の表示領域81には、図7(a)〜図7(c)に示す断層画像が表示される。
図7(a)は、OCT比でRPEを3D表示した場合の態様を示している。この場合、計測面(MS)も同時に3D表示されている。
ここで、断層画像の表示領域81の下側には、網膜の各層に対応したチェックボックス101〜104が表示されている。具体的には、ILM、PRE、BM、MSに対応したチェックボックスが表示されており、操作者は、これらチェックボックスを用いることで、各層の表示/非表示の切り替えを指示できる。
計測面(MS)を面で表現する場合、その透明度αは、0より大きく、且つ1よりも小さい値とする。透明度を1にした状態で、網膜層形状と計測面とを重ねると、蓋をしたような状態となり、網膜層の3次元形状が上側からでは分からなくなってしまうためである。或いは、計測面(MS)を面ではなく格子状にして表現しても良い。格子状の場合、計測面(MS)の透明度αは1としても良い。計測面(MS)の色は、等高線マップのルックアップテーブルを参照し、計測面(MS)がある位置の計測値(面積又は体積)に応じた色を選べば良い。
ここで、操作者は、入力装置54を介して、計測面(MS)の位置を移動させることができる。そのため、計測面(MS)の位置が変更されると、画像処理装置30は、当該変更に連動して、図5(a)及び図5(b)で説明したように、等高線マップ形状を変化させる。
テキストボックス105は、数値を指定するための項目である。操作者は、入力装置54を介して、Z方向で最も深部に位置する箇所からの計測面(MS)の高さ(深さ)を示す数値をこのテキストボックス105に入力する。例えば、100μmや300μmといった数値が入力された場合、その場所に計測面(MS)が移動し、等高線マップもそれに合わせて変化する。これにより、操作者は、3次元形状での位置とその時の等高線マップとを同時に把握することができるとともに、その時の体積値、面積値についても把握することができる。
その他の例として、テキストボックス105に体積の値を入力できるようにしても良い。この場合、1mmや2mmといった数値が入力された場合、操作者は、当該体積に対応する3次元形状での計測面(MS)の位置とその時の等高線マップとを同時に把握することができる。また更に、操作者は、その時のZ方向で最も深部に位置する箇所からの計測面(MS)の高さ(深さ)も把握できる。
続いて、図7(b)は、計測面(MS)を非表示にした場合の表示態様を示している。それ以外の表示項目については、図7(a)と同様となる。図7(b)の場合、チェックボックス102が選択されており、PRDのみが表示されている。このように眼底の3次元形状のみを表示することもできる。
ここで、図7(b)では、OCT比でRPEの3D表示を行なっているのに対して、図7(c)は、1:1比でRPEの3D表示を行なっている場合の態様を示している。すなわち、コンボボックス92において、1:1比が選択されている。
なお、本実施形態では、RPEを解析対象として説明しているため、コンボボックス93で2D/3D表示を切り替えた場合、RPE形状を2D/3D表示することになるが、これに限られない。例えば、解析対象をブルッフ膜(BM)とした場合、ブルッフ膜(BM)形状が2D/3D表示される。
ここで、断層画像の表示領域81において、計測面がどの位置を測定しているかを模式的に示す表示を行なうようにしても良い。この場合の表示態様について、図8(a)〜図8(d)を用いて説明する。
図8(a)は、表示中の断層画像において、計測面がどの位置を測定しているかを示すオブジェクト110を断層画像上に重畳して表示した態様を示している。符号MS’は、オブジェクト110上での計測面(模式計測面)を表している。網膜層の3次元形状は、操作者の入力装置54を介した指示により上下左右の回転が行なわれる。そのため、計測面(MS)と網膜層との位置関係を操作者が把握できるように、オブジェクト110及び模式計測面MS’によって位置関係の指標を提示する。
なお、操作者が入力装置54を介して、オブジェクト110及び模式計測面MS’の位置関係を変更した場合には、それに連動して網膜層の3次元形状の表示も変更される。この場合、解析対象となる網膜層の領域も変更されるため、第1の解析結果84や第2の解析結果85及び86も連動して変更される。
ここで、オブジェクト110の表示態様をいくつか例示して説明する。例えば、図8(b)及び図8(c)に示すように、各断面位置に対応する断層画像を表示するようにしても良い。この場合、オブジェクト110においては、3次元で考えた場合の中心位置を横切る垂直位置及び水平位置の断層画像が表示される。或いは、図8(d)に示すように、上方(superior)、下方(inferior)を示すS、Iなどの英略語を表示するようにしても良い。
次に、図6に示す眼底画像の表示領域82を含む眼底画像表示部94の詳細について説明する。眼底画像の表示領域82では、撮影位置とその走査パターンマーク83とが眼底画像に対して重畳されている。また、眼底画像表示部94には、眼底画像の表示形式を切り替えるためのコンボボックス95が設けられている。この場合、眼底画像としてSLO画像が表示されている。
ここで、図9(a)及び図9(b)を用いて、コンボボックス95から眼底画像の表示形式の切り替えを行なった場合について説明する。ここでは、眼底画像の表示形式として、“SLO画像+マップ”を同時に表示する場合と、“眼底写真(第2の眼底画像)+SLO画像(第1の眼底画像)+マップ”を同時に表示する場合とを例に挙げて説明する。なお、SLO画像(第1の眼底画像)は、断層画像と同時に撮影が行なわれた2次元の眼底画像であれば良く、例えば、断層画像を深度方向に積算することにより生成された積算画像であっても良い。また、眼底写真(第2の眼底画像)は、断層画像と異なるタイミングで撮影された2次元の眼底画像であれば良く、例えば、造影検査画像等が挙げられる。
図9(a)は、“SLO画像+マップ”がコンボボックス95から選択された場合の表示態様を示している。符号201はSLO画像を示し、符号200はマップを示している。SLO画像201とマップ200との位置合わせは、図1で説明した位置合わせ部47により行なわれる。これらの位置合わせは、撮影時の固視灯の位置と走査範囲とに基づいてマップの位置及びサイズを設定することにより行なわれる。
SLO画像201に対してマップ200を重畳した結果を眼底画像として表示する場合、SLO画像201の透明度αを1として表示し、マップ200の透明度αを1より小さくし、例えば、0.5として表示する。これら透明度αのパラメータは、操作者が対象データを初めて選択した時に設定するパラメータである。これらのパラメータは、操作者が、入力装置54を介して適宜変更することができる。操作者が変更したパラメータは、例えば、外部記憶装置52に記憶される。次回以降同じ対象データを開いた時には、前回の操作者が設定したパラメータに従って表示が行なわれる。
続いて、図9(b)は、“眼底写真+SLO画像+マップ”がコンボボックス95から選択された場合の表示態様を示している。符号202は、眼底写真(第2の眼底画像)を示している。
この場合、眼底写真202に対してマップ200を重畳表示(すなわち、第2の眼底画像上にマップ200を重畳表示)するために、SLO画像201が利用されている。その理由として、眼底写真202は、断層画像と異なるタイミングで撮影されたものであり、マップ200だけでは撮影位置や撮影範囲が分からないためである。そこで、SLO画像201を用いることで眼底写真202とマップ200との位置合わせを行なうことができる。眼底写真202とSLO画像201との位置合わせは、図1で説明した位置合わせ部47により行なわれる。
位置合わせの方法は、例えば、血管特徴を用いて行なえば良い。血管の検出方法としては、血管は細い線状構造を有しているため、まず、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値との差を計算するフィルタを利用すれば良い。勿論、これに限られず、Sobelフィルタのような差分フィルタを用いても良い。また、濃度値画像の画素毎にヘッセ行列の固有値を計算し、その結果として得られる2つの固有値の組み合わせから線分状の領域を抽出しても良い。更には、線分を単純に構造要素とするトップハット演算を用いても良い。位置合わせ部47においては、これらの方法によって検出した血管位置情報を用いて、眼底写真202とSLO画像201との位置合わせを行なう。
SLO画像201とマップ200とは、上述した方法で位置合わせを行なうことができるので、その結果として眼底写真202とマップ200との位置合わせも行なうことができる。眼底写真202に対してマップ200を重畳した結果を眼底画像表示部94の表示領域82に表示する場合には、眼底写真202の透明度αを1として表示する。また、SLO画像201の透明度α及びマップ200の透明度αを1より小さくし、例えば、0.5として表示する。勿論、SLO画像201とマップ200との透明度αの値は同じである必要はなく、例えば、SLO画像201の透明度αの値を0としても良い。
なお、被検眼が疾患眼である場合、位置合わせ部47による位置合わせ処理が失敗する可能性がある。位置合わせの失敗の判定は、画像間類似度を計算する場合には、最大の類似度が閾値以上とならない。或いは、閾値以上となったとしても、解剖学的に不自然な箇所で位置合わせ処理が終了する場合、失敗したと判定できる。その場合、SLO画像201及びマップ200は、事前に設定された初期パラメータの位置(例えば、画像の中心)及び初期透過度で表示すれば良い。そして、位置合わせ処理に失敗したメッセージを表示して、操作者による入力装置54を介した位置修正処理を促す。
ここで、位置修正や透過度αのパラメータ変更を操作者が行なう場合、操作者が、SLO画像201に対して移動、拡大・縮小、回転操作を行なうと、SLO画像201上のマップ200も同時に、移動、拡大・縮小、回転する。すなわち、SLO画像201及びマップ200は、1枚の同じ画像として動作する。但し、透明度αに関しては、SLO画像201及びマップ200は、それぞれ独立に設定が行なわれる。操作者が、入力装置54を介して変更したパラメータは、外部記憶装置52に記憶され、次回以降は当該設定されたパラメータに従って表示が行なわれる。
このように眼底画像表示部94における眼底画像の表示領域82には、2次元の眼底画像の他、眼底画像上にマップ等が重畳された表示が行なわれる。なお、図9(a)や図9(b)では、等高線マップを眼底画像上の対応する位置に関連付けて重畳表示する場合について説明したが、これに限られない。すなわち、曲率マップや層厚マップなどを表示しても良い。
また、解析対象の層を変更する場合には、操作者が、入力装置54を介して、例えば、図2に示す表示領域61の断層画像上からセグメンテーション結果(L1〜L5)を選択することで行なえば良い。解析対象の層を切り替えた場合、画像処理装置30は、表示制御部35において、それまでに強調表示されていたセグメンテーション結果の層を通常表示に戻し、新たな解析対象の層を強調表示させる。それにより、任意の層の解析結果を表示することができる。
次に、図6に示す第1の解析結果84を含む第1の解析結果表示部96の詳細について説明する。
第1の解析結果84には、解析結果作成部45により作成された形状解析マップが表示される。また、コンボボックス97では、第1の解析結果84のマップの種類を選択することができる。この場合、第1の解析結果84として示されている形状解析マップは、等高線マップとなっている。
第1の解析結果84として示されている形状解析マップの種類や、図9(a)や図9(b)で説明した眼底画像上に重畳表示された形状解析マップの種類は、コンボボックス97から種類を指定することにより連動して変更できる。更に、以下で説明を行なう第2の解析結果表示部98の表示も連動して変更される。
ここで、図10に解析結果として曲率の結果を表示させた場合の断層画像観察画面80の一例について説明する。
解析結果の表示を、面積及び体積の解析結果から曲率解析結果に切り替えた場合、断層画像表示部91、眼底画像表示部94、第1の解析結果表示部96、第2の解析結果表示部98に表示される結果は、図10に示す内容となる。
具体的には、断層画像の表示領域81には、撮影された断層画像に対して、当該断層画像上に網膜層の各層を検出したセグメンテーション結果(L1〜L5)が重畳表示される。また、第1の解析結果84としては曲率マップが表示され、第2の解析結果88としては曲率グラフが表示される。眼底画像の表示領域82には、SLO画像(第1の眼底画像)201と、眼底写真(第2の眼底画像)202と、曲率マップ203とを重畳表示した画像が表示される。
次に、図6に示す第2の解析結果85及び86を含む第2の解析結果表示部98の詳細について説明する。
第2の解析結果85では、解析結果作成部45により作成された形状解析グラフが表示される。この場合、面積及び体積を計測したグラフが示されており、横軸が高さ(深さ)を示し、縦軸が体積を示している。符号87に示す実線は、体積を示している。
第2の解析結果86では、形状解析結果が表として表示されている。表には、ある一定の基準値の高さ(例えば、100μm、500μm等)の時の面積及び体積が表示されるとともに、ある部位を基準とした時の高さ(ブルッフ膜オープニングの位置)に対応する面積及び体積が表示される。
ここで、図11を用いて、面積及び体積の結果を一つのグラフ(第2の解析結果85)に表示した場合について説明する。この場合、横軸が高さ(深さ)を示し、グラフ左側の縦軸が体積を示し、グラフ右側の縦軸が面積を示している。破線89は面積を示すグラフであり、実線87は体積を示すグラフである。
[S207]
画像処理装置30は、網膜層解析部4において、網膜層の検出結果に基づいて形状解析を行なう。この解析処理では、3次元の形状データ等を作成せずに、網膜層の検出結果を用いた解析が行なわれる。例えば、層厚の解析等が行なわれる。
[S208]
画像処理装置30は、解析結果作成部45において、当該解析結果に基づいて解析結果(例えば、マップ、グラフ、数値情報)を作成する。
[S209]
画像処理装置30は、断層画像と、検出部41により検出された層(RPE)の検出結果と、解析結果作成部45により作成された解析結果(マップ、グラフ、数値情報)とを表示装置53に表示する。
図12は、S209の処理によって、表示装置53に表示される断層画像観察画面80の一例を示す図である。
この場合、第1の解析結果302として、層厚マップが示されており、第2の解析結果301として、層厚グラフが示されている。すなわち、第1の解析結果302及び第2の解析結果301として、網膜層の検出結果を用いた解析結果が表示されている。
この場合にも、上記S206の処理と同様に、操作者が、入力装置54を介して変更したパラメータは、外部記憶装置52に記憶され、次回以降は当該設定されたパラメータに従って表示が行なわれる。
以上説明したように実施形態1によれば、被検眼の断層画像から検出された網膜層の3次元の形状データとともに、3次元の形状解析の対象となった網膜層の領域を示す指標とを提示(表示)できる。
これにより、網膜層の3次元の形状と、その解析対象となる領域との対応関係を操作者に効果的に認識させられる。
(実施形態2)
次に、実施形態2について説明する。実施形態2では、断層画像の2D表示と3D表示とを同時に表示する場合について説明する。より具体的には、実施形態2では、断層画像と、3次元の形状データと、解析結果とを並べて表示する場合について説明する。なお、実施形態2では、断層画像として、放射状スキャンで撮影された断層画像を例に挙げて説明するについて説明する。
図13を用いて、実施形態2に係わる断層画像観察画面400の一例について説明する。
断層画像観察画面400には、2次元の断層画像の表示領域411を含む第1の断層画像表示部410と、3次元の断層画像の表示領域431を含む第2の断層画像表示部430とが設けられる。また更に、断層画像観察画面400には、第1の解析結果442を含む第1の解析結果表示部440、第2の解析結果421及び422を含む第2の解析結果表示部420も設けられる。
ここでは、第1の解析結果表示部440及び第2の解析結果表示部420は、上述した実施形態1を説明した図6や図9(a)と同様であるため、その説明については省略する。また、第2の断層画像表示部430も、実施形態1を説明した図7(a)〜図7(c)と同様であるため、その説明については省略する。ここでは、第1の断層画像表示部410について重点的に説明する。
第1の断層画像表示部410には、2次元の断層画像の表示領域411の他、断層画像の視点位置(スライス位置)を変更するためのスライダーバー412と、断層画像のスライス番号を表示するエリア413とが設けられる。
ここで、図14を用いて、3次元形状での視点方向503と、図13に示す断層画像(表示領域411)との関係について説明する。符号500は、断層画像の3次元形状を上から深部方向(Z方向)に見た眼底の概要を示しており、符号501に示す放射状の直線は、断層画像の撮影スライス位置を示している。符号502に示す破線は、撮影スライス位置501の中で表示中の断層画像(表示領域411)と対応しているスライス位置を示しており、視点方向503に対して垂直になる。すなわち、破線502に示す位置の断層画像が、断層画像の表示領域411に表示される断層画像となる。
次に、操作者が、入力装置54を介して、図13で説明した断層画像観察画面400を操作した場合について説明する。
操作者が、入力装置54を介して、スライダーバー412の位置を中心から端に移動させたとする。そうすると、その操作に連動して、画像処理装置30は、表示領域431に表示中の3次元の断層画像(3次元形状データ)の視点位置を変更する。また、表示領域411に表示中の2次元の断層画像のスライス位置をスライダーバー412で指定された断層画像と対応する視点位置に変更する。
なお、スライダーバー412が操作された場合、当該バーは、離散的に変化するのではなく、連続的にその位置が変更される。そのため、表示中の断層画像の3次元形状データの位置も連続的に変化する。具体的には、画像処理装置30は、表示中の断層画像の3次元形状データが垂直方向の中心を基準として回転するように表示する。
図15は、スライダーバー412の位置を端に移動させた場合の表示領域411における2次元の断層画像と、表示領域431の3次元の断層画像(3次元形状データ)との画面表示の一例を示している。この場合、3次元形状での視点方向507と、2次元の断層画像(表示領域411)との関係は図16に示す関係となる。
スライダーバー412の位置が操作されると、画像処理装置30は、表示領域411に表示中の2次元の断層画像のスライス位置を変更するとともに、そのスライス位置に対応する3次元の断層画像(3次元形状データ)の視点位置を変更する。なお、2次元の断層画像のスライス位置を変更するためのスライダーバー412の操作に伴って、3次元形状データの視点位置を変更させるだけでなく、その逆も可能である。つまり、操作者が、入力装置54を介して、3次元形状データの視点位置を変更させた場合、それに対応して2次元の断層画像のスライス位置と、スライダーバー412の位置とを変更させるようにしても良い。
以上説明したように実施形態2によれば、2次元の断層画像と3次元の断層画像とを同時に表示し、操作者からの操作に応じて、それらの表示態様を連動させて変更させることができる。
以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
例えば、上述した実施形態1及び2において説明したいくつかの画面においては、チェックボックスやコンボボックス等が配されていたが、ラジオボタンやリストボックス、ボタンなどは、用途に応じて適宜変更すれば良い。例えば、上述した説明でコンボボックスとして説明していた構成を、リストボックスとして実現しても良い。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (11)

  1. 被検眼の断層画像を取得する取得手段と、
    前記被検眼を撮影する際の撮影モードに応じて、前記被検眼の断層画像から網膜層の3次元の形状データの解析を行なう解析手段と、
    前記網膜層の深さ方向に直交する平面である計測面を前記3次元の形状データに交差させることにより、前記網膜層の特徴量を取得する取得手段と、
    前記特徴量を得るための3次元の形状データを表示装置に表示する表示制御手段と
    を具備することを特徴とする画像処理システム。
  2. 前記取得手段は、
    前記網膜の所定の層に基づいて生成された前記3次元の形状データから前記特徴量を取得する
    ことを特徴とする請求項1に記載の画像処理システム。
  3. 網膜層の中から所定の層を選択する選択手段
    を更に具備し、
    前記解析手段は、
    前記選択された層の前記3次元の形状データを生成する
    ことを特徴とする請求項2に記載の画像処理システム。
  4. 被検眼を撮影する際の複数の撮影モードの中からいずれかの撮影モードを選択する撮影モード選択手段
    を更に具備し、
    前記撮影モード選択手段により選択された撮影モードに応じて、固視灯の位置、照射光の走査範囲、照射光の走査パターン、照射光の光軸方向に沿った撮影位置、の少なくともいずれかを変更する
    ことを特徴とする請求項1から3のいずれか1項に記載の画像処理システム。
  5. 前記取得手段は、
    前記特徴量として、前記計測面と前記3次元の形状データの交差により設定される領域の面積と体積の少なくともいずれかを取得し、
    前記表示制御手段は、
    前記3次元の形状データと前記計測面との位置関係を示す指標を前記表示装置に表示する
    ことを特徴とする請求項1から4のいずれか一項に記載の画像処理システム。
  6. 前記指標は、
    前記3次元の形状データを模式的に示すオブジェクトと前記計測面を模式的に示す模式計測面とを含んで構成される
    ことを特徴とする請求項5に記載の画像処理システム。
  7. 前記表示制御手段は、
    前記3次元の形状データと、前記指標と、前記3次元の形状解析の結果とを前記表示装置に表示する
    ことを特徴とする請求項6に記載の画像処理システム。
  8. 前記解析手段は、
    操作者が入力装置を介して、前記表示装置に表示された前記オブジェクトと前記模式計測面との位置関係を変更した場合、それに伴った領域に対して前記3次元の形状解析を行ない、
    前記表示制御手段は、
    前記オブジェクトと前記模式計測面との位置関係の変更に連動して、前記3次元の形状解析の結果を変更して表示する
    ことを特徴とする請求項7に記載の画像処理システム。
  9. 前記表示制御手段は、
    網膜層を所定の視点位置から参照した2次元の断層画像と前記3次元の形状データとを並べて前記表示装置に表示し、操作者が入力装置を介して前記視点位置を変更した場合、それに連動して前記2次元の断層画像と前記3次元の形状データとの視点位置を変更して表示する
    ことを特徴とする請求項1から8のいずれか1項に記載の画像処理システム。
  10. 請求項1から9のいずれか1項に記載の画像処理システムによる処理をコンピュータに実行させるためのプログラム。
  11. 画像処理システムの処理方法であって、
    取得手段が、被検眼の断層画像を取得する工程と、
    解析手段が、前記被検眼を撮影する際の撮影モードに応じて、前記被検眼の断層画像から網膜層の3次元の形状データの解析を行なう工程と、
    取得手段が、前記網膜層の深さ方向に直交する平面である計測面を前記3次元の形状データに交差させることにより、前記網膜層の特徴量を取得する工程と、
    表示制御手段が、前記特徴量を得るための3次元の形状データを表示装置に表示する工程と
    を含むことを特徴とする処理方法。
JP2012015933A 2012-01-27 2012-01-27 画像処理システム、処理方法及びプログラム Active JP5932369B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012015933A JP5932369B2 (ja) 2012-01-27 2012-01-27 画像処理システム、処理方法及びプログラム
US13/744,455 US9149183B2 (en) 2012-01-27 2013-01-18 Image processing system, processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012015933A JP5932369B2 (ja) 2012-01-27 2012-01-27 画像処理システム、処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013153882A JP2013153882A (ja) 2013-08-15
JP2013153882A5 JP2013153882A5 (ja) 2015-03-12
JP5932369B2 true JP5932369B2 (ja) 2016-06-08

Family

ID=48869934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012015933A Active JP5932369B2 (ja) 2012-01-27 2012-01-27 画像処理システム、処理方法及びプログラム

Country Status (2)

Country Link
US (1) US9149183B2 (ja)
JP (1) JP5932369B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP6099903B2 (ja) * 2012-08-30 2017-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2016002382A (ja) 2014-06-18 2016-01-12 キヤノン株式会社 撮像装置
WO2016153877A1 (en) 2015-03-26 2016-09-29 Eyekor, Llc Image analysis
JP6750842B2 (ja) * 2015-09-15 2020-09-02 キヤノン株式会社 画像生成装置、画像生成方法及びプログラム
US9675244B1 (en) * 2015-12-02 2017-06-13 Novartis Ag Location indicator for optical coherence tomography in ophthalmic visualization
WO2020075345A1 (ja) 2018-10-10 2020-04-16 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2021000435A (ja) * 2019-06-19 2021-01-07 株式会社リコー 情報処理装置、生体情報計測装置、空間領域値の表示方法およびプログラム
JP7297302B2 (ja) 2019-08-30 2023-06-26 株式会社トーメーコーポレーション 眼科装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992019930A1 (en) 1991-04-29 1992-11-12 Massachusetts Institute Of Technology Method and apparatus for optical imaging and measurement
JPH1153577A (ja) * 1997-07-31 1999-02-26 Shimadzu Corp 3次元医用画像処理装置
CA2712321C (en) 1999-10-21 2013-07-30 Technolas Gmbh Ophthalmologische Systeme Iris recognition and tracking for optical treatment
US6293674B1 (en) 2000-07-11 2001-09-25 Carl Zeiss, Inc. Method and apparatus for diagnosing and monitoring eye disease
US6325512B1 (en) 2000-10-31 2001-12-04 Carl Zeiss, Inc. Retinal tracking assisted optical coherence tomography
US6356036B1 (en) 2000-12-01 2002-03-12 Laser Diagnostic Technologies, Inc. System and method for determining birefringence of anterior segment of a patient's eye
US7497574B2 (en) 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
US7347548B2 (en) 2003-05-01 2008-03-25 The Cleveland Clinic Foundation Method and apparatus for measuring a retinal sublayer characteristic
DE102005007571A1 (de) * 2005-02-18 2006-11-09 Siemens Ag Verfahren zur Visualisierung dreidimensionaler, seitens einer Datenverarbeitungseinrichtung vorliegender und/oder empfangener vektorieller Größen mit farbcodierter Richtungsinformation sowie zugehörige Vorrichtung
JP4843242B2 (ja) * 2005-03-31 2011-12-21 株式会社トプコン 眼底カメラ
US7668342B2 (en) * 2005-09-09 2010-02-23 Carl Zeiss Meditec, Inc. Method of bioimage data processing for revealing more meaningful anatomic features of diseased tissues
US7744221B2 (en) 2006-01-19 2010-06-29 Optovue, Inc. Method of eye examination by optical coherence tomography
US7768652B2 (en) 2006-03-16 2010-08-03 Carl Zeiss Meditec, Inc. Methods for mapping tissue with optical coherence tomography data
JP5095167B2 (ja) 2006-09-19 2012-12-12 株式会社トプコン 眼底観察装置、眼底画像表示装置及び眼底観察プログラム
US7934832B2 (en) 2007-08-02 2011-05-03 Topcon Medical Systems, Inc. Characterization of the retinal nerve fiber layer
US8401246B2 (en) 2007-11-08 2013-03-19 Topcon Medical Systems, Inc. Mapping of retinal parameters from combined fundus image and three-dimensional optical coherence tomography
US8081808B2 (en) 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
WO2009131655A2 (en) 2008-04-23 2009-10-29 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Automated assessment of optic nerve head with spectral domain optical coherence tomograph
JP5242492B2 (ja) * 2009-04-28 2013-07-24 株式会社トーメーコーポレーション 3次元画像処理装置
US8256897B2 (en) 2009-05-14 2012-09-04 Topcon Medical Systems, Inc. Circular profile mapping and display of retinal parameters
US8025407B2 (en) 2009-05-14 2011-09-27 Topcon Medical Systems, Inc. Characterization of retinal parameters by circular profile analysis
JP5432625B2 (ja) * 2009-07-29 2014-03-05 株式会社トプコン 眼科観察装置
JP5474435B2 (ja) * 2009-07-30 2014-04-16 株式会社トプコン 眼底解析装置及び眼底解析プログラム
JP5017328B2 (ja) * 2009-08-11 2012-09-05 キヤノン株式会社 断層像撮像装置およびその制御方法、プログラム、記憶媒体
JP5704879B2 (ja) * 2009-09-30 2015-04-22 株式会社ニデック 眼底観察装置
JP5582772B2 (ja) * 2009-12-08 2014-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP5751815B2 (ja) * 2010-12-09 2015-07-22 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US9149183B2 (en) 2015-10-06
US20130194544A1 (en) 2013-08-01
JP2013153882A (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
JP6226510B2 (ja) 画像処理システム、処理方法及びプログラム
JP5932369B2 (ja) 画像処理システム、処理方法及びプログラム
JP6146952B2 (ja) 画像処理装置、画像処理方法及びプログラム。
JP5955163B2 (ja) 画像処理装置および画像処理方法
US8699774B2 (en) Image processing apparatus, control method thereof, and program
JP6526145B2 (ja) 画像処理システム、処理方法及びプログラム
US9307902B2 (en) Image processing device, image processing system, image processing method, and program
WO2016167001A1 (ja) 眼科画像表示装置及び眼科撮影装置
JP5924955B2 (ja) 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
JP5941761B2 (ja) 眼科撮影装置及び眼科画像処理装置
RU2637851C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
KR20160029681A (ko) 안과장치 및 안과장치의 제어 방법
JP6898724B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2013153880A (ja) 画像処理システム、処理方法及びプログラム
JP6526154B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム
JP2013153881A (ja) 画像処理システム、処理方法及びプログラム
JP2019208845A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019115827A (ja) 画像処理システム、処理方法及びプログラム
JP2018047084A (ja) 眼科検査装置
JP6106299B2 (ja) 眼科撮影装置及び眼科画像処理装置
JP2022033290A (ja) 情報処理装置、情報処理方法およびプログラム
JP2022151874A (ja) マルチモーダル網膜画像の処理
JP2019195586A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R151 Written notification of patent or utility model registration

Ref document number: 5932369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151