JPWO2017030057A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JPWO2017030057A1
JPWO2017030057A1 JP2017535501A JP2017535501A JPWO2017030057A1 JP WO2017030057 A1 JPWO2017030057 A1 JP WO2017030057A1 JP 2017535501 A JP2017535501 A JP 2017535501A JP 2017535501 A JP2017535501 A JP 2017535501A JP WO2017030057 A1 JPWO2017030057 A1 JP WO2017030057A1
Authority
JP
Japan
Prior art keywords
boundary line
image
extracted
search range
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017535501A
Other languages
English (en)
Other versions
JP6647305B2 (ja
Inventor
中川 俊明
俊明 中川
隆雄 篠原
隆雄 篠原
泰士 前野
泰士 前野
玲 浜田
玲 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Kowa Co Ltd
Original Assignee
Casio Computer Co Ltd
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd, Kowa Co Ltd filed Critical Casio Computer Co Ltd
Publication of JPWO2017030057A1 publication Critical patent/JPWO2017030057A1/ja
Application granted granted Critical
Publication of JP6647305B2 publication Critical patent/JP6647305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段を備える。境界線抽出手段が、対象物体の上端の境界線と下端の境界線とをまず抽出し、抽出した上端の境界線及び下端の境界線を用いて探索範囲を限定して他の境界線を抽出し、当該他の境界線の抽出結果を用いて探索範囲を限定してまた他の境界線を抽出し、以降同様な処理を逐次的に繰り返して境界線を抽出する。また、画像処理装置は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段と、境界線抽出手段によって抽出済みの境界線を利用して他の境界線の探索範囲を動的に設定する探索範囲設定手段と、を備える。このような画像処理装置、画像処理方法によれば、複数の層から構成される対象物体を撮影した画像から層の境界線を高精度で抽出することができる。

Description

本発明は、断層像撮影装置などで撮影した被検眼などの対象物体の断層画像を処理して層の境界線を抽出するための画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
眼科診断装置の一つで、眼底の断層像を撮影する光干渉断層計(OCT:Optical Coherence Tomography)という光干渉を利用した断層像撮影装置がある。このような断層像撮影装置は広帯域な低コヒーレント光を、測定光として眼底に照射し、眼底からの反射光を参照光と干渉させて眼底の断層像を高感度に撮影することができる。
このような断層像撮影装置では、網膜層内部の状態を3次元的に観察することができ、例えば神経線維層などの網膜層の層厚、あるいは網膜色素上皮層における凹凸などの層形状の変化を計測し、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能になっている。
特許文献1には、断層像撮影装置で撮影された断層像から網膜層の境界を検出し、眼底画像から病変の一つである白斑を抽出する構成が記載されている。
特許文献2には、眼底の断層画像における偽像(アーティファクト)領域を特定し、偽像領域でない領域における網膜層の境界を検出するとともに、偽像領域における網膜層の境界を異なる方法で輝度値に基づいて検出し、それぞれ検出された境界を示す線を重畳して表示させる構成が記載されている。
特許文献3には、被検眼の断層画像から得られる信号光の強度の低い側から高い側へのエッジに基づいて層を検出し、該信号光の強度の高い側から低い側へのエッジに基づいて該層の間に存在する層または層境界を検出する構成が記載されている。
特許文献4には、MRI画像の3次元空間における脳組織の存在確率をモデル化した存在確率モデルを事前に設定し、信号強度分布モデルと存在確率モデルが共に成立する組織分布モデルを求め、MRI画像に含まれるボクセル毎に、ボクセルが白質組織及び灰白質組織に属する度合いを算出する構成が記載されている。
非特許文献1には、キャニーエッジ検出法を用いて取得される網膜断層像のエッジ画像と、輝度勾配画像をそれぞれ重み付けして演算し、最短経路を探索して網膜層の境界線を抽出する構成が記載されている。また、同非特許文献1には、複数の網膜層の境界線を抽出するとき、最初に2つの境界線を抽出し、その間に存在する他の境界線を、抽出した両境界線内の狭い範囲内で探索して抽出時間を短縮する構成が記載されている。
特開2010−279438号公報 特開2012−61337号公報 特許第5665768号公報 特開2011−30911号公報
「Automated layer segmentation of macular OCT images using dual-scale gradient information」27 September 2010/ Vol. 18, No, 20/ OPTICS EXPRESS 21293-21307
しかしながら、特許文献1〜3の構成では、断層画像のエッジを検出することにより層の境界線を抽出しているので、境界線の抽出精度がエッジ検出に依存し、輝度値の低い領域ではエッジ情報を十分な精度で得られず、信頼性のある境界線抽出を行うのが困難である、という問題がある。
特許文献2の構成では、輝度値の低い偽像領域内では、モデル形状に関する評価関数値によって層の位置を求めている。しかし、この評価関数値の精度が不十分で、輝度値の低い領域での境界線抽出精度が劣化するという問題がある。
非特許文献1では、網膜断層像のエッジ画像と、輝度勾配画像をそれぞれ重み付けして、境界線を抽出している。しかし、重み付けが一次元的で、特にエッジ画像と、抽出しようとする境界線の存在する確率との関連付けがなく、境界線を精度よく抽出ができない、という欠点がある。
特許文献4では、脳組織の存在確率を示す存在確率モデルを用いて、脳組織の領域が、白質組織及び灰白質組織に属する度合いを算出しているが、存在確率モデルは三次元的なモデルで、算出に時間を要するという問題がある。
また、非特許文献1では、抽出した2つの境界線間に存在する他の境界線を、抽出した両境界線内の狭い範囲内で探索して抽出時間を短縮している。しかし、非特許文献1では、抽出した結果を基に抽出領域を制限し、更にその抽出結果を基に抽出領域を制限するという処理を繰り返して逐次的に行っていないので、抽出された境界線が、既に抽出された他の境界線と交わってしまう、あるいは不明瞭な境界線ないし消失した境界線を精度よく抽出することができない、という問題がある。さらに、抽出した両境界線内の範囲で探索して抽出時間を短縮しているとはいっても、複数の境界線を全て抽出するためには当該範囲を何度も繰り返して探索する必要があり、抽出対象となる境界線数が増えれば増えるほど、探索に要する時間も増加してしまう。
本発明は、このような点に鑑みてなされたもので、複数の層から構成される対象物体を撮影した画像から層の境界線を高精度で抽出し、かつ短時間で効率的に複数の境界線を抽出することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを課題とする。
上記課題を解決するために、第一に本発明は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段を備え、前記境界線抽出手段が、前記対象物体の上端の境界線と下端の境界線とをまず抽出し、抽出した前記上端の境界線及び前記下端の境界線を用いて探索範囲を限定して他の境界線を抽出し、該他の境界線の抽出結果を用いて探索範囲を限定してまた他の境界線を抽出し、以降同様な処理を逐次的に繰り返して境界線を抽出することを特徴とする画像処理装置を提供する(発明1)。
上記発明(発明1)は、先に抽出した境界線の湾曲に合わせて前記入力画像を補正する湾曲補正手段を更に備えていてもよい(発明2)。
第二に本発明は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段と、前記境界線抽出手段によって抽出済みの境界線を利用して他の境界線の探索範囲を動的に設定する探索範囲設定手段と、を備えたことを特徴とする画像処理装置を提供する(発明3)。
上記発明(発明3)においては、前記探索範囲設定手段が、前記抽出済みの境界線の傾きに応じて前記他の境界線の探索範囲を動的に設定することが好ましい(発明4)。
上記発明(発明3,4)においては、前記探索範囲設定手段が、前記他の境界線の探索範囲を前記抽出済みの境界線から所定の間隔だけ隔てて設定してもよい(発明5)。
第三に本発明は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する画像処理方法であって、前記対象物体の上端の境界線と下端の境界線とをまず抽出し、抽出した前記上端の境界線及び前記下端の境界線の抽出結果を用いて探索範囲を限定して他の境界線を抽出し、該他の境界線の抽出結果を用いて更に探索範囲を限定してまた他の境界線を抽出し、以降同様な処理を逐次的に繰り返して境界線を抽出することを特徴とする画像処理方法を提供する(発明6)。
上記発明(発明6)は、先に抽出した境界線の湾曲に合わせて前記入力画像を補正したのちに他の境界線を抽出してもよい(発明7)。
第四に本発明は、複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する画像処理方法であって、抽出済みの境界線を利用して他の境界線の探索範囲を動的に設定することを特徴とする画像処理方法を提供する(発明8)。
上記発明(発明8)においては、前記抽出済みの境界線の傾きに応じて前記他の境界線の探索範囲を動的に設定することが好ましい(発明9)。
上記発明(発明8,9)においては、前記他の境界線の探索範囲を前記抽出済みの境界線から所定の間隔だけ隔てて設定してもよい(発明10)。
第五に本発明は、コンピュータを発明1から5のいずれか1つに係る画像処理装置として機能させるための、あるいはコンピュータに発明6から10のいずれか1つに係る画像処理方法を実行させるための画像処理プログラムを提供する(発明11)。
本発明では、入力画像から複数の境界線を抽出する場合には、抽出済みの境界線を利用して他の境界線を効果的に抽出することができる。
すなわち、抽出結果を基に探索範囲を限定して他の境界線抽出を行い、またその抽出結果を基に探索範囲を限定して他の境界線抽出を行い、更にその抽出結果を基に探索範囲を限定して他の境界線抽出を行うなど同様な処理を逐次的に繰り返して境界線を抽出することにより、いずれの抽出も探索範囲が限定されることから抽出処理を高速化でき、範囲変更の都度パラメータ(例えば存在確率、重み付け係数)を適切に設定しなおせるので抽出が容易になる。
また、先に抽出した境界線を用いて入力画像の層構造の湾曲を補正することにより、エッジおよび輝度勾配の方向が揃うので、境界線の抽出精度を向上させることができる。
さらに、本発明では、探索範囲を既に抽出済みの境界線の傾きに合わせて設定することにより、抽出済みの境界線と同様な曲線の境界線を高精度で抽出することが可能となり、また、探索範囲を既に抽出済みの画素から所定の間隔だけ隔てて設定することにより、抽出済みの境界線と交わらないような範囲で探索を行うことができる。従って、抽出した境界線同士が交差することを回避することができる。
このように、抽出済みの境界線を利用して探索範囲を適切に設定することにより、不明瞭な境界線、あるいは一部消失した境界線を、抽出済みの境界線と交わることなく抽出することが可能になる。
画像処理装置の全体構成を示したブロック図である。 眼底をスキャンすることにより眼底網膜の断層画像を取得する状態を示した説明図である。 取得された断層画像の網膜層ないしその境界線を示した説明図である。 網膜層の境界線を抽出する工程を示したフローチャートである。 入力画像に基づいて読み出された存在確率画像、並びに入力画画像から作成された境界線候補画像と輝度値微分画像を示した説明図である。 入力画像から境界線を抽出して結果画像を取得する過程を示した説明図である。 存在確率画像格納部の構成を示すブロック図である。 境界線を抽出するための経路探索を示した説明図である。 複数の境界線を抽出する過程を示したフローチャートである。 (a)は探索範囲を固定的に設定して境界線を抽出する方法を示した説明図、(b)は探索範囲を動的に設定して境界線を抽出する方法を示した説明図である。 不明瞭ないし消失した境界線を抽出する方法を示した説明図である。 抽出した境界線上に画素間隔を変えて制御点を表示させる状態を示した説明図である。 抽出した境界線上に画素間隔を変えて制御点を表示させ、制御点を移動させて境界線を修正する状態を示した説明図である。 制御点を移動した後に再度経路探索を行って他の境界線を抽出する方法を示した説明図(その1)である。 制御点を移動した後に再度経路探索を行って他の境界線を抽出する方法を示した説明図(その2)である。
以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。ここでは、処理の対象物体の画像は、被検眼眼底の断層画像を例にして説明するが、本発明における処理の対象物体となる画像は、眼底の断層画像に限定されるものでなく、複数の層が撮影される対象物体の画像にも適用されるものである。
<全体構成>
図1は、被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。断層像撮影装置10は、被検眼の眼底の断層像を撮影する装置(OCT:Optical Coherence Tomography)であり、例えばフーリエドメイン方式で動作する。断層像撮影装置10は公知であるので、その詳細な説明は省略するが、断層像撮影装置10には、低コヒーレンス光源が設けられ、低コヒーレンス光源からの光が参照光と信号光に分割される。信号光は、図2に図示したように、眼底E上で、例えばX、Y方向にラスタースキャンされる。眼底Eで走査され反射された信号光は、参照ミラーで反射した参照光と重畳され干渉光を発生し、該干渉光に基づいて眼底の深度方向(Z方向)の情報を示すOCT信号が発生する。
画像処理装置20は、CPU、RAM、ROMなどで構成されたコンピュータで実現される制御部21を有し、制御部21は画像処理プログラムを実行することにより全体の画像処理を制御する。また、画像処理装置20には、断層画像形成部22が設けられる。
断層画像形成部22は、フーリエドメイン方式などの公知の解析方法を実行する専用の電子回路、または、前述のCPUが実行する画像処理プログラムにより実現され、断層像撮影装置10で生成されたOCT信号に基づいて、眼底の断層画像を形成する。
例えば、図2に示したように、眼底EがY方向にy(N=1、2、.....n)の位置で、X方向にスキャンされた場合、当該スキャン時に複数回(m回)サンプリングが行われる。このX方向の各サンプリング時点でそれぞれZ方向の断層画像(Aスキャン画像)A(h=1、2、.....m)が取得され、これらのAスキャン画像Aから断層画像B(N=1、2、.....t)が形成される。Aスキャン画像は、例えば、X方向に1画素幅、Z方向にn画素の長さで格納されるので、断層画像Bはm×n画素の大きさをもつ画像となり、Bスキャン画像とも呼ばれる。
断層画像形成部22で形成されたt枚の断層画像B、あるいはこれらt枚の断層画像Bから構築される3次元のボリューム画像は、例えば半導体メモリ、ハードディスク装置等により構成された記憶部23に格納される。記憶部23は、さらに上述した画像処理プログラムなども格納する。
画像処理装置20には、画像処理部30が設けられる。画像処理部30は、境界線候補画像作成手段31、輝度値微分画像作成手段32、輝度値情報画像作成手段32a、評価得点画像作成手段33、境界線抽出手段34、探索範囲設定手段35、並びに制御点設定手段36を備えている。
後述するように、境界線候補画像作成手段31は入力画像のエッジを検出して境界線候補画像を作成し、輝度値微分画像作成手段32は入力画像の輝度値を微分して輝度勾配を示す輝度値微分画像を作成し、輝度値情報画像作成手段32aは入力画像を鉛直方向にシフトして輝度情報を示す輝度値情報画像を作成し、評価得点画像作成手段33は作成された画像並びに読み出された画像に基づいて境界線抽出のための評価得点を示す評価得点画像を作成し、境界線抽出手段34は評価得点画像から評価得点の合計値が最高になる経路を探索してそれを境界線として抽出する。また、探索範囲設定手段35は、探索範囲を抽出済みの境界線に合わせて設定し、制御点設定手段36は抽出された境界線上に所定の画素間隔で制御点を設定する。画像処理部30における各手段あるいは各画像処理は、専用の電子回路を用いることにより、あるいは画像処理プログラムを実行することに実現される。
存在確率画像格納部26は、後述するように、抽出しようとする境界線毎に当該境界線が存在する存在確率を示す画像を格納する。
重み付け係数格納部27は、抽出しようとする境界線毎に輝度値微分画像に重み付けされる重み付け係数及び輝度値情報画像に重み付けされる重み付け係数を格納する。
表示部24は、例えば、LCDなどのディスプレイ装置によって構成され、記憶部23に格納された断層画像、画像処理装置20で生成あるいは処理された画像、制御点設定手段36で設定された制御点、被験者に関する情報などの付随する情報などを表示する。
操作部25は、例えば、マウスやキーボード、操作ペン、ポインター、操作パネル等を有し、表示部24に表示された画像の選択、あるいは操作者が画像処理装置20などに指示を与えるために用いられる。
このような構成で撮影された断層画像のうち、図2に示す眼底Eの黄斑部Rを通過する走査線yで取得される断層画像Bが図3の上部に符号Bを付して図示されている。眼底の網膜は、種々の膜あるいは層の組織から構成されており、断層画像Bにおいて判別できる膜あるいは層が同図に示されている。
図3において、ILMは内境界膜(internal limiting membrane)を示し、NFLは神経線維層(nerve fiber layer)を、GCLは神経節細胞層(ganglion cell layer)を、IPLは内網状層(inner plexiform layer)を、INLは内顆粒層 (inner nuclear layer)を、OPLは外網状層 (outer plexiform layer)を、ONLは外顆粒層(outer nuclear layer)を、ELMは外境界膜 (external limiting membrane)を、ISは視細胞層内節 (inner photoreceptor segments)を、OSは視細胞層外節 (outer photoreceptor segments)を、RPEは網膜色素上皮 (retinal pigment epithelium)を、それぞれ示す。
図3の下方には、これらの膜ないし層間の境界線がそれぞれL1〜L10でかっこを付して示されている。例えば、L1は内境界膜ILMにより形成される境界線であり、L2は神経線維NFLと神経節細胞層GCL間の境界線である。これらの境界線L1〜L10が本発明で抽出しようとする境界線である。
このような断層画像から、神経線維層などの層厚、網膜色素上皮層における凹凸などの層形状の変化を計測できれば、眼科疾患の進行度や治療後の回復具合を定量的に診断することが可能となる。しかし、撮影環境によっては、OCT信号が減衰もしくは欠損して各層の境界線が不明瞭になったり、あるいは不連続ないしは消失してしまい正確な層厚あるいは層形状の計測が困難になる。
そこで、本発明では、以下に説明する方法で網膜層の境界線を高精度で抽出する。以下に、その方法を図4のフローチャートを用いて説明する。
<境界線抽出処理>
まず、図4のステップS1に示したように、網膜層の境界線を抽出しようとする断層画像B(N=1、2、.....t)を記憶部23から読み出して表示部24に表示させ入力画像Bを選択する。この入力画像は、図2に示したt枚の断層画像Bのうち一枚、あるいは数枚、あるいは全部でもよく、または任意の画像処理を加えた後の画像であってもよい。複数枚の断層画像の境界線を抽出する場合には、いずれか一枚の断層画像を入力画像として選択する。ここでは、例えば、図2の眼底の黄斑部Rをスキャンする走査線yで取得される断層画像Bを記憶部23から読み出し入力画像Bとする。
入力画像Bが選択されたら、この入力画像Bから抽出しようとする境界線を定め、その境界線用の存在確率画像を存在確率画像格納部26から読み出す(ステップS2)。
この存在確率画像格納部26が図7に図示されている。存在確率画像格納部26には、断層画像Bに対して断層画像Bの層の境界線L1〜L10毎に、当該境界線が存在する存在確率を示す画像が格納されている。例えば、左上のILM(L1)は内境界膜(ILM)の境界線L1が存在する確率を示す画像であり、その下のNFL/GCL(L2)は神経線維層(NFL)と神経節細胞層(GCL)との境界を示す2番目の境界線L2が存在する確率を示す画像である。以下、その他の存在確率画像も、同様に格納されている。
このような存在確率画像は、複数の正常眼に対して、同じ走査線yで取得される断層画像Bから境界線が存在する確率を各境界線に対して断層画像の各画素(i、j)[i=1、2、.....m、j=1、2、.....n]毎に事前に計算し、断層画像Bの各画素(i、j)の対応する画素位置にデジタル値として格納したm×n画素からなる画像である。
例えば、断層画像Bの境界線L1の存在確率画像ILM(L1)が図7の下方にHILMとして模式化されて図示されており、境界線L1が存在する確率領域(画素領域)がパーセントで示されている。断層画像Bの画素(i、j)が決まれば、その位置に当該境界線L1が存在する確率を、パーセントに応じたデジタル値としてHILMから求めることができる。図7には、25%置きの確率で区分した画素領域が図示されている。何%置きの確率で区分するかは求める精度に応じて決められるが、実際には、図7に示したよりも、更に細かい確率で区分されている。
なお、図7には、存在確率画像格納部26には、断層画像Bの各層毎の10個の存在確率画像が格納されていることが図示されている。しかし、ボリューム画像を構成する断層画像B以外の断層画像Bに対しても、それぞれの断層画像毎に、各層用の存在確率画像が格納されても良いし、全画像B〜Bに共通の一枚の存在確率画像が格納されるものとしても良い。さらに、存在確率画像は、X方向は均一でZ方向は連続的に単調増加あるいは単調減少する画像としてもよい。また、存在確率画像格納部26に格納される各存在確率画像はマップ化されており、抽出された境界線が修正された場合には、抽出に寄与した存在確率画像も適応的に修正することができ、逐次学習させることができる。
また、存在確率画像格納部26は、画像処理装置20内に設けるのではなく、外部の格納部とすることができ、例えば、インターネットを介して接続されたサーバーに設けるようにしてもよい。
ここでは、断層画像Bの境界線のうち、最初に内境界膜(ILM)の境界線L1を抽出する例を説明するので、入力画像B、並びにその境界線L1で決まる存在確率画像ILM(L1)が存在確率画像格納部26から読み出され、この読み出された存在確率画像が図5の上部にHILMとして図示されている。
続いて、画像処理部30の境界線候補画像作成手段31により入力画像Bのエッジを検出して境界線候補画像を作成する(ステップS3)。このエッジ検出には、例えば、公知のキャニーエッジ検出法(Canny Edge Detection)を用いる。このキャニーエッジ検出法で抽出されたエッジは細いエッジとなり、コントラストの高い領域には高いしきい値を設定するなどしきい値を適正に設定すると、入力画像Bの境界線候補となる複数の細い線からなる境界線候補画像を作成することができる。この境界線候補画像は、入力画像Bのエッジの有無の情報を示す値をデジタル値としてその各画素(i、j)に対応した画素位置に有するm×n画素の画像であり、図5にEILMとして図示されている。
続いて、輝度値微分画像作成手段32により入力画像Bの輝度値をZ方向に微分して輝度値微分画像を作成する(ステップS4)。輝度値を微分することはZ方向の輝度勾配を演算することになる。この輝度勾配は、例えば、公知のゾーベルフィルタ(Sobel Filter)などの差分型フィルタを用いて演算する。輝度値微分画像は、入力画像Bの輝度勾配を示す値をデジタル値としてその各画素(i、j)に対応した画素位置に有するm×n画素の画像であり、図5にGILMとして図示されている。輝度値を微分すると、網膜層の輝度勾配を検出することができるので、輝度値微分画像は境界線候補画像のエッジ情報が欠損していたり不足している場合に、その情報を補足することができる。
続いて、輝度値微分画像用に設定された求める境界線ILM用の重み付け係数WILMを重み付け係数格納部27から読み出す(ステップS4’)。
さらに、入力画像Bを鉛直方向に所望の画素数だけシフトした画像を輝度値情報画像B’として作成し(ステップS5)、当該輝度値情報画像B’用に設定されたILM用の重み付け係数QILMを重み付け係数格納部27から読み出す(ステップS5’)。鉛直方向の移動量や移動方向は求めたい境界線により適宜変更することができるが、例としてILMの場合は上方向に5画素移動する。すなわち、求めたい境界線の上に輝度情報が重なるように移動方向やシフト量を決定するとよい。
続いて、評価得点画像作成手段33により境界線候補画像EILM、存在確率画像HILM、輝度値微分画像GILM、輝度値微分画像用に設定された重み付け係数WILM、輝度値情報画像B’、輝度値情報画像用に設定された重み付け係数QILMに基づいて評価得点画像CILMを、以下の式に基づいて演算し作成する(ステップS6)。
ILM=EILM×HILM+WILM×GILM+QILM×B’
この評価得点画像CILMの作成過程が図6に図示されている。評価得点画像CILMは、境界線候補画像EILMと存在確率画像HILMとの演算(掛け算)により得られる境界線位置とその存在確率を含んだ2次元的情報を示す境界線位置確率画像と、重み付け係数WILMで重み付けされた輝度値微分画像GILMと、重み付け係数QILMで重み付けされた輝度値情報画像B’との演算(加算)により形成される。なお、抽出しようとする境界線によって、エッジ要素、輝度値微分要素、輝度値情報のどれを重視することにより抽出しやすくなるかは異なる。この実態に対応すべく、重み付け係数WILM、QILMを任意の値に設定することにより、エッジを重視して抽出するか、輝度値微分を重視して抽出するか、輝度値情報を重視して抽出するか、いずれの場合でもより良く抽出できる。評価得点画像CILMは、境界線候補画像EILM、存在確率画像HILM、並びに輝度値微分画像GILMの各画素(i、j)毎に演算されるので、評価得点画像CILMは各画素(i、j)に対応した画素位置に上述した式による演算値を有するm×n画素からなる画像である。図6における各画像は実際には複雑な形状であるが、図示が困難であるので、その概略が模式的に図示されている。
評価得点画像CILMは各画素(i、j)がデジタル値でスコア化されているので、例えば動的計画法(Dynamic Programming)を用いて経路探索し、合計得点が最高になる経路を探索してILMの境界線を抽出する。
この経路探索例が図8に図示されている。例えば、探索範囲を上下に示した点線の範囲に設定する。i=1の画素位置にあるZ方向に延びる画素列を1番目の画素列P1とする。画素列P2の各画素に対して、P1の近傍の画素中で最も評価得点が高い画素を探索し、その画素の位置を記憶するとともに、その画素の評価得点とP2の各画素の評価得点を加算した値を、P2の各画素の評価得点として更新する。続いてiを増分し、各画素列P3、.....Pmまで順次繰り返す。その後、画素列Pmで評価得点が最も大きい画素を始点とし、iを減らし記憶した画素の位置を順に辿る事で、総和が最も高くなるような太い点線で示した経路を境界線として抽出する。
図8において、細い湾曲した線は、図4のステップS3の処理で検出されたエッジEILMと抽出しようとする境界線Lの存在確率HILMとの演算により得られる線であり、また幅のある横長の画像は、図4のステップS4の処理で得られた輝度値微分画像GILMである。輝度勾配がある領域では、評価得点が高くなり、抽出しようとする境界線Lがこの領域を通過することが理解できる。必要な場合には、始点を変化させてすべての経路について総和を求め、そのうち最高得点となった経路を内境界膜(ILM)の境界線L1として抽出する(ステップS7)。
なお、図8では、経路探索は画素列Pから開始されているが、最終画素列i=Pから開始するようにしてもよい。
抽出された境界線L1は、図6の下段に示したように、入力画像Bに重ねられ、結果画像RILMとして表示部24に表示される(ステップS8)。
続いて、全ての境界線を抽出したかどうかの判断が行われ(ステップS9)、抽出していない境界線がある場合には、ステップS2に戻り、全ての境界線を抽出した場合には、処理を終了する。
以上説明したように、本実施形態では、境界線候補画像と存在確率画像で入力画像の位置情報を求め、輝度値微分画像により入力画像の輝度値情報を求め、この位置情報と任意の重み付けをした輝度値情報を組み合わせることにより評価得点画像を形成している。この評価得点画像の各画素のうち抽出しようとする境界線が存在している画素は、存在確率画像による演算により評価得点が高くなっており、この評価得点の高い画素を探索して境界線を決定しているので、境界線の抽出精度を顕著に向上させることができる。
なお、輝度値微分画像に掛る重み付け係数は、抽出しようとする境界線によっては省略することができる。複数の境界線を抽出する場合には、抽出しようとする境界線に応じて輝度勾配情報を重み付けすることにより、特性の異なる境界線を高精度で抽出することが可能となる。
また、上述したステップS7において抽出した境界線を入力画像に重ねて表示したとき抽出した境界線が本来の境界線とずれている場合には、後述するように、ユーザーが境界線位置を修正することができる。この場合には、修正に応じて存在確率画像格納部26に格納されている当該境界線用の存在確率画像を修正して学習させることができる。
また、境界線抽出過程で輝度値微分画像に掛る重み付け係数を修正することでより良好な境界線抽出が可能になる。このような場合には、重み付け係数の修正に応じて重み付け係数格納部27に格納されている当該境界線用の重み付け係数も修正して学習させる。
<複数の境界線抽出>
図4のステップS9で示したように、入力画像から複数の境界線を抽出する場合には、抽出済みの境界線を利用して他の境界線を効果的に抽出することができる。以下に、その実施形態を図9を参照して説明する。
境界線のうち最上端の内境界膜ILM(L1)と最下端の網膜色素上皮RPE(L10)は輝度変化が大きな境界であるので、抽出が容易であることからこれらの境界線を最初に抽出し、その抽出済みの境界線を利用して探索範囲を限定ないし設定して、他の境界線を抽出する。
図9において、入力画像Bの各層に対して、図4のステップS3で説明したようなエッジ検出処理を行い、各層用の境界線候補画像EILM、ENFL/GCL,EGCL/IPL、.....を作成する(ステップT1)。
続いて、入力画像Bの各層に対して輝度値微分を行い輝度勾配を抽出して(図4のステップS4の処理)、各層用の輝度値微分画像GILM、GNFL/GCL,GGCL/IPL、.....を作成する(ステップT2)。
このような処理を行った後、存在確率画像格納部26、重み付け係数格納部27から各層用の存在確率画像HILM、HNFL/GCL,HGCL/IPL、.....、輝度値微分画像用に設定された各層用の重み付け係数WILM、WNFL/GCL,WGCL/IPL、.....、並びに輝度値情報用に設定された各層用の重み付け係数QILM,QNFL/GCL,QGCL/IPL、.....、をそれぞれ読み出し、図4のステップS6で説明したような処理を行って各層用の評価得点画像を作成する。
まず、最上端のILMは輝度変化が大きな境界であるので、抽出する順序としてILMを選択する。探索範囲を入力画像全体として評価得点EILM×HILM+WILM×GILM+QILM×B’をパラメータとする合計得点が最高になる経路を探索し、該探索された経路をILMの境界線L1として抽出する(ステップT3)。このILMに対する境界線L1を抽出する処理は、図5、図6、図8に関連して述べた処理に対応する。
次に、最下端のRPEを選択し、同様に探索範囲を入力画像全体としてパラメータERPE×HRPE+WRPE×GRPE+QRPE×B’の合計得点が最高になる経路を探索する。探索の結果、合計得点が最高になった経路をRPEの境界線L10として抽出する(ステップT4)。なお、最初にRPEの境界線L10を抽出し、続いてILMの境界線L1を抽出するようにしてもよい。
続いて、探索範囲を抽出済みの境界線ILM(L1)〜RPE(L10)の範囲に設定して、パラメータEIS/OS×HIS/OS+WIS/OS×GIS/OS+QIS/OS×B’の合計得点が最高になる経路を探索し、該探索された経路をIS/OSの境界線L8として抽出する(ステップT5)。
続いて、探索範囲を抽出済みの境界線ILM(L1)〜IS/OS(L8)の範囲に設定して、パラメータEOPL/ONL×HOPL/ONL+WOPL/ONL×GOPL/ONL+QOPL/ONL×B’の合計得点が最高になる経路を探索し、該探索された経路をOPL/ONLの境界線L6として抽出し(ステップT6)、また、探索範囲を抽出済みの境界線IS/OS(L8)〜RPE(L10)の範囲に設定して、パラメータEOS/RPE×HOS/RPE+WOS/RPE×GOS/RPE+QOS/RPE×B’の合計得点が最高になる経路を探索し、該探索された経路をOS/RPEの境界線L9として抽出する(ステップT7)。
同様に、探索範囲を抽出済みの境界線ILM(L1)〜OPL/ONL(L6)の範囲に設定して、パラメータENFL/GCL×HNFL/GCL+WNFL/GCL×GNFL/GCL+QNFL/GCL×B’の合計得点が最高になる経路を探索し、該探索された経路をNFL/GCLの境界線L2として抽出し(ステップT8)、また、探索範囲を抽出済みの境界線OPL/ONL(L6)〜IS/OS(L8)の範囲に設定して、パラメータEELM×HELM+WELM×GELM+QELM×B’の合計得点が最高になる経路を探索し、該探索された経路をELMの境界線L7として抽出する(ステップT9)。
以下同様に、探索範囲を抽出済みの境界線NFL/GCL(L2)〜OPL/ONL(L6)の範囲に設定して、パラメータEIPL/INL×HIPL/INL+WIPL/INL×GIPL/INL+QIPL/INL×B’の合計得点が最高になる経路を探索し、該探索された経路をIPL/INLの境界線L4として抽出し(ステップT10)、また、探索範囲を抽出済みの境界線NFL/GCL(L2)〜IPL/INL(L4)の範囲に設定して、パラメータEGCL/IPL×HGCL/IPL+WGCL/IPL×GGCL/IPL+QGCL/IPL×B’の合計得点が最高になる経路を探索し、該探索された経路をGCL/IPLの境界線L3として抽出し(ステップT11)、最後に、探索範囲を抽出済みの境界線IPL/INL(L4)〜OPL/ONL(L6)の範囲に設定して、パラメータEINL/OPL×HINL/OPL+WINL/OPL×GINL/OPL+QINL/OPL×B’の合計得点が最高になる経路を探索し、該探索された経路をINL/OPLの境界線L5として抽出して(ステップT12)、合計10本の境界線を抽出する。
上述の処理から明らかなように、最初に抽出した二つの境界線内境界膜ILM(L1)と網膜色素上皮RPE(L10)を除けば、抽出結果を基に探索範囲を限定して他の境界線抽出を行い、またその抽出結果を基に探索範囲を限定して他の境界線抽出を行い、更にその抽出結果を基に探索範囲を限定して他の境界線抽出を行うなど同様な処理を逐次的に繰り返して境界線を抽出している。
このように逐次的に行われる境界線の抽出は、いずれの抽出も探索範囲が限定されることから抽出処理を高速化できる他に、範囲変更の都度パラメータ(例えば存在確率、重み付け係数)を適切に設定しなおせるので抽出が容易になるという利点がある。また、後述するように、抽出済みの境界線を利用して探索範囲を設定できるので、抽出済みの境界線と交差することを回避したり、あるいは不明瞭ないし消失した境界線を抽出することができる。
また、複数の境界線を抽出する場合、先に抽出した境界線を用いて湾曲補正することができる。例えば、図9のステップT5においてIS/OS(L8)の境界線を抽出した場合、先に抽出した境界線ILM(L1)あるいはRPE(L10)の湾曲に合わせて入力画像を補正(特に、傾斜補正)したのちに別の境界線の抽出を行うことができる。このような湾曲補正を行うと、エッジおよび輝度勾配の方向が揃うので境界線の抽出精度を向上させることができる。
なお、上述した処理において、境界線をユーザーが修正したとき、当該修正した境界線以降に抽出した境界線に対しては、再度抽出処理を行う。例えば、図9のステップT6においてOPL/ONL(L6)を抽出し、この抽出した境界線をユーザーが修正したとき、この修正した境界線を用いて探索範囲を設定して境界線を抽出するステップT8、T9、T10、T12の処理は、再度抽出処理を行うようにする。
<探索範囲の設定>
画像処理部30には、探索範囲設定手段35が設けられており、この探索範囲設定手段35により、抽出済みの境界線を利用して境界線の探索範囲を動的に設定することができる。
その例が図10、図11に示されている。抽出済みの境界線を利用しない場合には、例えば、注目画素I(i、j)から左側に探索を開始する場合、図10(a)に示したように、注目画素I(i、j)の左隣りの画素(i−1、j)を中心にして±sの(2s+1)画素幅の画素列が探索範囲として設定される。
これに対して、抽出済みの境界線を利用して境界線の探索範囲を設定する場合には、抽出済みの境界線Lの傾きに応じて探索範囲を動的に設定する。抽出済みの境界線Lの傾きとは、図10(b)に示したように、画素列iにおいて抽出済みの境界線Lが抽出された画素と、その画素列iの画素からx方向に1画素幅ずれた画素列i−1において抽出済みの境界線Lが抽出された画素とが、z方向にどれくらいずれているかを示すものである。この抽出済みの境界線Lの傾きをdとして、注目画素I(i、j)の左隣りの画素(i−1、j)から抽出済みの境界線方向へdだけシフトした、すなわち境界線方向にs+d、逆側にs−dの(2s+1)画素幅の画素列が探索範囲に設定される。同様に、他の探索範囲も抽出済みの境界線に合わせて設定する。
このように、探索範囲を既に抽出済みの境界線の傾きに合わせて設定することにより、抽出済みの境界線と同様な曲線の境界線を高精度で抽出することが可能となる。
また、図10(b)に図示したように、探索範囲を、探索範囲の上端画素がその画素列にある抽出済みの画素から所定画素d´隔たるように設定することにより、抽出済みの境界線と交わらないような範囲で探索を行うことができる。従って、抽出した境界線同士が交差することを回避することができる。
また、図11の上部に図示したように、抽出済みの境界線をL、L' 、その間に存在する抽出しようとする境界線をL"とした場合、境界線L"が途中で不明瞭、あるいは消失して不連続になる場合がある。
探索範囲を抽出済みの境界線に合わせて設定しない場合には、同図の左側に図示したように、探索範囲として、注目画素I(i、j)の左隣りの画素(i−1、j)を中心にz方向に3画素長さの画素列が設定され、以降3画素長さの画素列が左側に順次探索範囲として設定される(この場合はs=1である)。設定された最終的な探索範囲は、左側の中段に図示したような範囲となる。すると、評価得点が最高になるような経路探索を行った場合、抽出した境界線は、下段に示したように、点線で示したような曲線となり、下方の抽出済みの境界線と交わってしまい、連続した境界線を抽出することができなくなってしまう状況が生じ得る。
これに対して、探索範囲を抽出済みの境界線に合わせて設定すると、不明瞭あるいは不連続になった境界線を抽出することが可能になる。これが、図11の右側に図示されている。ここでは、抽出済みの境界線Lに合わせて探索範囲を設定している。つまり、右側に示したように、順次設定される探索範囲は、抽出済みの境界線Lに合わせて、抽出済みの境界線L、L'の画素と交差しないように、また不明瞭ないし消失した部分につながる画素I'を探索範囲に含むように、設定される。従って、設定された最終的な探索範囲は、右側の中段に図示したような範囲となる。経路探索を行った場合、抽出した境界線は、下段に点線で示したような曲線となり、消失した部分あるいは不明瞭な部分が連結された境界線を抽出することが可能になる。この場合、探索範囲は抽出済みの境界線L、L'の画素と交わらないように設定されているので、抽出した境界線が抽出済みの境界線と交わることを回避することができる。
なお、図10、図11に示した例では、探索は右から左に行うようにしているが、逆方向に行うようにしてもよい。
このように、抽出済みの境界線を利用して探索範囲を適切に設定することにより、不明瞭な境界線、あるいは一部消失した境界線を、抽出済みの境界線と交わることなく抽出することが可能になる。
<制御点の設定>
上述したような処理を介して抽出された各境界線には、図12、図13に図示したように、その境界線上に制御点を設定することができる。
例えば、ユーザーが操作部25のマウス、あるいは操作ペンで境界線の一点を指定し、画素間隔Dを指定する。制御部21は、指定された境界線上の画素を特定し、制御点設定手段36により当該特定された画素を中心にX方向左右にそれぞれD×n(n=1、2、.....)番目の画素列と境界線がそれぞれ交わる画素位置に制御点を設定する。または、制御部21は、指定された境界線上に既定のX方向位置で制御点を設定するようにしても良い。
このように設定された制御点は表示部24に表示される。例えば、図12の下方左図に図示したように、最下端の網膜色素上皮RPE(L10)上に5画素間隔で黒丸で示した制御点が設定され、また同中央図に図示したように、10画素間隔で、また右図に図示したように、50画素間隔でそれぞれ制御点が設定される。
図6に図示した方法で抽出した境界線は画素間隔が狭い(1画素間隔)ので、本来は滑らかな境界線でも、細かい凹凸が発生し滑らかな曲線にはならない。しかし、上述したように、境界線上に5画素間隔、10画素間隔など広い画素間隔で制御点を設定し、各設定された制御点を、例えばスプライン曲線によって結んで、それを境界線とすることにより、境界線を主観的に把握しやすい滑からな曲線に近づけることができる。
制御点間隔を狭くすると、抽出結果を忠実に表現することが可能になるが、制御点の数が多くなるため、境界線の修正に時間を要する。また、制御点間隔を狭くすると、滑らかな境界線でも、細かい凹凸が発生し滑らかな曲線とはならない。従って、制御点をどの程度の画素間隔で設定するかは、抽出する境界線の特徴に応じて、あるいは抽出された境界線の必要とされる修正程度に応じて、ユーザーが設定するようにする。
例えば、図13の上図は、抽出された境界線NFL/GCL(L2)上に制御点を狭い画素間隔で設定し、各制御点をスプライン曲線で結んで境界線とした例を示しており、中段は制御点を広い画素間隔で設定して境界線とした例を示している。
制御点間隔を広くする場合には、修正する制御点の数が少なくなり、修正時間を短縮することができる。例えば、図13下段に示したように、制御点QをQ’に移動させて抽出した境界線を修正することができる。しかし、同様な修正を、図13上図に示したように制御点間隔を狭くして行う場合には、複数の制御点を移動させなければならず、修正に時間を要することになる。つまり抽出結果に対しての正確性、修正に係る手間、および見た目の滑らかさのトレードオフであり、制御点間隔をユーザーが指定することでこのバランスもユーザーの所望に近づけることができる。
なお、上述したように、境界線上に所定の画素間隔で制御点を設定した場合、設定された制御点を一つあるいは複数削除して、残る制御点をスプライン曲線で結ぶようにすることができ、逆に設定された制御点の間に更に一つあるいは複数の制御点を追加して、各制御点をスプライン曲線で結んで境界線とすることもできる。このように、制御点を削除、追加、あるいは移動させることにより、より滑らかな、あるいは忠実な境界線を抽出することが可能になる。
また、上述したように、図13下段には、制御点QをQ’に移動して抽出した境界線を修正する状態が図示されている。このような移動は、一つの制御点だけでなく、複数の制御点を移動させることもできる。また、上述したように、制御点は追加ないし削除することができる。このように、制御点を移動、追加、削除した場合、境界線抽出手段34によって、一つないし全ての境界線に対して再度経路探索を行い、境界線を抽出しなおすようにしてもよい。このとき、経路探索が移動した制御点、あるいは追加した制御点を通って行われるように、移動ないし追加した制御点が位置する画素には、高い評価得点を与えるようにするとともに、削除した制御点を通過しないようにするために、削除した制御点が位置する画素には、低い評価得点を与えるか、もしくは評価得点を与えないようにしておく。
また複数の境界線に対して再度経路探索を行う場合、境界線が交差してしまう現象を防ぐため、境界線A上の制御点Q(x、z)がQ’(x、z’)へ移動した場合は、境界線Bの再検出時において次のような措置をとることができる。例えば図14に示すように境界線A上の制御点Q(x、z)が境界線Bを跨いで−z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点として+z方向に伸びる半直線領域を探索範囲から除外するようにしてもよい。同様に、境界線A上の制御点Q(x、z)が境界線Bを跨いで+z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点として−z方向に伸びる半直線領域を探索範囲から除外するようにしてもよい。また、図15に示すように境界線A上の制御点Q(x、z)が境界線Bを跨がずに+z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点としてz軸に平行で境界線Bと交差しない半直線領域を探索範囲から除外するようにしてもよい。境界線A上の制御点Q(x、z)が境界線Bを跨がずに−z方向へ移動した場合も同様である。
なお、境界線が修正された場合には、上述したように、修正に応じて存在確率画像格納部26に格納されている当該境界線用の存在確率画像を修正して当該存在確率画像を学習させるようにすることもできる。
10 断層像撮影装置
20 画像処理装置
21 制御部
22 断層画像形成部
23 記憶部
24 表示部
25 操作部
26 存在確率画像格納部
27 重み付け係数格納部
30 画像処理部
31 境界線候補画像作成手段
32 輝度値微分画像作成手段
33 評価得点画像作成手段
34 境界線抽出手段
35 探索範囲設定手段
36 制御点設定手段

Claims (11)

  1. 複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段を備え、
    前記境界線抽出手段が、前記対象物体の上端の境界線と下端の境界線とをまず抽出し、抽出した前記上端の境界線及び前記下端の境界線を用いて探索範囲を限定して他の境界線を抽出し、該他の境界線の抽出結果を用いて探索範囲を限定してまた他の境界線を抽出し、以降同様な処理を逐次的に繰り返して境界線を抽出することを特徴とする画像処理装置。
  2. 先に抽出した境界線の湾曲に合わせて前記入力画像を補正する湾曲補正手段を更に備えたことを特徴とする、請求項1に記載の画像処理装置。
  3. 複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段と、
    前記境界線抽出手段によって抽出済みの境界線を利用して他の境界線の探索範囲を動的に設定する探索範囲設定手段と、を備えたことを特徴とする画像処理装置。
  4. 前記探索範囲設定手段が、前記抽出済みの境界線の傾きに応じて前記他の境界線の探索範囲を動的に設定することを特徴とする、請求項3に記載の画像処理装置。
  5. 前記探索範囲設定手段が、前記他の境界線の探索範囲を前記抽出済みの境界線から所定の間隔だけ隔てて設定することを特徴とする、請求項3又は4に記載の画像処理装置。
  6. 複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する画像処理方法であって、
    前記対象物体の上端の境界線と下端の境界線とをまず抽出し、
    抽出した前記上端の境界線及び前記下端の境界線の抽出結果を用いて探索範囲を限定して他の境界線を抽出し、
    該他の境界線の抽出結果を用いて更に探索範囲を限定してまた他の境界線を抽出し、以降同様な処理を逐次的に繰り返して境界線を抽出することを特徴とする画像処理方法。
  7. 先に抽出した境界線の湾曲に合わせて前記入力画像を補正したのちに他の境界線を抽出することを特徴とする、請求項6に記載の画像処理方法。
  8. 複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する画像処理方法であって、
    抽出済みの境界線を利用して他の境界線の探索範囲を動的に設定することを特徴とする画像処理方法。
  9. 前記抽出済みの境界線の傾きに応じて前記他の境界線の探索範囲を動的に設定することを特徴とする、請求項8に記載の画像処理方法。
  10. 前記他の境界線の探索範囲を前記抽出済みの境界線から所定の間隔だけ隔てて設定することを特徴とする、請求項8又は9に記載の画像処理方法。
  11. コンピュータを請求項1から5のいずれか1項に記載の画像処理装置として機能させるための、あるいはコンピュータに請求項6から10のいずれか1項に記載の画像処理方法を実行させるための画像処理プログラム。
JP2017535501A 2015-08-19 2016-08-09 画像処理装置、画像処理方法、及び画像処理プログラム Active JP6647305B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015162126 2015-08-19
JP2015162125 2015-08-19
JP2015162126 2015-08-19
JP2015162125 2015-08-19
PCT/JP2016/073497 WO2017030057A1 (ja) 2015-08-19 2016-08-09 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017030057A1 true JPWO2017030057A1 (ja) 2018-06-07
JP6647305B2 JP6647305B2 (ja) 2020-02-14

Family

ID=58051739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017535501A Active JP6647305B2 (ja) 2015-08-19 2016-08-09 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20180240240A1 (ja)
EP (1) EP3338620A4 (ja)
JP (1) JP6647305B2 (ja)
WO (1) WO2017030057A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996200B2 (ja) * 2017-09-29 2022-01-17 富士通株式会社 画像処理方法、画像処理装置、および画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279440A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2011194061A (ja) * 2010-03-19 2011-10-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP2011194060A (ja) * 2010-03-19 2011-10-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP2012075938A (ja) * 2012-01-06 2012-04-19 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811745B2 (en) * 2010-01-20 2014-08-19 Duke University Segmentation and identification of layered structures in images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279440A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2011194061A (ja) * 2010-03-19 2011-10-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP2011194060A (ja) * 2010-03-19 2011-10-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP2012075938A (ja) * 2012-01-06 2012-04-19 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2017030057A1 (ja) 2017-02-23
EP3338620A4 (en) 2019-02-13
JP6647305B2 (ja) 2020-02-14
EP3338620A1 (en) 2018-06-27
US20180240240A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
JP6644075B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8699774B2 (en) Image processing apparatus, control method thereof, and program
JP6226510B2 (ja) 画像処理システム、処理方法及びプログラム
CN108369737B (zh) 使用启发式图搜索以快速且自动地分割分层图像
JP5932369B2 (ja) 画像処理システム、処理方法及びプログラム
US9307902B2 (en) Image processing device, image processing system, image processing method, and program
JP2014023933A (ja) 断層撮影方法及び装置
JP2018020192A (ja) 画像処理システム、処理方法及びプログラム
WO2017030058A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7284103B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
JP6647305B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110033496B (zh) 时间序列三维视网膜sd-oct图像的运动伪差校正方法
EP3129955B1 (en) Method for the analysis of image data representing a three-dimensional volume of biological tissue
JP7467875B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5634587B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
JP6419249B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108269258B (zh) 从oct角膜图像分割角膜结构的方法和系统
WO2015129718A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2022062619A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021058285A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013153880A (ja) 画像処理システム、処理方法及びプログラム
JP2019195586A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013153881A (ja) 画像処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250