JP6795596B2 - ヒューリスティックグラフ探索による階層画像の高速自動区分化 - Google Patents

ヒューリスティックグラフ探索による階層画像の高速自動区分化 Download PDF

Info

Publication number
JP6795596B2
JP6795596B2 JP2018529552A JP2018529552A JP6795596B2 JP 6795596 B2 JP6795596 B2 JP 6795596B2 JP 2018529552 A JP2018529552 A JP 2018529552A JP 2018529552 A JP2018529552 A JP 2018529552A JP 6795596 B2 JP6795596 B2 JP 6795596B2
Authority
JP
Japan
Prior art keywords
cost
route
image
node
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529552A
Other languages
English (en)
Other versions
JP2019503214A (ja
Inventor
レン フーカン
レン フーカン
ユイ リンフォン
ユイ リンフォン
Original Assignee
アルコン インコーポレイティド
アルコン インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルコン インコーポレイティド, アルコン インコーポレイティド filed Critical アルコン インコーポレイティド
Publication of JP2019503214A publication Critical patent/JP2019503214A/ja
Application granted granted Critical
Publication of JP6795596B2 publication Critical patent/JP6795596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

本特許文書は階層画像のグラフ探索に関する。より詳細には、本特許文書はヒューリスティックグラフ探索による階層画像の高速自動区分化に関する。
画像区分化は定量的医療撮像と画像誘導式外科的介入とにとってクリティカルである。例えば、コンピュータ実施診断情報を提供するために、組織特徴(それらの厚さ、容積、反射率、テクスチャなど)の定量化は重要であり得る。一般的に、診断情報の質は画像認識機能を取り込むことにより改善され得る。画像認識の特別な課題は撮像された組織の境界層を精確に識別することである。画像内の層を識別することは時に画像区分化とも呼ばれる。
診断を除いて、画像区分化が非常に有用であり得る別の医療領域は画像誘導式外科的介入の振興分野である。高精度でもって階層的ターゲット病状の境界を画定することを含む高品質画像区分化は手術の結果を大幅に改善し得る。改善された外科結果は、低再発率と、短い手術または処置時間と、高率で外科的ゴールを達成することとを含む。
網膜、角膜、および核被膜の画像を含む階層的医療画像は眼科では一般的である。撮像技術の1つ(いわゆる、光コヒーレンストモグラフィ)すなわちOCTは、精度、有用性および撮像時間において特に急速な進歩を実証した。OCTは、眼科において最も広く使用される撮像技術の1つになりつつあり、新臨床標準の状態にも近づいている。
最近、いくつかのOCT画像区分化アルゴリズムが開発された。しかし、これらの方法は主として画像を後処理するためのものであり、したがって特に高速というわけではない。さらに、これらのアルゴリズムはそれらの有用性において制限される傾向がある。「領域拡張(region growing)」および「能動輪郭(active contour)」方法のような技術は不規則な境界を区分化するのに好適である。しかし、両方法は、開始するための初期シードを必要とし、したがって半自動であるに過ぎない。「サポートベクターマシン」および「人工ニューラルネットワーク」方法は計算集約的であり、大きなトレーニング用データセットを必要とする。閾値ベース手法は強度変動に対して敏感であり、連続的な閾値調整を必要とする。偏光ベース方法は、特別に設計された偏光敏感ハードウェアシステムに依存しており、したがってコスト効率がよくない。最後に、最近提案されたグラフベース最短経路探索は、OCT画像区分化において有望である。しかし、これは、処理速度を低下させる複雑なグラフ探索アルゴリズムに依存しており、したがって実時間画像区分化には好適ではない。したがって、眼撮像アプリケーション用の高速自動画像区分化アルゴリズムの必要性がある。
本特許文書における実施形態は、画像内の眼層のグラフ探索のための別の誘導力としてヒューリスティックコストを導入することにより上記課題に対処する。階層画像に独特な追加のヒューリスティック情報により、グラフ探索は効率的に誘導され得、処理速度は大幅に増加され得る。
ヒューリスティック探索により眼画像を処理する本方法の実施形態は:眼層を含む眼領域の画像データを撮像システムにより検出する工程と;リンクにより接続されたノードと、ノードとリンクの少なくとも1つに対応する検出された画像データとを含む画像グラフを画像から画像処理プロセッサにより構築する工程と;経路のヒューリスティックグラフ探索を眼層の画像に対応する画像グラフに対して行う工程であって、本工程は、リンクコストの少なくとも1つを画像グラフのリンクへおよびノードコストを画像グラフのノードへ割り当てることにより;画像グラフのノードとリンクの少なくとも1つへヒューリスティックコストを割り当てることにより;(a)拡張リンクによりその前ノードから選択経路を拡張することにより拡張経路を生成することにより;(b)拡張経路のヒューリスティックコストと拡張経路のチェーンコストとを組み合わせることにより拡張経路の経路コストを判断することにより、ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストであり、経路のチェーンコストは、経路のリンクのリンクコストの合計、経路のノードのノードコストの合計、および経路のリンクとノードのリンクコストとノードコストの加重和のうちの1つである;(c)更新された選択経路として、拡張経路からおよび格納された未選択経路から選択された最低コスト経路を選択することにより;(d)未選択拡張経路とそれらのコストを格納し、選択経路の前ノードを検査済みとしてマーキングすることにより;そして工程(a)−(d)を繰り返し反復することにより、行われる工程と、を含み得る。
いくつかの実施形態では、眼画像を処理する方法は:眼層を含む眼領域の画像データを撮像システムにより検出する工程と;リンクにより接続されたノードと、ノードとリンクの少なくとも1つに対応する検出された画像データとを含む画像グラフを画像から構築するために画像処理プロセッサを使用する工程と;経路のヒューリスティックグラフ探索を眼層の画像に対応する画像グラフに対して行う工程であって、本工程は、リンクコストの少なくとも1つを画像グラフのリンクへおよびノードコストを画像グラフのノードへ割り当てることにより;画像グラフのノードとリンクの少なくとも1つへヒューリスティックコストを割り当てることにより;(a)N番目の選択経路をそのN番目の前ノードから(N+1)番目の拡張リンクにより拡張することにより(N+1)番目の拡張経路を生成することにより;(b)(N+1)番目の拡張経路のリンクコストとノードコストの少なくとも1つと(N+1)番目の拡張経路のヒューリスティックコストとを組み合わせることにより(N+1)番目の拡張経路の経路コストを判断することにより、ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストであり、経路のリンクコストは経路のリンクのリンクコストの合計であり、経路のノードコストは経路のノードのノードコストの合計である;(c)(N+1)番目の選択経路として、(N+1)番目の拡張経路からおよび格納された未選択経路から選択された最小コスト経路を選択することにより;(d)(N+1)番目の未選択経路とそれらのコストを格納し、N番目の前ノードを検査済みとしてマーキングすることにより、行われる、工程とを含み得、本方法は工程(a)−(d)を繰り返し反復する。
方法100の実施形態を実行するための撮像システムを示す。 方法100の実施形態を示す。 方法100の実施形態を示す。 撮像の態様を示す。 特徴画像データを生成する工程を示す。 様々な画像グラフを示す。 方法100の態様を示す。 方法100の態様を示す。 方法100に関係する方法300の実施形態を示す。 方法100に関係する方法300の実施形態を示す。 方法300の実施形態を示す。 方法300の実施形態を示す。 実施形態のヒューリスティックコスト割り当て工程150/350の実施形態を示す。 実施形態のヒューリスティックコスト割り当て工程の実施形態を示す。 実施形態のヒューリスティックコスト割り当て工程の実施形態を示す。 実施形態のヒューリスティックコスト割り当て工程の実施形態を示す。 特別な例に関する方法100/300を示す。 特別な例に関する方法100/300を示す。 特別な例に関する方法100/300を示す。 特別な例に関する方法100/300を示す。 方法100/300により実現された画像区分化のスクリーンショットを示す。
実施形態は、画像内の眼層の探索のための別の誘導力としてヒューリスティックコストを導入することにより上記課題に対処する。画像区分化方法のこのような実施形態は特に次の有利性を有する:
(1)ヒューリスティック探索は外科的介入中の実時間画像処理にとってクリティカルな十分に加速された処理速度を達成し得る。特に階層画像に関し、ここで導入されるヒューリスティック機能は高速画像区分化を実現するために探索アルゴリズムを大幅に加速し得る。
(2)ヒューリスティック探索はグローバルに最適化された画像認識結果を実現し得る。したがって、スペックル雑音、血管陰影、病状は区分化結果に歪み影響をほとんど与えない。
(3)ヒューリスティック探索は前処理負荷を低減しさらに最少化する。したがって、画像フィルタリング、平滑化および強調は他の探索ほどクリティカルではない。
(4)ヒューリスティック探索は広いダイナミックレンジにわたり頑強である。閾値ベース区分化技術とは異なり、ヒューリスティック手法は、特定閾値を必要とせず、様々な強度範囲において画像に自動的に適応し得る。
図1は、ヒューリスティック自動区分化探索の実施形態を実行するためのシステムを示す。示されるように、眼1は、例えば角膜の遠位面、近位および遠位水晶体嚢面、および網膜面を含むいくつかの眼層5を含む。高速ヒューリスティックグラフ探索がこれらの眼層5の任意の1つの画像を識別するための本発明の実施形態を実行するために使用され得る撮像システム10は、画像処理プロセッサ30およびディスプレイ40へ結合された撮像光学系20を含み得る。
図2Aは、眼画像を処理するための方法100の実施形態が、
110−眼層5を含む眼領域の画像データを撮像システム10により検出する工程と;
120−リンクにより接続されたノードと、ノードとリンクの少なくとも1つに対応する検出された画像データとを含む画像グラフを画像処理プロセッサにより構築する工程と;
130−経路のヒューリスティックグラフ探索を眼層の画像に対応する画像グラフに対して行う工程であって、本工程は、
140−リンクコストの少なくとも1つを画像グラフのリンクへおよびノードコストを画像グラフのノードへ割り当てることにより;
150−画像グラフのノードとリンクの少なくとも1つへヒューリスティックコストを割り当てることにより;
160/(a)−拡張リンクによりその前ノードから選択経路を拡張することにより拡張経路を生成することにより;
170/(b)−拡張経路のヒューリスティックコストと拡張経路のチェーンコストとを組み合わせることにより拡張経路の経路コストを判断することにより、ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストであり、経路のチェーンコストは、経路のリンクのリンクコストの合計、経路のノードのノードコストの合計、および経路のリンクとノードのリンクコストとノードコストの加重和のうちの1つである;
180/(c)−更新された選択経路として、拡張経路からおよび格納された未選択経路から選択された最低コスト経路を選択することにより;
190/(d)−未選択拡張経路とそれらのコストを格納し、選択経路の前ノードを検査済みとしてマーキングすることにより、行われる工程とを含み得るということを示す。工程(a)−(d)は眼層画像を表す選択経路を識別するために繰り返し行われ得る。
図2Bは、眼画像を処理するための方法100の関連実施形態が:
110−眼層5を含む眼領域の画像データを撮像システム10により検出する工程と;
120−リンクにより接続されたノードと、ノードとリンクの少なくとも1つに対応する検出された画像データとを含む画像グラフを画像処理プロセッサにより構築する工程と;
130−経路のヒューリスティックグラフ探索を眼層の画像に対応する画像グラフに対して行う工程であって、本工程は、
140−リンクコストの少なくとも1つを画像グラフのリンクへおよびノードコストを画像グラフのノードへ割り当てることにより;
150−画像グラフのノードとリンクの少なくとも1つへヒューリスティックコストを割り当てることにより;
160/(a)拡張リンクによりその前ノードから選択経路を拡張することにより拡張経路を生成することにより;
170/(b)拡張経路のヒューリスティックコストと拡張経路のチェーンコストとを組み合わせることにより拡張経路の経路コストを判断することにより、ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストであり、経路のチェーンコストは、経路のリンクのリンクコストの合計、経路のノードのノードコストの合計、および経路のリンクとノードのリンクコストとノードコストの加重和のうちの1つである;
180/(c)−拡張経路から最低コスト経路を選択することにより、行われる工程と、を含み得るということを示す。工程(a)−(c)は眼層画像を表す選択経路を識別するために繰り返し行われ得る。
図3A−Dは、「撮像工程110が、眼層201を含む眼領域の画像200を撮影する工程を含み得る」ということを示す。眼層201は2つの眼領域を分離する層全体を指し得る。一例は眼の硝子体から眼の水晶体を分離する水晶体嚢である可能性がある。このような実施形態では、2つの分離された領域の反射および光学特性は互いに異なっても異ならなくてもよいが、それら間の眼層の反射特性は2つの眼領域のものとは異なる。他の実施形態では、眼層201は眼領域の縁であり得る。一例は、前房から角膜を分離する角膜の遠位面であり得る。ある意味で、グラフ探索は眼撮像の独特な要求のための縁探索方法の特別適応化と見なされ得る。
図3Aに示すように、方法100のゴールは、眼層201の近似画像である経路205の探索を所望精度で行うことである。示したように、経路205の探索は、画像200の一方縁から開始し得、眼層201を画像200の他方縁まで追跡するために、繰り返しステップバイステップで拡張され得る。
図3Aは画像200内の下位眼層201を示す。当然、実際上は、眼層201の位置は、画像200とその当該画像データとが検出された後は知られていない。画像認識方法の中心的課題は、図3Cに示し以下に説明されるように、眼層201全体にわたる画像強度変化だけを呈示する生雑音検出画像データからこの下位眼層201の未知の実際の位置を判断することである。検出画像データはしばしば図3Cに示すものより確定的でなくかつ雑音が大きいので、洗練された方法が、眼層201の位置を識別するために経路205を進化させ判断するために必要とされる。ここで説明された方法100のような方法。
図3Aの画像200の小領域へズームインされた図3Bは、工程120において画像グラフを構築することが撮像光学系20から眼領域の検出画像データを受信する工程を含み得るということを示す。ここで、検出画像データはノード210(撮像システム10の画素210など)に対応し得る。参照の明確性と容易性のために、ノード210の識別をノード210(x,y)のようにそれらの(x,y)座標に基づき可能にする(x,y)座標系が導入される。この(x,y)表記は、ラベル付き要素間の空間的関係を規定するのを助ける際に主として使用されることになる。非常に多くの実施形態では、撮像システム10は検出器、画素またはセンサの規則的アレイを介し画像データを検出し得る。一例は、電子カメラ、ビデオカメラ、CCDカメラまたは光コヒーレンストモグラフィ(OCT)撮像システムのセンサアレイ内の長方形または正方形画素アレイ210(x,y)であり得る。
ノード210(x,y)は画像グラフを完成するためにリンク220により接続され得る。いくつかの実施形態では、ノード210(x,y)は対応する物理的センサまたは画素を有し得、一方、ノード210(x,y)とノード210(x,y+Δy)とを接続するリンク220(x,y,Δy)およびノード210(x,y)とノード210(x+Δx,y)とを接続するリンク220(x,y,Δx)は画像グラフのリンクの数学的構造に対応し得る。リンクは次の3つの変数を有し得る:(x,y)座標と、第3のxまたはy変数。このような3重変数(x,y,Δx)は、リンク220(x,y,Δx)が、そのy座標が同じでありかつそのx座標が短距離Δxだけ異なる2つのノードを接続しているということを示す。典型的実施形態では、Δxは隣接ノード間の最近隣距離であり得る。遠い隣を接続する長いリンクも使用され得る。リンクは、どの参照子が最も役立つにしてもリンク220、220(x,y)、または220(x,y,Δx)/220(x,y,Δy)と呼ばれることになる。規則的格子のノード210では、ΔxまたΔはyは隣接ノード間の格子定数を指し得る。連続画像では、ΔxまたはΔyは、画像200の解像度を定義するという意味で画像200を特徴付けるために使用される(x,y)点間の短い距離を指し得る。
いくつかの他のシステムでは、リンク220(x,y)は以下に述べるような物理的具現を有し得、ノード210(x,y)は主として数学的構造であり得る。最後に、いくつかのシステムでは、ノード210(x,y)とリンク220(x,y)の両方が物理的具現を有し得る。
いくつかの実施形態では、リンク220(x,y,Δx)は最近隣画素210(x,y)、210(x+Δx,y)だけを接続し得る。他の実施形態では、追加リンク220(x,y,Δx,Δy)は対角線的に隣の画素210(x,y)、210(x+Δx,y+Δy)を接続し得、第4の変数の導入を必要とする。さらに他の実施形態では、リンク220は、格子定数aまたはΔxより長い距離だけ隔てられるがカットオフ距離を越えないさらに遠く離れた画素を接続し得る。
図3Cは、図3Bに示す画像グラフのy方向断面を示す。画像グラフ自体はこのような断面の集合であり得る。水平軸は、xの固定値の画像グラフのy方向断面のノード210(x,y)またはリンク220(x,y)を指し得る。画像グラフの垂直軸は、固定されたxの関数yとしてノード210(x,y)またはリンク220(x,y)に対応する検出画像データ230(x,y)を示し得る。検出画像データ230(x,y)は、画像強度、偏光状態、色、位相、またはノード210(x,y)に関連付けられた撮像情報を運ぶ撮像光の他のデータであり得る。
単純な例は画像グラフのノードを構成する画素アレイまたはセンサを有するCCD撮像システムであり得、画像データはCCDカメラの個々の画素により感知された画像強度である。
撮像システム10がOCT撮像システム10である特定のケースでは、検出画像データ230(x,y)は、眼1から戻される撮像光とOCT撮像システム10の基準アームから戻された基準光とを干渉させることにより生成された「干渉ビーム」の強度に関係付けられ得る。このような干渉ビームは、検出画像データ230(x,y)の振幅または強度に変換し得るその振幅および位相での画像情報を運ぶ。
画像データはまた、OCT撮像システム10の一部であり得る画像処理プロセッサ30により前処理され得る。OCT撮像システム10は、特に、擬似カラーを関連付け、コントラストを調整し、輝度を調整し、フィルタリングし、正規化し、雑音低減を実施し、画像データを強化し、ヒストグラム等化を実施し得る。したがって、本出願を通じて、「画像データを検出する」ことは生画像データの生の検出を指し得るが、他の実施形態では、画像データを検出することはより包括的であり得、検出を越えた生画像データのあるレベルの前処理を含み得る。
図3Dは、画像グラフ構築工程120の別の態様:すなわち画像処理プロセッサ30により検出画像データ230(x,y)から特徴画像データ240を生成する工程を示す。ここでは、特徴画像データ240は検出画像データ230(x,y)の強度、位相、勾配またはテクスチャに対応し得る。例えば、図3Dにおいて、特徴画像データ240(x,y,Δx)は、リンク220(x,y,Δy)に沿ったノード210(x,y+Δy)と210(x,y)の画像データ230(x,y)の差分として定義される検出画像データ230(x,y)の一定(または離散)勾配に次式のように対応し得:特徴画像データ240(x,y,Δy)=f(検出画像データ230(x,y+Δy)−検出画像データ230(x,y))、
そして、直交配向ではx方向においても同様である。ここで、f(z)はその引数zの関数である。最も単純な実施形態の1つはf(z)=zであり、これは検出画像データ230の上記離散勾配である特徴画像データ240を生じる。引数の増加または減少関数であり得るいくつかの他の関数f(z)も同様に採用され得る。特徴画像データ240(x,y,Δy)は、対応ノード210(x,y)、またはその全体にわたって離散勾配が計算されたリンク220(x,y,Δy)のいずれかに割り当てられ得る。
図3Cは、異なる光反射特性を有する2つの眼領域を分離する眼層201の画像に関し、検出画像データ230(x,y)はy座標が固定x座標の眼層201の位置を通過すると段差(shoulder)または降下を呈示し得るということを示す。ここで、上述のように、眼層201は、2つの領域間の薄層全体、または厚い領域の縁を指し得る。いずれの場合も、眼層201により分離された2つの領域の光学特性が異なるので、検出画像データは眼層201にわたる降下を呈示し得る。
図3Dは、特徴画像データ240として検出画像データ230の上記離散勾配を使用する実施形態では、特徴画像データ240は検出画像データ230が段差または降下を呈示し得る眼層の位置においてピークを呈示し得るということを示す。この例は、特徴画像データ240が、眼層201の近傍においてだけ零と異なるように設計され得、したがって眼層201の位置を最良に近似する経路205の探索を誘導する探索コストを定義するのに有用であり得るということを実証する。
図4A−Cは、画像グラフが構築され、特徴画像データ240(x,y)が構築されると、ヒューリスティックグラフ探索を行う工程130は、工程140において、リンクコストを判断してこれを画像グラフのリンクへ割り当てるまたはノードコストを判断してこれを画像グラフのノードへ割り当てるために特徴画像データ240を使用することと;工程150において、ヒューリスティックコストを判断してこれを画像グラフのノードとリンクの少なくとも1つへ割り当てることとを含み得るということを示す。
このヒューリスティックグラフ探索を行う工程130は、画像グラフを構築する工程120がノード210を撮像システム10の画素に対応するように定義するとともにリンク220をノード210同士を接続するリンクとして定義する工程を含む例において示される。構築工程120はさらに、撮像システム10から眼領域の検出画像データ230を受信する工程と、図4Aに示すように画像処理プロセッサ30により検出画像データ230から特徴画像データ240を生成する工程とを含む。いくつかの実施形態では、特徴画像データ240は、検出画像データ230の近隣ノード間の離散勾配、強度の差分、または位相差のうちの少なくとも1つに対応し得る。リンク220により接続されるノード210は、最近隣、対角線方向隣、またはカットオフ距離内隣であり得る。
画像グラフ120の構築特に特徴画像データ240の生成が行われると、ヒューリスティックグラフ探索を行う工程130は始まり、工程140と150から始まり得る。これらのコストは、さらに工程160−190を含むヒューリスティックグラフ探索を誘導するために使用されることになる。
図4Bは、いくつかの実施形態では、コスト割り当て工程140は、同じリンクの特徴画像データ240が増加するとリンクのリンクコスト250が低下するやり方でリンクコスト250(x,y)をリンク220(x,y)へ割り当てることに基づき得るということを示す。一例は、図4Aにおいて一定勾配として定義された特徴画像データ240を好適な最大値から減じることであり得る。図4Bに示すように、この減算は、特徴画像データ240が最大値を示す場所(眼層201の位置)で最小値を示すリンクコスト250を生じる。
図4Cは、眼層201の位置において最小値を呈示する定義されたリンクコスト250がどのようにグラフ探索を誘導し得るかを近似的および定性的意味で示す。図4Cにおいて、図4Bの固定xに対するyの関数としてそれぞれ計算された一組のリンクコスト250が、画素アレイの(x,y)面全体にわたるコスト面を形成するために一範囲のx値に対して集められた。明白に、個々のx値に対応するリンクコスト最小値が谷内に合成される。構築により、この谷の位置は眼層201の位置を追跡する。リンクコストを可能な限り低く維持することにより誘導される経路205を進化させるグラフ探索は、経路を谷の底に沿って進化させ、これにより眼層201を追跡させる。
図4A−Cのこの定性的絵を定量的かつ高速方法に変換することに進む前に、図5A−Cは異なる実施形態におけるノードとリンクの異なる定義を実証する。図5Aにおいて、ノード210は撮像システム10の画素などの撮像素子を含む。いくつかの実施形態では、リンク220は物理的具現を有する必要がなく、画像グラフの定義を完結する数学的対象であり得る。図5Bは、ノードにおける素子が最小空間広がりを有する実施形態を示す。ここで、ノード210は非常に短いので、本質的にはリンクの格子の頂点である。ノードはリンク220の交差点または接続点である。最後に、図5Cは、ノード210における素子もまた極めて大きくなり得るという反対特徴を有する実施形態を示す。例えば、素子はリンク220のサイズとほぼ同じサイズを有する画素であり得る。このような実施形態では、画素とひいてはノード210は本質的には互いに接触する。リンク220の抽象的観念は正方形画素の下にある点線に依然として基づき得る。リンク220の物理的発現は隣接画素同士が接触する縁であり得る。ある意味では、図5Bと図5Cのグラフは互いに対を為し、リンクとノードがグラフ表示を交換するように出現する。これらの実施形態は、ノード210として働く中間サイズ画素を有する図5Aの実施形態に制限している。本文書では、用語「ノードとリンク」は図5A、5Bまたは5Cの実施形態の任意の1つおよびその等価実施形態を指し得る。
図6A−Bは方法100の実施形態を示す。同図は、画像強度における段差と特徴画像データ内の対応する谷とを含む画像200を示す。両者は画像200内の眼層201の位置を追跡する。図6Aは、経路205が多くの繰り返しにおいて更新された後の方法100の要素を示す。結果経路205または選択経路205sは太い実線により示される。ここでは、撮像システム10の関連ノードおよびリンクだけが明瞭性のために示される。
上に説明したように、方法100は検出工程110で始まり、眼層201を含む眼領域の画像200を撮像システム10により撮影する。次は、リンク220(x,y)により接続されたノード210(x,y)と、ノード210(x,y)またはリンク220(x,y)に対応する検出画像データ230(x,y)との画像グラフを構築する構築工程120である。このような画像グラフのy方向断面は、図3Cに示されるものであり、図4Cに示すような(x,y)ベース特徴画像データ240(x,y)に展開された。
経路205のヒューリスティックグラフ探索を行う工程130は、リンクコストを画像グラフのリンク220(x,y)へまたはノードコストを画像グラフのノード210(x,y)へ割り当てるリンク/ノードコスト割り当て工程140と、ヒューリスティックコストをノードとリンクの少なくとも1つへ割り当てるヒューリスティックコスト割り当て工程150とを含み得る。ヒューリスティックコスト割り当て工程150は、図9および図10A−Dに関連してかなり詳細に説明される。図6A−Bおよび図8A−Dの説明に関し、経路のヒューリスティックコストが正しく計算され割り当てられたということが理解される。
図6Aは、ヒューリスティックコストだけでなくリンクコストまたはノードコストを割り当てた後、生成工程160/(a)が、選択経路205sを拡張リンク270(x,y)によりその前ノード260(x,y)から拡張することにより拡張経路を生成する工程を含み得るということを示す。選択経路205s自体は、選択工程180/(c)を一連の前の更新において反復的にかつ繰り返し行うことから生じた経路205である。未選択経路205nの処理は後で説明される。
次の判断工程170/(b)は、拡張経路のヒューリスティックコストと拡張経路のチェーンコストとを組み合わせることにより拡張経路の経路コストを判断する工程を含み得る。ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストとして定義され得ることと、経路のチェーンコストは、経路を構成するリンクのリンクコストの合計、経路を構成するノードのノードコストの合計、および経路のリンクとノードのリンクコストとノードコストとの加重和のうちの1つとして定義され得ることとが想起される。
いくつかの実施形態では、判断工程170/(b)は、各繰り返しにおいて拡張経路の全経路コストを再計算しない増分手法であり得る。その代りに、実施形態は、拡張リンク270により選択経路205sを拡張することによりトリガされる経路コストの更新または変化だけを計算し得る。このような増分手法では、判断工程170/(b)は、様々な可能な拡張リンク270により選択経路205sを暫定的に拡張することにより生じる選択経路205sのヒューリスティックコストの変化および選択経路205sのチェーンコストの変化を計算する工程と;ヒューリスティックコストの変化およびチェーンコストの変化の組み合わせにより選択経路205sのコストを更新することにより、暫定的に拡張された経路のコストを判断する工程とを含み得る。この組み合わせは、2つの変化の単純加算または重み付け和であり得る、または関数計算を含み得る。
他の実施形態では、判断工程170/(b)はコストの包括的計算を含み得る。このような実施形態では、様々な可能な拡張リンク270により暫定的に拡張された選択経路205sのチェーンコストおよびヒューリスティックコストは、前の工程で計算されたコストを参照することなくまたは増分を計算することなく新たに計算される。
次の選択工程180/(c)は、新たに拡張された経路からおよび格納された未選択経路205nから最低コスト経路を選択することにより最低コスト経路を更新選択経路205sとして選択する工程を含み得る。
図6Bは、選択工程180/(c)の結果は、新たに選択された拡張リンク270s(x,y)によりその前ノード260(x,y)から以前の選択経路を拡張することによる更新選択経路205sであり得るということを示す。いくつかのケースでは、最低コスト経路は、暫定的に提案された拡張リンク270(x,y)のうちの1つにより拡張された以前の選択経路205sになる。他のケースでは、例えば選択経路が高コスト領域に遭遇しているときに、最低コスト経路はむしろ、格納済みで以前の未選択経路205nのうちの1つであり得る。この未選択経路205nは、それらのコストが最終的に選択された経路より高かったかもしれないので、前の工程では選択されなかったが、本工程において、選択経路がより高いコスト拡張リンクによりわずかに拡張され得れば、未選択経路205nのうちの1つのコストが最低コスト経路であると分かる。このような場合、最低コストを有する未選択の格納済み経路205nが選択工程180/(c)において選択されることになる。ある意味で、以前の未選択経路205nを選択する工程は高エネルギー障害物に遭遇するとその工程を辿り直すグラフ探索方法100と見なされ得る。
方法100はまた、今行われた選択工程180/(c)において選択されなかった未選択経路205nとそれらのコストとを格納する格納工程190/(d)を含み得る。これらの未選択経路205nのコストは、方法100の以降の繰り返し中に以降の選択工程180/(c)において呼び出されることになる。未選択経路205nのコストが以降の選択工程180/(c)において呼び出されると、最低コスト経路を選択する工程は、様々な拡張リンク270によりその前ノード260から暫定的に拡張された選択経路205sから、および呼び出された格納済み未選択経路205nから選択された最低コスト経路を選択することにより行われ得る。次に、選択された最低コスト経路は更新選択経路205sとして識別され得る。工程(a)−(d)または160−190の反復は、選択経路205sを画像200全体にわたって拡張する方法100の繰り返しブロックを反復する工程を形成し得る。
説明された実施形態では、選択経路205sをその前ノード260から拡張する拡張リンク270だけが暫定的に新たに提案される。しかし、最低コスト経路の選択は、これらの暫定的に拡張された経路のコストとすべての格納済みで以前の未選択経路205nのコストとを比較する。選択工程180/(c)では、いくつかのリンクにおける以前の選択経路205sとは異なり得る格納済みで以前の未選択経路205nが選択され得る。この態様は、選択経路205sが好ましくない領域内に進化すればまたは障害物にぶつかれば、方法100が最適経路の探索を新しい方向へ向け直すことができるようにする。このような障害は、特に、気泡、高雑音領域、撮像アーティファクト、または層折り目であり得る。
図4Cで言うと、最低コスト谷は谷が2つに分かれる分割部または分岐部を有し得る。探索方法100が行われると、これらの谷のうちの1つが選択され、この谷内の選択経路205sがさらに展開または進められる。しかし、後の工程において、この選択経路205sは高コスト領域に遭遇し得る。このような場合、選択経路205sの拡張コストと以前の未選択の格納済み経路205nのコストとの比較も行う選択工程180/(c)は、さらなる調査のために方法100がその工程を最後の分岐点まで辿り直し他の谷を選択できるようにする。いくつかのケースでは、以前の未選択経路205nは、低コストだけにより保護される、谷内の分岐点ですらないかもしれないがむしろ谷の側面上の「山道」であり得る。
完全性のために、方法100のいくつかの実施形態では、その前ノード260からだけでなく、選択経路205sからの側ノードのいくつかから拡張する拡張リンク270もまた暫定的に提案され得る。このような方法は、提案拡張リンクの数がかなり大きくなり得るのでより多くの時間がかかる。これらのより多く時間がかかる性能は、選択経路205sを進化させるためにより多くの機会を探求するそれらの実用性によりバランスが図られ得る。これらの実施形態のいくつかでは、限定数のノードだけが拡張リンクにより暫定的に拡張される妥協点に達し得る。
要点を繰り返すと、図2Aに示す方法100のいくつかの実施形態は反復工程(a)−(d)を繰り返す工程を含み得る。図2Bに示す他の実施形態は、未選択経路205nとそれらのコストとを格納する工程を含まなくてもよく、選択経路205sの前ノード260からだけ始まる拡張を提案し得る。このような実施形態は図2Bの工程(a)−(c)だけを反復する。
これらの実施形態のいずれも、終了判定基準に達するまで選択経路205sを拡張し得、方法100により達せられた拡張選択経路205sを、眼層201の画像に対応するものとして識別し得る。終了判定基準は、選択経路205sが画像200の縁に達するということであり得る。画像は例えばディスプレイ40上に表示され得る。
工程190/(d)はさらに、選択経路205sの前ノード260(選択経路205sが拡張リンク270により拡張される前の前ノード260)を「検査済み」としてマーキングする工程を含み得る。将来の繰り返しでは、「検査済み」としてマーキングされたこのようなノードは新たに検査されない。この態様は、以前の解析済み経路に戻ることを低減または削除し、これにより、方法100が拡張をより効率的に推進するようにし得る。
図7A−Bは、繰り返しの指数、ラベル、または数を明示的に示すことにより工程(a)−(c)または(a)−(d)の繰り返しブロックまたはサイクルの反復を明確に示すやり方で編成された方法100の実施形態である方法300を示す。図7Aは「眼画像処理方法300の実施形態が:
310−眼層を含む眼領域の画像200を撮像システム10により撮影する工程と;
320−画像200から、リンク220により接続されたノード210と、ノードとリンクのうちの少なくとも1つに対応する検出画像データとを含む画像グラフを構築するために画像処理プロセッサ30を使用する工程と;
330−経路のヒューリスティックグラフ探索を眼層201の画像に対応する画像グラフに対して行う工程であって、本工程は、
340−リンクコストの少なくとも1つを画像グラフのリンク220へおよびノードコストを画像グラフのノード210へ割り当てることにより;
350−画像グラフのノードとリンクの少なくとも1つへヒューリスティックコストを割り当てることにより;
360/(a)−N番目の選択経路をそのN番目の前ノードから(N+1)番目の拡張リンクにより拡張することにより(N+1)番目の拡張経路を生成することにより;
370/(b)−(N+1)番目の拡張経路のリンクコストとノードコストの少なくとも1つと(N+1)番目の拡張経路のヒューリスティックコストとを組み合わせることにより(N+1)番目の拡張経路の経路コストを判断することにより、ここで、経路のヒューリスティックコストはその前ノードのヒューリスティックコストであり、経路のリンクコストは経路のリンクのリンクコストの合計であり、経路のノードコストは経路のノードのノードコストの合計である;
380/(c)−(N+1)番目の選択経路として、(N+1)番目の拡張経路からおよび格納された未選択経路から選択された最小コスト経路を選択することにより;
390/(d)−(N+1)番目の未選択経路とそれらのコストを格納し、N番目の前ノードを検査済みとしてマーキングすることにより、行われる工程と、を含み、工程(a)−(d)を繰り返し反復するということを示す。
図7Bは、眼画像処理方法300の実施形態が上記工程310−380(c)を含み得るが、格納工程390/(d)を含まないということを示す。この実施形態はまた、選択工程380/(c)において格納済み経路を含まないように工程380/(c)を修正する。図2Bとの類推で、この実施形態は、拡張リンク270により選択経路205sをその前ノード260から成長させるだけである。
図8A−Dは工程310−350が行われた後の(または同様に方法100の工程110−150が行われた後の)方法300を示す。
図8Aは、方法100/300のN回の繰り返しが選択経路205sをN番目の選択経路205sに進化させ、N番目の前ノード260で終了するということを示す。生成工程160/360/(a)は、(N+1)番目の拡張リンク270によりN番目の選択経路205sをそのN番目のノード260から(暫定的に)拡張することにより(N+1)番目の拡張経路を生成する工程を含み得る。
次に、判断工程170/370/(b)は(N+1)番目の拡張経路の経路コストを判断する工程を含み得る。
図8Bは、選択工程180/380/(c)が、(N+1)番目の拡張経路からおよび格納された未選択経路205nから選択された最小コスト経路を(N+1)番目の選択経路205sとして選択する工程を含み得るということを示す。図8Bでは、選択工程180/380/(c)は、Δx距離だけx方向にそのN番目の前ノード260(x,y)から選択拡張リンク270s(Δx,0)により拡張されたN番目の選択経路205sとして、(N+1)番目の選択経路205sを選択した。
格納工程190/390/(d)では、(N+1)番目の未選択経路とそれらのコストが格納され得る。さらに、N番目の選択経路205sのN番目の前ノード260(x,y)は「検査済み」としてマーキングされ得る。「検査済み」としてマーキングされたノードは将来の繰り返しにおいて検査されなくてもよい。
図8C−Dは、選択工程180/380/(c)がまた例えば(N+2)番目工程において以前の未選択経路205nを選択する結果を生じ得るということを示す。図8A−Bに示される(N+1)番目の(a)−(d)工程を繰り返した後、(N+1)番目の選択経路205sは座標(x+Δx,y)を有する(N+1)番目の前ノード260で終了した。これにより、方法100/300の新しい(N+2)番目の繰り返しが始まる。生成工程160/360/(a)を反復する工程は、(N+2)番目の拡張リンク270により(N+1)番目の選択経路205sを拡張することにより(N+2)番目の拡張経路を生成する工程を含み得る。この後には、判断工程170/370/(b)を反復して(N+2)番目の拡張経路の経路コストを判断する工程が続く。
経路コストが判断工程170/370/(b)において判断されると、以降の選択工程180/380/(c)は、(N+2)番目の選択経路205sを選択するために(N+2)番目の拡張経路と格納された未選択経路とから最小コスト経路を選択することを含む。図8Dは、検査済み経路のうちの最小経路コストが、(N+2)番目の拡張リンク270(x,y)を対角線的に有するその前のノート260(x,y)(図8Aを参照)から拡張されたN番目の選択経路を構成する以前の未選択経路に属するケースを示す。図8Dは、対角線方向拡張リンク270(Δx,y)で終るこの以前の未選択であるが今や呼び出された経路205nの経路コストが、新たに拡張された経路の任意の1つより低い経路コストを有し、したがって(N+2)番目の選択経路205sとして選択されるケースを示す。
この例を通じて、図8C−Dに示された(N+2)番目の(a)−(d)を行う工程は、方法100/300が、前の工程において選択された経路260の前ノードから必ずしも拡張することなく経路205を進化し得るということを実証する。その代りに、方法100/300は時には、その工程のうちのいくつかを辿り直し、前ノード260からではなく、前の工程において選択されなかった経路205nのうちの1つを選択することにより、経路205を進化または拡張し得る。
図9は、ヒューリスティックコスト割り当て工程150または350の様々な実施形態を示す。実施形態150aでは、ヒューリスティックコスト割り当て工程は、画像処理プロセッサ30により画像200の縁からのノード210またはリンク220の距離を判断する工程と、判断された距離に応じてノード210またはリンク220のヒューリスティックコストを定義する工程とを含み得る。いくつかのケースでは、ヒューリスティックコストは縁からの距離に単に比例し得る。
図10Aはこの実施形態150aを示す。拡張リンク270により選択経路205sを拡張するコストは、拡張リンク270のリンクコストと新たに提案された前ノード260のヒューリスティックコストとを加算することを含み得る。ヒューリスティックコストは、画像200の縁205から新たに提案された前ノード260までの距離410(またはd)から導出され得る。一実施形態では、ヒューリスティックコストは、ノード210の格子の格子面間隔の単位で測定された対応する長さ(aまたはΔxなど)から計算され得る。いくつかの実施形態では、ヒューリスティックコストを計算するこのやり方は、画素の数として縁205からの前ノード260の距離410を測定することにより実施される。
示されたケースでは、対角線方向拡張リンクの長さは、Δxまたはa(正方格子の格子面間隔の単位)で2の平方根であり、一方、縁410までの距離の長さはΔxの同じ単位の距離dである:N=d/Δx。一般的に、コストは距離の任意の関数fcostであり得る:
Figure 0006795596
いくつかの実施形態では、f(x)は単調関数であり得る。いくつかの実施形態では、f(x)は単純に長さ自体であり得る:f(x)=x。さらに、様々な実施形態では、リンクコスト関数とヒューリスティックコスト関数は様々なやり方で合成され得る。例えば、ヒューリスティックコストは重み係数αでもってリンクコストへ加算され得る。ここでは、様々なαの値が探索方法の収束の速度に影響を与え得る。いくつかの実施形態では、αは、経路のチェーン長を縁205からの距離に単純に加算することにより1であり得る。明らかに、小さいα<1は、ヒューリスティックコストに限定重みを与える実施形態を特徴付ける、一方、大きなα>1は、ヒューリスティックコストが探索アルゴリズムにおいてかなりの重み付けを与えられることを意味する。
図9に戻ると、割り当て工程150の別の実施形態150bは、眼層の以前の記録済み画像に基づき眼層の層画像を画像処理プロセッサにより判断する工程と、層画像に沿った画像の縁までのノードとリンクのうちの少なくとも1つからの経路長に基づきノードまたはリンクのヒューリスティックコストを定義する工程とを含み得る。
図10Bは、150bの実施形態を示す。150bの示された実施形態では、以前に生成された層画像420は、眼層201の層画像を生成するために画像処理プロセッサ30により使用され得る。ヒューリスティックコスト関数は、画像200の縁205から考慮対象拡張リンク270または提案済み前ノード260までの距離430として実施形態150aのように直線に沿ってではなく以前に生成された層画像420に沿って生成され得る。他の実施形態と同様に、ヒューリスティックコストは、距離d 430の関数fcost(d)であり得、重み係数αでもってリンクコストまたはノードコストに加算され得る、または別のやり方で組み合せられ得る。
150bのいくつかの実施形態では、探索中経路205と、以前の記録済み層画像に沿った距離430の測定を可能にする以前の記録済み層画像420とを結びつけるために、層画像生成工程は以前の記録済み層画像420を探索中眼画像200に登録する工程を含み得る。いくつかの実施形態では、以前の記録済み画像は解析中眼画像200と同じタイプのものまたはそれと同じ様相のものであり得る。いくつかのケースでは、両画像はOCT画像であり得る、または両画像は超音波画像であり得る。しかし、2つの画像は、眼の光軸が通常、以前の層画像が記録されたときと現在の眼画像200が撮影されたときとで異なるやり方で配向されるので、互いにうまく整合されない可能性がある。また、以前のおよび現在の画像は横方向に平行移動、回転、または互いに対してスケーリングされ得る。以前の記録済み画像を眼層画像200に登録することで、これらの差を低減または補正し、したがってヒューリスティックコストの計算の精度を改善し得る。
図9は、割り当て工程150cのいくつかの実施形態が、画像グラフの解像度未満の第1の解像度を有するスケーリング済み画像グラフを生成する工程と、スケーリング済み経路を判断するために、スケーリング済み画像グラフ上の経路の非ヒューリスティックグラフ探索を行う工程と、スケーリング済み経路を使用してヒューリスティックグラフ探索のヒューリスティックコストを割り当てる工程とを含み得るということを示す。
図10Cは、スケーリング済み経路を使用する割り当て工程150cのいくつかの実施形態150c1が、原画像グラフより低い解像度を有するスケーリング済み画像グラフ440を生成する工程を含み得るということを示す。スケーリング済み画像グラフ440は、例えば撮像システム10により撮影された画像200から検出画像データ230(x,y)または特徴画像データ240(x,y)のサブセットを選択することにより生成され得る。サブセットは、検出画像データ230または特徴画像240を粗視化するまたは間引くことにより選択され得る。例としては、5番目または10番目毎の画素、リンク、またはノードに対応する検出画像データ230または特徴画像データ240を選択する工程を含む。図10Cでは、スケーリング済み画像グラフは、黒い太い点により示されたノードだけの一組の検出画像データである。
スケーリング済み画像グラフ440を生成する工程の後には、スケーリング済み画像グラフ440の非ヒューリスティック探索により、スケーリング済み経路450またはスケーリング済み層画像450を判断する工程が続き得る。これらの工程の後には、工程130/330のヒューリスティック経路探索を開始する工程が続き得る。
図10Cは、ヒューリスティック探索工程内では、ヒューリスティックコスト割り当て工程150/350が、経路205の前ノード260を、スケーリング済み経路450上に投影する工程と、前ノード260のヒューリスティックコストとして、スケーリング済み経路450に沿った縁205からの前ノード260の投影の距離460を使用する工程とを含み得るということを示す。用語「投影」はここでは広義に使用される。これは、スケーリング済み経路450により前ノード260を様々なやり方で接続することを指し得る。
図10Dは、前ノード260がスケーリング済み経路450に再び投影または接続される関連実施形態150c2を示す。この実施形態では、ヒューリスティックコストは、スケーリング済み経路450からの前ノード260の距離470に基づき計算される。最後に、いくつかの実施形態では、図10Cと図10Dの技術は組み合せられ得、ヒューリスティックコストは、スケーリング済み経路450に沿った縁205からの前ノード260の投影の距離460と組み合わされたスケーリング済み経路450からの前ノード260の距離470に基づき得る。
上記実施形態150/350/(a)−(c)のうちの任意のものでは、ヒューリスティックグラフ探索を行うのに先立って、校正工程が行われ得る。校正工程は、ヒューリスティック関数表を生成する工程と、生成されたヒューリスティック関数表を好適なメモリ内に格納する工程とを含み得る。ヒューリスティック探索中、予め格納されたヒューリスティック関数がメモリから読み出され得る。
図11A−Cは方法100/300の実施形態を示す。この実施形態は画素の小アレイ(番号1−12)に対し行われる。ヒューリスティック探索は、例えば開始画素6を終了画素8へ接続する経路205を見出すことに向けられる。この実施形態では、ヒューリスティック探索の能力は、非ヒューリスティック探索に必要な工程の数に対するヒューリスティック探索に必要な工程の数の低減において実証される。150bまたは150cに関係する実施形態の特別の実施形態として、図11A−Cにおける探索は、以下の実施形態により画素6を画素8に接続する経路205を見出すことに向けられる:
(i)画像グラフ構築工程120/320は、画素またはノードのアレイの直隣と対角線方向隣とを接続するリンクを規定する工程を含む;
(ii)リンクコスト割り当て工程140/340は、リンク時間の長さ10を割り当てる工程を含む:すなわち、直隣リンクコスト=10、対角線方向隣リンクコスト=14(2の平方根は1.4として近似される)、ノードコストを使用しない;
(iii)リンクコスト割り当て工程140/340はまた、任意の画素を画素7と11に接続するリンクに禁止的に高いリンクコストを割り当てる工程を含む。これらは、先に論述された高コスト領域の例である。
(iv)ヒューリスティックコスト割り当て工程150/350は後で説明される。
次の略称が導入される:リンクコストはLCにより表される。経路は接続するノードにより参照される:(i−x−j)はノードiとjをノードxを介して接続する。N回の繰り返し後に画素iとjを含む経路コストはC(i−j)により表される、iとjとをxを介して接続する経路のコストはC(i−x−j)である。
図11B−1と11B−2は、比較目的のための、ヒューリスティックコストが無い工程(a)−(d)の実施形態を示す。次に、図11Cは行われる同じ探索(今回は、ヒューリスティックコストも利用された)を示す。図11Cのヒューリスティック探索は最初の画素6から最終画素8までの最低コスト経路をはるかに速く見出すということが実証されることになる。
この例は縁から縁までの経路205の探索の変形形態であるということに注意すべきである。この実施形態は点から点までの経路の探索である。しかし、ヒューリスティック探索と非ヒューリスティック探索との比較は、この例に関し同様に実証され得る。
非ヒューリスティック探索の態様は次のものを含む。N番目の工程から生じる経路を(i−x)として表す、その前ノード260はxに位置する。ここで、iは、ノードiにおいて終了する一連のノードを指し得る。N番目の格納工程190/390/(d)では、iから始まるが異なるノードj上で終わり選択されなかった経路のコストを含む未選択経路のコストはC(i−j)として格納される。
(N+1)番目の工程において、新しい拡張リンク270は、N番目の経路をその前ノードx/260から拡張するように提案される。選択工程180/380/(c)を実行する際、前ノードx/260から拡張された経路のコストは、格納済みで以前の未選択経路205nのコストと比較され、最低コスト経路が選択される。この選択工程180/380/(c)では、時には、同じ最低コストを有する2つ以上の経路が存在し得る。このような場合、選択手順が採用される必要がある。いくつかの実施形態では、新たに拡張された(N+1)番目の経路(i−x−j)のコストが、格納された未選択のN番目経路(i−j)のコストと等しければ(C(N+1)(i−x−j)=C(i−j))(ここで、これらの2つの経路は同じノードiで開始し同じノードjで終了する)、格納されたN番目の経路(i−j)が、新たに暫定的に拡張された経路(i−x−j)の代わりに選択される。明らかに、新たに暫定的に拡張された経路(i−x−j)のコストC(N+1)(i−x−j)が格納済み経路(i−j)のコストC(i−j)未満であれば、新たに拡張された経路(i−x−j)が選択される。当然、ノードiとjを接続する最低コスト経路としてどの経路が選択されても、この選択経路(i−j)または(i−x−j)のコストは、この(N+1)番目の選択工程180/380/(c)において全体として最低なコスト経路を選択するために、他の拡張され格納された経路のコストと依然として比較される必要がある。
図11B−Cにおいて、N番目の工程毎に、考慮対象経路のコストCが対応ボックス内に列挙される。最低コスト経路は経路を太字化することにより示される。
この実施形態の別の態様は、時には2つ以上の経路が前述の選択実施後でも同じ最低コストを有し得るということである。このような状態では、タイブレーク(tie−break)アルゴリズムが使用され得る。このタイブレークアルゴリズムを選択する際にある自由度が存在し得るので多種多様のタイブレークアルゴリズムが使用され得る。図示の例では、2つの経路が同じコストを有すればその前ノードが左上角に最も近い経路(ラベル1)が選択される。このタイブレーク工程が2つ以上の最低コスト経路を生成すれば追加のタイブレーク工程が採用される必要がある。いくつかの実施形態では、このようなタイは第2の距離(例えば画像200の上縁からの距離)を使用することによりブレークされ得る。他の実施形態は他の第1および第2のタイブレーク規則または距離(画像の左縁または右縁からの距離を含む)を採用し得る。現実のアプリケーションでは、特別なタイブレーク手順は、多くの値を取り得る画像データまたは強度により個々のリンクのコストが設定されるので、それほど重要ではない。したがって、2つの経路が等しいコストを有することは非常に稀であり、一段階タイブレーク手順がこれらの等しいコスト経路中から単一の選択経路を選択することができなくなるということはさらに稀である。
以下の例では、選択された最低コスト経路が太字体により示される。この経路がタイブレーク手順により選択されると、これはアスタリスクにより示される。
図11B−1と図11B−2の非ヒューリスティック探索例について次に幾分詳細に説明する。
工程0:リンクコストを割り当てる
コスト(工程0):直隣リンクコストLC=10;対角線方向隣リンクコストLC=14。
工程1:
1a.第1の拡張リンクによりノード6をノードiへリンクすることにより第1の拡張経路(6−i)を生成する;
1b.第1の拡張経路の経路コストC(6−i)を判断する:
1c.第1の選択経路(6−2)として、第1の拡張経路から選択された最小コスト経路を選択する:
1d.未選択経路のコストを格納し;ノード6を検査済みとしてマーキングする。
*工程1cでは、経路(6−2)、(6−5)、(6−10)のコストは次のコストのリストに示すようにすべて同じ10だった。さらに、前ノード2と5は左上角ノード1から同じ距離を有する。したがって、上記タイブレーク手順の両工程が、(6−2)を選択するために採用された。
コスト(工程1):
−第1の拡張経路コスト:
(6−1)=14
(6−2)=10
(6−3)=14
(6−5)=10
(6−9)=14
(6−10)=10
工程2:
2a.第2の拡張リンクにより第1の選択経路(6−2)をノードIまで拡張することにより第2の拡張経路(6−2−i)を生成する;
2b.第2の拡張経路の経路コストC(6−2−i)を判断する;C(6−2−i)<C(6−i)の場合に限り、経路(6−2)を(6−2−i)まで拡張する;
2c.第2の拡張経路からおよび格納された未選択経路から選択された最小コスト経路を第2の選択経路(6−5)として選択する:
2d.未選択経路のコストを格納し;ノード2を検査済みとしてマーキングする。
*経路(6−5)と格納された経路(6−10)は同じ最低コストを有する。タイブレーク手順は、前ノード5がノード10よりノード1に近いので、選択された経路(6−5)を選択した。
コスト(工程2):
−第2の拡張経路コスト:
(6−2−1)=20、C(6−1)=14を選択する。
(6−2−3)=20、C(6−3)=14を選択する。
(6−2−5)=24、C(6−5)=10を選択する。
−格納された経路コスト:工程1からの未選択経路。
工程3:
3a.3番目の拡張リンクにより第2の選択経路(6−5)をノードiまで拡張することにより3番目の拡張経路(6−5−i)を生成する;
3b.3番目の拡張経路の経路コストC(6−5−i)を判断する;C(6−5−i)<C(6−i)の場合に限り、経路(6−5)を(6−5−i)まで拡張する。
3c.3番目の拡張経路と未選択経路とから選択された最小コスト経路を3番目の選択経路(6−10)として格納する;
3d.未選択経路のコストを格納し;ノード5を検査済みとしてマーキングする。
コスト(工程3):
−3番目の拡張経路コスト:
(6−5−1)=20、C(6−1)=14を選択する。
(6−5−9)=20、C(6−9)=14を選択する。
(6−5−10)=24、C(6−10)=10を選択する。
−格納された経路コスト:工程1〜2からの未選択経路。
工程4:
4a.4番目の拡張リンクにより3番目の選択経路(6−10)をノードiまで拡張することにより4番目の拡張経路(6−10−i)を生成する;
4b.4番目の拡張経路の経路コストC(6−10−i)を判断する;C(6−10−i)<C(6−i)の場合に限り、経路(6−10)を(6−10−i)まで拡張する;
4c.4番目の拡張経路と格納された未選択経路とから選択された最小コスト経路を4番目の選択経路(6−1)として選択する:
4d.未選択経路のコストを格納し;ノード10を検査済みとしてマーキングする。
*再び2つの最低コスト経路(格納された経路(6−9)と(6−1))が存在する。前ノード1は左上角により近い(実際にはそれに一致する)、経路(6−1)が、選択工程180/380/(c)において上記タイブレーク手順により選択される。
コスト(工程4):
−4番目の拡張経路:
(6−10−9)=24、C(6−9)=14を選択する。
−格納された経路コスト:C(6−1)=14を含む工程1〜3からの未選択経路。
工程5:
5a.5番目の拡張リンクにより4番目の選択経路(6−1)をノードiまで拡張することにより5番目の拡張経路(6−1−i)を生成する;
5b.全ての可能なノードi(2、5、6)は検査済みとしてマーキングされているので、そのコストが計算される必要がある5番目の拡張経路は存在しないということに留意されたい;
5c.格納済みで以前の未選択経路から最低コスト経路を選択する:(6−9)
5d.1を検査済みとしてマーキングする。
*再び、2つの最低コスト経路(6−3)と(6−9)が存在する。タイブレーク手順は(6−9)を選択した。
コスト(工程5):
−5番目の拡張経路コスト:
ノード1に接続され得るすべてのノード(2、5、6)はすべて検査済みとして既にマーキングされているので5番目の拡張経路は許容されない。
−格納されたコスト:工程1〜4からの未選択経路。
(6−9)=14
工程6:
6a.6番目の拡張リンクにより5番目の選択経路(6−9)をノードiまで拡張することにより6番目の拡張経路(6−9−i)を生成する;
6b.全ての可能なノードi(5、6、10)は検査済みとしてマーキングされているので、そのコストが計算される必要がある6番目の拡張経路は存在しないということに留意されたい;
6c.格納済みで以前の未選択経路:(6−3)から最低コスト経路を選択する;
6d.9を検査済みとしてマーキングする。
コスト(工程6):
−6番目の拡張経路コスト:
5、6、10はすべて検査済みとしてマーキングされているので、6番目の拡張経路は許容されない。
−格納されたコスト:工程1〜5からの未選択経路。
(6−3)=14
工程7:
7a.7番目の拡張リンクにより6番目の選択経路(6−3)をノードiまで拡張することにより7番目の拡張経路(6−3−i)を生成する;
7b.7番目の拡張経路のうちの1つがターゲットノード8に達していない限り7番目の拡張経路の経路コストC(6−3−i)を判断する。7番目の拡張経路がターゲットノード8に達していれば、眼層の画像として第7の拡張経路(6−3−8)を出力/報告する。
コスト(工程7):(拡張経路(6−3−8)がターゲットノード8に達したので、いかなるコストベース選択も行われる必要がなく、したがって、これらのコストは完全性のためにだけ与えられる):
−第7の拡張経路コスト:
(6−3−4)=24
(6−3−8)=28
図11B−1と図11B−2は、最低コストを有する経路(6−8)を見出すために非ヒューリスティック探索が16の経路コスト評価を行うことを必要とするということを示す。これはコストC(6−3−8)=28を有する経路(6−3−8)である。
図11Cは、この非ヒューリスティック探索とヒューリスティック探索方法100/300の実施形態とを対比する。ここで、コスト判断は、ヒューリスティックコストHCをリンクコストLCへ加える工程を含む。この実施形態では、ヒューリスティックコストは図9の実施形態150a、150bの混合により割り当てられる:拡張リンク220のHCは、ターゲットノード8からの拡張リンク220の末端ノードの「対角線方向距離」により設定される。ノードの対角線方向距離は次の少なくとも2つのやり方で計算され得る:
(i)ノードとターゲットノードとの間の最低コスト経路を判断し、10をあらゆる水平方向または垂直方向リンクに割り当て、14をあらゆる対角線方向リンクへ割り当てる。
(ii)dx=|ノード(x)−ターゲット(x)|、dy=|ノード(y)−ターゲット(y)|、およびHC=10×(dx+dy)−6×min(dx,dy)を計算する。ここで、ノード(x)はノードのx座標を指し、ターゲット(x)はターゲットノードのx座標を指し、|…|は引数…の絶対値を採ることを指し、min(dx,dy)はdxとdyのうちの小さい方を採ることを指す。これらの2つの手順は、同じHCを各ノードへ割り当てるので等価である。
上述のように、これらのヒューリスティックコストは、実際の探索中にこれらのHC値をメモリから呼び出すだけでよいように予め計算され格納され得る。他の実施形態では、「実時間で」探索処理を行うことの一部としてHC値を計算することが可能である。画像処理プロセッサ30のプロセッサおよびメモリはこの目的のために使用され得る。
その末端ノードのHCがそのHCとして各リンクに割り当てられると、リンクHCは、重み係数α=1でもって、単純加算によりまたは等価的に、同じリンクのリンクコストと組み合わせられる。簡単のため対角線方向距離の計算ではリンク7と11は排除されないということに留意されたい。
ヒューリスティックコストHCを図11Aの例に割り当てるこの手順を実証する。例えば、ノード8からのノード1の対角線方向距離は方法(ii)に従って10×(3+1)−6×min(3,1)=34に等しいのでHC(1)=34。これは当然10+10+14に等しい(方法(i)によるHC)。
HC値が割り当てられると、経路コストも判断され得る。例えば、方法(i)を使用することにより、対角線方向リンク(6−1)のコストが14であるのでC(6−1)=48、これはHC(1)=34に加えられる((6−1)リンクの末端ノード(ノード1)のHC)。別の例では、対角線方向リンク(6−9)のリンクコストが14であるのでC(6−9)=48、10×(3+1)−6+min(3,1)=34によりHC(9)=34。ここで、9とターゲットノード8との間の最低コスト経路は禁止ノード11または7を通ることにより判断された。
図11Cは、ヒューリスティックコストもまた探索を誘導するために使用される場合の探索方法示す。その工程について次に幾分詳細に説明する。
工程0:
0a.リンクコストLCを割り当てる。
0b.ヒューリスティックコストHCを割り当てる:HC=ターゲットノード8からのノードの斜格子距離
コスト:
LC(直隣)=10
LC(対角方向近隣)=14
そして
HC(1)=34
HC(2)=24
HC(3)=14
HC(4)=10
HC(5)=30
HC(6)=20
HC(9)=34
HC(10)=24
工程1:
1a.第1の拡張リンクによりノード6を隣接ノードiへリンクすることにより第1の拡張経路(6−i)を生成する;
1b.第1の拡張経路の経路コストC(6−i)をC=LC+HCと判断する;
1c.第1の拡張経路から選択された最低コスト経路を第1の選択経路(6−3)として選択する:
1d.未選択経路のコストを格納し、ノード6を検査済みとしてマーキングする。
コスト(工程1):
−第1の拡張経路コスト:
(6−1)=48
(6−2)=34
(6−3)=28
(6−5)=40
(6−9)=48
(6−10)=34
工程2:
2a.第2の拡張リンクにより第1の選択経路(6−3)をノードiへ拡張することにより第2の拡張経路(6−3−i)を生成する;
2b.第2の拡張経路がターゲットノード8に達しない限り、第2の拡張経路の経路コストC(6−3−i)を判断する。第2の拡張経路がターゲットノード8に達したならば、眼層の画像として第2の拡張経路(6−3−8)を出力する:
コスト(工程2):
−第2の拡張経路コスト:
(6−3−2)=48、
(6−2)=34を選択する。
(6−3−4)=34
(6−3−8)=28
−格納された経路コスト:工程1からの未選択経路。
図11Cは、方法100/300によるヒューリスティック経路探索は、図11B−1と図11B−2の非ヒューリスティック方法により必要とされる16の経路コスト計算の代わりに9の経路コストの計算だけを必要としたということを示す。これは、特に撮像システム10とその画像処理プロセッサ30の計算時間および需要の大幅な低減であり、したがって、非ヒューリスティック方法を越えるヒューリスティック方法100/300のかなりの利点を実証する。
図12は、OCT画像上の経路探索の診断のスクリーンショットを示す。画像200のサイズは1500×550画素だった。画像処理プロセッサ30は、2つのインテルXeonプロセッサ上でWindows7オペレーティングシステムを走らすLenovo D30ワークステーションを含んだ。左パネルは、非ヒューリスティック経路探索が0.24秒を必要としたということを示し、一方、右パネルは、ほぼ等価精度を有する方法100/300の実施形態によるヒューリスティック経路探索が0.04秒だけ必要としたということを示した。同じ計算プロセッサが両探索のために画像処理プロセッサ20内で使用された。計算時間のこの6倍の低下は方法100/300のかなりの利点である。
方法100/300が特にうまく働く画像ターゲットのタイプの1つは眼層などの層または別の拡張物体であるということに留意すべきである。これらの層撮像ターゲットの共通態様は、ターゲットが画像の縁から縁まで配向される、方向付けされる、滑らかである、または拡張されるということである。このようなターゲットに関して、ヒューリスティックコストの上記実施形態は探索の効率を大幅に増加する。
本明細書は多くの詳細を含むが、これらは、本発明または請求され得るものの範囲に対する制限として解釈されるべきでなく、むしろ特別の実施形態に特有の特徴の説明として解釈されるべきである。別々の実施形態の文脈の中で本明細書において説明されたいくつかの特徴はまた、単一実施形態において組み合わせで実施され得る。逆に、単一実施形態の文脈の中で説明された様々な特徴もまた、複数の実施形態において個別に、または任意の好適な副組み合せ(sub−combination)で提供され得る。さらに、特徴は、いくつかの組み合わせで働き、当初そのように請求されると上に説明され得るが、請求された組み合わせからの1つまたは複数の特徴がいくつかのケースでは組み合わせから削除され得、請求された組み合わせは副組み合わせまたは副組み合わせの変形形態に向けられ得る。

Claims (23)

  1. 眼画像を処理する方法であって、
    眼層を含む眼領域の画像データを撮像システムにより検出する工程と;
    リンクにより接続されたノードと、前記ノードと前記リンクの少なくとも1つに対応する前記検出された画像データとを含む画像グラフを前記画像から画像処理プロセッサにより構築する工程と;
    経路のヒューリスティックグラフ探索を前記眼層の画像に対応する前記画像グラフに対して行う工程であって、本工程は、
    リンクコストの少なくとも1つを前記画像グラフのリンクへおよびノードコストを前記画像グラフのノードへ割り当てることにより;
    前記画像グラフの前記ノードと前記リンクの少なくとも1つへヒューリスティックコストを割り当てることにより;
    (a)拡張リンクによりその前ノードから選択経路を拡張することにより拡張経路を生成することにより;
    (b)前記拡張経路のヒューリスティックコストと前記拡張経路のチェーンコストとを組み合わせることにより拡張経路の経路コストを判断することにより、ここで、経路の前記ヒューリスティックコストはその前ノードの前記ヒューリスティックコストであり、経路の前記チェーンコストは、前記経路の前記リンクの前記リンクコストの合計、前記経路の前記ノードの前記ノードコストの合計、および前記経路の前記リンクと前記ノードの前記リンクコストと前記ノードコストの加重和のうちの1つである;
    (c)更新された選択経路として、前記拡張経路からおよび格納された未選択経路から選択された最低コスト経路を選択することにより;
    (d)未選択拡張経路とそれらのコストを格納し、前記選択された経路の前記前ノードを検査済みとしてマーキングすることにより;
    そして工程(a)−(d)を繰り返し反復することにより行われる工程と、を含む方法。
  2. 前記画像グラフを構築する前記工程は、前記撮像システムから前記眼領域の検出画像データを受信する工程と、
    前記画像処理プロセッサにより前記検出画像データから特徴画像データを生成する工程とを含み、
    前記特徴画像データは、前記検出画像データの強度、位相、勾配またはテクスチャに対応し、
    前記ヒューリスティックグラフ探索を行う前記工程は、前記ヒューリスティックコストと、前記リンクコストと前記ノードコストの少なくとも1つとを判断するために前記特徴画像データを使用する工程を含む、請求項1に記載の方法。
  3. 前記検出画像データは、検出された撮像光の画像強度、偏光状態、色および位相の少なくとも1つに関連付けられる、請求項2に記載の方法。
  4. 前記画像グラフを構築する前記工程は、前記グラフの前記ノードを前記撮像システムの画素に対応するように定義するとともに前記グラフの前記リンクを前記ノード同士を接続するリンクとして定義する工程を含み;
    前記特徴画像データを生成する前記工程は、前記検出画像データの強度と位相のうちの1つを前記画像データを検出した前記画素に関連付ける工程と、
    一対のノード間の前記検出画像データの前記強度と前記位相の1つの勾配を評価する工程とを含み、
    リンクコストを前記リンクへ割り当てる前記工程は前記勾配が増加すると低下するリンクコストを、前記一対のノードを接続する前記リンクへ割り当てる工程を含む、請求項2に記載の方法。
  5. 前記一対のノードは、最近隣画素、対角線方向隣画素、カットオフ距離より短い距離だけ離された画素のうちの少なくとも1つを含む、請求項4に記載の方法。
  6. 拡張経路の前記経路コストを判断する前記工程は:
    前記選択された経路の前記ヒューリスティックコストの変化を計算するとともに、前記選択された経路の前記チェーンコストの変化を計算する工程であって、前記両方の変化は前記選択された経路を前記経路拡張リンクにより拡張することにより引き起こされる、工程と;
    前記ヒューリスティックコストの前記変化および前記チェーンコストの前記変化の組み合わせにより前記選択経路の前記経路コストを更新することにより前記拡張経路の前記経路コストを判断する工程とを含む、請求項1に記載の方法。
  7. 最低コスト経路を選択する前記工程は、前記拡張経路および格納された未選択経路のうちの2つ以上が同じ経路コストを有するときにタイブレークアルゴリズムを使用する工程を含む、請求項1に記載の方法。
  8. 終了判定基準に達するまで前記選択された経路を更新するために工程(a)−(d)を反復する工程と;
    前記更新された選択経路を前記眼層の前記画像に対応するとして識別する工程とを含む、請求項1に記載の方法。
  9. ヒューリスティックコストと前記チェーンコストとを組み合わせる工程は、前記拡張経路の前記ヒューリスティックコストを、重み係数でもって前記拡張経路の前記チェーンコストへ加える工程を含む、請求項1に記載の方法。
  10. 前記ヒューリスティックコストを割り当てる前記工程は、
    前記画像処理プロセッサにより前記画像の縁からの前記ノードと前記リンクのうちの前記少なくとも1つの距離を判断する工程と;
    前記判断された距離に応じて、ノードとリンクのうちの少なくとも1つの前記ヒューリスティックコストを定義する工程とを含む、請求項1に記載の方法。
  11. 前記ヒューリスティックコストを割り当てる前記工程は、
    前記画像処理プロセッサにより前記眼層の以前の記録済み層画像に基づき前記眼層の層画像を生成する工程と;
    ノードまたはリンクの少なくとも1つのヒューリスティックコストを、前記ノードと前記リンクの少なくとも1つから前記判断された層画像に沿った前記画像の縁までの経路長に基づき定義する工程とを含む、請求項1に記載の方法。
  12. 前記以前の記録済み層画像を前記眼画像へ登録する工程を含む、請求項11に記載の方法。
  13. 前記ヒューリスティックコストを割り当てる前記工程は、
    前記ヒューリスティックグラフ探索を行うのに先立って較正の一部としてヒューリスティック関数テーブルを生成する工程と;
    前記生成されたヒューリスティック関数テーブルをメモリ内に格納する工程と;
    前記格納されたヒューリスティック関数テーブルを前記メモリから呼び出して前記ヒューリスティックコスト割り当て工程に使用されるようにする工程とを含む、請求項1に記載の方法。
  14. 前記ヒューリスティックコストを割り当てる前記工程は、
    前記画像グラフの解像度未満の第1の解像度によりスケーリング済み画像グラフを生成する工程と;
    スケーリング済み経路を判断するために前記スケーリング済み画像グラフ上の前記経路の非ヒューリスティックグラフ探索を行う工程と;
    前記スケーリング済み経路を使用して前記ヒューリスティックグラフ探索の前記ヒューリスティックコストを割り当てる工程と、を含む、請求項1に記載の方法。
  15. 前記スケーリング済み経路を使用して前記ヒューリスティックグラフ探索の前記ヒューリスティックコストを割り当てる前記工程は、前記スケーリング済み経路に沿った前記画像の縁からの前記画像グラフの前記ノードと前記リンクの少なくとも1つの距離を使用する工程を含む、請求項14に記載の方法。
  16. 前記距離を使用する工程は前記スケーリング済み経路からの前記画像グラフの前記リンクと前記ノードとの少なくとも1つの距離と前記使用された距離とを組み合わせる工程を含む、請求項14に記載の方法。
  17. 前記スケーリング済み画像グラフを生成する前記工程は、粗視化と間引きの少なくとも1つにより、前記撮像システムにより撮影された前記画像から前記スケーリング済み画像グラフを生成する工程を含む、請求項14に記載の方法。
  18. 前記撮像システムは光コヒーレンストモグラフィ(OCT)システムを含む、請求項1に記載の方法。
  19. 前記撮像システムは超音波システムを含む、請求項1に記載の方法。
  20. 前記撮像システムはシャインプルーフシステムを含む、請求項1に記載の方法。
  21. 画像を撮影する前記工程は、擬似カラーを関連付けること、コントラストを調整すること、輝度を調整すること、フィルタリングすること、正規化すること、雑音低減を実施すること、画像データを増強すること、およびヒストグラム等化を実施することのうちの少なくとも1つにより前記撮像システムにより前記画像を前処理する工程を含む、請求項1に記載の方法。
  22. 請求項1に記載の方法は前記眼層の画像に対して行われ、
    前記画像は、前記画像の縁から縁まで配向された、方向付けされた、滑らかである、および拡張されたもののうちの1つである、請求項1に記載の方法。
  23. 眼画像を処理する方法であって、
    眼層を含む眼領域の画像データを撮像システムにより検出する工程と;
    リンクにより接続されたノードと、前記ノードと前記リンクの少なくとも1つに対応する前記検出された画像データとを含む画像グラフを前記画像から構築するために画像処理プロセッサを使用する工程と;
    経路のヒューリスティックグラフ探索を前記眼層の画像に対応する前記画像グラフに対して行う工程であって、本工程は、
    リンクコストの少なくとも1つを前記画像グラフのリンクへおよびノードコストを前記画像グラフのノードへ割り当てることにより;
    前記画像グラフの前記ノードと前記リンクの少なくとも1つへヒューリスティックコストを割り当てることにより;
    (a)N番目の選択経路をそのN番目の前ノードから(N+1)番目の拡張リンクにより拡張することにより(N+1)番目の拡張経路を生成することにより;
    (b)前記(N+1)番目の拡張経路のリンクコストとノードコストの少なくとも1つと前記(N+1)番目の拡張経路のヒューリスティックコストとを組み合わせることにより前記(N+1)番目の拡張経路の経路コストを判断することにより、ここで、経路の前記ヒューリスティックコストはその前ノードの前記ヒューリスティックコストであり、前記経路の前記リンクコストは前記経路の前記リンクの前記リンクコストの合計であり、前記経路の前記ノードコストは前記経路の前記ノードの前記ノードコストの合計である;
    (c)前記(N+1)番目の選択経路として、前記(N+1)番目の拡張経路と前記格納された未選択経路から選択された最小コスト経路を選択することにより;
    (d)前記(N+1)番目の未選択経路とそれらのコストを格納し、前記N番目の前ノードを検査済みとしてマーキングすることにより、行われる、工程と、を含み、工程(a)−(d)を繰り返し反復する方法。
JP2018529552A 2015-12-11 2016-12-02 ヒューリスティックグラフ探索による階層画像の高速自動区分化 Active JP6795596B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/966,694 2015-12-11
US14/966,694 US9928602B2 (en) 2015-12-11 2015-12-11 Fast and automated segmentation of layered image with heuristic graph search
PCT/IB2016/057324 WO2017098388A1 (en) 2015-12-11 2016-12-02 Fast and automated segmentation of layered image with heuristic graph search

Publications (2)

Publication Number Publication Date
JP2019503214A JP2019503214A (ja) 2019-02-07
JP6795596B2 true JP6795596B2 (ja) 2020-12-02

Family

ID=57680432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529552A Active JP6795596B2 (ja) 2015-12-11 2016-12-02 ヒューリスティックグラフ探索による階層画像の高速自動区分化

Country Status (8)

Country Link
US (1) US9928602B2 (ja)
EP (1) EP3360112B8 (ja)
JP (1) JP6795596B2 (ja)
CN (1) CN108369737B (ja)
AU (1) AU2016367430B2 (ja)
CA (1) CA3004517C (ja)
ES (1) ES2774126T3 (ja)
WO (1) WO2017098388A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123689B2 (en) 2015-10-28 2018-11-13 Oregon Health & Science University Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography
US10140693B2 (en) * 2017-03-23 2018-11-27 Intergraph Corporation Motion imagery corner point sequencer
US10991120B2 (en) * 2017-11-14 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing a plurality of undirected graphs
AU2018376898B2 (en) 2017-11-30 2024-05-23 Alcon Inc. Improving segmentation in optical coherence tomography imaging
US10970291B2 (en) * 2018-08-10 2021-04-06 MachineVantage, Inc. Detecting topical similarities in knowledge databases
CN109299337B (zh) * 2018-10-19 2022-05-13 南威软件股份有限公司 一种基于迭代的图搜索方法
CN112348829B (zh) * 2020-11-02 2022-06-28 东华理工大学 基于模态点演化的地面LiDAR点云枝叶分离方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657299B2 (en) * 2003-08-21 2010-02-02 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
US7995810B2 (en) * 2005-06-24 2011-08-09 The University Of Iowa Research Foundation System and methods for image segmentation in n-dimensional space
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
US8571278B2 (en) * 2005-06-24 2013-10-29 The University Of Iowa Research Foundation System and methods for multi-object multi-surface segmentation
US7997728B2 (en) * 2006-05-01 2011-08-16 University Of Southern California Mapping and diagnosis of macular edema by optical coherence tomography
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
US8348429B2 (en) 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
DE102009006416B3 (de) * 2009-01-28 2010-08-26 Siemens Aktiengesellschaft Verfahren und Verzweigungs-Ermittlungseinrichtung zur Ermittlung einer Verzweigungsstelle sowie einer Mittellinie innerhalb eines Hohlorgans nebst zugehörigem Computerprogramm
US8811745B2 (en) * 2010-01-20 2014-08-19 Duke University Segmentation and identification of layered structures in images
BR112013005592A2 (pt) * 2010-09-10 2017-06-20 Acist Medical Sys Inc aparelho e método para busca de imagens médicas
US8801187B1 (en) * 2010-12-23 2014-08-12 Carl Zeiss Meditec, Inc. Methods to reduce variance in OCT analysis of the macula
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
JP5395868B2 (ja) * 2011-09-26 2014-01-22 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
US9214029B2 (en) * 2012-02-02 2015-12-15 Peter Yim Method and system for image segmentation
US8929636B2 (en) * 2012-02-02 2015-01-06 Peter Yim Method and system for image segmentation
WO2013165614A1 (en) * 2012-05-04 2013-11-07 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US10360672B2 (en) * 2013-03-15 2019-07-23 University Of Iowa Research Foundation Automated separation of binary overlapping trees
JP5634587B2 (ja) * 2013-10-30 2014-12-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
AU2016367430A1 (en) 2018-05-24
CA3004517A1 (en) 2017-06-15
WO2017098388A1 (en) 2017-06-15
CN108369737B (zh) 2022-03-04
US20170169573A1 (en) 2017-06-15
CN108369737A (zh) 2018-08-03
ES2774126T3 (es) 2020-07-16
JP2019503214A (ja) 2019-02-07
EP3360112A1 (en) 2018-08-15
EP3360112B1 (en) 2020-01-29
CA3004517C (en) 2024-04-02
AU2016367430B2 (en) 2021-09-30
EP3360112B8 (en) 2020-03-11
US9928602B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6795596B2 (ja) ヒューリスティックグラフ探索による階層画像の高速自動区分化
JP6039156B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5487298B2 (ja) 3次元画像生成
JP5682065B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
US11653828B2 (en) Systems and methods for improved anterior segment OCT imaging
JP5645432B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP5955028B2 (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
US9089280B2 (en) Image processing apparatus, image processing method, and program storage medium
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
JP2009226226A (ja) 局所的に変形する可能性のある動きを分析するための装置および方法
JP2013101045A (ja) 物品の3次元位置姿勢の認識装置及び認識方法
CN107657644B (zh) 一种移动环境下稀疏场景流检测方法和装置
KR101894808B1 (ko) 안과장치 및 안과장치의 제어 방법
JP6752468B2 (ja) 3次元形状計測装置及び3次元形状計測方法
CN105011900B (zh) 用于生成宽视场光学相干体层析图的方法和装置
JP6864450B2 (ja) 眼科撮影装置
JP6644075B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6892234B2 (ja) 眼科撮影装置
JP4836065B2 (ja) エッジトラッキング方法及びそのコンピュータプログラム
JP5656018B2 (ja) 球体の検出方法
JP6647305B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6720267B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6419115B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020093125A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20240008545A (ko) 비대 흉터의 다시점 연속 영상을 이용한 3차원 분석 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201112

R150 Certificate of patent or registration of utility model

Ref document number: 6795596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250