JP5832523B2 - 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置 - Google Patents

光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置 Download PDF

Info

Publication number
JP5832523B2
JP5832523B2 JP2013508283A JP2013508283A JP5832523B2 JP 5832523 B2 JP5832523 B2 JP 5832523B2 JP 2013508283 A JP2013508283 A JP 2013508283A JP 2013508283 A JP2013508283 A JP 2013508283A JP 5832523 B2 JP5832523 B2 JP 5832523B2
Authority
JP
Japan
Prior art keywords
data set
data
dimensional
oct
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013508283A
Other languages
English (en)
Other versions
JP2013525035A (ja
JP2013525035A5 (ja
Inventor
クラウス・マーティン・エフ・ジー
ポセッド・ベンジャミン・エム
フジモト・ジェームズ・ジー
マイヤー・マルクス・アントン
ボック・リュディガー
ホルネゲア・ヨアヒム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2013525035A publication Critical patent/JP2013525035A/ja
Publication of JP2013525035A5 publication Critical patent/JP2013525035A5/ja
Application granted granted Critical
Publication of JP5832523B2 publication Critical patent/JP5832523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

関連出願
[政府支援]
本発明は、全体的または部分的に、NIHからの助成金R01−EY011289−24およびR01−CA075289−13、空軍科学研究局からの契約FA9550−07−1−0101およびFA9550−07−1−0014の支援を受けている。米国政府は本発明の一定の権利を有する。
本出願は、2010年4月29日に出願された米国仮出願第61/329,347号の利益を請求する。上記出願の全ての教示は、参照により本明細書に援用したものとする。
本発明は、光コヒーレンストモグラフィのための動き補正および画像改善に関する。
光コヒーレンストモグラフィ(OCT)とは、オブジェクト材料または生物組織(例えばヒトの目)の内部からの後方散乱または後方反射された光のエコー時間遅延および大きさを測定することにより、断面画像および体積データ(ボリュメトリックデータ)セットを得るものである。オブジェクトとデータ収集装置との相対的な動きは、収集された画像に歪みおよび誤差を引き起こす。
本発明の一例示の実施形態は、データセットを処理する方法である。本方法は、目的関数の値に基づいて1つ以上の3次元変換を計算することであって、各3次元変換はそれぞれの3次元データセットと関連付けられており、上記3次元データセットはオブジェクト(対象)の少なくとも部分的に重なる領域を表しており、上記計算することは、上記目的関数を評価することを含む。本実施形態において、上記目的関数は、(a)(i)変換後の状態における2つ以上の3次元データセット間、または(ii)該変換後の状態における2つ以上の前処理された3次元データセット間の類似度を算出すること、および(b)撮像器具に対する上記オブジェクトの動きを推定することによって評価される。上記方法はさらに、少なくとも1つの3次元変換を、そのそれぞれの3次元データセットに、または該それぞれの3次元データセットに対応する導関数3次元データセット(3次元微分データセット)に適用して、少なくとも1つの動き補正済データセットを得ることを含む。
本発明の他の例示の実施形態は、データセットを処理するためのシステムであって、目的関数の値に基づいて1つ以上の3次元変換を計算するように構成された計算モジュールであって、各3次元変換はそれぞれ3次元データセットに関連付けられており、上記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、上記計算することは、上記目的関数を評価することを含む。本実施形態において、上記目的関数は、(a)(i)変換後の状態における2つ以上の3次元データセット間、または(ii)該変換後の状態における2つ以上の前処理された3次元データセット間の類似度を算出すること、および(b)撮像器具に対する上記オブジェクトの動きを推定することによって評価される。上記システムはさらに、少なくとも1つの3次元変換を、そのそれぞれの3次元データセットに、または該それぞれの3次元データセットに対応する導関数3次元データセットに適用して、少なくとも1つの動き補正済データセットを得るように構成された動き補正モジュールを含む。
本発明の他の例示の実施形態は、一連の命令を記録した非一時的コンピュータ読み取り可能媒体であって、該命令はプロセッサによって実行されるときに、該プロセッサに、目的関数の値に基づいて1つ以上の3次元変換を計算させることであって、各3次元変換はそれぞれの3次元データセットに関連付けられており、上記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、上記プロセッサに上記1つ以上の3次元変換を計算させる上記命令は、上記プロセッサに上記目的関数を評価させる命令を含む。本実施形態において、上記目的関数は、(a)(i)変換後の状態における2つ以上の3次元データセット間、または(ii)該変換後の状態における2つ以上の前処理された3次元データセット間の類似度を算出すること、および(b)撮像器具に対する上記オブジェクトの動きを推定することによって評価される。上記一連の命令は、プロセッサによって実行されるときに、該プロセッサにさらに、少なくとも1つの3次元変換を、上記それぞれの3次元データセットまたは導関数3次元データセットに適用して、少なくとも1つの動き補正済データセットを取得する。
本発明のさらなる他の実施形態は、OCTデータセットを処理する方法であって、オブジェクトの少なくとも部分的に重なる領域を表す2つ以上の3次元OCTデータセットを収集することであって、少なくとも1つのデータセットが、少なくとも1つの他のデータセットの走査パターンに対して相補的な走査パターンを使用して収集される、収集することと、目的関数を使用して各データセットのための3次元変換を計算することとを含む。本実施形態において、上記目的関数は、(a)変換後の状態における上記3次元データセット間の計算された類似度にフェイバを与え(類似の度合いを優位にし)、(b)撮像器具に対する上記オブジェクトの動きにペナルティを与える(罰則を付ける)。上記方法はさらに、少なくとも1つの3次元変換をそのそれぞれのデータセットに適用して、少なくとも1つの動き補正済データセットを取得することを含む。
前述の説明は、添付の図面にて示したように、本発明の例示の実施形態についての以下のより詳細な説明から明らかとなるであろう。添付の図面では、同一の参照符号は、異なる図面を通して同一の部分を指すものとする。図面は必ずしも正しい縮尺ではなく、本発明の実施形態を説明するために強調されている。
スペクトル/フーリエ領域眼科用OCT装置の概略図である。 波長掃引型/フーリエ領域眼科用OCT装置の概略図である。 光コヒーレンストモグラフィデータセットを示す図であり、(A)は1次元、(B)は2次元、(C)は3次元の図である。 ラスタ走査パターンを示す図である。 光コヒーレンストモグラフィデータセットを示す図であり、(A)は1次元、(B)は2次元、(C)は3次元の図である。 画像収集中のサンプリングの歪みを示す図であり、(A)はスキャナ座標を示し、(B)はヒトの目の眼底写真に重畳した、対応するオブジェクトのサンプリング位置を示す。 (A)は、ヒトの網膜の視神経乳頭の3次元OCTデータセットの断面画像であり、(B)は、個々の断面画像を示す、ヒトの網膜の視神経乳頭の3次元OCTデータセットからの1セットの断面画像であり、(C)は、ボリュメトリック描画を示す、ヒトの網膜の視神経乳頭の3次元OCTデータセットの描画であり、(D)は、ヒトの網膜の視神経乳頭の3次元OCTデータセットの描画である。 画像収集中の横断方向の動きの効果を説明する図であり、(A)は、スキャナ座標における歪んだOCT眼底画像を示し、(B)は、オブジェクト座標において重なる領域を重畳した画像を示す。 本発明の方法の例示の実施形態を示すフローチャートである。 (A)は、高速走査方向を示す矢印を重畳した眼底写真であり、(B)は、ヒトの網膜の視神経乳頭の3次元OCTデータセットからの1セットの断面画像であり、(C)は、横断方向の動きの効果を示すOCT眼底画像である。 (A)は、高速走査方向を示す矢印を重畳した眼底写真であり、(B)は、ヒトの網膜の視神経乳頭の3次元OCTデータセットからの1セットの断面画像であり、(C)は、横断方向の動きの効果示すOCT眼底画像である。 位置合わせおよびマージの原理を説明する図である。 本発明の例示の実施形態による目的関数の評価を示すフローチャートである。 ディスプレイのピクセルで測定される5レベルの解像度で、正面図(en face図)におけるヒトの目の眼底の5つの画像を集めたものである。 本発明の例示の実施形態の位置合わせおよびマージ処理を示す図である。 3D動き補正を示す図であり、(A)は、x方向に高速ラスタ走査した第1の3次元データセットを示し、(B)は、y方向に高速ラスタ走査した第2の3次元データセットを示し、(C)は、マージされた動き補正済画像を示す。 動き補正およびデータギャップを埋める様子を示す図であり、(A)は、第1の6×6mmボリュメトリックデータセットのOCT眼底画像であり、(B)は、第2の6×6mmボリュメトリックデータセットのOCT眼底画像であり、(C)は、マージされ、動き補正され、データギャップが埋められたボリュメトリックデータセットのOCT眼底画像である。 任意の断面画像抽出および改善された信号−雑音比を示す図であり、(A)は、第1の3次元データセットから抽出された第1のOCT断面画像であり、(B)は、第2の3次元データセットから抽出された第2のOCT断面画像であり、(C)は、位置合わせおよびマージが施された3次元データセットから抽出されたOCT断面画像である。 6×6mm3D OCTボリュームからの仮想の円形走査抽出を示す図であり、(A)は、視神経乳頭周囲の領域の画像であり、(B)は、第1の3次元ボリュームから抽出された第1の円形の断面画像であり、(C)は、第2の3次元ボリュームから抽出された第2の円形の断面画像であり、(D)は、位置合わせおよびマージが施された3次元ボリュームから抽出された円形の断面画像である。 広い視野(12×12mm)の3次元データセットのOCT眼底画像である。 画像収集中の瞬きのために失われたデータのギャップを埋める様子を示す図であり、(A)は、第1の3次元データセットからのOCT眼底画像であり、(B)は、第2の3次元データセットからの第2のOCT眼底画像であり、(C)は、第1および第2のボリュメトリックデータセットを位置合わせおよびマージすることで得られた3次元データセットのOCT眼底画像である。 本発明の動き補正方法を示す図であり、(A)は、未補正の3次元データセットから抽出されたOCT断面画像であり、(B)は、6つの重なる3次元データセットを位置合わせおよびマージすることによって生成された、3次元データセットから抽出されたOCT断面画像である。 本発明の例示の実施形態によるデータ抽出、セグメンテーション、および定量的解析を示すフローチャートである。 同一のオブジェクトの互いに素な(disjoint)データセットを収集、動き補正、およびマージして、データセット間の再現性を評価することを示す図であり、(A)は、X方向に高速走査、かつY方向に高速走査して収集された、3次元データセットの第1のペアのボリュメトリック描画のセットと、結果として生じた第1の位置合わせおよびマージが施された3次元データセット(下側)の3次元描画であり、(B)は、X方向に高速走査、かるY方向に高速走査して収集された、3次元データセットの第2のペアのボリュメトリック描画のセットと、結果として生じた第2の位置合わせおよびマージが施された3次元データセット(下側)の3次元描画であり、(C)は、X方向に高速走査、Y方向に高速走査して収集された、3次元データセットの第3のペアのボリュメトリック描画のセットと、結果として生じた第3の位置合わせおよびマージが施された3次元データセット(下側)の3次元描画である。 位置合わせおよびマージが施された3次元データセットから、円形の断面データセットを抽出することを示す図であり、(A)は、図24(A)からの位置合わせおよびマージが施された第1の3次元データセットの描画であり、(B)は、図24(B)からの位置合わせおよびマージが施された第2の3次元データセットの描画であり、(C)は、図24(C)からの位置合わせおよびマージが施された第3の3次元データセットの描画であり、(D)は、視神経乳頭周囲の組織の第1の円形のOCT断面画像を生成するためにデータが抽出された位置を示す円を、当該図25(A)の3次元データのOCT眼底画像に重畳して示した図であり、(E)は、視神経乳頭周囲の組織の第2の円形のOCT断面画像を生成するためにデータが抽出された位置を示す円を、当該図25(B)の3次元データのOCT眼底画像に重畳して示した図であり、(F)は、視神経乳頭周囲の組織の第3の円形のOCT断面画像を生成するためにデータが抽出された位置を示す円を、当該図25(C)の3次元データのOCT眼底画像に重畳して示した図である。 (A)は、第1のXFAST入力データセット(図24(A))から抽出した視神経乳頭周囲の円形のOCT断面画像であり、(B)は、第2のXFAST入力データセット(図24(B))から抽出した視神経乳頭周囲の円形のOCT断面画像であり、(C)は、第3のXFAST入力データセット(図24(C))から抽出した視神経乳頭周囲の円形のOCT断面画像である。 (A)は、第1の動き補正およびマージが施されたデータセット(図25(A))から抽出した視神経乳頭周囲の円形のOCT断面画像であり、(B)は、第2の動き補正およびマージが施されたデータセット(図25(B))から抽出した視神経乳頭周囲の円形のOCT断面画像であり、(C)は、第3の動き補正およびマージが施されたデータセット(図25(C))から抽出した視神経乳頭周囲の円形のOCT断面画像である。 本発明の例示の実施形態によって採用される一般座標系の概略図である。 図28の一般座標系における順次サンプリングパターンの概略図である。 (A)は、矢印が走査方向を示し、走査パターンが一方向ラスタ走査である、例示の相補的な走査パターンを示す説明図であり、(B)は、矢印が走査方向を示し、走査パターンが双方向ラスタ走査である、例示の相補的な走査パターンを示す説明図であり、(C)は、矢印が走査方向を示し、一方の走査パターンが矩形であり他方の走査パターンが正方形である、例示の相補的な走査パターンを示す説明図であり、(D)は、矢印が走査方向を示し、一方の走査パターンが他方の走査パターンよりも大きい、例示の相補的な走査パターンを示す説明図であり、(E)は、矢印が走査方向を示し、ラスタ走査が平行でない、例示の相補的な双方向走査パターンを示す説明図であり、(F)は、矢印が走査方向を示し、一方の走査パターンがラスタ走査であり、他方の走査パターンが円筒状環形走査である、例示の相補的な走査パターンを示す説明図であり、(G)は、矢印が走査方向を示し、2つのラスタ走査と1つの円筒状環形走査からなる複数の走査パターンが示される、例示の相補的な走査パターンを示す説明図である。 2つの重なる撮像領域を有するヒトの網膜の領域の画像である。 本発明の方法による目的関数を評価する方法の、例示の実施形態を示すフローチャートである。 本発明の方法によって採用される画像結合手順の、例示の実施形態を示すフローチャートである。 本発明の方法を実施するために使用できる、組み合わされた走査の動きを有する、2スポット走査装置の概略図である。 y方向に高速走査する、例示の2スポットラスタ走査パターンである。 x方向に高速走査する、例示の2スポットラスタ走査パターンである。 本発明の方法を実施するために使用できる独立した走査の動きを有する、2スポット走査装置の概略図である。 異なる高速走査方向を有する、同時に2つのラスタ走査データセットを収集する、2つの独立制御されるスポットを有する、例示の走査パターンの図である。
光コヒーレンストモグラフィ(OCT)は、オブジェクト材料または生物組織の内部から後方散乱または後方反射された光のエコー時間遅延および大きさを測定することによって、断面画像および体積データセット(ボリュメトリックデータセット)を得る。眼科用OCT撮像装置の例を図1および図2に示す。深さに対する構造についての、軸方向走査すなわちA走査の情報は、オブジェクト材料上または組織上に光ビームを方向付けることと、後方散乱または後方反射された光のエコー時間遅延を測定することとによって測定できる。図3(A)は、軸方向走査信号の一例を示す。図3(A)において、軸方向走査は、z方向の信号対深さ情報を測定する。
断面画像またはB走査は、オブジェクト材料または組織に対して光ビームを横断方向に走査し、連続して軸方向走査(A走査)測定を行なうことにより生成できる。図3(B)は、横断方向であるx方向にビームを走査し、連続して位置x1、x2などで軸方向走査測定を行った、2次元のOCT走査像の例である。これにより、オブジェクト材料または組織のx−z平面における後方散乱または後方反射を表す2次元アレイが生成される。この2次元の情報は、擬似色またはグレースケール画像として表示できる。
ボリュメトリック(すなわち3次元の)3D OCTすなわち3次元OCTのデータセットは、例えばラスタタイプの走査パターンを使用して異なる横断面の連続した横断方向(横方向)のB走査を行うことによって、生成できる。図3(C)は、y方向y1、y2、などの位置のずれた異なる位置で行われたx方向(B走査)に沿った一連の横断方向の走査から生成された、3D OCTボリュメトリックデータセットの一例を示す。この例は、ラスタ走査パターンの一連の横断方向の走査によって収集された3次元データセットを示す。
図4は、低速方向および高速方向を有する典型的走査パターンの例を示す。しかし、3D OCTボリュメトリックデータを得るためには、多くの他の走査パターンおよび方法があることは言うまでもない。一般に、3次元OCTデータセットは、A走査データを記録しながらオブジェクト上にビームを掃引することによって、生成される。ビームは、走査パターンによって定義される軌道に従って掃引される。走査パターンは、A走査データが連続的に記録される各時点において、撮像オブジェクトの各位置にビーム位置付ける。通常、OCTデータセットは、図5(A)〜5(C)に示すように、1D、2Dまたは3Dのデータセット内の個々のピクセルまたはボクセルから構成される。図5(A)は、軸上の位置の関数として後方散乱強度をプロットしたものであり、z方向に沿った1次元の軸方向データを表す。図5(B)は、軸方向(Z)および横断方向(X)を有する2次元のデータセットの概略図であり、位置xの各アレイは、1つのA走査を表す。図5(C)は、軸方向(Z)と2つの横断方向(XおよびY)を有する、3次元データセットの概略図である。3次元データセットの要素は、従来よりボクセルと称される。
さらに、OCTについての当業者は、一般に、OCTデータセットが、振幅、強度、位相、偏光、分光情報およびドップラーシフトなどの複数のデータチャネルを含み得ることがわかるであろう。3次元データセットは、これらのデータチャネルからのデータ値を、3次元OCT装置または器具座標系における位置に関連付ける。
<OCTの具体例>
OCTは、以下の1)〜3)を含む具体例を使用して行うことができる:1)広帯域光源および走査用光学参照遅延ラインを有する干渉計(時間領域検出として公知である)、2)広帯域光源および信号検出用分光計(フーリエ/スペクトル領域OCT、スペクトルレーダーなどの名称で知られている)を有する干渉計、または、3)周波数掃引光源を有する干渉計(波長掃引型/フーリエ領域OCT、光学周波数領域イメージングなどの名称で知られている)。図1は、コンピュータ102を含む、例示のスペクトル/フーリエ領域OCT撮像装置100を示す。図2は、コンピュータ202を含む、例示の波長掃引型/フーリエ領域撮像装置200を示す。これらのフーリエ領域検出の具体例は、極めて高速な収集速度という効果を有し、3D OCTボリュメトリック撮像に好適である。
<OCT撮像における動きの影響>
3D OCT画像またはボリュメトリックデータセットは、単一の時点で収集されず、横断方向の走査パターンにおいて行われる複数のA走査を連続して収集することで構成される。各A走査は異なる時間に順次収集され、単一または複数の連続的な収集の間には、OCT走査装置とオブジェクトとの相対的な動きが起こり得る。
図6(A)および図6(B)は、OCT走査パターン(図6(A))が目の動き(図6(B))によって影響を受ける、目の網膜のOCT撮像の一例を示す。図6(A)は、3次元データセット(zが固定値であるXY−平面)の2次元のサブセットを示す。この図6(A)では、スキャナがデータを収集した点をスキャナ座標において概略的に重畳している。図6(B)は、ヒトの網膜のOCT画像である。図6(B)には、スキャナがデータを収集した点をオブジェクト座標において概略的に重畳している。この図から明らかなように、動きによって、撮像中のオブジェクト上のOCTビーム位置が、OCT走査装置で決められた所望のビーム位置からずれている。この動きは、x−y平面におけるビームの横断方向の位置に影響を及ぼす。さらに、動きは、軸方向すなわちz方向にも起こり得る。ヒトの目のOCT撮像(眼科用OCT)は、OCT技術の主な臨床応用である。眼科用OCTにおいて、軸方向の動きは、眼内圧の変動を生じさせる鼓動(心拍)の結果として起こり得る。横断方向の動きは、患者の凝視の方向の変化からくる、目の震え、ドリフトまたはサッケード(急速な動き)から生じ得る。動きはまた、収集中に起こる被験者(患者)の頭部や身体の動きに起因して、X、YおよびZ方向にも起こり得る。
図7(A)〜図7(D)は、3D OCTボリュメトリックデータセットにおけるトポグラフィの歪みとして見られる軸方向の目の動きの影響を示す。図7(A)は、OCT装置によって収集したx方向に沿った単一の断面を示す。図7(B)は、3次元XFASTデータセットがどのようにこれら複数のx方向断面から構成され得るかを示す。図7(C)は、データセットの立方体の外側平面を示す。この図は、y方向に沿って見える軸方向の動きがあることを示す。図7(D)は、上記データセットの3D描写である。
図7(A)から図7(D)に示す例は、図6(A)および図6(B)に示した走査パターンを使用して、x方向の高速走査によって収集したボリュメトリックOCTデータセットを示す。断面画像は、3D OCTボリュメトリックデータセットから抽出してもよい。高速走査の方向に対応するx方向に沿って抽出した断面画像は、動きのアーティファクトが最小限であり、より正確に網膜構造およびトポグラフィを表す。対照的に、y方向に沿って抽出した断面画像は、軸方向のかなりの動きのアーティファクトを有する。網膜像が波を打ったように見えるのは、網膜の真の輪郭を表しているのではなく、軸方向の動きによる歪みのアーティファクトである。このようなことが起こるのは、この走査パターンが使われるときに、y方向に沿った軸方向走査はx方向におけるよりも大きい時間間隔で収集されるからである。この例では、x方向は、隣接したA走査間の時間間隔がより小さいラスタ走査の方向に沿っている。この方向は、高速方向または高速軸と称される。y方向は、x方向に対して垂直であり、隣接したA走査間の時間間隔がより大きいため、低速方向と称される。一般に、軸方向の動きは、軸方向走査が時間間隔をあけられる方向に沿ってボリュメトリックデータセットから抽出される断面OCT画像においてトポグラフィを歪ませて歪みを生成することによって、3D OCTボリュメトリックデータセットの完全性を損なう。
軸方向の動きとともに、横断方向の動きは一般にデータ収集中に起こる。図8(A)および図8(B)は、横断方向の動きの影響を示す。図8(A)は、3D OCTボリュメトリックデータセット内のピクセルを軸方向に合計(A走査に沿って合計)することによって得られた、ヒトの目の画像である。この画像は、アンファス画像(en face画像:3次元データを前方から俯瞰した画像)、OCT眼底画像または合計ボクセル投影と称される。軸方向のOCT強度信号を合計する処理は、本質的には、後方散乱または後方反射された光の全てを収集し、網膜の写真に類似した画像を生成する。図8(A)のアンファス画像は、被験者が凝視の方向を変えた場合における、サッケードとして知られる急速な横断方向の目の動きの影響を示す。図8(A)の矢印によって示されるように、これらの急速な横断方向の動きはアンファスOCT眼底画像における不連続として見てとれる。これが生じるのは、OCT器具の走査座標系によって定められるOCTビームの予期される横断方向の位置と、オブジェクトまたは網膜の座標系によって定められる網膜の真の位置とに差があるからである。この影響を図8(B)に示す。図8(B)では、3D OCTボリュメトリックデータセットから得られるアンファスOCT眼底画像の複数の部分が、オブジェクトまたは網膜の座標系における網膜の真の位置に位置合わせされている。サッケードによって生じた急速な横断方向の目の動きにより、OCTビームが網膜の重なる領域を走査したり、網膜のいくつかの領域を走査し損なったりすることがあり得、そのため、未走査の領域すなわちデータセット内のギャップを生じてしまう。
この例は、目の迅速な不連続な動きの影響を示すが、より小さく、低速かつ連続した運き(例えば震えまたはドリフト)もあり得ることが理解される。これらによって、OCTボリュメトリックデータセットおよび対応するアンファスOCT眼底画像の歪みが生じるであろう。この歪みはまた、軸方向および横断方向にも起こり得る。OCT器具と撮像中のオブジェクトとの相対的な動きは、例えば、手術におけるOCT顕微鏡法、体内OCT撮像、生体試料の撮像、または携帯型OCT撮像器具を使用する際など、広範囲にわたる応用例で起こり得る。
したがって、OCT器具と撮像中のオブジェクト材料または組織との相対的な動きは、OCT画像または3D OCTボリュメトリックデータセットの完全性を損なうおそれがあり、撮像中のオブジェクト材料または組織の真の構造を正確に表さなくなる。これは、例えばOCTドップラー法を使用した血流測定のような機能測定および構造もしくは外形計測の定量測定の再現性を減じ得る。動きのアーティファクトはまた、異なる時点における撮像測定を繰り返し正確に行ったり、経時的に得られたデータを比較したりする能力を損ない得る。経時的に正確な撮像測定を行う能力は、診断や疾患進行の追跡を含むOCTの多くの臨床応用にとって重要である。
<OCT撮像における動き補正のための既存技術>
動きの歪みを補償するために、確立されたOCT器具の中には、アクティブトラッキングハードウェアを採用するものもある。これらの器具は、別個のトラッキングハードウェアサブシステムを有する。このシステムは、撮像中のオブジェクト組織の位置を測定し、オブジェクトの動きがある場合でもオブジェクト組織上の所望の位置が走査されるようにOCTビームの走査パターンを修正する。しかし、トラッキングハードウェアは、OCTシステムに、コスト増および複雑さを加える。さらに、特定の状況下では、トラッキングハードウェアを使用した画像収集時間が、それを使用しない場合に比べて極めて長くなることがある。
動き補正のための他の方法は、ソフトウェアに基づくものであり、3D OCTボリュメトリックデータセットを、撮像中のオブジェクトまたは組織の写真のような動きのない参照画像と比較することに依存する。眼科学において、この写真は、網膜眼底写真と呼ばれ、標準の眼科用診断法である。この写真は、単一の時点で収集されかつオブジェクト組織のアンファス画像を生成するので、この写真は組織の横断方向の特徴を正確に表す。しかし、動きのない参照画像を使用して3D OCTボリュメトリックデータセット内の動きを補正するソフトウェアは、3D情報よりむしろ参照画像の2D画像情報を使用することに限定されている。これにより、動き補正の精度が制限される。また、これらの技術だけでは、3D OCTボリュメトリックデータセットの軸方向動きを補正することができない。したがって、動きを補正する3D OCTデータの改良された方法が必要である。また、さらなる器具ハードウェアを必要とせず、軸方向および横方向の両方の動きを効果的に補正する方法が望まれる。ただし、特定の実施形態では、さらなる情報源を使用することが可能である。たとえば、動きの補正および位置合わせのための計算時間を低減するために、動きの初期推定を提供することができる。
本明細書では、光コヒーレンストモグラフィ(OCT)走査の間に生じる、動きのアーティファクトを補償する方法および装置を記載する。例示の実施形態は、動きのアーティファクトのないデータセットを生成し、撮像中のオブジェクトの真の構造を正確に表す、動き補正されたOCTボリュメトリックデータセットの正確かつ再現性のある位置合わせを提供する。例示の方法は、動きのない参照画像の使用を必要としない。複数の動き補正済ボリュメトリックデータセットをマージして、個々のボリュメトリックデータセットと比較して改善された品質とSN比とを有する、ボリュメトリックデータセットを得ることができる。いくつかの実施形態では、収集中の動きによって欠測したデータが補償され、動き補正およびマージを行わない場合に比べて、大きなデータセットの収集および長い収集時間を可能にする。
本明細書では、器具とオブジェクト材料または組織との相対的な動きに起因する3D OCTボリュメトリックデータセットの動き歪みを補正できる方法および装置を記載する。例示の実施形態はまた、複数の2Dおよび3DのOCTデータセットを位置合わせおよび結合もしくはマージして、改善された画質および完全性を有するデータセットを生成する。例示の方法は、まず、収集データの部分集合において相補的な走査パターンを使用して、複数の2Dおよび3D OCTボリュメトリックデータセットを得ることによって機能する。収集したデータセットのうちの少なくとも1つは、3D OCTボリュメトリックデータセットである。収集した各データセットには、動きのアーティファクトが含まれる可能性がある。異なる方向または軌道に沿って迅速に走査することによってオブジェクト材料または組織の特徴をより正確に測定するように設計された、異なる相補的な走査パターンを使用する。例示の方法は、位置合わせ済データセット間の類似度にフェイバを与える一方で位置合わせ変換によって示唆される動きにペナルティを与えるように、データセットを変換することによって、複数の2Dおよび3D OCTデータセットを互いに位置合わせする。結果として生成された位置合わせ済3D OCTボリュメトリックデータセットは、動きが補正され、撮像中のオブジェクト組織の真の構造を正確に表す。
さらに、例示の実施形態は、複数の位置合わせ済OCTデータセットを結合またはマージして、改善された品質のデータセットを生成できる。結合またはマージされたデータセットは、改善された信号−雑音比、低減されたスペックル雑音、および構造的特徴の改善された連続性を有する。データセット画質のこれらの改善により、定量評価を必要とする応用例において、構造的特徴の改善されたセグメンテーションまたは自動測定が可能になる。
前述したように、走査されたデータセットの収集中のオブジェクト組織の動きは、オブジェクトの未走査の領域に起因するギャップ(図8(A)および図8(B))を生じさせる。異なるデータセットを位置合わせして結合またはマージする例示の方法は、個々の収集されたデータセットにデータが欠けている場合でも、実質的に完全なデータセットを生成できる。なお、動き補正済データのマージは不要である。補正済みではあるがマージされていない動きデータセットを、本明細書において記載する方法を使用して生成し、データのトポロジ的情報、構造的情報、機能的情報、および形態学的情報における改善された精度を達成することができる。
多くの応用例において、3D OCTボリュメトリックデータセットの大きさは、画像収集時間と同様に、OCTスキャナに対するオブジェクトの相対的な動きによって制限される。この相対的な動きは、走査されたオブジェクトの動きであったり、器具が安定していない場合や携帯型OCT装置用の場合のようにOCT装置自体の動きであったり、動きに先行する諸原因が組み合わさったことが原因であったりして生じ得る。この動きによって、画像の歪み、ならびにオブジェクトの未走査の領域からの不完全なデータセットが生じ得る。例えば、眼科では、データセット収集時間は、患者の目の動きや瞬きのために典型的には2、3秒に限られている。いくつかの実施形態によって、ボリュメトリックデータセットの動き補正および位置合わせ、ならびに複数のデータセット収集からの実質的に完全なデータセットの生成が可能になる。これらの特徴により、極めて大きいデータセットを収集でき、有用なデータが得られる撮像時間を大幅に増大することができる。
多くの臨床応用では、3D OCTボリュメトリックデータセットにおける特徴の定量測定が必要とされる。眼科では、網膜神経線維層の厚さ、網膜の厚さ、または神経節細胞層の厚さの定量測定が、緑内障、緑内障の進行、または処置に対する反応の兆候として有用である。結晶腔、網膜下液または脈絡膜新生血管膜などの病変を含む、病変構造や大きさのような、他の特徴の定量測定は、加齢黄斑変性の重要な指標である。
定量測定の精度および再現性は、3D OCTボリュメトリックデータセットの精度および品質によって制限される。3D OCTボリュメトリックデータセットがオブジェクト組織の真の構造を表す精度は、重要である。なぜなら、真の構造に対するボリュメトリックデータセットの歪みは、定量測定が誤った場所で行われることを意味するからである。さらに、動きおよび結果として生じる歪みは、ボリュメトリックデータセットごとに異なり、定量測定の再現性を低下させることになる。動き補正および真の組織構造の正確なボリュメトリック撮像を可能にすることによって、かつ、動きがある場合に完全なデータセットの収集を可能にすることによって、例示の実施形態は、定量測定の改善された精度および再現性を可能にする。さらに、画質を改善することにより、定量測定の性能および精度が、改善される。
多くの臨床応用では、複数の時点での撮像を必要とする。例えば、異なる時間に異なる検査を行い、次いで、これらの異なる時点にわたってボリュメトリックデータセット情報を量的に比較する。これらの応用例には、疾患進行や治療に対する反応を追跡することが含まれる。さらに、小動物モデルの撮像は、創薬や薬の発見のために重要な手法である。小さな変化を経時的により正確に追跡できると、より小さな変化を改善された統計的有意性をもって正確に測定できるので、研究のために必要な動物の数を減らしたり必要な時間を減少したりでき、それによって、これらの研究の効率を改善することができる。例示の実施形態では、異なる時点で収集した3D OCTボリュメトリックデータセットを互いに位置合わせできる。異なる時点のボリュメトリックデータを位置合わせすることにより、データセット間でボリュメトリックデータセットを正確に比較したり、データセット間の変化を正確に定量測定したりできる。なお、この応用例では、異なる時点からのデータセットは、真の組織構造に対して位置合わせできるだけでなく、互いに対しても位置合わせできる。ただし、異なる時点からのデータセットは、必ずしもマージまたは結合されるわけではなく、むしろ、変化を測定する定量測定技術に対する入力として使用される。これらの変化は、疾患進行または治療に対する反応を示す。
例示の実施形態は、収集処理中のオブジェクトまたは器具の動きが原因で光コヒーレンストモグラフィ(OCT)収集の際に生じる動きのアーティファクトを補償する、方法および装置を含む。例示の実施形態はまた、複数のボリューム(物体)走査からのデータをマージする方法および装置を含む。例示の実施形態は、眼科用OCT撮像について記載しているが、これらが他の応用例に使用され得ることは言うまでもない。
一般に、走査撮像装置(例えばOCT)は、一挙にデータを収集しない。その代わりに、データは、オブジェクトまたはターゲットのサンプリングを連続して行い、異なる時間に順次軸方向走査すなわちA走査を収集することで収集される。ヒトの目または網膜のインヴィヴォ(生体内)での走査の場合、器具に対する目の動きは、収集中によく見られる。この動きが原因で、オブジェクト領域は、均一にサンプリングされない(図6(A)および図6(B))。その結果、動きのアーティファクトが、その構造(図7(A)〜図7(D))および収集データ(図8(A)および図8(B))の完全性に影響を及ぼす。
いくつかの実施形態によれば以下の(i)および(ii)が可能である。(i)ほぼ同一のオブジェクト領域ではあるが変動するサンプリングまたは走査パターンの、2つ以上の動き歪みのある収集物を使用し、これらの動きのアーティファクトを補償すること。(ii)補正済データをマージして、強化されたデータ品質および形態学的精度を有するデータを得ること。
図9は、本発明の方法900の例示の実施形態を示すフローチャートである。例えば、方法900は、図1に示す装置100のコンピュータ102または図2に示す装置200のコンピュータ202によって実行できる。
方法900は、少なくとも以下の動作を含む:
902:画像収集;
904:データ前処理;
906:動き推定;
908:位置合わせ済(動き補正済)データセットの生成;および
910:データの結合(マージ)。
本明細書に記載する動き補正の有用な実施形態は、入力ボリュームのデータの空間的相関および/または時間構造を利用して、歪みを検出し、オブジェクトとスキャナとの相対的な動きを推定するものである。次いで、この動き情報を使用して、個々のボリュームの歪みのない視野またはデータセットを構築する。次いで、これらの歪みのないデータセットまたはボリュームを結合またはマージして、動きのアーティファクトがなく、改善された画質を有する単一ボリュームにすることができる。図10(A)および図11(A)に示す3次元データセットを用いて、2つのデータセットの動き補正およびマージ操作の概要を図12に示す。動き補正およびマージは3つ以上のデータセットに一般化できることは言うまでもない。
<画像収集>
ボリュームに生じている目の動きを推定し補償するために、ならびに、個々のデータセットにおけるギャップを埋めるために、2つ以上のボリュームを収集する。このとき、そのボリュームのうちの少なくとも1つは、他のボリュメトリックデータセットに関連付けられた少なくとも1つの走査パターンに相補的であるとみなされる、走査パターンを有する。ラスタ走査を用いてデータを収集する例示の実施形態において、2つのラスタ操作のうちの一方のラスタ走査の高速走査方向が他方のラスタ走査の高速走査方向に対して90°またはそれに近い角度であり、それらの高速走査方向が実質的に直角である場合、2つのラスタ走査パターンは、相補的であるとみなされる。ここで「実質的」とは、90°の角度からの絶対値差が10°を上回らないことをいう。図10(A)には、ラスタ走査の高速走査方向がx方向である走査パターン(XFast走査パターンと称される)を示す。図11(A)には、ラスタ走査の高速走査方向がy方向である相補的な走査パターン(YFast走査パターンと称される)を示す。この例では、各ボリュームの高速走査方向は、OCT装置の座標系において互いに実質的に直交した状態で収集される。このようにして収集された相補的な互いに直交するボリュームは、動きによって受ける影響がそれぞれ異なり、これによって動き補正が改善される。なお、高速走査方向は、OCT装置座標系のxおよびy方向と必ずしも一致する必要はなく、OCT装置座標系の横断面において任意の角度だけ回転していてもよい。この特定の例示の実施例において、各ボリュームの走査パターンと関連付けられたOCT装置の中心座標系におけるA走査サンプリング位置の集合は、同一位置のグリッドにあるか、または、同一位置のグリッドに容易にマッピング可能である。サンプリング位置の容易にマッピング可能な集合の例としては、走査座標系の同一領域をカバーするが高速および低速方向において異なる数のA走査を有する走査パターンを含む、2つの直交するラスタ走査がある。臨床診療において使用される走査パターンは、サンプリング密度と収集時間およびデータセットの大きさとのバランスをとるために、低速方向よりも高速方向においてより多くのA走査を含むことが多い。A走査の数が高速走査方向と低速走査方向とで異なる場合、処理中に、再サンプリングまたは中間ステップを補間することによって、データを共通位置のグリッドにマッピングできる。例えば、低速方向よりも高速方向に多くのA走査があるという特定の場合には、高速方向のサンプリング点の結果として生じる数が、低速方向のサンプリング点の数と同じになるように、OCTデータを高速方向に沿って再サンプリングすることができる。
任意の所与の走査パターンに対して、各A走査は、装置の中心座標系と、A走査が撮像されるおおよその時刻とに関連付けられている。A走査が撮像される時刻は、例えば、ボリュームの収集の開始の基準とされてもよく、あるいは、他のいかなる基準時点とされてもよい。例示の実施形態では、A走査が収集された時刻の知識を使用する。しかし、時刻情報は、OCT装置自体によって提供される必要はなく、A走査タイムスタンプの明確なサポートを有するOCT装置を使用せずにA走査パターンについての知識から算出できる。したがって、A走査の明確なタイムスタンピングは、本明細書に記載する方法および装置を実施するための要件ではないことが理解される。
例示の実施形態において、走査パターンのうちの少なくとも2つが相補的な場合に、3Dデータセットが収集される。したがって、サンプリング位置が横断されるシーケンスは、入力データセットの走査パターンのうちの少なくとも2つの間で異なる。ここに記載する方法および装置は、動き補正を改善するために、走査パターンに関連する情報を利用する。
入力データセットの例を図10(B)および図11(B)に示す。図10(B)および図11(B)は、それぞれ、x方向の走査を優先して収集したデータと、y方向の走査を優先して収集したデータを示す。両方のボリュームは、それぞれ、高速軸に沿った歪みが少なく、低速の軸または方向に沿った歪みが比較的大きい、真のオブジェクト構造およびトポグラフィの歪んだ図を示す。時間が短ければ短いほど、動きによる歪みの影響が小さくなるため、認識可能な動きの特徴と走査方向との相関が生じる。2つの相補的なデータセット(図10(C)および図11(C))についてのOCT眼底画像において、データの不連続またはギャップが見られる。不連続は、急速な動きがある場合に生じ得、その結果、オブジェクトの同じ領域を再走査するか、またはオブジェクト全体で欠測領域が生じる。
OCTデータがこの処理中の少なくとも1つのステップで収集されることが示唆される。本明細書に記載するシステムおよび方法は、先に収集したOCTデータを処理することもできる。
<データ処理>
最初にボリュームを収集した後、いくつかの随意の前処理ステップをデータに対して適用してもよい。前処理は、動き補正結果の品質を高めるだけでなく、計算時間を低減することもできる。
通常、ボリュームによってカバーされる領域の一部のみが、関連する構造的情報を含む。例えば、ほとんどの場合、全軸方向範囲の部分範囲のみが撮像中のオブジェクト組織からの画像情報を含み、この領域の外では区別される組織の特徴は見えない。なぜなら、オブジェクトはOCT装置の軸方向範囲の一部しかカバーしないからである。したがって、動き補正の関心領域は、オブジェクト情報が含まれる部分範囲内にある。オブジェクト情報が存在する対象領域の外側の領域は、データサイズおよび計算時間もしくは複雑さを低減するために、軸方向に切り取ってもよい。
計算の速度を上げ、かつ必要メモリを低減するために、データはまた、ボリュームを軸方向にダウンサンプリングすることによって低減されてもよい。例示の実施形態において、ダウンサンプリングは、ガウス還元法を使用して行われる。ただし、他の方法が用いられてもよいことは言うまでもない。ダウンサンプリングは、複数回適用されてもよい。横断方向の解像度は、このステップによって影響されない。このステップは任意であり、極めて微細な軸方向解像度が所望される応用例では省略されてもよいことは言うまでもない。
OCT画像に存在するスペックル雑音は、画像類似度測定の精度を低下させる可能性がある。したがって、効果的に雑音抑圧を行えば、よりよい品質の結果につながり得る。サッケード眼球運動が存在するボリューム位置でのアーティファクトを雑音除去するために、3D技術を使用する代わりに、メディアンフィルタリングが、別々に各B走査に適用される。典型的には、例示の実施形態において、サイズ3または5の2次メディアン窓(quadratic median window)が使用される。ただし、例えば1Dもしくは3のDメディアンフィルタリング、または1D、2Dもしくは3Dの異方性拡散のような方法などの、異なる雑音低減法も使用できることを、理解されたい。
画像データの強度正規化もまた、行うことができる。例示の実施形態では、平均値が0で分散が1のデータを生成する、平均−分散正規化を使用する。ただし、他の正規化方法が用いられてもよく、正規化がデータの振幅や強度などの量的特徴に対して行われてもよいことは、言うまでもない。この操作は、全ボリュームに対して行うことができる。あるいは、データはA走査毎のベースで正規化でき、ボリュームを通じて輝度に不均一な変化がある場合に有用である。これは、OCT器具において軸方向の距離の感度に有意な変動がある場合に、起こり得る。ビネットアーティファクトがOCTデータセットにある場合、輝度、信号強度またはデータ値の変動もまた、起こり得る。ビネットアーティファクトは、網膜撮像中に、OCTビームが虹彩または目の瞳孔を取り囲む組織によって少なくとも部分的に妨げられると、起こり得る。感度に対する深さの既知の較正に基づく、A走査データ値の補正もまた、随意に適用できる。
OCTデータが、この処理の間、少なくとも1つのステップで随意に前処理されることが、示唆される。本明細書に記載するシステムおよび方法はまた、先に前処理したデータに作用することができ、このデータを処理できる。
<動き推定>
例示の実施形態は、位置合わせ処理を用いて、走査手順の間に、オブジェクトとOCTシステムとの相対的な動きを推定する。目的関数は最適化される(公式に従って最小化または最大化される)。目的関数は、2つ以上の入力データセットボリュームの間の類似度を考慮する。入力データの空間−時間的な構造もまた、考慮される。位置合わせ処理は、いくつかの変換または変位場を、各ボリュームに対して1つずつ、生成する。各変位場の各個別のベクトルは、オブジェクト座標系、またはオブジェクト空間、または共通の動き補正済空間内の2Dグリッド上のある位置に関連付けられる。この状況において、2Dグリッドとは、グリッド点自体が3次元座標を有しながら、これらのグリッド点が平面を形成することを意味する。したがって、グリッド内には自由度2しかない。位置のこのグリッドは、動き補正済空間にマッピングされた、OCT装置座標系内のサンプリング位置の共通集合に対応する。各変換または変位場は、この2Dオブジェクト空間グリッド上の3次元ベクトルからなり、x、yおよびzの変位を表す。各ボリュームおよびオブジェクト空間のグリッド点に対して、対応する変位ベクトルがオフセットとして使用されて、関連付けられたデータセットのデータ(これは、当該オブジェクト空間グリッド点に対応するOCT装置座標系の位置を基準としたOCT装置座標系において定められる)をサンプリングし、その結果、補間されたA走査の等価物を生成する。このため、その変位に対する適切な値が見つかった場合には、当該変位場は、画像再サンプリング技術と共に使用されて、OCTデータセットに関連付けられたデータを、未補正のOCT装置座標系から共通の動き補正オブジェクト座標系にマッピングできる。したがって、収集したOCTデータセットに存在する動きを補正するという目標は、関連付けられた変位場ごとの上記適切な値を見つけることによって達成できる。
目的関数およびその最適化
上記変換(データボリュームの歪みをなくすための変位場)を計算するために、位置合わせの目標を表わす目的関数が生成され、数値計算技術によって最適化される。図13に示すように、目的関数自体は、複数の変位場推定値(そのそれぞれは、1つの収集されたデータセットと一意に関連付けられている)の集合をパラメータとして用い、単一の実数の値を出力として生成する。
図13は、本発明の方法によって採用される例示の目的関数を評価する処理1300を示すフローチャートである。ステップ1302a、1304aおよび1306aのそれぞれにおいて、変換1、データセット1および走査パターン1が、それぞれ入力として使用される。ステップ1308aにおいて、変換1がデータセット1に適用され、変換後データ1が得られる。ステップ1302b、1304bおよび1306bのそれぞれにおいて、変換2、データセット2および走査パターン2が、それぞれ入力として使用される。ステップ1308bにおいて、変換2がデータセット2に適用され、変換後データ2が得られる。ステップ1312において、変換1、データセット1および走査パターン1が、変換2、データセット2および走査パターン2とそれぞれ比較され、オブジェクトと走査器具との間の推定された動きにペナルティを与える(推定された動きがあれば、マイナスする)。ステップ1314において、変換後データ1と変換後データ2が比較され、2つの変換後データセット間の類似度にフェイバを与える(類似性があれば、プラスとする)。ステップ1316において、目的関数は、動き推定のペナルティと類似度との相対的強さを査定することによって、評価される。
処理1300は、変換c〜N、データセットc〜N、および走査パターンc〜Nに作用する、さらなるステップを含むことができる。
本実施形態では、最適化という状況において、より低い目的関数値がより良好であると定義するが、これで一般性が損なわれることはない。したがって、最適化処理は、1つの目的関数値を生じる変位場の適切な集合を見つけることからなり、ここでは、より小さな値が変位場のより適切な集合を示す。目的関数には、以下の(1)および(2)の2つの目標がある:(1)変換されたボリューム間の高い類似度にフェイバを与えることと、(2)変位場または変換によってモデル化されるような動きにはペナルティを与えること。
図5に示すように、収集された各データセットは、OCT装置の中心座標系におけるデータ点の離散グリッド上に定められる、おそらくは複数であるデータチャネルからなる。元のOCTデータセットまたは前処理されたOCTデータセットからのデータ値に変位場が適用される際には、通常、その変換からのオフセットは、入力データセットからのデータがマッピングされる元の座標を、離散グリッド位置自体の上に厳密に置くのではなく、グリッド位置同士の間に置く。このため、任意の位置がデータからサンプリングされ得るように、画像補間技術を使用して、グリッド位置に関連付けられた値の間を補間する。例示の実施形態では、キュービックエルミートスプライン補間を採用してもよい。この補間スキームは、依然として計算処理上安価に行え、平滑な1次導関数の計算を可能にする。この1次導関数は、後に行われる非線形最適化にとって有利である。応用例の計算速度や性能の要求事項によっては、他の補間技術を使用してもよいことは、言うまでもない。
入力または前処理されたボリュームからの、強度データのような構造データが、適切な値を有する変位場を使用して共通の動き補正済オブジェクト空間にマッピングされると、結果として生じるマッピングされた個々のデータセットは、互いに類似する傾向がある。これに対して、変位場が適切に算出されない場合、複数のデータセット間のマッピングされた構造データは、類似度が低くなる傾向がある。したがって、目的関数の一部は、変換後の構造ボリュームデータの集合の間の高い類似度にフェイバを与えるものである。変換されかつ類似度を試験されるデータは、入力データセットから直接もたらされてもよい。1つ以上の前処理ステップを入力データセットに適用して、前処理されたデータセットを生成する場合には、変換の適用および類似度の査定もまた、前処理されたデータセットに対して行うことができる。ボリュームデータは、目的関数へ入力される、それぞれの変位場を使用して、収集したデータセットに関連付けられた構造データ値をマッピングすることによって、変換される。各グリッド位置については、マッピングされたA走査データ間の累進的に高い類似度に対して、より低くなる値が計算され、全てのグリッド位置にわたって合計される。例示の実施形態において、差の二乗和(SSD)の手法が、これらの値を計算するために使用される。収集したボリュームが2つしかない場合には、これらの2つのボリューム間で同様にマッピングされたデータは、減算され、直接二乗されて、類似度指標を形成する。ボリュームが3つ以上ある場合には、マッピングされたボリューム間でそれぞれペアが組まれ、各ペアについてSSDが算出され、全てのペアのそれらの値が合計される。ペアは、全てのボリュームが少なくとも結び付けられるように、ペアによって形成されるリンクを有するグラフ構造があるように選択される。これは、いずれのボリュームから始めても、ボリューム間のペアを横断することによって他のいずれかのボリュームに到達できることを意味する。
一般に、収集中に相対的な動きが生じると、オブジェクト上で走査された位置は、動きがない場合の位置とは異なり、伴っている特定の動きに依存する。ただし、相対的な動きの速度や加速には限度があり、その位置は、速度を時間で積分することにより決定される。この関係により、スキャナとオブジェクトとの間の位置の変化の予期される大きさは、異なるデータサンプルを収集する間に経過した時間の長さに関係する。いくつかの実施形態では、動き補正を改善するために走査パターンに関する情報が組み込まれる。
器具とオブジェクトとの相対的な動きは、限られた、範囲、速度、加速度および周波数を有すると仮定できる。相対位置は、相対速度を時間で積分したものであり、一定の時間枠内での相対位置の変化には物理的な限度がある。動き推定の第2の目標は、データ収集処理が順次行われるという構成に伴う、空間−時間的な構造を考慮に入れて、推定される変換が確実に見つかるようにすることを目的とする。したがって、動きは時間の面からみてスムーズでなければならない。例示の実施形態の場合、動きは、時間構造情報に対する変位場の導関数として表すことができる。例示の実施形態は、モデル化された動きにペナルティを与える収集処理についての予めの知識を含めるために、いわゆる正則化項(regularizer)を目的関数に加える。この正則化項は、各変位場における、時間に対する変位場ベクトルの導関数のL2ノルムの二乗を、全てのグリッド点および全てのボリュームにわたって合計する。この導関数は、有限差分のような既知の方法を使用して概算できる。横断方向および軸方向の動きを異なるように扱う係数が導入される。この係数は、上記L2ノルムの二乗を適用する前に時間導関数の軸方向の大きさをスケーリング(拡大縮小)する。なお、本明細書に記載する方法およびシステムはまた、モデル化された動きにペナルティを与える他の正則化項式を採用できる。
良好な動き補正の結果を達成するために、上述した2つの目的、すなわち、構造類似度およびスムーズな動きという目標は、別々に考慮すべきではない。両方の目標のバランスがとれていることが好ましい。この2つの項(それぞれが1つの目標を表す)から目的関数を構築する1つの方法は、2つの目的(目標または測定値)を合計することである。合計の前に正の係数を目的のうちの1つに適用して、相対的な重み付けをすることができる。この係数は、最適性能のために調整でき、一般には、入力ボリュームおよび他の設定値の具体的なセットに依存する。しかし、実際には、結果として生じる動き補正の品質は、広範囲にわたる正則化項重み係数を通じてむしろ安定している。
動き推定値を見つけるために、目的関数は、ボリュームの変位場に対して最適化されなければならない。例示の実施形態は、例えばlimited memory Broyden-Fletcher-Goldfarb-Shannon技術のような、直線探索に基づく準ニュートン非線形オプティマイザを使用してもよい。ただし、多くの他の最適化技術を使用してもよいことは言うまでもない。なお、最適化自体は、例えば実行時間による理由や、現在の推定が十分に良好であるか、または最適値に近いと考えられるなどの理由で、いつでも終了することができる。他の終了判断基準もまた、本明細書に記載する方法および装置を実践するために使用できる。
一般に、これらの非線形オプティマイザは、起点周辺の領域内のローカルな最適値に収束するにすぎない。グローバルな最適値に近い解を見つけて計算時間を低減するために、多重解像度手法が利用される。目的関数の複雑度は、レベルと称される各多重解像度式によって、一定回数低減される。実際には、5多重解像度レベルを使用すれば十分であることが多いが、これは特定のパラメータおよび入力データセットの特徴に依存する。1つのレベルからより複雑なレベルへ変位場推定値をマッピングする変換が、公式化される。計算のために、各ボリュームの変位場に関連付けられたデータは、オブジェクト座標系の共通のグリッド上で3チャネル2D画像(変位ベクトルの各ディメンションに対して1チャネル)として扱われる。その後、標準の画像補間技術を使用して、この変位場の、より高い解像度表現が生成される。元の最適化問題は、最も複雑なレベルである。データセット自体を再サンプリングすることによって複雑度低減が実行され、かつ、関連付けられた時間構造情報も、より少ない数のグリッド点になる。画像データに連続するデータ削減を行うことで、図14に示すようないわゆる解像度ピラミッドというものになる。
最適化は、まず最も粗いピラミッドレベルで行われ、最適値に達するか、または一定数の反復が行われるか、またはより良いパラメータが見つからなくなるまで、行われる。次いで、その解が、アップサンプリングを使用することによって、より高い複雑度の次のレベルにマッピングされる。完了したレベルからの結果は、次の多重解像度レベル最適化ステップのための初期化を構成する。最適化は、この新しいレベルおよび初期化とともに進行する。一旦この処理が終わると、その結果は次の適切な多重解像度レベルにマッピングされる。元の解像度最適化処理が終わるまで、この処理が繰り返される。
完了した最適化処理の結果、変位場の集合(各ボリュームに対して1つの変位場)ができる。この集合は、ボリュームの動き推定値とも考えることができる。
<位置合わせ済(動き補正済)データセットの生成>
変換または変位場が推定された後、1つ以上の動き補正済データセットが構築される。動き補正済データは、対応する算出された変位を、特定の応用例に従って、入力データセットのデータチャネル(例えば強度、ドップラーシフトまたはそれらの前処理されたものなど)の1つ以上に適用することによって生成される。
位置合わせ済データセットを明示的に構築する代わりに、データはまた、変換をデータセットに適用することによって、オンデマンドで部分的に構築することもできる。
これらの動き補正済データセットは、以下のセクションで記載するデータマージステップで、随意に使用できる。データセットのマージは必ずしも必要ではなく、マージには画質を改善する効果はあるものの、マージせずに動き補正済データセットを使用してもよい。
<データ結合(マージ)>
先行する動き補償では、収集した各ボリュームのための変位場を算出する。変位場は、収集中のターゲットの動きをモデル化する。各変位場をそれに関連付けられた歪んだデータセットに適用することで、共通空間内の動き補償済データセットが生成される。次いで、いくつかの例示の実施形態は、これらの独立のデータセットを結合して、より高品質のデータセットを生成する。位置合わせ済ボリューム内のデータサンプルの相対的な品質は、この処理中に考慮される。図15は、2つのボリューム位置合わせの例を使用する本発明の例示のマージ処理の概略図である。詳細には、図15は、直交する低速方向および高速方向を採用する走査、すなわちXFAST走査およびYFAST走査、によって得られた、ヒトの目の複数のOCT画像を重畳したものである。次いで、各走査は位置合わせされ(すなわち、オブジェクトの位置の走査装置とは独立して、画像の解剖学的特徴に絶対座標を割り当てる)、位置合わせ済走査XREGおよびYREGが生成される。最後に、本明細書に記載するように、位置合わせ済走査がマージされる。
動き推定値から、入力ボリュームが変換されて、位置合わせ済ボリュームが生成される。次いで、これらのボリュームは、それらの間のボクセル単位の加重和を使用して結合される。いくつかの例示の実施形態はこの技術を使用するが、データを結合またはマージする他の技術も使用可能であることは言うまでもない。
収集中に器具とオブジェクトとの間に相対的な動きがあり、かつ、サンプリングが順次行われるため、オブジェクトは、様々な範囲でサンプリングされる。オブジェクトの複数の領域は、数回走査される(オーバーサンプリングされる)ことも、全く走査されない(アンダーサンプリングされる)こともあり得る。このケースは、図8(B)で例示される。アンダーサンプリングされた領域の場合、動き補償中に生じるギャップは、データを共通のオブジェクト空間にマッピングする際に、入力ボリューム内の隣接するA走査から補間される。したがって、これらの強度値は、実際に収集されたデータを表さず、隣接領域からの情報を表す。しかし、複数のボリュームが結合またはマージされる場合には、アンダーサンプリングされた(すなわち未走査の)領域は、大幅に減少する。なぜなら、他のボリュームからのデータが、単一ボリューム内の大部分の未走査の領域にわたって利用できる傾向にあるからである。
直接平均化を行うことによって、すなわち、N個のボリュームをマージするには重みを1/Nに設定することによって、動き補償済ボリュームを結合できる。しかし、オブジェクト空間グリッドにおけるある位置にマッピングされて入力ボリューム内の対応する隙間を埋めたボクセルは、真のターゲットデータを含むA走査と比較して同一の寄与をもたらすであろう。この手法は、画質のローカルな劣化をもたらし得る。
データ内の隙間(ボイド(空所))を検出する1つの方法は、最終位置合わせ済ボリュームを生成する間に、他の領域よりも高頻度でサンプリングされた、元のボリューム内の領域を探すことである。この測定値は、位置合わせ済ボリュームの各A走査内で同一であるが、サンプリング密度と称される。相対的に高いサンプリング密度は、入力ボリュームからのその領域が位置合わせ済ボリューム内のギャップを埋めるために使用されたことを示す。サンプル品質を第2に示すものは、位置合わせ済ボリューム内のボクセルが当該入力ボリューム領域の完全な外側または部分的な外側をサンプリングすることによって生成されたか否か、を査定することによって求められる。この測定値は、サンプル妥当性と称される。
サンプリング密度の推定値を計算する1つの方法は、まず、対応するボリュームのx/yサイズの何倍か(例えば4倍)のサイズを有する2D画像を生成し、その画像の全てのピクセルを極めて小さい正の値に初期化する。この大きい方の画像を使用して、ある程度のサブピクセル精度が達成される。例えば、4倍なら、さらに2ビットの精度が与えられる。この画像は、A走査の2次元のグリッドに対応する元のボリュームの2次元の領域を表す。推定は、位置合わせ結果を生成するために取得された各サンプルに対して、カー
ネル、例えば切り捨てガウシアン、をこの画像にさらに描画することによって行われる。描画自体は、サンプルが取得された位置にカーネルの中心を合わせ、カーネル値を密度推定画像値に加えることによって、行われる。カーネルが部分的にその画像の外側にある場合、それらの値を最も近いエッジピクセルにおいてさらに加えて、その挙動をボリュームサンプリングルーチンに反映させることができる。
これらの推定画像を重み計算に使用するために、これらの推定画像は、共通のオブジェクト空間にマッピングされなければならない。これは、3次元の場合と同様に変位場の横断方向の成分を上記画像値に適用するが、軸方向(z)の変位情報は使用しないことによって、行うことができる。この処理は、サンプリング密度を推定しかつ共通のオブジェクト座標系の2次元グリッド上に存在する、2次元画像の集合(マージされるボリュームごとに1つ)を導く。
サンプル妥当性値は、ボクセルを生成したデータマッピング処理が当該領域の外側からマッピングされたボリュームデータをサンプリングしたか否かをチェックすることによって、マージしようとする各ボクセルに対応して生成できる。この場合、サンプル妥当性には極めて低い正の値が割り当てられる。あるいは、例示の実施形態は、サンプル妥当性として値1を割り当てる。
例示の実施形態は、先に言及したローカルな品質劣化を回避するために、推定されたサンプリング密度およびサンプル妥当性に従って、収集されたボリュームを結合する。重みは、サンプリング密度とサンプル妥当性とから生成され、これらは最終的にマージされたデータセット内の各データセットの各ボクセルの影響を制御する。例えば、重みは、以下の方法で各位置合わせ済ボリュームの各所与のデータボクセルに割り当てることができる:関連付けられたサンプル妥当性を、1+関連付けられたサンプリング密度の量(この量の、例えば8乗)で割ることによって、仮の重みをボクセルに割り当てる。この指数パラメータは調整され、サンプリング密度値およびサンプル妥当性値の値範囲および分布に依存する。このステップの後に、正規化ステップが続く。このステップは、結合するデータ値の集合と関連付けられた重みを、これらの重みの合計を1とする共通因数によってスケーリングする。さらに、等分よりもはるかに低い重みは随意にゼロにすることができ、残りの重みは再正規化される。この処理は、当該サンプリング密度が他のサンプリング密度と比較して相対的に低いときに、より高い重みを導く。サンプル妥当性が相対的に高い場合にも、重みは高くなる。このスキームにより、元に収集されたボリュームのサンプリングにおけるギャップを埋めるために動き補正済オブジェクト空間の特定の位置にマッピングのみされた、データサンプルの影響が低くなり、したがって、マージされた出力の品質を高める。
ボクセルの加重和が全ての値について算出された後、最終的な随意の後処理ステップが、マージされた動き補正済データセットに対して、しきい値処理および範囲変換を行うことができる。
動き補正の原理の概要
以下のセクションでは、動き補正の一般的原理を記載する。示されるステップは、必ずしも順次実行される必要はなく、可能な場合には並行して実行されてもよい。図12は、例示の方法の高レベルのフローチャートである。最初に、少なくとも2つのOCTデータセットを収集する。データセットの少なくとも1つは、横断面の領域を高密度走査したものであるべきである。次いで、データには、例示の方法の性能ならびに実行速度を改善するように設計された、1つ以上の随意の前処理ステップが施される。次いで、前処理されたデータは、実際の動き推定ステップのために使用される。このステップは、データセット収集中の動きによって生じた歪みを補正し、かつ動きを補正するために共通空間にデータセットを変換する、変換を、各入力データセットのために見つける。一旦これらの変換が見つかると、これらのうちの1つ以上には、推定処理の間に使用されるのと同一のデータチャネルに適用されるか、または同一のデータセットからの異なるデータチャネルに適用されて、その結果、1つ以上の動き補正済データセットを生成することができる。最後に、これらの動き補正済データセットは、動きのアーティファクトがなくデータ品質も改善された、単一のセットへと結合され得る。
<データセット収集(取得)>
例示の実施形態は、2Dおよび3DのOCTボリュメトリックデータセットに関して記載しているが、これは、異なる時間に、サンプル材料または組織の異なる位置で画像情報を収集する走査データ収集処理によって特徴づけられる、他の画像診断法に適用できることは言うまでもない。多次元OCTデータセットは、特定の走査パターンに従って収集されるデータサンプルで構成される。データセットの収集は、3次元の器具走査座標系を使用して記述できる。この座標系は、原点と3つの直交の基底ベクトルによって画定される。最初の2つの基底ベクトルは、OCT装置の横断面に延びる。第3の基底ベクトルは、最初の2つの基底ベクトルに対して垂直であり、軸方向(図3)を指す。上記2つの横断方向のそれぞれにおけるOCTビームの走査範囲は、走査軌道または走査パターンによって定められ、撮像中のオブジェクト材料または組織の横断方向の領域を決定する。OCT器具の軸方向すなわち深さ方向の測定範囲は、撮像中のオブジェクトの深さ範囲を決定する。
多次元OCTデータセットが構成される各サンプルの位置は、上記基底に対して特定される。その位置は、走査立方体内の上記データサンプルの位置を特定する3次元座標ベクトルによって、定義される。開始からのおおよその絶対時間、または取り込まれた最後のデータサンプルに対するおおよその時間差が既知である。なぜなら、ビームを位置付けるための走査機構を制御するのに使用される、軌道に関連付けられた時間情報があるからである。データサンプルと特定の画像の収集の起点との相対的な時間情報が既知であれば、絶対タイミング情報、すなわち、その特定の画像の最初の撮像サンプルから経過した総時間も構築できる。この情報を使用することにより、収集された画像データは、当該収集の開始時刻とタプル(すなわち要素の順序リスト)の集合とによって、完全に記述することができる。この集合のサイズは、当該画像のために取り込まれたデータサンプルの合計数に等しい。図28は、単一のデータサンプルと座標系との関係の概略図である。各タプルs=<xs,ys,zs,ts,data>は、サンプル自体のデータ内容と、OCT走査座標系上の位置に関する3次元座標と、当該位置がサンプリングされた時刻値tsとからなる。
図29は、複数の位置を順次サンプリングしてデータセットを構成する例を示す。ここでは、複数のデータサンプルs1、s2〜snが収集される。この例は順次走査を示しているため、データサンプルと関連付けられた時刻は、1つのデータサンプルから次のデータサンプルに移るに従って、順次増加している。
(フーリエ領域OCTの場合のように、)OCT装置が実質的に瞬時に個々のA走査を収集する場合、各A走査は、同時に異なる軸方向深さの複数のデータサンプルを収集すると考えることができる。ここでいう「実質的に瞬時に」とは、各A走査が1ミリ秒未満で収集されることを意味する。各A走査の軸方向に沿ったサンプルは、器具座標系の同一の横断方向の座標で得られる。A走査のデータサンプルの軸方向座標は、器具座標系のz方向において等間隔で離れている。いくつかの実施形態では、主に、瞬時に個々のA走査を収集するシステムとともに使用されることを想定している。ただし、一般には、データセットのデータサンプルには、互いに対してこの特別な関係がない。また、光屈折の影響に起因して、軸方向がz軸に必ずしも整列しないような、OCTビームの方向に変化が生じてもよいことは言うまでもない。これらの場合は、屈折を補償するためにOCT画像データセットを前処理することによって対処することができ、また、例示の実施形態によってもサポートされている。
さらに、画像収集を記述するこのモデルは、複数の撮像ビームを使用して一度に複数のデータサンプルまたはA走査を同時に集める装置にも適用される。この場合、関連付けられた時刻値はまた、並行して記録されたデータサンプルについて、同一になるであろう。複数の撮像ビームを使用すると、データ収集速度を大きくでき、複数のビームが独立して走査される場合には、複数のデータセットの各時間構造間の相関を高めることができ、これにより位置合わせ性能が改善されることになる。
相補的走査パターンの概念は、器具座標系の各データサンプルの3D位置を時間の関数または関係として扱うことによって、数学的に説明できる。これは、各時刻が1つ以上のサンプリング位置と関連付けられることを意味する。時間が進むにつれ、時間的に次の対応するデータサンプルを指す各データサンプルのベクトルである、勾配のような概念を定義することができる。ここでいう「対応する」とは、各サンプルが、同一の撮像ビームによって記録され、および/または、A走査ベースの系の場合には同一の軸方向走査指標上にあることを意味する。結果として生じるベクトル場は、特定の走査パターンにとって一意である。2つの走査パターンは、これらのベクトル場が、異なるか無相関の場合に、相補的であるという。相補的走査パターンの基本的な例は、直交する高速軸を有するラスタタイプの走査パターンである(図10(A)〜10(C)、図11(A)〜11(C))。一般に、動き補正は、使用する走査パターンのセットが有意に相補的であるパターンを含む場合に、最も良く機能する。
器具スキャナ座標系に加えて、走査中のオブジェクト材料または組織上に座標系を定義することもできる。相対的な動きがない場合、器具座標とオブジェクト座標には互いに固定された関係があり、3D OCTボリュメトリックデータセットは、正確にオブジェクト材料または組織の特徴を表す。しかし、データセット収集中における、オブジェクト材料または組織の動きは、器具の動きと共に、データセットの歪みの一因となり得る。なぜなら、オブジェクト座標系で表されるオブジェクト材料または組織上のOCTビームの実際の位置は、器具スキャナ座標系によって表されるOCTビームの所望の位置とは異なるからである。
図10(A)〜図10(C)は、OCT装置が軸方向の走査を瞬時に収集する標準的な場合に使用される、ラスタビーム走査パターンの例を示す。ラスタパターンでは、軸方向走査データは、OCTビームを所与の横断方向(図10(A)または図10(B)のx方向)に沿って高速走査し、垂直方向(図10(A)または図10(B)のy方向)に沿って走査の位置を次第にずらしながら高速横断方向走査を繰り返すことによって、順次収集される。ビームは、フライバック(すなわち、図4に示すように次の横断方向走査の原点へのビームの迅速な走査)によって各順次高速走査の先頭に再配置される。この例では、軸方向走査OCTデータは、フライバックの時間中は収集されない。ラスタ走査は、断面画像の集合(すなわち図10(B)で示すB走査)を収集するものと考えることができる。さらに一般的にいえば、異なる平面位置でのB走査の集まり、すなわち、オブジェクト材料または組織の横断方向の領域からの軸方向走査データの集まりが、3D OCTボリュメトリックデータセットを構成する。
ラスタ走査パターンは、オブジェクトの横断方向の領域をカバーする正方形または矩形のグリッドに沿って間隔をとった複数の点において、軸方向走査データを得る。OCT器具の軸方向走査収集速度およびOCTビーム走査の速度に応じて、軸方向走査は、x横断方向およびy横断方向において、異なる軸方向走査間隔で収集されてもよい。動き補正位置合わせおよびマージの例示の実施形態は、xおよびyの横断方向において間隔を等しく取った、軸方向走査位置を使用する。これは、y方向に沿って迅速な走査を行う相補的走査パターンが、x方向に沿って迅速に走査する走査パターンと同じ間隔を有する軸方向走査データを有するからである。
図30(A)〜図30(G)は、OCTビーム走査パターンおよび相補的なパターンの例を示す。標準的なラスタパターンおよびその相補的なパターンが、図30(A)のパターン(XFastおよびYFastを示す)で示される。極めて高速な走査が必要な場合、双方向ラスタパターン(図30(B)および図30(E))を使用できる。双方向ラスタは、標準ラスタ(図30(A))におけるような走査フライバックを使用せず、順および逆の走査方向において実質的に等しい速度でビームを走査する。本明細書では、速度の2つの値が「実質的に等しい」とは、その2つの値の差が10%未満であることをいう。双方向ラスタは、順方向および逆方向の走査の両方のデータを収集し、これによって、所与の測定時間内において得ることができる軸方向走査データの量を最適化する。双方向ラスタパターンは、走査に対して垂直な方向に様々な間隔を有し得る、軸方向走査データを収集する。図30(E)の左のパターンに示すx方向に迅速な走査を行う例では、軸方向走査の間隔には、y方向におけるわずかな変動がある。
図30(C)、(D)、(F)および(G)は、OCTビーム走査パターンの他の例を示す。これらの例には、オブジェクト材料または組織の矩形の横断方向の領域を走査すること;円筒状環形を走査すること;または大きな領域と、この大きな領域に包含されるか、もしくはこれと部分的に重なっている相補的なより小さな領域とを走査することが含まれる。
図30(D)は、x方向に迅速に走査される大きな正方形または矩形状領域、およびy方向に迅速に走査される、より狭い領域からなる相補的な走査パターンの例を示す。この相補的な走査パターンは、最初の走査パターンの全y範囲を走査するが、x範囲の一部しか走査しない。この種の走査パターンは、同一の領域を実質的にカバーする2つの相補的なパターンを走査するには時間が足りない場合に使用され得る。この種のパターンはまた、2つの等しい領域からのデータが、その全ボリュメトリックデータセットが位置合わせに使用され得るほどの十分な品質を有さない場合に、使用され得る。この場合、図30(D)に示す領域に対応するデータの部分集合を抽出して使用することもできる。図30(A)〜図30(G)に示す走査パターンは例であって、多くの他の走査パターンが可能であることは言うまでもない。また、2つ以上の相補的な走査パターンを、所与の走査パターンに使用することができることも、言うまでもない。
例示の実施形態において、複数の3D OCTボリュメトリックデータセットは、相補的な走査パターンを使用して収集される。しかし、複数のOCT走査ビームを有するOCT器具を使用して、類似または相補的な走査パターンを有する、複数の3D OCTボリュメトリックデータセットを、同一の時間間隔で収集することもまた、可能である。複数の走査ビームを有するOCT器具は、高速データ収集を可能にする。なぜなら、複数の軸方向走査データがオブジェクト材料または組織上の異なる位置から同時に収集されるからである。例えば眼科などの臨床撮像の応用例では、安全組織曝露量によって所与の位置における許容入射露光量が制限され、このため、信号と雑音のトレードオフによる最大データ収集速度が制限される。複数のビームを使用することで、より高いデータレートが可能となる。さらに、相補的な走査パターンからデータを同時に収集できるので、複数のビームを使用することによって画像収集も可能である。これは、動き補正、位置合わせおよびマージの性能を高める効果がある。これらの実施形態については、後のセクションでさらに詳細に記述する。
3D OCTボリュメトリックデータセット内の各軸方向走査に関連付けられた時刻情報は、動き補正および位置合わせに対する入力として使用されるので、重要なパラメータである。OCT器具とオブジェクト材料または組織との相対的な動きは、振幅、速度、加速度または周波数の一定の限度内に制限される。許容可能な動きに対するこれらの制限は、動き補正処理の間、ボリュメトリックデータ類似度の測定とともに使用される。
以下のセクションでは、各データセットが、撮像器具座標系の3D位置と、関連付けられた時刻と、実際のデータとで構成されたタプルの集合からなるという、一般的な場合を想定する。ある記述が、瞬時的なA走査に基づくデータセットのより特定のケースを指す場合には、このことは明確に言及される。
<データ前処理>
データセットの前処理は、動き補正により適した形式に入力データを変換するために、いくつかのステップからなることができる。以下のセクションにおいて、これらのステップを説明する。実装する場合には、これらのステップのうちのいかなるサブセットも前処理として行うことができる。可能な場合、複数のステップを並行して実行できる。以下のセクションにおいて詳述するステップが、説明で与えられたのと必ずしも同じ順番で行われる必要はない。
《データ選択》
前処理の1段階は、入って来るデータセットのどの部分を、動き補正のために(特に、変換後の状態において類似度を評価するために)、使用するかを選択することである。使用するデータは、異なる時刻のステップで同じ位置でデータサンプルが取り込まれたときには類似しており、データサンプルがオブジェクト座標系の異なる位置で記録されたときには類似していない、という情報を含むべきである。さらに、選択されたデータは、さらなる前処理とともに、処理に十分に適しているべきである。その詳細は、データセットの実際のデータ間の類似度目標が、特定の実施形態においてどのように表されるかに依存する。
OCTデータは、フーリエ領域検出からの出力である干渉データ、場の振幅データ、複合場データ、線形強度データ、ログ強度データとして、あるいは他の形式で表すことができる。深さに関して有意の光減衰がある材料または組織の撮像応用例では、OCTデータは、通常、ログ強度で、または画像の可視ダイナミックレンジを拡大する他の圧縮形態で見る。OCT測定値から、例えば、ドップラーフロー、パワードップラー、偏光感度、複屈折、偏光度不均一性、分光などの種類のデータを収集することも可能である。例示の実施形態では、処理のために選択する1つの典型的な種類のデータは、OCT強度データである。強度データは、線形スケールであってもよく、対数のような圧縮スケールに変換されてもよい。さらに、データには、さらなる標準のOCT処理ステップ(例えば、雑音を低減する強度しきい値処理、または表現のフルダイナミックレンジを占めるための再スケーリングなど)を適用してもよい。また、2種類以上の入力データを、次の処理ステップのベースとして使用することもできる。例えば、ログ強度データは、動き補正および位置合わせを行うために使用でき、その一方、動き補正変換についての情報は、OCT測定から収集される他のデータ(ドップラーフロー、パワードップラー、偏光感度、複屈折、偏光度均一性、または分光分析データなど)の動き補正および位置合わせを行うために、使用できる。
《雑音低減》
一般に、入力OCTデータは、背景雑音ならびにスペックル雑音を有する。次の動き補正および位置合わせ処理ステップに応じて、ボリュメトリックデータセットの雑音レベルを下げる画像処理ステップを行うことができる。雑音低減は、各A走査を独立に処理すること、時間と空間の両方に関して近い複数のA走査の集合を処理すること、または器具座標系から参照されるようなデータセットの空間的近さに従って処理を行うこと、によって行うことができる。強度データに作用できる雑音低減の1例は、適切なウィンドサイズを有する1D、2Dまたは3Dでのメディアンフィルタリングである。ただし、広範囲にわたる他の雑音除去技術も使用できる。
《データセットの再スケーリング》
高速処理を達成し、実行時間制限に取り組むためには、1つ以上の方向にデータセットを再スケールすることが、有利であり得る。一般のデータセットの場合では、「再スケールする」とは、器具座標系の1つ以上のディメンションに従ってデータサンプルの間隔が変わるように、タプルの数を増加または減少させることを意味する。1例としては、各データセットの軸方向または横断方向の解像度を低減することであろう。これによって、それ以降のステップで処理すべきデータ量が削減される。他の例は、軸方向のピクセル間の間隔が入力データセット間で異なる場合に起こる。データは、軸方向間隔が全てのデータセットで等しくなるように再サンプリングすることによって、1つ以上のデータセットの軸方向解像度を増減することにより、用意できる。これと同様の処理は、走査座標系のサンプル点同士の間隔によって与えられる入力データセット画像のピクセル解像度が等しくない場合に、横断方向において行うことができる。ラスタタイプの走査の場合、横断方向の再スケーリングは、サンプリング点間の時間差が最小である軸に沿って行うことが好ましい。
《特徴の演算》
動き推定を直接の目的とする前処理の間に選択されたデータチャネルを使用せずに、特徴を演算するステップを行うことができる。このステップの目的は、使用する具体的な類似度測定とともに、動き補正ステップの性能を高めることでもあり得る。他の利点は、出力データの次元数(dimensionality)を入力次元数に対して低減でき、その一方で、オブジェクトの異なる位置からのデータを区別できる情報を、保てることである。これは、完全に無関係な情報が廃棄されるので、動き推定の間の必要な計算を減少させることができると共に、動き推定結果を改善できる。
《データ正規化》
データセットのデータ内容を定義された範囲に収め、データ範囲のグローバルな差(汎用的な差)を補正するために、正規化が適用できる。1例としては、強度データが使用される場合の輝度差がある。このような差は、標準的なOCT画像処理のために使用される異なるパラメータや、順次収集のために走査されたオブジェクトまでのOCT装置の距離の差によって生じ得る。この影響は、OCT撮像システムに典型的に見られる、軸方向走査の深さに従って平均信号レベルを低下させる、いわゆる感度ロールオフによって生じ得る。ビネットのような影響によってもまた、ビームに対するデータサンプルの横断方向の位置に依存した輝度差が生じることがある。
データ正規化の1例は、平均強度、または正規化後の他の構造データ値がゼロで、強度の分散が1となるように、各データセットの強度分布を正規化することである。これと同様に全データセットを正規化する類似の正規化でも、全データセットに対して強度分布について同様のことを行うであろう。最後に、平均および分散に基づく正規化を、各A走査対して個々に行うことができる。このようにして、輝度の変化をもたらす影響もまた、効果的に補償できる。
《データサンプルの選択》
動き補正のための例示の実施形態に対する入力として複数のデータセットを使用する際には、1または複数の入力データセットのための走査パターンが、他の入力に比べて、器具走査座標系の極めて大きい領域をカバーする場合があり得る。動き補正を行う対象である走査座標系の実際の対象領域もまた、各入力データセットのための元のOCTサンプリングパターンによってカバーされた領域の部分領域であるかもしれない。
この場合、3Dの対象領域は、ユーザ入力によってまたは自動的に定義され得る。例えば、自動での対象領域生成は、サンプリングパターンによって与えられる全ての入力サンプリング領域の共通部分をとることによって、行うことができる。対象領域を表す1つの特定の方法は、器具座標系において、向きを定められた1つ以上のバウンディングボックスとして表すものである。あるいは、ほぼ円形またはほぼ楕円の走査パターンに、より適した形状が使用できる。
対象領域を定義する際、全てのデータサンプルは、それらの走査位置が対象領域の中にあるか否かを認識するために試験することができる。これが特定のサンプルに当てはまらない場合には、それはさらなる処理から除外される。このようにして、重要な領域に随意
に処理を集中させることができる。これによって、同一領域をカバーするOCT画像間の最適化された動き補正が可能になる(このとき、画像の一部はそれよりも極めて大きい領域または極めて小さい領域をカバーしている)。図31は、この原理に基づく網膜撮像における例を示し、ここでは、1つのデータセットが、その他のデータセットよりも、器具空間の極めて大きい領域をカバーしている。これらの領域の共通部分の中にあるデータサンプルは、さらなる処理のために両方のデータセットから選択できる。
《調整不良の補償》
眼科などのOCT撮像の特定の応用例では、撮像ビームは、目の角膜およびレンズなどのレンズ様物体を通過してから、網膜などの実際の対象オブジェクトに当たる。この場合、この生物学的レンズが、実際にOCTビームを網膜に集める。このような状況では、OCTビームが角膜に中央で当たった場合に、OCT画像は網膜の表面の比較的均一な(平坦な)ビュー(像)を映すであろう。一方、ビームが角膜に中央で当たらなかった場合には、横断方向の走査範囲の両端で相対的な光路長の差が生じる。これらの長さの差によって、網膜上のビューは、ビームが中央位置で角膜に当たった場合と比較して傾いているであろう。相対的な調整におけるこのような変化は、特に順次データセット収集中に生じ得るので、その表面は、一方のデータセットではまっすぐに見え、他方のデータセットでは傾いて見えることになる。この影響は強調される。なぜなら、OCTデータは、関心のある特徴をよりよく表示するために、データセットの異なるディメンションが伸ばされたり圧縮されたりする、非―均一な縦横比でしばしば表示されることが多いからである。眼科では、OCT画像は、網膜の薄い構造をよりよく表示するために、典型的には軸方向に拡大されて表示される。
この傾斜の影響は、動き推定に問題を引き起こす。なぜなら、動き推定は、この傾斜を強い軸方向動きとして処理し、その強い軸方向動きは、モデル化された動きの目標によってペナルティを与えられるからである。そのため、このような調整不良が深刻な場合には、動き推定ができない。
この傾斜の影響に伴う問題を回避するために、例えば平面をデータセットに当てはめることによって傾斜を推定する、処理ステップを加えることができる。この平面は、各A走査に沿った輝度情報の重心のような、最初に遭遇した高散乱物質などの特徴、または測定値、に当てはめることができる。
平面が各データセットに当てはめられたら、データが調整されて算出された平面が平坦になるように、データを補正できる。補正は、測定された平面と上記平坦な平面との距離に従って、軸方向にデータを移動させることによって達成できる。傾斜を補償する他の方法もまた使用できることは、言うまでもない。
<動き推定>
《変換のパラメータ化》
本明細書に記載する動き補正の基本的な考えは、変換の集合を見つけることである。入力データセットごとに、1つの独自の変換がある。これらの変換は、各データセット収拾中に記録されたデータを、1つの単一の共通の座標系にマッピングするために使用される。全体としての概念は、この共通空間にマッピングされたデータは、各収集中の動きによって生じた歪み影響がない、ということである。概念的には、これは、データサンプルをスキャナ座標系から走査中のオブジェクトの座標系へ移動することである、と考えられる。また、上記オブジェクト座標系は、スキャナとオブジェクトとの相対的な動きの影響が3つのディメンション全てにおいて補償されたOCTビーム器具座標系である、と考えられる。この単一の座標系を、位置合わせ済または動き補正済の空間または座標系と称する。
この状況において、主に2次元のデータセットを収集する走査パターンは、高密度の3Dサンプリングパターンを収集する走査パターンから区別される。2Dタイプのパターンは、横断面において真の2D領域の高密度サンプリングを有さない。3Dタイプのパターンは、器具座標系の横断方向の主に2次元の領域をカバーする。この区別は、入力データセットごとのサンプリングパターンを分析することによって自動的に、またはユーザもしくは走査パターンの設計者によってなされ得る。また、その決定が任意になされ得る境界的な場合もある。基本的に、データセットは、データ点のサンプリングが3D領域をカバーしており、かつデータ補間技術を上手く使用して器具座標系における隣接サンプル間を補間できるほど十分に高密度である場合には、3Dタイプであるとみなされる。例えば、高密度のラスタ走査は3Dタイプ走査とみなされる一方、器具座標系の横断方向の同一の線をカバーしながら繰り返される断面は、2Dタイプ走査とみなされる。
3Dタイプ走査パターンから2Dタイプを区別する、上記定義に基づき、変換の必要条件を以下に記述する。2Dタイプ走査では、1つの変位ベクトルは、問題の画像の全てのデータサンプルに関連付けられている。一般的な場合、この変位ベクトルは3Dである。全ての入力画像が同一走査パターンを有する2Dタイプのものである場合、横断方向の1つのディメンションを変位ベクトルから省略でき、その結果、2D変位ベクトルとなる。
入力データセットの3Dタイプのデータセットの集合から、動き補正済空間におけるサンプル位置の共通集合が選択される。1例として、これらの位置は、器具座標系における対象領域にわたって規則正しく間隔をとったグリッドとして選択できる。3Dタイプの全てのデータセットが規則正しく間隔をとったサンプル点の同一の集合を含むという特別な場合では、この集合は、直接選択できる。この条件は、サンプリング点が既に互いに合っているので、いずれでも満たされ得る。このような場合はまた、複数のパターンが異なる領域およびカバー範囲を有する場合にも起こり得る。サンプル点の異なる間隔が、前処理ステップ、データサンプリングの選択、およびデータセットの再スケーリングを通じて適応できる。
各3Dタイプのデータセットに関連付けられた変換は、2Dまたは3Dの変位ベクトルを、(これもまたシフトが変わらないことに依存するが)、動き補正済座標系で選択された少なくとも各サンプル点に、関連付けることが可能であるべきである。概念的には、これらの変換のそれぞれは、その関連付けられたデータセットからのデータをその走査座標系からオブジェクト座標系にマッピングする。
動き補正において使用する変換のそれぞれは、多くの異なる方法でパラメータ化できる。その例には以下が含まれるが、これに限定されるものではない:変位ベクトルの集合としての直接的パラメータ化、多次元多項式を使用するパラメータ化、スプライン、b−スプラインもしくはサンプル時間における同様のパラメータ化、または2Dおよび3Dのリジッド変換もしくはアフィン変換。変換が評価されるべき位置の集合の部分集合については、他の互いに素な部分集合のためのものとは異なるパラメータ化を使用できる。選択の仕方によってはさらに良い結果になることがあるが、一般には、先に特定された位置で評価され得る変換は、いかなるものも、動き補正のために使用できる。
先の説明で記述した変換の扱い方とは異なり、変換を設定する他の主要な方法が存在する。この別法において、3Dタイプのデータセットのための変換は、2Dタイプのセットの場合と同様に扱われる。これは、他の領域についても、主にデータセット類似度計算に関して、当てはまる。この別法を使用すると、データセット類似度測定は、基礎となる走査パターンが規則的なグリッド上にあったときでさえも、不規則なグリッド上でサンプリングを常に行わなければならない。なお、変換を設定するこの別法は、本明細書に記載する方法およびシステムによって使用され得る。
《データ補間》
データセット値を共通のオブジェクト座標系にマッピングするために、データ補間技術が必要である。データの値は、そのデータのみが点の有限集合においてのみ定義される、任意の位置において生成されなければならない。このデータは、例えば、器具座標系における一定の複数の座標点で定義される強度データであってよい。また、各データサンプルに関連付けられた時刻は、ここでは、器具座標系におけるデータサンプル位置ごとでのデータ値と考えられる。
一般に、各入力データセットの器具座標系におけるデータセットのサンプリング点の位置、およびその関連付けられた時刻情報、ならびに位置合わせ座標系における、選択されたサンプル位置の集合によって、データサンプルの不規則な2Dまたは3Dのグリッドが構成される。このようなグリッド上に、クリギング(kriging)補間や逆距離加重法(inverse distance weighting)など、種々の既知の技術を使用して、データが補間され得る。データ点位置の集合が少なくとも一部のデータについて規則的な2Dまたは3Dのグリッドを特定する特有の場合には、例えば最近隣法、バイリニア、トリリニア、キュービックもしくはより高次のスプラインまたはb−スプライン補間などの、標準的な技術を使用できる。
《グローバルな目的関数》
動き補正方法は、最適化スキームの各ステップにおいて全ての利用可能な情報を考慮に入れることが可能な、目的ベースの手法を使用して、上述した変換を推定する。これらの目的または目標を以下に記述する。これらの目的を組み合わせる方法の例も示す。
《画像類似度目標》
個別に見ると、動き補正の1つの目標は、動き補正済空間に画像データを移動する変換を適用した後に、入力または前処理されたデータセットのいくつかのペアの間の類似度が最大化されるような、変換を見つけることである。本目的または目標は以下の段落に別途記載するが、この目的または目標は、動きを考慮する後述の他のカウンターバランス目標(釣り合わせる目標)とともに評価されなければならないことは、言うまでもない。
考慮する特定のデータセットのペアに従って、手法は異なってもよい。3Dタイプの2つのデータセットを比較する場合、各データセットについての現在の変換推定値を使用して、各画像からの画像データを動き補正済空間へと変換する。3Dタイプのデータセットごとにデータ点の同一の集合が選択されるので、これによって、当該ペアの各データセットについて、動き補正済空間における共通の位置にデータサンプルの集合が生成される。次いで、これら変換後の画像は、同一のサンプリング位置からのデータ値のペア、または同一位置からの各データ点ペアの周囲の空間の近傍部の値を勘案して、類似度に関して評価され得る。この情報に適用される特定の類似度測定が両サイドを対称に扱うことを条件として、3Dタイプの2つのデータセット間の類似度の全体評価は対称になる。
3Dタイプのデータセットが2Dタイプのデータセットとペアになっている場合には、その3Dタイプのデータセットは前述の場合と同様に変換される。次いで、2Dタイプのデータセットのデータサンプル位置ごとに、データ補間ステップが行われる。このデータ補間ステップは、動き補正済空間に位置する3Dタイプのデータセットの潜在的に不規則なグリッドを、2Dデータセットからの各データサンプルが位置合わせ済空間にマッピングされる位置において、サンプリングする。その結果、2Dタイプのデータセットからの各データサンプルに匹敵するデータサンプルと、器具座標系における2Dタイプのデータセットのサンプリングパターンから生じる空間近傍値が生成される。2Dタイプのデータセットと3Dタイプのデータセットとの類似度を比較するために生成されたデータサンプルのペアは、同一である。
次いで、おそらく近傍情報を含むデータペアの全体集合が、これら2つの画像の間の類似度評価および最大化のために使用できる。使用できる類似度測定の例には、以下のものが含まれる:差の二乗和(SSD)、相互相関、相互情報(mutual information)および領域相互情報(region mutual information)などの方法。一般性を損なうことなく、この類似度測定は、問題の2つのデータセット間の類似度が高ければ高いほど大きい実数値の値をもたらすと想定される。
データセットのペアに作用する類似度値に加えて、同一タイプの3セット以上を一度に勘案する測定も使用できる。この1例は、オブジェクト空間内の対応する位置におけるデータセット値の分散にペナルティを与えるというものである。
《画像ペアリングスキーム》
使用する類似度測定がデータセットのペア間の類似度測定をサポートするだけの場合、関心対象である一定の類似度を測定するために、特定のペアリングスキーム(対にする技法)が使用される。最も単純かつ可能なスキームは、利用可能なデータセット間の全ての可能な組み合わせを測定することである。これは、N個の異なるデータセットごとにN×N個という程度の多くの測定につながる。
2よりも膨大に多い数のデータセットを位置合わせするためには、これらの測定値を評価するためのコストが、計算の観点から高くつきすぎることがある。このため、利用可能性を有する部分集合のみをペアにする他のスキームが、使用可能である。この状況では、同一または類似した走査パターンを有するデータセットをペアにするよりも、実質的に相補的な走査パターンを有するデータセットをペアにする方を優先させるのが有利である。
《変換によってモデル化される制限された動きという目標》
動き補正の他の目的は、再度個別に認識した場合、以下のとおりである。すなわち、推定されるべき変換によってモデル化されるような、データセット収集中の時間に関するOCTスキャナとオブジェクトとの相対的な動きが、何らかの定義によって低減される場合、補正問題に対する解はより良好になる、というものである。本目的または目標は以下の段落に別途記載するが、この目的または目標は、変換後の状態における類似度を考慮する先述したカウンターバランス目標とともに評価されなければならないことは言うまでもない。
変換は、3Dタイプのデータセットのためのオブジェクト空間でも、2Dタイプのデータセットのための走査座標系でも、複数の一定のサンプリング点で評価可能に定義されることを想起されたい。これらのサンプリング点に関連付けられているのは、時刻値である。2Dタイプのデータセットにおいて、時刻値は、評価可能な点が元のサンプリング点である場合には直接関連付けられるか、または、必要な位置で元の時間構造情報を補間することによって生成される。3Dタイプのデータセットの場合、時刻情報は、器具座標系における評価可能な点の座標でのデータセットのサンプリングパターンによって与えられるような、元の時間構造をサンプリングすることによって生成できる。
変換を評価すべきすべての点において利用可能なおおよその時刻情報が現在あるので、変換の集合は、2Dまたは3Dにおける変位ベクトルをある時点に関連付ける関係である、とみなすことができる。ここで、「時刻(時点)」とは絶対時刻を意味し、単一のデータセット収集での時間ではない。これは、マルチビーム収集の場合をサポートするのに必要である。マルチビーム走査が行われない場合は、例えば各データセット収集の開始に対する相対時刻で十分である。一般に、おおよその時刻はまた、OCT装置自体がこの情報を直接提供しない場合には、例えば走査面積、走査サンプリング、装置の収集速度などの、走査パターンおよび装置に関する一般に利用可能な情報から算出できる。いかに変換が設定されるかについての推論から、時刻が等しい場合には、全ての変換は同一の変位ベクトルを生成する、という制約が生まれる。また、この制約により、マッピングを時間に関する2Dまたは3Dの関数として扱うことができる。
例えば有限差分法を使用することにより、数値近似を使用して、時間についてのこの関数の勾配を推定できる。変換の変位ベクトルが、ある時点でのスキャナとオブジェクトとの相対位置をモデル化するので、勾配は、相対位置の変化を表し、このため、動きを表す。
撮像装置も走査されたオブジェクトも、ゼロでない質量を有すると考えられる。これは、両方の物体の相対速度には上限があること、および一定時間枠内の相対位置の変化には物理的な制限があることを示唆する。通常、相対速度に対しては、さらなる仮定がなされ得る。この仮定も、一定時間枠内のスキャナとオブジェクトとの相対位置の予想される変化を制限する。眼科撮像の場合、サッケードからの目の動きは、極めて迅速に起こり、時間的に不連続な動きを生じる可能性がある。しかし、複数のサッケードは次から次へは起こらないため、動きは一定の限界内にある。モデル化された動きを考慮する第2の目的は、動きの限界を表すこれらの事実を考慮に入れるように、推定される変換が見つけられることを、確実にすることである。
データ収集全体におけるトータルな動きを測定する最も基本的な方法は、全収集時間の最初から最後までの上記勾配にノルムを積分することである。この積分を評価する1つのおおよその方法は、サンプル点間の時間差によって重み付けしたノルムを適用した結果として生じる値を、合計することによる。さらに、所望の効果は、例えば、各加算部の、各勾配ベクトルの個々の成分に任意の単調増加関数を適用することによって、ノルム適用の結果に任意の単調増加関数を適用することによって、および時間差重み係数に任意の単調増加関数を適用することによって、維持できる。
このようにして、測定値を生成することができ、その最小化は、全収集時間の間、変換によってモデル化される動きを最小化する。この測定値に任意の単調減少関数を適用すると、最大化問題につながる。この結果として生じる測定値を、以下のセクションでは正則化項値と称する。
≪目的の組み合わせ≫
良好な動き補正結果に到達可能にするためには、これら2つの前述した目的を、個別に考慮すべきではない。代わりに、この2つのおそらく相反する目標のバランスを見つけるべきである。
そのための1つの直接的な方法は、これら目的の評価から生じる2つの測定値を合計することである。他の例示の手法には、両測定値の商をとることである。両方の目標の間の相対的な重み付けを提供するために、合計の前に、測定値のうちの1つによって乗算される正の係数を導入する。一般性を損なうことなく、この係数は、正則化項測定に適用でき、このため、正則化項重み係数と称する。
図32は、本発明の方法によって使用される例示の目的関数を評価する処理3200を示すフローチャートである。ステップ3202a、3204aおよび3206aのそれぞれにおいて、変換1、データセット1および走査パターン1がそれぞれ入力として用いられる。ステップ3202b、3204bおよび3206bのそれぞれにおいて、変換2、データセット2および走査パターン2がそれぞれ入力として用いられる。ステップ3212では、変換1および走査パターン1が、変換2および走査パターン2と比較されて、オブジェクトと走査器具との間の推定された動きにペナルティが与えられる。ステップ3214では、変換1およびデータセット1が、それぞれ変換2およびデータセット2と比較されて、2つの変換と2つのデータセットとの間の類似度にフェイバが与えられる。ステップ3216では、動き推定ペナルティと類似度との相対的強弱度を査定することによって、目的関数が評価される。
処理3200は、変換c〜N、データセットc〜N、および走査パターンc〜Nに作用するさらなるステップを含むことができる。
図32を参照して、類似度を最大化または最適化する目標は、画像データセットを読み込み、対応する変換をそのセットに適用する。次いで、補間されたセット間の類似度が、評価され最大化され得る。同時に、動きを制限する目標または動きにペナルティを与える目標は、各データセットの収集のために使用されたサンプリングパターンの形式での入力データと、各セットのための現在の変換とを使用する。両方の目標の組み合わせにより、各データセットの収集中の相対的な動きを正確にモデル化するであろう変換の集合を見つけることができる。この組み合わせはまた、両方の目標の間で折り合いをつけることを示唆する。なぜなら、各目標を単独で考慮したのでは満足な解が得られそうにないからである。
なお、目的関数はまた、上述したように、2つの主な目的以外にさらなる目標を組み込むことができる。例えば、別の項を使用して、変換後の状態におけるデータ値の空間的連続性にフェイバを与えることができる。これは、入力データセットの少なくとも1つが、あるオブジェクト領域の高密度サンプリングまたはオーバーサンプリングを有する3Dタイプデータセットである場合に、有用である。この高密度サンプリングにより、正しく動き補正されたデータセットの構造情報は、ローカルには空間的に滑らかであるはずである。ラスタ走査の場合、例えば、変換後の状態の隣接するB走査間の高い類似度には、フェイバを与えることができる。画像類似度の目標とモデル化された動きの目標とを組み合わせたのと同様のやり方で、さらなる項を目的関数に組み込むことができる。なお、本明細書に記載する方法およびシステムはこの目標や他のさらなる目標を使用できる。
≪多重解像度最適化≫
目的関数の勾配ベクトルは、分析的に、または有限差分のような近似法を使用することによって、算出できる。これらの算出は、変換パラメータ化、データセットの類似度測定、動き最小化目標の公式、および他の要素の特定の選択に依存する。
利用可能な情報に基づいて、目的関数は、特定の目的関数の公式に依存して、最適化(すなわち、最小化または最大化)できる。この最適化を行うために、種々の反復的非線形オプティマイザが使用できる。このオプティマイザには、非線形共役勾配法、Limited memory Broyden-Fletcher-Goldfarb-Shannoとしても知られるL-BFGSなどのニュートンおよび準ニュートン法などが含まれる。なお、目的関数の勾配の評価を必要としない他の最適化法を使用することもまた、本明細書に記載する方法および装置によって採用され得る。
最適化の初めに、パラメータ空間の起点が選択される。変換を初期化する1つの方法は、相対的な動きが画像取得中に生じなかったことを示唆する点から始めることによる。これは、結果として生じる全ての変位ベクトルに零ベクトルが割り当てられるように、変換を初期化することを示唆する。初期化の他の可能性としては、異なる設定で行われた前の動き推定の結果を使用する。例えば、初期化は、特に、異なるデータセット類似度測定設定または異なるデータセット変換などを有する推定処理からの解をマッピングすることによって、行うことができるであろう。この枠組を使用することにより、リジッド変換のみを使用した動き補正結果が、大まかな推定に用いられることができる。これにより、次の推定処理の結果を改善できる。この処理はまた、数回行うことができる。計算すべき変換を初期化する他の方法は、収集中に生じた1つ以上のディメンションにおけるオブジェクトとスキャナとの相対的な動きの少なくとも大まかな推定を提供するのに適した、さらなるデータ源を利用する。例えば、OCT装置に組み込まれた眼底カメラを使用して、撮像中のオブジェクトの2次元の画像を記録することができる。ここで、相対的な横断方向の動きがあれば、眼底カメラによって撮像される領域が、収集中に動かされるであろう。1つのフレームから次のフレームへと起こる撮像された領域内のこれらのシフトは、連続した眼底画像にリジッド画像位置合わせ技術を使用して推定できる。これらのシフトは、あるビデオフレームに対応する点において同時に取り込まれたOCTデータセットの変換を初期化するために、使用できる。一般にOCTのA走査速度はビデオ速度に比べて極めて速いため、データ補間技術を使用して、ビデオフレーム時点に対応する時点間の変位値を補間して、完全に初期化された変換を提供することができる。この補間を含む補助の動き測定システムは、動き補正の処理時間の低減に役立ち、その精度を高める。なぜなら、初期化によって、その方法が、動きについてのさらなる情報を利用できるようになるからである。なお、同様の初期化スキームが、ビデオ眼底カメラ以外のデータ源とともに使用できる。
一般に、非凸関数に対する非線形最適化は、開始位置のある領域(いわゆる吸引領域(region of attraction))内のローカルな最適値を見つけるだけであろう。この問題を緩和し、必要な計算を低減できる可能性のある1つの方法は、いわゆる多重解像度最適化を使用する。概念的には、前の推定を次の最適化の初期化に使用することに似ているが、この実施形態は、動き推定作業の複数の表現に作用する。減少していく複雑度を有する一定数の表現が、最終結果の所望の複雑度を有する1つの元表現から生成される。ここで、複雑度とは、所与のレベルでデータセット変換を記述するのに使用される、パラメータの数または自由度を指す。作用対象のデータ量もまた、この技術によって低減できる。
複雑度を低減する例としては、3Dタイプのデータセットの集合のための位置合わせ座標系において、連続的に共通性が小さいサンプル点を選択する方法があるが、これに限らない。2Dタイプのデータセットの場合、推定に使用されるデータ点の数もまた、連続的に低減できる。これは、スペクトル型または波長掃引型のOCTの場合には、サンプリング時間の増加によって与えられる方向と軸方向との両方でデータセットをダウンサンプリングすることによって行われる。サンプリング点の数とともに、例えば変位場として直接パラメータ化を使用するなど、個々の変換に使用されるパラメータの数は、一定の場合には、低減される。これは、変換を行わなければならないデータ点が、より少ないからである。さらに、複雑度レベルごとに、動き補正最適化手順のための構成パラメータの別箇の集合を有してもよい。
多重解像度最適化を行うための1つの必要条件は、異なる複雑度レベルに対して同一のデータセットに関連付けられた変換、変換パラメータ化、および他の設定が、別の複雑度レベルの変換にマッピング可能であることである。その他の複雑度レベルもまた、おそらく、異なる基礎の変換パラメータ化のタイプを有する。これを達成する1つの方法は、まず、変換を、その入力構成から、同一の複雑度レベルの直接パラメータ化に移行する。これは、変換の評価が可能な点の集合において当該変換を評価することによって行うことができる。結果として生じる変位ベクトルの集合は、直接パラメータ化を構成する。以下では、この直接パラメータ化は、移行先複雑度レベルにおけるサンプリング点の集合のための直接パラメータ化に、マッピングすることができる。これは、直接パラメータ化を、一般に不規則なグリッドに結び付けられた、2または3のチャネルデータセットとして扱うことにより、達成できる。データ補間技術を使用してこのデータセットを目標複雑度レベルによって定義されるサンプリング点でサンプリングすることにより、目標複雑度での直接にパラメータ化された近似変換を得ることができる。最終ステップとして、この直接変換は、例えば最小二乗法手法を使用して、目標パラメータ化に投影できる。具体的な場合では、この手順のいくつかのステップは、不要かもしれず、あるいは結合してもよい。
異なる複雑度レベルを前もって生成したり、必要なサブデータをオンデマンドで計算したりすることができる。次いで、典型的な多重解像度手順が以下のように進行する。変換の初期化集合が与えられると、その集合は、最も低い複雑度レベルにマッピングされる。次いで、反復的数値最適化が、先述した技術またはその他の技術のうちの1つを用いて、最も低い複雑度レベルで行われる。典型的には、反復の一定最大数が最適化のために特定され、その後、最後のパラメータ集合が、結果として使用される。あるいは、最適化をこれより前に中止してもよい。例えば、目的関数値、または目的関数の勾配ベクトル上のあるノルムに単調増加関数を適用した結果として生じる値が、ある反復から次の反復へ移っても、もはや有意に変化しない場合などである。また、他の終了判断基準を適用してもよい。現在のレベルでの最適化が終わった後、結果として生じる変換は、次の選択されたレベルの対応する変換の複雑度およびパラメータ化にマッピングされる。典型的には、選択される次のレベルは、次に高い複雑度を有するものである。しかし、より複雑なレベルのための解が、より複雑でないレベルの初期化に再度マッピングされてもよい。この処理は、元の問題の複雑度についての解に達するまで、複数回繰り返えされることができる。
《解補正ステップ》
行うことのできる任意の処理ステップは、解補正ステップである。これは、各数値最適化反復の後、および/または、いくつかの多重解像度レベルが最適化を完了した後、および/または、入力データセットおよび構成設定値の所与の集合のための最終変換が見つかった後に、適用できる。一般に、前のセクションで説明したような動き補正問題に対する解には、自由度3が組み込まれている。自由度は、全ての変換に共通な可変並進部(variable translational part)としてモデル化でき、これにより、全てのデータセットデータサンプルを、オブジェクト空間において固定量分シフトする可能性がある。典型的には、並進ベクトルが零ベクトルに近い場合に、この影響はあまり強く現れない。しかし、この影響は望ましくない場合がある。その場合、各変換のパラメータは、全ての変換の結果として生じる共通の並進部が零ベクトルとなるように、動き補正ステップの間にいくつかのポイントにおいて補正できる。これを行う1つの方法は、全ての変換の平均並進部を算出して、この平均成分がなくなるように各変換のパラメータを更新する。
<解変換の適用>
一旦動き推定処理が解を見つけると、位置合わせ済空間におけるデータセットの最終的な集合が生成できる。これには、各データセットに変換を適用することが伴う。一般に、このデータは、動き推定処理自体のために使用されたのと同一のデータである必要はない。例えば、強度情報または他の構造データが、変換後の状態の類似度を評価するために、好ましくは使用される。代わりに、変換を、同一のデータセット収集から算出される異なるデータチャネルに適用することもできる。このようなデータには、線形、対数、およびその他のスケールによる強度データの様々な精度表現が含まれ得るが、これらに限定されるわけではない。変換はまた、ドップラーOCTなどを行うことによって得られる位相シフト情報などの、機能的撮像情報に適用できる。これらは、OCTデータに由来するデータセットの例である。導関数データセットは、データチャネルの異なるセットを含んでもよく、また、そのデータは、入力データセットとは異なるように処理されたものでもよい。
変換の適用は、目的関数値の評価中に使用された方法と同様の方法で行うことができる。あるいは、異なるデータ補間技術を使用してもよい。その結果、各入力データセットからの位置合わせ済データセットが、動き補正済空間の一般に不規則なグリッド上に位置づけられる。3Dタイプ画像データの場合、オブジェクト空間に存在するデータセットのサンプリング点の位置の集合は、各データセットに対して同じである。
<画像改善のためのデータ結合(マージ)の説明>
動き補正を行い、結果として生じた変換を対象のデータチャネルに適用した後、同一の動き補正済空間に存在するデータセットの集合が得られる。3Dタイプデータセットの場合、これらの集合はまた、共通のサンプリング点の位置でも定義される。動き補正がうまく行われた場合、各データセットからの対応するデータサンプルは、オブジェクトの同一の位置からの撮像データを含む。
使用した撮像データの(強度情報などの)特定のタイプによっては、これらの位置合わせ済データセットを単一のデータセットに結合しようとすることは、望ましいことが多い。例えば、OCT強度データを使用する場合がそうである。この場合、雑音が低減できるので、結合することによって、よりよい画質を生成することができるであろう。他の例は、血流量を測定するために使用できるドップラーOCT位相シフトデータである。同一位置から異なる時刻に収集された複数のサンプルを結合することによっても、雑音レベルを低減することができる。ドップラーデータを使用して血流量を測定する際には、異なる時点から複数の速度測定値を結合すると、拍動が低下し得る。これにより、脈によって誘導される短時間の影響に依存しにくい、よりよい測定(分単位の流量など)近似値である、血流量測定値が生成できる。
結合したデータセットを自然に生成する方法は、対応するサンプリング点の位置からのデータを単に平均することである。分散タイプの測定値の算出はまた、例えばドップラーOCTデータの場合には、興味深いものになり得る。しかし、動きによって誘発された歪みは、あるソースデータセットに存在するいくつかの領域が、他のセットにおいて全くサンプリングされないかもしれない、ということを招く可能性がある。そのような場合、平均はよい手法とはいえない。なぜなら、ある領域が存在しなかったデータセットからのデータは、隣接する領域からの代替データで埋められるだろうからである。そうでななく、この場合のマージされたボリュームには、その領域が実際に存在したデータセットからのデータを主に使用する技術を採用できる。
各位置からの利用可能なデータサンプル平均して最終的なデータセットを生成する代わりに、位置合わせ済データサンプルの凸加重和(convex weighted sum)を使用して、データを結合する。このスキームでは、特定位置の異なるデータセットの各サンプルは、それに関連付けられた正の実数の値を有する。さらに、凸結合を形成するために、重みのいずれもゼロより小さい値ではなく、全ての画像に対するこれらの重みの合計は、1であるべきである。他の結合スキームもまた、使用できる。
重みづけをすることの基本的な考えは、以下の事実に基づく:ある領域がAというデータセットに存在せず、データセットBには存在する場合、元のAセットの他の領域が代用され、その結果、Aの位置合わせ結果が生成されると、元のセットのこの代替領域は2回以上サンプリングされることになる。対照的に、Bからの元の領域は、一度しかサンプリングされないであろう。
図33は、本明細書に記載する方法による、データセットをマージする処理3300の例示的実施形態を示す。方法3300は、例えば、図1に示す装置100のコンピュータ102、または図2に示す装置200のコンピュータ202によって、実行され得る。
《サンプリング密度の推定》
重みを生成するために、サンプリング密度は、元のデータセットにおいて推定される。サンプリング密度は、元のセットのある領域が、対応する位置合わせ結果を生成するために何回サンプリングされたかを表す。
特定のデータセットの各データサンプルのサンプリング密度を推定する1つの方法は、2ステップの処理からなる。まず、各データセットの元の走査座標系における位置合わせ済結果を生成するためにサンプリング位置の密度を推定する、いわゆるParzen推定ステップが行われる。この密度を推定するために、他の技術もまた、使用できる。第2のステップにおいて、位置合わせ済のセットを生成するため、元のデータセットがサンプリングされる際に、生成された密度がサンプリングされる。結果として生じる値は、位置合わせ済データセット内の特定のサンプルを生成するためにサンプリングされた特定の領域が、その位置合わせ済のセット全体を生成する際に合計何回使用されたか、を示す。この値が、ある位置合わせ済データセットからのサンプルについて、他のセットからの同一のサンプルよりも大きい場合、先のサンプルは、先のデータセットのサンプリングにおける隙間を埋めるために使用された可能性が高いと見なされる。その後、これが実際の重み生成において使用される。
《サンプル妥当性値の生成》
重みを生成するために使用される他の情報源は、サンプル妥当性と称される。データセット補間では、補間された結果を生成する際に、複数のサンプルが考慮される。このフットプリントのサンプルの一部または全部が、データ点のグリッドによって定義される実際のボリュームデータの外側にある場合、サンプルの妥当性は、全てのサンプルがボリューム内にあった場合よりも低いと考えられる。サンプルの全が、それぞれのソースグリッドの内側にある場合には1と定義され、外側にある場合にはゼロに定義される値が、全てのデータサンプルに関連付けられる。サンプルが部分的に元のサンプルグリッドの外側にあると考えられる場合、1と0の間の値が与えられるべきである。サンプルのより多くがより外側にあると考えられるほど、この妥当性値はより低くなる。他の方法が、データセット補間のサンプル妥当性を評価するために使用できることも言うまでもない。
《重み係数の計算および適用》
データセットを結合するために使用する最終的な重みを計算するために、異なる位置合わせ済データセットからのサンプルの各集合は、独立して考慮できる。重みは、考慮したサンプル間でサンプリング密度およびサンプル妥当性に差がないときは、等しい重みが各サンプルに割り当てられるように、算出できる。したがって、N個のサンプルの場合、各重みは1/Nに設定される。
これらの値に差がある一般の場合は、以下の規則が適用される。あるサンプルが、サンプリング密度の等分よりも大きいサンプリング密度を有する場合、その重みは、等分した重みよりも低くなければならない。また、あるサンプルがより低いサンプル妥当性を有する場合、その重みもまた、より低くなる。しかし、全体では、重みは合計して1となるべきであり、いずれの重みも負の値であってはならない。
このようにして、これらの測定値に関してサンプルの間で差がない場合、等しい重みは、雑音を低減する平均化の効果をもたらすであろう。個々のサンプルが、他のサンプルに比べて、データセット内のギャップを埋めるために使用された可能性が高そうな場合や、またはより高い程度でソースデータセットの外からサンプリングされた場合は、それらに割当てられる重みは、より低くなるであろう。これによって、最終的に結合された結果を生成する際に、このサンプルを比較的または完全に除外でき、したがって、おそらくアーティファクトを除去できる。
次いで、結合された画像の最終的構築は、対応するデータサンプルの加重和を行うことによって行われる。これに加えて、データはまた、この加重和の前に正規化して、例えば、強度データを使用する際の輝度の差を補償してもよい。
例えば、ドップラーシフト値とは異なり、強度情報などの、結合されたデータの内容にとって適切なさらなる論理を、重み生成処理に組み込むことができる。例えば、ドップラーシフトデータをマージするときは、複素領域に位相シフトを変換することは意味がある。そこで、加重和を行うことができ、また位相シフトへ戻せる。また、重み生成処理は、目のデータセット収集中の瞬きなどの特別な撮像シナリオを扱うようにすることもできる。例えば、瞬きは、強度値の軸方向合計に注目することと、軸方向投影が非常に暗い場合にはより低い重みをサンプルに割り当てることとによって、検出できる。なぜなら、瞬きが起こると、瞬きの間に取り込まれたA走査はいかなる構造も示さないからであり、これによって暗くなる。なお、本明細書に記載する方法および装置はまた、サンプリング密度およびサンプル妥当性を使用せずに、単にデータ値を結合する方法を採用することもできる。1つの例は、データ値を平均することであろう。また、データセット自体の、または位置合わせ済データセットを生成するために使用した変換のさらなる特性を、結合処理に使用してもよい。
《雑音低減》
加重和結合の平均化効果によって達成される雑音低減効果に加えて、さらなる雑音低減法を任意に採用することができる。これらは、個々の位置合わせ済データセットにでも最終的な結合済データセットにでも適用できる。さらに、より良好な雑音低減効果を達成するために、データサンプルとその周辺近傍との依存性および相関を分析する、複雑な雑音低減法を採用できる。
《しきい値処理および範囲変換》
最終的に結合されて位置合わせされたデータセットの出力形式によっては、中間の計算のために使用したデータ形式と最終的な出力データ形式との変換を行う必要がある場合がある。積分データタイプにマッピングする例では、浮動小数点データのデータ範囲を出力形式に合わせるために、最小/最大マッピングを行うことができる。
これとは独立して、しきい値処理をデータに行い、データ範囲の両端の異常値を除去できる。
マルチスポット走査装置
従来のOCT器具は、図1および図2に示すように、単一のOCTビームと1つのスポットによって撮像する。しかし、これらの図は、眼科用OCT撮像用装置を説明するものであって、本セクションの概念は、他のOCT撮像応用例に適用できることは言うまでもない。1例として、オブジェクト組織に複数のOCTビームおよび複数のスポットを使用することと、画像収集を並行して行うこととにより、撮像速度を効果的に上げることができる。図34Aは、2つのファイバ端部を、コリメーティングレンズの焦点面の中あるいは近くに配置することによって、網膜上に2つのスポットを投影する装置を示す。
あるいは、2つの別々のファイバおよびコリメータを使用し、コリメートされた光ビームの軸が非平行となるように、配置することもできる。1つまたは複数のコリメータからの光は、2軸ビームステアリング機構から反射して患者のインタフェース光学素子に入る。ビームステアリングは、単一の2軸ミラー、複数の単軸ステアリングミラー(例えば検流計)、ピエゾステアリング素子、または電磁ステアリング素子などを用いて行うことができる。複数のスポット配置が可能である。図34Bは、2つの撮像スポットを使用し、y方向を高速走査(YFastと呼ぶ)とする、ラスタ走査を示す。図34Cは、2つの撮像スポットを使用し、x方向を高速走査(XFastと呼ぶ)とする、ラスタ走査を示す。図34Bおよび図34Cに示す具体例では、スポットは、XおよびY走査方向に対して45度の角度でずれている。このスポット配置によって、XFastデータセットが得られ、YFastデータセットが得られ、および/または他の走査パターンが実行でき、関連データが得られる。撮像中、オブジェクト組織から後方反射または後方散乱された光がファイバに戻り、各OCTビームについて別々の撮像または検出チャネルを有する干渉計へと進む。1つの手法では、スポットの動きは、両スポットが同一の走査パターンで動くように連動される。複数の順次データセットが取得でき、これには、1ボリュームにつき必要な全撮像時間が低減されるという利点がある。第2の利点は、両方のデータセットに影響を与える動きが相関していることである。動き相関情報を位置合わせルーチンに組み込むことにより、収束速度および位置合わせの精度が改善される。この概念は、3つ以上のスポットを有する画像に一般化できる。
図35Aは、独立して制御可能な2つのビームを走査でき、かつ組織オブジェクト上に2つのスポットを投影できる撮像装置を示す。
独立して制御可能な2つ以上のビームステアリング機構からの光が患者のインタフェースで結合され得るように、ビームスプリッタまたは同様の多重化装置が光路内に配置される。第1の干渉計(A)からの光は、第1のコリメータによってコリメートされ、第1のビームステアリング機構で反射して、ビームスプリッタまたは同様のビーム結合装置を通って患者のインタフェース光学素子に入る。ビームステアリングは、単一の2軸ミラー、複数の単軸ステアリングミラー(例えば検流計)、ピエゾステアリング素子、または電磁ステアリング素子などを用いて行うことができる。第2の干渉計(B)からの光は、第2のコリメータによってコリメートされ、第2のビームステアリング機構で反射し、先に言及したビームスプリッタまたは同様のビーム結合装置を通って患者のインタフェース光学素子に入る。これらの干渉計は、光源などのサブシステム(これらが2つのスポットからのOCTデータの独立した検出を可能にする場合)を共有してもよいことは言うまでもない。
組織上の各スポット位置は、走査パターンを実行するために独立して制御できる。単一スポット走査OCTシステムまたは結合された動きマルチスポット走査装置と比較して、この独立して制御されるマルチビーム、すなわち、マルチスポット走査手法では、2つの独立かつ並行して走査されたデータセットが並行して収集できる。図35Bは、スポットAでYFastデータセットを収集し、スポットBでXFastデータセットを収集する、例示の走査パターンを示す。1つの利点は、2つの相補的なデータセットを得るために1つの画像収集しか行わなくてよいことである。第2の利点は、両方のデータセットに影響を与える動きが相関していることである。動き相関情報を位置合わせルーチンに組み込むことにより、収束速度および動き補正の精度が改善される。独立して制御されるマルチスポット走査装置の第3の利点は、データセット間のオブジェクト組織の位置は、別々のデータセットが順番に収集された場合と比べてより似通っているはずであり、収束および最終的な位置合わせの結果が改善される、ということである。この概念は、3つ以上のビームおよび3つ以上のスポットを有する画像に一般化できる。
記述したマルチビーム走査手法は、上述したデータ処理および動き補正に対して相乗的かつ相補的である。しかし、上述したデータ処理および動き補正は、マルチビーム走査とは別に実施できる。同様に、マルチビーム走査は、上述したデータ処理法、動き補正法およびマージ法とは別に実施できる。
したがって、本発明の例示の実施形態は、データセットを処理する方法である。上記方法は、目的関数の値に基づいて1つ以上の3次元変換を計算することを含み、各3次元変換はそれぞれの3次元データセットと関連付けられており、上記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表す。計算することは、(a)(i)変換後の状態における2つ以上の3次元データセット間、または(ii)該変換後の状態における2つ以上の前処理された3次元データセット間の類似度を算出すること、および(b)撮像器具に対する上記オブジェクトの動きを推定することによって上記目的関数を評価することを含む。上記方法はさらに、少なくとも1つの3次元変換を、そのそれぞれの3次元データセットに、または該それぞれの3次元データセットに対応する導関数3次元データセットに適用して、少なくとも1つの動き補正済データセットを得ることを含む。
一例示の実施形態において、上記目的関数を評価することは、(i)上記変換後の状態における上記2つ以上の3次元データセット間、または(ii)上記変換後の状態における上記2つ以上の前処理された3次元データセット間の類似度にフェイバを与えることを含む。
他の例示の実施形態において、各3次元データセットは、上記オブジェクトの領域から収集される信号の値の集合であり、上記変換後の状態における上記2つ以上の3次元データセット間の類似度にフェイバを与えることは、信号値間の差にペナルティを与えることを含む。
他の例示の実施形態において、上記目的関数を評価することは、撮像器具に対する上記オブジェクトの動きにペナルティを与えることを含む。
他の例示の実施形態において、上記計算することは第1および第2の3次元変換を含み、上記適用することは、上記第1の3次元変換を第1の3次元データセットに適用し、上記第2の3次元変換を第2の3次元データセットに適用して、それぞれ、第1および第2の動き補正済データセットを得ることを含み、上記第1および第2の動き補正済データセットのデータ要素を結合して、上記第1または第2の動き補正済データセット個々に対して改善された信号品質を有する、マージされた動き補正済データセットを得ることをさらに含む。
他の例示の実施形態において、上記データ要素を結合することは、上記第1および上記第2の3次元変換の少なくとも1つの特性に基づいて、上記第1および第2の動き補正済データセットのデータ要素の、上記マージされた動き補正済データセットに対する寄与を調整することをさらに含む。
他の例示の実施形態において、上記第1または上記第2の3次元変換の上記少なくとも1つの特性は、サンプリング密度である。
他の例示の実施形態において、寄与を調整することは、上記第1および第2の動き補正済データセットの上記データ要素の加重和を計算することをさらに含む。
他の例示の実施形態において、上記方法は、第1の走査パターンを使用して第1の3次元データセットを収集することと、第2の走査パターンを使用して第2の3次元データセットを収集することとをさらに含み、上記第1および上記第2の走査パターンは相補的である。
他の例示の実施形態において、上記相補的な走査パターンはラスタ走査である。
他の例示の実施形態において、上記ラスタ走査は直交する。
他の例示の実施形態において、上記方法は、上記1つ以上の3次元変換を反復的に計算することをさらに含む。
他の例示の実施形態において、上記方法は、上記目的関数に数値最適化法を使用して上記1つ以上の3次元変換を計算することをさらに含む。
他の例示の実施形態において、上記方法は、上記1つ以上の3次元変換を計算することは、多重解像度数値最適化法を使用して計算されることをさらに含む。
他の例示の実施形態において、上記オブジェクトは、目、網膜、中心窩、視神経乳頭、または角膜からなる群から選択される。
他の例示の実施形態において、上記方法は、第1の時点と関連付けられた第1の動き補正済データセットを得ることと、第2の時点と関連付けられた第2の動き補正済データセットを得ることと、上記第1および上記第2の動き補正済データセットを比較して、上記第1および上記第2の時点間の変化を量的に追跡することと、をさらに含む。
上記オブジェクトは、患者に付随したオブジェクトであってよい。
他の例示の実施形態において、上記第1および上記第2の時点は、それぞれ、上記患者による医療プロバイダへの第1および第2の訪問に対応する。他の例示の実施形態において、上記第1および上記第2の時点は、それぞれ、上記オブジェクトを走査するための上記患者による第1および第2の行動に対応する。
上記患者によるそのような行動の1例は、医療プロバイダと同一または類似の行動を行うことであってよい。そのような行動は家で行われてもよい。走査機器は医療プロバイダによって使用される機器と同様のもの、または家での使用に適合させた患者によって操作される機器であってよい。例えば、スキャナがデスクトップまたはラップトップコンピュータに操作可能に接続されてもよく、または、携帯型装置に統合または接続されさえしてもよい。そのような携帯型装置の1例は携帯電話である。
他の例示の実施形態において、上記3次元データセットは、A走査を経て取り込まれ、さらに、上記1つ以上の3次元変換は、3次元変位を各A走査に関連付けるものである。
他の例示の実施形態において、上記方法はさらに、画像再サンプリング、雑音低減、A走査特徴生成、傾斜補償、およびロールオフ補償からなる群から選択される方法によって上記3次元データセットを前処理することを含む。
上記3次元データセットは、強度データ、ドップラーシフトデータ、または偏光データの少なくとも1つを含んでよい。
他の例示の実施形態において、上記導関数3次元データセットは、ドップラーシフトデータまたは偏光データの少なくとも1つを含む。
本発明の他の例示の実施形態は、本明細書に記載する方法のステップを行うように構成されたモジュールを含むシステムである。
本発明の他の例示の実施形態は、一連の命令を記録した非一時的コンピュータ読み取り可能媒体であって、該命令はプロセッサによって実行されるときに、該プロセッサに、目的関数の値に基づいて1つ以上の3次元変換を計算させることであって、各3次元変換はそれぞれの3次元データセットに関連付けられており、上記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、上記プロセッサに上記1つ以上の3次元変換を計算させる上記命令は、
(a)(i)変換後の状態における2つ以上の3次元データセット間、または(ii)該変換後の状態における2つ以上の前処理された3次元データセット間の類似度を算出すること、および
(b)撮像器具に対する上記オブジェクトの動きを推定することによって、上記プロセッサに上記目的関数を評価させる命令を含む。上記一連の命令は、プロセッサによって実行されるときに、該プロセッサにさらに、少なくとも1つの3次元変換を、上記それぞれの3次元データセットに、または導関数3次元データセットに適用して、少なくとも1つの動き補正済データセットを得させる。
本発明の他の例示の実施形態は、OCTデータセットを処理する方法である。本方法は、オブジェクトの少なくとも部分的に重なる領域を表す2つ以上の3次元OCTデータセットを収集することであって、少なくとも1つのデータセットが、少なくとも1つの他のデータセットの走査パターンに対して相補的な走査パターンを使用して収集される、収集することと、目的関数を使用して各データセットのための3次元変換を計算することとを含む。上記目的関数は、
(a)変換後の状態における上記3次元データセット間の計算された類似度にフェイバを与え、(b)撮像器具に対する上記オブジェクトの動きにペナルティを与える。上記方法はさらに、少なくとも1つの3次元変換をそのそれぞれのデータセットに適用して、少なくとも1つの動き補正済データセットを得ることを含む。
他の例示の実施形態において、上記類似度は、強度データ、振幅データ、位相データまたは偏光データの少なくとも1つに基づいて計算される。
他の例示の実施形態において、類似度を計算するために使用される上記データは、雑音抑圧、傾斜補償、OCT信号ロールオフ補正、データ削減、データ正規化、またはその組み合わせを使用して、前処理される。
他の例示の実施形態において、上記3次元変換は、強度データ、振幅データ、位相データ、または偏光データの少なくとも1つを変換することによって、そのそれぞれの3次元データセットに適用される。
他の例示の実施形態において、上記変換後の状態における上記3次元データセット間の上記計算された類似度にフェイバを与えることは、上記変換後の状態における上記3次元データセットから選択されるデータ値間の差にペナルティを与えることを含む。
他の例示の実施形態において、データ値間の上記差にペナルティを与えることは、差の二乗和、分散、差の絶対値の和、またはその組み合わせを使用することを含む。
他の例示の実施形態において、第1の3次元変換が第1の3次元データセットに適用され、第2の3次元変換が第2の3次元データセットに適用されて、それぞれ、第1および第2の動き補正済データセットを得る。上記方法は、上記第1および第2の動き補正済データセットからのデータ要素を結合することによって上記第1および上記第2の動き補正済データセットをマージして、上記第1または第2の動き補正済データセット個々に対して改善された信号品質を有する、マージされた動き補正済データセットを得ることをさらに含む。
他の例示の実施形態において、上記第1および上記第2の3次元変換は特性を有し、上記第1および上記第2の動き補正済データセットをマージすることは、上記第1および上記第2の3次元変換の少なくとも1つの特性に基づいて、上記マージされた動き補正済データセットに対するデータ要素の寄与を調整することをさらに含む。上記第1または上記第2の3次元変換の上記少なくとも1つの特性はサンプリング密度を含んでよい。
他の例示の実施形態において、上記第1および上記第2の動き補正済データセットをマージすることは、上記第1および第2の動き補正済データセットの上記データ要素の加重和を計算することを含む。
他の例示の実施形態において、上記相補的な走査パターンはラスタ走査である。上記ラスタ走査は直交してよい。
他の例示の実施形態において、上記方法は、上記3次元変換を反復的に計算することをさらに含む。
他の例示の実施形態において、上記方法は、多重解像度数値最適化法を使用して上記3次元変換を計算することをさらに含む。他の例示の実施形態において、上記オブジェクトは、目、網膜、中心窩、視神経乳頭、および角膜からなる群から選択される。
他の例示の実施形態において、第1の時点からの少なくとも第1および第2のデータセットが処理されて、該第1の時点と関連付けられた第1の動き補正済データセットが得られ、第2の時点からの少なくとも第3および第4のデータセットが処理されて、該第2の時点と関連付けられた第2の動き補正済データセットが得られ、上記方法は、上記動き補正済データセットまたは上記動き補正済データセットからの測定値を比較して、複数の時点にわたる変化を量的に追跡することをさらに含む。
他の例示の実施形態において、上記3次元データセットはA走査を含み、さらに、各3次元データセットは、強度、振幅、位相、ドップラーシフト、または偏光信号の少なくとも1つを含むデータチャネルのセットを含み、上記方法は、データチャネルの上記セットを上記OCTデータセットからの各A走査に関連付けることさらに含む。
他の例示の実施形態において、上記3次元データセットはA走査を含み、さらに、上記3次元変換は3次元変位を各A走査に関連付けるものである。
(実施例1)
ヒトの網膜の視神経乳頭の2つの相補的なOCTボリュームを、図16(A)〜図16(C)に示すように収集、位置合わせ、およびマージした。図16(A)および図16(B)はそれぞれ、2つの直交する走査方向を使用して得られた同一のボリュームの3次元OCT画像を示す。図16(C)は、本明細書に記載する方法の例示の実施形態を使用して2つの画像をマージした結果を示す。
101kHzの軸方向走査速度を有するプロトタイプスペクトル/フーリエドメインOCTシステムを使用して、6×6mmの領域を400×400の軸方向走査で横断方向に走査し、ボリュームを収集した。各ボリュームは、ほぼ2秒で収集された。第1のボリュメトリックデータセットは、x方向を高速走査とする(XFastと称する)ラスタ走査を使用して収集した。第2のボリュメトリックデータセットは、y方向を高速走査とする(YFastと称する)ラスタ走査を使用して収集した。第1および第2のボリュメトリックデータセットはともに網膜の実質的に同一の領域において収集されたが、収集中の目の動きにより軸方向および横断方向の両方に歪みが生じた。例示の実施形態の適用により、動き補正され歪みのない真の網膜形態を表す、最終的にマージされたデータセットが生成された。標準のデスクトップコンピュータにグラフィックカード(ATI Radeon 5850)加速コードを使用し、このデータセットにかかった処理時間は、ほぼ3分であった。眼科用撮像に使用される現在市販されているOCTシステムは、25〜50kHzの軸方向走査速度を有し、横断方向に200×200の軸方向走査からなるデータセットを収集する。したがって、処理時間は、これらのより小さなデータセットではより速くなるであろう。さらに、処理時間は、グラフィックカードおよびコンピュータ技術の発達により急速に高速化されることが期待される。
図17(A)〜図17(C)は、本明細書に記載する方法を適用した結果を示す。具体的には、図17(A)および図17(B)はそれぞれ、直交方向の走査によって得られた2つのボリュメトリックOCTデータセットからのOCT眼底視野を示す。図17(C)は、本明細書に記載する例示の方法によって2つのOCT画像をマージした結果を示す。OCT眼底視野は、画像の各横断方向のピクセルにつき、各A走査に沿って軸方向強度を合計することによって生成した。101kHzの軸方向走査速度を有するプロトタイプスペクトル/フーリエドメインOCTシステムを使用して、6×6mmの領域を400×400の軸方向走査で横断方向に走査し、ボリュームを収集した。各ボリュームは、ほぼ2秒で収集された。第1のボリュメトリックデータセットは、x方向を高速走査とする(XFast走査)ラスタ走査を使用して収集され、図17(A)に示される。目および頭の動きに起因する動きのアーティファクトは、データセット内の水平方向不連続として見える。第2のボリュメトリックデータセットは、y方向を高速走査とする(YFast走査)ラスタ走査を使用して収集され、図17(B)に示される。目および頭の動きに起因する動きのアーティファクトは、データセットの垂直方向不連続として見える。動き補償を適用することにより、動き補正され最終的にマージされたデータセットが生成された。動き補正済データセットから生成されたOCT眼底視野が、図17(C)に示され、歪みのない真の網膜構造を表す。元の未補正の入力データセットに存在するデータ内のギャップは、そのデータが入力データセットの少なくとも1つの中に存在する限りにおいて、位置合わせおよびマージが施されたデータセットで埋められた。最後に、目の動きは携帯型OCT撮像器具ではより強調され得るため、本明細書に記載する例示の実施形態は、動き歪みの補正、データセットの位置合わせ、および複数のデータセットのマージを行うために、携帯型OCT器具で使用できる。
図18(A)〜図18(C)は、3次元(3D)OCTボリュームから抽出した2次元(2D)断面画像を示す。x方向を高速走査として収集した3D OCTボリュームの低速軸走査方向に沿って抽出した2D画像(図18(A))を、図18(A)に示す。収集中の有意の目の動きによって、結果として生じた2D画像に網膜構造の歪みが生じた。y方向を高速走査として収集した3D OCTボリュームの低速軸走査方向に沿って抽出した2D構造画像(図18(B))を、図18(B)に示す。図18(C)は、本明細書に記載する例示の方法によって2つの画像をマージした結果を示す。
収集中の有意の目の動きによって、結果として生じた2D画像に網膜構造の歪みが生じた。第1(図18(A))および第2(図18(B))のデータセットからの強度データを位置合わせおよびマージすることにより、位置合わせおよびマージが施された3Dデータセットを生成した。位置合わせおよびマージが施された3Dデータセットから抽出した2D断面構造画像を、図18(C)に示す。目の動きを修正した網膜形態を示すことに加えて、位置合わせおよびマージが施された3Dデータセットから抽出した2D断面画像は、改善されたコントラストおよび信号−雑音比を示した。入力ボリュームのランダムなスペックル雑音もまた、低減された。
2D断面画像を、曲線状の走査軌道に沿って3D OCTボリュームから抽出できる。図19(B)〜図19(D)は、図19(A)に示す円形の軌道に沿って抽出した2Dデータセットを示す。図19(A)は、右上OCT眼底画像において、視神経乳頭の周りに描画された円を示す。
図19(B)および図19(C)は、直交方向の走査によって得られた2Dの円形の画像を示す。図19(D)は、本明細書に記載する例示の方法によって得られた、結果として生じたマージされた画像を示す。
動き補正および位置合わせの前に、左および中央の画像に示すように、目の動きは、網膜形態を歪ませ、不連続を導入した。左および中央の画像は、x方向を高速走査方向として得られた第1の3D OCTボリューム、およびy方向を高速走査方向として得られた第2の3D OCTボリュームからそれぞれ抽出された、2Dの円形のデータを示す。図19(D)に示すように、動き補正しマージした3D OCTデータセットから抽出された2Dデータセットは、データの連続性、動き補正、ならびに改善されたコントラストおよび信号−雑音比を示した。眼科用診断および緑内障の管理において、視神経乳頭のまわりの円形走査(いわゆる乳頭周囲走査)は、標準のOCT走査パターンである。図19(A)〜図19(D)から分かるように、仮想円形走査の画質は、複数ボリュームの位置合わせおよびマージ処理によって向上した。仮想走査は3次元の動き歪みを補償し、信号を改善し、スペックル雑音を低減し、層の連続性を改善した。画質のこの改善は、ボリュメトリックデータセットからの自動抽出する際に乳頭周囲走査の位置を決定するために使用された自動位置合わせを、更に改善するであろう。位置合わせされ結合されたデータセットはまた、神経線維層などの網膜層を識別し定量測定する、セグメンテーションなどの自動形態計測分析を使用して、処理することができる。データセット品質の改善は、自動セグメンテーションや他の形態計測の再現性を改善するであろう。例示の実施形態は、例えば結晶腔、網膜下液または脈絡叢新生血管膜などの病変を含む、病変構造や大きさなどの特徴の定量測定にとともに使用して、加齢黄斑変性や糖尿病性網膜症の診断および疾患進行のモニタリングを行うことができる。
1100×1100の横断方向のピクセルを有する12mm×12mmのヒトの網膜の大きなデータセットを、図20に示す。1050nmで作動し、軸方向解像度約5μmを有する、200kHz軸方向走査速度の波長掃引型/フーリエ領域OCT撮像システムを使用して、複数の3D OCTボリュメトリックデータセットを得た。目の動きや瞬きが収集時間を制限するため、ほぼ6.4秒という収集時間は、眼科適用で典型的に使用されるものよりは長かった。図21(A)に示すように、x方向を高速走査とするラスタ走査によって得られた第1の3Dデータセットは、収集中に目の瞬きが起こったことを示した。目の瞬きは、OCT眼底画像の網膜データにおけるギャップと関連付けられる長い暗領域として現れた。図21(B)に示すように、y方向を高速走査とするラスタ走査によって得られた第2の3Dデータセットでは、小さな画像歪みが見られた。図21(C)に示すように、例示の実施形態を適用することによって動き補正済ボリュームが生成され、網膜像において第1のボリューム(XFastラスタ)のギャップは、相補的な走査パターン(YFastラスタ)の第2のボリュームからのデータで埋められて、適切に再構築されかつ動き補正されたデータセットが生成された。例示の実施形態により、データセット内の欠測データまたはギャップならびに動き歪み効果を補償することによって、以前可能であったよりも大きなデータセットの収集とより長い収集時間の使用が可能なった。
例示の実施形態を使用して、3つ以上のデータセットを位置合わせおよびマージすることもできる。図22(A)は、1100×1100の軸方向走査で横断方向に走査した、12mm×12mmの3D OCTデータセットから抽出された2D断面画像を示す。有意の目の動きおよびデータセットの不連続が、未補正のOCT眼底画像の例に見られる。3つのXFastおよび3つのYFastラスタ走査パターンからなる合計6つのボリュームを順番に収集した。例示の実施形態を適用することにより、全6つのデータセットからの情報を同時に組み込んだ動き補正およびマージした3Dデータセットを生成した。図22(B)は、動き補正およびマージしたものから抽出した2D断面画像を示す。結果として生じた画像は、真の網膜の輪郭を示し、データのギャップを埋め、著しく改善されたコントラストおよび信号−雑音比を示す。これらのデータセットの処理時間は、グラフィックカード(GPU)を使用して90分であった。データセットのOCT眼底画像は、視神経乳頭および中心窩の両方をカバーする包括的構造情報を、1つのマージされたボリュームによって提供できることを示す。
上述した結果は、任意の軌道に沿って、かつ潜在的には任意の向きで、3Dデータセットから2D画像を抽出できることを示す。2D画像を抽出することに加えて、3Dデータの部分集合もまた、より大きなボリュームから抽出できる。データセットに含まれる特徴に基づいて抽出する領域を定義することが、有用な場合がある。
図23は、2つの3D OCTデータセット(データセット1およびデータセット2)を収集、動き補正、およびマージする処理を説明するフローチャートである。関心特徴、すなわち視神経乳頭が、動き補正およびマージが施されたデータセット内で識別される。識別された、1つまたは複数の特徴の位置および/または向きから、抽出するデータの部分集合が定義される。セグメンテーションを含む、抽出されたデータの分析または処理を行うことができる。図23の右下に示すように、例えば神経線維層厚さ測定などの、データまたは処理済みデータの定量的解析を行うことができる。神経線維層厚さ測定は、緑内障のモニタリングの診断のために使用される。
目の動きによる測定値の変動が、現在、例えば網膜神経線維層厚さなどの形態計測値の有意の誤差源であるため、この例示の実施形態は、疾患診断および疾患進行の追跡の感度を改善する。位置合わせおよびマージはまた、加齢黄斑変性や糖尿病性網膜症などの、他の主要な眼疾患の形態的特徴の評価とともに使用できる。これにより、動き歪みのない真の網膜構造を表すデータセットの作成が可能となり、また、網膜の特徴に対するデータセットの繰り返し位置合わせが可能となる。この繰り返し位置合わせにより、複数の検査に関して、特徴の評価および経時変化の比較が可能になる。
図24(A)〜図24(C)は、3対の独立した3Dデータセットからの、入力データ(上)と動き補正およびマージが施された結果(下)とを示す。各データセット対(すなわち図24(A)、図24(B)および図24(C))は、X高速ラスタ走査およびY高速ラスタ走査のデータセットを含む。この3Dデータセットの3対は、順次に同一の目から収集した。
図25(A)〜図25(C)に示すように、マージ後、視神経乳頭の位置が識別され、乳頭周囲の2D画像が3Dデータセットから抽出された。図25(A)、図25(B)および図25(C)は、入力データセットの互いに素な集合からの、位置合わせおよびマージが施された3Dデータセットの3D描画を示す。図25(D)、図25(E)および図25(F)は、これらのデータセットのそれぞれから仮想乳頭周囲円形走査を抽出したものを示す。円の中にアンファス眼底が投影されているのがわかる。
関連付けられた未位置合わせの入力データセットから抽出した2Dデータを図26(A)〜図26(C)に示し、動き補正およびマージが施されたデータから抽出した同一のデータを図27(A)〜図27(C)に示す。図26(A)、図26(B)および図26(C)は、図24(A)、図24(B)および図24(C)に示すXFASTデータセットに対応する、抽出した仮想乳頭周囲走査を示す。図27(A)、図27(B)および図27(C)は、図24(A)、図24(B)および図24(C)に示す位置合わせおよびマージが施されたデータセットに対応する、抽出した仮想乳頭周囲走査を示す。位置合わせおよびマージが施されたデータセットから抽出した走査は、XFAST入力データセットから抽出した走査と比較して、3つの走査間で少ない分散を示す。これは、本方法によって再現性が改善できることを示している。
動き補正およびマージ(図26(A)〜図26(C))する前は、データ内には、多くの動きアーティファクトおよびギャップがある。なお、画像に描画された垂直線は、当該画像内の血管の相対的位置関係を示すのに役立つ。血管はあまり揃っていないが、これは、目の動きに起因して画像の所望の位置に誤差が生じていることを示している。動き補正およびマージ(図27(A)〜図27(C))後、データセットは真の網膜形態を示し、コントラストが強調され、信号−雑音比が改善されている。なお、画像に描画された垂直線は、血管の相対的位置関係を示すのに役立つ。動き補正済画像の血管はよく揃っており、網膜構造に関する位置合わせが改善され、OCTデータセット間の再現性が改善されたことを示している。
(実施例2)
本実施例は、直交のラスタ走査パターンを使用して収集した、1対の3次元OCTデータセットの動き補正およびマージを行う場合の例である。動き補正のための例示の方法を、目的関数の構築、変換の算出、および動き補正済み3D OCTデータセットのマージを含み、数学的に詳細に記述する。正則化、多重解像度法、前処理およびグラフィックカードを使用した加速化の例も示す。
1.1 基本動作
時間領域OCTでは、深さ走査は、参照ビームを反射する鏡を動かすことによって行われる。参照アーム鏡が離れている度合いに依存して、組織の深さプロファイルの異なる部分を、検出器を使用して再構築できる。したがって、時間領域OCTは、ある範囲に対して参照アーム鏡を高速に掃引して深さすなわち軸方向走査を生成することを伴う。一方、フーリエまたは周波数領域OCTでは、深さ走査は、広帯域干渉を使用することにより、直ちに得ることができる。検出器アレイおよび分散素子が、干渉波のスペクトルを記録するために使用される。これらから、深さ走査情報を再構築することができる。フーリエ領域OCTの場合には参照アーム鏡を動かす必要がないため、走査速度を大幅に改善できる。掃引レーザーを使用する波長掃引型OCTシステムも、同様の特徴を有しかつ高速度で動作する。
単一の軸方向走査すなわちA走査の走査は、位置
Figure 0005832523
および時間tの関数として、モデル化できる
Figure 0005832523
ここで、
Figure 0005832523
はA走査が含む値の数である。返されたA走査は、走査装置に対する座標において、
Figure 0005832523
から
Figure 0005832523
までの範囲の1次元のプロファイルの離散化バージョンを表す。
ここで、rangezは、OCT装置の侵入度に関し、Z方向に撮像される範囲を示す。
周波数領域OCT装置の最新バージョンは、1秒につき最高300,000のA走査を走査できる(Potsaid, B. and Gorczynska, I. and Srinivasan, V.J. and Chen, Y. and Jiang, J. and Cable, A. and Fujimoto, J.G. Ultrahigh speed spectral/Fourier domain OCT ophthalmic imaging at 70,000 to 312,500 axial scans per second. Opt. Express, 16:15149--15169, 2008.)。これにより、軸方向走査からの3Dボリュームデータの高密度サンプリングがわずか数秒で行える。
1.2 ボリューム走査処理
ボリュームは、以下のように画像として記述できる。
Figure 0005832523
ここで、i、jおよびkは、3つの空間ディメンションの別々の指標である。w(V)はx方向のサンプル数を指し、h(V)はy方向のサンプル数を指し、d(V)は同様にz方向のサンプル数を指す。3Dボリュームをサンプリングする最も簡単な方法は、これもまた本実施例で使用するが、2次元のグリッド上のA走査をサンプリングすることである。グリッドは、2つの互いに直交するベクトル
Figure 0005832523
および
Figure 0005832523
を使用して定義できる。
次いで、このボリュームデータの収集は以下のように作用する。グリッドは、まず、いわゆる高速軸
Figure 0005832523
に沿ってw(V)A走査することで横断される。1つのA走査を走査してから次のA走査位置に位置付けるまでの時間は、
Figure 0005832523
と表される。この線形走査から生じる2次元のデータは、それがA走査で構成されることから、B走査と称される。B走査が完了すると、光ビームは、
Figure 0005832523
に沿って開始位置へ戻り、同時に、
Figure 0005832523
に沿って1ユニットを移動させて次のB走査を走査するための開始位置に着かせる。フライバック時間と称されるこの時間は、
Figure 0005832523
秒である。その後、この処理は、全グリッドがサンプリングされるまで、h(V)回繰り返される。
サンプリング処理の時間構造についての情報は、時刻をサンプリンググリッド上の位置(i,j)に関連付ける
Figure 0005832523
と称される2次元の画像を使用して、簡潔に表せる。この画像は、以下のように定義できる。
Figure 0005832523
ここで、
Figure 0005832523
そして、第1のサンプルの時刻
Figure 0005832523
Figure 0005832523
であると仮定する。
この式から、
Figure 0005832523
Figure 0005832523
との違いが明白になる。ボリュームの第1の指標およびサンプル時間画像にマッピングされる高速軸
Figure 0005832523
に沿って、隣接するサンプル同士は、
Figure 0005832523
しか時間的に離れていない。一方、第2の指標になる
Figure 0005832523
に沿っては、隣接する要素は、
Figure 0005832523
離れている。このことは、収集中のスキャナとサンプルとの間の動きをセクション3で考慮する際に、重要になる。
したがって、3つの指標(i,j,k)における結果として生じるボリュームデータは、一般に次のように表すことができる。
Figure 0005832523
このとき、最初のサンプリング位置は
Figure 0005832523
である。
Figure 0005832523
は、AScan関数によって生成されるベクトルのk番目の成分を選択するためにここで使用されるk番目のユニット基底ベクトルを表す。
1.3 動きのアーティファクト
最新のOCT技術を使用してボリュームを走査する典型的な時間は、数秒程度である(Potsaid, B. and Gorczynska, I. and Srinivasan, V.J. and Chen, Y. and Jiang, J. and Cable, A. and Fujimoto, J.G. Ultrahigh speed spectral/Fourier domain OCT ophthalmic imaging at 70,000 to 312,500 axial scans per second. Opt. Express, 16:15149--15169, 2008.)。OCT装置自体はこの間に静止していると仮定する。しかし、生きている人間の網膜背景を走査する具体的な場合においては、様々な動きの源は回避できない。第1の動きの成分は、患者の呼吸によって生じる。それは、主にz方向において、比較的ゆっくりとしたスムーズで流れるような動きとして現れる。
一方、随意にせよ不随意にせよ目自体の動きがある。目の動きには多くの異なる理由や対応するタイプがあるが、この実施例では、それらは、低速の流れるような動きと高速の大規模な動きとに分けることができる。大規模な動きは、主に、いわゆるサッケードによって生じる。これらのタイプの動きは両方とも目の角度的動きとして起こり、xおよびy方向の動きにほぼマッピングされる。
OCTボリュームデータの走査は時間の単一の固定点では起こらないので、収集中の動きは、例えば正確な診断を行うという医学的場面において必要な、空間的に一貫したデータをサンプリングすることに課題を残す。
動きのアーティファクトの問題を詳細に説明するために、収集中に起こる動きをまずモデル化する。このために、関数AScanは、時間の1つの固定点において全グリッドについてサンプリングされ得ると仮定する。この固定点は任意に選択され、その時点をt=0とする。当然、動きが生じるには時間の経過が必要なため、ある固定時点のみでサンプリングされた想像上のボリュームは、いかなる動きも有さない。したがって、ある位置
Figure 0005832523
および時間
Figure 0005832523
におけるAScanを、t=0における当該関数に対して以下のように、定義できる。
Figure 0005832523
これは、固定時t=0におけるオブジェクトの位置に対し、時間tで走査されるオブジェクトの、空間における位置をモデル化する関数
Figure 0005832523
を導入することによってなされる。例えばオブジェクトが収集中に全く動かない場合、変位は、常に同一のベクトルとなる。さらにオブジェクトが時間t=0から収集開始まで動かなかった場合、変位は常に零ベクトルとなる。
しかし、目のトラッキングまたは同様のハードウェアを採用していないため、サンプリング位置でのdisp(V)の値は分からない。しかし、disp(V)(t)は識別可能であり、一定の平滑度を阻害すると仮定する。この平滑度は、変位関数の勾配P∇disp(V)(t)Pのノルムと未知であるが固定の定数csmoothを使用して、以下のように表すことができる。
Figure 0005832523
この平滑度の仮定は、物理的に解釈すれば合理的である:それはオブジェクトの速度が上限を有することを意味するからである。オブジェクトの動きは、動きが起こらなかった場合のボリュームの見え方に対し、歪んだボリュームをもたらす。具体的には、オブジェクトのいくつかの領域は複数回サンプリングされるかもしれず、一方で、他の領域は全くサンプリングされないかもしれない。一般に、ボリュームのボクセルは、オブジェクトの期待された領域から取り出されたサンプルに、対応しないことがある。
また、動きは時間的にある平滑度を有すると考えられるため、歪みは、高速軸および低速軸に沿って異なって現れる。
ラスタ走査を見ると、画像データは、高速走査方向に沿ってスライスで見たときには、一般に、比較的完全である。しかし、直交する低速方向では、低速方向において、動きのアーティファクトは、はるかにはっきりと現れる。
この差は、高速軸および低速軸に沿った隣接するサンプル間の時間差を、動きの平滑度の仮定とともに見ることによって、説明できる。一般に、ある時点t0+δtでの変位関数d(V)(t)の値は、次のように表せる。
Figure 0005832523
式(9)の平滑度仮定を採用することによって、時間δt内の変位の変化のノルムは、以下によって制限できる。
Figure 0005832523
低速軸δtslow(式6を参照)に沿った1つのグリッドサンプル点から次のグリッドサンプル点までにかかる時間は、高速軸δtfastに沿ったそれぞれの時間よりも典型的には何倍も長い(例えば約500倍)ので、式11から、変位の変化、そしてこれによって、歪みもまた低速軸に沿って非常に大きくなることができる。
1.4 提供されたデータ
提供されたデータに反映される基本的な考えは、互いに直交する高速軸方向でサンプリングされた2つのボリュームを使用して、動きのアーティファクトを補正するということである。上述から分かるように、高速軸に沿った歪みは低いと思われる。これらの高速軸、したがって小さい歪みが空間において異なる向きを有する、ボリュームが2つ存在するということと組み合わせて、このことは、変位関数によって表されるような歪みを見つけるために使用される。その後、この変位情報を使用して、この2つの歪んだバージョンから1つの動き補正済ボリュームが再構築される。
XFASTと称されるボリュームの第1のタイプは、上に詳述したように、その高速軸方向を
Figure 0005832523
とし、低速方向を
Figure 0005832523
として、サンプリングされるボリュームであり、
Figure 0005832523
(XFAST)およびh(XFAST)は、それらの等価物をセクション2で記述した、
Figure 0005832523
wおよびhに有する。rangexyは、ワールド座標においてxおよびyの両方向に走査が行われる範囲である。
同様に、ボリュームYFASTの2つの方向は、
Figure 0005832523
および
Figure 0005832523
であり、これによって、2つのボリュームが空間内で直交する高速軸方向を有するように向きが定められる。
OCTボリューム走査に関連した部分を詳細に見てきたが、以下では、動きのアーティファクト補正という課題を解決するために使用する方法を記載する。
2. 方法
本セクションでは、動きのアーティファクトを低減するという問題を解決するために開発した方法を中心に述べる。この問題を1種の特別な位置合わせの問題として扱う基本概念は、以下のセクション2.1で導き出される。目的関数(2.2)、問題の多重解像度表現(2.3)、最適化戦略(2.4)および位置合わせ結果のマージ(2.5)を以下のセクションで扱う。最後に、前処理(セクション2.6)、ボリューム補間(セクション2.7)、およびOpenGLを使用する加速化(セクション2.8)の実際的な構成を扱う。
2.1 演繹
入力として、上述した2つのボリュームXFASTi,j,kおよびYFASTi,j,kが収集される。さらに、両走査の走査処理の時間情報は分かっている。時刻を走査グリッドの各サンプルに関連付けるこの情報は、2つの画像
Figure 0005832523
および
Figure 0005832523
によって、各ボリュームに1つずつ(式(3)および(4)を参照)、伝えられる。
同一のオブジェクトが走査されるので、この2つのボリュームのボクセルは、同一の関数
Figure 0005832523
(式(7)を参照)を使用して表すことができ、この関数は、2つの未知の変位関数disp(XFAST)(t)およびdisp(YFAST)(t)(式(8)を参照)を採用することによって固定時点
Figure 0005832523
における値に縮小できる。別の言い方をすると、以下のようになる。
Figure 0005832523
および
Figure 0005832523
トランスポジション(transposition)およびフリッピング(flipping)演算をボリュームならびにSTIME画像(セクション2.6を参照)に対して使用することで、YFASTの指標の意味を変えてXFASTと同じベースに関連付けることができる。結果として生じるボリュームおよび時間係数は、YFASTRと呼ばれ、サンプリング時間画像は、
Figure 0005832523
と称される。そして、これらの式は、
Figure 0005832523
および
Figure 0005832523
となる。
ここで、XFASTおよびYFASTRはグリッド点で定義されるだけでなく、ボリュームデータを補間しAScan関数と同じ座標系を使用する2つの関数
Figure 0005832523
および
Figure 0005832523
がある、と仮定する。
Figure 0005832523
について、
上記式は、
Figure 0005832523
および
Figure 0005832523
となる。変数置換を使用することにより、変位関数は、式の左辺へ移動することができ、
Figure 0005832523
および
Figure 0005832523
となる。これらの置換によって、関数XintおよびYintはもはや、ボリュームの元のグリッド点上にまさにある位置から必ずしもサンプリングするわけではなくなるので、2つの未知のエラーベクトル
Figure 0005832523
および
Figure 0005832523
が導入される。これらのエラーベクトルは、その特定の点でAScan関数をサンプリングできた場合にはどのような結果になるかに照らし合わせて、提供されたボリュームデータの補間の差をモデル化する。これらの式の両方の右辺が等しいので、以下によって、グリッド点(i,j)における差すなわち残差ベクトル
Figure 0005832523
を調べることができる。
Figure 0005832523
グリッド点(i,j)における両方の変位関数値が分かれば、XintおよびYintによって補間された値は、似たような値になるはずである。なぜなら、それらは、同一の時刻と位置における本質的に同一のAScan関数値の、雑音が多いバージョンとなるだろうからである。この残差の、ベクトル長のようないかなる測定値も、2つの変位関数の正しい値を得るためには最小でなければならないという考えから、2つの雑音成分εxおよび得εyは、XintおよびYintの実際のデータ成分に比べて小さく、結果を相殺する傾向があると仮定する。
全てのグリッド点をまとめて考慮すると、変位場を見つけるための第1のバージョンは、次のように公式化できる。
Figure 0005832523
ここで、
Figure 0005832523
は何らかの種類の距離測定値(セクション2.2を参照)である。
この式に足りないものは、変位関数は時間的に平滑である(式(9)を参照)と、考えられるという点である。このために、時間に関して変位関数の高勾配にペナルティを与えることによって平滑な変位関数にフェイバを与える正則化項を、この式に加える。
Figure 0005832523
に対応して、すべてのグリッド点は、2つの勾配(各変位関数につき1つ)に関連付けることができる。これらは、XFASTボリュームについては
Figure 0005832523
YFASTRについては、
Figure 0005832523
となる。これらのベクトルは、距離測定値
Figure 0005832523
に再度入れられる。また、この式のボリューム距離部と正則化項部の間の相対的な重要度の調整ができるように、正則化項重み係数
Figure 0005832523
が導入される。次に、最適化作業は、
Figure 0005832523
となり、
ここで、目的関数を最小化する連続関数が求められる。
しかし、目的関数を評価するためには、グリッド点に対応する有限数の時間ステップにおける変位関数のための値がありさえすればよい。したがって、グリッド点における値としての変位場の直接パラメータ化を、この例において使用する。すると、ボリュームVのための変位場は、
Figure 0005832523
となり、ここで、
Figure 0005832523
は指標ペア(i,j)における方程式STIMEi.jで定義されるサンプル時間画像であり、
Figure 0005832523
は元の連続変位関数である。このパラメータ化を使用することにより、ボリューム残差は次のように表すことができる。
Figure 0005832523
変位場の有限パラメータ化のために、式(27)および(28)にて説明したように、時間に沿った場の勾配は、グリッド点間の有限差分を使用して表される。式は、
Figure 0005832523
および
Figure 0005832523
となる。ここで、2つの関数Nexti(i)およびNextj(j)は、(i,j)のサンプルの次のサンプルが位置するグリッドの指標を見つける方法を提供する。このような関数は、例えば、サンプル時間画像の時刻値をソートし、その時刻に関連付けられた指標ペアを記憶することによって、容易に前もって生成できる。完璧にするために、現在の指標が最後のサンプルに対応する場合には、両勾配を零ベクトルに定義する。こうすることで、次の位置は定義されない。
これらの変化をまとめると、最適化作業は、
Figure 0005832523
となり、この公式を、本実施例の以下全てにわたって使用する。なお、新しい係数1/whが、異なるパラメータ数およびボリュームサイズを有する目的関数のバージョン間で結果を比較する方法を提供するために加えられている。これは、マルチ解像度最適化(セクション2.3を参照)において好ましい。
2.2 目的関数
本セクションでは、目的関数およびその最適化に関する実際的な詳細を中心に述べる。
2.2.1 時間モデリング
まず、
Figure 0005832523
で表わされる処理の時間構造を考える。式(4)
Figure 0005832523
を見ると、時間w(V)Ascan(フライバックを含まない1つのB走査を行うのに必要な時間)が1と等しくなるように正規化されるよう、スケーリング(拡大縮小)がtAscanとtflybackに対して行われる。このようにして、時間構造はサンプリング座標系に直接関連し、そこではボリュームの一端から他端までの距離も1である(セクション2.7を参照)。また、B走査の時間に対してフライバックにかかる相対時間をスケーリングする方法を提供する
Figure 0005832523
と称される係数が導入される。この係数の標準的な設定は、元の状態に対して変化が生じないように、facflyback=1である。しかし、この係数を変えることにより、B走査間の変位の多少の変化に対してゆとりが与えられて、位置合わせ処理、特に正則化項、を調整する方法が提供される。
2.2.2 距離測定値
式(34)
Figure 0005832523
を再考すると、距離測定値
Figure 0005832523
ならびに具体的な正則化関数(regularizing function)
Figure 0005832523
はまだ定義されていない。
両ボリュームからのデータが同一の走査処理から生じるので、単峰型の位置合わせが存在する場合がある。この場合の一般的に用いられる距離測定値は、差の二乗和すなわちSSD測定値である。それは、次のように定義される。
Figure 0005832523
最適化のために必要な関数の勾配は、
Figure 0005832523
である。
2.2.3 正則化
正則化関数
Figure 0005832523
の目的は、高い出力値を生成する、時間に関する変位場の高勾配にペナルティを与えることである。一般の正則化項重み係数あるαに加え、x/y方向とz方向との動きの違いを考慮する係数
Figure 0005832523
が加えられる。係数1は、全方向に同一のペナルティを与えることになる。この係数の値を上げるとz方向の動きによりペナルティを与えることができ、この係数の値を下げると、より多くの自由が与えられる。
2.2.3.1 SSD正則化項
第1の正則化関数もまた、SSD距離測定値と同様に、ベクトルの二乗長さを使用する。この関数は、
Figure 0005832523
であり、
勾配は
Figure 0005832523
である。この関数の1つの重要な特性は、ノルムでないということである。具体的には、スカラースケーリングファクタ(scalar scaling factor)の下での線形性が、係数
Figure 0005832523
に関して
Figure 0005832523
とならない。このため、この関数は、ノルムが与えるよりも、高勾配にペナルティを与える。これにより、変位場としてより平滑な解を与える傾向が生まれる。なぜなら、正則化項は、増加の全体の大きさは同じになるようにして、変位の単一の大きな増加に比べて変位の多くの小さな増加に対してフェイバを与えるからである。
2.2.3.2 L1正則化項
この作業に使用する第2の正則化項は、L1ノルムに基づいており、この場合のように3次元ベクトルに対しては、以下のように定義される。
Figure 0005832523
残念ながら、絶対値関数の導関数は平滑ではなく、2次導関数は定義さえされていない。したがって、L1ノルムを直接使用すれば、標準の勾配に基づく技術を使用して目的関数を最適化する際に、深刻な問題が起こるであろう。
この問題を迂回するために、L1ノルムは、パラメータ
Figure 0005832523
に基づく平滑な関数で近似される。結果として生じる正則化項は、次の通りである。
Figure 0005832523
ここで、導関数は、
Figure 0005832523
である。εl1regが小さければ小さいほど、正則化関数は真のL1ノルムに近づくが、導関数の平滑度が減少するので、最適化がより難しくなる。実際には、εl1regは0.05とされる。
SSD正則化項とは対照的に、このバージョンは、線形以上に(真のL1の場合)異常値にペナルティを与えず、(イプシロンバージョンでは)それほど強くは異常値にペナルティを与えない。この結果、正則化項に対するカウンターウェイト、すなわち、距離測定値が平滑な解にフェイバを与える場合にのみ、解は平滑になるであろう。この点において、それはよりデータ駆動型であり、例えばサッケードから生じる不連続をより容易にモデル化できる。一方では、この関数は、より非線形であり、一般に最適化がより難しい。
2.3 多重解像度表現
ここで示す最適化作業は、非線形最適化という問題である。この問題もまた大規模であり、例えばそれぞれ400×400のA走査を行う2つのボリュームを位置合わせするときには、パラメータ空間の次元数は、400・400・2・3=960000である。一般に、このような問題のための標準の最適化手法は、目的関数の局所的最小点にすぎない解を出す(Nocedal, J. and Wright, S.J. Numerical optimization. Springer, 1999.)。最適化の起点が大域的最小点に十分に近い場合にのみ、良好な解に達することができる。
解のグローバル性を改善しかつアルゴリズムランニングタイムを改善する1つの方法は、例えば、Lu, W. and Chen, M.L. and Olivera, G.H. and Ruchala, K.J. and Mackie, T.R. Fast free-form deformable registration via calculus of variations. Physics in Medicine and Biology, 49(14):3067--3087, 2004に使用されるような最適化問題の多重解像度表現を採用することである。ここでは、複雑度が増加する最適化問題の複数のバージョンが使用される。また、より低い複雑度の解の結果をより高い複雑度の初期化にマッピングする方法も定義しなければならない。その後、最適化が比較的容易な問題の簡単なバージョンから、最適化が始まる。次いで、この簡単な問題の結果は、次のより難しい問題のための初期化として使用され、これがまた最適化される。元の問題が最適化されるまで、この処理が繰り返される。
この技術の有用な局面は、粗い問題の解は、この問題のためのグローバルな最適値に既に近い、次のより難しい問題のための初期化に容易にマッピングされるはずだということである。このようにして、最終的に、元の複雑な最適化問題のための良好な解に達することができる。この例の最適化問題のためには、元の問題の直接解法は通常可能でなく、したがって、多重解像度技術が常に採用される。
2.3.1 解像度ピラミッド生成
最適化問題の連続した単純化の1つの構成要素は、目的関数が作用するデータ量の低減である。このために、一定数Npyramidのレベルの解像度ピラミッドが、両ボリュームについて生成される。指標0を有するベースレベルは、元のXFASTおよびYFASTRボリュームからなる。レベルNpyramid−1に達するまで、前のレベルからのボリュームを各方向に1/2倍にダウンサンプリングすることによって、次のレベルのボリュームが生成される。このダウンサンプリングは、簡単な2×2×2ボックスフィルタを使用して行うことができる。
元のボリュームが生成された仕方のために、この均一なスケーリング演算には、サンプリング理論的観点からみると、実際には問題がある。ボックスフィルタは、2つの隣接したB走査からの値を平均するであろう。それらのサンプル間のサンプル時間差が大きく、またそれらの間に大きな変位が結果として起こり得るため、これらのサンプルは、空間的に必ずしも近くにある必要はない。この問題は、例えば、高速軸の方向のピクセル数のみが低減されるように、ボリュームに対して不均一なダウンサンプリングを行うことによって、回避できるであろう。しかしこの方法は、均一のダウンサンプリングの場合の1/8倍と比較して、あるレベルから次のレベルへ1/4倍にしかデータを低減しない。このため、実際には均一なバージョンの方が、理論的にはより正しい不均一なバージョンよりも、良好に作用する。
2.3.2 時間モデリング
ボリュームデータをダウンサンプリングすることに対応して、
Figure 0005832523
および
Figure 0005832523
画像によって表されるように、走査処理の時間構造のより粗いバージョンが与えられる。これらの画像は、連続してバイリニアリ(bi linearly)に元のサンプル時間画像をダウンサンプリングすることによって生成される。これは、解像度ピラミッドが構築される際にボリュームデータ自体がスケールダウンされる仕方に対応する。他の利点は、この方法は、走査プロトコルの主要なタイプはどのようであったか(例えば一まとまりの線形走査)についての知識なしに行うことができ、したがって、非常に柔軟度が高いことである。
2.3.3 目的関数の適合
位置合わせ処理の調整にさらなる余裕を与えるために、各マルチ解像度レベルの目的関数に、別々の正則化項重み係数αiを関連付けることができる。最も粗いレベル
Figure 0005832523
の重み係数を与えられると、より細かい係数が、成長係数growalphaを以下のように適用することによって、生成される。
Figure 0005832523
2.3.4 レベル間の結果のマッピング
最も粗いレベルでは、変位場は、本実施例では全てゼロに初期化され、これによって、2つの走査されたボリュームによって与えられたような元の状態で、最適化が開始される。
最適化が指標i+1のレベルで終わったと仮定すると、その解は、レベルiのより高い次元のパラメータ空間にマッピングされなければならない。ボリュームのサンプリング座標系はスケールが変わらない(セクション2.7を参照)ので、解を形成する変位ベクトル自体は、修正なしでより細かいレベルに直接使用できる。したがって、より細かい初期化は、単に、低い解像度からの変位画像をより細かい解像度へとバイリニアリに再サンプリングするだけで、行われる。
2.4 最適化戦略
本セクションでは、各多重解像度レベルのため、および最終的には元の目的関数のために行う必要のある、実際の最適化を中心に述べる。
2.4.1 一般
一般性を損なうことなく、最適化問題は、次の形で表すことができる。
Figure 0005832523
ここで、目的関数は関数
Figure 0005832523
にマッピングされており、xは次元数Nparamを有する変数のベクトルである。これは、元の目的関数の2つの変位場画像をどのようにパラメータベクトル
Figure 0005832523
にマッピングするかという順序付けを定義することによって、例えば辞書式順序付けを使用することによって、容易に達成できる。最適化アルゴリズムの開始位置は、
Figure 0005832523
である。
位置合わせのための最適化問題は、非線形、非制限、かつ連続的な最適化問題として分類できる。非線形というのは、目的関数値自体がパラメータに線形に依存しないからである。非制限というのは、可能な解がパラメータ空間の一定の部分空間に制限されず、解が全
Figure 0005832523
内にあり得るからである。最後に、この問題が連続的であるというのは、可能な解が、例えば解ベクトルのための固定数の整数値に制限されず、解の各成分が全
Figure 0005832523
内にあり得るからである。さらに、少なくとも元の最適化問題は、本例示のデータについて、パラメータ数Nparam=960000で大規模に考慮されなければならない。
このような種類の問題に対しては、解析的解法は、自明な場合以外には与えられ得ない。これが、最適化が反復的数値アルゴリズムを使用して行われる理由である。一般に、これらのアルゴリズムは、ミニマイザのための一次必要条件を満たそうとするだけなので、関数の局所的極値を見つけられるというだけであり、したがって関数の勾配は零ベクトルである。言い方を変えると、
それらは、以下を満たす解
Figure 0005832523
を探す。
Figure 0005832523
最適化アルゴリズムは、どの基本戦略を使用するかによって、2つのクラスに分けることができる。第1の戦略は、直線探索と称される。ここで、アルゴリズムは、探索方向
Figure 0005832523
を選択し、現在の反復
Figure 0005832523
からの線に沿って当該探索方向の方向に探索する。この探索は、以下の問題をほぼ解くことになるステップの長さαstep,itを見つけることとして、記述できる。
Figure 0005832523
そして、反復の結果は
Figure 0005832523
となり、これが次の反復の起点として使用される。この戦略では、定まった方向が選択され、ステップの長さが探索される。
これに対して、いわゆる信頼領域法は、現在値の近くの目的関数のモデルを使用する。このモデルは、現在値からある一定距離まで信頼できる。そして、次の反復が、信用領域に定義された距離を見ながらモデルを最小化する方向を探すことによって、生成される(Nocedal, J. and Wright, S.J. Numerical optimization. Springer, 1999)。
複数のオプティマイザを、手元にある最適化問題に対するそれらの適合性に関して試験した。まず、Lu, W. and Chen, M.L. and Olivera, G.H. and Ruchala, K.J. and Mackie, T.R. Fast free-form deformable registration via calculus of variations. Physics in Medicine and Biology, 49(14):3067--3087, 2004にあるようなローカルニュートン法を試したが、収束が遅すぎることがわかった。勾配降下および非線形共役勾配の標準の直線探索アルゴリズム(Nocedal, J. and Wright, S.J. Numerical optimization. Springer, 1999)の方がはるかに優れていたが、最終的には、limited memory BFGSが最も速く、また試験したオプティマイザの中で最も頑強であることがわかった。
2.4.2 Limited Memory BFGS
Limited memory Broyden-Flechter-Goldfarb-Shannoまたはshort L-BFGSは、直線探索に基づくアルゴリズムであり、さらに準ニュートンアルゴリズムとして分類できる。元のBFGSアルゴリズムにおいて、全ての前の評価の勾配情報が、ヘッセ行列
Figure 0005832523
の推定値を構築するために使用される。この推定値を使用して、ニュートン法を採用することにより、探索方向
Figure 0005832523
が線形システムの解として以下のように構築され、
Figure 0005832523
直線探索に使用される。規模が大きいという問題については、全ての前の勾配またはヘッセ行列の高密度の推定値を格納するための必要メモリを用意することは、難しい。というのは、次元数Nparam=960000を有する400×400の問題で、単一の勾配ベクトルが、既にほぼ8MBのメモリ空間を使用しているからである。
Limited memory BFGSは、そこからヘッセ近似値が算出されるごく限られた少ない数の勾配を格納することによって、この問題に対処する。この実施例で使用するVNL Libraryの実装では、この記憶パラメータは5に設定する。しかしこの方法には依然として、超一次収束性という利点がある。
本方法の他の利点は、構造上、探索方向
Figure 0005832523
は、ほとんどの場合うまくスケーリングされることである。「うまくスケーリングされる」とは、スケーリングを行わずに現在の反復に加えられた探索方向を直接使用することで、目的関数を十分に減少させるWolfe条件を満たす反復が得られることを意味する(Nocedal, J. and Wright, S.J. Numerical optimization. Springer, 1999.)。このため、直線探索は、いかなる探索も全く行わずして既に成功していることが多い。この事実によって、目的関数を最適化するために必要な関数および勾配の評価の数が著しく低減できる。
実際には、多重解像度最適化の各レベルにおいて行ってもよい、関数および勾配の評価の数を制限することによって最適化を行うのに費やされる時間の量は、限られている。この量を制御するパラメータはMaxEvalslvlと呼ばれ、lvlは多重解像度レベルの指標である。他の実際的な局面は、間違った探索方向が選択されたり、数が不正確であったりしたために、最適化が失敗することがあり得ることである。この場合、最適化は、評価の予算が使い果たされておらず、収束に達しておらず、各再開によって目的関数値の有意の改善が依然としてもたらされる場合に限り、再開される。
2.5 ボリュームマージ
2.5.1 基本モデル
位置合わせ自体が終わると、XREGおよびYREGと称される2つの位置合わせ結果ボリュームは、単に解の変位場を元のボリュームデータに適用するだけで、生成される。結果として生じるボリュームデータは、
Figure 0005832523
および
Figure 0005832523
である。黙示的に、両ボリュームは、目的関数で使用された残差の一部として既に使用されている(式(25)を参照)。これらは、目的関数のボリューム残差部に現れる。このため、位置合わせ自体がうまくいった場合には、両ボリュームは似たものになると考えることができる。
したがって、マージされたボリュームを生成する自然な方法は、ボリュームデータを単に平均することであろう。しかし、歪みにより、あるボリュームに存在するいくつかの領域が、他のボリュームでは全くサンプリングされないということが起こりうる。これが当てはまる場合には、特定の領域が存在しなかったボリュームからのデータは、隣接する領域からの代替データで埋められるため、平均化は良い手法でない。そうではなく、マージされたボリュームには、その領域が実際に存在したボリュームからのデータを主に使用することが提案される。
この決定処理は、マージされたボリュームMERGEDのためのデータを、2つの位置合わせ結果の凸加重和として以下のように生成することにより、モデル化される。
Figure 0005832523
ここで、各ボクセルについて2つのボリュームをどのように合計するかを決定する、重み関数
Figure 0005832523
が使用される。
重みを生成する基本的な考えは、次の事実に基づく。すなわち、ある領域がボリュームAに存在せずボリュームBに存在するとき、元のAボリュームの他の領域が代用されるため、Aの位置合わせ結果が生成されたときには、元のボリュームのこの代替領域は、2回以上サンプリングされることになる、ということである。これに対し、Bからの元の領域は、一度しかサンプリングされない可能性が高い。
2.5.2 サンプリング密度推定
この事実を利用して重みを生成するために、元のボリュームのサンプリング密度、すなわち、元のボリュームのある領域が、対応する位置合わせ結果を生成するために何度サンプリングされたか、を推定する。このために、有限支持(finite support)を有する一種の2次元離散化parzenウインドウ推定を使用する。
対応するボリュームのx/yサイズの何倍か(例えば4倍)のサイズを有する画像を生成し、極めて小さい正の値εparazenに初期化する。この大きい方の画像を使用して、あるサブピクセル精度を達成する。例えば、4倍なら2ビットが提供される。この画像は、A走査の2次元のグリッドに対応する元のボリュームの2次元の領域を表す。推定は、位置合わせ結果を生成するためにとられた各サンプルについて、さらにカーネルをこの画像に描画することによって、行われる。
カーネルとして、標準偏差σparazenおよび有限の半分の大きさ(finite half size)のhsparazenを有する2次元のガウスカーネルを使用する。ここで、この両方の定数は元の画像のピクセルサイズに対応する。カーネルの全てのグリッド点について正規分布を評価し、その後、カーネルの全ての値の合計が1に等しくなるようにスケーリングする。
描画自体は、サンプルがとられた位置にカーネルの中心を置き、カーネル値を密度推定画像値に加えることによって、行われる。カーネルが部分的に画像の外にある場合、それらの値を最も近いエッジピクセルにおいてさらに加え、ボリュームサンプリングルーチン自体に挙動を反映させる。
2.5.3 共通空間への密度のマッピング
2つのボリュームの推定されたサンプリング密度を関連付けできるようにするために、密度推定値を、共通の位置合わせ空間に持ってこなければならない。このために、2つの画像XDESTおよびYDESTを生成する。グリッド点(i,j)におけるこの画像データは、元位置合わせ結果を生成するためにデータがサンプリングされた位置に対応する位置のparzen推定画像を、バイリニアリにサンプリングすることによって、生成される。
2.5.4 サンプル妥当性
重みを生成するために使用する他の情報源は、いわゆるサンプル妥当性である。ボリューム補間では、補間した結果を生成する際に、複数のボクセルが考慮される。ここで、このフットプリントのボクセルの一部または全部が、データ点のグリッドによって定義される実際のボリュームデータの外にある場合、サンプルの妥当性は、全てのサンプルがボリュームデータの内にある場合よりも低いと考えられる。補間フットプリントの全てのボクセルに、ボクセルがグリッドの内側にある場合には1、外側にある場合にはゼロと定義される値を関連付けることによって、位置合わせ結果の各グリッド点(i,j,k)の妥当性を、補間のために使用したフットプリント全体にわたるこの値の平均値として定義できる。このデータは、XREGおよびYREGについて、それぞれXVALおよびYVALというボリュームに含まれる。
2.5.5 重み生成
サンプリング密度および妥当性を用いて、位置(i,j,k)におけるXREGボリュームの重みは、次のように生成できる。
Figure 0005832523
この関数の効果は、2つの位置合わせ結果の間でサンプル妥当性およびサンプリング密度に差がない場合、結果として生じる重みは0.5であり、これによって、ボリュームデータが平均化され、これによりまたスペックル雑音が低減されることである。しかし、一方のボリュームについてサンプリング密度がより高い場合、または妥当性がより低い場合、他方のボリュームのための重みが増すであろう。このようにして、マージされたボリューム内の不良サンプルの影響は、効果的に低減される。
2.6 前処理
前処理では、その目標は、位置合わせ処理により適したボリュームを生成するために、OCTスキャナによって提供される生データに対して演算を行うことである。入力として、XFASTRAWおよびYFASTRAWと称される2つの生ボリュームが与えられる。これらの2つのボリュームは、以下において説明する一連の段階を経て供給される。ここでの概念は、1つの前処理演算の出力(ボリュームである)が次の段階のための入力になる、ということである。具体的な段階では、入力は、XFAST、YFASTにそれぞれ対応して、XINまたはYINと表される。両方のボリュームタイプについて処置が対称になされる場合、入力はVINと称される。ある段階の出力はXOUT、YOUTまたはVOUTと称される。そして、最終段階の出力は、セクション1にて説明したように、ボリュームXFASTおよびYFASTRである。
z方向においてカバーされる範囲の一部しか興味深い情報を含まないため、各ボリュームは、軸方向に切り取られる。しかし、結果として生じる軸方向寸法が両方のボリュームで等しくなるよう、注意しなければならない。生の強度データは、その高いダイナミックレンジを低減するために、ログ変換される。また、最小/最大範囲変換およびしきい値処理が適用される。各ボリュームの全てのボクセル(i,j,k)について、出力は、以下のように定義できる。
Figure 0005832523
ここで、min(XIN,YIN)およびmax(XIN,YIN)は、ログ関数適用後の両ボリュームの全てのボクセルデータの最小値および最大値である。このようにして、データは、ログ変換後に範囲[0;1]へ移動される。その後、threshminおよびthreshmaxを使用してしきい値処理演算を行い、強度異常値を除去する。最後に、データはまた、間隔[0,1]に移動される。なお、全てのデータからの最低値および最大値を計算することによって、全く同じ演算が全ての値に行われる。
生のOCTデータに存在するスペックル雑音を低減するために、サイズNmedianの1次元のメディアンフィルタ(例えばNiemann, H. Klassifikation von Mustern. SpringerVerlag, Berlin, 1983を参照)をボリュームの各A走査に独立して適用する。このようにして、複数のA走査を使用した場合に歪みから生じ得るいかなる負の効果も、スペックル雑音レベルを低減しつつ、回避できる。
さらなる雑音低減ならびに必要メモリおよび必要処理電力の両方の低減のために使用できる他の前処理ステップは、軸方向における両ボリュームのダウンサンプリングである。この処理は任意であり、両ボリュームに対してNzscaledown回行われる。出力ボリュームのサイズは、z方向に半分にされる以外、同じである。
Figure 0005832523
ボリュームデータ自体は、ボックスフィルタを用いて単にz方向の2つの値を平均するだけで、生成できる。
データの正規化は、独立して、各ボリュームに対していわゆるZ変換を行うことによって行われる。ボリュームデータは、結果として生じるボクセルの平均値がゼロであり分散が1になるように、変換される。このために、入力ボリュームボクセル強度の平均μ(VIN)および分散var(VIN)が計算される。そして、出力ボリュームデータは、以下のようになる。
Figure 0005832523
この変換によって、ボリュームデータが、定義された範囲に入り、2つのボリューム間の全体的な輝度の差も補正できる。
位置合わせの前に、xおよびy方向の指標(i,j)がXFASTと同じベースに関連付けられるように、まず、YFASTボリュームおよび対応するサンプル時間画像
Figure 0005832523
を変換しなければならない。これは、ボリュームデータならびにサンプル時間画像を用いて行われる2つのステップによって達成できる。まず、トランスポジションが行われる。すなわち、指標iとjとが入れ替わる。第2のステップは、y方向のデータをフリップ(flip)させることからなる。
2.7 ボリューム補間
作用する位置合わせアルゴリズムの1つの有用な部分は、ボリューム補間関数
Figure 0005832523
および
Figure 0005832523
を実施することである。これらは、それぞれXFASTおよびYFASTRボリュームのボリュームデータを補間することになっている(式(21)、(22)を参照)。補間の方法は両ボリュームで同じであるため、Vi,j,kと称されるボリュームが、以下の関数で補間されると仮定する。
Figure 0005832523
ここで、
Figure 0005832523
は特別な補間座標系のベクトルである。
Figure 0005832523
は返されたベクトルの次元数である。なお、この補間関数は、単に1つの場所でボリュームをサンプリングするのではなく、z方向の
Figure 0005832523
の異なる位置でサンプルリングし、A走査の補間された等価物を生成する。したがって、
Figure 0005832523
によって行われた補間は、z方向の線に沿ってボリュームデータを補間する複数の演算に分解できる。この処理は、位置
Figure 0005832523
でボリュームデータを補間し単一の強度値を生成する関数
Figure 0005832523
を導入することによって、記述できる。この考えを用いて、
Figure 0005832523
からの結果ベクトルのi番目の成分は、以下のように定義できる。
Figure 0005832523
ここで、開始ベクトル
Figure 0005832523
をサンプリング座標系に定義し、サンプリング増分ベクトル
Figure 0005832523
を結果ベクトルの1つの成分から次の成分へのz方向の増加を定義するものと定義する。
2.7.1 サンプリング座標系
ボリュームデータを補間するために使用する座標系は、前に使用したような物的単位に基づくワールド座標系ではない。その代わりに、ボリュームデータが[0,1]単位立方体内にあるスケール不変系が好ましい。そのような座標系の1つが、OpenGLの座標系である(Segal, M. and Akeley, K. The OpenGL graphics system: A specification (version 2.0). Silicon Graphics, Mountain View, CA, 2004.)。ここでそれが選択された理由は、広く使われており、よく定義されているだけでなく、具体的なプログラム実施においてOpenGLがボリューム補間処理を加速するために使用されるからである。スケール不変性も、多重解像度手法に対する利点がある(セクション2.3を参照)。
OpenGLの座標系では、指標(i,j,k)のボクセルVi,j,kの中央の座標は、
Figure 0005832523
である。補間関数の結果ベクトルの成分のうちの1つがそのようなボクセル中央におけるサンプリングからきている場合、結果は、まさに指標(i,j,k)における元の個別ボリュームの強度データであるはずである。別の言い方をすると、
Figure 0005832523
は、いかなる具体的な補間関数VSampleによっても、満たされるはずである。
式(57)を見ると、z方向のまさに1ピクセルを移動するための式(56)からの増分ベクトル
Figure 0005832523
は、
Figure 0005832523
となるはずであることが分かる。
最適化問題を解くためには、補間関数は、単に[0,1]の単位立方体におけるだけでなく
Figure 0005832523
の全てにおいて定義されなければならない。サンプル点
Figure 0005832523
が任意の座標における単位立方体の外にある場合、結果は、まるで、サンプルの位置が、その特定の方向の単位立方体内に移動して、この方向の単位立方体の端に最も近いピクセル中央に直接位置したかようになるであろう。OpenGLでは、テクスチャをサンプリングする際のこの挙動は、GL_CLAMP_TO_EDGE識別子と関連付けられる。
通常、補間関数はA走査等価物を生成するはずなので、補間されたベクトル
Figure 0005832523
の次元数は、d(V)に等しくなるはずである。しかし、サンプルの最小および最大のz座標に対応して、開始および終了位置で結果として生じるベクトルを対称に切り取ることによって、計算効果ならびに単位立方体の外でのサンプリングから生じる効果を低減することができる。両側で除去すべき補間されたベクトルの元の次元数の割合を特定する
Figure 0005832523
と称される係数を導入することによって、結果として生じるベクトルの大きさは、
Figure 0005832523
となる。
また、式(56)からの開始サンプリング位置は、外側のサンプリング関数
Figure 0005832523
および以下のサンプリング境界情報の入力から生成される。
Figure 0005832523
これは、第1のサンプルが正のz方向へ
Figure 0005832523
サンプル分移動することを示す。実際には、典型的な設定は、両端でサンプルの5パーセントを除去するものであり、したがって、
Figure 0005832523
である。
2.7.2 補間法
具体的な補間法として、トリリニアならびにキュービックスプライン補間を実施した。トリリニア補間は、ボリューム補間のために広く使用されている。これは、この方法の相対速度、単純性および頑強性によるものと考えられる。トリリニア異型の1次元の基礎である直線補間では、補間は、2つのデータ点間の直線をつなぐことによって行われる。この補間法は、補間値は、2つのデータ点によって与えられる範囲内にあることが保証されるという利点を有する。
トリリニア補間は、直線補間を3次元に拡張したものである。これは、補間点に最も近い8つのサンプルによって定義される立方体内において複数の1次元補間を行うことによって行うことができる。軸方向走査等価物を補間する具体的なサンプリングパターンでは、この処理は、まずz方向に沿った全ての値についてx/y方向の2次元の補間を行うことにより、最適化できる。次いで、結果として生じる線の値は、z方向のフラクショナル座標(fractional coordinate)に従って線形に補間できる。このようにして、処理すべきボクセル値の償却された数は、8から4まで低減される。
目的関数を最適化できるためには、ボリューム補間関数の偏導関数が提供されなければならない。残念ながら、トリリニア補間スキームは連続導関数を提供しない。なぜなら、線分の傾きである導関数は、ピクセル中央で1つの値からもう1つの値まで飛べるからである。このため、導関数は有限差分法を使用することで近似される。この関数の詳細な情報を得るために、中心差分スキームが前方差分スキームよりも好まれる。定数εcentraldiffを使用して、サンプル点
Figure 0005832523
における偏導関数は以下のように近似できる。
Figure 0005832523
ここで、
Figure 0005832523
は、指標dimが示すディメンションのユニット基底ベクトルを意味する。εcentraldiffは、最良の近似を提供するように、理想的にはできるだけ小さくなるように選択される。しかし、あまりに小さい定数を選択することから生じる数値精度の問題は、考慮しなければならない。実際には、イプシロンは、1ピクセルの中央から次までの距離の0.01に等しくなるよう選択される。
導関数に関連した直線補間の問題があるため、キュービックエルミートスプラインを使用する第2の補間スキームを実施した。この方法は、平滑な導関数を分析的に計算する方法を提供する。再度、この方法は1次元の場合を参照しながら説明できる。キュービックスプラインについては、サポート、すなわち、補間時に考慮するピクセル数は、線形の場合の2と比べて、4である。
この補間法の1つの不利な点は、直線補間とは対照的に、補間値が、データ点によって与えられる値の範囲の外にあり得ることである。これらのいわゆるオーバーシュート効果は、例えばスペックル雑音の場合のように、高周波数成分がデータ内に存在する場合に、もたらされ得る。したがって、本実施例では、スプライン補間は雑音低減法とともにのみ使用する。
2.8 グラフィックハードウェアを使用した加速化
この動きのアーティファクト補正アルゴリズムの実際的な使いやすさの1つの有用な局面は、実行速度である。本アルゴリズムの主要部分である最適化のために、目的関数およびその勾配は、繰り返し評価されなければならない。これは、特に元の複雑度レベルについては、主に2つのOCTボリュームを補間する際に、多くの計算を必要とする。目的関数自体を見ると、それは、独立した式の集まりで構成されることが分かる。
利点は、ボリューム補間と勾配を含む残りの計算とをグラフィックカードに移し、正則化項の部分は柔軟性のためにCPU側に残すという、並列化が可能な点である。トリリニアならびにキュービックスプライン補間の両方がサポートされる。実装には、OpenGL Shading LanguageとともにOpenGLを使用する。したがって、コードは、ベンダならびにオペレーティングシステムインディペンデントである。ATI Radeon 4850を使用して加速化したバージョンの速度と2.16GhzのIntel Core 2 Duoでの標準バージョンとを比較すると、約60倍の最適化処理のスピードアップが得られる。これによって、アルゴリズム全体ために必要とされる時間が劇的に短縮され、したがって、実用臨床使用のための実行可能性が増大される。
なお、いくつかの実施形態またはその部分をハードウェア、ファームウェアまたはソフトウェアに実装してもよい。ソフトウェアに実装する場合、当該ソフトウェアは、プロセッサを本明細書に記載した実施形態またはその等価物を行えるように構成する、いかなる言語でもあってもよい。このソフトウェアは、実行可能命令の形であってよく、また、汎用または特別仕様のプロセッサによってロードされ実行され得るいかなる非一時的コンピュータ読み取り可能な媒体にも保存してよい。
本明細書に記載した方法および装置を特に示し、その例示の実施形態を参照することによって記載したが、当業者によって形式および詳細のさまざまな変更が行われ得ることを理解されたい。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様1〕
データセットを処理する方法であって、
目的関数の値に基づいて1つ以上の3次元変換を演算する工程であって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
(a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
(b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記目的関数を評価する、評価工程を有する、3次元変換演算工程と、
少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または前記対応付けられた3次元データセットに対応する導関数3次元データセットに適用する3次元変換適用工程とを備えた、データセット処理方法。
〔態様2〕
態様1に記載のデータセット処理方法において、前記目的関数を評価する評価工程は、(i)前記変換後の状態にある前記2つ以上の3次元データセット間、または(ii)前記変換後の状態にある前記2つ以上の前処理された3次元データセット間の類似の度合いを優位にすることを含む、データセット処理方法。
〔態様3〕
態様2に記載のデータセット処理方法において、各3次元データセットは、前記オブジェクトの領域から収集された信号値の集合であり、前記変換後の状態にある前記2つ以上の3次元データセット間の類似の度合いを優位にすることは、信号値間の差に罰則を付けることを含む、データセット処理方法。
〔態様4〕
態様1に記載のデータセット処理方法において、前記目的関数を評価する評価工程は、撮像器具に対する前記オブジェクトの動きに罰則を付けることを含む、データセット処理方法。
〔態様5〕
態様1に記載のデータセット処理方法において、前記3次元変換演算工程は第1および第2の3次元変換を含み、前記3次元変換適用工程は、第1の動き補正済データセットを取得するように、前記第1の3次元変換を第1の3次元データセットに適用すること、および、第2の動き補正済データセットを取得するように、前記第2の3次元変換を第2の3次元データセットに適用することを含み、
さらに、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットのデータ要素を結合するデータ要素結合工程を備えた、データセット処理方法。
〔態様6〕
態様5に記載のデータセット処理方法において、
前記データ要素結合工程は、さらに、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記第1および第2の動き補正済データセットのデータ要素の寄与であって、前記マージされた動き補正済データセットに対する寄与を調整するデータ要素寄与調整工程を有する、データセット処理方法。
〔態様7〕
態様6に記載のデータセット処理方法において、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、データセット処理方法。
〔態様8〕
態様6に記載のデータセット処理方法において、前記データ要素寄与調整工程は、さらに、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算するデータ要素加重和演算工程を有する、データセット処理方法。
〔態様9〕
態様1に記載のデータセット処理方法において、さらに、
第1の走査パターンを用いて第1の3次元データセットを収集する工程と、
第2の走査パターンを用いて第2の3次元データセットを収集する工程とを備え、
前記第1の走査パターンと前記第2の走査パターンは相補的である、データセット処理方法。
〔態様10〕
態様9に記載のデータセット処理方法において、前記相補的な第1および第2の走査パターンはラスタ走査である、データセット処理方法。
〔態様11〕
態様10に記載のデータセット処理方法において、前記ラスタ走査は互いに直交する、データセット処理方法。
〔態様12〕
態様1に記載のデータセット処理方法において、さらに、
前記1つ以上の3次元変換を反復的に演算する反復演算工程を備えた、データセット処理方法。
〔態様13〕
態様1に記載のデータセット処理方法において、さらに、
前記目的関数に対して数値最適化法を使用して、前記1つ以上の3次元変換を演算する、数値最適化法演算工程を備えた、データセット処理方法。
〔態様14〕
態様1に記載のデータセット処理方法において、さらに、
多重解像度数値最適化法を使用して、前記1つ以上の3次元変換を演算する、多重解像度数値最適化法演算工程を備えた、データセット処理方法。
〔態様15〕
態様1に記載のデータセット処理方法において、前記オブジェクトは、目、網膜、中心窩、視神経乳頭、および角膜からなる群から選択される、データセット処理方法。
〔態様16〕
態様1に記載のデータセット処理方法において、さらに、
第1の時点の第1の動き補正済データセットを取得する第1の動き補正済データセット取得工程と、
第2の時点の第2の動き補正済データセットを取得する第2の動き補正済データセット取得工程と、
前記第1の時点および前記第2の時点の間の変化を量的に追跡するように、前記第1の動き補正済データセットと前記第2の動き補正済データセットを比較する、動き補正済データセット比較工程とを備えた、データセット処理方法。
〔態様17〕
態様16に記載のデータセット処理方法において、前記オブジェクトは、被験者に関連するオブジェクトである、データセット処理方法。
〔態様18〕
態様17に記載のデータセット処理方法において、前記第1の時点は、前記被験者がヘルスケアプロバイダに1回目に訪れた時点であり、前記第2の時点は、前記被験者が前記ヘルスケアプロバイダに2回目に訪れた時点である、データセット処理方法。
〔態様19〕
態様17に記載のデータセット処理方法において、前記第1の時点は、前記オブジェクトを走査するために前記被験者が1回目に行動した時点であり、前記第2の時点は、前記オブジェクトを走査するために前記被験者が2回目に行動した時点である、データセット処理方法。
〔態様20〕
態様1に記載のデータセット処理方法において、前記3次元データセットは、A走査で取り込まれ、前記1つ以上の3次元変換は、3次元変位を各A走査に関連付けるものである、データセット処理方法。
〔態様21〕
態様1に記載のデータセット処理方法において、さらに、
画像再サンプリング、雑音低減、A走査特徴生成、傾斜補償、およびロールオフ補償からなる群から選択される手法によって、前記3次元データセットを前処理する、3次元データセット前処理工程を備えた、データセット処理方法。
〔態様22〕
態様1に記載のデータセット処理方法において、前記3次元データセットは、強度データ、ドップラーシフトデータ、および偏光データの少なくとも1つを含む、データセット処理方法。
〔態様23〕
態様1に記載のデータセット処理方法において、前記導関数3次元データセットは、ドップラーシフトデータおよび偏光データの少なくとも1つを含む、データセット処理方法。
〔態様24〕
データセットを処理するシステムであって、
目的関数の値に基づいて1つ以上の3次元変換を演算する演算モジュールであって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
(a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
(b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記目的関数を評価する、演算モジュールと、
少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または対応付けられた3次元データセットに対応する導関数3次元データセットに適用する動き補正モジュールとを備えた、データセット処理システム。
〔態様25〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは、(i)前記変換後の状態にある前記2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを優位にすることによって、前記目的関数を評価する、データセット処理システム。
〔態様26〕
態様25に記載のデータセット処理システムにおいて、各3次元データセットは、前記オブジェクトの領域から収集された信号値の集合であり、前記演算モジュールは、信号値間の差に罰則を付けることによって、前記変換後の状態にある前記2つ以上の3次元データセット間の類似の度合いを優位にする、データセット処理システム。
〔態様27〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは、撮像器具に対する前記オブジェクトの動きに罰則を付けることによって、前記目的関数を評価する、データセット処理システム。
〔態様28〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは第1および第2の3次元変換を演算し、前記動き補正モジュールは、第1の動き補正済データセットを取得するように、前記第1の3次元変換を第1の3次元データセットに適用し、第2の動き補正済データセットを取得するように、前記第2の3次元変換を第2の3次元データセットに適用し、
さらに、前記動き補正モジュールは、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットのデータ要素を結合する、データセット処理システム。
〔態様29〕
態様28に記載のデータセット処理システムにおいて、前記動き補正モジュールは、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記第1および第2の動き補正済データセットのデータ要素の寄与であって、前記マージされた動き補正済データセットに対する寄与を調整することによって、データ要素を結合する、データセット処理システム。
〔態様30〕
態様29に記載のデータセット処理システムにおいて、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、データセット処理システム。
〔態様31〕
態様28に記載のデータセット処理システムにおいて、前記動き補正モジュールは、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算することによって、データ要素を結合する、データセット処理システム。
〔態様32〕
態様24に記載のデータセット処理システムにおいて、さらに、
第1の走査パターンを用いて第1の3次元データセットを収集し、第2の走査パターンを用いて第2の3次元データセットを収集するデータ収集モジュールを備え、
前記第1の走査パターンと前記第2の走査パターンは相補的である、データセット処理システム。
〔態様33〕
態様32に記載のデータセット処理システムにおいて、前記相補的な第1および第2の走査パターンはラスタ走査である、データセット処理システム。
〔態様34〕
態様33に記載のデータセット処理システムにおいて、前記ラスタ走査は互いに直交する、データセット処理システム。
〔態様35〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは、前記1つ以上の3次元変換を反復的に演算する、データセット処理システム。
〔態様36〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは、前記目的関数に対して数値最適化法を使用して、前記1つ以上の3次元変換を演算する、データセット処理システム。
〔態様37〕
態様24に記載のデータセット処理システムにおいて、前記演算モジュールは、多重解像度数値最適化法を使用して、前記1つ以上の3次元変換を演算する、データセット処理システム。
〔態様38〕
態様24に記載のデータセット処理システムにおいて、さらに、
第1の時点の第1の動き補正済データセットと、第2の時点の第2の動き補正済データセットとを比較して、前記第1の時点および前記第2の時点の間の変化を量的に追跡する、時間比較モジュールを備えた、データセット処理システム。
〔態様39〕
態様38に記載のデータセット処理システムにおいて、前記オブジェクトは、被験者に関連するオブジェクトである、データセット処理システム。
〔態様40〕
態様39に記載のデータセット処理システムにおいて、前記第1の時点は、前記被験者がヘルスケアプロバイダに1回目に訪れた時点であり、前記第2の時点は、前記被験者が前記ヘルスケアプロバイダに2回目に訪れた時点である、データセット処理システム。
〔態様41〕
態様39に記載のデータセット処理システムにおいて、前記第1の時点は、前記オブジェクトを走査するために前記被験者が1回目に行動した時点であり、前記第2の時点は、前記オブジェクトを走査するために前記被験者が2回目に行動した時点である、データセット処理システム。
〔態様42〕
態様24に記載のデータセット処理システムにおいて、前記3次元データセットは、A走査で取り込まれ、前記1つ以上の3次元変換は、3次元変位を各A走査に関連付けるものである、データセット処理システム。
〔態様43〕
態様24に記載のデータセット処理システムにおいて、さらに、
画像再サンプリング、雑音低減、A走査特徴生成、傾斜補償、およびロールオフ補償からなる群から選択される手法によって、前記3次元データセットを前処理する、前処理モジュールを備えた、データセット処理システム。
〔態様44〕
態様24に記載のデータセット処理システムにおいて、前記3次元データセットは、強度データ、ドップラーシフトデータ、および偏光データの少なくとも1つを含む、データセット処理システム。
〔態様45〕
態様24に記載のデータセット処理システムにおいて、前記導関数3次元データセットは、ドップラーシフトデータおよび偏光データの少なくとも1つを含む、データセット処理システム。
〔態様46〕
一連の命令を記録した、一時的ではないコンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによって実行されると、当該プロセッサに、
目的関数の値に基づいて1つ以上の3次元変換を演算させる手順であって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
(a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
(b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記プロセッサに前記目的関数を評価させる命令を有する、3次元変換演算手順と、
少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または前記対応付けられた3次元データセットに対応する導関数3次元データセットに適用する手順とを実行させる、非一時的コンピュータ読み取り可能媒体。
〔態様47〕
OCTデータセットを処理する方法であって、
オブジェクトの少なくとも部分的に重なる領域を表す2つ以上の3次元OCTデータセットを収集する工程であって、少なくとも1つのデータセットが、少なくとも1つの他のデータセットの走査パターンに対して相補的な走査パターンを使用して収集される、OCTデータセット収集工程と、
目的関数を使用して各データセットのための3次元変換を演算する工程であって、前記目的関数は、
(a)変換後の状態にある前記3次元データセット間の演算された類似の度合いを優位にし、
(b)撮像器具に対する前記オブジェクトの動きに罰則を付ける、3次元変換演算工程と、
少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を各データセットに適用する工程とを備えた、OCTデータセット処理方法。
〔態様48〕
態様47に記載のOCTデータセット処理方法において、類似の度合いは、強度データ、振幅データ、位相データおよび偏光データの少なくとも1つに基づいて演算される、OCTデータセット処理方法。
〔態様49〕
態様47に記載のOCTデータセット処理方法において、類似の度合いを演算するのに使用される前記データは、雑音抑圧、傾斜補償、OCT信号ロールオフ補正、データ削減、データ正規化、またはこれらの任意の組み合わせを使用して、前処理される、OCTデータセット処理方法。
〔態様50〕
態様47に記載のOCTデータセット処理方法において、前記3次元変換は、強度データ、振幅データ、位相データおよび偏光データの少なくとも1つを変換することによって、各3次元データセットに適用される、OCTデータセット処理方法。
〔態様51〕
態様47に記載のOCTデータセット処理方法において、前記変換後の状態にある前記3次元データセット間の前記演算された類似の度合いを優位にすることは、前記変換後の状態にある前記3次元データセットから選択されるデータ値間の差に罰則を付けることを含む、OCTデータセット処理方法。
〔態様52〕
態様51に記載のOCTデータセット処理方法において、データ値間の前記差に罰則を付けることは、差の二乗和、分散、差の絶対値の和、またはこれらの任意の組み合わせを使用することを含む、OCTデータセット処理方法。
〔態様53〕
態様47に記載のOCTデータセット処理方法において、第1の動き補正済データセットを取得するように、第1の3次元変換が第1の3次元データセットに適用され、第2の動き補正済データセットを取得するように、第2の3次元変換が第2の3次元データセットに適用され、
さらに、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットからのデータ要素を結合することによって、前記第1および前記第2の動き補正済データセットをマージするマージ工程を備えた、OCTデータセット処理方法。
〔態様54〕
態様53に記載のOCTデータセット処理方法において、前記第1および前記第2の3次元変換は特性を有し、前記第1および前記第2の動き補正済データセットをマージする前記マージ工程は、さらに、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記マージされた動き補正済データセットに対するデータ要素の寄与を調整することを含む、OCTデータセット処理方法。
〔態様55〕
態様54に記載のOCTデータセット処理方法において、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、OCTデータセット処理方法。
〔態様56〕
態様54に記載のOCTデータセット処理方法において、前記第1および前記第2の動き補正済データセットをマージする前記マージ工程は、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算することを含む、OCTデータセット処理方法。
〔態様57〕
態様47に記載のOCTデータセット処理方法において、前記相補的な走査パターンはラスタ走査である、OCTデータセット処理方法。
〔態様58〕
態様57に記載のOCTデータセット処理方法において、前記ラスタ走査は互いに直交する、OCTデータセット処理方法。
〔態様59〕
態様47に記載のOCTデータセット処理方法において、さらに、
前記3次元変換を反復的に演算する反復演算工程を備えた、OCTデータセット処理方法。
〔態様60〕
態様43に記載のOCTデータセット処理方法において、さらに、
多重解像度数値最適化法を使用して、前記3次元変換を演算する、多重解像度数値最適化法演算工程を備えた、OCTデータセット処理方法。
〔態様61〕
態様47に記載のOCTデータセット処理方法において、前記オブジェクトは、目、網膜、中心窩、視神経乳頭、および角膜からなる群から選択される、OCTデータセット処理方法。
〔態様62〕
態様47に記載のOCTデータセット処理方法において、
第1の時点の第1の動き補正済データセットを取得するように、前記第1の時点における少なくとも第1および第2のデータセットが処理され、
第2の時点の第2の動き補正済データセットを取得するように、前記第2の時点における少なくとも第3および第4のデータセットが処理され、
さらに、複数の時点にわたる変化を量的に追跡するように、前記動き補正済データセットまたは前記動き補正済データセットからの測定値を比較する比較工程を備えた、OCTデータセット処理方法。
〔態様63〕
態様47に記載のOCTデータセット処理方法において、前記3次元データセットはA走査を含み、
さらに、各3次元データセットは、強度、振幅、位相、ドップラーシフトおよび偏光信号の少なくとも1つを含むデータチャネルのセットで構成され、
さらに、データチャネルの前記セットを前記OCTデータセットからの各A走査に対応付ける関連付け工程を備えた、OCTデータセット処理方法。
〔態様64〕
態様47に記載のOCTデータセット処理方法において、前記3次元データセットはA走査を含み、さらに、前記3次元変換は、3次元変位を各A走査に関連付けるものである、OCTデータセット処理方法。

Claims (64)

  1. データセットを処理する方法であって、
    目的関数の値に基づいて1つ以上の3次元変換を演算する工程であって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
    (a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
    (b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記目的関数を評価する、評価工程を有する、3次元変換演算工程と、
    少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または前記対応付けられた3次元データセットに対応する導関数3次元データセットに適用する3次元変換適用工程とを備えた、データセット処理方法。
  2. 請求項1に記載のデータセット処理方法において、前記目的関数を評価する評価工程は、(i)前記変換後の状態にある前記2つ以上の3次元データセット間、または(ii)前記変換後の状態にある前記2つ以上の前処理された3次元データセット間の類似の度合いを優位にすることを含む、データセット処理方法。
  3. 請求項2に記載のデータセット処理方法において、各3次元データセットは、前記オブジェクトの領域から収集された信号値の集合であり、前記変換後の状態にある前記2つ以上の3次元データセット間の類似の度合いを優位にすることは、信号値間の差に罰則を付けることを含む、データセット処理方法。
  4. 請求項1に記載のデータセット処理方法において、前記目的関数を評価する評価工程は、撮像器具に対する前記オブジェクトの動きに罰則を付けることを含む、データセット処理方法。
  5. 請求項1に記載のデータセット処理方法において、前記3次元変換演算工程は第1および第2の3次元変換を含み、前記3次元変換適用工程は、第1の動き補正済データセットを取得するように、前記第1の3次元変換を第1の3次元データセットに適用すること、および、第2の動き補正済データセットを取得するように、前記第2の3次元変換を第2の3次元データセットに適用することを含み、
    さらに、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットのデータ要素を結合するデータ要素結合工程を備えた、データセット処理方法。
  6. 請求項5に記載のデータセット処理方法において、
    前記データ要素結合工程は、さらに、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記第1および第2の動き補正済データセットのデータ要素の寄与であって、前記マージされた動き補正済データセットに対する寄与を調整するデータ要素寄与調整工程を有する、データセット処理方法。
  7. 請求項6に記載のデータセット処理方法において、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、データセット処理方法。
  8. 請求項6に記載のデータセット処理方法において、前記データ要素寄与調整工程は、さらに、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算するデータ要素加重和演算工程を有する、データセット処理方法。
  9. 請求項1に記載のデータセット処理方法において、さらに、
    第1の走査パターンを用いて第1の3次元データセットを収集する工程と、
    第2の走査パターンを用いて第2の3次元データセットを収集する工程とを備え、
    前記第1の走査パターンと前記第2の走査パターンは相補的である、データセット処理方法。
  10. 請求項9に記載のデータセット処理方法において、前記相補的な第1および第2の走査パターンはラスタ走査である、データセット処理方法。
  11. 請求項10に記載のデータセット処理方法において、前記ラスタ走査は互いに直交する、データセット処理方法。
  12. 請求項1に記載のデータセット処理方法において、さらに、
    前記1つ以上の3次元変換を反復的に演算する反復演算工程を備えた、データセット処理方法。
  13. 請求項1に記載のデータセット処理方法において、さらに、
    前記目的関数に対して数値最適化法を使用して、前記1つ以上の3次元変換を演算する、数値最適化法演算工程を備えた、データセット処理方法。
  14. 請求項1に記載のデータセット処理方法において、さらに、
    多重解像度数値最適化法を使用して、前記1つ以上の3次元変換を演算する、多重解像度数値最適化法演算工程を備えた、データセット処理方法。
  15. 請求項1に記載のデータセット処理方法において、前記オブジェクトは、目、網膜、中心窩、視神経乳頭、および角膜からなる群から選択される、データセット処理方法。
  16. 請求項1に記載のデータセット処理方法において、さらに、
    第1の時点の第1の動き補正済データセットを取得する第1の動き補正済データセット取得工程と、
    第2の時点の第2の動き補正済データセットを取得する第2の動き補正済データセット取得工程と、
    前記第1の時点および前記第2の時点の間の変化を量的に追跡するように、前記第1の動き補正済データセットと前記第2の動き補正済データセットを比較する、動き補正済データセット比較工程とを備えた、データセット処理方法。
  17. 請求項16に記載のデータセット処理方法において、前記オブジェクトは、被験者に関連するオブジェクトである、データセット処理方法。
  18. 請求項17に記載のデータセット処理方法において、前記第1の時点は、前記被験者がヘルスケアプロバイダに1回目に訪れた時点であり、前記第2の時点は、前記被験者が前記ヘルスケアプロバイダに2回目に訪れた時点である、データセット処理方法。
  19. 請求項17に記載のデータセット処理方法において、前記第1の時点は、前記オブジェクトを走査するために前記被験者が1回目に行動した時点であり、前記第2の時点は、前記オブジェクトを走査するために前記被験者が2回目に行動した時点である、データセット処理方法。
  20. 請求項1に記載のデータセット処理方法において、前記3次元データセットは、A走査で取り込まれ、前記1つ以上の3次元変換は、3次元変位を各A走査に関連付けるものである、データセット処理方法。
  21. 請求項1に記載のデータセット処理方法において、さらに、
    画像再サンプリング、雑音低減、A走査特徴生成、傾斜補償、およびロールオフ補償からなる群から選択される手法によって、前記3次元データセットを前処理する、3次元データセット前処理工程を備えた、データセット処理方法。
  22. 請求項1に記載のデータセット処理方法において、前記3次元データセットは、強度データ、ドップラーシフトデータ、および偏光データの少なくとも1つを含む、データセット処理方法。
  23. 請求項1に記載のデータセット処理方法において、前記導関数3次元データセットは、ドップラーシフトデータおよび偏光データの少なくとも1つを含む、データセット処理方法。
  24. データセットを処理するシステムであって、
    目的関数の値に基づいて1つ以上の3次元変換を演算する演算モジュールであって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
    (a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
    (b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記目的関数を評価する、演算モジュールと、
    少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または対応付けられた3次元データセットに対応する導関数3次元データセットに適用する動き補正モジュールとを備えた、データセット処理システム。
  25. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは、(i)前記変換後の状態にある前記2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを優位にすることによって、前記目的関数を評価する、データセット処理システム。
  26. 請求項25に記載のデータセット処理システムにおいて、各3次元データセットは、前記オブジェクトの領域から収集された信号値の集合であり、前記演算モジュールは、信号値間の差に罰則を付けることによって、前記変換後の状態にある前記2つ以上の3次元データセット間の類似の度合いを優位にする、データセット処理システム。
  27. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは、撮像器具に対する前記オブジェクトの動きに罰則を付けることによって、前記目的関数を評価する、データセット処理システム。
  28. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは第1および第2の3次元変換を演算し、前記動き補正モジュールは、第1の動き補正済データセットを取得するように、前記第1の3次元変換を第1の3次元データセットに適用し、第2の動き補正済データセットを取得するように、前記第2の3次元変換を第2の3次元データセットに適用し、
    さらに、前記動き補正モジュールは、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットのデータ要素を結合する、データセット処理システム。
  29. 請求項28に記載のデータセット処理システムにおいて、前記動き補正モジュールは、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記第1および第2の動き補正済データセットのデータ要素の寄与であって、前記マージされた動き補正済データセットに対する寄与を調整することによって、データ要素を結合する、データセット処理システム。
  30. 請求項29に記載のデータセット処理システムにおいて、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、データセット処理システム。
  31. 請求項28に記載のデータセット処理システムにおいて、前記動き補正モジュールは、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算することによって、データ要素を結合する、データセット処理システム。
  32. 請求項24に記載のデータセット処理システムにおいて、さらに、
    第1の走査パターンを用いて第1の3次元データセットを収集し、第2の走査パターンを用いて第2の3次元データセットを収集するデータ収集モジュールを備え、
    前記第1の走査パターンと前記第2の走査パターンは相補的である、データセット処理システム。
  33. 請求項32に記載のデータセット処理システムにおいて、前記相補的な第1および第2の走査パターンはラスタ走査である、データセット処理システム。
  34. 請求項33に記載のデータセット処理システムにおいて、前記ラスタ走査は互いに直交する、データセット処理システム。
  35. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは、前記1つ以上の3次元変換を反復的に演算する、データセット処理システム。
  36. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは、前記目的関数に対して数値最適化法を使用して、前記1つ以上の3次元変換を演算する、データセット処理システム。
  37. 請求項24に記載のデータセット処理システムにおいて、前記演算モジュールは、多重解像度数値最適化法を使用して、前記1つ以上の3次元変換を演算する、データセット処理システム。
  38. 請求項24に記載のデータセット処理システムにおいて、さらに、
    第1の時点の第1の動き補正済データセットと、第2の時点の第2の動き補正済データセットとを比較して、前記第1の時点および前記第2の時点の間の変化を量的に追跡する、時間比較モジュールを備えた、データセット処理システム。
  39. 請求項38に記載のデータセット処理システムにおいて、前記オブジェクトは、被験者に関連するオブジェクトである、データセット処理システム。
  40. 請求項39に記載のデータセット処理システムにおいて、前記第1の時点は、前記被験者がヘルスケアプロバイダに1回目に訪れた時点であり、前記第2の時点は、前記被験者が前記ヘルスケアプロバイダに2回目に訪れた時点である、データセット処理システム。
  41. 請求項39に記載のデータセット処理システムにおいて、前記第1の時点は、前記オブジェクトを走査するために前記被験者が1回目に行動した時点であり、前記第2の時点は、前記オブジェクトを走査するために前記被験者が2回目に行動した時点である、データセット処理システム。
  42. 請求項24に記載のデータセット処理システムにおいて、前記3次元データセットは、A走査で取り込まれ、前記1つ以上の3次元変換は、3次元変位を各A走査に関連付けるものである、データセット処理システム。
  43. 請求項24に記載のデータセット処理システムにおいて、さらに、
    画像再サンプリング、雑音低減、A走査特徴生成、傾斜補償、およびロールオフ補償からなる群から選択される手法によって、前記3次元データセットを前処理する、前処理モジュールを備えた、データセット処理システム。
  44. 請求項24に記載のデータセット処理システムにおいて、前記3次元データセットは、強度データ、ドップラーシフトデータ、および偏光データの少なくとも1つを含む、データセット処理システム。
  45. 請求項24に記載のデータセット処理システムにおいて、前記導関数3次元データセットは、ドップラーシフトデータおよび偏光データの少なくとも1つを含む、データセット処理システム。
  46. 一連の命令を記録した、一時的ではないコンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによって実行されると、当該プロセッサに、
    目的関数の値に基づいて1つ以上の3次元変換を演算させる手順であって、各3次元変換は、それぞれ3次元データセットに対応付けられ、前記3次元データセットはオブジェクトの少なくとも部分的に重なる領域を表しており、
    (a)(i)変換後の状態にある2つ以上の3次元データセット間、または(ii)前記変換後の状態にある2つ以上の前処理された3次元データセット間の類似の度合いを計算すること、および
    (b)撮像器具に対する前記オブジェクトの動きを推定することによって、前記プロセッサに前記目的関数を評価させる命令を有する、3次元変換演算手順と、
    少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を、対応付けられた3次元データセット、または前記対応付けられた3次元データセットに対応する導関数3次元データセットに適用する手順とを実行させる、非一時的コンピュータ読み取り可能媒体。
  47. OCTデータセットを処理する方法であって、
    オブジェクトの少なくとも部分的に重なる領域を表す2つ以上の3次元OCTデータセットを収集する工程であって、少なくとも1つのデータセットが、少なくとも1つの他のデータセットの走査パターンに対して相補的な走査パターンを使用して収集される、OCTデータセット収集工程と、
    目的関数を使用して各データセットのための3次元変換を演算する工程であって、前記目的関数は、
    (a)変換後の状態にある前記3次元データセット間の演算された類似の度合いを優位にし、
    (b)撮像器具に対する前記オブジェクトの動きに罰則を付ける、3次元変換演算工程と、
    少なくとも1つの動き補正済データセットを取得するように、少なくとも1つの3次元変換を各データセットに適用する工程とを備えた、OCTデータセット処理方法。
  48. 請求項47に記載のOCTデータセット処理方法において、類似の度合いは、強度データ、振幅データ、位相データおよび偏光データの少なくとも1つに基づいて演算される、OCTデータセット処理方法。
  49. 請求項47に記載のOCTデータセット処理方法において、類似の度合いを演算するのに使用される前記データは、雑音抑圧、傾斜補償、OCT信号ロールオフ補正、データ削減、データ正規化、またはこれらの任意の組み合わせを使用して、前処理される、OCTデータセット処理方法。
  50. 請求項47に記載のOCTデータセット処理方法において、前記3次元変換は、強度データ、振幅データ、位相データおよび偏光データの少なくとも1つを変換することによって、各3次元データセットに適用される、OCTデータセット処理方法。
  51. 請求項47に記載のOCTデータセット処理方法において、前記変換後の状態にある前記3次元データセット間の前記演算された類似の度合いを優位にすることは、前記変換後の状態にある前記3次元データセットから選択されるデータ値間の差に罰則を付けることを含む、OCTデータセット処理方法。
  52. 請求項51に記載のOCTデータセット処理方法において、データ値間の前記差に罰則を付けることは、差の二乗和、分散、差の絶対値の和、またはこれらの任意の組み合わせを使用することを含む、OCTデータセット処理方法。
  53. 請求項47に記載のOCTデータセット処理方法において、第1の動き補正済データセットを取得するように、第1の3次元変換が第1の3次元データセットに適用され、第2の動き補正済データセットを取得するように、第2の3次元変換が第2の3次元データセットに適用され、
    さらに、前記第1または第2の動き補正済データセットの個々に対して改善された信号品質を有する、マージされた動き補正済データセットを取得するように、前記第1および第2の動き補正済データセットからのデータ要素を結合することによって、前記第1および前記第2の動き補正済データセットをマージするマージ工程を備えた、OCTデータセット処理方法。
  54. 請求項53に記載のOCTデータセット処理方法において、前記第1および前記第2の3次元変換は特性を有し、前記第1および前記第2の動き補正済データセットをマージする前記マージ工程は、さらに、前記第1および前記第2の3次元変換の少なくとも1つの特性に基づいて、前記マージされた動き補正済データセットに対するデータ要素の寄与を調整することを含む、OCTデータセット処理方法。
  55. 請求項54に記載のOCTデータセット処理方法において、前記第1または前記第2の3次元変換の前記少なくとも1つの特性は、サンプリング密度である、OCTデータセット処理方法。
  56. 請求項54に記載のOCTデータセット処理方法において、前記第1および前記第2の動き補正済データセットをマージする前記マージ工程は、前記第1および第2の動き補正済データセットの前記データ要素の加重和を演算することを含む、OCTデータセット処理方法。
  57. 請求項47に記載のOCTデータセット処理方法において、前記相補的な走査パターンはラスタ走査である、OCTデータセット処理方法。
  58. 請求項57に記載のOCTデータセット処理方法において、前記ラスタ走査は互いに直交する、OCTデータセット処理方法。
  59. 請求項47に記載のOCTデータセット処理方法において、さらに、
    前記3次元変換を反復的に演算する反復演算工程を備えた、OCTデータセット処理方法。
  60. 請求項47に記載のOCTデータセット処理方法において、さらに、
    多重解像度数値最適化法を使用して、前記3次元変換を演算する、多重解像度数値最適化法演算工程を備えた、OCTデータセット処理方法。
  61. 請求項47に記載のOCTデータセット処理方法において、前記オブジェクトは、目、網膜、中心窩、視神経乳頭、および角膜からなる群から選択される、OCTデータセット処理方法。
  62. 請求項47に記載のOCTデータセット処理方法において、
    第1の時点の第1の動き補正済データセットを取得するように、前記第1の時点における少なくとも第1および第2のデータセットが処理され、
    第2の時点の第2の動き補正済データセットを取得するように、前記第2の時点における少なくとも第3および第4のデータセットが処理され、
    さらに、複数の時点にわたる変化を量的に追跡するように、前記動き補正済データセットまたは前記動き補正済データセットからの測定値を比較する比較工程を備えた、OCTデータセット処理方法。
  63. 請求項47に記載のOCTデータセット処理方法において、前記3次元データセットはA走査を含み、
    さらに、各3次元データセットは、強度、振幅、位相、ドップラーシフトおよび偏光信号の少なくとも1つを含むデータチャネルのセットで構成され、
    さらに、データチャネルの前記セットを前記OCTデータセットからの各A走査に対応付ける関連付け工程を備えた、OCTデータセット処理方法。
  64. 請求項47に記載のOCTデータセット処理方法において、前記3次元データセットはA走査を含み、さらに、前記3次元変換は、3次元変位を各A走査に関連付けるものである、OCTデータセット処理方法。
JP2013508283A 2010-04-29 2011-04-29 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置 Active JP5832523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32934710P 2010-04-29 2010-04-29
US61/329,347 2010-04-29
PCT/US2011/034572 WO2011139895A1 (en) 2010-04-29 2011-04-29 Method and apparatus for motion correction and image enhancement for optical coherence tomography

Publications (3)

Publication Number Publication Date
JP2013525035A JP2013525035A (ja) 2013-06-20
JP2013525035A5 JP2013525035A5 (ja) 2014-04-24
JP5832523B2 true JP5832523B2 (ja) 2015-12-16

Family

ID=44342931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013508283A Active JP5832523B2 (ja) 2010-04-29 2011-04-29 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置

Country Status (7)

Country Link
US (2) US9269144B2 (ja)
EP (1) EP2563206B1 (ja)
JP (1) JP5832523B2 (ja)
CN (1) CN103025229A (ja)
CA (1) CA2797725A1 (ja)
PL (1) PL2563206T3 (ja)
WO (1) WO2011139895A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047840A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8882270B2 (en) * 2006-01-20 2014-11-11 Clarity Medical Systems, Inc. Apparatus and method for operating a real time large diopter range sequential wavefront sensor
US9101292B2 (en) * 2006-01-20 2015-08-11 Clarity Medical Systems, Inc. Apparatus and method for operating a real time large dipoter range sequential wavefront sensor
US8356900B2 (en) 2006-01-20 2013-01-22 Clarity Medical Systems, Inc. Large diopter range real time sequential wavefront sensor
US8100530B2 (en) 2006-01-20 2012-01-24 Clarity Medical Systems, Inc. Optimizing vision correction procedures
EP2563206B1 (en) 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
JP6039156B2 (ja) * 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5610884B2 (ja) 2010-07-09 2014-10-22 キヤノン株式会社 光断層撮像装置及び光断層撮像方法
US8425037B2 (en) * 2010-07-30 2013-04-23 Adventus Technologies, Inc. Intraoperative imaging system and apparatus
US9050027B2 (en) * 2010-07-30 2015-06-09 Adventus Technologies, Inc. Intraoperative imaging system and apparatus
WO2012026597A1 (ja) * 2010-08-27 2012-03-01 ソニー株式会社 画像処理装置および方法
US8801187B1 (en) * 2010-12-23 2014-08-12 Carl Zeiss Meditec, Inc. Methods to reduce variance in OCT analysis of the macula
EP2508842B1 (de) * 2011-04-06 2014-08-13 Agfa HealthCare N.V. Verfahren und System zur optischen Kohärenztomographie
US10918307B2 (en) * 2011-09-13 2021-02-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter navigation using impedance and magnetic field measurements
US9901303B2 (en) 2011-04-14 2018-02-27 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for registration of multiple navigation systems to a common coordinate frame
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
WO2013004801A1 (en) * 2011-07-07 2013-01-10 Carl Zeiss Meditec Ag Improved data acquisition methods for reduced motion artifacts and applications in oct angiography
KR101251445B1 (ko) * 2011-07-13 2013-04-05 주식회사 쓰리디시스템즈코리아 비정형 디지털 데이터로부터 단면의 궤적으로 이루어지는 특징 형상을 자동으로 추출하는 장치 및 방법
JP2013075035A (ja) * 2011-09-30 2013-04-25 Canon Inc 光断層像撮像方法、光断層像撮像装置およびプログラム
WO2013059303A1 (en) * 2011-10-17 2013-04-25 University Of Washington Through Its Center For Commercialization Methods and systems for imaging tissue motion using optical coherence tomography
JP5926533B2 (ja) * 2011-10-27 2016-05-25 キヤノン株式会社 眼科装置
US8930166B1 (en) * 2011-12-06 2015-01-06 Lockheed Martin Corporation Method and apparatus for efficient extraction of information from signals
US9101294B2 (en) * 2012-01-19 2015-08-11 Carl Zeiss Meditec, Inc. Systems and methods for enhanced accuracy in OCT imaging of the cornea
JP6146951B2 (ja) 2012-01-20 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法、撮影装置及び撮影方法
JP6061554B2 (ja) * 2012-01-20 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5988772B2 (ja) 2012-01-20 2016-09-07 キヤノン株式会社 画像処理装置及び画像処理方法
JP5936368B2 (ja) 2012-01-20 2016-06-22 キヤノン株式会社 光干渉断層撮影装置及びその作動方法
JP6039185B2 (ja) 2012-01-20 2016-12-07 キヤノン株式会社 撮影装置
JP2013148509A (ja) 2012-01-20 2013-08-01 Canon Inc 画像処理装置及び画像処理方法
JP5987355B2 (ja) * 2012-02-29 2016-09-07 株式会社ニデック 眼光断層画像撮像装置
EP2633802B1 (en) * 2012-02-29 2021-08-11 Nidek Co., Ltd. Method for taking a tomographic image of an eye
JP6025349B2 (ja) * 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
EA020939B1 (ru) * 2012-05-31 2015-02-27 Закрытое акционерное общество научно-исследовательская производственная компания "Электрон" (ЗАО НИПК "Электрон") Способ определения геометрических смещений сенсоров в плоскопанельном детекторе рентгеновского изображения
EP2692284A1 (en) * 2012-07-30 2014-02-05 Canon Kabushiki Kaisha Method and apparatus for geometric correction of OCT data representing a scan obtained by means of optical coherence tomography imaging of a sample
JP5927081B2 (ja) * 2012-08-17 2016-05-25 オリンパス株式会社 分光測定方法
US20150223681A1 (en) * 2012-08-30 2015-08-13 The Board Of Regents Of The University Of Texas Systems Method and Apparatus for Ultrafast Multi-Wavelength Photothermal Optical Coherence Tomography (OCT)
US9115974B2 (en) * 2012-09-14 2015-08-25 The Johns Hopkins University Motion-compensated optical coherence tomography system
US20150233701A1 (en) * 2012-10-15 2015-08-20 Josh Hogan Enhanced OCT Measurement and Imaging Apparatus and Method
EP2725508A1 (en) * 2012-10-24 2014-04-30 Nidek Co., Ltd. Ophthalmic analysis apparatus
RU2015121427A (ru) * 2012-11-07 2016-12-27 Клэрити Медикал Системз, Инк. Устройство и способ для работы последовательного датчика волнового фронта большого диоптрийного диапазона реального времени
JP6075755B2 (ja) * 2012-11-19 2017-02-08 株式会社トプコン 光画像計測装置
KR102070778B1 (ko) * 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
US9107610B2 (en) * 2012-11-30 2015-08-18 Kabushiki Kaisha Topcon Optic neuropathy detection with three-dimensional optical coherence tomography
EP2929327B1 (en) 2012-12-05 2019-08-14 Perimeter Medical Imaging, Inc. System and method for wide field oct imaging
US9207062B2 (en) * 2012-12-10 2015-12-08 The Johns Hopkins University Distortion corrected optical coherence tomography system
US9025159B2 (en) * 2012-12-10 2015-05-05 The Johns Hopkins University Real-time 3D and 4D fourier domain doppler optical coherence tomography system
GB2509131B (en) * 2012-12-21 2017-05-17 Optos Plc Improvements in and relating to ophthalmoscopes
JP2014155694A (ja) * 2013-01-16 2014-08-28 Canon Inc 眼科装置及び眼科方法
JP6460618B2 (ja) * 2013-01-31 2019-01-30 キヤノン株式会社 光干渉断層撮像装置およびその制御方法
WO2014160116A1 (en) * 2013-03-13 2014-10-02 University Of Washington Through Its Center For Commercialization Methods and systems for imaging tissue motion using optical coherence tomography
US9155465B2 (en) 2013-04-30 2015-10-13 IDx, LLC Snapshot spectral domain optical coherence tomographer
ES2743618T3 (es) * 2013-05-21 2020-02-20 Neurovision Imaging Inc Sistema y método para obtener imágenes de una parte del cuerpo del paciente
PL2822448T3 (pl) 2013-05-29 2017-06-30 Wavelight Gmbh Urządzenie do optycznej tomografii koherencyjnej oka i sposób optycznej tomografii koherencyjnej oka
JP6184232B2 (ja) * 2013-07-31 2017-08-23 キヤノン株式会社 画像処理装置及び画像処理方法
JP6184231B2 (ja) 2013-07-31 2017-08-23 キヤノン株式会社 画像処理装置および画像処理方法
WO2015044366A1 (en) * 2013-09-30 2015-04-02 Carl Zeiss Meditec Ag High temporal resolution doppler oct imaging of retinal blood flow
US20160231452A1 (en) * 2013-10-11 2016-08-11 Analogic Corporation Tomosynthesis imaging
EP3061063A4 (en) 2013-10-22 2017-10-11 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
AU2013273657B2 (en) 2013-12-18 2016-11-10 Canon Kabushiki Kaisha Ophthalmic reference image selection
CN103700077B (zh) * 2013-12-30 2017-01-04 北京理工大学 一种基于人眼视觉特性的自适应图像增强方法
US10188808B2 (en) 2014-01-24 2019-01-29 The Johns Hopkins University Fiber optic distal sensor controlled drug injector
US9291500B2 (en) * 2014-01-29 2016-03-22 Raytheon Company Configurable combination spectrometer and polarizer
WO2015125311A1 (ja) * 2014-02-24 2015-08-27 オリンパス株式会社 分光測定方法
JP6480104B2 (ja) * 2014-03-11 2019-03-06 国立大学法人 筑波大学 光コヒーレンストモグラフィー装置及び光コヒーレンストモグラフィーによる変位測定方法
CA2945095A1 (en) 2014-04-07 2015-10-15 Mimo Ag Method for the analysis of image data representing a three-dimensional volume of biological tissue
US9907696B2 (en) 2014-04-18 2018-03-06 The Johns Hopkins University Fiber optic distal sensor controlled micro-manipulation systems and methods
CN105011900B (zh) * 2014-04-30 2018-02-02 卡尔蔡司医疗技术公司 用于生成宽视场光学相干体层析图的方法和装置
WO2015168700A1 (en) * 2014-05-02 2015-11-05 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracing motion using radio frequency signals
US9506741B2 (en) 2014-06-09 2016-11-29 The Johns Hopkins University Optical coherence tomography systems and methods with magnitude and direction tracking of transverse motion
EP3155361B1 (en) * 2014-06-10 2024-08-14 Carl Zeiss Meditec, Inc. Improved frequency-domain interferometric based imaging systems and methods
US20160022484A1 (en) * 2014-07-25 2016-01-28 Novartis Ag Optical coherence tomography-augmented surgical instruments and systems and methods for correcting undesired movement of surgical instruments
US9759544B2 (en) * 2014-08-08 2017-09-12 Carl Zeiss Meditec, Inc. Methods of reducing motion artifacts for optical coherence tomography angiography
CN104146681B (zh) * 2014-08-15 2015-11-18 深圳市斯尔顿科技有限公司 一种眼底视网膜oct图像校正方法
KR101802993B1 (ko) 2015-02-12 2017-12-28 남한석 비제한적 구동형 마킹 시스템 및 그 마킹 방법
US9679356B2 (en) * 2015-03-19 2017-06-13 Xerox Corporation Vectorized two stage tile-based scaling
ES2767054T3 (es) 2015-04-15 2020-06-16 Alcon Inc Un aparato para modelar estructuras oculares
JP6869951B2 (ja) 2015-04-16 2021-05-12 ジェンテュイティ・リミテッド・ライアビリティ・カンパニーGentuity, LLC 撮像システム
JP6467279B2 (ja) * 2015-04-22 2019-02-13 日本電信電話株式会社 信号処理装置
CN107615005B (zh) * 2015-05-28 2021-06-01 赛莱特私人有限公司 高分辨率3-d谱域光学成像设备和方法
CN104958061B (zh) * 2015-07-28 2016-09-14 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统
JP6502791B2 (ja) * 2015-08-26 2019-04-17 株式会社トプコン 血流計測装置
JP6981967B2 (ja) 2015-08-31 2021-12-17 ジェンテュイティ・リミテッド・ライアビリティ・カンパニーGentuity, LLC 撮像プローブおよびデリバリデバイスを含む撮像システム
WO2017050863A1 (en) * 2015-09-24 2017-03-30 Carl Zeiss Meditec, Inc. Methods for high sensitivity flow visualization
JP6712106B2 (ja) * 2015-10-13 2020-06-17 株式会社吉田製作所 光干渉断層画像生成装置
US10402965B1 (en) * 2015-11-12 2019-09-03 Carl Zeiss Meditec, Inc. Systems and methods for reducing artifacts in OCT angiography images
JP6021289B2 (ja) * 2015-12-21 2016-11-09 株式会社トプコン 血流情報生成装置、血流情報生成方法、及びプログラム
CA3014998C (en) * 2016-02-19 2024-02-27 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2019513449A (ja) * 2016-03-31 2019-05-30 バイオ−ツリー システムズ, インコーポレイテッド 光干渉断層撮影イメージから3d網膜血管形態を得る方法及びこれらを分析する方法
EP3439536A1 (en) * 2016-04-06 2019-02-13 Carestream Dental Technology Topco Limited Intraoral oct with compressive sensing
US11245593B2 (en) * 2016-04-25 2022-02-08 Vmware, Inc. Frequency-domain analysis of data-center operational and performance metrics
CN105759274B (zh) * 2016-04-26 2017-12-08 南京信息工程大学 一种台风关注区雷达降水估测方法
CN105825488B (zh) * 2016-05-30 2018-08-21 天津大学 一种心血管内光学相干层析图像增强方法
US11452442B2 (en) * 2016-06-15 2022-09-27 Oregon Health & Science University Systems and methods for automated widefield optical coherence tomography angiography
US9971936B2 (en) * 2016-06-17 2018-05-15 Li-Cor, Inc. Adaptive signal detection and synthesis on trace data
US10521657B2 (en) 2016-06-17 2019-12-31 Li-Cor, Inc. Adaptive asymmetrical signal detection and synthesis methods and systems
US10151781B2 (en) 2016-06-17 2018-12-11 Li-Cor, Inc. Spectral response synthesis on trace data
JP6165935B2 (ja) * 2016-07-08 2017-07-19 株式会社トプコン 光画像計測装置
JP7182350B2 (ja) * 2016-09-07 2022-12-02 株式会社ニデック 眼科解析装置、眼科解析プログラム
WO2018089682A1 (en) * 2016-11-09 2018-05-17 Amo Wavefront Sciences, Llc Optical coherence tomography systems and methods with dispersion compensation
CN106372765B (zh) * 2016-11-29 2019-11-12 东南大学 一种基于融合数据的高速公路气象站数据修复方法
EP3558091A4 (en) 2016-12-21 2020-12-02 Acucela, Inc. MINIATURIZED AFFORDABLE OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR OPHTHALMIC APPLICATIONS IN THE HOME
JP6942485B2 (ja) * 2017-02-27 2021-09-29 株式会社トプコン 眼科システム
JP6909109B2 (ja) * 2017-03-17 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10839515B2 (en) 2017-04-28 2020-11-17 Massachusetts Institute Of Technology Systems and methods for generating and displaying OCT angiography data using variable interscan time analysis
US11668556B2 (en) * 2017-05-05 2023-06-06 Massachusetts Institute Of Technology Systems and methods for generating and displaying OCT blood flow speeds by merging mutiple integrated spatial samplings
KR101853127B1 (ko) 2017-05-19 2018-04-27 주식회사 랜도르아키텍쳐 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
CN107341824B (zh) * 2017-06-12 2020-07-28 西安电子科技大学 一种图像配准的综合评价指标生成方法
EP3655748B1 (en) 2017-07-18 2023-08-09 Perimeter Medical Imaging, Inc. Sample container for stabilizing and aligning excised biological tissue samples for ex vivo analysis
CN109387170B (zh) * 2017-08-14 2020-09-01 宏碁股份有限公司 距离检测装置及其距离检测方法
JP2019047841A (ja) 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019047839A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置、位置合わせ方法及びプログラム
JP7027076B2 (ja) 2017-09-07 2022-03-01 キヤノン株式会社 画像処理装置、位置合わせ方法及びプログラム
WO2019071295A1 (en) * 2017-10-11 2019-04-18 OncoRes Medical Pty Ltd METHOD FOR VOLUMETRIC SAMPLE IMAGING
US11771321B2 (en) 2017-10-13 2023-10-03 The Research Foundation For Suny System, method, and computer-accessible medium for subsurface capillary flow imaging by wavelength-division-multiplexing swept-source optical doppler tomography
US10482634B2 (en) * 2017-10-24 2019-11-19 General Electric Company Systems and methods for imaging with anisotropic voxels
WO2019108598A1 (en) 2017-11-28 2019-06-06 Gentuity, Llc Imaging system
DE102017221924B3 (de) * 2017-12-05 2019-05-02 Siemens Healthcare Gmbh Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm
CN108254395B (zh) * 2017-12-28 2023-10-13 清华大学 扫描图像校正装置、方法和移动式扫描设备
US11397840B1 (en) 2018-03-14 2022-07-26 Synopsys, Inc. Edge placement errors for optical lithography
EP3779427A4 (en) * 2018-03-30 2021-04-14 Shimadzu Corporation IMAGE DATA PROCESSING DEVICE AND IMAGE DATA PROCESSING PROGRAM
CN108629744B (zh) * 2018-04-09 2021-07-30 北京无线电计量测试研究所 一种图像增强方法
EP3781014B1 (en) * 2018-04-18 2023-09-27 Carl Zeiss Meditec, Inc. Post-processing method to improve lso-based tracking in oct
RU2681348C1 (ru) * 2018-04-19 2019-03-06 Общество С Ограниченной Ответственностью "Биомедицинские Технологии" Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени
ES2969279T3 (es) * 2018-05-11 2024-05-17 Optos Plc Procesamiento de imagen OCT
EP3572765A1 (de) * 2018-05-23 2019-11-27 Haag-Streit Ag Oct-system und oct-verfahren
US10769307B2 (en) 2018-05-30 2020-09-08 Bank Of America Corporation Processing system using natural language processing for performing dataset filtering and sanitization
WO2019246412A1 (en) 2018-06-20 2019-12-26 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
EP3829442A4 (en) * 2018-08-03 2022-05-11 NeuroLogica Corporation AUTOMATIC AI-BASED RENDERED VOLUME CORRECTION FOR STATIONARY AND MOBILE X-RAY IMAGING MODALITIES AND OTHER IMAGING MODALITIES
JP2020048772A (ja) * 2018-09-26 2020-04-02 株式会社トプコン 眼科装置、及びその制御方法
JP2022507811A (ja) * 2018-11-21 2022-01-18 ユニバーシティ オブ ワシントン 遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法
EP3918411B1 (en) 2019-01-28 2024-01-03 The General Hospital Corporation Speckle-based image distortion correction for laser scanning microscopy
US11000413B2 (en) 2019-02-15 2021-05-11 Amo Development, Llc Ophthalmic laser surgical system and method implementing simultaneous laser treatment and OCT measurement
US11024013B2 (en) 2019-03-08 2021-06-01 International Business Machines Corporation Neural network based enhancement of intensity images
DE102019203448A1 (de) * 2019-03-14 2020-09-17 Carl Zeiss Microscopy Gmbh Verfahren zur Reduzierung von Bildartefakten
JP2020162886A (ja) * 2019-03-29 2020-10-08 株式会社ニデック 医療画像処理装置、oct装置、および医療画像処理プログラム
DK3719748T3 (da) * 2019-04-04 2021-10-04 Optos Plc Medicinsk afbildningsindretning
JP6761519B2 (ja) * 2019-07-23 2020-09-23 株式会社トプコン 眼科撮影装置
JP7367433B2 (ja) * 2019-09-30 2023-10-24 株式会社ニデック 眼科撮影装置
US11544903B2 (en) 2019-12-13 2023-01-03 Sony Group Corporation Reducing volumetric data while retaining visual fidelity
EP4081096A4 (en) 2019-12-26 2024-01-10 Acucela Inc. OPTICAL COHERENCE TOMOGRAPHY PATIENT ALIGNMENT SYSTEM FOR HOME-BASED OPHTHALMIC APPLICATIONS
CN111449667B (zh) * 2020-03-30 2023-07-18 上海联影医疗科技股份有限公司 扫描中断自动恢复方法、装置和计算机设备
CN111476888B (zh) * 2020-04-09 2023-05-12 山东财经大学 一种基于三维空间体拟合的医学图像层间插值方法,设备及可读存储介质
DE102020111584A1 (de) * 2020-04-28 2021-10-28 Carl Zeiss Meditec Ag Verfahren zum Gewinnen von Daten mithilfe von Operationsmikroskopiesystemen
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
JP2023538542A (ja) 2020-08-14 2023-09-08 アキュセラ インコーポレイテッド 光干渉断層撮影a走査のデカービングのためのシステムおよび方法
CN112043242B (zh) * 2020-08-31 2022-11-11 中国科学院苏州生物医学工程技术研究所 用于oct成像的信号处理方法及系统、存储介质
US11393094B2 (en) 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
US11911105B2 (en) 2020-09-30 2024-02-27 Acucela Inc. Myopia prediction, diagnosis, planning, and monitoring device
CN112504836B (zh) * 2020-10-30 2022-11-18 天津大学 一种oct拉伸测试装置及测试方法
DK4000502T3 (da) * 2020-11-12 2024-02-05 Optos Plc Volumetrisk oct-billeddatabearbejdning
US11727534B2 (en) 2020-12-08 2023-08-15 International Business Machines Corporation Normalizing OCT image data
CN113040700B (zh) * 2021-03-11 2024-05-28 视微影像(河南)科技有限公司 一种眼动追踪系统及其追踪方法
CN113040701B (zh) * 2021-03-11 2024-05-28 视微影像(河南)科技有限公司 一种三维眼动追踪系统及其追踪方法
US11497396B2 (en) 2021-03-24 2022-11-15 Acucela Inc. Axial length measurement monitor
CN113253295B (zh) * 2021-06-22 2021-09-24 中国人民解放军国防科技大学 一种激光反射断层成像多角度激光回波配准方法
CN114913199B (zh) * 2022-01-07 2023-10-13 电子科技大学 一种基于oct的深度解析的横向平面运动跟踪方法
CN114916910B (zh) * 2022-04-29 2024-04-09 无锡市华焯光电科技有限公司 脉象分类方法、分类模型训练方法、分类设备和存储介质
WO2023239174A1 (ko) * 2022-06-09 2023-12-14 경북대학교 산학협력단 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법
CN117423051B (zh) * 2023-10-18 2024-03-26 广州元沣智能科技有限公司 一种基于场所活动对象的信息监测分析方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10001709A1 (de) * 2000-01-18 2001-07-19 Philips Corp Intellectual Pty Verfahren und Anordnung zur Erstellung von Röntgenbildern
US7724943B2 (en) * 2004-04-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Rapid and robust 3D/3D registration technique
DE102004037479A1 (de) * 2004-08-03 2006-03-16 Carl Zeiss Meditec Ag Fourier-Domain OCT Ray-Tracing am Auge
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
CN101084498A (zh) * 2004-12-31 2007-12-05 富士通株式会社 三维模型的检索方法和装置
US7365856B2 (en) * 2005-01-21 2008-04-29 Carl Zeiss Meditec, Inc. Method of motion correction in optical coherence tomography imaging
US8004517B1 (en) * 2005-06-24 2011-08-23 Geomagic, Inc. Methods, apparatus and computer program products that model three-dimensional surface structures
JP4850495B2 (ja) * 2005-10-12 2012-01-11 株式会社トプコン 眼底観察装置及び眼底観察プログラム
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
JP5339828B2 (ja) * 2007-10-04 2013-11-13 キヤノン株式会社 光干渉断層撮像装置及び光干渉断層撮像方法
US7997729B2 (en) * 2007-10-19 2011-08-16 Oti Ophthalmic Technologies Inc. Method for correcting patient motion when obtaining retina volume using optical coherence tomography
CA2721224A1 (en) * 2008-04-14 2009-10-22 Optovue, Inc. Method of eye registration for optical coherence tomography
JP5355074B2 (ja) 2008-12-26 2013-11-27 キヤノン株式会社 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム
JP5656414B2 (ja) * 2010-01-29 2015-01-21 キヤノン株式会社 眼科像撮像装置及び眼科像撮像方法
EP2563206B1 (en) 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047840A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10846892B2 (en) 2017-09-07 2020-11-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP7102112B2 (ja) 2017-09-07 2022-07-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures

Also Published As

Publication number Publication date
CA2797725A1 (en) 2011-11-10
US9978159B2 (en) 2018-05-22
US9269144B2 (en) 2016-02-23
WO2011139895A1 (en) 2011-11-10
EP2563206B1 (en) 2018-08-29
US20110267340A1 (en) 2011-11-03
JP2013525035A (ja) 2013-06-20
US20170140560A1 (en) 2017-05-18
EP2563206A1 (en) 2013-03-06
CN103025229A (zh) 2013-04-03
PL2563206T3 (pl) 2018-12-31

Similar Documents

Publication Publication Date Title
JP5832523B2 (ja) 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
US11170258B2 (en) Reducing noise in an image
Baghaie et al. State-of-the-art in retinal optical coherence tomography image analysis
US9418423B2 (en) Motion correction and normalization of features in optical coherence tomography
CN103356162B (zh) 图像处理设备和图像处理方法
US9430825B2 (en) Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye
JP5289219B2 (ja) 撮影装置及びその制御方法
US10952603B2 (en) Systems and methods for improved anterior segment OCT imaging
EP2692284A1 (en) Method and apparatus for geometric correction of OCT data representing a scan obtained by means of optical coherence tomography imaging of a sample
WO2011015319A1 (en) Non-linear projections of 3-d medical imaging data
RU2637851C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
JP2021529622A (ja) 網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラム
CN114760906A (zh) 医用图像处理装置、光学相干断层摄影装置、医用图像处理方法和程序
Zhong et al. A high-accuracy and high-efficiency digital volume correlation method to characterize in-vivo optic nerve head biomechanics from optical coherence tomography
JP7102112B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5669885B2 (ja) 画像処理装置及び画像処理方法
Kraus Motion correction and signal enhancement in optical coherence tomography
WO2024226530A1 (en) Freeform optical coherence tomography beyond the optical field-of-view limit
CN116710959A (zh) 使用多个子体积、厚度和曲率用于oct/octa数据配准和视网膜标志检测
Eichel Statistical Model-Based Corneal Reconstruction
JP2019013856A (ja) 画像処理装置、画像処理方法およびプログラム
Capps Visualization and Analysis of Microstructure in Images of the Living Human Retina
Lee et al. End-to-End Pipeline for Fourier Domain Optical Coherence Tomography of Human Optic Nerve Head

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151027

R150 Certificate of patent or registration of utility model

Ref document number: 5832523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250