JP6915102B2 - 骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法 - Google Patents

骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法 Download PDF

Info

Publication number
JP6915102B2
JP6915102B2 JP2019568075A JP2019568075A JP6915102B2 JP 6915102 B2 JP6915102 B2 JP 6915102B2 JP 2019568075 A JP2019568075 A JP 2019568075A JP 2019568075 A JP2019568075 A JP 2019568075A JP 6915102 B2 JP6915102 B2 JP 6915102B2
Authority
JP
Japan
Prior art keywords
image
artificial
objects
rib
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019568075A
Other languages
English (en)
Other versions
JP2020523107A (ja
Inventor
ペート カスク,
ペート カスク,
ジェフ メガンク,
ジェフ メガンク,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PerkinElmer Cellular Technologies Germany GmbH
Original Assignee
PerkinElmer Cellular Technologies Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PerkinElmer Cellular Technologies Germany GmbH filed Critical PerkinElmer Cellular Technologies Germany GmbH
Publication of JP2020523107A publication Critical patent/JP2020523107A/ja
Application granted granted Critical
Publication of JP6915102B2 publication Critical patent/JP6915102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本出願は、2017年6月16日に出願された、「SYSTEMS AND METHODS FOR AUTOMATED DISTORTION CORRECTION AND/OR CO‐REGISTRATION OF THREE‐DIMENSIONAL IMAGES USING ARTIFICIAL LANDMARKS ALONG BONES」と題された、米国仮出願第62/520,926号の優先権を主張し、その全体は参照により本明細書に組み込まれる。
本発明は、概して、画像分析の方法およびシステムに関する。より具体的には、特定の実施形態では、本発明は、例えば、コンピューター断層撮影(CT)スキャナーで取り込まれた1つ以上の対象画像(例えば、対象の軸骨格の部分を含む1つ以上の画像)の自動歪み補正および/または位置合わせ/同時位置合わせに関する。
小型哺乳類の生体内撮像は、例えば、腫瘍学、感染症、および創薬などの様々な分野の研究者の大規模なコミュニティによって行われる。例えば、生物発光、蛍光、断層撮影、およびマルチモーダル撮像技術など、哺乳類の生体内撮像を対象とする幅広い技術がある。
生体内撮像は、生きた動物の内部の構造および/または生物学的現象の非侵襲的時空間視覚化のために、蛍光プローブ、放射性核種などのマーカーの使用を伴うことが多い。例えば、蛍光分子断層撮影(FMT)は、投与されたプローブおよび/または内因性プローブの定量分析のための哺乳類の生体内撮像を伴う。生体内マイクロコンピューター断層撮影(マイクロCT)撮像は、組織、器官、および非有機構造の画像を高解像度でスキャンして作成するX線に基づく技術である。マイクロCTは急速に進化しており、マルチモーダルアプリケーションを促進し、長期的な実験モデルを実現するには、低線量スキャニングおよび高速撮像プロトコルが必要である。マルチモーダル撮像は、例えば、FMT、陽電子放射断層撮影(PET)、磁気共鳴撮像(MRI)、CT、マイクロCT、および/または単一光子放射型コンピューター断層撮影(SPECT)撮像データを組み合わせることによって、異なる方法で取得された画像の融合を伴う。
マイクロCT画像などの画像の分析は、例えば、画像内の対象となる領域(例えば、特定の骨、組織型、器官に対応する領域)を識別するために、自動画像処理(例えば、様々な画像分析ソフトウェアによって行われる)を伴うことが多い。対象の単一画像内の異常な特徴(例えば、組織形態、腫瘍などの塊)の識別、および/または異なる時間に記録された対象の複数の画像の比較による変化の識別を容易にするために、他の画像処理も使用することができる。特定の場合、異なる対象の画像の比較は、異常な特徴の識別にも有用であり、画像処理を使用することで容易になる場合がある。
異なる時点で記録された複数の画像の比較を容易にする画像分析方法は、対象(例えばマウス、ラット、モルモット、またはウサギなどの小型哺乳類)の疾患進行の監視に特に適切である。例えば、腫瘍の成長、浮腫、および線維症などの組織形態の変化は、一定期間にわたって収集される複数の画像の分析を介して推定することができる。この方法での疾患の進行の監視は、対象の状態を診断し、治療の有効性を評価し、様々な疾患の一般的な態様を調査することに適切である。したがって、画像分析を介した疾患の監視は、状態の診断、適切な治療の適用、および新たな治療手順の開発に適切である新たな洞察を提供することができる。
これは、肺疾患などの進行性疾患に特に当てはまる。肺疾患は肺に影響を与え、喘息などの疾患、インフルエンザおよび肺炎などの感染症、ならびに肺癌が含まれる。肺疾患の進行の監視には、経時的な肺の特性の変化(例えば、腫瘍の成長、浮腫、線維症、対象の胸郭に対する肺の下方拡張)の記録が含まれる。コンピューター断層撮影(例えば、マイクロCT)などの撮像技術は、様々な時間に対象の肺を含む対象の領域の画像を記録するために使用される。異なる時点で撮影されたそのような画像を比較することにより、対象の肺の変化を経時的に観察することができる。
しかしながら、異なる時間に撮影された異なる画像を比較することは非常に困難である。特に、ある画像から次の画像への対象の姿勢および位置の変動は、異なる時点で記録された画像間での変動をもたらす。例えば、対象の異なる画像内の組織(例えば、肺組織、結合組織、骨)のグラフィック表現は、所与の画像の記録中の対象の姿勢および位置に応じて、画像ごとに異なる歪み、位置決め、および/または回転が発生する場合がある。例えば、図1は、マウスの軸骨格骨の一連のグラフィック表現を示す。これらは3Dマスクの投影であり、各ピクセルの強度は、三次元目に沿ったマスクボクセルの平均強度である。各投影は、その位置が調節され、画像が異なる時間に記録されるため、マウスの領域の異なる三次元表現に対応する。図1から明らかなように、画像間の対象の姿勢および位置の両方の変動の結果として、画像化された骨格の歪みおよび位置の両方が画像ごとに異なる。一定期間にわたって記録された一連の複数の画像の有意義な分析および比較を可能にするために、このような変動を除去しなければならない。
したがって、対象の複数の画像または異なる対象の画像間の歪みおよび向きの変動の補正を含む、それらの位置合わせを提供するシステムおよび方法が必要である。この必要性に対処するシステムおよび方法は、異なる時点で記録された対象の複数の画像の分析、ならびに異なる対象の画像間の比較を容易にするであろう。このような分析は、例えば、疾患の進行の監視などの多くの用途に適切である(例えば、肺疾患に適切である)。
人工ランドマークの自動生成に基づいて、1つ以上の対象の1つ以上の画像を位置合わせするためのシステムおよび方法を本明細書に提示する。人工ランドマークは、画像化された領域の特定の物理的位置に関連付けられた画像内の点である。人工ランドマークは、画像に(例えば、グラフィックで)表される対象の骨格の骨に沿って、自動化された堅牢な様式で生成される。自動的に生成された人工ランドマークを使用して、単一の画像の歪みを補正するか、または一連の画像の複数の画像の歪みを補正し、かつ/もしくは複数の画像(例えば、異なる時点で記録された)を同時位置合わせする。それにより、本明細書に記載の人工ランドマーク生成アプローチは、例えば、肺疾患などの疾患の進行を監視するために使用される画像の分析を容易にする。
例えば、人工的に生成された骨のランドマークから導出された変換を使用して、軟部組織(例えば、肺、心臓など)を表す画像の歪みを補正し、かつ/または画像の領域を同時位置合わせすることができる。本明細書で使用される場合、「画像位置合わせ」とは、1つ以上の画像の歪み補正および/または複数の画像の同時位置合わせを指す。位置合わせされている軟部組織のグラフィック表現は、骨の位置合わせが行われる同じ画像(複数可)内にあり得るか、または軟部組織は、骨の位置合わせのために使用される画像と同時に(例えば、マルチモダリティ撮像システムを介して)、もしくは別様に、対象が対応する骨の位置合わせ画像と同じ姿勢の対象にある状態で取得された異なる画像内にあり得る。
対象の骨に沿ったランドマークを位置合わせ(例えば、歪み補正および/または同時位置合わせ)に使用することは、対象の骨格骨の構成が経時的に実質的に一定のままであると同時に、軟部組織(例えば、肺、心臓など)の形態が疾患に応答して変化する場合があるため、進行性疾患を監視するのに有益である。
特定の実施形態では、本明細書に記載の位置合わせ(例えば、歪み補正および/または同時位置合わせ)のためのシステムおよび方法を適用して、対象の肺を含む対象の領域を表す画像の分析を容易にする。そのような画像は、肋骨、背骨、および胸骨などの対象の軸骨格骨のグラフィック表現を含む。特定の実施形態では、画像内に表される複数の肋骨の各々に沿って人工ランドマークが自動的に生成される。特定の実施形態では、画像内に表される胸骨に沿って人工ランドマークがさらに自動的に生成される。
特定の実施形態では、単一の画像で表される肋骨および/または胸骨に沿った人工ランドマークを使用して、画像が記録されている間に対象が置かれた特定の姿勢から生じる(例えば、反映する)画像に存在する歪みを補正する。特に、画像内の人工ランドマークを使用して、画像に適用されると、対象の領域の対称表現を作成する変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換および1つ以上の非線形変換の組み合わせ]を決定することができる。そのような対称の標準化された画像は、対象の姿勢の変動を考慮する必要なく、他の画像(例えば、以前に記録された画像、例えば、同様に歪みが補正された以前に記録された画像)と直接の様式で分析、解釈、および/または比較することができる。
特定の実施形態では、人工ランドマークを使用して、対象の領域の一連の画像(例えば、異なる時点で記録された)の複数の画像を同時位置合わせする。特に、特定の実施形態では、画像化された領域の特定の物理的位置との関連付けにより、異なる画像の人工ランドマークを使用して、画像を同時位置合わせする変換を決定することができる(例えば、複数の画像を互いに整列させる)。特定の実施形態では、画像のセットのベースライン画像が選択され、それに他の画像が整列される(例えば、n個の画像について、n−1個の各画像を変換させて、n個の画像の選択されるベースライン画像と同時位置合わせすることができる))。特定の実施形態では、画像のセットの各画像が整列されるベースライン画像は、画像のセットから選択されず、代わりに、例えば、予め定義された標準ベースライン画像である。
特定の実施形態では、人工ランドマークを使用して、歪みを補正すること、および対象の領域の一連の画像の複数の画像を同時位置合わせすることの両方を行う。特に、一連の画像の各画像について、画像の人工ランドマークを使用して、(i)画像の歪みを補正し(例えば、対象の姿勢変動から生じる)、(ii)当該画像を一連の他の画像と整列させる。したがって、各画像について、決定された変換を適用すると、一連の画像の他の画像と同時位置合わせされる対称化された画像が生成される。
特に、特定の実施形態では、画像の位置合わせ(例えば、1つ以上の画像の歪みの補正、および/または複数の画像の同時位置合わせ)は、1つ以上の画像の各画像について、画像に適用されると、標的ランドマークのセットとの画像内の人工ランドマークのセットの整列を実質的に最適化する変換を決定することによって達成される。
標的ランドマークの位置に応じて、画像内の人工ランドマークを標的ランドマークと整列させる決定された変換により、画像の歪みを補正し(例えば、画像の対称化されたバージョンが生成される)、かつ/または1つ以上の異なる画像と画像を同時位置合わせすることができる。
例えば、特定の実施形態では、対称標的ランドマークは画像の位置合わせのために使用される。所与の画像を位置合わせするために、画像内の人工ランドマークおよび標的ランドマークの対称セットを使用して変換が決定される。決定された変換を画像に適用して、画像の対称化されたバージョンを生成し、それにより歪みを補正することができる。特定の実施形態では、複数の画像の位置合わせに標的ランドマークの単一のセットが使用され、それにより画像の同時位置合わせが提供される。この位置合わせは、単一の対象(例えば、異なる時点で収集された)または複数の対象の複数の画像に対して実施されてもよい。複数の画像の位置合わせのために使用される標的ランドマークの単一のセットが対称である場合、歪み補正および同時位置合わせの両方が達成される。
特定の実施形態では、特定の画像の位置合わせのために使用される標的ランドマークは、特定の画像内の人工ランドマークから導出される。例えば、単一の画像の歪みの補正は、画像内の人工ランドマークから標的ランドマークの対称セットを決定することと、標的ランドマークのセットとの画像内の人工ランドマークのセットの整列を最適化する変換を決定することと、を含む。決定された変換を画像に適用し、それにより対称画像が作成される。
特定の実施形態では、第2の画像を位置合わせするために使用される標的ランドマークは、第1の画像の人工ランドマークから取得される。例えば、第2の画像を第1の画像と位置合わせするために、第1の画像の人工ランドマークは、第2の画像を位置合わせするための標的ランドマークとして使用され得る。したがって、第2の画像内の人工ランドマークを標的ランドマーク(第1の画像の人工ランドマークである)と整列させる変換を決定し、変換を第2の画像に適用すると、第2の画像が第1の画像と位置合わせされる。
特定の実施形態では、上記に記載のように、第1の画像の歪み補正(例えば、対称化)を提供するために、第1の画像から標的ランドマークが決定される。標的ランドマークのセットは、第1の画像の歪み補正および位置合わせ、ならびに1つ以上の他の画像の歪み補正および位置合わせのために使用することができる。
特定の実施形態では、本明細書に記載のアプローチは、単一の対象の複数の画像の歪み補正および/または同時位置合わせのために使用される。特定の実施形態では、本明細書に記載のアプローチは、異なる対象の画像の歪み補正および/または同時位置合わせのために使用される。
本明細書に記載の人工ランドマーク生成アプローチの利点は、画像内の特定の骨の表現の自動識別(例えば、セグメンテーションを介して)のエラーに起因するアーティファクト、ならびに画質の変動などのアーティファクトに対する堅牢性である。特に、特定の実施形態では、人工ランドマークは、画像に自動的に適用される形態学的および論理的画像処理操作(例えば、距離間隔マスクの生成、例えば、論理的AND演算)によって骨に沿って生成される人工物体から決定される(例えば、各人工物体は対応する人工物体の質量中心として決定される)。したがって、特定の骨、関節などの自然に発生する物体とは対照的に、人工物体は、一連の特定の形態学的および論理的撮像処理操作を介して、画像内でコンピューター内で生成された実際の骨の断片に対応する。
本明細書に記載の人工物体の生成が、自然物体の識別よりも堅牢で、画質内の変動に寛容であることは、驚くべき結果である。自動セグメンテーションを介した画像内の特定の骨、関節などの識別は、低品質の画像など、特定の画像内のセグメンテーションエラーを起こしやすい傾向がある。セグメンテーションエラーの補正は、ユーザーの助けを借りてインタラクティブに達成することができるが、特に時系列での複数の画像の各画像に数十のセグメンテーションエラーがある場合、これは非常に面倒である。
特定の実施形態では、本明細書に記載の方法およびシステムを介した人工物体の生成は、広範な画像セグメンテーションの必要性をなくす。例えば、個々の肋骨を別々に識別する必要なく、本明細書に記載のアプローチを介して画像内の肋骨に沿って人工物体を生成することができるが、これは、より困難でエラーが発生しやすい。したがって、人工物体(および、次に、人工物体から生成された人工ランドマーク)は、ユーザーの相互作用なしで完全に自動化された様式で生成される。人工物体、およびそれらから画像位置合わせで使用するための人工ランドマークを生成するプロセスは、画像アーティファクト、特定の骨の自動識別におけるエラーに対して堅牢であり、自然の物体の正確な識別を必要とするアプローチよりも低品質の画像で使用することができる。
さらに、特定の関節および完全な骨などの自然の物体とは異なり、人工物体の数および密度、ならびにしたがって、それらから導出されるランドマークは、自由に選択することができる。画像内の人工物体の数および密度を制御する機能は、画像位置合わせのための変換を決定するのに有利である。
特定の実施形態では、画像の正確な位置合わせを確実にするために、本明細書に記載のシステムおよび方法は、生成された人工ランドマーク(および/または人工物体)が正しく識別されることを保証するためのステップを含む(例えば、所与の人工ランドマーク(または人工物体)と特定の物理的位置との間の対応が正しく識別される(例えば、インデックス値の割り当てを介して))。例えば、特定の場合、人工ランドマーク(および/または人工物体)の正確な識別により、生成されたシード人工物体の中に不要なアーティファクトがなく、同様に、シード人工から生成された後続の人工物体の中に不要なアーティファクトがないことが保証される。さらに、人工ランドマークおよび/または人工物体の正しい識別により、歪み補正のための対称標的ランドマークのセットを決定すると、肋骨パートナーランドマークの反対側の対を適切に識別することが保証される。最後に、人工ランドマークおよび/または人工物体の正しい識別により、画像ランドマーク変換を決定するために、人工ランドマークがパートナーの標的ランドマークに正しく一致することが保証される。
したがって、特定の実施形態では、生成プロセス中に人工ランドマーク(および/または人工物体)が識別され(例えば、様々なインデックス値の割り当てを介して)、人工ランドマークが画像位置合わせのために使用されると、後続ステップで識別の正確性をチェックすることができる。例えば、標的ランドマークを生成するための反対側の肋骨人工ランドマークの対を決定すると、ならびに画像位置合わせのために画像内の人工ランドマークを標的ランドマークに一致させると、識別の正確性をチェックすることができる。特定の実施形態では、識別エラーが見つかった場合、誤識別された人工ランドマーク(および/または人工物体)は、画像内の人工物体(および/または人工ランドマーク)のセットから除去され、画像位置合わせには使用されない。
特定の実施形態では、人工ランドマークが人工物体から生成される精度および堅牢性は、特定の基準に適合しない人工物体(および/またはそのような人工物体から決定される人工ランドマーク)を除去するために適用される外れ値フィルターリングステップを介してさらに改善される。例えば、画像内のノイズおよび小さなアーティファクトに起因する非常に小さな人工物体を除去するために、体積に基づいて人工物体をフィルターリングすることができる。特定の実施形態では、外れ値フィルターリングに使用される基準は、対象の胸郭が実質的に対称であるという事実など、撮像される対象の領域に関する物理的直感に基づいている。このような外れ値フィルターリングアプローチにより、生成プロセス中に最小限のユーザー相互作用(例えば、いかなるユーザー相互作用なし)で人工ランドマークを正確に生成することができる。
したがって、人工ランドマークの自動生成に基づいて対象(複数可)の3D画像の位置合わせ(例えば、歪み補正および/または同時位置合わせ)のためのアプローチを提供することによって、本明細書に記載のシステムおよび方法は、対象の断層画像の比較を介した対象における疾患の進行の分析を容易にする。本明細書に記載のアプローチは、胸郭、背骨、および胸骨を含む対象の軸骨格骨を特徴とする画像に適切である。歪み補正および画像の同時位置合わせのための堅牢で自動化されたアプローチを提供することによって、本明細書に記載のシステムおよび方法は、特に肺疾患に適切である疾患の進行を監視する能力を向上させる。
一態様では、本発明は、対象の1つ以上の3D画像を位置合わせするための方法であって、(a)コンピューティングデバイスのプロセッサによって、対象の3D画像(例えば、断層画像、例えば、CT、マイクロCT、SPECT、X線、MR、超音波、および/またはこれらの任意の組み合わせを介して取得される画像)を受信することであって、3D画像が、肋骨および背骨のグラフィック表現を含む、受信することと、(b)グラフィック表現において、プロセッサによって、(i)背骨および(ii)肋骨を含む胸郭骨[{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された肋骨に対応する第2の部分に分離することによって}{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された肋骨に対応する第2の部分に分離し(例えば、胸骨と一緒に肋骨を含む)、任意選択的に続いて識別された胸郭骨を識別された胸骨および残りの骨に対応する部分(すなわち、肋骨)に分離することによって}]を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザーの相互作用を介して、例えば、グラフィカルに分離する]ことと、(c)プロセッサによって、複数のシード肋骨人工物体を自動的に生成することであって、各シード肋骨人工物体が、グラフィック表現において背骨から第1の距離間隔内にあり(例えば(i)シード肋骨人工物体の各点に対して、点から識別された背骨の表面までの最短距離が、第1の距離間隔内にあり、例えば(ii)シード肋骨人工物体の各点に対して、点から識別された背骨の中心線までの最短距離が第1の距離間隔内にある)、グラフィック表現における肋骨の領域に対応する(例えば、各シード肋骨人工物体に、左右インデックスおよび肋骨数インデックスが割り当てられる)、自動的に生成することと、(d)自動的に生成された各シード肋骨人工物体について、プロセッサによって、複数の関連付けられた後続の肋骨人工物体を自動的に生成し、それにより人工物体のセット(例えば、シードおよび後続の肋骨人工物体を含むセット)を作り出すことと、(e)プロセッサによって、画像内の人工物体のセットを使用して、対象の1つ以上の画像の位置合わせを自動的に行うことと(例えば、人工ランドマークのセットを使用して、各ランドマークが画像内の対応する人工物体に基づいて決定され、例えば、人工ランドマークのセットの各人工ランドマークが、人工物体のセットの各人工物体の質量中心として計算される)、を含む、方法を対象とする。
特定の実施形態では、背骨および肋骨を識別することは、1つ以上の骨マスクのセットを決定して、グラフィック表現における特定の骨を識別することを含む。例えば、骨マスクのセットの決定は、複数のステップ、例えば、グラフィック表現における骨のうちのすべてを識別するための第1のステップ、背骨を識別するための第2のステップ、および肋骨を含む(未分化)胸郭を識別するための第3のステップで実施され得る。特定の実施形態では、識別された胸郭骨は、胸骨と一緒に肋骨を含む。特定の実施形態では、識別された胸郭骨を(i)識別された胸骨および(ii)識別された肋骨に対応する残りの骨に分離する第4のステップが行われる。特定の実施形態では、胸骨および肋骨を別々に識別する必要はなく、識別された胸郭骨は、胸骨と一緒に肋骨の未分化の集合に対応する。特定の実施形態では、胸骨および肋骨は別々に識別され、識別された胸郭骨および/または識別された胸郭骨に対応するマスク上で行われる本明細書に記載の操作は、識別された肋骨および/または識別された肋骨に対応するマスク上で行われる。特定の実施形態では、個々の肋骨を別々に識別する必要はない(他の実施形態ではこれを行ってもよい)が、肋骨の未分化の集合が識別される。
特定の実施形態では、複数のシード肋骨人工物体を自動的に生成するステップは、三次元の複数の点の各々での強度(例えば、数)値を含む背骨距離マップを決定することであって、背骨距離マップの強度値の各々が、3D空間における所与の点からグラフィック表現における識別された背骨までの距離に対応する(例えば(i)所与の点から識別された背骨の点までの最短距離、例えば(ii)所与の点から識別された背骨の中心線までの最短距離)、決定することと、プロセッサによって、背骨距離マップから背骨距離間隔マスクを生成することであって、背骨距離間隔マスクが、識別された背骨から第1の距離間隔内にある画像の領域に対応する(例えば、距離間隔マスクは2値マスクであり、距離間隔(例えば、第1の距離間隔)内で識別された背骨までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる)、生成することと、プロセッサによって、背骨距離間隔マスクと識別された胸郭骨に対応するマスク(例えば、識別された肋骨、例えば、胸郭骨マスク、例えば、肋骨マスク)との間のAND演算(例えば、点別AND演算)を適用し、それにより、識別された背骨から第1の距離間隔内にある識別された胸郭骨の複数の領域を識別することと、を含む。
特定の実施形態では、ステップ(c)は、複数のシード肋骨人工物体の各々について、(i)左右インデックス(例えば、シード肋骨人工物体の1つ以上の点から決定されるx座標に基づいて)および(ii)肋骨数インデックス(例えば、シード肋骨人工物体の1つ以上の点から決定されるz座標に基づいて)を、シード肋骨人工物体と関連付けることを含む。
特定の実施形態では、シード肋骨人工物体を左右インデックスと関連付けることは、予備ステップとして、予備回転および並進変換を適用することと、その後、左右インデックスを決定することと(例えば、シード肋骨人工物体の1つ以上の点から決定されるx座標に基づいて)、を含む。特定の実施形態では、予備回転および並進変換は、グラフィック表現において識別された背骨の主軸および/または識別された胸骨の主軸を使用して決定される。
特定の実施形態では、自動的に生成された各シード肋骨人工物体について、複数の関連付けられた後続の肋骨人工物体は、肋骨人工物体の等距離連鎖を含む。
特定の実施形態では、3D画像は、肋骨、骨格、および胸骨のグラフィック表現を含み、各肋骨人工物体は、グラフィック表現において識別された胸骨から少なくとも予め定義された第1の閾値距離である(例えば、各肋骨人工物体の各点について、点から識別された胸骨までの最短距離が、少なくとも第1の閾値距離であり、例えば、各肋骨人工物体の各点について、点から識別された胸骨の中心線までの最短距離が、少なくとも第1の閾値距離である)。
特定の実施形態では、本方法は、プロセッサによって、グラフィック表現における第1の肋骨と第2の肋骨との間の距離が予め定義された第2の閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を自動的に識別する(例えば、識別された胸郭骨に対応するマスクに1つ以上の形態学的操作(例えば、形態学的閉鎖操作を含む)および1つ以上の論理操作を適用することによって、画像の1つ以上の危険な領域を自動的に識別する)ことを含み、本方法は、生成された各肋骨人工物体が、画像内のあらゆる識別された危険な領域から十分に遠いことを保証する(例えば、最も近い識別された危険な領域から少なくとも予め定義された第3の閾値距離であり、例えば、各肋骨人工物体の各点について、点から識別された危険な領域までの最短距離が、少なくとも第3の閾値距離である)ことを含む。
特定の実施形態では、プロセッサによって、それぞれのシード肋骨人工物体に関連付けられた複数の後続の肋骨人工物体を自動的に生成することは、それぞれのシード肋骨人工物体から開始することと、段階的な様式で新たな後続の肋骨人工物体を生成することとによって肋骨に沿って肋骨人工物体の連鎖を生成することを含み、新たに生成された各人工物体は、肋骨に沿って識別された胸骨から離れるように外向きに(例えば、以前に生成された肋骨人工物体から予め定義された距離)進む。
特定の実施形態では、3D画像は、複数の肋骨、骨格、および胸骨のグラフィック表現を含み、それぞれのシード肋骨人工物体に関連付けられた人工肋骨の連鎖を生成することは、肋骨人工物体の連鎖の少なくとも1つの新たに生成された肋骨人工物体について、新たに生成された肋骨人工物体が、グラフィック表現において識別された胸骨から所定の第1の閾値距離内にあるかどうかを決定することと、新たに生成された肋骨人工物体が識別された胸骨から所定の第1の閾値距離内にあるとの決定に応答して、それぞれのシード肋骨人工物体に関連付けられた後続の人工物体の生成を終了することと、を含む。
特定の実施形態では、本方法は、プロセッサによって、グラフィック表現における第1の肋骨と第2の肋骨との間の距離が予め定義された第2の閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別することを含み、それぞれのシード肋骨人工物体に関連付けられた肋骨人工物体の連鎖を生成することは、肋骨人工物体の連鎖の少なくとも1つの新たに生成された肋骨人工物体について、新たに生成された肋骨人工物体が、画像の識別された危険な領域から所定の第3の閾値距離内にあるかどうかを決定することと、新たに生成された肋骨人工物体が画像の識別された危険な領域から第3の所定の閾値距離内にあるとの決定に応答して、それぞれのシード肋骨人工物体に関連付けられた後続の肋骨人工物体の生成を終了することと、を含む。
特定の実施形態では、1つ以上の危険な領域を自動的に識別することは、識別された胸郭骨に対応するマスクに1つ以上の形態学的閉鎖操作を適用することを含む。
特定の実施形態では、3D画像は、対象の胸骨の少なくとも一部分のグラフィック表現を含み、当該部分は、胸骨の下(例えば、尾側)端を含み、本方法は、(f)グラフィカル表現において、プロセッサによって、胸骨[{例えば、骨マスクを判定し、続いて識別された骨を背骨、胸骨、および残りの骨(すなわち、肋骨)に分離することによって}{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された胸郭骨に対応する第2の部分(例えば、胸骨と一緒に肋骨を含む)に分離し、続いて識別された胸郭骨を識別された胸および残りの骨(すなわち、肋骨)に対応する部分に分離することによって}]および胸骨の下端(例えば、識別された胸骨に対応する胸骨マスクの最小z座標を決定することによって)を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザー相互作用を介して、例えば、グラフィックで単離する]ことと、(g)プロセッサによって、シード胸骨人工物体を自動的に生成することであって、シード胸骨人工物体が、胸骨の下端から第2の距離間隔内にある識別された胸骨の領域に対応する(例えば(i)シード胸骨人工物体の各点に対して、点から識別された胸骨の下端の表面までの最短距離が第2の距離間隔内にあり、例えば(ii)シード胸骨人工物体の各点に対して、点から識別された胸骨の下端に対応する点までの距離(例えば、ユークリッド距離、例えば、特定の座標(例えば、z座標)に沿った距離)が第2の距離間隔内にある)、自動的に生成することと、(h)シード胸骨人工物体から開始して、プロセッサによって、識別された胸骨に沿って複数の関連付けられた胸骨人工物体を自動的に生成することであって、複数の胸骨人工物体が、画像内の人工物体のセット内に含まれる(例えば、それにより生成された胸骨人工物体をさらに含む人工物体のセットを作り出す)、自動的に生成することと、によって、プロセッサによって、胸骨に沿った一連の人工物体を自動的に生成することを含む。
特定の実施形態では、プロセッサによって、シード胸骨人工物体を自動的に生成することは、三次元の複数の点の各々での強度(数)値を含む胸骨下端距離マップを決定することであって、背骨距離マップの強度値の各々が、3D空間における所与の点からグラフィック表現における識別された胸骨の下端までの距離に対応する[例えば(i)所与の点から識別された胸骨の下端の表面までの最短距離、例えば(ii)所与の点から識別された胸骨の下端に対応する点までの距離(例えば、ユークリッド距離、例えば、特定の座標に沿った距離(例えば、z座標))]、決定することと、プロセッサによって、胸骨の下端距離マップから胸骨の下端距離間隔マスクを生成することであって、胸骨の下端距離間隔マスクが、胸骨の下端から第2の距離間隔内にある画像の領域に対応する(例えば、胸骨の下端距離間隔マスクは2値マスクであり、予め定義された距離間隔(例えば、第2の距離間隔)内で胸骨の下端までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる)、生成することと、プロセッサによって、胸骨の下端距離間隔マスクと識別された胸骨に対応するマスクとの間のAND演算(例えば、点別AND演算)を適用し、それにより、胸骨の下端から第2の距離間隔内にある識別された胸骨の領域を識別することと、を含む。
特定の実施形態では、複数の胸骨人工物は、胸骨に沿った胸骨人工物体の等距離連鎖を含む。
特定の実施形態では、複数の胸骨人工物体を自動的に生成することは、シード胸骨人工物体から開始することと、段階的な様式で新たな後続の胸骨人工物体を生成することとによって胸骨人工物体の連鎖を生成することを含み、新たに生成された各胸骨人工物体は、識別された胸骨の下端から離れるように上向き(例えば、以前に生成された胸骨人工物体から予め定義された距離)に進む。
特定の実施形態では、グラフィック表現における胸骨の部分は、胸骨の上端を含み、本方法は、グラフィック表現において、プロセッサによって、胸骨の上端を識別することを含み、胸骨人工物体の連鎖を生成することは、少なくとも1つの新たに生成された胸骨人工物体について、新たに生成された胸骨人工物体が、識別された胸骨の下端から所定の閾値距離に達するか、またはこの範囲内にあるかどうかを決定することと、新たに生成された胸骨人工物体が識別された胸骨の下端から所定の閾値距離に達するか、またはこの範囲内にあるとの決定に応答して、後続の胸骨人工物体の生成を終了することと、を含む。
特定の実施形態では、画像内の人工物体のセットの自動的に生成された各人工物体(例えば、各肋骨人工物体および/または各胸骨人工物体)は、少なくとも予め定義された閾値体積を有することが確認される。
特定の実施形態では、複数のシード肋骨人工物体を自動的に生成することは、プロセッサによって、グラフィック表現において背骨からある距離間隔内にあるグラフィック表現における肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを生成することと、プロセッサによって、予想肋骨人工物体のセットに体積フィルターを適用することであって、体積フィルターの適用により、プロセッサによって、決定されたこれらの人工物体が当該セットから削除されて、予め定義された閾値体積を下回る体積を表す、適用することと、体積フィルターの適用後、プロセッサによって、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、を含む。
特定の実施形態では、グラフィック表現における肋骨は、複数の[例えば、対象の所与の側の肋骨の数に対応する(例えば、既知の数の肋骨)]対向する肋骨対(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数の肋骨人工物体の一部分の各肋骨人工物体は、複数の肋骨人工物体対のうちの1つに属し、各対は、一対の対向する肋骨の第1の肋骨(例えば、右肋骨など)に関連付けられた第1の肋骨人工物(例えば、肋骨人工物の関連付けられた左右インデックスに基づいて)、および一対の対向する肋骨の第2の肋骨(例えば、左肋骨)に関連付けられた第2の肋骨人工物体(例えば、肋骨人工物の関連付けられた左右インデックスに基づいて)を含み、各肋骨人工物体対について、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差は、予め定義された閾値体積差を下回り、かつ/または(ii)対の第1の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]と対の第2の物体の高さとの間の差は、予め定義された閾値高さの差を下回っている。
特定の実施形態では、グラフィック表現における肋骨は、一対以上の対向する肋骨(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数のシード肋骨人工物体を自動的に生成することは、プロセッサによって、背骨から第1の距離間隔内にあるグラフィック表現における肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを生成することと、プロセッサによって、一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および反対側の肋骨の対応する第2のシード肋骨人工物体を含む(例えば、各シード肋骨人工物体のz座標に基づいて、例えば、各シード肋骨人工物体の関連付けられた肋骨数インデックスに基づいて、例えば、各シード肋骨人工物体の関連付けられた左右インデックスに基づいて)、自動的に識別することと、プロセッサによって、予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、対比較フィルターの適用により、当該セットから、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)対の第1の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]と対の第2の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]との間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される、適用することと、対比較フィルターの適用後、プロセッサによって、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、を含む。
特定の実施形態では、本方法は、連続したシード肋骨人工物体(例えば、シード肋骨人工物体対、連続した肋骨数インデックスを有する対の第1および第2のシード肋骨人工物体、例えば、シード肋骨人工物体対、関連付けられたz座標の観点から最近傍に対応する対の第1および第2のシード肋骨人工物体)間の距離(例えば、ユークリッド距離、例えば、特定の座標(例えば、z座標)に沿った距離)が一貫している(例えば、対ごとに実質的に同じである、例えば、所与の許容範囲内にある)かどうかを検証することを含む。
特定の実施形態では、本方法は、プロセッサによって、対象の第1の画像および対象の第2の画像を受信することと、プロセッサによって、人工物体の複数のクロス画像対を識別することであって、人工物体の各クロス画像対が、第1の画像の人工物体の第1のセットの第1の人工物体および第2の画像の人工物体の第2のセットの対応する第2の人工物体を含む、識別することと、人工物体の各クロス画像対について、プロセッサによって、第1の人工物体の体積と第2の人工物体の体積との間の差を決定することと、プロセッサによって、それぞれの各画像の人工物体のそれぞれのセットから、決定された体積差が予め定義された閾値差を上回るクロス画像対の人工物体を削除することと、を含む。
特定の実施形態では、本方法は、プロセッサによって、画像内の人工物体のセットに基づいて、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、例えば、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することと、プロセッサによって、画像位置合わせ変換を3D画像の領域に適用し、それにより3D画像を位置合わせする(例えば、画像の歪みを補正する、かつ/または3D画像を対象の1つ以上の異なる3D画像と同時位置合わせする)ことと、を含む。
特定の実施形態では、画像位置合わせ変換は、3D画像の対称化をもたらし、それにより画像の歪みを補正する。
特定の実施形態では、受信画像は、第1の画像に対応し、画像位置合わせ変換は、第1の画像を対象の第2の画像と整列させ、それにより第1の画像を第2の画像と同時位置合わせする。
特定の実施形態では、画像位置合わせ変換を決定することは、プロセッサによって、画像内の人工物体のセットから、画像内の人工ランドマークのセットを決定することであって、各人工ランドマークが、対応する人工物体から決定された点に対応する、決定することと、プロセッサによって、画像内の人工ランドマークのセットおよび標的ランドマークのセットを使用して、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、例えば、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することであって、画像位置合わせ変換が、画像内の人工ランドマークに対応する点に適用されると、標的ランドマークのセットとの人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することと、含む。
特定の実施形態では、標的ランドマークのセットは、対称である[例えば、標的ランドマークのセットは、対象の1つ以上の右肋骨に関連付けられた複数の右側標的ランドマークを含み、各右側標的ランドマークについて、一致する左肋骨に関連付けられた一致する左側標的ランドマークを含み、各右側標的ランドマークについて、右側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する左側標的ランドマークの位置にマッピングされ、各左側標的ランドマークについて、左側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する右側標的ランドマークの位置にマッピングされ、例えば、標的ランドマークのセットは、複数の胸骨標的ランドマークを含み、各胸骨標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で実質的に不変である]。
特定の実施形態では、本方法は、プロセッサによって、画像内の人工ランドマークのセットを使用して、標的ランドマークのセットを決定することを含む。
特定の実施形態では、標的ランドマークのセットは、所定の標的ランドマークのセットである(例えば、受信画像とは異なる対象の1つ以上の3D画像から決定され、例えば、異なる対象の1つ以上の3D画像を含む複数の3D画像から決定される)。
特定の実施形態では、受信された3D画像は、軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する1つ以上の領域を含み、本方法は、画像位置合わせ変換を軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する画像の1つ以上の領域に適用し、それにより、軟部組織領域を位置合わせする(例えば、軟部組織領域の歪みを補正し、かつ/または軟部組織領域を対象の1つ以上の異なる3D画像と同時位置合わせする)ことをさらに含む。
特定の実施形態では、複数の肋骨および背骨のグラフィック表現を含む対象の受信された3D画像は、第1のモダリティ(例えば、マイクロCT)を介して記録された第1の画像に対応し、本方法は、プロセッサによって、第2のモダリティを介して記録された第2の画像(例えば、第1のモダリティとは異なる、例えば、PET、例えば、光学撮像モダリティ(例えば、FMT))を受信することと、プロセッサによって、画像内の人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、プロセッサによって、第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、プロセッサによって、第2の画像位置合わせ変換を第2の画像の領域に適用することと、を含む。
特定の実施形態では、第2の画像は、対象が実質的に同様の姿勢および/または位置にある状態で、第1の画像と実質的に同時に記録される(例えば、対象は、第1および第2の画像の記録中に固定された姿勢および/または位置にあり、例えば、第1および第2の画像は、マルチモーダル撮像システムを使用して記録される)。
特定の実施形態では、第2の画像位置合わせ変換は、第1の画像位置合わせ変換と同じである。
特定の実施形態では、第1の画像の複数の点の座標は、既知の関数関係(例えば、第1および第2の撮像モダリティ間の既知の空間的関係に基づいて)を介して第2の画像の複数の点の座標に関連する。
別の態様では、本発明は、対象の1つ以上の3D画像を位置合わせするための方法であって、(a)コンピューティングデバイスのプロセッサによって、対象の3D画像(例えば、断層画像、例えば、CT、マイクロCT、SPECT、X線、MR、超音波、および/またはこれらの任意の組み合わせを介して取得される画像)を受信することであって、3D画像が、対象となる1つ以上の骨(例えば、対象の軸骨格骨、例えば、複数の肋骨および/または背骨、例えば、胸骨)のグラフィック表現を含む、受信することと、(b)グラフィック表現において、プロセッサによって、対象となる1つ以上の骨(例えば、複数の肋骨、例えば、胸骨)および参照物体(例えば、背骨、例えば、胸骨の下端)を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザー相互作用を介して、例えば、グラフィックで単離する]ことと、(c)プロセッサによって、1つ以上のシード肋骨人工物体を自動的に生成することであって、各シード肋骨人工物体が、参照物体から第1の距離間隔内にあり(例えば(i)シード肋骨人工物体の各点に対して、点から参照物体の表面までの最短距離が、第1の距離間隔内にあり、例えば(ii)シード人工物体の各点に対して、点から参照物体の中心線までの最短距離が第1の距離間隔内にある)、グラフィック表現における対象となる骨の領域に対応する、自動的に生成することと、(d)自動的に生成された各シード肋骨人工物体について、プロセッサによって、複数の関連付けられた後続の肋骨人工物体を自動的に生成し、それにより画像内に人工物体のセット(例えば、シードおよび後続の肋骨人工物体を含むセット)を作り出すことと、(e)プロセッサによって、画像内の人工物体のセットを使用して、対象の1つ以上の画像の位置合わせを自動的に行うことと(例えば、人工ランドマークのセットを使用して、各ランドマークが画像内の対応する人工物体に基づいて決定され、例えば、人工ランドマークのセットの各人工ランドマークが、人工物体のセットの各人工物体の質量中心として計算される)、を含む、方法を対象とする。
特定の実施形態では、1つ以上のシード人工物体を自動的に生成するステップは、三次元の複数の点の各々における強度(例えば、数)値を含む距離マップを決定することであって、距離マップの強度値の各々が、3D空間における所与の点から参照物体までの距離に対応する(例えば(i)所与の点から識別された参照物体の表面までの最短距離、例えば(ii)所与の点から識別された参照物体の中心線までの最短距離)、決定することと、プロセッサによって、距離マップから距離間隔マスクを生成することと(例えば、距離間隔マスクは2値マスクであり、距離間隔(例えば、第1の距離間隔)内の参照物体までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる)、プロセッサによって、距離間隔マスクと対象となる識別された1つ以上の骨に対応するマスクとの間のAND演算(例えば、点別AND演算)を適用し、それにより、参照物体から第1の距離間隔内にある対象となる識別された骨の複数の領域を識別することと、を含む。
特定の実施形態では、自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体は、人工物体の等距離連鎖を含む。
特定の実施形態では、各人工物体は、グラフィック表現内の識別された追加の骨(例えば、胸骨)からの所定の閾値距離(例えば、その表面からの距離、例えば、その中心線からの距離)である。
特定の実施形態では、本方法は、プロセッサによって、グラフィック表現における対象となる第1の骨と対象となる第2の骨との間の距離が予め定義された閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別する(例えば、識別された対象となる骨に対応するマスクに1つ以上の形態学的操作(例えば、形態学的閉鎖操作を含む)および1つ以上の論理操作を適用することによって、画像の1つ以上の危険な領域を自動的に識別する)ことを含み、本方法は、生成された各人工物体が、画像内のあらゆる識別された危険な領域から十分に遠いことを保証する(例えば、最も近い識別された危険な領域から少なくとも予め定義された第3の閾値距離であり、例えば、各人工物体の各点について、点から識別された危険な領域までの最短距離が、少なくとも第3の閾値距離である)ことを含む。
特定の実施形態では、プロセッサによって、それぞれのシード人工物体に関連付けられた複数の後続の人工物体を自動的に生成することは、シード人工物体から開始することと、段階的な様式で新たな後続の人工物体を生成することとによって対象となる骨に沿って人工物体の連鎖を生成することを含み、新たに生成された各人工物体は、対象となる骨に沿って識別された参照物体から離れるように外向きに(例えば、以前に生成された肋骨人工物体から予め定義された距離)進む。
特定の実施形態では、それぞれのシード人工物体に関連付けられた人工物体の連鎖を生成することは、人工物体の連鎖の少なくとも1つの新たに生成された人工物体について、新たに生成された人工物体が、グラフィック表現において識別された追加の骨(例えば、胸骨)から所定の閾値距離内にあるかどうかを決定することと、新たに生成された人工物体が画像の識別された追加の骨(例えば、胸骨)から所定の閾値距離内にあるとの決定に応答して、それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することと、を含む。
特定の実施形態では、本方法は、プロセッサによって、グラフィック表現における対象となる第1の骨と対象となる第2の骨との間の距離が予め定義された閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別することを含み、それぞれのシード人工物体に関連付けられた人工物体の連鎖を生成することは、人工物体の連鎖の少なくとも1つの新たに生成された人工物体について、新たに生成された人工物体が、画像の識別された危険な領域から所定の閾値距離内にあるかどうかを決定することと、新たに生成された人工物体が画像の識別された危険な領域から所定の閾値距離内にあるとの決定に応答して、それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することと、を含む。
特定の実施形態では、画像内の人工物体のセットの各人工物体(例えば、各肋骨人工物体および/または各胸骨人工物体)は、少なくとも所定の閾値体積を有することが確認される。
特定の実施形態では、1つ以上のシード人工物体を自動的に生成することは、プロセッサによって、参照物体から第1の距離間隔内にある対象となる1つ以上の骨の複数の領域に対応する予想シード人工物体のセットを生成することと、プロセッサによって、予想シード人工物体のセットに体積フィルターを適用することであって、体積フィルターの適用により、プロセッサによって、決定されたこれらの人工物体が当該セットから削除されて、予め定義された閾値体積を下回る体積を表す、適用することと、体積フィルターの適用後、プロセッサによって、予想シード人工物体のセットからシード人工物体を選択することと、を含む。
特定の実施形態では、本方法は、プロセッサによって、対象の第1の画像および対象の第2の画像を受信することと、プロセッサによって、人工物体の複数のクロス画像対を識別することであって、人工物体の各クロス画像対が、第1の画像の人工物体の第1のセットの第1の人工物体および第2の画像の人工物体の第2のセットの対応する第2の人工物体を含む、識別することと、人工物体の各クロス画像対について、プロセッサによって、第1の人工物体の体積と第2の人工物体の体積との間の差を決定することと、プロセッサによって、それぞれの各画像の人工物体のそれぞれのセットから、決定された体積差が予め定義された閾値差を上回るクロス画像対の人工物体を削除することと、を含む。
特定の実施形態では、本方法は、プロセッサによって、画像内の人工物体のセットに基づいて、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換および1つ以上の非線形変換の組み合わせ]を決定することと、プロセッサによって、画像位置合わせ変換を3D画像の領域に適用し、それにより3D画像を位置合わせする(例えば、画像の歪みを補正し、かつ/または3D画像を対象となる1つ以上の異なる3D画像と位置合わせする)ことと、を含む。
特定の実施形態では、画像位置合わせ変換は、3D画像の対称化をもたらし、それにより画像の歪みを補正する。
特定の実施形態では、受信画像は、第1の画像に対応し、画像位置合わせ変換は、第1の画像を対象の第2の画像と整列させ、それにより第1の画像を第2の画像と同時位置合わせする。
特定の実施形態では、画像位置合わせ変換を決定することは、プロセッサによって、画像内の人工物体のセットから、画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応する、決定することと、プロセッサによって、画像内の人工ランドマークのセットおよび標的ランドマークのセットを使用して、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することであって、画像位置合わせ変換が、画像内の人工ランドマークに対応する点に適用されると、標的ランドマークのセットとの人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することと、を含む。
特定の実施形態では、標的ランドマークのセットは対称である[例えば、標的ランドマークのセットは、対象の右側上の対象となる1つ以上の骨に関連付けられた複数の右側標的ランドマークを含み、各右側標的ランドマークについて、対象の左側上の対象となる一致する骨に関連付けられた一致する左側標的ランドマークを含み、各右側標的ランドマークについて、右側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する左側標的ランドマークの位置にマッピングされ、各左側標的ランドマークについて、左側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する右側標的ランドマークの位置にマッピングされる]。
特定の実施形態では、本方法は、プロセッサによって、画像内の人工ランドマークのセットを使用して標的ランドマークのセットを決定することを含む。
特定の実施形態では、標的ランドマークのセットは、所定の標的ランドマークのセットである(例えば、受信画像とは異なる対象の1つ以上の3D画像から決定され、例えば、異なる対象の1つ以上の3D画像を含む複数の3D画像から決定される)。
特定の実施形態では、受信された3D画像は、軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する1つ以上の領域を含み、本方法は、プロセッサによって、画像位置合わせ変換を軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する画像の1つ以上の領域に適用し、それにより軟部組織領域を位置合わせする(例えば、軟部組織領域の歪みを補正し、かつ/または軟部組織領域を対象の1つ以上の異なる3D画像と同時位置合わせする)ことをさらに含む。
特定の実施形態では、対象の受信された3D画像は、第1のモダリティ(例えば、マイクロCT)を介して記録された第1の画像に対応し、本方法は、プロセッサによって、第2のモダリティを介して記録された第2の画像(例えば、第1のモダリティとは異なる、例えば、PET、例えば、光学撮像モダリティ(例えば、FMT))を受信することと、プロセッサによって、画像内の人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、プロセッサによって、第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、プロセッサによって、第2の画像位置合わせ変換を第2の画像の領域に適用することと、を含む。
特定の実施形態では、第2の画像は、対象が実質的に同様の姿勢および/または位置にある状態で、第1の画像と実質的に同時に記録される(例えば、対象は、第1および第2の画像の記録中に固定された姿勢および/または位置にあり、例えば、第1および第2の画像は、マルチモーダル撮像システムを使用して記録される)。
特定の実施形態では、第2の画像位置合わせ変換は、第1の画像位置合わせ変換と同じである。
特定の実施形態では、第1の画像の複数の点の座標は、既知の関数関係(例えば、第1および第2の撮像モダリティ間の既知の空間的関係に基づいて)を介して第2の画像の複数の点の座標に関連する。
特定の実施形態では、3D画像は、複数の肋骨および背骨のグラフィック表現を含み、識別された対象となる1つ以上の骨は、複数の肋骨を含み、識別された参照物体は、対象の背骨である。
特定の実施形態では、複数の肋骨は、一対以上の対向する肋骨(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数の肋骨人工物体の一部分の各肋骨人工物体は、複数の肋骨人工物体対のうちの1つに属し、各対は、一対の対向する肋骨の第1の肋骨(例えば、右肋骨)に関連付けられた第1の肋骨人工物、および一対の対向する肋骨の第2の肋骨(例えば、左肋骨)に関連付けられた第2の肋骨人工物体を含み、各肋骨人工物体対について、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差は、予め定義された閾値体積差を下回り、かつ/または(ii)対の第1の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]と対の第2の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]との間の差は、予め定義された閾値高さの差を下回っている。
特定の実施形態では、グラフィック表現における複数の肋骨は、一対以上の対向する肋骨(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数のシード肋骨人工物体を自動的に生成することは、プロセッサによって、背骨からある距離間隔内にある識別された肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを識別することと、プロセッサによって、一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および反対側の肋骨の対応する第2のシード肋骨人工物体を含む、自動的に識別することと、プロセッサによって、予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、対比較フィルターの適用により、当該セットから、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)対の第1の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]と対の第2の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]との間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される、適用することと、対比較フィルターの適用後、プロセッサによって、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、を含む。
特定の実施形態では、3D画像は、対象の胸骨および胸骨の下端のグラフィック表現を含む。
特定の実施形態では、対象となる1つ以上の骨は、グラフィック表現における胸骨を含み、参照物体は、胸骨の下端を含む。
別の態様では、本発明は、対象の1つ以上の3D画像を位置合わせするためのシステムであって、本システムが、プロセッサと、命令が記憶されたメモリと、を備え、本命令が、プロセッサによって実行されると、プロセッサに、(a)対象の3D画像(例えば、断層画像、例えば、CT、マイクロCT、SPECT、X線、MR、超音波、および/またはこれらの任意の組み合わせを介して取得される画像)を受信することであって、3D画像が、肋骨および背骨のグラフィック表現を含む、受信することと、(b)グラフィック表現において、(i)背骨および(ii)肋骨を含む胸郭骨[{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された肋骨に対応する第2の部分に分離することによって[{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された肋骨に対応する第2の部分に分離し(例えば、および任意選択的に、識別された胸骨に対応する第3の部分)}{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された肋骨に対応する第2の部分(例えば、胸骨と一緒に肋骨を含む)に分離し、任意選択的に続いて識別された胸郭骨を識別された胸骨および残りの骨に対応する部分(すなわち、肋骨)に分離することによって}]を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザーの相互作用を介して、例えば、グラフィカルに分離する]ことと、(c)複数のシード肋骨人工物体を自動的に生成することであって、各シード肋骨人工物体が、グラフィック表現において背骨から第1の距離間隔内にあり(例えば(i)シード肋骨人工物体の各点に対して、点から識別された背骨の表面までの最短距離が、第1の距離間隔内にあり、例えば(ii)シード肋骨人工物体の各点に対して、点から識別された背骨の中心線までの最短距離が第1の距離間隔内にある)、グラフィック表現における肋骨の領域に対応する(例えば、各シード肋骨人工物体に、左右インデックスおよび肋骨数インデックスが割り当てられる)、自動的に生成することと、(d)自動的に生成された各シード肋骨人工物体について、複数の関連付けられた後続の肋骨人工物体を自動的に生成し、それにより人工物体のセット(例えば、シードおよび後続の肋骨人工物体を含むセット)を作り出すことと、(e)画像内の人工物体のセットを使用して、対象の1つ以上の画像の位置合わせを自動的に行うことと(例えば、人工ランドマークのセットを使用して、各ランドマークが画像内の対応する人工物体に基づいて決定され、例えば、人工ランドマークのセットの各人工ランドマークが、人工物体のセットの各人工物体の質量中心として計算される)、を行わせる、システムを対象とする。
特定の実施形態では、背骨および肋骨を識別することは、1つ以上の骨マスクのセットを決定して、グラフィック表現における特定の骨を識別することを含む。例えば、骨マスクのセットの決定は、複数のステップ、例えば、グラフィック表現における骨のうちのすべてを識別するための第1のステップ、背骨を識別するための第2のステップ、および肋骨を含む(未分化)胸郭骨を識別するための第3のステップで実施され得る。特定の実施形態では、識別された胸郭骨は、胸骨と一緒に肋骨を含む。特定の実施形態では、識別された胸郭骨を(i)識別された胸骨および(ii)識別された肋骨に対応する残りの骨に分離する第4のステップが行われる。特定の実施形態では、胸骨および肋骨を別々に識別する必要はなく、識別された胸郭骨は、胸骨と一緒に肋骨の未分化の集合に対応する。特定の実施形態では、胸骨および肋骨は別々に識別され、識別された胸郭骨および/または識別された胸郭骨に対応するマスク上で行われる本明細書に記載の操作は、識別された肋骨および/または識別された肋骨に対応するマスク上で行われる。特定の実施形態では、個々の肋骨を別々に識別する必要はない(他の実施形態ではこれを行ってもよい)が、肋骨の未分化の集合が識別される。
特定の実施形態では、命令は、プロセッサに、三次元の複数の点の各々での強度(例えば、数値、例えば、非負の数)値を含む背骨距離マップを決定することであって、背骨距離マップの強度値の各々が、3D空間における所与の点からグラフィック表現における識別された背骨までの距離に対応する(例えば(i)所与の点から識別された背骨の点までの最短距離、例えば(ii)所与の点から識別された背骨の中心線までの最短距離)、決定することと、背骨距離マップから背骨距離間隔マスクを生成することであって、背骨距離間隔マスクが、識別された背骨から第1の距離間隔内にある画像の領域に対応する[例えば、距離間隔マスクは2値マスクであり、距離間隔(例えば、第1の距離間隔)内で識別された背骨までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる]、生成することと、背骨距離間隔マスクと識別された胸郭骨(例えば、識別された肋骨)に対応するマスクとの間のAND演算(例えば、点別AND演算)を適用し、それにより、識別された背骨から第1の距離間隔内にある識別された胸郭骨の複数の領域を識別することと、によって、複数のシード肋骨人工物体を自動的に生成させる。
特定の実施形態では、ステップ(c)では、命令が、プロセッサに、複数のシード肋骨人工物体の各々について、(i)左右インデックス(例えば、シード肋骨人工物体の1つ以上の点から決定されるx座標に基づいて)および(ii)肋骨数インデックス(例えば、シード肋骨人工物体の1つ以上の点から決定されるz座標に基づいて)を、シード肋骨人工物体と関連付けさせる。
特定の実施形態では、シード肋骨人工物体を左右インデックスと関連付けることは、予備ステップとして、予備回転および並進変換を適用することと、その後、左右インデックスを決定することと(例えば、シード肋骨人工物体の1つ以上の点から決定されるx座標に基づいて)、を含む。特定の実施形態では、予備回転および並進変換は、グラフィック表現において識別された背骨の主軸および/または識別された胸骨の主軸を使用して決定される。
特定の実施形態では、自動的に生成された各シード肋骨人工物体について、複数の関連付けられた後続の肋骨人工物体は、肋骨人工物体の等距離連鎖を含む。
特定の実施形態では、3D画像は、肋骨、骨格、および胸骨のグラフィック表現を含み、各肋骨人工物体は、グラフィック表現において識別された胸骨から少なくとも予め定義された第1の閾値距離である(例えば、各肋骨人工物体の各点について、点から識別された胸骨までの最短距離が、少なくとも第1の閾値距離であり、例えば、各肋骨人工物体の各点について、点から識別された胸骨の中心線までの最短距離が、少なくとも第1の閾値距離である)。
特定の実施形態では、命令は、プロセッサに、グラフィック表現における第1の肋骨と第2の肋骨との間の距離が予め定義された第2の閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を自動的に識別する[例えば、識別された胸郭骨に対応するマスクに1つ以上の形態学的操作(例えば、形態学的閉鎖操作を含む)および1つ以上の論理操作を適用することによって、画像の1つ以上の危険な領域を自動的に識別する)ことと、画像内のあらゆる識別された危険な領域から十分に遠いように各肋骨人工物体を生成する(例えば、最も近い識別された危険な領域から少なくとも予め定義された第3の閾値距離であり、例えば、各肋骨人工物体の各点について、点から識別された危険な領域までの最短距離が、少なくとも第3の閾値距離である)ことと、を行わせる。
特定の実施形態では、命令は、プロセッサに、それぞれのシード肋骨人工物体から開始することと、段階的な様式で新たな後続の肋骨人工物体を生成することとによって肋骨に沿って肋骨人工物体の連鎖を生成することによって、それぞれのシード肋骨人工物体に関連付けられた複数の後続の肋骨人工物体を自動的に生成させ、新たに生成された各肋骨人工物体は、肋骨に沿って識別された背骨から離れるように外向きに(例えば、以前に生成された肋骨人工物体から予め定義された距離)進む。
特定の実施形態では、3D画像は、肋骨、骨格、および胸骨のグラフィック表現を含み、命令は、プロセッサに、肋骨人工物体の連鎖の少なくとも1つの新たに生成された肋骨人工物体について、新たに生成された肋骨人工物体が、グラフィック表現において識別された胸骨から所定の第1の閾値距離内にあるかどうかを決定することと、新たに生成された肋骨人工物体が識別された胸骨から所定の第1の閾値距離内にあるとの決定に応答して、それぞれのシード肋骨人工物体に関連付けられた後続の人工物体の生成を終了することと、によって、それぞれのシード肋骨人工物体に関連付けられた肋骨人工物体の連鎖を生成させる。
特定の実施形態では、命令は、プロセッサに、グラフィック表現における第1の肋骨と第2の肋骨との間の距離が予め定義された第2の閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別することと、肋骨人工物体の連鎖の少なくとも1つの新たに生成された肋骨人工物体について、新たに生成された肋骨人工物体が、画像の識別された危険な領域から所定の第3の閾値距離内にあるかどうかを決定すること、および新たに生成された肋骨人工物体が画像の識別された危険な領域から所定の第3の閾値距離内にあるとの決定に応答して、それぞれのシード肋骨人工物体に関連付けられた後続の肋骨人工物体の生成を終了することによって、それぞれのシード肋骨人工物体に関連付けられた肋骨人工物体の連鎖を生成させることと、を行わせる。
特定の実施形態では、命令は、識別された胸郭骨に対応するマスクに1つ以上の形態学的閉鎖操作を適用することによって、プロセッサに、1つ以上の危険な領域を自動的に識別させる。
特定の実施形態では、3D画像は、対象の胸骨の少なくとも一部分のグラフィック表現を含み、当該部分は、胸骨の下(例えば、尾側)端を含み、命令は、プロセッサに、(f)グラフィカル表現において、胸骨[{例えば、骨マスクを判定し、続いて識別された骨組織を背骨、胸骨、および残りの骨(すなわち、肋骨)に分離することによって}{例えば、骨マスクを決定し、続いて識別された骨組織を識別された背骨に対応する第1の部分および識別された胸郭骨に対応する第2の部分(例えば、胸骨と一緒に肋骨を含む)に分離し、続いて識別された胸郭骨を識別された胸および残りの骨(すなわち、肋骨)に対応する部分に分離することによって}]および胸骨の下端(例えば、識別された胸骨に対応する胸骨マスクの最小z座標を決定することによって)を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザー相互作用を介して、例えば、グラフィックで単離する]ことと、(g)シード胸骨人工物体を自動的に生成することであって、シード胸骨人工物体が、胸骨の下端から第2の距離間隔内にある識別された胸骨の領域に対応する[例えば(i)シード胸骨人工物体の各点に対して、点から識別された胸骨の下端の表面までの最短距離が第2の距離間隔内にあり、例えば(ii)シード胸骨人工物体の各点に対して、点から識別された胸骨の下端に対応する点までの距離(例えば、ユークリッド距離、例えば、特定の座標(例えば、z座標)に沿った距離)が第2の距離間隔内にある]、自動的に生成することと、(h)シード胸骨人工物体から開始して、識別された胸骨に沿って複数の関連付けられた胸骨人工物体を自動的に生成することであって、複数の胸骨人工物体が、画像内の人工物体のセット内に含まれる(例えば、それにより生成された胸骨人工物体をさらに含む人工物体のセットを作り出す)、自動的に生成することと、によって、プロセッサに、胸骨に沿った一連の人工物体を自動的に生成させる。
特定の実施形態では、命令は、三次元の複数の点の各々での強度(数)値を含む胸骨下端距離マップを決定することであって、背骨距離マップの強度値の各々が、3D空間における所与の点からグラフィック表現における識別された胸骨の下端までの距離に対応する[例えば(i)所与の点から識別された胸骨の下端の表面までの最短距離、例えば(ii)所与の点から識別された胸骨の下端に対応する点までの距離(例えば、ユークリッド距離、例えば、特定の座標に沿った距離(例えば、z座標))]、決定することと、胸骨の下端距離マップから胸骨の下端距離間隔マスクを生成することであって、胸骨の下端距離間隔マスクが、胸骨の下端から第2の距離間隔内にある画像の領域に対応する[例えば、胸骨の下端距離間隔マスクは2値マスクであり、予め定義された距離間隔(例えば、第2の距離間隔)内で胸骨の下端までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる]、生成することと、胸骨の下端距離間隔マスクと識別された胸骨に対応するマスクとの間のAND演算(例えば、点別AND演算)を適用し、それにより、胸骨の下端から第2の距離間隔内にある識別された胸骨の領域を識別することと、によって、プロセッサに、シード胸骨人工物体を自動的に生成させる。
特定の実施形態では、複数の胸骨人工物は、胸骨に沿った胸骨人工物の等距離連鎖を含む。
特定の実施形態では、命令は、シード胸骨人工物体から開始することと、段階的な様式で新たな後続の胸骨人工物体を生成することとによって胸骨人工物体の連鎖を生成することによって、プロセッサに、複数の胸骨人工物体を自動的に生成させ、新たに生成された各胸骨人工物体は、識別された胸骨の下端から離れるように外向きに(例えば、以前に生成された胸骨人工物体から予め定義された距離)進む。
特定の実施形態では、グラフィック表現における胸骨の部分は、胸骨の上端を含み、命令は、プロセッサに、グラフィック表現において、プロセッサによって、胸骨の上端を識別することと、少なくとも1つの新たに生成された胸骨人工物体について、新たに生成された胸骨人工物体が、識別された胸骨の下端から所定の閾値距離に達するか、またはこの範囲内にあるかどうかを決定すること、および新たに生成された胸骨人工物体が識別された胸骨の下端から所定の閾値距離に達するか、またはこの範囲内にあるとの決定に応答して、後続の胸骨人工物体の生成を終了すること、によって、胸骨人工物体の連鎖を生成することと、を行わせる。
特定の実施形態では、画像内の人工物体のセットの各自動的に生成された人工物体(例えば、各肋骨人工物体および/または各胸骨人工物体)は、少なくとも予め定義された閾値体積を有することが確認される。
特定の実施形態では、命令は、グラフィック表現において背骨からある距離間隔内にあるグラフィック表現における肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを生成することと、予想肋骨人工物体のセットに体積フィルターを適用することであって、体積フィルターの適用により、プロセッサによって、決定されたこれらの人工物体が当該セットから削除されて、予め定義された閾値体積を下回る体積を表す、適用することと、体積フィルターの適用後、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、によって、プロセッサに、複数のシード肋骨人工物体を自動的に生成させる。
特定の実施形態では、グラフィック表現における肋骨は、複数の[例えば、対象の所与の側の肋骨の数に対応する(例えば、既知の数の肋骨)]対向する肋骨対(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数の肋骨人工物体の一部分の各肋骨人工物体は、複数の肋骨人工物体対のうちの1つに属し、各対は、一対の対向する肋骨の第1の肋骨(例えば、右肋骨など)に関連付けられた第1の肋骨人工物(例えば、肋骨人工物の関連付けられた左右インデックスに基づいて)、および一対の対向する肋骨の第2の肋骨(例えば、左肋骨)に関連付けられた第2の肋骨人工物体(例えば、肋骨人工物の関連付けられた左右インデックスに基づいて)を含み、各肋骨人工物体対について、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差は、予め定義された閾値体積差を下回り、かつ/または(ii)対の第1の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]と対の第2の物体の高さ[例えば、z方向の物体の厚さ、例えば、背骨に沿った物体の距離(例えば、物体の平均z座標として決定される)]との間の差は、予め定義された閾値高さの差を下回っている。
特定の実施形態では、グラフィック表現における肋骨は、複数の対向する肋骨対(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、命令は、背骨から第1の距離間隔内にあるグラフィック表現における肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを生成することと、一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および反対側の肋骨の対応する第2のシード肋骨人工物体を含む(例えば、各シード肋骨人工物体のz座標に基づいて、例えば、各シード肋骨人工物体の関連付けられた肋骨数インデックスに基づいて、例えば、各シード肋骨人工物体の関連付けられた左右インデックスに基づいて)、自動的に識別することと、予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、対比較フィルターの適用により、当該セットから、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)対の第1の物体の高さと対の第2の物体の高さとの間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される、適用することと、対比較フィルターの適用後、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、によって、プロセッサに、複数のシード肋骨人工物体を自動的に生成させる。
特定の実施形態では、命令は、プロセッサに、連続したシード肋骨人工物体(例えば、シード肋骨人工物体対、連続した肋骨数インデックスを有する対の第1および第2のシード肋骨人工物体、例えば、シード肋骨人工物体対、関連付けられたz座標の観点から最近傍に対応する対の第1および第2のシード肋骨人工物体)間の距離[例えば、ユークリッド距離、例えば、特定の座標(例えば、z座標)に沿った距離]が一貫している(例えば、対ごとに実質的に同じである、例えば、所与の許容範囲内にある)かどうかを検証させる。
特定の実施形態では、命令は、プロセッサに、対象の第1の画像および対象の第2の画像を受信することと、人工物体の複数のクロス画像対を識別することであって、人工物体の各クロス画像対が、第1の画像の人工物体の第1のセットの第1の人工物体および第2の画像の人工物体の第2のセットの対応する第2の人工物体を含む、識別することと、人工物体の各クロス画像対について、第1の人工物体の体積と第2の人工物体の体積との間の差を決定することと、それぞれの各画像の人工物体のそれぞれのセットから、決定された体積差が予め定義された閾値差を上回るクロス画像対の人工物体を削除することと、を行わせる。
特定の実施形態では、命令は、プロセッサに、画像内の人工物体のセットに基づいて、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、例えば、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン変換、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することと、画像位置合わせ変換を3D画像の領域に適用し、それにより3D画像を位置合わせする(例えば、画像の歪みを補正する、かつ/または3D画像を対象の1つ以上の異なる3D画像と同時位置合わせする)ことと、を行わせる。
特定の実施形態では、画像位置合わせ変換は、3D画像の対称化をもたらし、それにより画像の歪みを補正する。
特定の実施形態では、受信画像は、第1の画像に対応し、画像位置合わせ変換は、第1の画像を対象の第2の画像と整列させ、それにより第1の画像を第2の画像と同時位置合わせする。
特定の実施形態では、命令は、画像内の人工物体のセットから、画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応する、決定することと、画像内の人工ランドマークのセットおよび標的ランドマークのセットを使用して、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することであって、画像位置合わせ変換が、画像内の人工ランドマークに対応する点に適用されると、標的ランドマークのセットとの人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することと、によって、プロセッサに画像位置合わせ変換を決定させる。
特定の実施形態では、標的ランドマークのセットは、対称である[例えば、標的ランドマークのセットは、対象の1つ以上の右肋骨に関連付けられた複数の右側標的ランドマークを含み、各右側標的ランドマークについて、一致する左肋骨に関連付けられた一致する左側標的ランドマークを含み、各右側標的ランドマークについて、右側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する左側標的ランドマークの位置にマッピングされ、各左側標的ランドマークについて、左側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する右側標的ランドマークの位置にマッピングされ、例えば、標的ランドマークのセットは、複数の胸骨標的ランドマークを含み、各胸骨標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で実質的に不変である]。
特定の実施形態では、命令は、プロセッサに、画像内の人工ランドマークのセットを使用して標的ランドマークのセットを決定させる。
特定の実施形態では、標的ランドマークのセットは、所定の標的ランドマークのセットである(例えば、受信画像とは異なる対象の1つ以上の3D画像から決定され、例えば、異なる対象の1つ以上の3D画像を含む複数の3D画像から決定される)。
特定の実施形態では、受信された3D画像は、軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する1つ以上の領域を含み、命令は、プロセッサに、画像位置合わせ変換を軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する画像の1つ以上の領域に適用させ、それにより、軟部組織領域を位置合わせさせる(例えば、軟部組織領域の歪みを補正させ、かつ/または軟部組織領域を対象の1つ以上の異なる3D画像と同時位置合わせさせる)。
特定の実施形態では、肋骨および背骨のグラフィック表現を含む対象の受信された3D画像は、第1のモダリティ(例えば、マイクロCT)を介して記録された第1の画像に対応し、命令は、プロセッサに、第2のモダリティを介して記録された第2の画像(例えば、第1のモダリティとは異なる、例えば、PET、例えば、光学撮像モダリティ(例えば、FMT))を受信することと、画像内の人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、第2の画像位置合わせ変換を第2の画像の領域に適用することと、を行わせる。
特定の実施形態では、第2の画像は、対象が実質的に同様の姿勢および/または位置にある状態で、第1の画像と実質的に同時に記録される(例えば、対象は、第1および第2の画像の記録中に固定された姿勢および/または位置にあり、例えば、第1および第2の画像は、マルチモーダル撮像システムを使用して記録される)。
特定の実施形態では、第2の画像位置合わせ変換は、第1の画像位置合わせ変換と同じである。
特定の実施形態では、第1の画像の複数の点の座標は、既知の関数関係(例えば、第1および第2の撮像モダリティ間の既知の空間的関係に基づいて)を介して第2の画像の複数の点の座標に関連する。
別の態様では、本発明は、対象の1つ以上の3D画像を位置合わせするためのシステムであって、本システムは、プロセッサと、命令が記憶されたメモリと、を備え、命令は、プロセッサによって実行されると、プロセッサに、(a)対象の3D画像(例えば、断層画像、例えば、CT、マイクロCT、SPECT、X線、MR、超音波、および/またはこれらの任意の組み合わせを介して取得される画像)を受信することであって、3D画像が、対象となる1つ以上の骨(例えば、対象の軸骨格骨、例えば、複数の肋骨および/または背骨、例えば、胸骨)のグラフィック表現を含む、受信することと、(b)グラフィック表現において、対象となる1つ以上の骨(例えば、胸郭骨(例えば、胸骨と一緒の肋骨)、例えば、肋骨、例えば、胸骨)および参照物体(例えば、背骨、例えば、胸骨の下端)を識別する[例えば、自動的に(例えば、セグメンテーションを介して)、例えば、ユーザー相互作用を介して、例えば、グラフィックで単離する]ことと、(c)1つ以上のシード肋骨人工物体を自動的に生成することであって、各シード肋骨人工物体が、参照物体から第1の距離間隔内にあり(例えば(i)シード肋骨人工物体の各点に対して、点から参照物体の表面までの最短距離が、第1の距離間隔内にあり、例えば(ii)シード人工物体の各点に対して、点から参照物体の中心線までの最短距離が第1の距離間隔内にある)、グラフィック表現における対象となる骨の領域に対応する、自動的に生成することと、(d)自動的に生成された各シード肋骨人工物体について、複数の関連付けられた後続の肋骨人工物体を自動的に生成し、それにより画像内に人工物体のセット(例えば、シードおよび後続の肋骨人工物体を含むセット)を作り出すことと、(e)画像内の人工物体のセットを使用して、対象の1つ以上の画像の位置合わせを自動的に行うことと[例えば、人工ランドマークのセットを使用して、各ランドマークが画像内の対応する人工物体に基づいて決定される(例えば、人工ランドマークのセットの各人工ランドマークが、人工物体のセットの各人工物体の質量中心として計算される)]、を行わせる、システムを対象とする。
特定の実施形態では、命令は、三次元の複数の点の各々における強度(例えば、数値、例えば、非負の数)値を含む距離マップを決定することであって、距離マップの強度値の各々が、3D空間における所与の点から参照物体までの距離に対応する(例えば(i)所与の点から識別された参照物体の表面までの最短距離、例えば(ii)所与の点から識別された参照物体の中心線までの最短距離)、決定することと、距離マップから距離間隔マスクを生成することと[例えば、距離間隔マスクは2値マスクであり、距離間隔(例えば、第1の距離間隔)内の参照物体までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる]、距離間隔マスクと対象となる識別された1つ以上の骨に対応するマスクとの間のAND演算(例えば、点別AND演算)を適用し、それにより、参照物体から第1の距離間隔内にある対象となる識別された骨の複数の領域を識別することと、によって、プロセッサに、1つ以上のシード人工物体を自動的に生成させる。
特定の実施形態では、自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体は、人工物体の等距離連鎖を含む。
特定の実施形態では、各人工物体は、グラフィック表現内の識別された追加の骨(例えば、胸骨)からの所定の閾値距離(例えば、その表面からの距離、例えば、その中心線からの距離)である。
特定の実施形態では、命令は、プロセッサに、グラフィック表現における対象となる第1の骨と対象となる第2の骨との間の距離が予め定義された閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別する(例えば、識別された対象となる骨に対応するマスクに1つ以上の形態学的操作(例えば、形態学的閉鎖操作を含む)および1つ以上の論理操作を適用することによって、画像の1つ以上の危険な領域を自動的に識別する)ことと、画像内のあらゆる識別された危険な領域から十分に遠いように各人工物体を自動的に生成する(例えば、最も近い識別された危険な領域から少なくとも予め定義された第3の閾値距離であり、例えば、各人工物体の各点について、点から識別された危険な領域までの最短距離が、少なくとも第3の閾値距離である)ことと、を行わせる。
特定の実施形態では、命令が、プロセッサに、シード人工物体から開始することと、段階的な様式で新たな後続の人工物体を生成することとによって対象となる骨に沿って人工物体の連鎖を生成することによって、それぞれのシード人工物体に関連付けられた複数の後続の人工物体を自動的に生成させ、新たに生成された各人工物体が、対象となる骨に沿って識別された参照物体から離れるように外向きに(例えば、以前に生成された肋骨人工物体から予め定義された距離)進む。
特定の実施形態では、命令は、人工物体の連鎖の少なくとも1つの新たに生成された人工物体について、新たに生成された人工物体が、グラフィック表現において識別された追加の骨(例えば、胸骨)から所定の閾値距離内にあるかどうかを決定することと、新たに生成された人工物体が画像の識別された追加の骨(例えば、胸骨)から所定の閾値距離内にあるとの決定に応答して、それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することと、によって、プロセッサに、それぞれのシード人工物体に関連付けられた人工物体の連鎖を生成させる。
特定の実施形態では、命令は、プロセッサに、グラフィック表現における対象となる第1の骨と対象となる第2の骨との間の距離が予め定義された閾値距離を下回る領域に対応する画像の1つ以上の危険な領域を識別することと、人工物体の連鎖の少なくとも1つの新たに生成された人工物体について、新たに生成された人工物体が、画像の識別された危険な領域から所定の閾値距離内にあるかどうかを決定すること、および新たに生成された人工物体が画像の識別された危険な領域から所定の閾値距離内にあるとの決定に応答して、それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することによって、それぞれのシード人工物体に関連付けられた人工物体の連鎖を生成することと、を行わせる。
特定の実施形態では、画像内の人工物体のセットの各人工物体(例えば、各肋骨人工物体および/または各胸骨人工物体)は、少なくとも予め定義された閾値体積を有することが確認される。
特定の実施形態では、命令は、参照物体から第1の距離間隔内にある対象となる1つ以上の骨の複数の領域に対応する予想シード人工物体のセットを生成することと、予想シード人工物体のセットに体積フィルターを適用することであって、体積フィルターの適用により、決定されたこれらの人工物体が当該セットから削除されて、予め定義された閾値体積を下回る体積を表す、適用することと、体積フィルターの適用後、予想シード人工物体のセットからシード人工物体を選択することと、によって、プロセッサに、1つ以上のシード肋骨人工物体を自動的に生成させる。
特定の実施形態では、命令は、プロセッサに、対象の第1の画像および対象の第2の画像を受信することと、人工物体の複数のクロス画像対を識別することであって、人工物体の各クロス画像対が、第1の画像の人工物体の第1のセットの第1の人工物体および第2の画像の人工物体の第2のセットの対応する第2の人工物体を含む、識別することと、人工物体の各クロス画像対について、第1の人工物体の体積と第2の人工物体の体積との間の差を決定することと、それぞれの各画像の人工物体のそれぞれのセットから、決定された体積差が予め定義された閾値差を上回るクロス画像対の人工物体を削除することと、を行わせる。
特定の実施形態では、命令は、プロセッサに、画像内の人工物体のセットに基づいて、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、例えば、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することと、画像位置合わせ変換を3D画像の領域に適用し、それにより3D画像を位置合わせする(例えば、画像の歪みを補正する、かつ/または3D画像を対象の1つ以上の異なる3D画像と同時位置合わせする)ことと、を行わせる。
特定の実施形態では、画像位置合わせ変換は、3D画像の対称化をもたらし、それにより画像の歪みを補正する。
特定の実施形態では、受信画像は、第1の画像に対応し、画像位置合わせ変換は、第1の画像を対象の第2の画像と整列させ、それにより第1の画像を第2の画像と同時位置合わせする。
特定の実施形態では、命令は、プロセッサに、画像内の人工物体のセットから、画像内の人工ランドマークのセットを決定することであって、各人工ランドマークが、対応する人工物体から決定された点に対応する、決定することと、画像内の人工ランドマークのセットおよび標的ランドマークのセットを使用して、画像位置合わせ変換[例えば、線形変換(例えば、剛体変換(例えば、並進、例えば、回転)、例えば、アフィン変換、例えば、1つ以上の剛体変換および/またはアフィン変換の任意の組み合わせ)、例えば、非線形変換(例えば、歪み場の正規化または平滑化外挿、例えば、薄板スプライン、例えば、外挿操作および/または平滑化操作を含む変換)、例えば、1つ以上の線形変換と1つ以上の非線形変換との組み合わせ]を決定することであって、画像位置合わせ変換が、画像内の人工ランドマークに対応する点に適用されると、標的ランドマークのセットとの人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することと、によって、プロセッサに画像位置合わせ変換を決定させる。
特定の実施形態では、標的ランドマークのセットは対称である[例えば、標的ランドマークのセットは、対象の右側上の対象となる1つ以上の骨に関連付けられた複数の右側標的ランドマークを含み、各右側標的ランドマークについて、対象の左側上の対象となる一致する骨に関連付けられた一致する左側標的ランドマークを含み、各右側標的ランドマークについて、右側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する左側標的ランドマークの位置にマッピングされ、各左側標的ランドマークについて、左側標的ランドマークの位置は、画像に適用されるミラー操作(例えば、y‐z平面についてのミラーリング)下で一致する右側標的ランドマークの位置にマッピングされる]。
特定の実施形態では、命令は、プロセッサに、画像内の人工ランドマークのセットを使用して標的ランドマークのセットを決定させる。
特定の実施形態では、標的ランドマークのセットは、所定の標的ランドマークのセットである(例えば、受信画像とは異なる対象の1つ以上の3D画像から決定され、例えば、異なる対象の1つ以上の3D画像を含む複数の3D画像から決定される)。
特定の実施形態では、受信された3D画像は、軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する1つ以上の領域を含み、命令は、プロセッサに、画像位置合わせ変換を軟部組織(例えば、肺、心臓など)のグラフィック表現に対応する画像の1つ以上の領域に適用させ、それにより、軟部組織領域を位置合わせさせる(例えば、軟部組織領域の歪みを補正させ、かつ/または軟部組織領域を対象の1つ以上の異なる3D画像と同時位置合わせさせる)。
特定の実施形態では、対象の受信された3D画像は、第1のモダリティ(例えば、マイクロCT)を介して記録された第1の画像に対応し、命令は、プロセッサに、第2のモダリティを介して記録された第2の画像(例えば、第1のモダリティとは異なる、例えば、PET、例えば、光学撮像モダリティ(例えば、FMT))を受信することと、画像内の人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、第2の画像位置合わせ変換を第2の画像の領域に適用することと、を行わせる。
特定の実施形態では、第2の画像は、対象が実質的に同様の姿勢および/または位置にある状態で、第1の画像と実質的に同時に記録される(例えば、対象は、第1および第2の画像の記録中に固定された姿勢および/または位置にあり、例えば、第1および第2の画像は、マルチモーダル撮像システムを使用して記録される)。
特定の実施形態では、第2の画像位置合わせ変換は、第1の画像位置合わせ変換と同じである。
特定の実施形態では、第1の画像の複数の点の座標は、既知の関数関係(例えば、第1および第2の撮像モダリティ間の既知の空間的関係に基づいて)を介して第2の画像の複数の点の座標に関連する。
特定の実施形態では、3D画像は、肋骨および背骨のグラフィック表現を含み、識別された対象となる1つ以上の骨は、肋骨を含み、識別された参照物体は、対象の背骨である。
特定の実施形態では、肋骨のグラフィック表現は、複数の対向する肋骨対(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、複数の肋骨人工物体の一部分の各肋骨人工物体は、複数の肋骨人工物体対のうちの1つに属し、各対は、一対の対向する肋骨の第1の肋骨(例えば、右肋骨)に関連付けられた第1の肋骨人工物、および一対の対向する肋骨の第2の肋骨(例えば、左肋骨)に関連付けられた第2の肋骨人工物体を含み、各肋骨人工物体対について、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差は、予め定義された閾値体積差を下回り、かつ/または(ii)対の第1の物体の高さと対の第2の物体の高さとの間の差は、予め定義された閾値高さの差を下回っている。
特定の実施形態では、グラフィック表現における肋骨は、一対以上の対向する肋骨(例えば、右肋骨および対応する左肋骨を含む各対向する肋骨対)を含み、命令は、背骨からある距離間隔内にある肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを識別することと、一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および反対側の肋骨の対応する第2のシード肋骨人工物体を含む、自動的に識別することと、予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、対比較フィルターの適用により、当該セットから、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)対の第1の物体の高さと対の第2の物体の高さとの間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される、適用することと、対比較フィルターの適用後、予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、によって、プロセッサに、複数のシード肋骨人工物体を自動的に生成させる。
特定の実施形態では、3D画像は、対象の胸骨および胸骨の下端のグラフィック表現を含む。
特定の実施形態では、対象となる1つ以上の骨は、グラフィック表現における胸骨を含み、参照物体は、胸骨の下端を含む。
本明細書は、例えば、以下の項目も提供する。
(項目1)
対象の1つ以上の3D画像を位置合わせするためのシステムであって、
プロセッサと、
命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
(a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含む、受信すること、
(b)グラフィック表現において対象となる1つ以上の骨および参照物体を識別すること、
(c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記グラフィック表現における対象となる骨の領域に対応する、自動的に生成すること、
(d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記画像内に人工物体のセットを作り出すこと、
(e)前記画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に行うこと、を行わせる、システム。
(項目2)
前記命令が、
三次元の複数の点の各々における強度値を含む距離マップを決定することであって、前記距離マップの前記強度値の各々が、3D空間における所与の点から前記参照物体までの距離に対応する、決定することと、
前記距離マップから距離間隔マスクを生成することと、
前記距離間隔マスクと、前記識別された対象となる1つ以上の骨に対応するマスクとの間にAND演算を適用し、それにより、前記参照物体から前記第1の距離間隔内にある前記識別された対象となる骨の複数の領域を識別することと、によって、前記プロセッサに前記1つ以上のシード人工物体を自動的に生成させる、項目1に記載のシステム。
(項目3)
自動的に生成された各シード人工物体について、前記複数の関連付けられた後続の人工物体が、人工物体の等距離連鎖を含む、項目1に記載のシステム。
(項目4)
各人工物体が、前記グラフィック表現内の識別された追加の骨から予め定義された閾値距離である、項目1に記載のシステム。
(項目5)
前記命令が、前記プロセッサに、
前記グラフィック表現における対象となる第1の骨と第2の骨との間の距離が予め定義された閾値距離未満である領域に対応する前記画像の1つ以上の危険な領域を識別することと、
前記画像内のあらゆる識別された危険な領域から十分に遠ざかるように、各人工物体を自動的に生成することと、を行わせる、項目1に記載のシステム。
(項目6)
前記命令が、前記プロセッサに、前記シード人工物体から開始することと、段階的な様式で新たな後続の人工物体を生成することとによって対象となる骨に沿って人工物体の連鎖を生成することによって、それぞれのシード人工物体に関連付けられた前記複数の後続の人工物体を自動的に生成させ、新たに生成された各人工物体が、前記対象となる骨に沿って前記識別された参照物体から離れるように外向きに進む、項目1に記載のシステム。
(項目7)
前記命令が、前記プロセッサに、前記人工物体の連鎖の少なくとも1つの新たに生成された人工物体について、前記それぞれのシード人工物体に関連付けられた前記人工物体の連鎖を生成することと、
前記新たに生成された人工物体が前記グラフィック表現において識別された追加の骨から所定の閾値距離内にあるかどうかを決定することと、
前記新たに生成された人工物体が前記画像の前記識別された追加の骨から前記所定の閾値距離内にあるとの決定に応答して、前記それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することと、を行わせる、項目6に記載のシステム。
(項目8)
前記画像内の前記人工物体のセットの各人工物体が、少なくとも予め定義された閾値体積を有することが確認される、項目1に記載のシステム。
(項目9)
前記命令が、前記プロセッサに、
前記画像内の前記人工物体のセットに基づいて、画像位置合わせ変換を決定することと、
前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより前記3D画像を位置合わせすることと、を行わせる、項目1に記載のシステム。
(項目10)
前記画像位置合わせ変換が、前記3D画像の対称化をもたらし、それにより前記画像の歪みを補正する、項目9に記載のシステム。
(項目11)
前記受信画像が第1の画像に対応し、前記画像位置合わせ変換が、前記第1の画像を前記対象の第2の画像と整列させ、それにより前記第1の画像を前記第2の画像と同時位置合わせさせる、項目9に記載のシステム。
(項目12)
前記命令が、
前記画像内の前記人工物体のセットから、前記画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応する、決定することと、
前記画像内の前記人工ランドマークのセットおよび標的ランドマークのセットを使用して前記画像位置合わせ変換を決定することであって、前記画像位置合わせ変換が、前記画像内の前記人工ランドマークに対応する点に適用されると、前記標的ランドマークのセットとの前記人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することと、によって、前記プロセッサに前記画像位置合わせ変換を決定させる、項目9に記載のシステム。
(項目13)
前記標的ランドマークのセットが対称である、項目12に記載のシステム。
(項目14)
前記命令が、前記プロセッサに、前記画像内の前記人工ランドマークのセットを使用して、前記標的ランドマークのセットを決定させる、項目12に記載のシステム。
(項目15)
前記標的ランドマークのセットが、所定の標的ランドマークのセットである、項目12に記載のシステム。
(項目16)
前記受信された3D画像が、軟部組織のグラフィック表現に対応する1つ以上の領域を含み、前記命令が、前記プロセッサに、軟部組織のグラフィック表現に対応する前記画像の前記1つ以上の領域に前記画像位置合わせ変換を適用させ、それにより前記軟部組織を位置合わせさせる、項目9に記載のシステム。
(項目17)
前記対象の前記受信された3D画像が、第1のモダリティを介して記録された第1の画像に対応し、前記命令が、前記プロセッサに、
第2のモダリティを介して記録された第2の画像を受信することと、
前記画像内の前記人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、
前記第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、
前記第2の画像の領域に前記第2の画像位置合わせ変換を適用することと、を行わせる、項目9に記載のシステム。
(項目18)
前記第2の画像が、前記対象が実質的に同様の姿勢および/または位置にある状態で、前記第1の画像と実質的に同時に記録される、項目17に記載のシステム。
(項目19)
前記第2の画像位置合わせ変換が、前記第1の画像位置合わせ変換と同じである、項目17に記載のシステム。
(項目20)
前記第1の画像の複数の点の座標が、既知の関数関係を介して、前記第2の画像の複数の点の座標に関連する、項目17に記載のシステム。
(項目21)
前記3D画像が、肋骨および背骨のグラフィック表現を含み、
前記識別された対象となる1つ以上の骨が、肋骨を含み、
前記識別された参照物体が、前記対象の背骨である、項目1に記載のシステム。
(項目22)
前記肋骨のグラフィック表現が、複数の対向する肋骨対を含み、
複数の肋骨人工物体の一部分の各肋骨人工物体が、複数の肋骨人工物体対のうちの1つに属し、各対が、一対の対向する肋骨の第1の肋骨に関連付けられた第1の肋骨人工物体、および前記一対の対向する肋骨の第2の肋骨に関連付けられた第2の肋骨人工物体を含み、
各対の肋骨人工物体について、(i)前記対の前記第1の物体によって表される体積と前記対の前記第2の物体によって表される体積との間の差が、予め定義された閾値体積差を下回っており、かつ/または(ii)前記対の前記第1の物体の高さと前記対の前記第2の物体の高さとの間の差が、予め定義された閾値高さの差を下回っている、項目21に記載のシステム。
(項目23)
前記グラフィック表現における前記肋骨が、一対以上の対向する肋骨を含み、前記命令が、
背骨からある距離間隔内にある前記肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを識別することと、
一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、前記一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および前記対向する肋骨の対応する第2のシード肋骨人工物体を含む、識別することと、
前記予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、前記対比較フィルターの適用により、前記セットから、(i)前記対の前記第1の物体によって表される体積と前記対の前記第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)前記対の前記第1の物体の高さと前記対の前記第2の物体の高さとの間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される、適用することと、
前記対比較フィルターの適用後に、前記予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、によって、前記プロセッサに前記複数のシード肋骨人工物体を自動的に生成させる、項目1に記載のシステム。
(項目24)
前記3D画像が、前記対象の胸骨および前記胸骨の下端のグラフィック表現を含む、項目1に記載のシステム。
(項目25)
前記対象となる1つ以上の骨が、前記グラフィック表現における前記胸骨を含み、前記参照物体が、前記胸骨の下端を含む、項目24に記載のシステム。
(項目26)
対象の1つ以上の3D画像を位置合わせするためのシステムであって、
プロセッサと、
命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
(a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含む、受信することと、
(b)グラフィック表現において対象となる1つ以上の骨および参照物体を識別することと、
(c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記グラフィック表現における対象となる骨の領域に対応する、自動的に生成することと、
(d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記画像内に人工物体のセットを作り出すことと、
(e)前記画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に行うことと、
(f)前記画像内の前記人工物体のセットに基づいて、
前記画像内の前記人工物体のセットから、前記画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応する、決定することと、
前記画像内の前記人工ランドマークのセットおよび対称標的ランドマークのセットを使用して前記画像位置合わせ変換を決定することであって、前記画像位置合わせ変換が、前記画像内の前記人工ランドマークに対応する点に適用されると、前記対称標的ランドマークのセットとの前記人工ランドマークのセットの整列を実質的に最適化するように決定される、決定することによって、画像位置合わせ変換を決定することと、
(g)前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより前記3D画像を位置合わせすることと、を行わせる、システム。
(項目27)
対象の1つ以上の3D画像を位置合わせするためのシステムであって、
プロセッサと、
命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
(a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含む、受信することと、
(b)グラフィック表現において対象となる1つ以上の骨および参照物体を識別することと、
(c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記グラフィック表現における対象となる骨の領域に対応する、自動的に生成することと、
(d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記画像内に人工物体のセットを作り出すことと、
(e)前記画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に実行することと、
(f)前記画像内の前記人工物体のセットに基づいて、画像位置合わせ変換を決定することと、
(g)前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより、第1のモダリティを介して記録された第1の画像に対応する前記3D画像を位置合わせすることと、
(h)第2のモダリティを介して記録された第2の画像を受信することと、
(i)前記画像内の前記人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、
(j)前記第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、
(k)前記第2の画像の領域に前記第2の画像位置合わせ変換を適用することであって、
前記第2の画像は、前記対象が実質的に同様の姿勢および/または位置にある状態で、前記第1の画像と実質的に同時に記録される、適用することと、を行わせる、システム。
本開示の前述および他の目的、態様、特徴、および利点は、添付の図面と併せて以下の記載を参照することによって、より明らかになり、よりよく理解されるであろう。
例示的な実施形態による、マウスの胸郭骨のグラフィック表現を含む一連の画像であり、各画像は、異なる時点で記録されたマウスの異なる3D画像内で識別された胸郭骨のグラフィック表現の投影を示す。 例示的な実施形態による、歪み補正の結果を示す、マウスの胸郭骨のグラフィック表現を含む2つの画像のセットである。 例示的な実施形態による、記録された画像に歪み補正および同時位置合わせが適用されている、異なる時間に記録された一連の画像である。 例示的な実施形態による、回転に対応する線形変換の適用の結果、および歪み場補正に対応する非線形変換の適用の結果を示す画像のセットである。 例示的な実施形態による、画像に表される胸骨、左肋骨、および右肋骨に沿って一連の自動的に生成された人工ランドマークを示す画像のセットである。 例示的な実施形態による、画像座標の関数として、歪み場のx成分を表す決定された歪み補正関数を示す強度マップである。 例示的な実施形態による、複数の人工ランドマークの位置での歪み場のx成分を表す歪み補正関数の測定値および外挿値を示すグラフである。 例示的な実施形態による、左右の肋骨に沿って生成された人工物体を示す画像である。 例示的な実施形態による、対象の肋骨に沿った人工ランドマークを使用して、単一画像の歪みを補正するためのプロセス、または複数の画像の歪み補正および/もしくは同時位置合わせのためのプロセスのブロックフロー図である。 例示的な実施形態による、対象となる骨に沿った人工ランドマークを使用して、単一画像の歪みを補正するためのプロセス、または複数の画像の歪み補正および/もしくは同時位置合わせのためのプロセスのブロックフロー図である。 例示的な実施形態による、隣接する肋骨が互いに近接している、自動的に検出された画像の危険な領域を示す画像である。 例示的な実施形態による、体積フィルターの適用前後の画像内の複数の肋骨に沿って生成された人工物体を示す2つの画像のセットである。 例示的な実施形態による、本明細書に記載の方法およびシステムにおいて使用するための例示的なネットワーク環境のブロック図である。 本発明の例示的な実施形態において使用するための例示的なコンピューティングデバイスおよび例示的なモバイルコンピューティングデバイスのブロック図である。 例示的な実施形態による、記録された画像に位置合わせが適用されていない(例えば、歪み補正なし、同時位置合わせなし)、異なる時間に記録された一連の画像である。 例示的な実施形態による、並進操作に対応する変換が各画像に適用されている、異なる時間に記録された一連の画像である。 例示的な実施形態による、線形変換が各画像に適用されている、異なる時間に記録された一連の画像である。 例示的な実施形態による、線形操作に続く非線形操作を含む変換が各画像に適用されている、異なる時間に記録された一連の画像である。 例示的な実施形態による、画像の非線形位置合わせ後の対象の骨および肺の通気領域のグラフィック表現を示す一連の画像である。
本開示の特徴および利点は、同様の参照文字が全体を通して対応する要素を識別する図面と併せて考慮されるとき、以下に記載の詳細な説明からより明らかになるであろう。図面において、同様の参照数は、概して、同一の、機能的に類似の、かつ/または構造的に類似の要素を示す。
定義
およそ:本明細書で使用される場合、「およそ」または「約」という用語は、対象となる1つ以上の値に適用される場合、述べられた参照値に類似する値を指す。特定の実施形態では、「およそ」または「約」という用語は、特に明記しない限り、または別様に文脈から明らかでない限り、述べられた参照値のいずれかの方向(超えるか、または下回る)において、そのような数が可能な値の100%を超える場合を除き、25%、20%、19%、18%、17%、16%、15%、14%、13%、12%、11%、10%、9%、8%、7%、6%、5%、4%、3%、2%、1%以下の範囲内に該当する値の範囲を指す。
画像:本明細書で使用される場合、「画像」(例えば、哺乳類の3D画像)には、写真、ビデオフレーム、ストリーミングビデオなどの任意の視覚的表現、ならびに写真、ビデオフレーム、またはストリーミングビデオの任意の電子、デジタル、または数学的類似物が含まれる。特定の実施形態では、本明細書に記載のいずれの装置も、画像またはプロセッサによって作成される任意の他の結果を表示するためのディスプレイを含む。特定の実施形態では、本明細書に記載のいずれの方法も、画像または方法を介して作成される任意の他の結果を表示するステップを含む。
3D、三次元:本明細書で使用される場合、「画像」に関する「3D」または「三次元」とは、三次元に関する情報を伝達することを意味する。3D画像は、三次元のデータセットとしてレンダリングされてもよく、かつ/または二次元表現のセットとして、もしくは三次元表現として表示されてもよい。特定の実施形態では、3D画像はボクセル(例えば、体積ピクセル)データとして表される。本明細書で使用される場合、「画像の点」という語句は、画像のボクセルを指す。
様々な医療用撮像デバイスおよび他の3D撮像デバイス(例えば、コンピューター断層撮影スキャナー(CTスキャナー)、マイクロCTスキャナーなど)は、ボクセルを含む3D画像を出力するか、または別様に、分析のためにボクセルを含む3D画像に変換された出力を有する。特定の実施形態では、ボクセルは、3D画像(例えば、3Dアレイ)内の一意の座標に対応する。特定の実施形態では、各ボクセルは、満たされた状態または満たされていない状態(例えば、2値のオンまたはオフ)のいずれかで存在する。
画像の領域:本明細書で使用される場合、「画像の領域」において使用される「領域」という用語は、画像内の点の集合を指す。画像の領域は、画像の参照物体から特定の距離間隔内にある領域として識別され得る。特定の実施形態では、参照物体は、画像内の特定の単一点であり、識別された領域は、点の集合であり、領域の各点について、所与の点から参照点までの距離は、特定の距離間隔内にある。特定の実施形態では、参照物体は、一次元(1D)線であり、識別された領域は、点の集合であり、領域の各点について、所与の点から1D参照線の点までの最短距離は、特定の距離間隔内にある。特定の実施形態では、参照物体は、二次元(2D)表面であり、識別された領域は、点の集合であり、領域の各点について、所与の点から2点表面の点までの最短距離は、特定の距離間隔内にある。特定の実施形態では、参照物体は、画像の三次元領域であり、識別された領域は、点の集合であり、領域の各点について、所与の点から参照物体の表面までの最短距離は、特定の距離間隔内にある。特定の実施形態では、参照物体は、画像の三次元領域であり、識別された領域は、点の集合であり、領域の各点について、所与の点から参照物体の中心線までの最短距離は、特定の距離間隔内にある。
マスク:本明細書で使用される場合、「マスク」とは、2Dまたは3D領域を識別するグラフィックパターンであり、画像または他のグラフィックパターンの部分の除去または保持を制御するために使用される。特定の実施形態では、マスクは、2値の2Dまたは3D画像として表され、2D画像の各ピクセルまたは3D画像の各ボクセルには、値の2値セットの2つの値の一方が割り当てられる(例えば、各ピクセルまたはボクセルに、1または0を割り当てることができ、例えば、各ピクセルまたはボクセルに、ブール「真」または「偽」を割り当てることができる)。
位置合わせ:本明細書で使用される場合、「位置合わせ」および「位置合わせする」という用語は、1つ以上の画像の位置合わせまたは1つ以上の画像を位置合わせするように、標準化された視野を有する対応する画像(複数可)を作成するために、画像(複数可)を変換することを指す。特定の実施形態では、画像の位置合わせは、画像の対称化されたバージョンを作成するために画像の歪みを補正することを含む。特定の実施形態では、画像の位置合わせは、画像を1つ以上の他の画像と同時位置合わせすることを含む。
提供する:本書で使用される場合、「提供する」という用語は、「データを提供する」のように、異なるソフトウェアアプリケーション、モジュール、システム、および/またはデータベース間でデータを渡すためのプロセスを指す。特定の実施形態では、データを提供することは、ソフトウェアアプリケーション間、または同じソフトウェアアプリケーションの異なるモジュール間でデータを転送するプロセスによる命令の実行を含む。特定の実施形態では、ソフトウェアアプリケーションは、ファイルの形態で別のアプリケーションにデータを提供することができる。特定の実施形態では、アプリケーションは、同じプロセッサ上の別のアプリケーションにデータを提供することができる。特定の実施形態では、標準プロトコルを使用して、異なるリソース上のアプリケーションにデータを提供することができる。特定の実施形態では、ソフトウェアアプリケーションのモジュールは、そのモジュールに引数を渡すことによって、別のモジュールにデータを提供することができる。
請求される本発明のシステム、アーキテクチャ、デバイス、方法、およびプロセスは、本明細書に記載の実施形態からの情報を使用して開発された変形形態および適応形態を包含することが企図される。本明細書に記載のシステム、アーキテクチャ、デバイス、方法、およびプロセスの適応および/または修正は、この記載により企図されるように行うことができる。
記載全体を通して、物品、デバイス、システム、およびアーキテクチャが特定のコンポーネントを有するか、含むか、もしくは含むと記載されている場合、またはプロセスおよび方法が、特定のステップを有するか、含むか、もしくは含むと記載されている場合、さらに、列挙された処理ステップから本質的になるか、もしくはこれからなる、本発明の物品、デバイス、システム、およびアーキテクチャがあり、列挙された処理ステップから本質的になるか、もしくはこれからなる、本発明によるプロセスおよび方法があることが企図される。
本発明が実施可能である限り、ステップの順序または特定の動作を行うための順序は重要ではないことが理解されるべきである。さらに、2つ以上のステップまたは動作を同時に実施することができる。
例えば、背景技術の節における任意の出版物の本明細書での言及は、本出版物が本明細書で提示される特許請求の範囲のうちのいずれかに関する先行技術として役立つことを認めるものではない。背景技術の節は、明確にするために提示されており、いずれの請求項に関する先行技術の記載を意味するものではない。
文書は、言及したように、参照により本明細書に組み込まれる。特定の用語の意味に何らかの矛盾がある場合、上記の定義の節で提供される意味が優先される。
読者の便宜のためにヘッダーが提供される−ヘッダーの存在および/または配置は、本明細書に記載の主題の範囲を制限することを意図していない。
本明細書では、3D画像内に描かれた骨に沿った人工ランドマークの自動生成を介した3D画像の歪み補正および/または同時位置合わせのためのシステムおよび方法を記載する。
特定の実施形態では、本明細書に記載のアプローチは、異なる時点で記録された対象の領域の3D画像の比較を容易にする。各画像が異なる時点で記録される複数の3D画像の比較は、肺疾患などの疾患の進行の監視に適切である。特定の実施形態では、疾患の進行を監視することは、3D画像内のデータ記録に基づいて、腫瘍成長、線維症、浮腫、およびそれらの組み合わせを経時的に測定することを含む。特定の実施形態では、肺組織および周囲の結合組織の形態の変化は、肺疾患の進行に対する生理学的反応として生じ、したがって、経時的に監視される。例えば、腫瘍の体積の変化に加えて、研究者または臨床医は、対象の肋骨に関連する対象の肺の下向きの拡大を監視することを望む場合がある−このような肺形態の変化は、対象の肺の領域の体積および/または機能の減少に対する補償を示す可能性がある。
様々な時点で記録された様々な画像を比較することによって、本方法で3D画像を分析することは、各画像について、対象(例えば、マウス、例えば、ヒト対象)の姿勢と位置が異なることが多いため、困難である。したがって、例えば、対象の組織形態(例えば、肺組織)の変化を示す有意義な変動とは別に、異なる時点で記録された画像は、各画像の記録中の対象の姿勢および位置の差から生じる歪みおよび位置の差に対応する、互いに対する変動も含む。
図1は、マウスの軸骨格骨のグラフィック表現を示す、一連の4つの投影102、104、106、108を示す。各投影は、3D画像で軸骨格骨を識別する3Dマスクの投影である。各投影では、各ピクセルの強度は、三次元目に沿ったマスクボクセルの平均強度である。各投影は、マウスの領域の異なる3D画像に対応し、各画像は、異なる時点で記録される。表示された投影が対応する4つの画像の各々は、以前の画像のおよそ1週間後に記録された(例えば、投影102は、第1の画像に対応し、投影104は、第1の画像のおよそ1週間後に記録された第2の3D画像に対応し、投影106は、第2の画像のおよそ1週間後に記録された第3の画像に対応し、投影108は、第3の画像のおよそ1週間後に記録された第4の画像に対応する)。各投影に示されているマウスの骨の形状および向きの差は、各画像の記録中にマウスがいたある程度任意の姿勢および/または位置を例示している。
図2を参照すると、特定の実施形態では、対象の1つ以上の画像に歪み補正が適用され、それにより、所与の画像が記録されたときの対象の姿勢の差を補正する。図2は、マウスの胸郭(例えば、複数の肋骨)ならびに背骨を含むマウスの領域の3D画像内の軸骨格骨を識別するマスクの2つの投影のセット200を示す。左投影210は、歪み補正前のマウスの胸郭骨を示し、右投影250は、歪み補正後の同じ3D画像のマウスの胸郭骨を示す。投影210に示されているマウスの骨格の部分は、3D画像が記録されたときのマウスの特定の姿勢を反映した非対称の形状を有する。歪み補正操作は、3D画像に適用されると、マウスの骨格が対称形状になるように画像を変換し、投影250が対応する補正された3D画像を生成する。特に、歪み補正画像(投影250が対応する)の各座標は、以下に記載される変換(例えば、歪み場補正)を介して、元の画像(投影210が対応する)の対応する座標に関連する。したがって、所与の画像の歪み補正は、画像に適用されると、対称化されたバージョンを作成する適切な変換を決定することを含む。
図3を参照すると、特定の実施形態では、一連の画像(例えば、各画像は異なる時点で記録されている)に同時位置合わせが適用される。同時位置合わせでは、同じ物理的位置が各画像の座標の単一のセットにより表されるように、複数の画像を整列させる。すなわち、例えば、対象の肺内の特定の物理的な位置に対応する所与の点Pは、例えば、第1の画像内の座標の第1のセット(x、y、z)および第2の画像の座標の第2のセット(x、y、z)によって表されるのとは対照的に、各画像内の座標の単一のセットによって表される(x、y、z)。
全体的にx、y、z座標などの座標値が使用されているが、本明細書で使用される特定の座標(例えば、「x、y、z」)自体には特別な意味はなく、むしろ、画像内の特定の方向および特定の位置を参照する際の便宜のために使用されており、本明細書に記載のシステムおよび方法において使用するために画像内の距離を測定するための座標系またはアプローチのいかなる特定の要件を課すことはないことが理解されるべきである。例えば、デカルト座標系を使用する必要はなく、球形または円筒形などの他の座標系を使用して、画像内の特定の点の位置を記載してもよい。
特定の実施形態では、座標軸は、所与の3D画像を記録するために使用される画像取得機器の軸に基づいて定義される。特定の実施形態では、x、y、およびz座標軸は、対象の身体に対する特定の方向とのそれらの整列に基づいて選択される。
例えば、特定の実施形態では、x座標軸は、対象の左側から対象の右側、またはその逆(例えば、反対方向)に、対象の身体を実質的に横切る方向に最も密接に整列される座標軸として選択される。したがって、特定の実施形態では、x方向は、対象の左側から対象の右側、またはその逆(例えば、反対方向)に、対象の身体を実質的に横切って進む方向に対応する。
特定の実施形態では、y座標軸は、対象の実質的に前側(例えば、胸部)から背側(例えば、脊柱)、またはその逆(例えば、反対方向に)の方向に最も密接に整列される座標軸として選択される。したがって、特定の実施形態では、y方向は、対象の前側(例えば、胸部)から背側(例えば、脊柱)、またはその逆(例えば、反対方向)に進む方向に対応する。
特定の実施形態では、z座標軸は、対象の実質的に頭から尾への方向、またはその逆(例えば、反対方向)に最も密接に整列される座標軸として選択される。したがって、特定の実施形態では、z方向は、対象の実質的に頭から尾に進む方向、またはその逆(例えば、反対方向)に対応する。
特定の実施形態では、上記に記載のものなど、座標軸を対象に沿って特定の方向に整列させるために、予備変換(例えば、識別された背骨の主軸および/またはグラフィック表現において識別された胸骨の主軸を使用して決定された予備回転および並進変換)ステップが実行される。特定の実施形態では、本明細書に記載の人工ランドマークを使用して決定された変換は、上記に記載のものなど、座標軸を対象に沿って特定の方向に整列させる。
図3は、異なる時点で収集された一連の3D画像の断面300を示しており、異なる時点で記録された異なる3D画像に歪み補正および位置合わせが適用されている。xz平面の4つの断面(例えば、xz平面のスライス)304a、306a、308a、および310aが、xy平面304b、306b、308b、および310bの断面と共に示されている。参考のために、zy平面302の断面も示されている。断面304aおよび304bは、それぞれ、第1の時点tで記録された画像のxz平面およびxy平面に対応する。断面306aおよび306bは、それぞれ、第2の時点tで記録された画像のxz平面およびxy平面に対応する。断面308aおよび308bは、それぞれ、第3の時点tで記録された画像のxz平面およびxy平面に対応する。断面310aおよび310bは、それぞれ、第4の時点tで記録された画像のxz平面およびxy平面に対応する。図3に示すように、画像の歪み補正および同時位置合わせにより、経時的な疾患の進行(例えば、腫瘍成長、線維症、浮腫)の視覚化が容易になる。
A.人工ランドマークを介した画像の位置合わせ
図4を参照すると、特定の実施形態では、歪み補正と共に同時位置合わせは、1つ以上の線形操作および/または非線形操作を含む変換を一連の画像の1つ以上の画像に適用することによって達成される。特定の実施形態では、変換は、並進および回転を含む線形変換に対応する。線形変換は、画像内で測定された物体の形状を維持するが、画像の互いに対する任意の位置および回転に対して補正する。特定の実施形態では、他の線形変換は、剛体変換(例えば、並進、例えば、回転)、アフィン変換、およびそれらの任意の組み合わせを含み得る。
特定の実施形態では、変換は、歪み場の正規化もしくは平滑化外挿、薄板スプライン、または外挿操作および/もしくは平滑化操作を含む任意の変換などの非線形変換に対応する。特定の実施形態では、非線形変換は、歪み場補正を含む。特定の実施形態では、非線形変換は、歪みに対して補正する(例えば、画像間の差をもたらすため)。特定の実施形態では、非線形変換はまた、一連の画像の微細な同時位置合わせを提供する。
特定の実施形態では、線形変換も、歪み補正のために使用することができる。特定の実施形態では、画像の位置合わせは、非線形変換の決定を容易にする予備ステップとして線形変換を決定および適用することを含む。
図4は、マウスの3D画像内で識別されたマウスの胸郭骨の表現を示す投影400のセットである。投影400のセットは、例示的な実施形態による、第1に、回転を含む線形変換の適用、第2に、歪み場に対応する非線形変換の適用を例示する。図4では、第1の投影402は、最初に記録された3D画像から識別されたマウスの胸郭骨を示す。第2の投影404は、3D画像への回転を含む線形変換の適用の結果を示す。したがって、第2の投影404に示される対象の胸郭は、第1の投影402に対して回転される。最後に、歪み補正のための非線形変換の適用の結果が、第3の投影406に示されている。
したがって、特定の実施形態では、画像を位置合わせして画像の歪みを補正し、かつ/または画像を別の画像と同時位置合わせするために、線形および/または非線形操作に対応する1つ以上の変換が決定され、画像に適用される。本明細書に記載のシステムおよび方法は、画像内の骨のグラフィック表現から人工ランドマークの決定を提供する。
本明細書に記載の実施形態では、画像内の人工的に生成されたランドマークを使用して、画像の位置合わせ(例えば、歪み補正および/または同時位置合わせを含む)が達成される。概して、ランドマーク(マーカー、タグ、または制御点とも呼ばれる)は、画像化された対象の特定の物理的位置に対応するものとして識別される画像内の特定の点に対応する。単一画像の歪み補正、ならびに複数の画像の歪み補正および/または同時位置合わせのための適切な変換を決定するために、ランドマークと特定の物理的位置との間の対応を活用することができる。
本明細書に記載の人工ランドマークに基づく位置合わせアプローチは、2つの画像間の相互情報を最大化する相互相関を行うことによって、同時位置合わせを達成する以前のアプローチと対照的である(例えば、Maes et al.,“Multimodality image registration by maximization of mutual information,” IEEE Transactions on Medical Imaging 1997,16(2):187‐198を参照されたい)。そのような相互相関に基づくアプローチは、いかなる種類のランドマークも使用せず、画像の内容の変化が存在しないか、またはわずかである場合に最適に機能する。
特定の個々の肋骨、特定の関節、椎骨などの自然に発生する既知の区別可能な物体に対応する「自然な」ランドマークとは対照的に、人工ランドマークは、人工物体から決定される(例えば、所与の人工ランドマークは、対応する人工物体の質量中心として決定され得る)。人工物体は、以下に記載されるように、画像内の骨のグラフィック表現に適用される一連の形態学的操作および論理操作を介して、コンピューター内で生成される実際の骨の断片に対応する。とりわけ、画像内の自然の物体の識別は、特定の個々の骨の識別に使用される画像処理方法のエラー(例えば、セグメンテーションなど)に敏感であるが、人工物体の生成は、画像のセグメンテーションエラーおよび画質の変動に対して堅牢である。さらに、人工物体は一連の形態学的操作および論理操作を介して生成されるため、そのような物体の密度は自由に変えることができ、これは画像位置合わせ変換の決定に有利である。したがって、人工物体から決定された人工ランドマークは、画像の位置合わせを容易にする。
特定の実施形態では、人工ランドマークを使用して、2段階プロセスを介して画像位置合わせのために使用される変換を決定する。
特定の実施形態では、第1の段階は、画像位置合わせ変換を決定するために、画像内の人工ランドマークと共に使用される標的ランドマークのセットを取得する(例えば、決定または受信する)ことを含む。各標的ランドマークは、画像の一致する人工ランドマークに関連付けられ、一致する人工ランドマークの所望の位置を表す標的座標のセットを含む。標的ランドマークのセットは、特定の基準を満たし、その結果、標的座標との人工ランドマークの整列により、人工ランドマークの望ましい動作が得られる。例えば、以下に記載されるように、標的ランドマークのセットは、対称(例えば、ミラー操作の下で実質的に不変)であり得、その結果、標的ランドマークとの人工ランドマークの整列に続いて、人工ランドマーク自体が対称になる。
特定の実施形態では、第2の段階では、所与の画像内の標的ランドマークおよび人工ランドマークを使用して、画像位置合わせ変換が決定される。特に、画像位置合わせ変換は、所与の画像内の人工ランドマークの座標に適用されると、人工ランドマークを標的ランドマークと整列させる変換である。特定の実施形態では、画像位置合わせ変換を決定するために、画像内のありとあらゆる人工ランドマークの標的ランドマークを取得する必要はなく、画像の人工ランドマークのサブセットおよび一致する標的ランドマークを使用して、画像位置合わせ変換を決定することができる。
いったん決定されると、画像位置合わせ変換を画像の他の点(例えば、人工ランドマークに対応する点だけでなく)に適用し、それにより画像を位置合わせすることができる。画像位置合わせ変換を決定するために使用される標的ランドマークに応じて、画像位置合わせ変換は、所与の画像の歪みを補正(例えば、対称化)し、かつ/または所与の画像を1つ以上の他の画像と同時位置合わせすることができる。
例えば、対称である標的ランドマークのセットを使用して決定された画像位置合わせ変換は、所与の画像の点に適用されると、所与の画像の対称化されたバージョンを作成し、それにより画像の歪みを補正するであろう。
特定の実施形態では、標的ランドマークの単一のセットを使用して、複数の画像を位置合わせする。同じ標的ランドマークのセットに複数の画像を位置合わせすると、画像が同時位置合わせされる。標的ランドマークのセットが対称である場合、標的ランドマークを使用した各画像の位置合わせは、各画像の歪みを補正し(例えば、これにより各画像の対称化されたバージョンを作成し)、ならびに画像を同時位置合わせする。
A.i 標的ランドマークの取得
標的ランドマークは、複数のアプローチを介して取得することができる。例えば、特定の実施形態では、既存の標的ランドマークのセットが取得され(例えば、プロセッサによってメモリからアクセスまたは検索され)、1つ以上の画像の位置合わせのために使用される。
特定の実施形態では、所与の画像内の人工ランドマークを使用して、標的ランドマークのセットが取得される。例えば、1つ以上の画像の歪みを補正するために使用することができる対称標的ランドマークのセットは、所与の画像内の人工ランドマークを使用して決定することができる。対称標的ランドマークのセットを決定するために、ミラー操作(例えば、所定の特定の平面(例えば、(例えば、yz平面)について)が所与の画像内の人工ランドマークのセットに適用され、ミラー操作前後の人工ランドマークの位置が比較される(例えば、元の人工ランドマークの位置が、ミラー化された人工ランドマークの位置と比較される)。元の人工ランドマークの位置とミラー化された人工ランドマークの位置との比較を使用して、人工ランドマークの少なくとも一部分の各人工ランドマークについて、標的ランドマークのセットが(各人工ランドマークについて決定された標的ランドマークを含む)が対称であるように、標的座標のセット(例えば、標的ランドマーク)を決定する。
例えば、図5は、対象(例えば、マウス)の胸骨(画像502に示す)、左肋骨(画像504に示す)、および右肋骨(画像506に示す)に沿って生成された異なる人工ランドマークを識別するマウスの胸郭領域の画像の一連の2D投影500を示す。特定の実施形態では、左肋骨および右肋骨に沿った人工ランドマークの位置は、左肋骨および右肋骨に沿ったランドマークのミラー化された位置と比較される。歪み補正(例えば、対称化)された画像の望ましい動作は、各肋骨上の各人工ランドマークについて、人工ランドマークの位置が、一致する反対側の肋骨上の一致する反対側の肋骨パートナーランドマークのミラー化された位置とほぼ同じであることである。
特に、図5に示される実施形態では、対象の各肋骨に沿って人工ランドマークの連鎖が生成される。したがって、各肋骨人工ランドマークは、対象の特定の側(例えば、右側または左側)上の特定の数の肋骨(例えば、第1の肋骨、第2の肋骨、第3の肋骨など)上にある特定の物理的位置に対応し、特定の肋骨に沿った特定の距離である(例えば、対象の背骨から離れるように肋骨に沿って外向きに進む)。したがって、所与の肋骨人工ランドマークは、それが生成される特定の肋骨の数および側、ならびに特定の肋骨に沿ったその距離の表示(例えば、距離に対応する値、例えば、肋骨に沿った連鎖内のその位置を識別するインデックス値)によって識別することができる。所与の肋骨人工ランドマークについて、一致する反対側の肋骨パートナーは、同じ数の肋骨に沿ってほぼ同じ距離であるが、対象の反対側にあると決定された人工ランドマークである。インデックス値などの追加の情報は、生成時に人工ランドマークに関連付け(割り当て)られ、人工ランドマークを反対側の肋骨パートナーに一致させるプロセスを容易にするために使用することができる。
肋骨人工ランドマークを反対側の肋骨パートナーランドマークに一致させることによって、複数の対向する肋骨対の人工ランドマークが識別され、各対は、肋骨人工ランドマークおよびその反対側の肋骨パートナーランドマークを含む。反対側の肋骨人工ランドマークの識別された対を使用して、対称標的ランドマークの座標を決定することができる。例えば、特定の実施形態では、各人工ランドマークについて、その標的ランドマークの座標は、人工ランドマークの座標およびその反対側の肋骨パートナーランドマークのミラー化された座標の算術平均として決定される。特に、座標(x、y、z)を有する所与の人工ランドマーク、およびミラー化された座標(x、y、z)を有する一致する反対側の肋骨パートナーランドマークについて、座標の算術平均は、((x+x)/2、(y+y)/2、(z+z)/2)として決定される。各人工ランドマークについて、本方法で標的ランドマークの座標を決定すると、歪み補正に使用することができる対称標的ランドマークのセットが生成される。特定の実施形態では、上記に記載の算術平均の計算の前に、回転および並進変換が予備ステップとして適用される。特定の実施形態では、予備回転および並進変換は、識別された背骨の主軸および/または識別された胸骨の主軸を使用して決定される。特定の実施形態では、画像内のすべての肋骨人工ランドマークに対して標的ランドマークを生成する必要はない。特に、特定の実施形態では、所与の人工ランドマークについて、一致する反対側の肋骨パートナーランドマークを識別することができない場合がある。特定の実施形態では、所与の人工ランドマークについて、一致する反対側の肋骨パートナーランドマークが識別されない場合、所与の人工ランドマークは、人工ランドマークのセットから破棄され、位置合わせにおいて使用されない。
特定の実施形態では、胸骨に沿った人工ランドマークの各々(または少なくとも一部分)について、標的ランドマークも決定される。特に、画像のミラーリング時に胸骨のランドマークが一定のままであることが望ましい。したがって、各胸骨人工ランドマークについて、対応する標的ランドマークは、ランドマーク座標およびそのミラー化された座標の算術平均として計算される。肋骨人工ランドマークに関して上記に記載のように予備並進および回転操作が決定および適用される特定の実施形態では、予備変換は、胸骨人工ランドマークにも適用される(例えば、肋骨上の人工ランドマークだけでなく)。
A.ii 画像位置合わせ変換の決定
1つ以上の画像の位置合わせにおいて使用するために標的ランドマークのセットが取得されると、(i)標的ランドマークのセットおよび(ii)1つ以上の画像の各々のランドマーク(例えば、人工ランドマーク)を使用して、1つ以上の画像の各々について画像位置合わせ変換が決定される。所与の画像について、画像位置合わせ変換は、標的ランドマークのセットとの画像の人工ランドマークのセットの整列を実質的に最適化するように決定される。
特定の実施形態では、所与の画像のランドマークのセット(例えば、人工ランドマーク)を標的のランドマークのセットと整列させる変換を決定するために、所与のランドマークが位置合わせされるべき特定の標的ランドマークを識別するタスクがある。以下に記載されるように、人工ランドマークとその適切な標的ランドマークとの一致は、人工ランドマークおよび標的ランドマークに関連付けられた(例えば、割り当てられた)インデックス値の比較、ならびに/または人工ランドマークおよび標的ランドマークの座標に基づいて達成することができる。
ランドマーク(例えば、人工ランドマーク)が標的ランドマークに一致されると、標的ランドマークとのランドマークの整列を最適化する変換が決定される。
例えば、特定の実施形態では、画像内の各人工ランドマークについて、測定された転位を決定することによって、変換が決定される。所与のランドマークの元の位置を表す座標と対応する標的ランドマークの座標との間の差として、所与の人工ランドマークについて測定された転位が決定される。したがって、本方法で決定された変換は、各々が画像座標(x、y、およびz)の滑らかな関数である3つの成分(x、y、およびz成分)の歪み場の形態を取る。特定の実施形態では、歪み場は、外挿および平滑化操作を介して、人工ランドマークとそのパートナーの標的ランドマークとの間の測定された転位から決定される。図6は、画像座標の関数としての歪み場の例示的なx成分を示す。
特定の実施形態では、平滑化操作の使用により、1つ以上の特定の人工ランドマークの位置における歪み場の値は、特定のランドマークの各々について決定された測定された転位とは異なる。図7は、画像の各人工ランドマークについて、x座標における測定された転位、ならびにランドマークの位置で決定された歪み場のx成分の両方を示すグラフである。特定の実施形態では、外挿された転位と測定された転位との間の差を使用して、同時位置合わせの精度(の下限)を推定する。
特定の実施形態では、いったん決定されると、画像位置合わせ変換を画像の領域内の点(例えば、人工ランドマークに対応する点だけでなく)に適用することができ、それにより、歪みが補正された変換画像(例えば、対称画像)および/または他の画像と同時位置合わせされた変換画像を作成する。したがって、変換は骨のランドマークを介して決定されるが、軟部組織の表現を含む画像の領域にわたって歪み補正および/または同時位置合わせを提供し、それにより、例えば対象の肺および他の軟部組織の歪みのない対称化された画像の作出を提供する。本方法で歪みを補正し、かつ/または画像を位置合わせすると、対象の姿勢および/または位置の変動を考慮する必要なく、他の画像(例えば、以前に記録された画像、例えば、同様に歪みが補正された以前に記録された画像、例えば、同時位置合わせされた画像)と直接の様式で分析、解釈、および/または比較することができる対称の標準化された画像が提供される。
特定の実施形態では、第1の撮像モダリティ(例えば、マイクロCT)を介して記録された第1の画像内で人工骨ランドマークを介して決定された変換は、異なるモダリティ(例えば、光学撮像モダリティ(例えば、FMT)、例えば、PET)を使用して記録された第2の画像の歪み補正に使用される。特定の実施形態では、第1および第2の画像は、マルチモーダル撮像システム(例えば、マイクロCTとPET撮像システムとを組み合わせたメガマルチモーダル撮像システム、例えば、マイクロCTとFMT撮像とを組み合わせたマルチモーダル撮像システム)を介して、対象が実質的に同じ姿勢および位置にある状態で、実質的に同時に記録される。特定の実施形態では、第1の画像内の人工骨ランドマークから決定される変換は、第2の画像に適用される。特定の実施形態では、第1および第2の画像間に既知の空間的関係があり(例えば、第1および第2の画像を記録するために使用される検出器および/または光源の既知の異なる構成により)、修正された第2の変換が、第1の画像内の人工ランドマークを介して決定された変換から決定される。次に、第2の画像を位置合わせするために、第2の画像に第2の変換が適用される(例えば、第2の画像の歪みを補正し、かつ/または第2の画像を第2の撮像モダリティを介して記録された別の画像と同時位置合わせする)。
B.人工ランドマークの自動生成
B.i 肋骨および胸骨に沿った人工ランドマーク
特定の実施形態では、本明細書に記載のシステムおよび方法は、上記に記載の方法で歪み補正および/または同時位置合わせのために使用される人工ランドマークの自動生成を提供する。本明細書に記載のアプローチを介して生成された人工ランドマークは、画像内の特定の骨を識別するための自動セグメンテーションのエラーに対して堅牢であり、外れ値フィルターリングアプローチを介して改良することができる。
特定の実施形態では、所与の画像内の人工ランドマークのセットは、画像内で生成された人工物体のセットに基づいて決定される。特定の実施形態では、対象の画像は、対象の複数の肋骨を含み、人工物体は、複数の肋骨の各肋骨に沿って生成される。
図9は、複数の画像の歪み補正および/または同時位置合わせのために、対象の領域の3D画像内の肋骨に沿って人工ランドマークを生成するための例示的なプロセス900を示すブロックフロー図である。特定の実施形態では、プロセス900は、対象の領域の3D画像を受信することから開始し(910)、受信された3D画像は、対称の複数の肋骨(例えば、対象の胸郭の各肋骨、例えば、対象の肋骨の一部分)ならびに背骨の少なくとも一部分のグラフィカル表現を含む。3D画像の受信に続いて、次のステップ920では、画像内の肋骨および背骨が識別される(920)。骨は、完全に自動化された様式で(例えば、セグメンテーションを介して)識別され得るか、または特定の実施形態では、骨の識別にユーザーの相互作用が含まれる場合がある。例えば、特定の実施形態では、画像内の骨は、局所閾値アプローチを介して自動的に識別され、その後、胸郭が自動的に識別され(例えば、Ollikainen and Kask,“Method and system for automated detection of tissue interior to mammalian ribcage from an in vivo image,” 米国特許第9,192,348号を参照されたい)、背骨が続く。特定の実施形態では、3D画像は胸骨も含み、胸骨も識別される。
対象の肋骨および背骨が3D画像内で識別された後、プロセス900の別のステップ930で、複数のシード肋骨人工物体が生成され、各シード肋骨人工物体は、グラフィカル表現において背骨から第1の距離間隔内にあり、グラフィック表現における肋骨の領域に対応する。
特定の実施形態では、シード肋骨人工物体は、三次元の複数の点の各々で強度(数)値を含む背骨距離マップを決定することによって生成され、背骨距離マップの強度値の各々は、画像内で検出された背骨の最も近い点に3D空間における所与の点からの距離に対応する。背骨までの距離が第1の距離間隔内にある画像内の点を識別するために、背骨距離マップから背骨距離間隔マスクが生成される(例えば、距離間隔マスクは2値マスクであり、第1の距離間隔内で背骨までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる。背骨距離間隔マスクの生成に続いて、背骨距離間隔マスクと識別された肋骨に対応するマスクとの間に論理的AND演算が適用され、背骨から第1の距離間隔内にある識別された肋骨の複数の領域が識別される。
図8は、例示的な実施形態による、上記に記載の方法で左右の肋骨に沿って生成された人工物体を示す画像である。画像は、対象の左肋骨に沿って生成された13個のシード肋骨人工物体(840a、840b、840c、840d、840e、840f、840g、840h、840i、840j、840k、840l、840m、集合的に840)、および対象の右肋骨に沿って生成された13個のシード肋骨人工物体(820a、820b、820c、820d、820e、820f、820g、820h、820i、820j、820k、820l、820m、集合的に820)を示す。
特定の実施形態では、シード肋骨人工物体を生成するために個々の肋骨を別々に識別する必要はない。代わりに、特定の実施形態では、胸郭付近の複数の骨に対応する骨マスクが決定され、そこから背骨および任意選択的に胸骨が識別され、分離される(例えば、胸骨マスクおよび背骨マスクの決定をもたらす)。識別された残りの骨は主に肋骨に対応するが、各個々の肋骨を区別する必要はない。驚くべきことに、シード肋骨物体の生成は、個々の肋骨の分離および識別よりも簡単である。
特定の実施形態では、シード肋骨人工物体の生成(930)に続いて、プロセス900は、画像内の肋骨に沿った後続の肋骨人工物体の生成を継続する(940)。特に、自動的に生成された各肋骨人工物体について、複数の関連付けられた後続の肋骨人工物体が生成される。特定の実施形態では、各シード肋骨人工物体および複数の後続の肋骨人工物体は、各肋骨に沿って肋骨人工物体の鎖を形成する(例えば、シード肋骨人工物体およびその後に生成される肋骨人工物体を含む肋骨人工物体の連鎖)。
所与のシード肋骨人工物体の特定の実施形態では、肋骨人工物体の連鎖は、段階的な様式で生成される。特に、シード肋骨人工物体から開始して、識別された背骨から離れるように進む方向に、シード肋骨人工物体から離れる予め定義された距離(例えば、ユークリッド距離、例えば、識別された肋骨に対応するマスクに沿った測地的距離))で第1の後続の肋骨人工物体が生成される。次に、識別された背骨から離れるように進む方向に、第1の後続の肋骨人工物体から離れる予め定義された距離(例えば、ユークリッド距離、例えば、識別された肋骨に対応するマスクに沿った測地的距離))で第2の後続の肋骨人工物体が生成される。このようにして、新たな肋骨人工物体が段階的な様式で生成され、新たに生成された各肋骨人工物体は、識別された背骨から外向きに進む。シード肋骨人工物体の生成に使用されるものと同様の形態学的操作および論理操作(例えば、距離マップの決定、閾値処理演算、膨張演算、論理操作(例えば、AND、NOT)、およびそれらの組み合わせ)を各シード肋骨人工物体から後続の肋骨人工を生成するために使用することができる。
特定の実施形態では、所与のシード肋骨人工物体に関連付けられた各肋骨人工物体を分離する(例えば、所与の肋骨に沿って)距離はすべて同じであるため、所与のシード肋骨人工物体に関連付けられた人工物体の等距離連鎖が形成される(例えば、所与の肋骨に沿って)。
特定の実施形態では、本方法で新たな後続の肋骨人工物体を生成するプロセスは、新たに生成された肋骨人工物体が画像内の識別された胸骨から予め定義された閾値距離内にあると決定されるまで進む。
特定の実施形態では、プロセス900の追加のステップを用いて、所与のシード肋骨人工物体に関連付けられた後続の肋骨人工物体が生成されると、肋骨人工物体が異なる肋骨(例えば、シード肋骨人工物体に対応する、近くの肋骨上の肋骨)に沿って誤って生成されないことを保証する。これは、例えば、画像の特定の領域で、1つ以上の異なる肋骨が互いに近接している場合に発生し得る。この問題に対処するため、特定の実施形態では、プロセス900は、グラフィック表現における第1および第2の肋骨間の距離が予め定義された閾値距離未満である領域に対応する1つ以上の危険な領域を画像により自動的に識別するステップを含む。特定の実施形態では、そのような危険な領域は、例えば、グラフィック表現において複数の肋骨を識別する骨マスクに適用される形態学的閉鎖操作を使用することにより、個々の肋骨を別々に識別する(例えば、異なる肋骨を区別する)必要なしに識別することができる。いくつかの識別された危険な領域1110a、1110b、1110c、および1110dを示す例示的な画像1100を図11に示す。
所与のシード肋骨人工物体に関連付けられた新たな後続の肋骨人工物体が生成されるたびに、プロセスは、新たに生成された人工物体が1つ以上の以前に識別された危険な領域から予め定義された閾値距離内にあるかどうかを決定する。プロセスが、新たに生成された肋骨人工物体が以前に識別された危険な領域から予め定義された閾値距離内にあると決定した場合、所与のシード肋骨人工物体に関連付けられた後続の肋骨人工物体の生成は終了される。
特定の実施形態では、画像内の肋骨に沿った人工物体の生成に加えて、画像内のグラフィック表現内の対象の識別された胸骨に沿って人工物体が自動的に生成される。
特に、特定の実施形態では、グラフィック表現は、対象の胸骨の少なくとも一部分を含み、その部分は胸骨の下(例えば、尾側)端を含む。胸骨人工物体を生成するために、胸骨はグラフィック表現内で識別される。胸骨の下端も、グラフィック表現内で識別される。次に、シード胸骨人工物体が自動的に生成され、シード胸骨人工物体は、識別された胸骨の下端から第2の距離間隔内にある識別された胸骨の領域に対応する。
特定の実施形態では、シード胸骨人工物体は、シード肋骨人工物体の生成のためのアプローチと同様の方法で、形態学的操作および論理操作のセットを介して生成される。特に、特定の実施形態では、グラフィック表現における胸骨の下端は、グラフィック表現における識別された胸骨の最小z座標に対応する点として識別される。次に、シード胸骨人工物体は、識別された胸骨の下端に対応する点から予め定義された最大距離内にある識別された胸骨の領域を識別する形態学的操作および論理操作(例えば、胸骨距離間隔マスクの決定、その後のAND演算)を介して生成される(例えば、シード胸骨人工物体の各点について、点から識別された胸骨の下端に対応する点までの距離(例えば、ユークリッド距離、例えば、特定の座標(例えば、z座標)に沿った距離)は、第2の距離間隔内にある)。
特定の実施形態では、シード胸骨人工物体と関連付けられた後続の胸骨人工物体の連鎖は、シード胸骨人工物体から開始することと、段階的な様式で新たな後続の胸骨人工物体を生成することとによって生成され、新たに生成された各胸骨人工物体は、胸骨の下端から離れるように上向き(例えば、以前に生成された胸骨人工物体から予め定義された距離)に進む。
特定の実施形態では、新たに生成された胸骨人工物体が画像境界を越えるか、または識別された胸骨の他端に達するまで後続の胸骨人工物体が生成され、その時点で後続の胸骨人工物体の生成が終了される。特定の実施形態では、予め定義された数の胸骨人工物体が特定され、いったん予め定義された数の胸骨人工物体が生成されると、後続の胸骨人工物体の生成が終了される。
したがって、特定の実施形態では、画像内の人工物体のセットを自動化された様式で生成することができる。特定の実施形態では、所与の画像内の人工物体のセットは、画像内の肋骨のグラフィック表現に沿って生成された複数の人工物体を含む。特定の実施形態では、セットは、画像内の識別された胸骨に沿って生成された複数の人工物体も含む。特定の実施形態では、上記に記載の方法で複数の画像の歪み補正および/または同時位置合わせを提供するために、セットの各人工物体から人工ランドマークが決定される。特定の実施形態では、各人工ランドマークは、対応する人工物体の質量中心として決定される。
特定の実施形態では、いったん所与の画像について人工物体のセットが決定されると、標的ランドマークが取得され(945)、人工物体のセットは、以前に記載されるように、画像の歪み位置合わせのために使用され得る(例えば、歪み補正および/または同時位置合わせ)(950)。
特定の実施形態では、追加の情報は、そこから決定される人工物体および/または人工ランドマークに関連付けられる。例えば、所与のシード肋骨人工物体は、左側または右側の肋骨に対応するかどうかを示す一連のインデックス(例えば、左右インデックス)、ならびにそれが対応する所与の肋骨の数に関連付ける(割り当てる)ことができる。
例えば、特定の実施形態では、左右インデックスは、シード肋骨人工物体から決定されたx座標に基づいてシード肋骨人工物体に関連付けられる。x座標は、シード肋骨人工物体の点の平均x座標であり得る。特定の実施形態では、左右のインデックス値を人工物体に関連付ける目的で、シード肋骨人工物体からx座標を決定する前に、回転および並進変換が予備ステップとして適用される。特定の実施形態では、すべての左肋骨が画像の左側に配置され、すべての右肋骨が画像の右側に配置されることを保証するように、予備回転および並進変換が適用される。特定の実施形態では、予備回転および並進変換は、グラフィック表現において識別された背骨の主軸および/またはグラフィック表現において識別された胸骨の主軸を使用して決定される。
後続の肋骨人工物体は、左右インデックス、シードインデックス、およびシーケンスインデックスを含むインデックスに関連付けることもできる。シード肋骨人工物体と同様に、所与の後続の肋骨人工物体に関連付けられた左右インデックスは、所与の後続の肋骨人工物体が左側または右側の肋骨に対応するかどうかを識別する。所与の後続の肋骨人工物体に関連付けられたシードインデックスは、それが生成されたシード肋骨人工物体を示す。特定の実施形態では、後続の肋骨人工物体は、上記に記載のように段階的な様式で順序付けられた連鎖としてシード肋骨人工から生成され、シーケンスインデックスは、後続の肋骨人工物体が生成された順序を示す。
シード肋骨人工物体および後続の肋骨人工物体のインデックス作成は、生成プロセス中に適用される場合がある。特定の実施形態では、外れ値に対応する人工物体の除去を反映するために、人工物体のインデックスは、以下に記載されるように1つ以上の外れ値フィルターリングステップに従って更新される。
特定の実施形態では、人工物体から決定された人工ランドマークは、同様の様式でインデックスに関連付けられる。対応する人工物体から決定された所与の人工ランドマークは、それが決定された人工物体のインデックスと同じインデックスに関連付けられる(例えば、割り当てられる)場合がある。特定の実施形態では、人工物体から決定された人工ランドマークは、人工ランドマークが決定された人工物体を特徴付ける追加の情報に関連付けられる。例えば、対応する人工物体から決定された所与の人工ランドマークは、人工ランドマークが決定された人工物体の決定された体積に対応する値に関連付けられる。
特定の実施形態では、人工ランドマークに関連付けられたインデックスおよび追加の情報を使用して、ランドマークの一致を容易にし、例えば、上記に記載のように、反対側の肋骨のパートナーまたは標的ランドマークを識別する。
特に、特定の実施形態では、肋骨人工ランドマークは、反対側の肋骨パートナーランドマークと一致して、標的ランドマークの対称セットを作成する。人工ランドマークと対応する反対側の肋骨パートナーランドマークとの一致は、最初にシード肋骨人工ランドマークを対応する反対側のシード肋骨パートナーランドマークと一致させることによって達成され得る。所与のシードランドマークは、左右インデックスおよび肋骨数インデックスなど、シード肋骨人工ランドマークに割り当てられたインデックス値を使用して、反対側の肋骨上のシードパートナーランドマークと一致され得る。例えば、第1のシード人工ランドマークを反対側の肋骨パートナーに一致させるために、左右インデックスは異なるが同じ肋骨数インデックスを有するシード肋骨人工ランドマークが識別される。
特定の実施形態では、シード肋骨人工ランドマークが反対側の肋骨上の対応する反対側の肋骨パートナーランドマークと一致されると、後続の肋骨人工物体は、それらが生成された特定のシード肋骨人工物体との関連付けに基づいて(例えば、関連付けられたシードインデックスに基づいて、例えば、関連付けられたシードインデックスおよび関連付けられた左右インデックスに基づいて)、およびそれらが生成されたシーケンス内の順序に基づいて(例えば、関連付けられたシーケンスインデックスに基づいて)対応する反対側の肋骨パートナーランドマークと一致される。
別の例では、所与の画像の人工ランドマークのセットを標的ランドマークのセットと整列させる画像位置合わせ変換を決定するために、所与の画像の各人工ランドマークがパートナーの標的ランドマークに一致される。
特に、特定の実施形態では、標的ランドマークのセットは、第1の画像の人工ランドマークを使用して決定され、異なる第2の画像の位置合わせのために使用される。第2の画像を位置合わせするために、第2の画像内の人工ランドマークの少なくとも一部分の各々が、その標的ランドマークに一致される。人工ランドマークのような特定の実施形態では、標的ランドマークは、インデックス値に関連付けられ、これを使用して、人工ランドマークとそれらのパートナー標的ランドマークとの一致を容易にすることができる。所与の標的ランドマークには、それが決定される人工ランドマークのインデックス値が割り当てられ得る。例えば、各標的ランドマークが第1の画像の特定の人工ランドマークから決定されると、それが生成された特定の人工ランドマークのインデックス値が割り当てられる。同様に、特定の実施形態では、特定の人工ランドマークから決定された標的ランドマークは、それが決定された特定の人工ランドマークに関連付けられた追加の情報に関連付けられてもよい。このような追加の情報には、特定の人工ランドマークが決定された人工物体の体積が含まれる場合がある。したがって、第2の画像の人工ランドマークは、単独または組み合わせて、(i)インデックス値、(ii)追加の情報、ならびに(iii)第2の画像の人工ランドマークおよび標的ランドマークの座標を使用して、パートナー標的ランドマークに一致され得る。
特定の実施形態では、第2の画像の人工ランドマークは、第1の画像のシード肋骨人工ランドマークから決定された標的ランドマークにシード肋骨人工ランドマークを最初に一致させることによって、標的ランドマークに一致される。第2の画像内のシード肋骨人工ランドマークは、(i)第2の画像内の人工ランドマークおよび標的ランドマークの座標、ならびに/または(ii)第2の画像内の人工ランドマークのインデックス(例えば、左右インデックス、例えば、肋骨数インデックス)および標的ランドマークのインデックスを使用して、標的ランドマークに一致させることができる。シード人工ランドマークとそれらの標的ランドマークとの一致に続いて、後続の肋骨人工ランドマークは、それらが生成された特定のシード肋骨人工ランドマークとの関連付けに基づいて(例えば、関連付けられたシードインデックスに基づいて、例えば、関連付けられたシードインデックスおよび関連付けられた左右インデックスに基づいて)、およびそれらが生成されたシーケンス内の順序に基づいて(例えば、関連付けられたシーケンスインデックスに基づいて)対応する標的ランドマークと一致される。
B.ii 肋骨および胸骨の人工物体についての外れ値フィルターリング
特定の実施形態では、人工物体(例えば、骨骨人工物体、例えば、胸骨人工物体)の生成は、自動的に生成された人工物体が異なる基準のセットを満たすことを保証するためのフィルターリングステップに対応する追加の処理ステップを含む。
例えば、特定の実施形態では、予め定義された閾値体積未満の体積を表すと決定された領域に対応する1つ以上の人工物体を削除するために体積フィルターが適用される。このアプローチは、例えば、図12に示すように、人工物体の生成中にアーティファクトを除去するために適用することができる。
図12の第1の画像1210は、例えば、図9に関して記載されたプロセス900によって生成されたシード肋骨人工物体の予想セットと共に、複数の肋骨および背骨のグラフィック表現を表示する。画像から明らかなように、特定の実施形態では、体積が著しく小さい、いくつかの人工物体と共に、同様の体積を有する一連の人工物体が生成される。これらの小さい体積の人工物体は、アーティファクトに対応する(例えば、画像のノイズから生じる、例えば、セグメンテーションのエラーから生じる、例えば、砂粒などの物理的な非骨物体の存在から生じる)。
したがって、そのようなアーティファクトを削除し、適切なシード肋骨人工物体が生成されることを保証するために、予想シード肋骨人工物体のセットの生成に続いて、予想シード肋骨人工物体のセットに体積フィルターが適用される。体積フィルターを適用すると、予め定義された閾値体積未満の体積を表すと決定された人工物体がセットから削除される。体積フィルターの適用後、シード肋骨人工物体が、予想シード肋骨人工物体のセットから選択される。図12の第2の画像1250は、第1の画像1210に示される予想シード肋骨人工物体のセットに体積フィルターを適用した結果を示す。第2の画像1250内の人工物体のセットは、第1の画像1210からのアーティファクトに対応する人工物体をもはや含まない。
特定の実施形態では、体積フィルターを適用して、他の人工物体(例えば、シード肋骨人工物体だけでなく、あらゆる人工物体)の生成中に作り出されたアーティファクトを削除する。
特定の実施形態では、肋骨に沿って生成された人工物体に追加のフィルターリング基準が適用される。
例えば、特定の実施形態では、画像化された対象が有する肋骨の数が知られている。したがって、特定の実施形態では、生成されたシード肋骨人工物体の数が決定され、画像化された対象が有する既知の(期待される)肋骨の数と比較される。例えば、マウスの両側に13個の肋骨があり(13個の左肋骨および13個の右肋骨)、したがって、合計26個の肋骨がある。したがって、マウスの画像の場合、13個の左の肋骨人工物体および13個の右の肋骨人工物体が生成されることが期待される。したがって、生成されたシード肋骨人工物体の数を、対象が有する既知の(期待される)肋骨の数と比較することによって、アーティファクトに対応する誤って生成された人工物体を識別して削除することができる。
特定の実施形態では、アーティファクトをフィルターリングするための基準は、物理的な胸郭の対称性に基づいて構築され、肋骨人工物体のセットに適用される。特に、特定の実施形態では、物理的な胸郭の対称性を活用するフィルターリングアプローチを適用するために、肋骨人工物体は、左右の肋骨人工物体に分割され、対応する左右の肋骨人工物体対としてグループ化される。人工物体対は、歪み補正の目的で人工ランドマークを反対側の肋骨パートナーランドマークと一致させるための上記に記載のプロセスと同様の一致プロセスを介して決定され得る。特に、反対側の肋骨上の対応する人工物体対は、人工物体に関連付けられたインデックス(例えば、左右インデックス、例えば、肋骨数インデックス、例えば、シーケンスインデックス)を使用して決定することができる。特定の実施形態では、対向する肋骨上の人工物体対の決定を容易にするために、人工物体に関連付けられた座標(例えば、各人工物体の点の平均x座標、例えば、各人工物体の点の平均z座標)ならびに人工物体の体積などの追加の情報が使用される。
したがって、各肋骨人工物体対は、一対の対向する肋骨の第1の肋骨(例えば、右肋骨)に関連付けられた第1の肋骨人工物体、および一対の対向する肋骨の第2の肋骨(例えば、左肋骨)に関連付けられた第2の肋骨人工物体を含む。各肋骨人工物体対について、所与の対の第1および第2の肋骨人工物体は、同様の体積を表し、同様の高さを有する必要がある。人工物体の高さは、人工物体のz方向の厚さとして、または背骨に沿った距離として決定することができる(例えば、人工物体の点のz座標の平均(中間)値として決定される)。したがって、特定の実施形態では、各肋骨人工物体対について、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が予め定義された閾値体積差を下回り、かつ/または(ii)対の第1の物体の高さと対の第2の物体の高さとの間の差が予め定義された閾値高さの差を下回ることを保証する対別比較が適用される。
特定の実施形態では、対比較フィルターは、シード肋骨人工物体の生成中にアーティファクトを除去するために適用される。例えば、予想シード肋骨人工物体のセットの生成(例えば、図9に関して上記に記載のプロセス900を介して)に続いて、一対以上の予想シード肋骨人工物体が自動的に識別される。各対は、一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および反対側の肋骨の対応する第2の肋骨人工物体を含む(例えば、第1のシード肋骨人工物体は、右肋骨に沿っており、第2のシード肋骨人工物体は、対応する左肋骨に沿っている)。
次に、予想シード肋骨人工物体のセットに対比較フィルターを適用し、対比較フィルターの適用により、セットから、(i)対の第1の物体によって表される体積と対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)対の第1の物体の高さと対の第2の物体の高さとの間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除される。対比較フィルターの適用後、シード肋骨人工物体が、予想シード肋骨人工物体のセットから選択される。
特定の実施形態では、対比較フィルターを適用して、肋骨に沿った他の人工物体(例えば、シード肋骨人工物体だけでなく、後続の肋骨人工物体)の生成中に作り出されたアーティファクトを削除する。
特定の実施形態では、連続するシード肋骨人工物体間の距離が(各肋骨/胸骨に沿って)一貫しているかどうかを検証することを含む、別のフィルターリングステップが適用される。例えば、所与のシード肋骨人工物体と次のシード肋骨人工物体(例えば、胸郭の同じ側のすぐ下および/または上)との間の距離(例えば、z方向の)は、シード肋骨人工物体が正しく生成された場合、ほぼ一定である(例えば、ゆっくりと変化する)。例えば、実際の肋骨の外側の領域にシード肋骨人工物体が生成された場合、予め定義された閾値を上回る隣接するシード肋骨人工物体間の距離の変動を識別し、外れ値をフィルターリングするために使用することができる。
特定の実施形態では、複数の画像間の人工物体の比較に基づくフィルターリングアプローチが適用される。特に、特定の実施形態では、第1の画像内の人工物体の第1のセットの人工物体は、第2の画像内の人工物体の第2のセットの人工物体と比較される。
特定の実施形態では、複数の画像間の人工物体の比較に基づくフィルターリングは、人工物体の複数のクロス画像対を識別することを含み、各クロス画像対は、第1の画像の人工物体の第1のセットの第1の人工物体、および第2の画像の人工物体の第2のセットの対応する第2の人工物体を含む。
特定の実施形態では、異なる第1の画像内の人工ランドマークから決定された標的ランドマークと第2の画像内の人工ランドマークとの一致に関して上記に記載の方法と同様のインデックス(例えば、左右インデックス、例えば、肋骨数インデックス、例えば、シードインデックス、例えば、シーケンスインデックス)を使用して、人工物体のクロス画像対が自動的に識別される。特定の実施形態では、肋骨人工物体のクロス画像対の識別は、第1の画像の所与のシード肋骨人工物体について、第2の画像の対応するシード肋骨人工物体を最初に識別することを含む。特定の実施形態では、シード肋骨人工物体に関連付けられたインデックス(例えば、左右インデックス、例えば、肋骨数インデックス)が使用される。特定の実施形態では、対応するシード肋骨人工物体は、z座標を一致させる(例えば、最も近い一致を検索する)ことによって決定することができる。特定の実施形態では、第1の画像と第2の画像との間に、z座標を一致させる前に決定および補正される座標の未知のずれがある。座標のずれは、相関技術を介して決定されてもよい。例えば、(i)第1の画像の人工物体の位置を識別する点の第1セットと(ii)第2の画像の人工物体を識別する点の第2セットとの間の相互相関を使用して、第1の画像と第2の画像との間のz座標内のずれを決定することができる。次に、決定されたずれを使用して、z座標を一致させるときにずれを補正することができる。
シード肋骨人工物体の所与のクロス画像対が特定されると、シード肋骨人工物体のクロス画像対の各シード肋骨人工物体に関連付けられた後続の肋骨人工物体が一致される(例えば、後続の肋骨人工物体が生成された順序を使用して、例えば、関連付けられた後続の各肋骨人工物体に関連付けられたシーケンスインデックスを使用して)。
特定の実施形態では、所与のクロス画像対の対応する第1および第2の人工物体を比較して、それらが類似の体積を表すかどうかを決定する。第1および第2の人工物体が大幅に異なる体積を表すクロス画像対は、アーティファクトに対応すると推定され、したがって削除される。例えば、特定の実施形態では、人工物体の各クロス画像対について、第1の人工物体の体積と第2の人工物体の体積との間の差が決定される。各クロス画像対について、決定された体積差が、閾値差(例えば、予め定義された閾値差)と比較され、決定された体積差が閾値差を超えるクロス画像対の人工物体が、それぞれの各画像の人工物体のそれぞれのセットから削除される。
特定の実施形態では、所与のクロス画像対の第1および第2の人工物体の各々について、隣接する人工物体に対する人工物体の位置に関する情報(例えば、値)が決定され、比較される。例えば、クロス画像対の第1の人工物体について、(i)最も近い隣接する人工物体までの距離、(ii)第1の人工物体から所定の閾値距離内にある人工物体の平均数などが決定され得る。第2の人工物体について同じ値が決定されてもよく、第1の人工物体について決定された対応する値と比較されてもよい。値間の差(例えば、特定の他の人工物体までの距離)が設定された閾値を上回る場合、クロス画像対の人工物体は削除される。
特定の実施形態では、上記に記載のフィルターリングアプローチのうちのいずれか(例えば、体積フィルター、対比較フィルター、連続物体分離フィルター、クロス画像対比較)が組み合わせて、様々な順序で適用される。例えば、図8の画像800に示されるシード肋骨人工物体の生成のために、体積フィルター、対比較フィルター、および連続物体分離フィルターが適用された。特定の実施形態では、上記に記載のフィルターリングアプローチのうちのいずれか(例えば、体積フィルター、対比較フィルター、連続物体分離フィルター、クロス画像対比較)が、他のフィルターリングアプローチと同様に、様々な順序で互いに組み合わせて適用される。
特定の実施形態では、識別された体積上で実行されるとして本明細書に記載の操作のうちのいずれかが、体積に関連付けられたランドマーク(例えば、座標)上で実行される操作と同じである。したがって、人工物体上で実行される上記に記載の外れ値フィルターリング操作などの操作は、人工物体に関連付けられた人工ランドマーク上でも実行することができる。
人工ランドマーク上で外れ値フィルターリングなどの特定の操作を行うことは、計算速度の観点から有利であり得る。特に、物体は三次元のマスクで表されるが、ランドマークは、座標で表される点に対応する。特定の実施形態では、各ランドマークは、それが決定された人工物体に関連付けられる。特定の実施形態では、追加の情報が、所与のランドマークに関連付けられる。所定のランドマークに関連付けられた追加の情報には、それが導出される物体の体積、左右インデックス、肋骨数インデックス、シーケンスインデックスなどの情報が含まれる。したがって、各人工ランドマークは、人工物体とは対照的に、ランドマーク上で上記に記載の同じ外れ値フィルターリングステップを行うために使用することができる情報に関連付けられる。
特定の実施形態では、各人工ランドマークは、表の行として表される。表の列は、x座標、y座標、z座標などの各ランドマークの属性、ならびにランドマークが決定された人工物体の体積、およびランドマークに関連付けられた様々なインデックスなどの追加の情報に対応する。したがって、画像内のボクセルの数はランドマークの表のエントリの数よりも桁違いに大きい可能性があるため、ランドマーク(各々表の行で表される)上の操作は、画像に適用されるいかなる操作と比較しても非常に高速である。
B.iii 任意の骨に沿った人工ランドマーク
特定の実施形態では、人工物体は、歪み補正および/または同時位置合わせのために、様々な異なる骨(例えば、対象の肋骨および/または胸骨だけでなく)に沿って生成される。
図10は、対象の領域の3D画像で表される対象となる1つ以上の骨に沿って人工物体を生成するための例示的なプロセス1000における一連のステップを示す。特定の実施形態では、プロセス1000は、対象の領域の3D画像を受信することから開始し(1010)、この3D画像は、対象となる1つ以上の骨のグラフィック表現を含む。画像内の対象となる骨には、肋骨、胸骨、背骨などの対象の軸骨格の骨、ならびに対象となる骨格の他の部分からの他の種類の骨が含まれ得る。
3D画像の受信に続いて、次のステップ1020で、画像内の対象となる1つ以上の骨が(例えば、自動的に(例えば、セグメンテーションを介して、例えば、ローカル閾値アプローチを介して)、例えば、ユーザー相互作用を介して)識別される。加えて、画像内の参照物体も識別される(1020)。参照物体は、画像の単一点、1D線、2D表面、または画像の3D領域であり得る。例えば、特定の実施形態では、特定の骨または骨の一部分の中心線が、画像内で識別され、参照物体として使用される。特定の実施形態では、画像内で識別された骨の2D表面が、参照物体として使用される。
画像内で識別された参照物体は、対象となる骨の各々に沿ってシード人工物体を生成するための基礎として使用される。特に、特定の実施形態では、ステップ1030で、プロセス1000は、参照物体から特定の距離間隔内にある識別された対象となる骨の領域に対応する1つ以上のシード人工物体を自動的に生成する。
特定の実施形態では、シード人工物体は、三次元の複数の点の各々で強度値(例えば、数値)を含む距離マップを最初に決定することによって生成される。各点での強度値の各々は、所与の点から参照物体までの距離に対応する。次に、距離マップを使用して、参照物体から特定の距離間隔内にある3D空間内のこれらの点を識別する距離間隔マスクを生成する(例えば、距離間隔マスクは2値マスクであり、予め定義された距離間隔内で参照物体までの距離を有する点には、第1の値(例えば、数値1、例えば、ブールの真)が割り当てられ、他の点には、第2の値(例えば、数値0、例えば、ブールの偽)が割り当てられる。
次に、距離間隔マスクを使用して、参照物体から特定の距離内にある対象となる1つ以上の骨の領域を識別することができる。特定の実施形態では、距離間隔マスクは、対象となる1つ以上の骨を識別するマスクと組み合わせて使用される。距離間隔マスクと識別された対象となる1つ以上の骨に対応するマスクとの間に論理的AND演算が適用され(例えば、点別様式で)、これにより、参照物体から距離間隔内にある対象となる骨の領域が自動的に識別される。
特定の実施形態では、シード人工物体の生成(1030)に続いて、プロセス1000は、各シード人工物体に関連付けられた後続の人工物体の生成を継続する(1040)。特に、対象となる骨の領域に対応する所与のシード人工物体から開始して、対象となる骨に沿って複数の関連付けられた後続の肋骨人工物体が自動的に生成される。特定の実施形態では、対象となる骨に沿って生成された人工物体(例えば、シード人工物体および後続の人工物体)は、対象となる骨に沿って人工物体の連鎖を形成する。
特定の実施形態では、所与のシード人工物体について、関連付けられた後続の人工物体が、段階的な様式で生成される。例えば、シード人工物体から開始して、第1の後続の人工物体が、識別された参照物体から遠ざかるように進む方向に、シード人工物体から予め定義された距離離れて、対象となる骨に沿って生成される。次に、第2の後続の人工物体が、識別された参照物体から遠ざかるように進む方向に、第1の後続の人工物体から予め定義された距離離れて、対象となる骨に沿って生成される。このようにして、新たな人工物体が、段階的な様式で生成され、新たに生成された各人工物体は、識別された参照物体から離れるように対象となる骨に沿って外向きに進む。
特定の実施形態では、対象となる所与の骨に沿って各人工物体を分離する距離は、人工物体の等距離連鎖が対象となる骨に沿って形成されるように、すべて同じである。
特定の実施形態では、形態学的および論理操作のセットは、対象となる各骨に沿った後続の人工物体の生成のために使用される。
特定の実施形態では、プロセス1000は、対象となる骨の領域に対応する特定のシード人工物体から生成される後続の人工物体が対象となるその骨に沿って正確に生成され、画像内で識別される他の骨に沿って生成されないことを保証するステップを含む(例えば、自動処理により、後続の人工物体が他の骨にジャンプすることはない)。したがって、新たに生成された人工物体が、画像内の識別された追加の骨(例えば、対象となる1つ以上の識別された骨のうちの1つに対応していない)から予め定義された閾値距離内にあると決定されるまで、新たな後続の人工物体を生成するプロセスは進む可能性がある。新たに生成された人工物体が追加の骨の閾値距離内にあると決定されると、対象となる特定の骨に沿った人工物体の生成が終了される。
特定の実施形態では、プロセス1000における追加のステップを用いて、所与のシード人工物体に関連付けられた後続の人工物体が生成されると、対象となる複数の異なる骨(例えば、シード人工物体が生成され、次に対象となる近くの骨上の対象となる骨)に沿って人工物体が誤って生成されないことを保証する。これは、例えば、画像の特定の領域で、対象となる1つ以上の異なる骨が互いに近接している場合に発生し得る。この問題に対処するため、特定の実施形態では、プロセス1000は、対象となる第1および第2の骨間の距離が予め定義された閾値距離未満である領域に対応する1つ以上の危険な領域を画像により自動的に識別するステップを含む。
所与のシード人工物体に関連付けられた新たな後続の人工物体が生成されるたびに、プロセスは、新たに生成された人工物体が1つ以上の以前に識別された危険な領域から予め定義された閾値距離内にあるかどうかを決定する。プロセスが、新たに生成された人工物体が以前に識別された危険な領域から予め定義された閾値距離内にあると決定した場合、所与のシード人工物体に関連付けられた後続の人工物体の生成は終了される。
したがって、特定の実施形態では、画像内の人工物体のセットを自動化された様式で生成することができる。特定の実施形態では、所与の画像内の人工物体のセットは、画像内の対象となる各識別された骨に沿って生成された複数の人工物体を含む。
特定の実施形態では、上記に記載の方法で複数の画像の歪み補正および/または同時位置合わせを提供するために、セットの各人工物体から人工ランドマークが決定される。特定の実施形態では、各人工ランドマークは、対応する人工物体の質量中心として決定される。
特定の実施形態では、いったん所与の画像について人工物体のセットが決定されると、標的ランドマークが取得され(1045)、人工物体のセットは、以前に記載されるように、画像の歪み位置合わせのために使用され得る(例えば、歪み補正および/または同時位置合わせ)(1050)。
B.iv 対象となる任意の骨に沿って生成された人工物体についての外れ値フィルターリング
特定の実施形態では、対称の肋骨および/または胸骨に沿った人工物体の生成する記載されたアプローチと同様に、対象となる様々な骨に沿った人工物体の生成は、自動的に生成された人工物体が異なる基準のセットを満たすことを保証するためのフィルターリングステップに対応する追加の処理ステップを含む。
例えば、体積フィルターは、1つ以上の人工物体(シード人工物体、ならびに後続の人工物体)が生成されるたびに、予め定義された閾値体積未満の体積を表すと決定された領域に対応する1つ以上の人工物体を削除するために体積フィルターが適用され得る。体積フィルターの適用を介して識別および削除される過度に小さい人工物体は、画像のセグメンテーションおよび/またはノイズのエラーの結果としてのアーティファクトに対応することが多い。
特定の実施形態では、1つ以上の人工物体の生成は、予想人工物体のセットの生成の第1のステップを含む。そのような予想人工物体は、本明細書に記載のアプローチのうちのいずれかを介して(例えば、決定されたマスク間の論理的AND演算を介して)生成され得る。特定の場合では、この予想人工物体のセットには、ノイズおよび/または画像セグメンテーションエラーに起因するアーティファクトに対応する非常に小さな人工物体が含まれる。このようなアーティファクトを削除するために、体積フィルターを適用して、プロセッサによって、予め定義された閾値耐性未満の体積を表すと決定された人工物体をセットから削除する。体積フィルターの適用後、所望の人工物体(複数可)(例えば、各シード人工物体、例えば、所与のシード人工物体に関連付けられた新たに生成された後続の人工物体)の各々が、セット(そこから体積フィルターが過度に小さい人工物体を削除した)から選択される。
特定の実施形態では、特定の骨格領域の対称性などの物理的直感を活用する他のフィルターも適用され得る。特定の実施形態では、連続する人工物体間の距離が一貫しているかどうかを検証することを含む、別のフィルターリングステップが適用される。
特定の実施形態では、上記に記載のように、クロス画像対の比較に基づいて、複数の画像間の人工物体の比較に基づくフィルターリングアプローチが適用される。
特定の実施形態では、上記に記載のものを含むがこれらに限定されないフィルターリングアプローチ(例えば、体積フィルター、対比較フィルター、連続物体分離フィルター、クロス画像対比較、特定の骨格領域の対称性に基づくフィルターリングアプローチ)が組み合わせて、様々な順序で適用される。
C.実施例
図15〜18は、本明細書に記載の人工ランドマーク生成アプローチを使用した画像位置合わせの例を示す。図15は、位置合わせなしで、異なる時点で収集されたマウスの一連の3D画像の断面1500を示す。4つの異なる画像の断面(平面)が示され、各画像について、マウス(対象)の位置および姿勢が異なる。xz平面の4つの断面(例えば、xz平面内のスライス)1504a、1506a、1508a、および1510aが、xy平面1504b、1506b、1508b、および1510bの断面と共に示されている。参考のために、zy平面1502の断面を示されている。断面1504aおよび1504bは、それぞれ、第1の時点で記録された第1の画像のxz平面およびxy平面を通るスライスに対応する。断面1506aおよび1506bは、それぞれ、第2の時点で記録された第2の画像のxz平面およびxy平面を通してスライスする。断面1508aおよび1508bは、それぞれ、第3の時点で記録された第3の画像のxz平面およびxy平面に対応する。断面1510aおよび1510bは、それぞれ、第4の時点で記録された第4の画像のxz平面およびxy平面に対応する。図15の画像は、いかなる歪み補正または同時位置合わせが適用されていない生画像に対応する。図の2D断面に示すように、異なる測定におけるマウスの姿勢および位置の差が画像に反映される。
図16は、並進操作に対応する変換を決定し、その変換を3D画像に適用する例を示す。変換を決定するために、本明細書に記載のアプローチを使用して、一連の画像内の各画像について人工ランドマークが生成された。標的ランドマークのセットは、画像のうちの1つ内の人工ランドマークを使用して決定された。標的ランドマークは、yz平面についてのミラー操作の下で対称であると決定された。一連の各画像について、並進操作に対応する対応する変換が決定され、それぞれの画像内の人工ランドマークのセットを標的ランドマークのセットと位置合わせした。
決定された並進操作が、対応する各画像に適用され、結果は、図16に示される断面1600に示される。図15と同様に、断面1604aおよび1604bは、それぞれ、第1の時点で記録された第1の測定に対応する第1の画像のxz平面およびxy平面に対応する。断面1606aおよび1606bは、それぞれ、第2の時点で記録された第2の画像のxz平面およびxy平面に対応する。断面1608aおよび1608bは、それぞれ、第3の時点で記録された第3の画像のxz平面およびxy平面に対応する。1610aおよび1610bは、それぞれ、第4の測定に対応する第4の画像のxz平面およびxy平面に対応する。yz平面1602内の断面も示されている。決定された並進操作を一連の各画像に適用した結果、各画像の人工ランドマークの中間座標は、4つの画像すべてについて同じになる。画像取得機器の軸に関して対象の回転に補正が必要な場合、図17または図18のいずれかの変換アプローチが優れている可能性がある。
図17は、一連の4つの画像内の各画像について、線形変換に対応する変換が、画像内の人工ランドマークを使用して決定され、画像に適用される例を示す。一連の各画像について人工ランドマークが生成され、以前に記載されるように一連の画像のうちの1つを使用して対称標的ランドマークが決定された。各画像について、それぞれの画像内の人工ランドマークおよび標的ランドマークを使用して、対応する線形変換が決定された(例えば、標的ランドマークのセットとの所与の画像の人工ランドマークのセットの整列を実質的に最適化するように、線形変換が決定された)。
各画像について、対応する決定された線形変換を画像に適用した結果が、図17に示される一連の断面1700に示されている。図15および16と同様に、断面1704aおよび1704bは、それぞれ、第1の時点で記録された第1の画像のxz平面およびxy平面に対応する。断面1706aおよび1706bは、それぞれ、第2の時点で記録された第2の画像のxz平面およびxy平面に対応する。断面1708aおよび1708bは、それぞれ、第3の時点で記録された第3の画像のxz平面およびxy平面に対応する。断面1710aおよび1710bは、それぞれ、第4の測定に対応する第4の画像のxz平面およびxy平面に対応する。yz平面1702の断面も示されている。
図18は、一連の4つの画像内の各画像について、線形変換、その後の非線形変換を含む変換が、画像内の人工ランドマークを使用して決定され、画像に適用される例を示す。一連の各画像について人工ランドマークが生成され、以前に記載されるように一連の画像のうちの1つを使用して対称標的ランドマークが決定された。各画像について、それぞれの画像内の人工ランドマークおよび標的ランドマークを使用して、組み合された変換(線形変換、その後の非線形変換に対応する)が決定された(例えば、標的ランドマークのセットとの所与の画像の人工ランドマークのセットの整列を実質的に最適化するように、変換が決定された)。
各画像について、対応する決定された変換(非線形変換、その後の非線形変換)を画像に適用した結果が、図18に示される一連の断面1800に示されている。図15〜17と同様に、断面1804aおよび1804bは、それぞれ、第1の時点で記録された第1の画像のxz平面およびxy平面に対応する。断面1806aおよび1806bは、それぞれ、第2の時点で記録された第2の画像のxz平面およびxy平面に対応する。断面1808aおよび1808bは、それぞれ、第3の時点で記録された第3の画像のxz平面およびxy平面に対応する。断面1810aおよび1810bは、それぞれ、第4の時点で記録された第4の画像のxz平面およびxy平面に対応する。yz平面1802の断面も示されている。
図19は、識別された胸郭骨(例えば、骨マスク)および識別された通気肺の一連の投影1910、1920、1930、1940を示し、各投影は、異なる時点で記録されたマウスの異なる3D画像内で識別された胸郭骨および通気肺を表す。異なる3D画像は、同時位置合わせされており、したがって、対象の肺の変動を観察するために容易に比較することができる。
D.ネットワーク環境およびコンピューティングシステム
図13に示すように、本明細書に記載の画像の歪み補正および/または同時位置合わせのための人工ランドマークの生成のためのシステム、方法、およびアーキテクチャを提供する際に使用するためのネットワーク環境1300の実装。ここで図13を参照した簡単な概要では、例示的なクラウドコンピューティング環境1300のブロック図が示され、記載されている。クラウドコンピューティング環境1300は、1つ以上のリソースプロバイダ1302a、1302b、1302c(集合的に、1302)を含み得る。各リソースプロバイダ1302は、コンピューティングリソースを含み得る。いくつかの実装では、コンピューティングリソースは、データの処理に使用される任意のハードウェアおよび/またはソフトウェアが含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータープログラム、および/またはコンピューターアプリケーションを実行することができるハードウェアおよび/またはソフトウェアを含み得る。いくつかの実装では、例示的なコンピューティングリソースは、記憶および検索能力を備えたアプリケーションサーバーおよび/またはデータベースが含み得る。各リソースプロバイダ1302は、クラウドコンピューティング環境1300内の任意の他のリソースプロバイダ1302に接続され得る。いくつかの実装では、リソースプロバイダ1302は、コンピューターネットワーク1308を介して接続され得る。各リソースプロバイダ1302は、コンピューターネットワーク1308を介して1つ以上のコンピューティングデバイス1304a、1304b、1304c(集合的に、1304)に接続され得る。
クラウドコンピューティング環境1300は、リソースマネージャ1306を含み得る。リソースマネージャ1306は、コンピューターネットワーク1308を介してリソースプロバイダ1302およびコンピューティングデバイス1304に接続され得る。いくつかの実装では、リソースマネージャ1306は、1つ以上のリソースプロバイダ1302による1つ以上のコンピューティングデバイス1304へのコンピューティングリソースの提供を容易にすることができる。リソースマネージャ1306は、特定のコンピューティングデバイス1304からコンピューティングリソースの要求を受信し得る。リソースマネージャ1306は、コンピューティングデバイス1304によって要求されたコンピューティングリソースを提供することができる1つ以上のリソースプロバイダ1302を識別し得る。リソースマネージャ1306は、コンピューティングリソースを提供するためにリソースプロバイダ1302を選択し得る。リソースマネージャ1306は、リソースプロバイダ1302と特定のコンピューティングデバイス1304との間の接続を容易にすることができる。いくつかの実装では、リソースマネージャ1306は、特定のリソースプロバイダ1302と特定のコンピューティングデバイス1304との間の接続を構築することができる。いくつかの実装では、リソースマネージャ1306は、特定のコンピューティングデバイス1304を、要求されたコンピューティングリソースを有する特定のリソースプロバイダ1302にリダイレクトすることができる。
図14は、本開示に記載の技術を実装するために使用することができるコンピューティングデバイス1400およびモバイルコンピューティングデバイス1450の一例を示す。コンピューティングデバイス1400は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバー、ブレードサーバー、メインフレーム、および他の適切なコンピューターなど、様々な形態のデジタルコンピューターを表すことを意図している。モバイルコンピューティングデバイス1450は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことを意図している。ここに示されているコンポーネント、それらの接続および関係、ならびにそれらの機能は、単なる例であり、限定することを意図したものではない。
コンピューティングデバイス1400は、プロセッサ1402、メモリ1404、記憶デバイス1406、メモリ1404および複数の高速拡張ポート1410に接続する高速インターフェース1408、ならびに低速拡張ポート1414および記憶デバイス1406に接続する低速インターフェース1412を含む。プロセッサ1402、メモリ1404、記憶デバイス1406、高速インターフェース1408、高速拡張ポート1410、および低速インターフェース1412の各々は、様々なバスを使用して相互接続され、必要に応じて、一般的なマザーボード上に、または他の方法で搭載され得る。プロセッサ1402は、メモリ1404内に、または記憶デバイス1406上に記憶された命令を含む、コンピューティングデバイス1400内での実行のための命令を処理して、高速インターフェース1408に連結されたディスプレイ1416など、外部入力および出力デバイス上のGUIのためのグラフィカル情報を表示することができる。他の実装では、必要に応じて、複数のメモリおよびメモリの種類と共に、複数のプロセッサおよび/または複数のバスを使用することができる。また、複数のコンピューティングデバイスを接続することができ、各デバイスが、必要な操作の一部分を提供する(例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステムとして)。したがって、「プロセッサ」によって行われるものとして複数の機能が記載される用語が本明細書で使用される場合、これは、複数の機能が任意の数のコンピューティングデバイス(1つ以上)の任意の数のプロセッサ(1つ以上)によって行われる実施形態を包含する。さらに、機能が「プロセッサ」によって行われると記載されている場合、これは、機能が任意の数のコンピューティングデバイス(1つ以上)(例えば、分散コンピューティングシステムで)の任意の数のプロセッサ(1つ以上)によって行われる実施形態を包含する。
メモリ1404は、コンピューティングデバイス1400内の情報を記憶する。いくつかの実装では、メモリ1404は、揮発性メモリユニット(複数可)である。いくつかの実装では、メモリ1404は、不揮発性メモリユニット(複数可)である。メモリ1404は、磁気または光ディスクなどのコンピューター可読媒体の別の形態であってもよい。
記憶デバイス1406は、コンピューティングデバイス1400に大容量記憶を提供することができる。いくつかの実装では、記憶デバイス1406は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリ、もしくは他の同様の固体記憶デバイスなどのコンピューター可読媒体であるか、または記憶エリアネットワークもしくは他の構成のデバイスを含むデバイスの配列を含み得る。命令は、情報キャリアに記憶され得る。命令は、1つ以上の処理デバイス(例えば、プロセッサ1402)によって実行されると、上記に記載の方法などの1つ以上の方法を行う。命令はまた、コンピューターまたは機械可読媒体(例えば、メモリ1404、記憶デバイス1406、またはプロセッサ1402上のメモリ)などの1つ以上の記憶デバイスによって記憶され得る。
高速インターフェース1408は、コンピューティングデバイス1400の帯域幅集約型の操作を管理し、低速インターフェース1412は、より低い帯域幅集約型の操作を管理する。このような機能の割り当ては単なる一例である。いくつかの実装では、高速インターフェース1408は、メモリ1404、ディスプレイ1416(例えば、グラフィックプロセッサまたはアクセラレータを介して)、および様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート1410に連結される。実装では、低速インターフェース1412は、記憶デバイス1406および低速拡張ポート1414に連結される。様々な通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット(登録商標))を含み得る低速拡張ポート1414は、キーボード、ポインティングデバイス、スキャナーなどの1つ以上の入力/出力デバイス、または例えば、ネットワークアダプタを介した、スイッチもしくはルーターなどのネットワーキングデバイスに連結され得る。
コンピューティングデバイス1400は、図に示すように、いくつかの異なる形態で実装されてもよい。例えば、標準的なサーバー1420として、またはそのようなサーバーのグループで複数回実装され得る。加えて、ラップトップコンピューター1422などのパーソナルコンピューターに実装されてもよい。ラックサーバーシステム1424の一部として実装されてもよい。代替的に、コンピューティングデバイス1400からのコンポーネントは、モバイルコンピューティングデバイス1450などのモバイルデバイス(図示せず)の他のコンポーネントと組み合わせることができる。そのようなデバイスの各々は、コンピューティングデバイス1400およびモバイルコンピューティングデバイス1450のうちの1つ以上を含むことができ、システム全体が、互いに通信する複数のコンピューティングデバイスで構成され得る。
モバイルコンピューティングデバイス1450は、他のコンポーネントの中でも特に、プロセッサ1452、メモリ1464、ディスプレイ1454などの入力/出力デバイス、通信インターフェース1466、およびトランシーバ1468を含む。モバイルコンピューティングデバイス1450は、追加の記憶を提供するために、マイクロドライブまたは他のデバイスなどの記憶デバイスを備える場合もある。プロセッサ1452、メモリ1464、ディスプレイ1454、通信インターフェース1466、およびトランシーバ1468の各々は、様々なバスを使用して相互接続され、コンポーネントのうちのいくつかは、必要に応じて、一般的なマザーボード上に、または他の方法で搭載され得る。
プロセッサ1452は、メモリ1464に記憶された命令を含む、モバイルコンピューティングデバイス1450内の命令を実行することができる。プロセッサ1452は、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ1452は、例えば、ユーザインターフェースの制御、モバイルコンピューティングデバイス1450によって実行されるアプリケーション、モバイルコンピューティングデバイス1450による無線通信など、モバイルコンピューティングデバイス1450の他のコンポーネントの調整を提供することができる。
プロセッサ1452は、ディスプレイ1454に連結された制御インターフェース1458およびディスプレイインターフェース1456を通じてユーザーと通信することができる。ディスプレイ1454は、例えば、TFT(薄膜トランジスタ液晶ディスプレイ)ディスプレイまたはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース1456は、ディスプレイ1454を駆動してグラフィックおよび他の情報をユーザーに提示するための適切な回路を備え得る。制御インターフェース1458は、ユーザーからコマンドを受信し、それらをプロセッサ1452への提出用に変換することができる。加えて、外部インターフェース1462は、モバイルコンピューティングデバイス1450と他のデバイスとの近距離通信を可能にするために、プロセッサ1452との通信を提供することができる。外部インターフェース1462は、例えば、いくつかの実装では有線通信を、または他の実装では無線通信を提供することができ、複数のインターフェースも使用することができる。
メモリ1464は、モバイルコンピューティングデバイス1450内の情報を記憶する。メモリ1464は、コンピューター可読媒体(複数可)、揮発性メモリユニット(複数可)、または不揮発性メモリユニット(複数可)のうちの1つ以上として実装することができる。拡張メモリ1474も提供され、例えば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る拡張インターフェース1472を介してモバイルコンピューティングデバイス1450に接続され得る。拡張メモリ1474は、モバイルコンピューティングデバイス1450のための追加の記憶スペースを提供し得るか、またはモバイルコンピューティングデバイス1450のためのアプリケーションもしくは他の情報を記憶し得る。具体的には、拡張メモリ1474は、上記に記載のプロセスを実行または補足する命令を含む場合があり、安全な情報も含み得る。したがって、例えば、拡張メモリ1474は、モバイルコンピューティングデバイス1450のためのセキュリティモジュールとして提供される場合があり、モバイルコンピューティングデバイス1450の安全な使用を可能にする命令によりプログラムされ得る。加えて、ハッキング不可能な方法でSIMMカードに識別情報を配置するなど、追加の情報と共に、SIMMカードを介して安全なアプリケーションを提供することができる。
メモリは、以下に考察されるように、例えば、フラッシュメモリおよび/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。いくつかの実装では、命令は、情報キャリアに保存される。命令は、1つ以上の処理デバイス(例えば、プロセッサ1452)によって実行されると、上記に記載のものなど、1つ以上の方法を行う。命令はまた、1つ以上のコンピューター可読媒体または機械可読媒体(例えば、メモリ1464、拡張メモリ1474、またはプロセッサ1452上のメモリ)などの1つ以上の記憶デバイスによって記憶することができる。いくつかの実装では、命令は、例えば、トランシーバ1468または外部インターフェース1462を介して、伝播信号で受信することができる。
モバイルコンピューティングデバイス1450は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース1466を介して無線で通信し得る。通信インターフェース1466は、GSM(登録商標)音声通話(モバイル通信用グローバルシステム)、SMS(ショートメッセージサービス)、EMS(拡張メッセージングサービス)、またはMMSメッセージング(マルチメディアメッセージングサービス)、CDMA(コード分割多重アクセス)、TDMA(時分割多重アクセス)、PDC(パーソナルデジタルセルラー)、WCDMA(登録商標)(広帯域コード分割多重アクセス)、CDMA2000、またはGPRS(一般パケット無線サービス)などの様々なモードもしくはプロトコルの下で通信を提供することができる。このような通信は、例えば、無線周波数を使用するトランシーバ1468を介して発生し得る。加えて、ブルートゥース(登録商標)、Wi‐Fi(商標)、または他の同様のトランシーバ(図示せず)を使用するなど、短距離通信が発生する場合がある。加えて、GPS(全地球測位システム)受信機モジュール1470は、モバイルコンピューティングデバイス1450上で実行されるアプリケーションによって適切に使用され得る追加のナビゲーションおよび位置関連無線データをモバイルコンピューティングデバイス1450に提供し得る。
モバイルコンピューティングデバイス1450は、音声コーデック1460を使用して可聴通信することもでき、音声コーデック1460は、ユーザーから話された情報を受信し、それを使用可能なデジタル情報に変換することができる。音声コーデック1460は、同様に、例えば、モバイルコンピューティングデバイス1450のハンドセット内のスピーカーを介してなど、ユーザーに対して可聴音を生成することができる。そのような音は、音声電話通話からの音を含むことができ、記録された音(例えば、音声メッセージ、音楽ファイルなど)を含むことができ、モバイルコンピューティングデバイス1450上で操作するアプリケーションによって生成される音も含むことができる。
モバイルコンピューティングデバイス1450は、図に示すように、いくつかの異なる形態で実装され得る。例えば、携帯電話1480として実装され得る。また、スマートフォン1482、携帯情報端末、または他の同様のモバイルデバイスの一部として実装されてもよい。
本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピューターハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現することができる。これらの様々な実装は、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからのデータおよび命令を受信して、これらにデータおよび命令を送信するために連結された、専用または汎用であり得る、少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータープログラムでの実装が含むことができる。
これらのコンピュータープログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている)には、プログラム可能なプロセッサ用の機械命令が含まれ、高レベルの手続き型および/もしくは物体指向プログラミング言語で、かつ/またはアセンブリ/機械で実装することができる。本明細書で使用される場合、機械可読媒体およびコンピューター可読媒体という用語は、機械命令を機械可読信号として受信する機械可読媒体を含む、機械命令および/またはデータをプログラム可能なプロセッサに提供するために使用される任意のコンピュータープログラム製品、装置、および/またはデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能な論理デバイス(PLD))を指す。機械可読信号という用語は、プログラム可能なプロセッサに機械命令および/またはデータを提供するために使用される任意の信号を指す。
ユーザーとの相互作用を提供するために、本明細書に記載のシステムおよび技術は、ユーザーに情報を表示するための表示デバイス(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニター)、ならびにユーザーがコンピューターに入力を提供することができるキーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)を有するコンピューター上で実装することができる。他の種類のデバイスを使用して、ユーザーとの相互作用を提供することもでき、例えば、ユーザーに提供されるフィードバックは、任意の系チアの感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)にすることができ、ユーザーからの入力は、音響、音声、または触覚入力を含む、あらゆる系チアで受信することができる。
本明細書に記載のシステムおよび技術は、バックエンドコンポーネント(例えば、データサーバーとして)を含むコンピューティングシステム、またはミドルウェアコンポーネント(例えば、アプリケーションサーバー)を含むコンピューティングシステム、またはフロントエンドコンポーネント(例えば、ユーザーが本明細書に記載のシステムおよび技術の実装と相互作用することができる、グラフィカルユーザーインターフェースもしくはウェブブラウザーを有するクライアントコンピューター)を含むコンピューティングデバイス、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせで実装することができる。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、およびインターネットが含まれる。
コンピューティングシステムは、クライアントおよびサーバーを含み得る。通常、クライアントおよびサーバーは、互いに遠隔であり、典型的には、通信ネットワークを介して相互作用する。クライアントとサーバーとの関係は、それぞれのコンピューター上で実行され、互いにクライアントとサーバーとの関係を有するコンピュータープログラムによって発生する。
本明細書に記載の異なる実装の要素は、上記に具体的に記載されていない他の実装を形成するために組み合わされる場合がある。要素は、それらの操作に悪影響を与えることなく、本明細書に記載のプロセス、コンピュータープログラム、データベースなどから除外される場合がある。加えて、図に図示されている論理の流れは、望ましい結果を得るために、示されている特定の順序または順番を必要としない。本明細書に記載の機能を実行するために、様々な別個の要素を1つ以上の個々の要素に組み合わせることができる。いくつかの実装では、本明細書に記載のシステムおよび方法の構造、機能、および装置を考慮して。
記載全体を通して、装置およびシステムが特定のコンポーネントを有する、含む、もしくは備えると記載される場合、またはプロセスおよび方法が特定のステップを有する、含む、または含むと記載される場合、さらに、列挙されたコンポーネントから本質的になる、もしくはそれらからなる本発明の装置およびシステムがあり、かつ列挙された処理ステップから本質的になる、もしくはそれらからなる本発明によるプロセスおよび方法があることが企図される。
本発明が実施可能である限り、ステップの順序または特定の動作を行う順序は、重要ではないことが理解されるべきである。さらに、2つ以上のステップまたは動作を同時に実行することができる。
装置、システム、および方法は、特定の好ましい実施形態を参照して示され、記載されているが、当業者であれば、添付の特許請求の範囲によって定義されるような本発明の精神および範囲から逸脱することなく、形態および詳細の様々な変更を行うことができることを理解するべきである。

Claims (26)

  1. 対象の1つ以上の3D画像を位置合わせするためのシステムであって、
    プロセッサと、
    命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
    (a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含むこと、
    (b)前記3D画像において対象となる1つ以上の骨および参照物体を識別すること、
    (c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記3D画像における前記識別された対象となる1つ以上の骨の領域に対応すること、
    (d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記3D画像において前記識別された対象となる1つ以上の骨の各々に沿って人工物体のセットを作り出すこと、
    (e)前記3D画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に行うこと、
    (f)前記3D画像における対象となる第1の骨と第2の骨との間の距離が予め定義された閾値距離未満である領域に対応する前記3D画像の1つ以上の危険な領域を識別すること、
    (g)各人工物体を自動的に生成することであって、各人工物体は、前記3D画像において前記生成された人工物体とあらゆる識別された危険な領域との間の距離が前記予め定義された閾値距離を超えるように、自動的に生成される、こと、を行わせる、システム。
  2. 前記命令が、
    三次元の複数の点の各々における強度値を含む距離マップを決定することであって、前記距離マップの前記強度値の各々が、3D空間における所与の点から前記参照物体までの距離に対応することと、
    前記距離マップから距離間隔マスクを生成することと、
    前記距離間隔マスクと、前記識別された対象となる1つ以上の骨に対応するマスクとの間にAND演算を適用し、それにより、前記参照物体から前記第1の距離間隔内にある前記識別された対象となる骨の複数の領域を識別することと、によって、前記プロセッサに前記1つ以上のシード人工物体を自動的に生成させる、請求項1に記載のシステム。
  3. 自動的に生成された各シード人工物体について、前記複数の関連付けられた後続の人工物体が、人工物体の等距離連鎖を含む、請求項1に記載のシステム。
  4. 各人工物体が、前記3D画像内の識別された追加の骨から前記予め定義された閾値距離である、請求項1に記載のシステム。
  5. 前記命令が、前記プロセッサに、前記シード人工物体から開始することと、段階的な様式で新たな後続の人工物体を生成することとによって対象となる骨に沿って人工物体の連鎖を生成することによって、それぞれのシード人工物体に関連付けられた前記複数の後続の人工物体を自動的に生成させ、新たに生成された各人工物体が、前記対象となる骨に沿って前記識別された参照物体から離れるように外向きに進む、請求項1に記載のシステム。
  6. 前記命令が、前記プロセッサに、前記人工物体の連鎖の少なくとも1つの新たに生成された人工物体について
    前記新たに生成された人工物体が前記3D画像において識別された追加の骨から前記予め定義された閾値距離内にあるかどうかを決定することと、
    前記新たに生成された人工物体が前記3D画像の前記識別された追加の骨から前記予め定義された閾値距離内にあるとの決定に応答して、前記それぞれのシード人工物体に関連付けられた後続の人工物体の生成を終了することと、によって、前記それぞれのシード人工物体に関連付けられた前記人工物体の連鎖を生成させる、請求項に記載のシステム。
  7. 前記3D画像内の前記人工物体のセットの各人工物体が予め定義された閾値以上の体積を有することが確認される、請求項1に記載のシステム。
  8. 前記命令が、前記プロセッサに、
    前記3D画像内の前記人工物体のセットに基づいて、画像位置合わせ変換を決定することと、
    前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより前記3D画像を位置合わせすることと、を行わせる、請求項1に記載のシステム。
  9. 前記画像位置合わせ変換が、前記3D画像の対称化をもたらし、それにより前記3D画像の歪みを補正する、請求項に記載のシステム。
  10. 前記受信された画像が第1の画像に対応し、前記画像位置合わせ変換が、前記第1の画像を前記対象の第2の画像と整列させ、それにより前記第1の画像を前記第2の画像と同時位置合わせさせる、請求項に記載のシステム。
  11. 前記命令が、
    前記3D画像内の前記人工物体のセットから、前記3D画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応することと、
    前記3D画像内の前記人工ランドマークのセットおよび標的ランドマークのセットを使用して前記画像位置合わせ変換を決定することであって、前記画像位置合わせ変換が、前記3D画像内の前記人工ランドマークに対応する点に適用されると、前記標的ランドマークのセットとの前記人工ランドマークのセットの整列を実質的に最適化するように決定されることと、によって、前記プロセッサに前記画像位置合わせ変換を決定させる、請求項に記載のシステム。
  12. 前記標的ランドマークのセットが対称である、請求項11に記載のシステム。
  13. 前記命令が、前記プロセッサに、前記3D画像内の前記人工ランドマークのセットを使用して、前記標的ランドマークのセットを決定させる、請求項11に記載のシステム。
  14. 前記標的ランドマークのセットが、所定の標的ランドマークのセットである、請求項11に記載のシステム。
  15. 前記受信された3D画像が、軟部組織のグラフィック表現に対応する1つ以上の領域を含み、前記命令が、前記プロセッサに、前記軟部組織のグラフィック表現に対応する前記3D画像の前記1つ以上の領域に前記画像位置合わせ変換を適用させ、それにより前記軟部組織の領域を位置合わせさせる、請求項に記載のシステム。
  16. 前記対象の前記受信された3D画像が、第1のモダリティを介して記録された第1の画像に対応し、前記命令が、前記プロセッサに、
    第2のモダリティを介して記録された第2の画像を受信することと、
    前記3D画像内の前記人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、
    前記第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、
    前記第2の画像の領域に前記第2の画像位置合わせ変換を適用することと、を行わせる、請求項に記載のシステム。
  17. 前記第2の画像が、前記対象が実質的に同様の姿勢および/または位置にある状態で、前記第1の画像と実質的に同時に記録される、請求項16に記載のシステム。
  18. 前記第2の画像位置合わせ変換が、前記第1の画像位置合わせ変換と同じである、請求項16に記載のシステム。
  19. 前記第1の画像の複数の点の座標が、既知の空間的関係を介して、前記第2の画像の複数の点の座標に関連し、前記既知の空間的関係は、前記第2の画像の前記複数の点に対する前記第1の画像の前記複数の点の向きを特定する、請求項16に記載のシステム。
  20. 前記3D画像が、肋骨および背骨のグラフィック表現を含み、
    前記識別された対象となる1つ以上の骨が、肋骨を含み、
    前記識別された参照物体が、前記対象の背骨である、請求項1に記載のシステム。
  21. 前記肋骨のグラフィック表現が、複数の対向する肋骨対を含み、
    複数の肋骨人工物体の一部分の各肋骨人工物体が、複数の肋骨人工物体対のうちの1つに属し、各対が、一対の対向する肋骨の第1の肋骨に関連付けられた第1の肋骨人工物体、および前記一対の対向する肋骨の第2の肋骨に関連付けられた第2の肋骨人工物体を含み、
    各対の肋骨人工物体について、(i)前記対の第1の物体によって表される体積と前記対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を下回っており、かつ/または(ii)前記対の前記第1の物体の高さと前記対の前記第2の物体の高さとの間の差が、予め定義された閾値高さの差を下回っている、請求項20に記載のシステム。
  22. 前記グラフィック表現における前記肋骨が、一対以上の対向する肋骨を含み、前記命令が、
    背骨からある距離間隔内にある前記肋骨の複数の領域に対応する予想シード肋骨人工物体のセットを識別することと、
    一対以上の予想シード肋骨人工物体を自動的に識別することであって、各対が、前記一対の肋骨の第1の肋骨の第1のシード肋骨人工物体、および前記対向する肋骨の対応する第2のシード肋骨人工物体を含むことと、
    前記予想シード肋骨人工物体のセットに対比較フィルターを適用することであって、前記対比較フィルターの適用により、前記セットから、(i)対の第1の物体によって表される体積と前記対の第2の物体によって表される体積との間の差が、予め定義された閾値体積差を上回っており、かつ/または(ii)前記対の前記第1の物体の高さと前記対の前記第2の物体の高さとの間の差が、予め定義された閾値高さの差を上回っている、人工物体対が削除されることと、
    前記対比較フィルターの適用後に、前記予想シード肋骨人工物体のセットから各シード肋骨人工物体を選択することと、によって、前記プロセッサに複数のシード肋骨人工物体を自動的に生成させる、請求項20に記載のシステム。
  23. 前記3D画像が、前記対象の胸骨および前記胸骨の下端のグラフィック表現を含む、請求項1に記載のシステム。
  24. 前記対象となる1つ以上の骨が、前記3D画像における前記胸骨を含み、前記参照物体が、前記胸骨の下端を含む、請求項23に記載のシステム。
  25. 対象の1つ以上の3D画像を位置合わせするためのシステムであって、
    プロセッサと、
    命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
    (a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含むことと、
    (b)前記3D画像において対象となる1つ以上の骨および参照物体を識別することと、
    (c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記3D画像における前記識別された対象となる1つ以上の骨の領域に対応することと、
    (d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記3D画像において前記識別された対象となる1つ以上の骨の各々に沿って人工物体のセットを作り出すことと、
    (e)前記3D画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に行うことと、
    (f)前記3D画像内の前記人工物体のセットに基づいて、画像位置合わせ変換を
    前記3D画像内の前記人工物体のセットから、前記3D画像内の人工ランドマークのセットを決定することであって、各ランドマークが、対応する人工物体から決定された点に対応することと、
    前記3D画像内の前記人工ランドマークのセットおよび対称標的ランドマークのセットを使用して前記画像位置合わせ変換を決定することであって、前記画像位置合わせ変換が、前記3D画像内の前記人工ランドマークに対応する点に適用されると、前記対称標的ランドマークのセットとの前記人工ランドマークのセットの整列を実質的に最適化するように決定されることによって、決定することと、
    (g)前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより前記3D画像を位置合わせすることと、
    (h)前記3D画像における対象となる第1の骨と第2の骨との間の距離が予め定義された閾値距離未満である領域に対応する前記3D画像の1つ以上の危険な領域を識別することと、
    (i)各人工物体を自動的に生成することであって、各人工物体は、前記3D画像において前記生成された人工物体とあらゆる識別された危険な領域との間の距離が前記予め定義された閾値距離を超えるように、自動的に生成される、ことと、を行わせる、システム。
  26. 対象の1つ以上の3D画像を位置合わせするためのシステムであって、
    プロセッサと、
    命令が記憶されたメモリと、を備え、前記命令が、前記プロセッサによって実行されると、前記プロセッサに、
    (a)前記対象の3D画像を受信することであって、前記3D画像が、対象となる1つ以上の骨のグラフィック表現を含むことと、
    (b)前記3D画像において対象となる1つ以上の骨および参照物体を識別することと、
    (c)1つ以上のシード人工物体を自動的に生成することであって、各シード人工物体が、前記参照物体から第1の距離間隔内にあり、前記3D画像における前記識別された1つ以上の骨の領域に対応することと、
    (d)自動的に生成された各シード人工物体について、複数の関連付けられた後続の人工物体を自動的に生成し、それにより前記3D画像において前記識別された対象となる1つ以上の骨の各々に沿って人工物体のセットを作り出すことと、
    (e)前記3D画像内の前記人工物体のセットを使用して、前記対象の1つ以上の画像の位置合わせを自動的に実行することと、
    (f)前記3D画像内の前記人工物体のセットに基づいて、画像位置合わせ変換を決定することと、
    (g)前記3D画像の領域に前記画像位置合わせ変換を適用し、それにより、第1のモダリティを介して記録された第1の画像に対応する前記3D画像を位置合わせすることと、
    (h)第2のモダリティを介して記録された第2の画像を受信することと、
    (i)前記3D画像内の前記人工物体のセットに基づいて、第1の画像位置合わせ変換を決定することと、
    (j)前記第1の画像位置合わせ変換に基づいて、第2の画像位置合わせ変換を決定することと、
    (k)前記第2の画像の領域に前記第2の画像位置合わせ変換を適用することと、
    (l)前記3D画像における対象となる第1の骨と第2の骨との間の距離が予め定義された閾値距離未満である領域に対応する前記3D画像の1つ以上の危険な領域を識別することと、
    (m)各人工物体を自動的に生成することであって、各人工物体は、前記3D画像において前記生成された人工物体とあらゆる識別された危険な領域との間の距離が前記予め定義された閾値距離を超えるように、自動的に生成される、ことと、を行わせ
    前記第2の画像は、前記対象が実質的に同様の姿勢および/または位置にある状態で、前記第1の画像と実質的に同時に記録されるシステム。
JP2019568075A 2017-06-16 2018-06-15 骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法 Active JP6915102B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762520926P 2017-06-16 2017-06-16
US62/520,926 2017-06-16
PCT/US2018/037708 WO2018232210A1 (en) 2017-06-16 2018-06-15 Systems and methods for automated distortion correction and/or co-registration of three-dimensional images using artificial landmarks along bones

Publications (2)

Publication Number Publication Date
JP2020523107A JP2020523107A (ja) 2020-08-06
JP6915102B2 true JP6915102B2 (ja) 2021-08-04

Family

ID=62842263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568075A Active JP6915102B2 (ja) 2017-06-16 2018-06-15 骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法

Country Status (6)

Country Link
US (1) US11182913B2 (ja)
EP (1) EP3639272A1 (ja)
JP (1) JP6915102B2 (ja)
KR (1) KR102394321B1 (ja)
CN (1) CN110709943B (ja)
WO (1) WO2018232210A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111312373B (zh) * 2020-01-19 2023-08-18 浙江树人学院(浙江树人大学) 一种pet/ct图像融合自动标注方法
KR102363721B1 (ko) * 2020-03-05 2022-02-16 (주)헬스허브 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법
CN113160248B (zh) * 2021-04-22 2023-03-14 浙江明峰智能医疗科技有限公司 一种图像处理方法、装置、设备及可读存储介质
WO2022233689A1 (de) 2021-05-07 2022-11-10 Bayer Aktiengesellschaft Charakterisierung von läsionen in der leber mittels dynamischer kontrastverstärkter magnetresonanztomographie
WO2024035957A1 (en) * 2022-08-12 2024-02-15 Neurosimplicity, Llc Method and system for automatic determination of registration accuracy
EP4336204A1 (de) 2022-09-07 2024-03-13 Bayer AG Beschleunigen von mrt-untersuchungen der leber
EP4375919A1 (de) 2022-11-25 2024-05-29 Bayer AG Erzeugen von kontrastverstärkten synthetischen radiologischen aufnahmen

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
US20100272330A1 (en) * 2007-08-03 2010-10-28 Koninklijke Philips Electronics N.V. Anatomically constrained image registration
JP2010221015A (ja) * 2009-02-27 2010-10-07 Terumo Corp 3次元人体モデル生成装置、3次元人体モデル生成方法及び3次元人体モデル生成プログラム
RU2541887C2 (ru) * 2009-04-02 2015-02-20 Конинклейке Филипс Электроникс Н.В. Автоматизированное оконтуривание анатомии для планирования терапии с управлением по изображениям
US20100329571A1 (en) * 2009-06-24 2010-12-30 General Electric Company Shape based registration
US8498459B2 (en) * 2009-10-08 2013-07-30 Siemens Aktiengesellschaft System and method for verifying registration accuracy in digital medical images
JP2011206148A (ja) * 2010-03-29 2011-10-20 Terumo Corp 三次元人体モデル生成装置、三次元人体モデル生成方法及び三次元人体モデル生成プログラム
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US20130072783A1 (en) * 2011-09-16 2013-03-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Indicating proximity of a body-insertable device to a destination region of interest
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
US9741131B2 (en) 2013-07-17 2017-08-22 Siemens Medical Solutions Usa, Inc. Anatomy aware articulated registration for image segmentation
JP6048343B2 (ja) * 2013-08-12 2016-12-21 株式会社島津製作所 放射線断層撮影装置
WO2015101948A2 (en) * 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US9192348B2 (en) * 2014-01-23 2015-11-24 Perkinelmer Cellular Technologies Germany Gmbh Method and system for automated detection of tissue interior to a mammalian ribcage from an in vivo image
CA2967003C (en) * 2014-11-07 2023-08-08 Joel KULLBERG Whole body image registration method and method for analyzing images thereof
JP6363575B2 (ja) * 2015-09-29 2018-07-25 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US10813614B2 (en) * 2017-05-24 2020-10-27 Perkinelmer Health Sciences, Inc. Systems and methods for automated analysis of heterotopic ossification in 3D images

Also Published As

Publication number Publication date
US20200098117A1 (en) 2020-03-26
JP2020523107A (ja) 2020-08-06
KR20200019198A (ko) 2020-02-21
US11182913B2 (en) 2021-11-23
KR102394321B1 (ko) 2022-05-06
EP3639272A1 (en) 2020-04-22
WO2018232210A1 (en) 2018-12-20
CN110709943A (zh) 2020-01-17
CN110709943B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
JP6915102B2 (ja) 骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法
JP7568628B2 (ja) プラットホーム非依存の全身画像セグメント化のためのシステムおよび方法
WO2018001099A1 (zh) 一种血管提取方法与系统
CN106340021B (zh) 血管提取方法
Fanizzi et al. Fully automated support system for diagnosis of breast cancer in contrast-enhanced spectral mammography images
AU2021202716B2 (en) Systems and methods for automated segmentation of individual organs in 3D anatomical images
JP7558243B2 (ja) 特徴点検出
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
CN110678903B (zh) 用于3d图像中异位骨化的分析的系统和方法
CN108778134B (zh) 用于根据3d解剖图像表征骨骼的中心轴的系统和方法
Farhan et al. Automatic lung disease classification from the chest X-ray images using hybrid deep learning algorithm
JP2009502230A (ja) 医用画像における傷病部位の検知
EP1996959A2 (en) System and method of automatic prioritization and analysis of medical images
CN104637024A (zh) 医用图像处理装置以及医用图像处理方法
TWI684994B (zh) 脊椎影像註冊方法
Wei et al. Automated lung segmentation and image quality assessment for clinical 3-D/4-D-computed tomography
Meng et al. Automatic shadow detection in 2d ultrasound images
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
Razali et al. Enhancement technique based on the breast density level for mammogram for computer-aided diagnosis
JP4807819B2 (ja) 画像処理装置
Durgadevi et al. Deep survey and comparative analysis of medical image processing
Kumar et al. Automatic brain tumor detection using machine learning and mixed supervision
Arsic et al. Image segmentation of the pulmonary acinus imaged by synchrotron X-ray tomography
JP2019171200A (ja) 3d解剖画像における個々の骨格の骨の自動化されたセグメンテーションのためのシステムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210714

R150 Certificate of patent or registration of utility model

Ref document number: 6915102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150