JP7034013B2 - 自動画像レジストレーション品質評価 - Google Patents

自動画像レジストレーション品質評価 Download PDF

Info

Publication number
JP7034013B2
JP7034013B2 JP2018111585A JP2018111585A JP7034013B2 JP 7034013 B2 JP7034013 B2 JP 7034013B2 JP 2018111585 A JP2018111585 A JP 2018111585A JP 2018111585 A JP2018111585 A JP 2018111585A JP 7034013 B2 JP7034013 B2 JP 7034013B2
Authority
JP
Japan
Prior art keywords
medical
registration
medical registration
new
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111585A
Other languages
English (en)
Other versions
JP2019005566A (ja
Inventor
スン・ヨン・パク
ダスティン・マイケル・サージェント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2019005566A publication Critical patent/JP2019005566A/ja
Application granted granted Critical
Publication of JP7034013B2 publication Critical patent/JP7034013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Description

本出願は、一般に、改善されたデータ処理装置及び方法、より具体的には、自動画像レジストレーション(image registration)品質評価のための機構に関する。
画像レジストレーションは、異なるデータ・セットを1つの座標系に変換するプロセスである。データは、複数の写真、異なるセンサ、時間、深度又は観点からのデータであり得る。これは、コンピュータ・ビジョン、医用イメージング(medical imaging)、軍用自動ターゲット認識、並びに衛星からの画像及びデータのコンパイル及び分析に用いられる。これらの異なる測定値から取得したデータを比較又は統合するために、レジストレーションが必要である。
画像レジストレーション又は画像アラインメント・アルゴリズムは、強度ベース(intensity-based)及び特徴ベース(feature-based)に分類することができる。画像の1つは、参照又はソースと呼ばれ、他のものは、それぞれターゲット画像、感知画像、又は被写体画像と呼ばれる。画像レジストレーションは、ターゲット画像を空間的にレジストレーションし、参照画像とアラインすることを要する。強度ベースの方法は、相関メトリックを介して画像における強度パターンを比較し、一方、特徴ベースの方法は、点、線及び輪郭などの画像特徴間の対応を見つける。強度ベースの方法は、全体画像又は部分画像をレジストレーションする。部分画像がレジストレーションされる場合、対応する部分画像の中心を、対応する特徴点として扱う。特徴ベースの方法は、画像内の特に特異な多数の点間の対応を確立する。画像内の多数の点間の対応を知って、特徴ベースの方法は、ターゲット画像を参照画像にマッピングするための幾何学変換を決定し、それにより参照画像とターゲット画像の間の点ごとの対応を確立する。
画像レジストレーション・アルゴリズムは、ターゲット画像空間を参照画像空間に関連付けるために使用する変換モデルに従って分類することもできる。変換モデルの第1の広いカテゴリは線形変換を含み、これは、回転、拡大縮小(scaling)、平行移動(translation)、及び他のアフィン変換を含む。線形変換は本質的にグローバルであり、従って、画像間の局所的な幾何学的形状の差をモデリングすることはできない。変換の第2のカテゴリは、「弾性」又は「非剛体(non-rigid)」変換を可能にする。これらの変換は、参照画像とアラインするために、ターゲット画像を局所的にワーピングすることができる。非剛体変換として、放射基底関数(薄板又は表面スプライン、多重二次関数、及びコンパクトな台をもつ変換(compactly-supported transformation))、物理連続体モデル(粘性流体)、及び大変形(large deformation)モデル(微分同相写像(diffeomorphism))が挙げられる。
代替的に、変換の際に同相写像及び微分同相写像は滑らかな部分多様体(smooth submanifold)を滑らかに移行するので、空間的正規化のための多くの改良された方法は、変換を保持する構造上にこれらを構築する。微分同相写像は、非加法であるが、群を、しかし関数合成の法則の下で群を形成するので、計算解剖学の現代の分野において、フローに基づいて生成される。このため、加法群の考えを一般化するフローは、トポロジーを保持する大変形の生成を可能にし、1:1及び上への(onto)変換を与える。こうした変換を生成するための計算方法は、大変形微分同相メトリック・マッピング(large deformation diffeomorphic metric mapping、LDDMM)と呼ばれることが多く、計算解剖学の測地フロー(geodesic flow)に対応する座標系を接続するための主計算ツールとして微分同相写像のフローを提供する。
空間的方法は、画像領域で動作し、画像において強度パターン又は特徴をマッチングする。特徴マッチング・アルゴリズムの一部は、手動画像レジストレーションを実行するための従来の技術の副産物であり、そこで、操作者は、画像における対応する制御点を選択する。制御点の数が適切な変換モデルを定めるのに必要とされる最小値を上回る場合、ランダム・サンプル・コンセンサス(RANSAC)のような反復アルゴリズムを用いて、画像のレジストレーションのための特定の変換タイプ(例えば、アフィン)のパラメータをロバスト推定することができる。
周波数領域法は、変換領域で作業しながら、画像のレジストレーションのための変換パラメータを見つける。こうした方法は、平行移動、回転及び拡大縮小のような簡単な変換に有効である。位相相関法を画像の対に適用することにより、単一のピークを含む第3の画像がもたらされる。このピークの位置は、画像間の相対平行移動に対応する。多くの空間領域アルゴリズムとは異なり、位相相関法は、医用又は衛星画像に典型的なノイズ、オクルージョン、及び他の欠陥に対して弾力的である。さらに、位相相関は、高速フーリエ変換を用いて、2つの画像間の相互相関を計算し、一般的に大きな性能の向上をもたらす。この方法を拡張して、最初に画像を対数極(log-polar)座標に変換することにより、2つの画像間の回転及び拡大縮小の差を判定することができる。フーリエ変換の特性のため、回転及び拡大縮小パラメータを、平行移動に対して不変の方法で定めることができる。
単一モダリティ法とマルチモダリティ法との間で別の分類を行うことができる。単一モダリティ法は、同じスキャナ/センサ・タイプによって獲得された同じモダリティにおける画像をレジストレーションする傾向があるが、マルチモダリティレジストレーション法は、異なるスキャナ/センサ・タイプによって獲得された画像をレジストレーションする傾向がある。被写体の画像は異なるスキャナから得られることが多いので、医用画像形成においては、マルチモダリティレジストレーション法が用いられることが多い。例として、腫瘍局在診断のための脳コンピュータ断層撮影/医用共鳴イメージング(CT/MRI)画像又は全身陽電子放射断層撮影/コンピュータ断層撮影(PET/CT)画像のレジストレーション、解剖学の特定部位のセグメンテーションのための非造影(non-contrast-enhanced)CT画像に対する造影CT画像のレジストレーション、及び放射線療法における前立腺局在診断のための超音波とCT画像のレジストレーションが挙げられる。
レジストレーション法は、提供される自動化のレベルに基づいて分類することができる。手動、対話式、半自動式及び自動式方法が開発されている。手動方法は、画像を手動でアラインするためのツールを提供する。対話式方法は、レジストレーションを案内するのに依然としてユーザに依存しながら、特定のキー操作を自動的に行うことによって、ユーザに対するバイアス(user bias)を低減させる。半自動式方法は、より多くのレジストレーション・ステップを自動的に実行するが、レジストレーションの正確さを検証するのにユーザに依存する。自動式方法は、いずれのユーザ対話も許容せず、全てのレジストレーション・ステップを自動的に実行する。
画像類似度(image similarity)は、医用イメージングにおいて広く用いられている。画像類似度尺度は、2つの画像における強度パターン間の類似度を定量化する。画像類似度尺度の選択は、レジストレーションされる画像のモダリティによって決まる。画像類似度尺度の一般的な例として、相互相関(cross-correlation)、相互情報量(mutual information)、差分二乗和(sum of squared intensity difference)、及び比率画像均一性(ratio image uniformity)が挙げられる。相互情報量及び正規化相互情報量は、マルチモダリティ画像のレジストレーションのための最も一般的な画像類似度尺度である。相互相関、差分二乗和及び比率画像均一性は、同じモダリティにおける画像のレジストレーションのために一般的に用いられている。対応のない点集合又はランドマークである尺度マッチング、数学的カレント及びヴァリフォールド(varifold)を介する曲線マッチング及び表面マッチングを含む、計算解剖学において現れた大変形を介するマッチング方法に基づいて、コスト関数に関して多くの新しい特徴が得られた。
画像レジストレーションは、リモートセンシング(地図作成の更新)及びコンピュータ・ビジョンにおける用途を有する。画像レジストレーションを適用できる膨大な用途のため、全ての使用向けに最適化された一般的な方法を開発するのは不可能である。医用画像レジストレーション(変化検出若しくは腫瘍監視といった異なる時点でとられた同じ患者のデータ、又は患者と参照患者若しくは患者集団のデータの比較のための)は、被写体の変形(呼吸、解剖学的変化等に起因する)に対処するために、弾力的な(非剛体ともしても知られる)レジストレーションをさらに要することが多い。医用画像の非剛体レジストレーションは、患者のデータを、神経画像処理のためのタライラッハ(Talairach)アトラスのような解剖学的アトラスにレジストレーションするために用いることもできる。医用画像の非剛体レジストレーションは、天体写真術において、空間を占める画像をアラインするためにも用いられる。制御点を用いて(自動的に又は手動入力される)、コンピュータは、1つの画像に対する変換を実行し、主要特徴を第2の画像とアラインさせる。画像レジストレーションはまた、パノラマ画像作成の必須部分でもある。リアルタイムに実施することができ、カメラ及びカメラ付き携帯電話のような組み込み機器上で実行することができる多くの異なる技術がある。
自動画像レジストレーションの品質評価のための機構を提供する。
本概要は、詳細な説明において本明細書でさらに説明される概念の選択を、簡略化された形で導入するために提供される。本概要は、特許請求される主題の重要な特徴又は必須の特徴を識別することを意図するものではなく、また、特許請求される主題の範囲を制限するために使用されることを意図するものでもない。
1つの例示的な実施形態において、少なくとも1つのプロセッサ及び少なくとも1つのメモリを含み、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行され、医用レジストレーション・システムを実施するように少なくとも1つのプロセッサを構成する命令を含むデータ処理システムにおける方法が提供される。方法は、医用レジストレーション・システム内で実行される医用レジストレーション訓練コンポーネントにより、医用スタディの対に対する医用レジストレーション訓練動作を実行することを含む。医用スタディの対内の各医用スタディは、少なくとも1つの画像及び医用スタディについての情報を含む。医用レジストレーション訓練動作は、医用スタディの対内の第1の医用スタディにおける少なくとも1つの画像を、医用スタディの対内の第2の医用スタディにおける少なくとも1つの画像とアラインしようと試みる。方法は、医用レジストレーション訓練システムが、医用レジストレーション訓練動作が成功したと判断することに応答して、医用レジストレーション訓練システムにより、医用レジストレーション履歴内に医用スタディの対についての医用レジストレーション・インスタンスを記録し、医用レジストレーション履歴において医用レジストレーション・インスタンスをポジティブ・インスタンスとしてマーク付けすることをさらに含む。医用レジストレーション履歴は、複数の医用レジストレーション・インスタンスを含む。方法は、医用レジストレーション訓練システムが、医用レジストレーション訓練動作が補正を必要とすると判断することに応答して、医用レジストレーション訓練システムにより、医用レジストレーション履歴内に医用スタディの対についての医用レジストレーション・インスタンスを記録し、医用レジストレーション履歴において医用レジストレーション・インスタンスをネガティブ・インスタンスとしてマーク付けすることをさらに含む。方法は、医用レジストレーション訓練システムにより、失敗予測機械学習モデルが、新しい医用レジストレーション動作が補正を要するかどうかを予測するように、機械学習を用いて医用レジストレーション履歴に基づいて失敗予測機械学習モデルを訓練することをさらに含む。方法は、失敗予測機械学習モデルが、新しい医用レジストレーション動作が補正を要すると予測することに応答して、新しい医用レジストレーション動作を自動的に補正するためのステップをとることをさらに含む。
他の例示的な実施形態において、コンピュータ可読プログラムを有するコンピュータ使用可能若しくは可読媒体を含むコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、コンピューティング・デバイス上で実行されたとき、コンピューティング・デバイスに、方法の例示的な実施形態に関して上述された動作の種々のもの及びそれらの組み合わせを実行させる。
さらに別の例示的な実施形態において、システム/装置が提供される。システム/装置は、1つ又は複数のプロセッサ、及び1つ又は複数のプロセッサに結合されたメモリを含むことができる。メモリは、1つ又は複数のプロセッサにより実行されたとき、1つ又は複数のプロセッサに、方法の例示的な実施形態に関して上述された動作の種々のもの及びそれらの組み合わせを実行させる命令を含むことができる。
本発明のこれら及び他の特徴及び利点は、本発明の例示的な実施形態の以下の詳細な説明に鑑みて説明される又は当業者には明らかになるであろう。
本発明、並びに、その使用、さらなる目的、及び利点の好ましいモードは、添付図面と併せて読むときに、例示的な実施形態の以下の詳細な説明を参照することにより、最もよく理解されるであろう。
例示的な実施形態の態様を実装できる分散型データ処理システムの例示的な図である。 例示的な実施形態の態様を実装できるコンピューティング・デバイスの例示的なブロック図である。 例示的な実施形態による、画像レジストレーション、品質評価及び補正学習を有する画像保管通信システム(picture archiving and communication system)を示すブロック図である。 例示的な実施形態による、画像レジストレーションのために学習エンジンを訓練するための機構の動作を示すフローチャートである。 例示的な実施形態による、画像レジストレーションのための機構の動作を示すフローチャートである。 例示的な実施形態による、分類を用いてレジストレーション失敗を予測するための機構の動作を示すフローチャートである。 例示的な実施形態による、回帰分析を用いてレジストレーション失敗を予測するための機構の動作を示すフローチャートである。 例示的な実施形態による、クラスタリングを用いて再レジストレーションのための初期化点を判断するための機構の動作を示すフローチャートである。
医用画像レジストレーションは、複数の大きい医用ボリュームを伴う時間のかかるプロセスである。バッチ処理及びバックグラウンド処理は、異なる医用スタディの間のレジストレーションを処理するための一般的な方法である。大変形(large deformation)又は異常は、自動レジストレーション・アルゴリズムがロバストな結果をもたらすのを困難にする。レジストレーション・アルゴリズムが成功したかどうかを予測するのは困難である。レジストレーション結果の品質を評価するための良い方法はない。レジストレーションの失敗は、医師を混乱させる又は作業の進捗を遅らせることがある。この問題を解決するための1つの一般的な方法は、手動補正を用いることである。
例示的な実施形態は、レジストレーションの失敗を自動的に予測及び検出するための機構を提供する。例示的な実施形態の機構は、学習アルゴリズム及び主要臓器のセグメンテーションに基づいて、画像レジストレーションを自動的に補正するために複数のステップをとる。
例示的な実施形態の機構は、レジストレーション画像履歴から、レジストレーション失敗パターンを学習する。レジストレーション履歴は、モダリティ、病変(lesion)サイズ、病変タイプ、スライス・オーバーラップ、手動補正情報、身体部位、患者の人口学的情報、レジストレーション・メトリック・エラー等を含むことができる。1つの実施形態によると、機構は、現在の入力に関するレジストレーションの成功/失敗の確率を予測する。別の実施形態において、機構は、手動補正されたパターンを検索し、レジストレーション・アルゴリズムのための異なる初期化点を生成する。次に、機構は、代替的なメトリックによる再レジストレーションを試みる。1つの実施形態において、機構は、2つのボリュームをレジストレーションするために、関心領域(region of interest、ROI)分析を行う。機構は、両方向において対称レジストレーションを行い、同じ点への収束をチェックすることができる。別の実施形態において、機構は、異なる初期化による複数のレジストレーションを試みる。別の機構は、主要臓器セグメンテーションを実行し、レジストレーションされたボリュームの位置を比較する。
例示的な実施形態の種々の態様の議論を始める前に、最初に、本説明全体を通じて、「機構」という用語は、種々の動作、機能等を実行する本発明の要素を指すために用いられることを理解されたい。本明細書でこの用語が用いられる場合、「機構」は、装置、プロシージャ、又はコンピュータ・プログラム製品の形態の、例示的な実施形態の機能又は態様の実装とすることができる。プロシージャの場合、プロシージャは、1つ又は複数のデバイス、装置、コンピュータ、データ処理システム等により実施される。コンピュータ・プログラム製品の場合、コンピュータ・プログラム製品内又はその上に具体化されたコンピュータ・コード又は命令により表される論理が、1つ又は複数のハードウェア・デバイスにより実行され、機能を実施する又は特定の「機構」と関連付けられた動作を実行する。従って、本明細書で説明される機構は、専用ハードウェア、汎用ハードウェア上で実行されるソフトウェア、媒体上に格納されるソフトウェア命令として実装することができ、命令は、専用又は汎用ハードウェア、機能を実行するためのプロシージャ若しくはメソッド、又は上記のいずれかの組み合わせにより容易に実行可能である。
本説明及び特許請求の範囲は、例示的な実施形態の特定の特徴及び要素に関して、「1つの(a)」、「~の少なくとも1つ(at least one of)」及び「~の1つ又は複数(one or more of)」という用語を利用することがある。これらの用語及び句は、特定の例示的な実施形態内に存在する特定の特徴又は要素の少なくとも1つが存在するが、1つより多くが存在し得ることを述べるように意図されることを理解されたい。つまり、これらの用語/句は、説明又は特許請求の範囲を存在する単一の特徴/要素に限定することも、又は複数のこうした特徴/要素が存在することを必要とすることも意図しない。逆に、これらの用語/句は、説明及び特許請求の範囲内にある複数のこうした特徴/要素の可能性を有する少なくとも単一の特徴/要素のみを必要とする。
さらに、本発明の実施形態及び特徴の記載に関して本明細書で使用される場合、「コンポーネント」という用語の使用は、コンポーネントに起因し得る及び/又はコンポーネントにより実行される動作、ステップ、プロセス等を達成及び/又は実行するために、いずれかの特定の実装を制限することを意図するものではないことを理解されたい。コンポーネントは、これらに限定されるものではないが、機械可読メモリ内にロード若しくは格納され、プロセッサにより実行される適切なソフトウェアと組み合わせて汎用及び/又は専用プロセッサのいずれかの使用を含むがこれに限定されない指定された機能を実行する、ソフトウェア、ハードウェア、及び/又はファームウェア、又はそれらの任意の組み合わせとすることができる。さらに、特に定めのない限り、特定のコンポーネントと関連付けられたいずれの名称も、参照の利便性のためのものであり、特定の実装に制限することを意図するものではない。付加的に、コンポーネントに起因するいずれの機能も、複数のコンピュータにより等しく実行すること、同じ若しくは異なるタイプの別のコンポーネントの機能に組み入れること又はそれと結合すること、又は種々の構成の1つ又は複数のコンポーネントにわたって分散させることができる。
さらに、以下の説明は、例示的な実施形態の種々の要素についての複数の種々の例を用いて、例示的な実施形態の例示的実装をさらに示し、例示的な実施形態の機構の理解を助けることを理解されたい。これらの例は、限定ではなく、例示的な実施形態の機構を実装するための種々の可能性を網羅するものでもない。本発明の趣旨及び範囲から逸脱することなく、本明細書で与えられる例に加えて又はその代わりに利用することができるこれらの種々の要素の多くの他の代替的な実装があることは、本説明に鑑みて当業者には明らかであろう。
例示的な実施形態は、多くの異なるタイプのデータ処理環境において用いることができる。例示的な実施形態の特定の要素及び機能の説明についての文脈を提供するために、例示的な実施形態の態様を実施することができる例示的な環境として、図1及び図2が以下に与えられる。図1及び図2は、単なる例に過ぎず、本発明の態様又は実施形態を実施することができる環境に関するいずれかの制限を主張又は意味することを意図するものではないことを理解されたい。本発明の趣旨及び範囲から逸脱することなく、示される実施形態への多くの修正を行うことができる。
図1は、例示的な実施形態の態様を実施することができる例示的な分散型データ処理システムの図形的表現を示す。分散型データ処理システム100は、例示的な実施形態の態様を実施することができるコンピュータのネットワークを含むことができる。分散型データ処理システム100は、少なくとも1つのネットワーク102を含み、ネットワーク102は、分散型データ処理システム100内で互いに接続される種々のデバイスとコンピュータとの間の通信リンクを与えるために使用される媒体である。ネットワーク102は、有線、無線通信リンク、又は光ファイバ・ケーブルのような接続を含むことができる。
示される例において、サーバ104及びサーバ106は、ストレージ・ユニット108と共にネットワーク102に接続される。さらに、クライアント110、112及び114もネットワーク102に接続される。これらのクライアント110、112及び114は、例えば、パーソナル・コンピュータ、ネットワーク・コンピュータ等とすることができる。示される例において、サーバ104は、ブート・ファイル、オペレーティング・システム画像及びアプリケーションなどのデータをクライアント110、112及び114に提供する。クライアント110、112及び114は、示される例においてサーバ104に対するクライアントである。分散型データ処理システム100は、図示されていない付加的なサーバ、クライアント、及び他のデバイスを含むことができる。
示される例において、分散型データ処理システム100は、互いに通信するためにプロトコルの伝送制御プロトコル/インターネット・プロトコル(TCP/IP)スイートを使用するネットワーク及びゲートウェイの世界規模の集合体を表すネットワーク102を伴うインターネットである。インターネットの中心には、データ及びメッセージを送る何千もの商業系、政府系、教育系、及びその他のコンピュータ・システムから成る主要なノード又はホスト・コンピュータ間の高速データ通信回線のバックボーンがある。もちろん、分散型データ処理システム100は、例えば、イントラネット、ローカル・エリア・ネットワーク(LAN)、広域ネットワーク(WAN)等のような、多数の異なるタイプのネットワークを含むように実装することもできる。上述のように、図1は、本発明の異なる実施形態に対するアーキテクチャ上の限定としてではなく、一例として意図され、従って、図1に示される特定の要素は、本発明の例示的な実施形態を実施することができる環境に関する限定と考えるべきではない。
図1に示されるように、例えばサーバ104などのコンピューティング・デバイスの1つ又は複数を、自動画像レジストレーション品質評価のための機構を実装するように特別に構成することができる。コンピューティング・デバイスの構成は、例示的な実施形態に関して本明細書に説明される動作の性能及び出力の生成を容易にするために、特定用途向けのハードウェア、ファームウェア等を提供することを含むことができる。コンピューティング・デバイスの構成は同様に又は代替的に、コンピューティング・デバイスの1つ又は複数のハードウェア・プロセッサに、例示的な実施形態に関して本明細書に説明される動作を実行し、出力を生成するようにプロセッサを構成するソフトウェア・アプリケーションを実行させるために、1つ又は複数のストレージ・デバイス内に格納され、サーバ104のようなコンピューティング・デバイスのメモリ内にロードされたソフトウェア・アプリケーションを提供することを含むことができる。さらに、例示的な実施形態の趣旨及び範囲から逸脱することなく、ハードウェア等の上で実行される特定用途向けのハードウェア、ファームウェア、ソフトウェア・アプリケーションのいずれかの組み合わせを用いることができる。
ひとたびコンピューティング・デバイスがこれらの方法の1つで構成されると、コンピューティング・デバイスは、汎用コンピューティング・デバイスではなく、例示的な実施形態の機構を実装するように特別に構成された専用コンピューティング・デバイスになることを理解されたい。さらに、後述のように、例示的な実施形態の機構の実装により、コンピューティング・デバイスの機能が改善され、自動画像レジストレーション品質評価を容易にする有用かつ明確な結果が提供される。
上述のように、例示的な実施形態の機構は、自動画像レジストレーション品質評価のための動作を実行するために、特別に構成されたコンピューティング・デバイス又はデータ処理システムを用いる。これらのコンピューティング・デバイス又はデータ処理システムは、本明細書で説明されるシステム/サブシステムの1つ又は複数を実装するために、ハードウェア構成、ソフトウェア構成、又はハードウェア構成とソフトウェア構成の組み合わせのいずれかを通じて特別に構成された種々のハードウェア要素を含むことができる。図2は、例示的な実施形態の態様を実施することができるほんの一例のデータ処理システムのブロック図である。データ処理システム200は、図1のサーバ104のようなコンピュータの一例であり、その中に、本発明の例示的な実施形態のプロセス及び態様を実施するコンピュータ使用可能コード又は命令を配置及び/又は実行し、本明細書で説明されるような例示的な実施形態の動作、出力及び外部効果を達成することができる。
示される例において、データ処理システム200は、ノース・ブリッジ及びメモリ・コントローラ・ハブ(NB/MCH)202と、サウス・ブリッジ及び入力/出力(I/O)コントローラ・ハブ(SB/ICH)204とを使用する。処理ユニット206、メイン・メモリ208、及びグラフィックス・プロセッサ210は、NB/MCH202に接続される。グラフィックス・プロセッサ210は、加速グラフィックス・ポート(AGP)を通じて、NB/MCH202に接続することができる。
示される例において、ローカル・エリア・ネットワーク(LAN)アダプタ212が、SB/ICH204に接続される。音声アダプタ216、キーボード及びマウス・アダプタ220、モデム222、読み出し専用メモリ(ROM)224、ハードディスク・ドライブ(HDD)226、CD-ROMドライブ230、ユニバーサル・シリアル・バス(USB)ポート及び他の通信ポート232、並びにPCI/PCIeデバイス234が、バス238及びバス240を通じて、SB/ICH204に接続される。PCI/PCIeデバイスは、例えば、イーサネット・アダプタ、アドイン・カード、及びノートブック型コンピュータ用のPCカードを含むことができる。PCIは、カード・バス・コントローラを使用するが、PCIeは使用しない。ROM224は、例えば、フラッシュ基本入力/出力システム(BIOS)とすることができる。
HDD226及びCD-ROMドライブ230は、バス240を通じて、SB/ICH204に接続される。HDD226及びCD-ROMドライブ230は、例えば、integrated drive electronics(IDE)又はserial advanced technology attachment(SATA)インターフェースを使用することができる。スーパーI/O(SIO)デバイス236は、SB/ICH204に接続することができる。
オペレーティング・システムは、処理ユニット206上で実行される。オペレーティング・システムは、連携して図2のデータ処理システム200内の様々なコンポーネントの制御を提供する。クライアントとして、オペレーティング・システムは、Microsoft(登録商標)Windows7(登録商標)などの市販のオペレーティング・システムとすることができる。Java(商標)プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムと共に実行することができ、データ処理システム200上で実行されるJava(商標)プログラム又はアプリケーションからのオペレーティング・システムに対する呼び出しを提供する。
サーバとして、データ処理システム200は、例えば、Advanced Interactive Executive(AIX(登録商標))オペレーティング・システム又はLINUX(登録商標)オペレーティング・システムを実行するIBM eServer(商標)System p(登録商標)コンピュータ・システム、Power(商標)プロセッサ・ベースのコンピュータ・システム等とすることができる。データ処理システム200は、処理ユニット206内に複数のプロセッサを含む対称型マルチプロセッサ(SMP)システムとすることができる。代替的に、シングル・プロセッサ・システムを用いることもできる。
オペレーティング・システム、オブジェクト指向プログラミング・システム及びアプリケーション又はプログラムに対する命令は、HDD226などのストレージ・デバイス上に配置され、メイン・メモリ208内にロードし、処理ユニット206により実行することができる。本発明の例示的な実施形態のためのプロセスは、コンピュータ使用可能プログラム・コードを用いて処理ユニット206により実行することができ、コンピュータ使用可能プログラム・コードは、例えば、メイン・メモリ208、ROM224などのメモリ内、又は1つ又は複数の周辺機器226及び230内に配置することができる。
図2に示されるようなバス238又はバス240などのバス・システムは、1つ又は複数のバスから成ることができる。もちろん、バス・システムは、ファブリック又はアーキテクチャに取り付けられた異なるコンポーネント又はデバイス間のデータ転送を提供する任意のタイプの通信ファブリック又はアーキテクチャを用いて実装することができる。図2のモデム222又はネットワーク・アダプタ212などの通信ユニットは、データを送受信するのに用いられる1つ又は複数のデバイスを含むことができる。メモリは、例えば、メイン・メモリ208、ROM224、又は図2のNB/MCH202内に見られるようなキャッシュとすることができる。
上述のように、幾つかの例示的な実施形態において、例示的な実施形態の機構は、特定用途向けハードウェア、ファームウェア等、HDD226のようなストレージ・デバイス内に格納され、処理ユニット206等のような1つ又は複数のハードウェア・プロセッサにより実行されるメイン・メモリ208のようなメモリ内にロードされるアプリケーション・ソフトウェアとして実装することができる。従って、図2に示されるコンピューティング・デバイスは、例示的な実施形態の機構を実装するように特別に構成され、自動画像レジストレーション品質評価のための機構に関して後述される動作を実行し、出力を生成するように特別に構成されるようになる。
当業者であれば、図1及び図2のハードウェアは、実装によって異なり得ることを認識するであろう。図1及び図2に示されるハードウェアに加えて又はその代わりに、他の内部ハードウェア、フラッシュ・メモリ、同等の不揮発性メモリ、若しくは光ディスク・ドライブ等のような周辺機器を使用することができる。また、本発明の趣旨及び範囲から逸脱することなく、例示的な実施形態のプロセスを、前述のSMPシステム以外のマルチプロセッサ・データ処理システムに適用することもできる。
さらに、データ処理システム200は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話又は他の通信機器、携帯情報端末(PDA)等を含む多数の異なるデータ処理システムのいずれかの形をとることができる。幾つかの説明に役立つ実例において、データ処理システム200は、例えば、オペレーティング・システム・ファイル及び/又はユーザ生成データを格納するための不揮発性メモリを提供するフラッシュ・メモリを有するように構成された携帯型コンピューティング・デバイスとすることができる。本質的に、データ処理システム200は、アーキテクチャ上の制限なしに、いずれかの周知の又は後で開発されるデータ処理システムとすることができる。
図3は、例示的な実施形態による、画像レジストレーション、品質評価、及び補正学習(correction learning)を有する画像保管通信システムを示すブロック図である。画像レジストレーション訓練システム330は、訓練スタディのセット310、すなわち訓練スタディ1 311、訓練スタディ2 312、・・・訓練スタディN 313についての機械学習の訓練を実行する。「スタディ」という用語は、1つ又は複数の画像シリーズを含むことができる検査(exam)を指す。例えば、コンピュータ断層撮影法(CT)の胸部スタディは、各々が胸部の上部から下部までを覆う100枚の軸方向スライスからなる、コントラスト前(pre-contrast)、コントラスト後(post-contrast)等のような複数の画像シリーズを含むことができる。
2次元(2D)画像のシリーズを結合して「ボリューム」と呼ばれる3次元(3D)画像にすることができる。医用画像レジストレーションは、3Dボリュームとして表される2つのシリーズをレジストレーションする。大抵の場合、単一のスタディ内の異なるシリーズは、共通のdigital image and communications in medicine(DICOM)基準フレームを共有するので、レジストレーションする必要はない。従って、例えば、2つのスタディをレジストレーションすることは、訓練スタディ1 311のシリーズの1つを訓練スタディ2 312のシリーズにレジストレーションすることを意味する。また、同じスタディ内のシリーズをレジストレーションしなければならない場合もあり得る。これらのプロセスには時間がかかるので、画像保管通信システム(PACS)が、バックグラウンド・バッチ処理を用いて、新しく受け取った検査を以前の検査にレジストレーションすることが理想的である。
訓練スタディのセット310内の各スタディは、スタディ情報320を含む。示される例において、スタディ情報320は、病変サイズ、タイプ321、人口学的情報322、身体部位/位置の推定313、主要臓器セグメンテーション324等を含む。病変サイズ、タイプ321、人口学的情報322等は、レポート、DICOM構造化レポート及び画像のDICOMヘッダによってもたらされ得る。別個のアルゴリズム・コンポーネントにより、身体部位推定323及び主要臓器セグメンテーション324を行うことができ、これは本開示の焦点ではない。スタディ情報320内に含まれる他の情報は、モダリティ及び2つのシリーズ間のスライス・オーバーラップを含み得る。
画像レジストレーション訓練システム330は、訓練スタディのセット310からの訓練スタディの対に対するレジストレーションを実行し、機械学習のためのグラウンド・トゥルース(ground truth)を形成する。機械学習は、明確にプログラムすることなく、コンピュータに学習する能力を与えるコンピュータ・サイエンスの下位分野である。人工知能におけるパターン認識及び計算学習理論の研究に端を発して、機械学習は、データから学習し、データに対する予測を行うことができるアルゴリズムの研究及び構成を探求し、こうしたアルゴリズムは、サンプル入力からのモデルの構築を通じて、データ駆動予測又は決定を行う。データ分析の分野内で、機械学習は、予測に役立つ複雑なモデル及びアルゴリズムを考案するために用いられる方法である。これらの分析モデルは、研究者、データサイエンティスト(data scientist)、エンジニア及び分析者が、データにおける履歴関係及び傾向からの学習を通じて、信頼できる反復可能な決定及び結果を生成し、隠された洞察を明らかにすることを可能にする。
画像レジストレーション訓練システム330は、レジストレーション・コンポーネント331を含み、レジストレーション・コンポーネント331は、訓練スタディのセット310からの訓練スタディの対に対してレジストレーション・アルゴリズムを実行する。レジストレーション・コンポーネント331のレジストレーション・アルゴリズムは、収束(convergence)に向けて又は所定数の反復だけ実行される反復プロセスである。レジストレーションが成功した場合、レジストレーション訓練システム330は、データベース350においてスタディの対をポジティブとしてマーク付けする。データベース350内に格納された他の情報は、モダリティ及び2つのシリーズ間のスライス・オーバーラップを含む。
レジストレーション・エラー332がある場合、ユーザ333は手動補正を実行し、手動補正は、ユーザが、何らかの種類のユーザ・インターフェースを用いて、画像をアラインし、2つの画像シリーズをドラッグ、回転させるなどしてアラインすることを可能にすることから成る。1つの実施形態において、レジストレーション・エラー332は、レジストレーションが所定数の反復内で最適点に収束しなかたこと、又はユーザがレジストレーション結果を拒否したことを意味する。次いで、画像レジストレーション訓練システム330は、データベース350においてスタディの対をネガティブとしてマーク付けし、同じく訓練スタディの対と関連してユーザ補正情報をデータベース350に格納する。訓練インスタンスは、訓練スタディのセット310からの訓練スタディの対、スタディの対の対応するスタディ情報320、ポジティブ又はネガティブ・ラベル、レジストレーション・メトリック、及びレジストレーションが失敗した場合の補正情報からなる。従って、データベース350は、レジストレーションされるスタディの対からなる複数のインスタンスを含む画像レジストレーションの履歴を格納する。各インスタンスは、ポジティブ又はネガティブとしてマーク付けされ、ポジティブ・インスタンスは、成功裏にレジストレーションされたスタディの対を表し、ネガティブ・インスタンスは、レジストレーション・アルゴリズムの実行が失敗したスタディの対を表す。
試験スタディの所定の対の場合、試験スタディ1 341及び試験スタディ2 342、レジストレーション・コンポーネント343は、レジストレーション・アルゴリズムを実行して、試験スタディ1 341内の画像又は画像のシリーズを、試験スタディ2 342内の画像又は画像シリーズにアラインする。レジストレーション・コンポーネント343は、レジストレーションのメトリックを出力する。これらのメトリックは、以下のもの、すなわち平均二乗差分(mean squared difference)、差分二乗和、正規化相互相関、相互情報量、カルバック・ライブラー・ダイバージェンス(Kullback-Leibler divergence)、ジェンセン・シャノン・ダイバージェンス(Jensen-Shannon divergence)等を含むことができる。メトリック収束分析コンポーネント344は、レジストレーション・コンポーネント343により出力されたメトリックに対してメトリック収束分析を実行する。画像レジストレーションは、2つのシリーズ間の類似度のメトリックを最大化する、又は差メトリックを同等に最小にする反復プロセスである。収束とは、最適化により類似度メトリックの局所最適を見つけることを意味する。これは実際には必ずしも起こるとは限らないので、最終点における勾配の大きさ、類似度メトリック値が改善する速度、必要とされる反復数などをチェックすることにより、収束を分析することができる。
学習エンジン345は、レジストレーション失敗予測コンポーネント346のため、及び、レジストレーション・コンポーネント347についての異なる初期化点の判断のために機械学習を提供する。学習エンジン345は、メトリック収束分析コンポーネント344及びデータベース350から入力を受け取り、データベース350におけるグラウンド・トゥルースに基づき学習エンジン345からの機械学習を、試験スタディ1 341及び試験スタディ2 342からの入力、並びに、メトリック収束分析コンポーネント344からの出力に適用する。レジストレーション失敗を予測するために機械学習を適用し、レジストレーション失敗の確率を求め、再レジストレーションのための異なる初期化点を判断する動作は、図6~図8を参照して、さらに後述される。
レジストレーション失敗確率コンポーネント346は、レジストレーション・コンポーネント343による試験スタディ1 341及び試験スタディ2 342のレジストレーションが失敗した確率を求める。この場合、失敗とは、レジストレーション・アルゴリズムが、知られていず、学習エンジン345及びメトリック収束分析コンポーネント344に基づいてしか推定できない最適点に収束しないことを意味する。1つの実施形態において、レジストレーション失敗確率コンポーネント346は、学習エンジン345からの支援のもとで、分類アルゴリズムを実行し、試験スタディ341、342の対をポジティブ・カテゴリ又はネガティブ・カテゴリに分類することができ、ここで、ポジティブ・カテゴリは、成功したレジストレーションを含み、ネガティブ・カテゴリは、失敗したレジストレーションを含む。レジストレーション失敗を予測するために分類を実行する動作は、図6を参照してさらに後述される。
別の例示的な実施形態において、レジストレーション失敗確率コンポーネント346は、学習エンジン345からの支援のもとで、レジストレーション分析アルゴリズムを実行し、失敗確率スコアを生成することができる。次に、レジストレーション失敗確率コンポーネント346は、失敗確率スコアを閾値と比較し、失敗が予測されるかどうかを判断する。レジストレーション失敗を予測するために回帰分析を実行する動作は、図7を参照してさらに後述される。
レジストレーション失敗確率コンポーネント346がレジストレーション失敗を予測する場合、再レジストレーション・コンポーネント347は、レジストレーション・アルゴリズム及び/又は異なるメトリックについての異なる初期化点で、試験スタディ1 341及び試験スタディ2 342の再レジストレーションを実行する。1つの実施形態において、再レジストレーション・コンポーネント347は、学習エンジン345からの支援のもとで、クラスタリング・アルゴリズムを実行し、現在の試験インスタンスに最も類似した、データベース350内のレジストレーションの履歴訓練インスタンスを識別することができる。次に、再レジストレーション・コンポーネント347は、識別した訓練インスタンスに基づいて、異なる初期化点を判断する。初期化点を判断するためにクラスタリングを実行する動作は、図8を参照してさらに後述される。
さらに、再レジストレーション・コンポーネント347は、2つのボリュームをレジストレーションするために関心領域(region of interest、ROI)分析を実行すること、両方向において対称レジストレーションを実行すること、同じ点への収束をチェックすること、主要臓器セグメンテーションを実行すること、レジストレーションされたボリュームの位置を比較すること、異なる初期化により複数の試行を行うこと、又は上記の組み合わせによって、レジストレーション失敗からの回復を試みる。次に、再レジストレーション・コンポーネントは、レジストレーション結果348を提供し、警告フラグをユーザ349に設定する。
一例として、例えば、2つの腹部CTシリーズ間の失敗したレジストレーションの場合を考える。再レジストレーション・コンポーネントは、以下のステップによりレジストレーションを補正することができる。
1.両方のシリーズに対してマルチ・エイリアス臓器セグメンテーションを実行する。
2.失敗したレジストレーションの結果を用いて、臓器ラベルの1つのセットを他の空間に変換する。
3.レジストレーションされたシリーズにおける対応する臓器間のオフセットを計算する。
4.臓器オフセットを用いて、シリーズ間の変換への大まかな更新を計算する。
5.更新されたシリーズ間の変換を初期推測値(initial guess)として用いてレジストレーションを再実行する。
別の例として、腹部CTとMRシリーズとの間でクロスモダリティレジストレーションが実行されると考える。この組み合わせについての推測される失敗確率及び不十分な収束/レジストレーションの終了に必要とされる多数の反復に基づき、レジストレーション失敗確率コンポーネント346は、レジストレーションの失敗を予測する。データベース350内のネガティブ・インスタンスは、一般的にこのタイプの失敗したレジストレーションを補正するのに必要な使用アクションの記録を含む。例えば、回転コンポーネントは正しいが、一般に、上下軸に沿った平行移動不良(mistranslation)がある場合がある。従って、再レジストレーション・コンポーネント347は、複数の開始点でレジストレーション・アルゴリズムを再初期化し、上下軸に沿った平行移動を変えることにより問題を解決し、最終レジストレーションとして最良の収束結果を選択する。
図4は、例示的な実施形態による、画像レジストレーションのために学習エンジンを訓練するための機構の動作を示すフローチャートである。動作が開始し(ブロック400)、機構は、次の(最初の)訓練例を考慮する(ブロック401)。訓練例は、訓練スタディの対を含む。スタディは、複数の画像シリーズを含むことができる検査である。2D画像のシリーズを結合して、ボリュームと呼ばれる3D画像にすることができる。各々のスタディは、モダリティ(例えば、コンピュータ断層撮影、医用共鳴イメージング、X線等)、病変サイズ、病変タイプ、身体部位、位置推定、患者の人口学的情報、主要臓器セグメンテーション等を含むことができるスタディ情報も含む。機構は、スタディの対に対して画像レジストレーション・アルゴリズムを実行する(ブロック402)。
次に、機構は、レジストレーションが失敗するかどうかを判断する(ブロック402)。訓練において、失敗は結果のユーザ拒否に基づくが、失敗はまたレジストレーション・アルゴリズムにより生じるエラーにも基づき得る。レジストレーションが失敗しない場合、機構は、訓練例をポジティブ・インスタンスとしてマーク付けし(ブロック404)、関連情報をデータベースに記録する(ブロック405)。関連情報は、上記のスタディ情報、並びに、レジストレーション・アルゴリズムにより出力されたメトリックを含むことができる。機構は、現在の訓練例が最後の訓練例であるかどうかを判断する。現在の訓練例が最後の訓練例でない場合、動作はブロック401に戻り、次の訓練例を検討する。
ブロック403においてレジストレーションが失敗した場合、機構は、現在の訓練例をネガティブ・インスタンスとしてマーク付けする(ブロック407)。次に、ユーザは、レジストレーションの手動補正を行い(ブロック408)、機構は補正を記録する(ブロック409)。動作は、他の関連情報を記録するためのブロック405に進み、機構は、現在の訓練例が最後の訓練例であるかどうかを判断する(ブロック406)。
ブロック409において現在の訓練例が最後の訓練例である場合、機構は、訓練例及び記録された情報に基づいて、機械学習モデルを訓練する(ブロック410)。その後、動作は終了する(ブロック411)。上述のように、機械学習モデルは、分類器、回帰分析モデル、又はクラスタリング・モデルとすることができる。1つの実施形態において、機械学習モデルは、スタディの対の試験インスタンスのレジストレーションが失敗するかどうかを予測するために分類アルゴリズムを使用する。別の例示的な実施形態において、機械学習モデルは、回帰分析を用いて、レジストレーション失敗確率スコアを生成する。別の例示的な実施形態において、機械学習モデルは、クラスタリング・アルゴリズムを用いて、最も現在の試験インスタンスである可能性が高い訓練インスタンスを判断する。
図5は、例示的な実施形態による、画像レジストレーションのための機構の動作を示すフローチャートである。動作が開始し(ブロック500)、機構は、スタディの対に対するレジストレーションを実行する(ブロック501)。次に、機構は、メトリック収束分析を実行し(ブロック502)、スタディの対についての関連情報及び機械学習モデルを用いてレジストレーション・アルゴリズムにより出力されたメトリックに基づいて、成功/失敗を予測する(ブロック503)。機構は、予測が成功であるか又は失敗であるかを判断する(ブロック504)。
機構が予測は成功であると判断する場合、機構は、レジストレーション結果をユーザに提示し(ブロック505)、ユーザがレジストレーション結果を受け入れるかどうかを判断する(ブロック506)。ユーザがレジストレーション結果を受け入れる場合、動作は終了する(ブロック507)。
ブロック504において機構が予測は失敗であると判断した場合、又はブロック506においてユーザがレジストレーション結果を受け入れなかった場合、機構は、レジストレーション・アルゴリズムについての複数の開始点を判断する(ブロック508)。1つの実施形態において、機構は、スタディの対についての関連情報及び機械学習モデルを用いてレジストレーション・アルゴリズムにより出力されたメトリックに基づいて、レジストレーション・アルゴリズムについての複数の開始点を判断する。次に、機構は、複数の開始点から再レジストレーションを実行し(ブロック509)、最良の収束結果を選択する(ブロック510)。機構は、レジストレーション結果をユーザに提示し(ブロック511)、動作は終了する(ブロック507)。
図6は、例示的な実施形態による、分類を用いてレジストレーション失敗を予測するための機構の動作を示すフローチャートである。機械学習及び統計学において、分類とは、そのカテゴリの構成員が知られている観測値(observation)(又はインスタンス)を含むデータの訓練セットに基づき、新しい観測値がカテゴリのセット(部分母集団)のどれに属するかを識別するという問題である。機械学習の用語において、分類は、教師あり学習、すなわち、正しく識別された観測値の訓練セットが利用可能である学習のインスタンスと考えられる。対応する教師なしプロシージャはクラスタリングとして知られ、固有の類似度又は距離の何らかの尺度に基づいてデータをカテゴリにグループ化することを含む。
個々の観測値を分析して、説明変数又は特徴として様々な形で知られる定量化可能なプロパティのセットにすることが多い。これらのプロパティは様々な形で、カテゴリ的(例えば、血液型についての「A」、「B」、「AB」又は「O」)、順序(例えば、「大きい」、「中間」又は「小さい」)、整数値(例えば、eメールにおける特定の語の発生数)又は実数値(例えば、血圧の測定値)とすることができる。類似度又は距離関数によって観測値を以前の観測値と比較することによって、他の分類器が機能する。特に具体的な実装において、分類を実施するアルゴリズムは、分類器として知られる。
動作が開始し(ブロック600)、機構は、スタディの対についての関連情報を収集する(ブロック601)。機構は、スタディの対の現在のインスタンスの特徴ベクトル、スタディの対についての関連情報、レジストレーション・アルゴリズムによって出力されたメトリックを生成する(ブロック602)。次に、機構は、機械学習モデルを適用し、現在のインスタンスの特徴ベクトルに基づいて、スタディの対をポジティブ・インスタンス又はネガティブ・インスタンスとして分類する(ブロック603)。その後、動作は終了する(ブロック604)。
図7は、例示的な実施形態による、回帰分析を用いてレジストレーション失敗を予測するための機構の動作を示すフローチャートである。統計モデリングにおいて、回帰分析は、変数間の関係を推測するための統計プロセスである。従属変数と1つ又は複数の独立変数(又は「予測変数」)との間の関係に焦点が置かれるとき、回帰分析は、幾つかの変数をモデリング及び分析するための多くの技術を含む。より具体的には、回帰分析は、他の独立変数を一定に保持する間、独立変数のいずれか1つが変化したとき、従属変数(又は「基準変数」)の典型的な値がどのように変化するかを理解するのを助ける。通常、回帰分析は、独立変数が与えられたとき、従属変数の条件付き期待値を予測する、つまり独立変数が一定であるときに従属変数の平均値を推測する。一般的ではないが、独立変数が与えられた場合、従属変数の条件付き分布の分位数又は他の位置パラメータに焦点が置かれる。全ての場合において、推定ターゲットは、回帰関数と呼ばれる独立変数の関数である。回帰分析において、確率分布により説明することができる回帰関数の周りの従属変数の変動を特徴付けることも興味深い。関連するが別個の手法は、独立変数のどの値が必要であり、従属変数の所定の値に対して不十分であるかを識別するために、独立変数の所定の値(中心線ではなくて天井線)について従属変数の最大値(平均値ではなく)を推定する、必要条件分析(NCA)である。
回帰分析は、予測(prediction)及び予報(forecasting)のために広く用いられ、その使用は、本例におけるような、機械学習の分野とかなの重なりを有する。回帰分析はまた、独立変数の中で、どれが従属変数に関連するかを理解し、かつ、これらの関係の形成を探索するためにも用いられる。制限された環境において、回帰分析を用いて、独立変数と従属変数との間の因果関係を推論することができる。
回帰分析を行うための多くの技術が開発されている。線形回帰及び最小2乗回帰(ordinary least squares regression)などのよく知られた方法は、回帰関数が、データから推定される有限数の未知のパラメータに関して定められるという点で、パラメトリックである。ノンパラメトリック回帰は、回帰関数が、無限次元とすることができる指定された関数のセット内にあることを可能にする技術を言う。
回帰分析方法の性能は、実際には、データ生成プロセスの形式及び用いられる回帰手法にどのように関連するかによって決まる。データ生成プロセスの真の形式は一般的に知られていないので、回帰分析は、ある程度、このプロセスについて仮定することに依存することが多い。十分な量のデータが利用可能である場合、これらの仮定は試験可能であることがある。予測のための回帰モデルは、多くの場合、適度に仮定に反するときでさえ有用であるが、これらは最適に実行できないことがある。
より狭い意味において、回帰は、分類において用いられる離散的な応答変数とは対照的に、具体的には、連続的な応答変数の推定値を指し得る。連続的な出力変数の場合、より具体的には、これを関連する問題と区別するために、メトリック回帰と呼ぶことがある。
動作が開始し(ブロック700)、機構はスタディの対についての関連情報を収集する(ブロック701)。機構は、スタディの対の現在のインスタンスについて特徴ベクトル、スタディの対についての関連情報、及びレジストレーション・アルゴリズムにより出力されるメトリックを生成する(ブロック702)。次に、機構は、機械学習モデルを適用し、現在のインスタンスの特徴ベクトルに基づいて、スタディの対についての失敗確率値を生成する(ブロック703)。1つの例示的な実施形態において、失敗確率値は、0から1までの間又は0から100までの間の数とすることができる。
次に、機構は、失敗確率値が閾値より大きいかどうかを判断する(ブロック704)。失敗確率値が閾値より大きくない場合、機構は、回帰が失敗しなかったと予測し、現在のインスタンスをポジティブ(成功)として分類する(ブロック705)。その後、動作は終了する(ブロック706)。
ブロック704において失敗確率値が閾値より大きい場合、機構は、回帰が失敗したと予測し、現在のインスタンスをネガティブ(失敗)として分類する(ブロック707)。その後、動作は終了する(ブロック706)。
図8は、例示的な実施形態による、クラスタリングを用いて再レジストレーションのための初期化点を判断するための機構の動作を示すフローチャートである。クラスタ分析又はクラスタリングは、同じグループ(クラスタと呼ばれる)内のオブジェクトが、他のグループ(クラスタ)内のオブジェクトに比べて、何らかの意味で又は互いにより類似した方法でオブジェクトのセットをグループ化するタスクである。これは、探索的データ・マイニングの主要タスクであり、機械学習、パターン認識、画像分析、情報検索、バイオインフォマティクス、データ圧縮及びコンピュータ・グラフィックスを含む多くの分野で用いられる統計データ分析のための一般的な技術である。
「クラスタ」の概念は、正確に定めることはできず、それは、それだけ多くのクラスタリング・アルゴリズムがある理由の1つである。共通分母がある、すなわちデータ・オブジェクトのグループである。しかしながら、異なる研究者は異なるクラスタ・モデルを使用し、これらのクラスタ・モデルの各々に対して、再び異なるアルゴリズムが与えられることがある。異なるアルゴリズムにより見出されるように、クラスタの概念は、そのプロパティによって著しく異なる。これらのクラスタ・モデルを理解することは、種々のアルゴリズム間の差を理解するために重要である。典型的なクラスタ・モデルとして、接続モデル、セントロイド・モデル、分布モデル、密度モデル、サブスペース・モデル、グループ・モデル及びグラフ・ベース・モデルが挙げられる。クラスタリングは、本質的に、通常データ・セット内の全てのオブジェクトを含むこうしたクラスタのセットである。付加的に、クラスタリングは、例えば、互いに埋め込まれたクラスタの階層など、互いに対するクラスタの関係を指定することができる。クラスタリングは、大まかに以下のように区別することができる。
・ハード・クラスタリング:各オブジェクトがクラスタに属するか否か、或いは
・ソフト・クラスタリング(同じく、ファジー・クラスタリング):各オブジェクトが、ある程度(例えば、クラスタに属する可能性)各クラスタに属する。
動作が開始し(ブロック800)、機構は、スタディ対及び履歴インスタンスに対してクラスタリングを実行する(ブロック801)。そうする際、機構は、例えばモダリティ、病変サイズ、病変タイプ、スライス・オーバーラップ、身体部位、人口学的情報、レジストレーション・メトリック等のスタディの対についての関連情報に基づいて、現在のインスタンスに最も類似した履歴インスタンスのクラスタ又は群を識別する。機構は、上記の関連情報に基づいてスタディ対についての関連する特徴のセットを生成し、関連する特徴のセットに対するクラスタリング動作を実行することができる。次に、機構は、クラスタ内の最も類似したネガティブ訓練インスタンスの手動補正を識別する(ブロック802)。機構はまた、スタディの対とクラスタ内の最も類似したポジティブ・インスタンスとの間の差も識別する(ブロック803)。次に、機構は、識別した手動補正及び差に基づいて、複数の開始点を判断する(ブロック804)。その後、動作は終了する(ブロック805)。
本発明は、システム、方法、及び/又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体(単数又は複数)を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの:すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリ・スティック、フロッピー・ディスク、パンチカード若しくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波(例えば、光ファイバ・ケーブルを通る光パルス)、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び/又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び/又はエッジ・サーバを含むことができる。各コンピューティング/処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体内に格納する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語、又は、「C」プログラミング言語若しくは類似のプログラミング言語などの通常の手続き型プログラミング言語を含む1つ又は複数のプログラミング言語の任意の組み合わせで記述することができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある(例えば、インターネットサービスプロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて、電子回路を個人化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータ・プログラム製品のフローチャート図及び/又はブロック図を参照して説明される。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実施する命令を含む製品を製造するようにすることもできる。
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実行するためのプロセスを提供するようにすることもできる。
図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。
上述のように、例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア要素及びソフトウェア要素の両方を含む実施形態の形をとることができる。1つの例示的な実施形態において、例示的な実施形態の機構は、これらに限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェア又はプログラム・コードの形で実装される。
プログラム・コードを格納及び/又は実行するのに適したデータ処理システムは、例えばシステム・バスなどの通信バスを介してメモリ要素に直接又は間接的に結合された少なくとも2つのプロセッサを含む。メモリ要素は、例えば、プログラム・コードの実際の実行中に用いられるローカル・メモリ、大容量記憶装置、及び実行中に大容量記憶装置からコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。メモリは、これらに限定されるものではないが、ROM、PROM、EPROM、EEPROM、DRAM、SRAM、フラッシュ・メモリ、ソリッド・ステート・メモリ等を含む種々のタイプのものとすることができる。
入力/出力すなわちI/Oデバイス(これらに限定されるものではないが、キーボード、ディスプレイ、ポインティング・デバイス等)は、直接システムに結合することもでき、又は介在する有線若しくは無線のI/Oインターフェース及び/又はコントローラ等を介してシステムに結合することができる。I/Oデバイスは、例えば、これらに限定されるものではないが、スマートフォン、タブレット・コンピュータ、タッチスクリーン・デバイス、音声認識デバイス等を通じて結合される通信デバイスのような、従来のキーボード、ディスプレイ、ポインティング・デバイス等以外の多くの異なる形をとることができる。いずれの周知の又は後で開発されるI/Oデバイスも、例示的な実施形態の範囲内にあることが意図される。
ネットワーク・アダプタをシステムに結合させて、データ処理システムが、介在する私的ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔プリンタ若しくはストレージ・デバイスに結合できるようにすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、有線通信のためのネットワーク・アダプタの利用可能なタイプのうちのほんの数例である。これらに限定されるものではないが、802.11 a/b/g/n無線通信アダプタ、Bluetooth無線アダプタ等を含む、無線通信ベースのネットワーク・アダプタを用いることもできる。いずれの周知の又は後で開発されるネットワーク・アダプタも、本発明の趣旨及び範囲にあることが意図される。
本発明の説明が例証及び説明の目的のために提示されたが、これらは、網羅的であること、又は本発明を開示された形態に制限することを意図するものではない。当業者には、説明される実施形態の範囲の趣旨から逸脱することなく、多くの修正及び変形が明らかであろう。実施形態は、本発明の原理及び実際の適用を最もよく説明するため、及び、当業者が、考えられる特定の使用に適するものとして種々の変形を有する種々の実施形態において本発明を理解するのを可能にするために、選択され説明された。本明細書で用いられる用語は、実施形態の原理、実際の適用、又は市場に見られる技術に優る技術的改善を最もよく説明するため、又は、当業者が、本明細書に開示される実施形態を理解するのを可能にするために選択された。
100、200:データ処理システム
102:ネットワーク
104、106:サーバ
108:ストレージ・ユニット
110、112、114:クライアント
202:ノース・ブリッジ及びメモリ・コントローラ・ハブ(NB/MCH)
204:サウス・ブリッジ及び入力/出力(I/O)コントローラ・ハブ(SB/ICH)
206:処理ユニット
208:メイン・メモリ
210:グラフィックス・プロセッサ
238、240:バス
212:ネットワーク・アダプタ
310:訓練スタディのセット
311、312、313:訓練スタディ
320:スタディ情報
321:病変サイズ、タイプ
322:人口学的情報
323:身体部位/位置推定
324:主要臓器セグメンテーション
330:画像レジストレーション訓練システム
331、343:レジストレーション・コンポーネント
332:レジストレーション・エラー
333、349:ユーザ
341、342:試験スタディ
344:メトリック収束分析コンポーネント
345:学習エンジン
346:レジストレーション失敗確率コンポーネント
347:再レジストレーション・コンポーネント
350:データベース

Claims (12)

  1. 少なくとも1つのプロセッサ及び少なくとも1つのメモリを含み、前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサによって実行され、医用レジストレーション・システムを実装するように前記少なくとも1つのプロセッサを構成する命令を含む、データ処理システムにおける方法であって、前記方法は、
    前記医用レジストレーション・システム内で実行される医用レジストレーション訓練システムにより、医用スタディの対に対する医用レジストレーション訓練動作を実行することであって、前記医用スタディの対内の各医用スタディは、少なくとも1つの画像及び前
    記医用スタディについての情報を含み、前記医用レジストレーション訓練動作は、前記医用スタディの対内の第1の医用スタディにおける前記少なくとも1つの画像を、前記医用スタディの対内の第2の医用スタディにおける前記少なくとも1つの画像とアラインしようと試みる、実行することと、
    前記医用レジストレーション訓練システムが、前記医用レジストレーション訓練動作が成功したと判断することに応答して、前記医用レジストレーション訓練システムにより、複数の医用レジストレーション・インスタンスを含む医用レジストレーション履歴内に前記医用スタディの対についての医用レジストレーション・インスタンスを記録し、前記医用レジストレーション履歴において前記医用レジストレーション・インスタンスをポジティブ・インスタンスとしてマーク付けすることと、
    前記医用レジストレーション訓練システムが、前記医用レジストレーション訓練動作が補正を必要とすると判断することに応答して、前記医用レジストレーション訓練システムにより、前記医用レジストレーション履歴内に前記医用スタディの対についての医用レジストレーション・インスタンスを記録し、前記医用レジストレーション履歴において前記医用レジストレーション・インスタンスをネガティブ・インスタンスとしてマーク付けすることと、
    前記医用レジストレーション訓練システムにより、失敗予測機械学習モデルが、新しい医用レジストレーション動作が補正を要するかどうかを予測するように、機械学習を用いて前記医用レジストレーション履歴に基づいて前記失敗予測機械学習モデルを訓練するこ
    とと、
    前記失敗予測機械学習モデルが、前記新しい医用レジストレーション動作が補正を要すると予測することに応答して、前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることと、
    を含む方法。
  2. 前記医用スタディについての前記情報は、モダリティ、病変サイズ、病変タイプ、スライス・オーバーラップ、身体部位、患者についての人口学的情報、病歴、造影剤の使用、及びイメージング・プロトコルに関する情報を含む、請求項1に記載の方法。
  3. 前記新しい医用レジストレーション動作を実行することと、
    前記新しい医用レジストレーション動作の結果に対してメトリック収束分析を実行することと、をさらに含み、
    前記失敗予測機械学習モデルは、前記メトリック収束分析の結果に基づいて、前記新しい医用レジストレーション動作が補正を要するかどうかを予測する、請求項1に記載の方法。
  4. 前記失敗予測機械学習モデルは分類器モデルを含み、前記新しい医用レジストレーション動作が補正を要するかどうかを予測することは、
    前記医用レジストレーション動作の結果及び前記医用レジストレーション動作を行う医用スタディの対についての情報に基づいて、前記新しいレジストレーション動作についての特徴ベクトルを生成することと、
    前記分類器モデルを前記特徴ベクトルに適用し、前記新しい医用レジストレーション動作をポジティブ・インスタンス又はネガティブ・インスタンスとして分類することと、
    を含む、請求項1に記載の方法。
  5. 前記失敗予測機械学習モデルは回帰モデルを含み、前記新しい医用レジストレーション動作が補正を要するかどうかを予測することは、
    前記医用レジストレーション動作の結果及び前記医用レジストレーション動作を行う医用スタディの対についての情報に基づいて、前記新しいレジストレーション動作についての特徴ベクトルを生成することと、
    前記回帰モデルを前記特徴ベクトルに適用し、失敗確率値を生成することと、
    前記失敗確率値を閾値と比較することと、
    前記失敗確率値が前記閾値より大きくないことに応答して、前記新しい医用レジストレーション動作が補正を要しないと予測することと、
    前記失敗確率値が前記閾値より大きいことに応答して、前記新しい医用レジストレーション動作が補正を要すると予測することと、
    を含む、請求項1に記載の方法。
  6. 前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることは、2つのボリュームをレジストレーションするために関心領域(ROI)分析を実行すること、両方向において対称レジストレーションを実行すること、同じ点への収束をチェックすること、又は主要臓器セグメンテーショを実行すること、及びレジストレーションされたボリュームの位置を比較することのうちの少なくとも1つを含む、請求項1に記載の方法。
  7. 前記医用レジストレーション訓練動作が補正を要すると判断することに応答して、前記医用レジストレーション訓練動作を補正するために必要なアクションを記録することと、
    再レジストレーション機械学習モデルが、前記新しい医療レジストレーション動作についての複数の初期化点を識別するように、機械学習を用いて前記医用レジストレーション履歴に基づいて前記再レジストレーション機械学習モデルを訓練することと、
    をさらに含む、請求項1に記載の方法。
  8. 前記新しい医用レジストレーション動作を実行することと、
    前記失敗予測機械学習モデルが、前記新しい医用レジストレーション動作が補正を要すると予測することに応答して、前記レジストレーション機械学習モデルを前記新しい医用レジストレーション動作に適用し、前記新しい医用レジストレーション動作に類似した前記医用レジストレーション履歴内の医用レジストレーション・インスタンスのクラスタを識別することと、
    前記医用レジストレーション・インスタンスのクラスタ内のネガティブ・インスタンスに対する前記医用レジストレーション動作を補正するのに必要なアクションを識別するこ
    とと、をさらに含み、
    前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることは、前記識別したアクションに基づいて、前記新しい医用レジストレーション動作についての前記複数の初期化点を判断することを含む、請求項7に記載の方法。
  9. 前記新しい医用レジストレーション動作と、前記医用レジストレーション・インスタンスの前記クラスタ内のポジティブ・インスタンスとの間の差を識別することをさらに含み、前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることは、前記識別した差に基づいて、前記新しい医用レジストレーション動作についての前記複数の初期化点を判断することを含む、請求項8に記載の方法。
  10. 前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることは、
    前記新しい医用レジストレーション動作についての複数の初期化点を判断することと、
    前記複数の初期化点から前記新しい医用レジストレーション動作の再レジストレーションを実行することと、
    前記複数の初期化点から前記再レジストレーションの最良の収束結果を選択することと

    を含む、請求項1に記載の方法。
  11. コンピューティング・デバイス上で実行されるとき、前記コンピューティング・デバイスに医用レジストレーション・システムを実装させるコンピュータ可読プログラムを含むコンピュータ・プログラムであって、前記コンピュータ可読プログラムは、前記コンピューティング・デバイスに、請求項1ないし10いずれか一項に記載の方法を実行させる、コンピュタ・プログラム。
  12. 装置であって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサにより結合されるメモリと、
    を含み、前記メモリは、前記少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、医用レジストレーション・システムを実装させる命令を含み、前記命令は、前記少なくとも1つのプロセッサに、
    前記医用レジストレーション・システム内で実行される医用レジストレーション訓練システムにより、医用スタディの対に対する医用レジストレーション訓練動作を実行することであって、前記医用スタディの対内の各医用スタディは、少なくとも1つの画像及び前記医用スタディについての情報を含み、前記医用レジストレーション訓練動作は、前記医用スタディの対内の第1の医用スタディにおける前記少なくとも1つの画像を、前記医用スタディの対内の第2の医用スタディにおける前記少なくとも1つの画像とアラインしようと試みる、実行することと、
    前記医用レジストレーション訓練システムが、前記医用レジストレーション訓練動作が成功したと判断することに応答して、前記医用レジストレーション訓練システムにより、複数の医用レジストレーション・インスタンスを含む医用レジストレーション履歴内に前記医用スタディの対についての医用レジストレーション・インスタンスを記録し、前記医用レジストレーション履歴において前記医用レジストレーション・インスタンスをポジティブ・インスタンスとしてマーク付けすることと、
    前記医用レジストレーション訓練システムが、前記医用レジストレーション訓練動作が補正を必要とすると判断することに応答して、前記医用レジストレーション訓練システムにより、前記医用レジストレーション履歴内に前記医用スタディの対についての医用レジストレーション・インスタンスを記録し、前記医用レジストレーション履歴において前記医用レジストレーション・インスタンスをネガティブ・インスタンスとしてマーク付けす
    ることと、
    前記医用レジストレーション訓練システムにより、失敗予測機械学習モデルが新しい医用レジストレーション動作が補正を要するかどうかを予測するように、機械学習を用いて前記医用レジストレーション履歴に基づいて前記失敗予測機械学習モデルを訓練することと、
    前記失敗予測機械学習モデルが、前記新しい医用レジストレーション動作が補正を要すると予測することに応答して、前記新しい医用レジストレーション動作を自動的に補正するためのステップをとることと、を行わせる、装置。



JP2018111585A 2017-06-21 2018-06-12 自動画像レジストレーション品質評価 Active JP7034013B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/629,254 US10424045B2 (en) 2017-06-21 2017-06-21 Machine learning model for automatic image registration quality assessment and correction
US15/629254 2017-06-21

Publications (2)

Publication Number Publication Date
JP2019005566A JP2019005566A (ja) 2019-01-17
JP7034013B2 true JP7034013B2 (ja) 2022-03-11

Family

ID=62812495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111585A Active JP7034013B2 (ja) 2017-06-21 2018-06-12 自動画像レジストレーション品質評価

Country Status (4)

Country Link
US (1) US10424045B2 (ja)
JP (1) JP7034013B2 (ja)
CN (1) CN109102490B (ja)
GB (1) GB2564939B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417737B2 (en) * 2017-06-21 2019-09-17 International Business Machines Corporation Machine learning model for automatic image registration quality assessment and correction
US10817997B2 (en) * 2017-09-11 2020-10-27 Mx Technologies, Inc. Propensity model based optimization
CN112074867A (zh) * 2018-05-11 2020-12-11 直观外科手术操作公司 与用于图像引导手术的配准有关的系统和方法
CN109409425B (zh) * 2018-10-09 2021-06-15 宁波大学 一种基于近邻成分分析的故障类型识别方法
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
CN109918291A (zh) * 2019-01-17 2019-06-21 深圳壹账通智能科技有限公司 软件界面检测方法、装置、计算机设备及存储介质
CN110288577A (zh) * 2019-06-20 2019-09-27 翼健(上海)信息科技有限公司 一种3d实现多器官病灶整合的控制方法及控制装置
US11436470B2 (en) * 2019-09-13 2022-09-06 Kyndryl, Inc. Generating simulated image training data
CN111242877A (zh) * 2019-12-31 2020-06-05 北京深睿博联科技有限责任公司 乳腺x射线影像配准方法和装置
US11848097B2 (en) 2020-12-17 2023-12-19 Evicore Healthcare MSI, LLC Machine learning models for automated request processing
CN113707289B (zh) * 2021-07-16 2023-11-10 联影智能医疗科技(北京)有限公司 医学人工智能平台及其搭建方法
CN113660128B (zh) * 2021-08-20 2023-10-20 北京神州新桥科技有限公司 网络设备故障预测方法、电子设备及存储介质
US11941825B2 (en) * 2021-10-28 2024-03-26 Canon Medical Systems Corporation Method and apparatus for registering image volumes
US20230281789A1 (en) * 2022-03-04 2023-09-07 Siemens Healthcare Gmbh Image quality assessment for refinement of imaging rendering parameters for rendering medical images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512960A (ja) 2003-01-13 2006-04-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像位置合わせ方法及び医用画像データ処理装置
JP2009515585A (ja) 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
JP2014026521A (ja) 2012-07-27 2014-02-06 Hitachi High-Technologies Corp マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
JP2016534811A (ja) 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 位置及び形状決定装置に対する撮像装置の位置合せを支援するための支援機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351311A (en) * 1992-07-28 1994-09-27 The United States Of America As Represented By The Secretary Of The Navy Neural network for detection and correction of local boundary misalignments between images
CA2531126A1 (en) * 2003-06-16 2004-12-23 Dynapix Intelligence Imaging Inc. Segmentation and data mining for gel electrophoresis images
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US7876938B2 (en) 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
US20090069665A1 (en) 2007-09-11 2009-03-12 Siemens Medical Solutions Usa, Inc. Automatic Lesion Correlation in Multiple MR Modalities
US8787648B2 (en) 2008-03-07 2014-07-22 Koninklijke Philips N.V. CT surrogate by auto-segmentation of magnetic resonance images
WO2012154216A1 (en) * 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback
US8958614B2 (en) 2011-11-28 2015-02-17 Siemens Medical Solutions Usa, Inc. Image-based detection using hierarchical learning
CN104160424B (zh) 2012-03-08 2017-09-19 皇家飞利浦有限公司 用于改进多模态图像融合中的配准准确度的智能标志选择
WO2014144019A1 (en) * 2013-03-15 2014-09-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning
CN104361328B (zh) * 2014-11-21 2018-11-02 重庆中科云丛科技有限公司 一种基于自适应多列深度模型的人脸图像正规化方法
CN105844582B (zh) * 2015-01-15 2019-08-20 北京三星通信技术研究有限公司 3d图像数据的注册方法和装置
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器(美国)知识产权公司 图像识别方法
US10176567B2 (en) * 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512960A (ja) 2003-01-13 2006-04-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像位置合わせ方法及び医用画像データ処理装置
US20060188134A1 (en) 2003-01-13 2006-08-24 Quist Marcel J Method of image registration and medical image data processing apparatus
JP2009515585A (ja) 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
JP2014026521A (ja) 2012-07-27 2014-02-06 Hitachi High-Technologies Corp マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
JP2016534811A (ja) 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 位置及び形状決定装置に対する撮像装置の位置合せを支援するための支援機器

Also Published As

Publication number Publication date
GB201808731D0 (en) 2018-07-11
CN109102490A (zh) 2018-12-28
GB2564939A (en) 2019-01-30
CN109102490B (zh) 2022-03-01
US10424045B2 (en) 2019-09-24
US20180374193A1 (en) 2018-12-27
JP2019005566A (ja) 2019-01-17
GB2564939B (en) 2020-07-15

Similar Documents

Publication Publication Date Title
JP7034013B2 (ja) 自動画像レジストレーション品質評価
US10679325B2 (en) Machine learning model for automatic image registration quality assessment and correction
Hu et al. Weakly-supervised convolutional neural networks for multimodal image registration
Hosny et al. Artificial intelligence in radiology
US11288813B2 (en) Systems and methods for anatomic structure segmentation in image analysis
Bakas et al. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features
US10482600B2 (en) Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
Candemir et al. Training strategies for radiology deep learning models in data-limited scenarios
Lafata et al. Radiomics: a primer on high-throughput image phenotyping
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
JP2023510697A (ja) 不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング
Göçeri Fully automated liver segmentation using Sobolev gradient‐based level set evolution
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
US20230090906A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
US20230005600A1 (en) Providing a second result dataset
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
WO2023104464A1 (en) Selecting training data for annotation
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
Selle et al. Dimension reduction and outlier detection of 3-D shapes derived from multi-organ CT images
US20230298136A1 (en) Deep learning multi-planar reformatting of medical images
US20240169538A1 (en) Improved spinal hardware rendering
Astaraki Advanced machine learning methods for oncological image analysis
Rister Automated Longitudinal Assessment of CT Cancer Lesions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220301

R150 Certificate of patent or registration of utility model

Ref document number: 7034013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150