JP2023521838A - 合成医用画像の作成 - Google Patents

合成医用画像の作成 Download PDF

Info

Publication number
JP2023521838A
JP2023521838A JP2022562339A JP2022562339A JP2023521838A JP 2023521838 A JP2023521838 A JP 2023521838A JP 2022562339 A JP2022562339 A JP 2022562339A JP 2022562339 A JP2022562339 A JP 2022562339A JP 2023521838 A JP2023521838 A JP 2023521838A
Authority
JP
Japan
Prior art keywords
medical image
images
medical
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022562339A
Other languages
English (en)
Inventor
シェリー テオドラ イェヘズケリー
ヨセフ カム
モーリー コーエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023521838A publication Critical patent/JP2023521838A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

合成医用画像を作成する装置は、命令の組を表す命令データを有するメモリと、メモリと通信し、命令の組を実行するよう構成されたプロセッサとを有する。命令の組は、プロセッサによって実行される場合、前記プロセッサに、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップと、を実行させる。

Description

本発明の実施形態は、医用画像に関する。特に、しかし非排他的に、本明細書の実施形態は、合成医用画像を作成することに関する。
本開示は、医用画像の領域にある。医用画像は、数が少なく、高価で、取得することが困難な場合がある。医用画像の例には、(例えば、CTスキャンからの)CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などのコンピュータ断層撮影(CT)画像、(例えば、X線スキャンからの)X線画像、(例えば、MRスキャンからの)磁気共鳴(MR)画像、(例えば、超音波スキャンからの)超音波(US)画像、蛍光透視画像、及び核医学画像が含まれる。
米国特許出願公開第2020/00900349A1号公報は、医用画像データ間の画像レジストレーション(registration)を行う医用画像診断装置を示す。この公報は、第1の指定値の表示スケールにおける医療データ間の事前レジストレーションを開示し、次いで、第2の指定値の2以上の表示スケールにおいて正式な画像レジストレーションを実行する。第2の指定値は、第1の指定値よりも小さい。これは、相対的な微細構造を使用するマッチング方法を介して、画像の部分的なレジストレーションを開示する。これは、画像内の相対的に巨視的な画像情報を考慮して、第1の指定値よりも小さい第2の指定値の表示スケールにおいてより細かいレジストレーションを実行し、それによって、細かく大域的な画像レジストレーションを実現する。
米国特許出願公開第2005/0146536A1号公報は、複数のデジタルサブ画像をまとめて単一の最終の過去の画像に貼り付けるための統計ベースの画像ブレンド方法を開示する。この公報は、少なくとも2つのデジタルサブ画像のピクセル強度を一緒にブレンドして、その単一の貼り付けられた画像を作成することを開示する。
Xin Yi、Ekta Walia及びPaul Babyによる科学論文"Generative Adversarial network in medical imaging: A review"では、トレーニングデータを作成するための敵対的生成ネットワーク(Generative Adversarial Networks、GAN)の使用を開示している。
医用画像の利用可能性を改善することが本発明の実施形態の目的である。
上述の医用画像は、数が少なく、取得するのが困難であり及び/又は費用がかかることがある。この分野において、改善された画像読影出力のための機械学習モデルのようなモデルクラシファイヤを開発する(訓練し及び試験する)ために、医用画像の大きなコーパスが必要とされる。医用画像データのこのような不足を克服する1つの方法は、合成画像データを使用することである。しかしながら、合成データを生成するための古典的な方法は、必ずしも実際の臨床データを表すとは限らないファントム(例えば、撮像装置の性能を評価、分析、及び/又は調整するように特別に設計された物理的又は合成モデル)に基づくことができる。
合成医用画像を作成するための装置及び方法を提供することによってこの状況を改善することが本発明の実施形態の目的である。
従って、本明細書の第1の態様によれば、合成医用画像を作成する装置がある。装置は、命令の組を表す命令データを有するメモリと、メモリと通信し、命令の組を実行するよう構成されるプロセッサと、を有する。命令の組は、プロセッサによって実行される場合に、前記プロセッサに、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定するステップと、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップと、を実行させる。
従って、このようにして、装置は、他の(例えば実際の)医用画像間の外挿によって、かかる医用画像から合成医用画像を作成することができる。得られた合成画像は、例えば、モデルから生成された画像と比較して、実際の医用画像を表す見込みがより高くなり得る。これは、歪み又は外挿が、ヒト集団において実際に見られる変動性に基づいて行われるからである(例えば、変形のタイプは、純粋に仮定的な差ではなく、実際に観察された差に基づく)。従って、結果として得られる合成画像における解剖学的特徴の形状は、実際の集団に見られる形状の範囲内に入る可能性が高い。
第2の態様によれば、合成医用画像を作成する方法がある。本方法は、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定するステップと、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップとを有する。
第3の態様によれば、コンピュータ可読媒体を含むコンピュータプログラム製品があり、コンピュータ可読媒体は、その中に具現化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、コンピュータ又はプロセッサに、第2の態様の方法を実行させるように構成される。
より良く理解するために、また、本明細書の実施形態がどのように実施されることができるかをより明確に示すために、ここで、単なる例として、添付図面を参照する。
本明細書のいくつかの実施形態による装置を示す図。 本明細書のいくつかの実施形態による方法を示す図。 本明細書のいくつかの実施形態による別の方法を示す図。
図1は、本明細書のいくつかの実施形態による、合成画像を作成する装置を示す。装置は、例えば、ラップトップ、デスクトップコンピュータ、又は他のデバイスなどのコンピュータシステムの一部を形成する(例えば、その中に含まれる)ことができる。いくつかの実施形態では、装置100は、クラウド/分散コンピューティング構成の一部を形成することができる。
装置は、命令の組を表す命令データを備えるメモリ104と、メモリと通信し、命令の組を実行するように構成されたプロセッサ102とを有する。概して、命令の組は、プロセッサによって実行されたとき、以下で説明する方法200又は300の実施形態のいずれかをプロセッサに実行させることができる。
より具体的には、命令の組は、プロセッサによって実行される際に、プロセッサに、i)第1及び第2の医用画像を取得するステップと、ii)第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定(算出)するステップと、iii)決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の一部分に適用することによって、合成医用画像を作成するステップと、を実行させる。
プロセッサ102は、本明細書で説明する方法で装置100を制御するように構成され又はプログラムされる1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。特定の実現形態では、プロセッサ102は、本明細書で説明する方法の個々のステップ又は複数のステップを実行するようにそれぞれ構成されている、又は実行するための複数のソフトウェア及び/又はハードウェアモジュールを有することができる。プロセッサ102は、本明細書に説明する方法で装置100を制御するように構成され又はプログラムされた1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ及び/又はモジュールを有することができる。いくつかの実装形態では、例えば、プロセッサ102は、分散処理のために構成された複数の(例えば、相互運用される)プロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールを有することができる。そのようなプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールは、異なる位置に配置されることができ、また、本明細書で説明する方法の単一のステップの異なるステップ及び/又は異なる部分を実行することができることが当業者によって理解されるであろう。
メモリ104は、本明細書で説明する方法を実行するためにプロセッサ102によって実行可能なプログラムコードを記憶するように構成される。代替的に又は追加的に、1つ又は複数のメモリ104は、装置100の外部にあってもよい(すなわち、装置とは別個であるか、又は装置から離れていてもよい)。例えば、1つ又は複数のメモリ104は、別の装置の一部であり得る。メモリ104は、例えば、第1及び第2の医用画像、作成された合成画像、ユーザから受信されたユーザ入力、及び/又は装置100のプロセッサ102によって、又は装置100の外部にある任意のインターフェース、メモリ、もしくはデバイスから受信、計算、又は決定された任意の他の情報及び/又はデータを記憶するために使用されることができる。プロセッサ102は、第1及び第2の医用画像、作成された合成画像、及び/又は本明細書で説明される任意の他の情報を記憶するようにメモリ104を制御するように構成されることができる。
いくつかの実施形態では、メモリ104は、複数のサブメモリを有してもよく、各サブメモリは、命令データの一部を記憶することが可能である。例えば、少なくとも1つのサブメモリは、命令の組の少なくとも1つの命令を表す命令データを記憶することができ、少なくとも1つの他のサブメモリは、命令の組の少なくとも1つの他の命令を表す命令データを記憶することができる。
装置は、例えば、以下に説明する第1及び/又は第2のユーザ入力を提供するために、ユーザが装置と対話することを可能にする、キーボード、マウス、又は他の入力デバイスなどのユーザ入力装置106を更に有することができる。他の実施形態では、そのようなユーザ入力装置106は、装置100から遠隔なところにあってもよく、装置100は、電子信号を使用して、例えば、有線又は無線インターネット接続を介して、遠隔ユーザ入力装置106から任意のユーザ入力を受信し得る。
図1は、本発明のこの態様を説明するために必要とされる構成要素のみを示しており、実際のインプリケーションにおいて、装置100は、図示されたものに対する追加成分を有することができることを理解されたい。例えば、装置100は、装置100に電力を供給するためのバッテリ又は他の電源、又は装置100を主電源に接続する手段を有することができる。
より詳細には、第1の医用画像は、人間又は動物の対象、例えば、「現実の」人間又は動物の対象の医用画像を含むことができる。第1の医用画像は、例えば、医用検査又はスキャン中に取得されることができる。第1の医用画像は、医用画像のデータベースからのストック画像を含むことができる。
代替例としては、第1の医用画像は、合成医用画像を含むことができる(このような例では、本明細書に記載される方法は、従って、最初の第1及び第2の合成画像から他の合成画像を作成するために使用されることができる)。
第2の医用画像は、第1の医用画像と同じ又は異なる方法で取得された画像を含むことができる。例えば、第2の医用画像は、例えば、医用検査又はスキャン中に取得されたものでありうる。第2の医用画像は、医用画像のデータベースからのストック画像を含むことができる。第2の医用画像は、代替的に、合成医用画像を含んでもよい。
第2の医用画像は、第1の医用画像と同じタイプの被検体(例えば、人間又は動物)の医用画像を含むことができる。第2の医用画像は、第1の医用画像とは異なる被検体を含むことができ、例えば、第1の医用画像は、第1の人物(例えば、第1の患者又は被検体)の画像を含むことができ、第2の医用画像は、第2の人物(例えば、第2の患者又は被検体)の画像を含むことができる。
第1及び第2の医用画像は、一般に、共通の又は重複(overlapping)する特徴(共通の解剖学的特徴など)を含む。概して、第1及び第2の医用画像は、第1の医用画像が第2の医用画像にレジストレーションされることを可能にする共通の1又は複数のランドマーク(目印)を含むことができる(ステップii)。例えば、第1及び第2の医用画像の両方は、同じ解剖学的特徴の画像を含むことができる。解剖学的特徴の例としては、肺、心臓、心臓の心室、脳、胎児などが挙げられるが、これらに限定されない。
一般に、例えば、第1の医用画像は、第1の人物の特定の解剖学的特徴を含むことができ、第2の医用画像は、第2の人物の同じ解剖学的特徴を含むことができる。
第1及び第2の医用画像は、限定はしないが、CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などの(例えばCTスキャンからの)コンピュータ断層撮影(CT)画像、(例えば、X線スキャンからの)X線画像、(例えば、MRスキャンからの)磁気共鳴(MR)画像、(例えば、超音波スキャンからの)超音波(US)画像、蛍光透視画像、核医学画像、又は任意の他のタイプの医用画像を含む、任意の撮像モダリティの医用画像を有することができる。
いくつかの実施形態では、第1の医用画像は、第2の医用画像と同じモダリティの画像を含むことができる。例えば、第1及び第2の医用画像は、両方ともX線画像、又は両方ともMRI画像などでありうる。
第1及び第2の医用画像は、2次元画像を含むことができる。他の実施形態では、第1及び第2の医用画像は、3次元画像を含むことができる。いくつかの実施形態では、第1及び第2の医用画像は、それぞれの3次元画像ボリュームを横断する2次元スライスを含んでもよい。第1及び第2の医用画像は、一般に、複数(又はセット)の画像コンポーネントを含む。例えば、第1及び第2の医用画像が2次元画像を含む実施形態では、画像コンポーネントはピクセルを含むことができる。例えば、第1及び第2の医用画像が3次元画像を含む実施形態では、画像コンポーネントはボクセルを含むことができる。
装置100に戻ると、いくつかの実施形態では、ブロックi)において、第1及び/又は第2の医用画像は、例えば、画像のデータベースから取得されることができる。当業者であれば、第1及び第2の医用画像は、他の手段、例えば、スキャンが実行される際にリアルタイムで、又はインターネットを介して取得されることができることを理解するであろう。
いくつかの実施形態では、装置100は、1つ又は複数の人口統計学的基準(例えば、必要とされる合成画像のタイプに関する基準)の標示を含むユーザ入力(本明細書では「第3のユーザ入力」と呼ばれる)を受信するように構成されることができる。第3のユーザ入力は、例えば、図1のユーザ入力装置から取得されることができる。人口統計学的基準の例としては、年齢、性別又は民族性が挙げられるが、これらに限定されない。
いくつかの実施形態では、装置は、画像のデータベース内の画像内のそれぞれの人間の被検体の人口統計学的情報及び人口統計学的基準に基づいて、画像のデータベースから第1及び/又は第2の医用画像を選択するように構成されることができる。
例えば、ユーザは、特定の年齢及び/又は性別を有する被検体の合成画像を生成したいことを示すユーザ入力を提供することができる。従って、ブロックi)において、プロセッサは、医用画像のデータベースから、合致する年齢及び性別の被検体から第1及び第2の医用画像を選択するようにされうる。このようにして、ユーザは、異なる人口統計学的グループの合成医用画像を生成することができる。
ブロックii)において、プロセッサは、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性(例えば、非剛体)変形を決定するようにされる。当業者であれば、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる、画像レジストレーションを実行する方法及び弾性変形を決定する方法に精通しているであろう。弾性変形は、並進、回転、及び/又は非線形要素を含みうる(例えば、弾性変形は、一般に、第1の医用画像を歪ませることができる)。従って、弾性変形は、「変形場」として説明されることができる。画像レジストレーションの例示的な方法は、例えば、T. Netsch et al. entitled: "Towards Real-Time Multi-Modality 3-D Medical Image Registration."; International Conference on Computer Vision, 2001に記載されている。しかしながら、当業者であれば、これらは例示であり、第1の医用画像を第2の医用画像にレジストレーションするための弾性変形を決定するのに適した任意の方法が使用されうることが分かるであろう。
一般に、弾性変形は、第1の医用画像の全体にわたるランドマークに基づいて、又は第1の医用画像の一部分に基づいて決定されることができる。言い換えれば、弾性変形場は、第1の医用画像の部分に関して決定されることができ、必ずしも第1の医用画像の全体にわたって決定される必要はない。
次に、ブロックiii)において、プロセッサは、決定された弾性変形を重み付けし(例えば、重み付けを適用し)、重み付けされた弾性変形を第1の医用画像の一部分に適用することによって、合成医用画像を作成するようにされる。言い換えれば、第1の医用画像の一部分が選択され、決定された弾性変形の一部分がこの部分に適用されて、合成画像が作成される。従って、第1の医用画像は、第1の医用画像と第2の医用画像との間に幾何学的な特徴を有する画像を作成するように変形され又は変更される。
重み付けは、0<w<1の範囲の任意の値wを含むことができ、wは、例えば全弾性変形の任意のパーセンテージ又は割合である。
変形量は、設定可能であってもよい。例えば、いくつかの実施形態では、重み付けは、ユーザにより設定可能であり得、例えば、装置100は、重み付けのための値を有する第2のユーザ入力を(例えば、ユーザ入力装置106などのユーザ入力装置から)受信するように構成されることができる。例えばて、ユーザは、第1の医用画像に対して合成画像がどのように歪められる例例えばすることができる。
いくつかの実施形態では、命令の組は、プ例え例えばて実行される場合、複数の異なる重み付けについてブロックiii)を繰り返して、複数の異なる合成画像を作成するステップをプロセッサに実行させる。例えば、第2のユーザ入力は、複数の異なる重み付けを含むことができる。このようにして、複数の異なる合成画像が効率的に作成されることができる。
上述したように、合成画像は、決定された弾性変形を重み付けすること及び重み付けされた弾性変形を第1の医用画像の一部に適用することによって、作成される。従って、重み付け弾性変形は、第1の医用画像の全体、又は第1の医用画像の部分に適用されることができる。従って、いくつかの実施形態において、プロセッサに合成画像を作成するステップを実行させる、作成された合成画像が第1の医用画像と同じサイズであるように、第1の医用画像全体に重み付け弾性変形を適用させるステップをプロセッサに実行させることを含む。他の実施形態では、合成画像は、重み付けされた弾性変形を第1の医用画像の画像エレメントのサブセットに適用することによって作成されることができ、得られた合成画像は、画像要素の前記サブセットのみを含み、例えば、合成画像は、完全な第1の医用画像から選択された部分を含むことができる。
いくつかの実施形態では、装置は、関心領域及び命令の組を示す第1のユーザ入力を(例えば、第1のユーザ入力装置106から)受信するように構成されることができ、命令の組は、プロセッサによって実行されたとき、第1のユーザ入力を受信することに応答して、ブロックi)、ii)及びiii)をプロセッサに実行させる。
第1のユーザ入力は、関心領域を画定する座標の組を含むことができる。いくつかの実施形態では、第1の医用画像は、ユーザに表示されることができ、ユーザは、マウス又はタッチスクリーンなどのユーザ入力装置を使用して、関心領域を選択することができる。
第1及び第2の医用画像が3次元画像を含む実施形態では、関心領域は、ボリューム(本明細書では「関心ボリューム」と呼ぶ)を含むことができる。このようにして、ユーザは、合成画像が生成されることを必要とする完全な第1の医用画像の部分又は領域を示すことができる。例えば、ユーザが、より大きな画像から関心領域の合成画像を正確かつ効率的に生成することを可能にする。
いくつかの実施形態では、画像セグメンテーションを更に使用して、これを更に増強することができる。例えば、いくつかの実施形態では、命令の組は、プロセッサによって実行される場合に、プロセッサに、第1の医用画像をセグメント化してセグメンテーションを生成するステップを実行させる。そのような実施形態では、ブロックiii)において、プロセッサに合成画像を作成するステップを実行させることは、前記セグメンテーションに基づいて、関心領域を含む第1の医用画像の部分に重み付け弾性変形を適用させるステップをプロセッサに実行させることを含む。
例えば、プロセッサは、セグメンテーションから関心領域の位置を決定することができる。例えば、ユーザは、身体の領域、例えば「胸部領域」を(第1のユーザ入力において)示すことができる。ブロックiii)において、合成医用画像は、決定された弾性変形を重み付けし、重み付けされた弾性変形を、セグメンテーションの中の胸部領域としてラベル付けされた第1の医用画像の部分に適用することによって作成されることができる。
いくつかの実施形態では、関心領域は、解剖学的特徴を含み、第1のユーザ入力は、前記解剖学的特徴の標示を含む。ブロックiii)において、合成医用画像は、セグメンテーションによって決定されるように、決定された弾性変形を重み付けし、(第1のユーザ入力に示される)解剖学的特徴を含む第1の医用画像の部分に前記重み付けされた弾性変形を適用することによって、作成されることができる。
このようにして、ユーザは、特定の解剖学的特徴を指定し、前記解剖学的特徴の合成画像を効率的な方法で作成することができる。
当業者は、画像セグメンテーションに精通しているが、簡単に言えば、画像セグメンテーションは、画像内でキャプチャされた対象又は形状に関する形状/フォーム情報を抽出することを含む。これは、画像を構成ブロック又は「セグメント」に変換することによって達成されることができ、各セグメント内のピクセル又はボクセルは、共通の属性を有する。いくつかの方法では、画像セグメンテーションは、画像内の1つ又は複数の特徴にモデルをフィットすることを含み得る。
画像セグメンテーションの1つの方法は、モデルベースセグメンテーション(MBS)であり、これにより、ターゲット構造(例えば、心臓、脳、肺など)の三角形メッシュが、画像内の特徴に反復的な態様で適応される。セグメンテーションモデルは、典型的には、母集団ベースの外観特徴及び形状情報を符号化する。このような情報は、母集団のメンバにおけるターゲット構造の現実の形状に基づいて、許容される形状バリエーションを記述する。形状バリエーションは、例えば、モデルの1つの部分への変化が制約される方法を記述する固有モードの形で、又はモデルの他の部分の形状に依存して、符号化されることができる。モデルベースのセグメンテーションは、医用画像から1つ又は複数の標的器官をセグメント化するために様々な用途で使用されており、例えばEcabert, O., et al. 2008 entitled "Automatic Model-Based Segmentation of the Heart in CT Images"; IEEE Trans. Med. Imaging 27 (9), 1189-1201.を参照されたい。
別のセグメンテーション方法は、機械学習(ML)モデルを使用して、類似のピクセル/ボクセル値及び画像勾配に基づいて、画像を複数の構成形状(例えば、ブロック形状又はブロックボリューム)に変換する。
しかしながら、当業者は、これらが単なる例であり、任意のセグメンテーション方法が、第1及び/又は第2の医用画像上で使用されることができることを理解するであろう。上述のように、セグメンテーションは、合成画像を作成するための完全な第1の医用画像の適切な領域又は部分を選択するために、関心領域又は解剖学的特徴を識別するために使用されることができる。
従って、ユーザが、個々の特定の人口統計学的情報に関して、関心のある特定の領域又は解剖学的特徴の合成画像を作成することを可能にする、効率的な方法で合成医用画像を作成する装置が提供される。
次に別の実施形態を参照すると、図2に示されるように、いくつかの実施形態では、合成医用画像を作成する方法200がある。方法200は、装置100などの装置又はシステムによって実行されることができる。方法200はまた、コンピュータプログラムの1つ又は複数のブロックによって実行されることができる。
簡潔に述べると、第1のステップ202において、方法は、第1及び第2の医用画像を取得することを含む。第2のステップ204において、本方法は、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定することを含む。ステップ206において、方法は、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の一部に適用することによって、合成医用画像を作成することを含む。
第1及び第2の医用画像を得ることは、図1の装置100によって実行されるブロックi)に関して詳細に論じられ、その詳細は、方法200のステップ202に等しく適用されることが理解される。第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定することは、図1の装置100によって実行されるブロックii)に関して上述されており、その詳細は、方法200のステップ204に等しく適用されることが理解されるであろう。決定された弾性変形を重み付けし、重み付けされた弾性変形を第1の医用画像の部分に適用することによって合成医用画像を作成することは、図1の装置100によって実行されるブロックiii)に関して上述され、その詳細は、方法200のステップ206に等しく適用されることが理解されるであろう。
次に図3を参照すると、いくつかの実施形態による、装置100のような装置によって実現される方法300が示されている。この実施形態では、第1及び第2の医用画像302、304が取得される。第1及び第2の医用画像は、ユーザ入力装置106からのユーザ入力においてユーザによって示されるように、身体の性別、年齢及び領域(又はゾーン(帯域))に一致するように選択される。第1及び第2の医用画像は、第1のモジュール(例えば、第1のコンピュータモジュール)306への入力として提供され、このモジュールは、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定する。
第2のモジュール308は、セグメンテーションを生成するために第1の医用画像をセグメント化する。セグメンテーションは、上述のように、任意のセグメンテーション方法を使用して実行されることができる。セグメンテーションは、第1の医用画像における関心領域又は関心ボリューム(第1及び第2の医用画像がそれぞれ2次元又は3次元であるかどうかに依存する)を決定するために使用される。関心領域又は関心ボリュームは、セグメンテーション及び所望の関心領域又は関心ボリュームを示すユーザ入力に基づいて決定されることができる(例えば、ユーザ入力においてユーザによって指定された領域又はボリュームは、セグメンテーションを使用して画像内において位置を特定されることができる)。第3のモジュール312は、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像内の関心ボリューム310に適用することによって、合成医用画像314を作成する。関心ボリュームは、合成データからのニーズに基づいて選択されることができ、画像全体を含むことができる。このようにして、ユーザは、年齢、性別、及び解剖学的領域又は特徴などのパラメータを入力することができ、前記入力パラメータに合致する合成画像を迅速かつ確実に作成することができる。
ここで他の実施形態に目を向けると、別の実施形態では、コンピュータ可読媒体を含むコンピュータプログラム製品が提供され、コンピュータ可読媒体は、その中に具現化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、コンピュータ又はプロセッサに、本明細書に記載の方法又は複数の方法を実行させるように構成される。例えば、方法200又は方法300である。
従って、本開示が、実施形態を実施するように適応されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されるだろう。プログラムは、部分的にコンパイルされた形のようなソースコード、オブジェクトコード、コード中間ソース、及びオブジェクトコードの形成、又は本明細書で説明する方法のインプリメンテーションでの使用に適した任意の他の形であり得る。
更に、そのようなプログラムが多くの様々なアーキテクチャ設計を有し得ることが理解されるであろう。例えば、方法又は装置の機能を実現するプログラムコードは、1つ又は複数のサブルーチンにサブ分割されることができる。これらのサブルーチンの間で機能を分配する多くの異なる方法が、当業者には明らかであろう。サブルーチンは、自己完結型プログラムを形成するために、1つの実行可能ファイルに一緒に記憶されることができる。例えば実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Javaインタプリタ命令)を有することができる。例えば、サブルーチンのうちの1つ又は複数又はすべては、少例えば1つの外部ライブラリファイルに記憶され、例えば実行時に、静的に又は動的にメインプログラムとリンクされることができる。メインプログラムは、サブルーチンのうちの少なくとも1つへの少なくとも1つの呼び出し(call)を含む。サブルーチンはまた、互いに対する関数呼び出しを有することができる。
コンピュータプログラムの担体は、プログラムを担持することができる任意のエンティティ又はデバイスであり得る。例えば、担体は、ROM、例えば、CD-ROMもしくは半導体ROM、又は磁気記録媒体、例えば、ハードディスクドライブなどのデータ記憶装置を含み得る。更に、担体は、電気もしくは光ケーブルを介して、又は無線もしくは他の手段によって搬送されることができる、電気信号又は光信号などの伝送可能な担体であり得る。プログラムがそのような信号で具現化される場合、担体は、そのようなケーブル又は他の装置又は手段によって構成されることができる。代替的に、担体は、プログラムが埋め込まれた集積回路であってもよく、集積回路は、関連する方法を実行するように適応され、又は関連する方法の実行に使用される。
開示された実施形態に対する変形は、図面、開示、及び添付の特許請求の範囲の検討から、当業者によって理解され、達成されることができる。請求項において、単語「comprising(有する、含む)」は、他の構成要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体に記憶/配布されることができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 合成医用画像を作成する装置であって、
    命令の組を表す命令データを含むメモリと
    前記メモリと通信し、前記命令の組を実行するよう構成されるプロセッサと、
    を有し、前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、
    i)第1及び第2の医用画像を取得するステップであって、前記第1及び前記第2の医用画像が、共通の又は重複する特徴を有する、ステップと、
    ii)前記第1の医用画像を前記第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、
    iii)前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を前記第1の医用画像の部分に適用して前記第1の医用画像と前記第2の医用画像との間の幾何学的な特徴を有する画像を作成することによって、前記合成医用画像を作成するステップと、
    を実行させる、装置。
  2. 前記命令の組は更に、前記プロセッサによって実行される場合、前記プロセッサに、前記第1の医用画像をセグメント化してセグメンテーションを生成するステップを実行させ、
    前記合成医用画像を作成する前記ステップは、前記重み付けされた弾性変形を、前記セグメンテーションに基づいて、関心領域を含む前記第1の医用画像の部分に適用することを含む、請求項1に記載の装置。
  3. 前記装置は、前記関心領域を示す第1のユーザ入力を受信するように構成され、前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、前記第1のユーザ入力の受信に応じて前記ステップi)、ii)及びiii)を実行させる、請求項2に記載の装置。
  4. 前記関心領域が解剖学的特徴を含み、前記第1のユーザ入力が前記解剖学的特徴の標示を含む、請求項3に記載の装置。
  5. 前記第1及び前記第2の医用画像は3次元画像を有し、前記第1のユーザ入力は、前記第1の医用画像における関心ボリュームの標示を含む、請求項3に記載の装置。
  6. 前記重み付けはユーザ設定可能である、請求項1乃至5のいずれ1項に記載の装置。
  7. 前記装置は、前記重み付けのための値を含む第2のユーザ入力を受信するよう構成される、請求項6に記載の装置。
  8. 前記第1の医用画像及び前記第2の医用画像は、人間の被検体の医用画像を含む、請求項1乃至7のいずれか1項に記載の装置。
  9. 前記装置は、1つ又は複数の人口統計学的基準を示す第3のユーザ入力を受信するよう構成され、前記第1及び前記第2の医用画像を取得する前記ステップは、前記画像のデータベース内のそれぞれの人間の被検体の人口統計学的情報及び前記人口統計学的基準に基づいて、画像のデータベースから前記第1及び/又は前記第2の医用画像を選択することを含む、請求項8に記載の装置。
  10. 前記人口統計学的基準が年齢又は性別を含む、請求項9に記載の装置。
  11. 前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、複数の異なる重み付けについて前記ステップiii)を繰り返して複数の異なる合成画像を作成するステップを実行させる、請求項1乃至10のいずれか1項に記載の装置。
  12. 前記第1及び前記第2の医用画像が同じ撮像モダリティのものである、請求項1乃至11のいずれか1項に記載の装置。
  13. 前記弾性変形が、歪み場及び/又は前記重み付けを含み、前記重み付けが0<w<1の範囲の値wを含む、請求項1乃至12のいずれか1項に記載の装置。
  14. 合成医用画像を作成する方法であって、
    i)第1及び第2の医用画像を取得するステップであって、前記第1及び第2の医用画像が共通の又は重複する特徴を含む、ステップと、
    ii)前記第1の医用画像を前記第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、
    iii)前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を前記第1の医用画像の部分に適用して前記第1の医用画像と前記第2の画像との間の幾何学的な特徴を有する画像を作成することによって、前記合成医用画像を作成するステップと、
    を有する方法。
  15. コンピュータ可読コードを有するコンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに請求項14に記載の方法を実行させる、コンピュータ可読媒体。
JP2022562339A 2020-04-14 2021-04-07 合成医用画像の作成 Pending JP2023521838A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20169281.1 2020-04-14
EP20169281.1A EP3896658A1 (en) 2020-04-14 2020-04-14 Creating a synthetic medical image
PCT/EP2021/058980 WO2021209287A1 (en) 2020-04-14 2021-04-07 Creating a synthetic medical image

Publications (1)

Publication Number Publication Date
JP2023521838A true JP2023521838A (ja) 2023-05-25

Family

ID=70289313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022562339A Pending JP2023521838A (ja) 2020-04-14 2021-04-07 合成医用画像の作成

Country Status (5)

Country Link
US (1) US20230132504A1 (ja)
EP (2) EP3896658A1 (ja)
JP (1) JP2023521838A (ja)
CN (1) CN115398482A (ja)
WO (1) WO2021209287A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184062B2 (en) * 2004-01-07 2007-02-27 Ge Medical Systems Global Technology Company, Llc Statistically-based image blending methods and systems for pasting multiple digital sub-images together
US8623026B2 (en) * 2006-02-06 2014-01-07 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief
CN113822960A (zh) * 2016-09-06 2021-12-21 医科达有限公司 用于生成合成成像数据的方法、系统及计算机可读介质
US11154196B2 (en) * 2017-06-20 2021-10-26 Siemens Healthcare Gmbh Deep-learnt tissue deformation for medical imaging
CN110893108A (zh) * 2018-09-13 2020-03-20 佳能医疗系统株式会社 医用图像诊断装置、医用图像诊断方法及超声波诊断装置
US10799716B2 (en) * 2018-10-18 2020-10-13 Varian Medical Systems International Ag Streamlined, guided on-couch adaptive workflow

Also Published As

Publication number Publication date
US20230132504A1 (en) 2023-05-04
EP3896658A1 (en) 2021-10-20
CN115398482A (zh) 2022-11-25
WO2021209287A1 (en) 2021-10-21
EP4136621A1 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
Chlap et al. A review of medical image data augmentation techniques for deep learning applications
US10129553B2 (en) Dynamic digital image compression based on digital image characteristics
US10304198B2 (en) Automatic medical image retrieval
RU2677764C2 (ru) Координатная привязка медицинских изображений
US9020235B2 (en) Systems and methods for viewing and analyzing anatomical structures
US10803354B2 (en) Cross-modality image synthesis
CN104346821B (zh) 用于医学成像的自动规划
CN111540025B (zh) 预测用于图像处理的图像
CN108697402B (zh) 在三维图像中确定深度脑刺激电极的旋转方位
Sugimori Classification of computed tomography images in different slice positions using deep learning
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
JP2020199328A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
Chen et al. Deep learning based unpaired image-to-image translation applications for medical physics: a systematic review
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
US11495346B2 (en) External device-enabled imaging support
WO2018219432A1 (en) Heatmap and atlas
JP2023521838A (ja) 合成医用画像の作成
CN107799166B (zh) 医学成像系统
US20230030618A1 (en) Making measurements in images
US20230260141A1 (en) Deep learning for registering anatomical to functional images
US20240312603A1 (en) Whole-Body Anatomical Digital Twin from Partial Medical Images
Kühnel et al. Enhanced cardiovascular image analysis by combined representation of results from dynamic MRI and anatomic CTA
Dreyer et al. Digital imaging fundamentals
JP2012147901A (ja) 画像表示装置、その制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328