JP2023521838A - 合成医用画像の作成 - Google Patents
合成医用画像の作成 Download PDFInfo
- Publication number
- JP2023521838A JP2023521838A JP2022562339A JP2022562339A JP2023521838A JP 2023521838 A JP2023521838 A JP 2023521838A JP 2022562339 A JP2022562339 A JP 2022562339A JP 2022562339 A JP2022562339 A JP 2022562339A JP 2023521838 A JP2023521838 A JP 2023521838A
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- images
- medical
- image
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005489 elastic deformation Effects 0.000 claims abstract description 47
- 239000002131 composite material Substances 0.000 claims abstract description 46
- 230000015654 memory Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000001308 heart ventricle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
合成医用画像を作成する装置は、命令の組を表す命令データを有するメモリと、メモリと通信し、命令の組を実行するよう構成されたプロセッサとを有する。命令の組は、プロセッサによって実行される場合、前記プロセッサに、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップと、を実行させる。
Description
本発明の実施形態は、医用画像に関する。特に、しかし非排他的に、本明細書の実施形態は、合成医用画像を作成することに関する。
本開示は、医用画像の領域にある。医用画像は、数が少なく、高価で、取得することが困難な場合がある。医用画像の例には、(例えば、CTスキャンからの)CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などのコンピュータ断層撮影(CT)画像、(例えば、X線スキャンからの)X線画像、(例えば、MRスキャンからの)磁気共鳴(MR)画像、(例えば、超音波スキャンからの)超音波(US)画像、蛍光透視画像、及び核医学画像が含まれる。
米国特許出願公開第2020/00900349A1号公報は、医用画像データ間の画像レジストレーション(registration)を行う医用画像診断装置を示す。この公報は、第1の指定値の表示スケールにおける医療データ間の事前レジストレーションを開示し、次いで、第2の指定値の2以上の表示スケールにおいて正式な画像レジストレーションを実行する。第2の指定値は、第1の指定値よりも小さい。これは、相対的な微細構造を使用するマッチング方法を介して、画像の部分的なレジストレーションを開示する。これは、画像内の相対的に巨視的な画像情報を考慮して、第1の指定値よりも小さい第2の指定値の表示スケールにおいてより細かいレジストレーションを実行し、それによって、細かく大域的な画像レジストレーションを実現する。
米国特許出願公開第2005/0146536A1号公報は、複数のデジタルサブ画像をまとめて単一の最終の過去の画像に貼り付けるための統計ベースの画像ブレンド方法を開示する。この公報は、少なくとも2つのデジタルサブ画像のピクセル強度を一緒にブレンドして、その単一の貼り付けられた画像を作成することを開示する。
Xin Yi、Ekta Walia及びPaul Babyによる科学論文"Generative Adversarial network in medical imaging: A review"では、トレーニングデータを作成するための敵対的生成ネットワーク(Generative Adversarial Networks、GAN)の使用を開示している。
医用画像の利用可能性を改善することが本発明の実施形態の目的である。
上述の医用画像は、数が少なく、取得するのが困難であり及び/又は費用がかかることがある。この分野において、改善された画像読影出力のための機械学習モデルのようなモデルクラシファイヤを開発する(訓練し及び試験する)ために、医用画像の大きなコーパスが必要とされる。医用画像データのこのような不足を克服する1つの方法は、合成画像データを使用することである。しかしながら、合成データを生成するための古典的な方法は、必ずしも実際の臨床データを表すとは限らないファントム(例えば、撮像装置の性能を評価、分析、及び/又は調整するように特別に設計された物理的又は合成モデル)に基づくことができる。
合成医用画像を作成するための装置及び方法を提供することによってこの状況を改善することが本発明の実施形態の目的である。
従って、本明細書の第1の態様によれば、合成医用画像を作成する装置がある。装置は、命令の組を表す命令データを有するメモリと、メモリと通信し、命令の組を実行するよう構成されるプロセッサと、を有する。命令の組は、プロセッサによって実行される場合に、前記プロセッサに、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定するステップと、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップと、を実行させる。
従って、このようにして、装置は、他の(例えば実際の)医用画像間の外挿によって、かかる医用画像から合成医用画像を作成することができる。得られた合成画像は、例えば、モデルから生成された画像と比較して、実際の医用画像を表す見込みがより高くなり得る。これは、歪み又は外挿が、ヒト集団において実際に見られる変動性に基づいて行われるからである(例えば、変形のタイプは、純粋に仮定的な差ではなく、実際に観察された差に基づく)。従って、結果として得られる合成画像における解剖学的特徴の形状は、実際の集団に見られる形状の範囲内に入る可能性が高い。
第2の態様によれば、合成医用画像を作成する方法がある。本方法は、第1及び第2の医用画像を取得するステップと、第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定するステップと、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の部分に適用することによって、合成医用画像を作成するステップとを有する。
第3の態様によれば、コンピュータ可読媒体を含むコンピュータプログラム製品があり、コンピュータ可読媒体は、その中に具現化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、コンピュータ又はプロセッサに、第2の態様の方法を実行させるように構成される。
より良く理解するために、また、本明細書の実施形態がどのように実施されることができるかをより明確に示すために、ここで、単なる例として、添付図面を参照する。
図1は、本明細書のいくつかの実施形態による、合成画像を作成する装置を示す。装置は、例えば、ラップトップ、デスクトップコンピュータ、又は他のデバイスなどのコンピュータシステムの一部を形成する(例えば、その中に含まれる)ことができる。いくつかの実施形態では、装置100は、クラウド/分散コンピューティング構成の一部を形成することができる。
装置は、命令の組を表す命令データを備えるメモリ104と、メモリと通信し、命令の組を実行するように構成されたプロセッサ102とを有する。概して、命令の組は、プロセッサによって実行されたとき、以下で説明する方法200又は300の実施形態のいずれかをプロセッサに実行させることができる。
より具体的には、命令の組は、プロセッサによって実行される際に、プロセッサに、i)第1及び第2の医用画像を取得するステップと、ii)第1の医用画像を第2の医用画像に対しレジストレーションするために使用されることができる弾性変形を決定(算出)するステップと、iii)決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の一部分に適用することによって、合成医用画像を作成するステップと、を実行させる。
プロセッサ102は、本明細書で説明する方法で装置100を制御するように構成され又はプログラムされる1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。特定の実現形態では、プロセッサ102は、本明細書で説明する方法の個々のステップ又は複数のステップを実行するようにそれぞれ構成されている、又は実行するための複数のソフトウェア及び/又はハードウェアモジュールを有することができる。プロセッサ102は、本明細書に説明する方法で装置100を制御するように構成され又はプログラムされた1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ及び/又はモジュールを有することができる。いくつかの実装形態では、例えば、プロセッサ102は、分散処理のために構成された複数の(例えば、相互運用される)プロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールを有することができる。そのようなプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールは、異なる位置に配置されることができ、また、本明細書で説明する方法の単一のステップの異なるステップ及び/又は異なる部分を実行することができることが当業者によって理解されるであろう。
メモリ104は、本明細書で説明する方法を実行するためにプロセッサ102によって実行可能なプログラムコードを記憶するように構成される。代替的に又は追加的に、1つ又は複数のメモリ104は、装置100の外部にあってもよい(すなわち、装置とは別個であるか、又は装置から離れていてもよい)。例えば、1つ又は複数のメモリ104は、別の装置の一部であり得る。メモリ104は、例えば、第1及び第2の医用画像、作成された合成画像、ユーザから受信されたユーザ入力、及び/又は装置100のプロセッサ102によって、又は装置100の外部にある任意のインターフェース、メモリ、もしくはデバイスから受信、計算、又は決定された任意の他の情報及び/又はデータを記憶するために使用されることができる。プロセッサ102は、第1及び第2の医用画像、作成された合成画像、及び/又は本明細書で説明される任意の他の情報を記憶するようにメモリ104を制御するように構成されることができる。
いくつかの実施形態では、メモリ104は、複数のサブメモリを有してもよく、各サブメモリは、命令データの一部を記憶することが可能である。例えば、少なくとも1つのサブメモリは、命令の組の少なくとも1つの命令を表す命令データを記憶することができ、少なくとも1つの他のサブメモリは、命令の組の少なくとも1つの他の命令を表す命令データを記憶することができる。
装置は、例えば、以下に説明する第1及び/又は第2のユーザ入力を提供するために、ユーザが装置と対話することを可能にする、キーボード、マウス、又は他の入力デバイスなどのユーザ入力装置106を更に有することができる。他の実施形態では、そのようなユーザ入力装置106は、装置100から遠隔なところにあってもよく、装置100は、電子信号を使用して、例えば、有線又は無線インターネット接続を介して、遠隔ユーザ入力装置106から任意のユーザ入力を受信し得る。
図1は、本発明のこの態様を説明するために必要とされる構成要素のみを示しており、実際のインプリケーションにおいて、装置100は、図示されたものに対する追加成分を有することができることを理解されたい。例えば、装置100は、装置100に電力を供給するためのバッテリ又は他の電源、又は装置100を主電源に接続する手段を有することができる。
より詳細には、第1の医用画像は、人間又は動物の対象、例えば、「現実の」人間又は動物の対象の医用画像を含むことができる。第1の医用画像は、例えば、医用検査又はスキャン中に取得されることができる。第1の医用画像は、医用画像のデータベースからのストック画像を含むことができる。
代替例としては、第1の医用画像は、合成医用画像を含むことができる(このような例では、本明細書に記載される方法は、従って、最初の第1及び第2の合成画像から他の合成画像を作成するために使用されることができる)。
第2の医用画像は、第1の医用画像と同じ又は異なる方法で取得された画像を含むことができる。例えば、第2の医用画像は、例えば、医用検査又はスキャン中に取得されたものでありうる。第2の医用画像は、医用画像のデータベースからのストック画像を含むことができる。第2の医用画像は、代替的に、合成医用画像を含んでもよい。
第2の医用画像は、第1の医用画像と同じタイプの被検体(例えば、人間又は動物)の医用画像を含むことができる。第2の医用画像は、第1の医用画像とは異なる被検体を含むことができ、例えば、第1の医用画像は、第1の人物(例えば、第1の患者又は被検体)の画像を含むことができ、第2の医用画像は、第2の人物(例えば、第2の患者又は被検体)の画像を含むことができる。
第1及び第2の医用画像は、一般に、共通の又は重複(overlapping)する特徴(共通の解剖学的特徴など)を含む。概して、第1及び第2の医用画像は、第1の医用画像が第2の医用画像にレジストレーションされることを可能にする共通の1又は複数のランドマーク(目印)を含むことができる(ステップii)。例えば、第1及び第2の医用画像の両方は、同じ解剖学的特徴の画像を含むことができる。解剖学的特徴の例としては、肺、心臓、心臓の心室、脳、胎児などが挙げられるが、これらに限定されない。
一般に、例えば、第1の医用画像は、第1の人物の特定の解剖学的特徴を含むことができ、第2の医用画像は、第2の人物の同じ解剖学的特徴を含むことができる。
第1及び第2の医用画像は、限定はしないが、CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などの(例えばCTスキャンからの)コンピュータ断層撮影(CT)画像、(例えば、X線スキャンからの)X線画像、(例えば、MRスキャンからの)磁気共鳴(MR)画像、(例えば、超音波スキャンからの)超音波(US)画像、蛍光透視画像、核医学画像、又は任意の他のタイプの医用画像を含む、任意の撮像モダリティの医用画像を有することができる。
いくつかの実施形態では、第1の医用画像は、第2の医用画像と同じモダリティの画像を含むことができる。例えば、第1及び第2の医用画像は、両方ともX線画像、又は両方ともMRI画像などでありうる。
第1及び第2の医用画像は、2次元画像を含むことができる。他の実施形態では、第1及び第2の医用画像は、3次元画像を含むことができる。いくつかの実施形態では、第1及び第2の医用画像は、それぞれの3次元画像ボリュームを横断する2次元スライスを含んでもよい。第1及び第2の医用画像は、一般に、複数(又はセット)の画像コンポーネントを含む。例えば、第1及び第2の医用画像が2次元画像を含む実施形態では、画像コンポーネントはピクセルを含むことができる。例えば、第1及び第2の医用画像が3次元画像を含む実施形態では、画像コンポーネントはボクセルを含むことができる。
装置100に戻ると、いくつかの実施形態では、ブロックi)において、第1及び/又は第2の医用画像は、例えば、画像のデータベースから取得されることができる。当業者であれば、第1及び第2の医用画像は、他の手段、例えば、スキャンが実行される際にリアルタイムで、又はインターネットを介して取得されることができることを理解するであろう。
いくつかの実施形態では、装置100は、1つ又は複数の人口統計学的基準(例えば、必要とされる合成画像のタイプに関する基準)の標示を含むユーザ入力(本明細書では「第3のユーザ入力」と呼ばれる)を受信するように構成されることができる。第3のユーザ入力は、例えば、図1のユーザ入力装置から取得されることができる。人口統計学的基準の例としては、年齢、性別又は民族性が挙げられるが、これらに限定されない。
いくつかの実施形態では、装置は、画像のデータベース内の画像内のそれぞれの人間の被検体の人口統計学的情報及び人口統計学的基準に基づいて、画像のデータベースから第1及び/又は第2の医用画像を選択するように構成されることができる。
例えば、ユーザは、特定の年齢及び/又は性別を有する被検体の合成画像を生成したいことを示すユーザ入力を提供することができる。従って、ブロックi)において、プロセッサは、医用画像のデータベースから、合致する年齢及び性別の被検体から第1及び第2の医用画像を選択するようにされうる。このようにして、ユーザは、異なる人口統計学的グループの合成医用画像を生成することができる。
ブロックii)において、プロセッサは、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性(例えば、非剛体)変形を決定するようにされる。当業者であれば、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる、画像レジストレーションを実行する方法及び弾性変形を決定する方法に精通しているであろう。弾性変形は、並進、回転、及び/又は非線形要素を含みうる(例えば、弾性変形は、一般に、第1の医用画像を歪ませることができる)。従って、弾性変形は、「変形場」として説明されることができる。画像レジストレーションの例示的な方法は、例えば、T. Netsch et al. entitled: "Towards Real-Time Multi-Modality 3-D Medical Image Registration."; International Conference on Computer Vision, 2001に記載されている。しかしながら、当業者であれば、これらは例示であり、第1の医用画像を第2の医用画像にレジストレーションするための弾性変形を決定するのに適した任意の方法が使用されうることが分かるであろう。
一般に、弾性変形は、第1の医用画像の全体にわたるランドマークに基づいて、又は第1の医用画像の一部分に基づいて決定されることができる。言い換えれば、弾性変形場は、第1の医用画像の部分に関して決定されることができ、必ずしも第1の医用画像の全体にわたって決定される必要はない。
次に、ブロックiii)において、プロセッサは、決定された弾性変形を重み付けし(例えば、重み付けを適用し)、重み付けされた弾性変形を第1の医用画像の一部分に適用することによって、合成医用画像を作成するようにされる。言い換えれば、第1の医用画像の一部分が選択され、決定された弾性変形の一部分がこの部分に適用されて、合成画像が作成される。従って、第1の医用画像は、第1の医用画像と第2の医用画像との間に幾何学的な特徴を有する画像を作成するように変形され又は変更される。
重み付けは、0<w<1の範囲の任意の値wを含むことができ、wは、例えば全弾性変形の任意のパーセンテージ又は割合である。
変形量は、設定可能であってもよい。例えば、いくつかの実施形態では、重み付けは、ユーザにより設定可能であり得、例えば、装置100は、重み付けのための値を有する第2のユーザ入力を(例えば、ユーザ入力装置106などのユーザ入力装置から)受信するように構成されることができる。例えばて、ユーザは、第1の医用画像に対して合成画像がどのように歪められる例例えばすることができる。
いくつかの実施形態では、命令の組は、プ例え例えばて実行される場合、複数の異なる重み付けについてブロックiii)を繰り返して、複数の異なる合成画像を作成するステップをプロセッサに実行させる。例えば、第2のユーザ入力は、複数の異なる重み付けを含むことができる。このようにして、複数の異なる合成画像が効率的に作成されることができる。
上述したように、合成画像は、決定された弾性変形を重み付けすること及び重み付けされた弾性変形を第1の医用画像の一部に適用することによって、作成される。従って、重み付け弾性変形は、第1の医用画像の全体、又は第1の医用画像の部分に適用されることができる。従って、いくつかの実施形態において、プロセッサに合成画像を作成するステップを実行させる、作成された合成画像が第1の医用画像と同じサイズであるように、第1の医用画像全体に重み付け弾性変形を適用させるステップをプロセッサに実行させることを含む。他の実施形態では、合成画像は、重み付けされた弾性変形を第1の医用画像の画像エレメントのサブセットに適用することによって作成されることができ、得られた合成画像は、画像要素の前記サブセットのみを含み、例えば、合成画像は、完全な第1の医用画像から選択された部分を含むことができる。
いくつかの実施形態では、装置は、関心領域及び命令の組を示す第1のユーザ入力を(例えば、第1のユーザ入力装置106から)受信するように構成されることができ、命令の組は、プロセッサによって実行されたとき、第1のユーザ入力を受信することに応答して、ブロックi)、ii)及びiii)をプロセッサに実行させる。
第1のユーザ入力は、関心領域を画定する座標の組を含むことができる。いくつかの実施形態では、第1の医用画像は、ユーザに表示されることができ、ユーザは、マウス又はタッチスクリーンなどのユーザ入力装置を使用して、関心領域を選択することができる。
第1及び第2の医用画像が3次元画像を含む実施形態では、関心領域は、ボリューム(本明細書では「関心ボリューム」と呼ぶ)を含むことができる。このようにして、ユーザは、合成画像が生成されることを必要とする完全な第1の医用画像の部分又は領域を示すことができる。例えば、ユーザが、より大きな画像から関心領域の合成画像を正確かつ効率的に生成することを可能にする。
いくつかの実施形態では、画像セグメンテーションを更に使用して、これを更に増強することができる。例えば、いくつかの実施形態では、命令の組は、プロセッサによって実行される場合に、プロセッサに、第1の医用画像をセグメント化してセグメンテーションを生成するステップを実行させる。そのような実施形態では、ブロックiii)において、プロセッサに合成画像を作成するステップを実行させることは、前記セグメンテーションに基づいて、関心領域を含む第1の医用画像の部分に重み付け弾性変形を適用させるステップをプロセッサに実行させることを含む。
例えば、プロセッサは、セグメンテーションから関心領域の位置を決定することができる。例えば、ユーザは、身体の領域、例えば「胸部領域」を(第1のユーザ入力において)示すことができる。ブロックiii)において、合成医用画像は、決定された弾性変形を重み付けし、重み付けされた弾性変形を、セグメンテーションの中の胸部領域としてラベル付けされた第1の医用画像の部分に適用することによって作成されることができる。
いくつかの実施形態では、関心領域は、解剖学的特徴を含み、第1のユーザ入力は、前記解剖学的特徴の標示を含む。ブロックiii)において、合成医用画像は、セグメンテーションによって決定されるように、決定された弾性変形を重み付けし、(第1のユーザ入力に示される)解剖学的特徴を含む第1の医用画像の部分に前記重み付けされた弾性変形を適用することによって、作成されることができる。
このようにして、ユーザは、特定の解剖学的特徴を指定し、前記解剖学的特徴の合成画像を効率的な方法で作成することができる。
当業者は、画像セグメンテーションに精通しているが、簡単に言えば、画像セグメンテーションは、画像内でキャプチャされた対象又は形状に関する形状/フォーム情報を抽出することを含む。これは、画像を構成ブロック又は「セグメント」に変換することによって達成されることができ、各セグメント内のピクセル又はボクセルは、共通の属性を有する。いくつかの方法では、画像セグメンテーションは、画像内の1つ又は複数の特徴にモデルをフィットすることを含み得る。
画像セグメンテーションの1つの方法は、モデルベースセグメンテーション(MBS)であり、これにより、ターゲット構造(例えば、心臓、脳、肺など)の三角形メッシュが、画像内の特徴に反復的な態様で適応される。セグメンテーションモデルは、典型的には、母集団ベースの外観特徴及び形状情報を符号化する。このような情報は、母集団のメンバにおけるターゲット構造の現実の形状に基づいて、許容される形状バリエーションを記述する。形状バリエーションは、例えば、モデルの1つの部分への変化が制約される方法を記述する固有モードの形で、又はモデルの他の部分の形状に依存して、符号化されることができる。モデルベースのセグメンテーションは、医用画像から1つ又は複数の標的器官をセグメント化するために様々な用途で使用されており、例えばEcabert, O., et al. 2008 entitled "Automatic Model-Based Segmentation of the Heart in CT Images"; IEEE Trans. Med. Imaging 27 (9), 1189-1201.を参照されたい。
別のセグメンテーション方法は、機械学習(ML)モデルを使用して、類似のピクセル/ボクセル値及び画像勾配に基づいて、画像を複数の構成形状(例えば、ブロック形状又はブロックボリューム)に変換する。
しかしながら、当業者は、これらが単なる例であり、任意のセグメンテーション方法が、第1及び/又は第2の医用画像上で使用されることができることを理解するであろう。上述のように、セグメンテーションは、合成画像を作成するための完全な第1の医用画像の適切な領域又は部分を選択するために、関心領域又は解剖学的特徴を識別するために使用されることができる。
従って、ユーザが、個々の特定の人口統計学的情報に関して、関心のある特定の領域又は解剖学的特徴の合成画像を作成することを可能にする、効率的な方法で合成医用画像を作成する装置が提供される。
次に別の実施形態を参照すると、図2に示されるように、いくつかの実施形態では、合成医用画像を作成する方法200がある。方法200は、装置100などの装置又はシステムによって実行されることができる。方法200はまた、コンピュータプログラムの1つ又は複数のブロックによって実行されることができる。
簡潔に述べると、第1のステップ202において、方法は、第1及び第2の医用画像を取得することを含む。第2のステップ204において、本方法は、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定することを含む。ステップ206において、方法は、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像の一部に適用することによって、合成医用画像を作成することを含む。
第1及び第2の医用画像を得ることは、図1の装置100によって実行されるブロックi)に関して詳細に論じられ、その詳細は、方法200のステップ202に等しく適用されることが理解される。第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定することは、図1の装置100によって実行されるブロックii)に関して上述されており、その詳細は、方法200のステップ204に等しく適用されることが理解されるであろう。決定された弾性変形を重み付けし、重み付けされた弾性変形を第1の医用画像の部分に適用することによって合成医用画像を作成することは、図1の装置100によって実行されるブロックiii)に関して上述され、その詳細は、方法200のステップ206に等しく適用されることが理解されるであろう。
次に図3を参照すると、いくつかの実施形態による、装置100のような装置によって実現される方法300が示されている。この実施形態では、第1及び第2の医用画像302、304が取得される。第1及び第2の医用画像は、ユーザ入力装置106からのユーザ入力においてユーザによって示されるように、身体の性別、年齢及び領域(又はゾーン(帯域))に一致するように選択される。第1及び第2の医用画像は、第1のモジュール(例えば、第1のコンピュータモジュール)306への入力として提供され、このモジュールは、第1の医用画像を第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定する。
第2のモジュール308は、セグメンテーションを生成するために第1の医用画像をセグメント化する。セグメンテーションは、上述のように、任意のセグメンテーション方法を使用して実行されることができる。セグメンテーションは、第1の医用画像における関心領域又は関心ボリューム(第1及び第2の医用画像がそれぞれ2次元又は3次元であるかどうかに依存する)を決定するために使用される。関心領域又は関心ボリュームは、セグメンテーション及び所望の関心領域又は関心ボリュームを示すユーザ入力に基づいて決定されることができる(例えば、ユーザ入力においてユーザによって指定された領域又はボリュームは、セグメンテーションを使用して画像内において位置を特定されることができる)。第3のモジュール312は、決定された弾性変形を重み付けし及び重み付けされた弾性変形を第1の医用画像内の関心ボリューム310に適用することによって、合成医用画像314を作成する。関心ボリュームは、合成データからのニーズに基づいて選択されることができ、画像全体を含むことができる。このようにして、ユーザは、年齢、性別、及び解剖学的領域又は特徴などのパラメータを入力することができ、前記入力パラメータに合致する合成画像を迅速かつ確実に作成することができる。
ここで他の実施形態に目を向けると、別の実施形態では、コンピュータ可読媒体を含むコンピュータプログラム製品が提供され、コンピュータ可読媒体は、その中に具現化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、コンピュータ又はプロセッサに、本明細書に記載の方法又は複数の方法を実行させるように構成される。例えば、方法200又は方法300である。
従って、本開示が、実施形態を実施するように適応されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されるだろう。プログラムは、部分的にコンパイルされた形のようなソースコード、オブジェクトコード、コード中間ソース、及びオブジェクトコードの形成、又は本明細書で説明する方法のインプリメンテーションでの使用に適した任意の他の形であり得る。
更に、そのようなプログラムが多くの様々なアーキテクチャ設計を有し得ることが理解されるであろう。例えば、方法又は装置の機能を実現するプログラムコードは、1つ又は複数のサブルーチンにサブ分割されることができる。これらのサブルーチンの間で機能を分配する多くの異なる方法が、当業者には明らかであろう。サブルーチンは、自己完結型プログラムを形成するために、1つの実行可能ファイルに一緒に記憶されることができる。例えば実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Javaインタプリタ命令)を有することができる。例えば、サブルーチンのうちの1つ又は複数又はすべては、少例えば1つの外部ライブラリファイルに記憶され、例えば実行時に、静的に又は動的にメインプログラムとリンクされることができる。メインプログラムは、サブルーチンのうちの少なくとも1つへの少なくとも1つの呼び出し(call)を含む。サブルーチンはまた、互いに対する関数呼び出しを有することができる。
コンピュータプログラムの担体は、プログラムを担持することができる任意のエンティティ又はデバイスであり得る。例えば、担体は、ROM、例えば、CD-ROMもしくは半導体ROM、又は磁気記録媒体、例えば、ハードディスクドライブなどのデータ記憶装置を含み得る。更に、担体は、電気もしくは光ケーブルを介して、又は無線もしくは他の手段によって搬送されることができる、電気信号又は光信号などの伝送可能な担体であり得る。プログラムがそのような信号で具現化される場合、担体は、そのようなケーブル又は他の装置又は手段によって構成されることができる。代替的に、担体は、プログラムが埋め込まれた集積回路であってもよく、集積回路は、関連する方法を実行するように適応され、又は関連する方法の実行に使用される。
開示された実施形態に対する変形は、図面、開示、及び添付の特許請求の範囲の検討から、当業者によって理解され、達成されることができる。請求項において、単語「comprising(有する、含む)」は、他の構成要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体に記憶/配布されることができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
Claims (15)
- 合成医用画像を作成する装置であって、
命令の組を表す命令データを含むメモリと
前記メモリと通信し、前記命令の組を実行するよう構成されるプロセッサと、
を有し、前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、
i)第1及び第2の医用画像を取得するステップであって、前記第1及び前記第2の医用画像が、共通の又は重複する特徴を有する、ステップと、
ii)前記第1の医用画像を前記第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、
iii)前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を前記第1の医用画像の部分に適用して前記第1の医用画像と前記第2の医用画像との間の幾何学的な特徴を有する画像を作成することによって、前記合成医用画像を作成するステップと、
を実行させる、装置。 - 前記命令の組は更に、前記プロセッサによって実行される場合、前記プロセッサに、前記第1の医用画像をセグメント化してセグメンテーションを生成するステップを実行させ、
前記合成医用画像を作成する前記ステップは、前記重み付けされた弾性変形を、前記セグメンテーションに基づいて、関心領域を含む前記第1の医用画像の部分に適用することを含む、請求項1に記載の装置。 - 前記装置は、前記関心領域を示す第1のユーザ入力を受信するように構成され、前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、前記第1のユーザ入力の受信に応じて前記ステップi)、ii)及びiii)を実行させる、請求項2に記載の装置。
- 前記関心領域が解剖学的特徴を含み、前記第1のユーザ入力が前記解剖学的特徴の標示を含む、請求項3に記載の装置。
- 前記第1及び前記第2の医用画像は3次元画像を有し、前記第1のユーザ入力は、前記第1の医用画像における関心ボリュームの標示を含む、請求項3に記載の装置。
- 前記重み付けはユーザ設定可能である、請求項1乃至5のいずれ1項に記載の装置。
- 前記装置は、前記重み付けのための値を含む第2のユーザ入力を受信するよう構成される、請求項6に記載の装置。
- 前記第1の医用画像及び前記第2の医用画像は、人間の被検体の医用画像を含む、請求項1乃至7のいずれか1項に記載の装置。
- 前記装置は、1つ又は複数の人口統計学的基準を示す第3のユーザ入力を受信するよう構成され、前記第1及び前記第2の医用画像を取得する前記ステップは、前記画像のデータベース内のそれぞれの人間の被検体の人口統計学的情報及び前記人口統計学的基準に基づいて、画像のデータベースから前記第1及び/又は前記第2の医用画像を選択することを含む、請求項8に記載の装置。
- 前記人口統計学的基準が年齢又は性別を含む、請求項9に記載の装置。
- 前記命令の組は、前記プロセッサによって実行される場合、前記プロセッサに、複数の異なる重み付けについて前記ステップiii)を繰り返して複数の異なる合成画像を作成するステップを実行させる、請求項1乃至10のいずれか1項に記載の装置。
- 前記第1及び前記第2の医用画像が同じ撮像モダリティのものである、請求項1乃至11のいずれか1項に記載の装置。
- 前記弾性変形が、歪み場及び/又は前記重み付けを含み、前記重み付けが0<w<1の範囲の値wを含む、請求項1乃至12のいずれか1項に記載の装置。
- 合成医用画像を作成する方法であって、
i)第1及び第2の医用画像を取得するステップであって、前記第1及び第2の医用画像が共通の又は重複する特徴を含む、ステップと、
ii)前記第1の医用画像を前記第2の医用画像にレジストレーションするために使用されることができる弾性変形を決定するステップと、
iii)前記決定された弾性変形を重み付けし及び前記重み付けされた弾性変形を前記第1の医用画像の部分に適用して前記第1の医用画像と前記第2の画像との間の幾何学的な特徴を有する画像を作成することによって、前記合成医用画像を作成するステップと、
を有する方法。 - コンピュータ可読コードを有するコンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに請求項14に記載の方法を実行させる、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20169281.1 | 2020-04-14 | ||
EP20169281.1A EP3896658A1 (en) | 2020-04-14 | 2020-04-14 | Creating a synthetic medical image |
PCT/EP2021/058980 WO2021209287A1 (en) | 2020-04-14 | 2021-04-07 | Creating a synthetic medical image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023521838A true JP2023521838A (ja) | 2023-05-25 |
Family
ID=70289313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562339A Pending JP2023521838A (ja) | 2020-04-14 | 2021-04-07 | 合成医用画像の作成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230132504A1 (ja) |
EP (2) | EP3896658A1 (ja) |
JP (1) | JP2023521838A (ja) |
CN (1) | CN115398482A (ja) |
WO (1) | WO2021209287A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7184062B2 (en) * | 2004-01-07 | 2007-02-27 | Ge Medical Systems Global Technology Company, Llc | Statistically-based image blending methods and systems for pasting multiple digital sub-images together |
US8623026B2 (en) * | 2006-02-06 | 2014-01-07 | Conformis, Inc. | Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief |
CN113822960A (zh) * | 2016-09-06 | 2021-12-21 | 医科达有限公司 | 用于生成合成成像数据的方法、系统及计算机可读介质 |
US11154196B2 (en) * | 2017-06-20 | 2021-10-26 | Siemens Healthcare Gmbh | Deep-learnt tissue deformation for medical imaging |
CN110893108A (zh) * | 2018-09-13 | 2020-03-20 | 佳能医疗系统株式会社 | 医用图像诊断装置、医用图像诊断方法及超声波诊断装置 |
US10799716B2 (en) * | 2018-10-18 | 2020-10-13 | Varian Medical Systems International Ag | Streamlined, guided on-couch adaptive workflow |
-
2020
- 2020-04-14 EP EP20169281.1A patent/EP3896658A1/en not_active Withdrawn
-
2021
- 2021-04-07 CN CN202180028295.1A patent/CN115398482A/zh active Pending
- 2021-04-07 US US17/918,163 patent/US20230132504A1/en active Pending
- 2021-04-07 JP JP2022562339A patent/JP2023521838A/ja active Pending
- 2021-04-07 EP EP21716216.3A patent/EP4136621A1/en active Pending
- 2021-04-07 WO PCT/EP2021/058980 patent/WO2021209287A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20230132504A1 (en) | 2023-05-04 |
EP3896658A1 (en) | 2021-10-20 |
CN115398482A (zh) | 2022-11-25 |
WO2021209287A1 (en) | 2021-10-21 |
EP4136621A1 (en) | 2023-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chlap et al. | A review of medical image data augmentation techniques for deep learning applications | |
US10129553B2 (en) | Dynamic digital image compression based on digital image characteristics | |
US10304198B2 (en) | Automatic medical image retrieval | |
RU2677764C2 (ru) | Координатная привязка медицинских изображений | |
US9020235B2 (en) | Systems and methods for viewing and analyzing anatomical structures | |
US10803354B2 (en) | Cross-modality image synthesis | |
CN104346821B (zh) | 用于医学成像的自动规划 | |
CN111540025B (zh) | 预测用于图像处理的图像 | |
CN108697402B (zh) | 在三维图像中确定深度脑刺激电极的旋转方位 | |
Sugimori | Classification of computed tomography images in different slice positions using deep learning | |
JP6316671B2 (ja) | 医療画像処理装置および医用画像処理プログラム | |
JP2020199328A (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
JP2021140769A (ja) | 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム | |
Chen et al. | Deep learning based unpaired image-to-image translation applications for medical physics: a systematic review | |
US20220108540A1 (en) | Devices, systems and methods for generating and providing image information | |
US11495346B2 (en) | External device-enabled imaging support | |
WO2018219432A1 (en) | Heatmap and atlas | |
JP2023521838A (ja) | 合成医用画像の作成 | |
CN107799166B (zh) | 医学成像系统 | |
US20230030618A1 (en) | Making measurements in images | |
US20230260141A1 (en) | Deep learning for registering anatomical to functional images | |
US20240312603A1 (en) | Whole-Body Anatomical Digital Twin from Partial Medical Images | |
Kühnel et al. | Enhanced cardiovascular image analysis by combined representation of results from dynamic MRI and anatomic CTA | |
Dreyer et al. | Digital imaging fundamentals | |
JP2012147901A (ja) | 画像表示装置、その制御方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |