JP7467336B2 - 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム - Google Patents
複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム Download PDFInfo
- Publication number
- JP7467336B2 JP7467336B2 JP2020524235A JP2020524235A JP7467336B2 JP 7467336 B2 JP7467336 B2 JP 7467336B2 JP 2020524235 A JP2020524235 A JP 2020524235A JP 2020524235 A JP2020524235 A JP 2020524235A JP 7467336 B2 JP7467336 B2 JP 7467336B2
- Authority
- JP
- Japan
- Prior art keywords
- input image
- cnn
- mapping function
- image dataset
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 60
- 238000000034 method Methods 0.000 title claims description 45
- 210000003484 anatomy Anatomy 0.000 title claims description 24
- 238000012545 processing Methods 0.000 title claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 129
- 238000013507 mapping Methods 0.000 claims description 86
- 230000006870 function Effects 0.000 claims description 85
- 238000012549 training Methods 0.000 claims description 34
- 238000010191 image analysis Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 description 19
- 238000012546 transfer Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 11
- 238000013526 transfer learning Methods 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000012800 visualization Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 210000001153 interneuron Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
本明細書の実施形態は、一般に、学習ネットワークで使用するための様々な撮像モダリティから得られた様々な解剖学的構造の医療画像データの転送可能な表現学習を生成するためのシステムおよび方法に関する。具体的には、システムおよび方法は、第１および／または第２の撮像モダリティの物理学および解剖学的構造の生物学に基づいて特徴プリミティブのセットとして医療画像データの表現学習を決定し、他の撮像モダリティからの医療画像データの分類およびセグメンテーションなどの問題を学習するための新しい畳み込みネットワークを構成することを目的とする。
理解されるように、機械学習は、「明示的にプログラムされることなく学習する能力をコンピュータに与える」コンピュータサイエンスのサブフィールドである。機械学習は、データから学習し、データを予測することができるアルゴリズムの研究および構成を探索する。機械学習では、特徴学習または表現学習は、生データ入力を機械学習タスクで効果的に利用することができる表現に変換する一連の手法である。表現学習は、分類などの機械学習タスクが、数学的にも計算的にも処理に便利な入力を必要とすることが多いという事実によって動機付けられる。しかし、画像、ビデオ、およびセンサ測定などの実際のデータは通常、複雑かつ冗長であり、非常に変動しやすい。したがって、生データから有用な特徴または表現を識別することが望ましい。現在、手動による特徴識別方法は、高価な人間の労力を必要とし、専門家の知識に依存している。また、手動で生成された表現は通例、一般化には向いておらず、したがって効率的な表現学習手法の設計を動機付けし、特徴または表現学習を自動化および一般化する。
さらに、機械学習では、畳み込みニューラルネットワーク（ＣＮＮまたはＣｏｎｖＮｅｔ）または深層畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークの一種であり、そのニューロン間の接続パターンは、動物の視覚皮質の組織に触発されている。畳み込みニューラルネットワーク（ＣＮＮ）は、生物学的に触発された多層パーセプトロンの変形であり、最小限の前処理で視覚皮質の挙動をエミュレートするように設計されている。多層パーセプトロンネットワーク（ＭＬＰ）は、入力データのセットを適切な出力のセットにマップするフィードフォワード人工ニューラルネットワークモデルであることに留意されたい。ＭＬＰは、有向グラフのノードの複数の層を含み、各層は次の層に完全に接続されている。現在の展開では、ＣＮＮは、画像およびビデオ認識、レコメンダシステム、ならびに自然言語処理において幅広い用途を有する。ＣＮＮはまた、重み共有アーキテクチャおよび並進不変特性に基づくシフト不変または空間不変人工ニューラルネットワーク（ＳＩＡＮＮ）としても知られている。
深層ＣＮＮアーキテクチャでは、畳み込み層がコアビルディングブロックであることに留意されたい。畳み込み層に関連付けられたパラメータは、学習可能なフィルタまたはカーネルのセットを含む。フォワードパスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれ、フィルタの項目と入力との間の点乗積を計算し、そのフィルタの二次元（２Ｄ）活性化マップをもたらす。したがって、ネットワークは、ネットワークが入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化されるフィルタを学習する。深層ＣＮＮアーキテクチャは、典型的には、深層学習する問題専用に構築される。深層学習は、人間のような知覚や意思決定を伴う多くのタスクで効果的であることが知られている。深層学習の典型的な用途は、手書き認識、画像認識、および音声認識である。深層学習手法は、訓練データおよびそのデータに対応する成果を使用することによってネットワークモデルを構成する。ネットワークモデルが構成されると、モデルは成果を決定するための新しいデータで使用することができる。さらに、特定の成果について一度学習された深層学習ネットワークは、関連する成果のために有利に再利用され得ることが理解されよう。
さらに、ＣＮＮは、入力データセットがラベル付けされている教師あり学習に、ならびに入力データセットがラベル付けされていない教師なし学習に使用することができる。ラベル付けされた入力データセットは、データセットの要素がラベルによって表される分類スキームに事前に関連付けられているデータセットである。したがって、ＣＮＮは、データセットのラベル付けされたサブセットで訓練され、別のサブセットでテストされて正確な分類結果を検証し得る。
深層ＣＮＮアーキテクチャは、層が階層的に接続された多層型である。各層の入力から出力へのマッピングおよびフィルタの数が増えると、多層深層ＣＮＮは、その動作のために構成する必要のある膨大な数のパラメータをもたらす可能性がある。そのようなＣＮＮの訓練データが不足している場合、学習する問題は、未決定である。この状況では、事前学習したＣＮＮモデルから特定のパラメータを転送することが有利である。転送学習は、層のサブセットで事前学習したパラメータを凍結することによって最適化されるパラメータの数を減らし、残りの層を調整するための適切な初期化を提供する。医療画像の問題のドメインでは、転送学習を使用して分類および識別の様々な問題のためにＣＮＮを事前構成することは、データが不足している状況、複数の撮像モダリティおよび解剖学的構造による異種データタイプの課題、ならびに他の臨床課題の改善に有利である。
本明細書の一態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のための方法が提示される。方法は、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得ることを含む。さらに、方法は、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行することであって、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むことを含む。加えて、方法は、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を特徴プリミティブリポジトリに格納することを含む。
本明細書の別の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のためのインタラクティブ表現学習転送（ＩＲＬＴ）ユニットが提示される。ＩＲＬＴユニットは、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含む。さらに、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。
本明細書のさらに別の態様によれば、マルチモダリティ転送学習システムが提示される。マルチモダリティ転送学習システムは、プロセッサユニットと、プロセッサユニットに通信可能かつ動作可能に結合されたメモリユニットとを含む。さらに、マルチモダリティ転送学習システムは、プロセッサユニットに動作可能に結合され、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含むインタラクティブ表現学習転送（ＩＲＬＴ）ユニットを含む。加えて、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。
本明細書の実施形態のこれらおよび他の特徴および態様は、以下の詳細な説明を添付の図面を参照して検討することでさらによく理解されると考えられ、添付の図面において、類似の符号は、図面の全体を通して類似の部分を表している。
以下で詳細に説明するように、特徴オントロジーの深層学習によるインタラクティブ表現学習転送（学習転移）のための例示的なシステムおよび方法の様々な実施形態が提示される。これらの実施形態の簡潔な説明を提供しようと努力しても、実際の実施態様のすべての特徴を本明細書に記載することができるというわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないことを理解されたい。
本明細書の様々な実施形態の要素を説明するとき、「１つの（ａ、ａｎ）」、「この（ｔｈｅ）」、および「前記（ｓａｉｄ）」という冠詞は、それらの要素が１つまたは複数存在することを意味することを意図している。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。さらに、「構築する」および「構成する」という用語ならびにそれらの変形は、数学的決定または数学的構成の計算を意味することを意図している。「任意のドメイン上に描かれたデータ」または「任意のドメイン上のデータ」という用語は、ドメイン、例えば、ソーシャルメディアデータ、センサデータ、企業データなどに対応するデータを意味することを意図している。
本明細書で使用される「転送学習」または「帰納的転送」という用語は、ある問題から異なる関連する問題を解決しながら得られた知識または学習を適用することに焦点を当てた機械学習のアプローチを意味することを意図している。この知識または学習は、典型的には伝達関数、マッピング関数、グラフ、行列、および他のプリミティブの組み合わせおよび変形によって、様々な方法で特徴付けおよび／または表現することができる。また、本明細書で使用される「転送学習プリミティブ」という用語は、上述の機械学習問題を解決することによって得られる知識または学習の特徴付けおよび／または表現を意味することを意図している。
さらに、本明細書で使用される「特徴プリミティブ」という用語は、入力データセットの態様の特徴付け、典型的には、解剖学的構造の画像に対応する関心領域（ＲＯＩ）の外観、形状ジオメトリ、または形態を意味することを意図しており、画像は、超音波撮像システム、コンピュータ断層撮影（ＣＴ）撮像システム、陽電子放射断層撮影－ＣＴ（ＰＥＴ－ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システムなどの撮像モダリティから得ることができる。また、解剖学的構造は、限定はしないが、肺、肝臓、腎臓、胃、心臓、脳などの人体の内部器官を含んでもよい。
本明細書の態様による、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステム１００が図１に示されている。現在考えられている図１の構成では、システム１００は、マルチモダリティ転送学習（ＭＴＬ）サブシステム１０２を含む。ＭＴＬサブシステム１０２は、インタラクティブ表現学習転送（ＩＲＬＴ）ユニット１０４と、プロセッサユニット１０８と、メモリユニット１１０と、ユーザインターフェース１０６とを含む。プロセッサユニット１０８は、メモリユニット１１０に通信可能に結合される。ユーザインターフェース１０６は、ＩＲＬＴユニット１０４に動作可能に結合される。また、ＩＲＬＴユニット１０４は、プロセッサユニット１０８およびメモリユニット１１０に動作可能に結合される。システム１００および／またはＭＴＬサブシステム１０２は、ディスプレイユニット１３４を含み得る。ＭＴＬサブシステム１０２は、他の構成要素またはハードウェアを含むことができ、図１に示す構成要素に限定されないことに留意されたい。
ユーザインターフェース１０６は、入力画像１２８の特性に対応するユーザ入力１３０を受信するように構成される。ユーザ入力１３０は、限定はしないが、撮像モダリティ、入力画像１２８によって一般に表される解剖学的構造、入力画像１２８に対応するＲＯＩの外観などの入力画像１２８の態様または特性を含み得る。
特定の実施形態では、ＩＲＬＴユニット１０４は、１つまたは複数のプロセッサユニット１０８を介して実行可能であり、メモリユニット１１０に格納されるソフトウェアシステムまたはコンピュータ命令として実装されてもよい。他の実施形態では、ＩＲＬＴユニット１０４は、例えば、ＦＰＧＡ、カスタムチップ、集積回路（ＩＣ）、特定用途向けＩＣ（ＡＳＩＣ）などを介してハードウェアシステムとして実装されてもよい。
図１に示されるように、ＩＲＬＴユニット１０４は、インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）１１２と、教師なし学習用に構成された１つまたは複数のＣＮＮ（教師なし学習ＣＮＮ）１１４と、教師あり学習用に構成された１つまたは複数のＣＮＮ（教師あり学習ＣＮＮ）１１６と、特徴プリミティブリポジトリ１１８とを含み得る。ＩＬＮＣ１１２は、教師なし学習ＣＮＮ１１４、教師あり学習ＣＮＮ１１６、および特徴プリミティブリポジトリ１１８に動作可能に結合される。一実施形態では、ＩＮＬＣ１１２は、ユーザが１つまたは複数の教師あり学習ＣＮＮ１１６または教師なし学習ＣＮＮ１１４を構成することを可能にするように構成されたグラフィカルユーザインターフェースサブシステムであり得る。
特徴プリミティブリポジトリ１１８は、入力画像１２８のＲＯＩに対応する１つまたは複数の特徴プリミティブおよび１つまたは複数の対応するマッピング関数を格納するように構成される。本明細書で使用される「マッピング関数」という用語は、ＣＮＮの出力がＲＯＩの態様に基づいて入力画像１２８のＲＯＩを特徴付ける特徴プリミティブになるようにＲＯＩを圧縮表現にマップする伝達関数またはＣＮＮフィルタを表すことを意図している。一例では、ＲＯＩの態様は、形状ジオメトリ、外観、形態などを含み得る。したがって、特徴プリミティブリポジトリ１１８は、１つまたは複数のマッピング関数を格納するように構成される。これらのマッピング関数は、対応する特徴プリミティブと併せて、ＣＮＮを事前構成して新しい訓練セットを学習するために使用することができる。したがって、特徴プリミティブリポジトリ１１８は、他のＣＮＮから得られた転送学習である特徴プリミティブおよびマッピング関数を格納し、新しいＣＮＮを事前構成して未知のデータセットを学習するように構成される。図１に示すように、特徴プリミティブリポジトリ１１８が格納するように構成される特徴プリミティブのいくつかの非限定的な例は、画像１２８のＲＯＩに対応する外観１２０、画像１２８のＲＯＩに対応する形状ジオメトリ１２４、および画像１２８に対応する解剖学的構造１２６を特徴付ける特徴プリミティブを含む。
現在考えられている図１の構成では、ＩＬＮＣ１１２は、入力画像１２８に対応するＲＯＩの１つまたは複数の態様をインタラクティブに特徴付けるための様々なツールおよびオプションをユーザに提示するように構成される。ＩＬＮＣ１１２の例示的な実施形態が図５に示されており、ＩＬＮＣ１１２の作業は、図４および図５を参照してより詳細に説明される。
システム１００は、特徴プリミティブおよびマッピング関数のポートフォリオを特徴プリミティブリポジトリ１１８に格納される１つまたは複数の解剖学的構造および撮像モダリティにわたって開発するように構成される。その後、システム１００は、ＩＬＮＣ１１２をユーザに提供し、ユーザが未知の画像データセットの１つまたは複数のＲＯＩに対応するモダリティ、解剖学的構造、形状ジオメトリ、形態などの選択に基づいて新しい未知の画像データセットを学習するためにＣＮＮを事前構成することを可能にする。例として、ＣＮＮの１つの学習成果は、画像データセットを分類する分類スキームであり得る。学習成果の他の非限定的な例は、ピクセルレベルのセグメンテーション、回帰などを含んでもよい。システム１００の作業は、図２～図５を参照してより詳細に説明される。
加えて、システム１００および／またはＭＴＬサブシステム１０２は、特徴プリミティブ、マッピング関数、画像データセットなどの１つまたは複数をディスプレイユニット１３４上で視覚化するように構成され得る。
次に図２を参照すると、本明細書の態様による、ラベル付けされていない画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート２００が提示される。方法２００は、図１の構成要素を参照して説明される。
フローチャート２００は、ラベル付けされていない画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリ１１８などの特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図２の方法２００の様々なステップ、より具体的には、ステップ２０２～２０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ２１０は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。また、ステップ２１４～２１６は、メモリユニット１１０および１つまたは複数の教師なし学習ＣＮＮ１１４と併せてプロセッサユニット１０８によって実行され得る。
方法２００は、ステップ２０２で開始し、第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット２２０および第２の入力画像データセット２２２が得られる。一実施形態では、第１および第２の入力画像データセット２２０、２２２は、肝臓、肺、腎臓、心臓、脳、胃などの人体の解剖学的構造に対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ－ＣＴ撮像システム、またはそれらの組み合わせを含み得る。
ステップ２０４において、入力画像データセット２２０、２２２がラベル付けされているかどうかを決定するためにチェックが実施される。前述のように、入力画像データセットを参照するラベルは、形状ジオメトリ、外観、形態など、入力画像の態様を特徴付ける分類スキームまたはスコアを概して表すものとすることができる。ステップ２０４において、入力画像データセットがラベル付けされていると決定される場合、制御はステップ２１０に移り、第１のＣＮＮおよび第２のＣＮＮは、入力画像データセット２２０、２２２の教師あり学習用に構成される。ステップ２１０は、図３を参照してより詳細に説明される。ステップ２１０に続いて、方法２００は、ステップ２１２によって示されるように終了する。
再びステップ２０４を参照すると、入力画像データセットがラベル付けされていないと決定される場合、制御はステップ２０６に移り、第２のチェックが実施され、第１の入力画像データセット２２０および第２の入力画像データセット２２２が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを含むと決定される場合、制御はステップ２１４に移る。しかし、ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを有さないと決定されると、制御はステップ２０８に移る。
一例では、ステップ２０８において、第１の入力画像データセット２２０が十分なデータを含み、第２の入力画像データセット２２２が十分なデータを含まないと決定され得る。したがって、この例では、ステップ２０８において、第２の撮像モダリティに対応する第２の入力画像データセット２２２は、追加のデータで増強される。第２の入力画像データセット２２２を増強するための追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット２２０を処理することによって得ることができる。強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティで取得を行い、深層学習、手作業により生成された強度の特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ２１４に移る。
ステップ２１４において、第１の教師なし学習ＣＮＮおよび第２の教師なし学習ＣＮＮは、第１の入力画像データセット２２０および第２の入力画像データセット２２２で共同で訓練されて入力画像データセット２２０、２２２の圧縮表現を学習し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含む。
１つまたは複数の特徴プリミティブは、第１の入力画像データセット２２０の画像の態様を特徴付ける。マッピング関数は、入力画像データセットを対応する特徴プリミティブにマップすることに留意されたい。一実施形態では、マッピング関数は、式（１）に従って定義することができる。
ステップ２１４の結果として、第１の撮像モダリティおよび第２の撮像モダリティに対応する１つまたは複数のマッピング関数が生成されることに留意されたい。これらのマッピング関数は、第１および第２の入力画像データセット２２０、２２２を同じ特徴プリミティブにマップすることに留意されたい。一実施形態では、第２のマッピング関数は、式（２）に従って定義することができる。
さらに、ステップ２１８において、少なくとも１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。次に、制御はステップ２１２に移り、方法２００を終了する。
次に図３を参照すると、本明細書の態様による、ラベル付けされた画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート３００が提示される。より具体的には、方法３００は、より詳細に図２のステップ２１０を説明する。また、方法３００は、図１の構成要素を参照して説明される。
フローチャート３００は、ラベル付けされた画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図３の方法３００の様々なステップ、より具体的には、ステップ３０２～３０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ３１０～３１４は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。
方法３００は、ステップ３０２で開始し、少なくとも第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット３１６および第２の入力画像データセット３１８が得られる。一実施形態では、第１および第２の入力画像データセット３１６、３１８は、人体の解剖学的構造、例えば、肝臓、肺、腎臓、心臓、脳、胃などに対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ－ＣＴ撮像システム、またはそれらの組み合わせを含み得る。１つまたは複数の教師ありＣＮＮの学習成果は、第１および第２の入力画像データセット３１６、３１８における画像の分類であり得ることに留意されたい。
ステップ３０４において、チェックが実施され、第１の入力画像データセット３１６および第２の入力画像データセット３１８が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを含むと決定される場合、制御はステップ３０８に移る。しかし、ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを有さないと決定されると、制御はステップ３０６に移る。一例では、ステップ３０６において、第１の入力画像データセット３１６が十分なデータを含み、第２の入力画像データセット３１８が十分なデータを含まないと決定され得る。したがって、この例では、ステップ３０６において、第２のモダリティに対応する第２の入力画像データセット３１８は、追加のデータで増強される。追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット３１６を処理することによって得られることに留意されたい。前述のように、強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティ取得を行い、深層学習、手作りの強度特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ３０８に移る。
さらに、ステップ３０８において、第１の教師あり学習ＣＮＮおよび第２の教師あり学習ＣＮＮは、第１の入力画像データセット３１６に関連付けられたラベルおよび第２の入力画像データセット３１８に関連付けられたラベルに基づいて共同で訓練され、１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成する。
一実施形態では、学習成果は、第１の入力画像データセット３１６の画像の態様および第２の入力画像データセット３１８の画像の態様ならびに対応するマッピング関数を特徴付ける１つまたは複数の特徴プリミティブを含むことができ、マッピング関数は、対応する第１の入力画像データセット３１６および第２の入力画像データセット３１８を１つまたは複数の特徴プリミティブにマップする。したがって、特徴プリミティブは、第１の入力画像データセット３１６および第２の入力画像データセット３１８を取得するために使用される撮像モダリティから独立している。次にステップ３１２を参照すると、１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリに格納される。
上述の方法２００および３００は、複数のモダリティにわたる複数の解剖学的構造に対して生成された画像に対応する特徴プリミティブおよびマッピング関数のポートフォリオの作成を可能にする。特徴プリミティブおよびマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。また、特徴プリミティブおよびマッピング関数のこのポートフォリオは、入力画像データセットを用いたＣＮＮの訓練で得られた学習を特徴付ける。さらに、学習を転送して新しいＣＮＮを事前構成し、異なる未知のデータセットの学習成果を得ることができる。
前述を念頭に置いて、図４は、本明細書の態様による、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて未知のデータセットを学習するための方法を図示するフローチャート４００を示す。方法４００は、図１、図２および図３を参照して説明される。フローチャート４００は、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて未知のデータセットを学習するための方法４００の主要なステップを示すことに留意されたい。いくつかの実施形態では、図４の方法４００の様々なステップ、より具体的には、ステップ４０２～４０６は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ４０８～４１０は、メモリユニット１１０および
１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。
１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。
方法４００は、ステップ４０２で開始し、少なくとも１つの入力画像データセット４０４を得ることができる。少なくとも１つの入力画像データセット４０４は、未知の入力画像データセットを表す。加えて、入力画像データセット４０４に対応する少なくとも１つの学習パラメータ４０６および学習成果４０８を得ることができる。特定の実施形態では、入力画像データセット４０４、学習パラメータ４０６、および学習成果４０８は、ユーザ入力４１０として得られてもよい。一実施形態では、学習パラメータ４０６は、撮像モダリティ、画像解剖学的構造、またはそれらの組み合わせを含むことができる。また、学習成果４０８は、分類スキーム、回帰スキーム、またはセグメンテーションのようなピクセルレベルの出力を含み得る。
ステップ４１２において、学習パラメータ４０６および学習成果４０８に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数が特徴プリミティブリポジトリ１１８から得られる。その後、ＣＮＮは、ステップ４１４によって示されるように、少なくとも１つの特徴プリミティブおよび少なくとも１つのマッピング関数を使用して入力画像データセット４０４を学習するように構成される。特定の実施形態では、ＣＮＮの構成は、特徴プリミティブリポジトリ１１８から得られた１つまたは複数のフィルタをマッピング関数に設定することを伴う場合がある。ステップ４１４の処理の結果として、事前構成されたＣＮＮが生成される。さらに、ステップ４１６において、事前構成されたＣＮＮは、少なくとも入力画像データセット４０４の訓練サブセットで最適化される。
一実施形態では、第１の撮像モダリティに対応するラベル付けされたデータを使用する教師あり学習用の訓練された畳み込みオートエンコーダ（ＣＡＥ）は、式（３）に従って、いくつかのパラメータで入力画像データセット４０４に適合される。
方法４００で実施されるワークフローは、図５を参照してより詳細に説明される。図５は、本明細書の態様による、図１のインタラクティブ表現学習転送ユニット１０４のインタラクティブ学習ネットワークコンフィギュレータ１１２の一実施形態の概略図５００である。図５に示されるように、ブロック図５００は、図１に示すＩＬＮＣ１１２を概して表す。参照番号５０２～５０８は、それぞれ撮像モダリティ、解剖学的構造、外観、および形状ジオメトリに対応する特徴プリミティブの視覚化を概して表す。視覚化５０２～５０８のデータは、図１の特徴プリミティブリポジトリ１１８から得ることができる。
図５では、ＩＬＮＣ５００は、インタラクティブなメニューの選択をユーザに提供する。特に、ＩＬＮＣ５００を使用して、ユーザは、ＣＮＮによって学習される未知の画像データセットの１つまたは複数の態様を選択することができる。参照番号５１０～５１６は、未知の画像データセットの特徴付けを支援するためにユーザにとって利用可能であり得るインタラクティブなメニューオプションを概して表す。例として、参照番号５１０は、未知の画像データセットの撮像モダリティに関係し得る。ブロック５１０のメニューオプションは、ＣＴ、ＭＲ、ＰＥＴ、超音波などを含み得る。同様に、参照番号５１２～５１６は、未知の画像データセットのそれぞれ外観、形状ジオメトリ、および解剖学的構造に関係するメニューオプションを示し得る。
インタラクティブなメニューからユーザによって行われた選択により、メニュー選択に対応する特徴プリミティブおよびマッピング関数によるＣＮＮの事前構成が可能になる。参照番号５１８は、事前構成されたＣＮＮの視覚化を概して表す。特定の実施形態では、参照番号５１８は、図１のＩＲＬＴユニット１０４の１つまたは複数の教師あり学習ＣＮＮ１１６に対応し得る。加えて、ユーザは、ブロック５０２～５０８の特徴プリミティブをグラフィカルに閲覧、視覚化、および組み合わせて、事前構成されたＣＮＮ５１８を作成することができる。
上述の特徴オントロジーの深層学習によるインタラクティブ表現学習転送のためのシステムおよび方法は、学習した特徴プリミティブおよびマッピング関数のポートフォリオを組み合わせてＣＮＮを構成し、新しい医療画像分析の問題を解決することができる転送学習パラダイムを提供する。有利には、ＣＮＮは、画像の外観および形態を学習するように訓練され得る。例として、腫瘍は、斑点、円柱、円形、明るい／暗いまたは縞模様などに分類され得る。全体として、ネットワークは、解剖学的構造、モダリティ、外観、および形態（形状ジオメトリ）の様々な組み合わせに対して訓練され、事前学習した特徴を今ある新しい問題に即座に転送するように構成された豊富なポートフォリオを生成することができる。
任意の実施形態に従って、上述したすべてのそのような物体または利点が必ずしも達成することができるわけではないことを理解されたい。したがって、例えば、当業者には明らかなように、本明細書に記載のシステムおよび手法は、本明細書で教示または示唆されるように他の目的または利点を必ずしも達成することなく、本明細書で教示される１つの利点または１群の利点を達成または改善する態様で具現化または実施されてもよい。
本技術は限られた数の実施形態のみに関連して詳細に説明されているが、本明細書がそのような開示された実施形態に限定されないことは容易に理解されるべきである。むしろ、本技術は、これまでに説明されていないが特許請求の範囲の精神および範囲に相応する、任意の数の変形、代替、置換または同等の構成を組み込むように修正することができる。加えて、本技術の様々な実施形態が説明されているが、本明細書の態様は、説明した実施形態のいくつかのみを含んでもよいことを理解されたい。したがって、本明細書は、前述の説明によって限定されるべきではなく、添付の特許請求の範囲によってのみ限定される。
１００ システム
１０２ マルチモダリティ転送学習（ＭＴＬ）サブシステム
１０４ インタラクティブ表現学習転送（ＩＲＬＴ）ユニット
１０６ ユーザインターフェース
１０８ プロセッサユニット
１１０ メモリユニット
１１２ インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）
１１４ 教師なし学習畳み込みニューラルネットワーク（ＣＮＮ）
１１６ 教師あり学習ＣＮＮ
１１８ 特徴プリミティブリポジトリ
１２０ 外観
１２４ 形状ジオメトリ
１２６ 解剖学的構造
１２８ 入力画像
１３０ ユーザ入力
１３４ ディスプレイユニット
２００ フローチャート、方法
２０２ ステップ
２０４ ステップ
２０６ ステップ
２０８ ステップ
２１０ ステップ
２１２ ステップ
２１４ ステップ
２１６ ステップ
２１８ ステップ
２２０ 第１の入力画像データセット
２２２ 第２の入力画像データセット
３００ フローチャート、方法
３０２ ステップ
３０４ ステップ
３０６ ステップ
３０８ ステップ
３１０ ステップ
３１２ ステップ
３１４ ステップ
３１６ 第１の入力画像データセット
３１８ 第２の入力画像データセット
４００ フローチャート、方法
４０２ ステップ
４０４ 入力画像データセット
４０６ 学習パラメータ
４０８ 学習成果
４１０ ユーザ入力
４１２ ステップ
４１４ ステップ
４１６ ステップ
４１８ ステップ
４２０ 学習成果
５００ 概略図、ブロック図、ＩＬＮＣ
５０２ 視覚化、ブロック
５０４ 視覚化、ブロック
５０６ 視覚化、ブロック
５０８ 視覚化、ブロック
５１０ ブロック
５１２ ブロック
５１４ ブロック
５１６ ブロック
５１８ 事前構成されたＣＮＮ
１０２ マルチモダリティ転送学習（ＭＴＬ）サブシステム
１０４ インタラクティブ表現学習転送（ＩＲＬＴ）ユニット
１０６ ユーザインターフェース
１０８ プロセッサユニット
１１０ メモリユニット
１１２ インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）
１１４ 教師なし学習畳み込みニューラルネットワーク（ＣＮＮ）
１１６ 教師あり学習ＣＮＮ
１１８ 特徴プリミティブリポジトリ
１２０ 外観
１２４ 形状ジオメトリ
１２６ 解剖学的構造
１２８ 入力画像
１３０ ユーザ入力
１３４ ディスプレイユニット
２００ フローチャート、方法
２０２ ステップ
２０４ ステップ
２０６ ステップ
２０８ ステップ
２１０ ステップ
２１２ ステップ
２１４ ステップ
２１６ ステップ
２１８ ステップ
２２０ 第１の入力画像データセット
２２２ 第２の入力画像データセット
３００ フローチャート、方法
３０２ ステップ
３０４ ステップ
３０６ ステップ
３０８ ステップ
３１０ ステップ
３１２ ステップ
３１４ ステップ
３１６ 第１の入力画像データセット
３１８ 第２の入力画像データセット
４００ フローチャート、方法
４０２ ステップ
４０４ 入力画像データセット
４０６ 学習パラメータ
４０８ 学習成果
４１０ ユーザ入力
４１２ ステップ
４１４ ステップ
４１６ ステップ
４１８ ステップ
４２０ 学習成果
５００ 概略図、ブロック図、ＩＬＮＣ
５０２ 視覚化、ブロック
５０４ 視覚化、ブロック
５０６ 視覚化、ブロック
５０８ 視覚化、ブロック
５１０ ブロック
５１２ ブロック
５１４ ブロック
５１６ ブロック
５１８ 事前構成されたＣＮＮ
Claims (13)
- 第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得ること（２０２）と、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習畳み込みニューラルネットワーク（ＣＮＮ）（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること（３０８）、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）で、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練することと、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納すること（２１８、３１２）と
を含む、方法（２００、３００、４００）。 - 前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得ることと、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得ること（４０２）と、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得ること（４１２）と、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成すること（４１４）と、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練すること（４１６）と、
をさらに含み、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０、２２２）を前記少なくとも１つの特徴プリミティブにマップする、請求項１に記載の方法（２００、３００、４００）。 - 前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）が前記マッピング関数により共通の特徴プリミティブにマッピングされる、請求項１に記載の方法（２００、３００、４００）。 - 前記第１及び第２の入力画像データセットを得た後に、
前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０）の画素の強度を前記第２の入力画像データセット（２２２）の強度特徴を持つように変換して強度が変換された第１の入力画像データセットを得ることと、
前記第２の教師なし学習ＣＮＮ（１１４）を前記強度が変換された第１の入力画像データセットで訓練することをさらに含む、請求項１乃至３のいずれかに記載の方法（２００、３００、４００）。 - 前記強度が変換された第１の入力画像データセットの画素の強度が決定されるに際し回帰が使用される、請求項４に記載の方法（２００、３００、４００）。
- メモリユニット（１１０）を備え、１つまたは複数のプロセッサユニット（１０８）により実行可能な処理ユニット（１０４）であって、
第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得て、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習畳み込みニューラルネットワーク（ＣＮＮ）（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）とに基づいて、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練し、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納するように構成される、処理ユニット（１０４）。 - 前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得て、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得て、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成し、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練する
ようにさらに構成され、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、画像解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０）を前記少なくとも１つの特徴プリミティブにマップする、請求項６に記載の処理ユニット（１０４）。 - 前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）が前記マッピング関数により共通の特徴プリミティブにマッピングされる、請求項６に記載の処理ユニット（１０４）。 - 前記第１及び第２の入力画像データセットを得た後に、
前記処理ユニット（１０４）は、前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０）の画素の強度を前記第２の入力画像データセット（２２２）の強度特徴を持つように変換して強度が変換された第１の入力画像データセットを得、
前記第２の教師なし学習ＣＮＮ（１１４）を前記強度が変換された第１の入力画像データセットで訓練するように構成される、請求項６に記載の処理ユニット（１０４）。 - 前記強度が変換された第１の入力画像データセットの画素の強度が決定されるに際し回帰が使用される、請求項９に記載の処理ユニット（１０４）。
- プロセッサユニット（１０８）と、
前記プロセッサユニット（１０８）に動作可能に結合されたメモリユニット（１１０）と、
前記プロセッサユニット（１０８）に動作可能に結合され、
第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得て、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習ＣＮＮ（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）で、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練し、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納するように構成され、
前記処理ユニット（１０４）は、１つまたは複数のプロセッサユニット（１０８）により実行可能である、システム（１００）。 - 前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得て、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得て、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成し、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練する
ようにさらに構成され、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、画像解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０）を前記少なくとも１つの特徴プリミティブにマップする、請求項１１に記載のシステム（１００）。 - 前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）を前記マッピング関数により共通の特徴プリミティブにマッピングする
ようにさらに構成される、請求項１１に記載のシステム（１００）。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201741039221 | 2017-11-03 | ||
| IN201741039221 | 2017-11-03 | ||
| PCT/US2018/058855 WO2019090023A1 (en) | 2017-11-03 | 2018-11-02 | System and method for interactive representation learning transfer through deep learning of feature ontologies |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021507327A JP2021507327A (ja) | 2021-02-22 |
| JP7467336B2 true JP7467336B2 (ja) | 2024-04-15 |
Family
ID=64332416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020524235A Active JP7467336B2 (ja) | 2017-11-03 | 2018-11-02 | 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3704636A1 (ja) |
| JP (1) | JP7467336B2 (ja) |
| CN (1) | CN111316290B (ja) |
| WO (1) | WO2019090023A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210486B (zh) * | 2019-05-15 | 2021-01-01 | 西安电子科技大学 | 一种基于素描标注信息的生成对抗迁移学习方法 |
| CN110186375A (zh) * | 2019-06-06 | 2019-08-30 | 西南交通大学 | 智能化高铁白车身焊接装配特征检测装置及检测方法 |
| US11941497B2 (en) | 2020-09-30 | 2024-03-26 | Alteryx, Inc. | System and method of operationalizing automated feature engineering |
| CN112434602B (zh) * | 2020-11-23 | 2023-08-29 | 西安交通大学 | 一种基于可迁移共特征空间挖掘的故障诊断方法 |
| CN113707312A (zh) * | 2021-09-16 | 2021-11-26 | 人工智能与数字经济广东省实验室(广州) | 一种基于深度学习的血管定量识别的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020500378A (ja) | 2016-11-23 | 2020-01-09 | ゼネラル・エレクトリック・カンパニイ | ディープラーニング医療システムおよび医療処置のための方法 |
| JP2020500377A (ja) | 2016-11-23 | 2020-01-09 | ゼネラル・エレクトリック・カンパニイ | ディープラーニング医療システムおよび画像収集のための方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011114243A1 (en) * | 2010-03-18 | 2011-09-22 | Koninklijke Philips Electronics N.V. | Functional image data enhancement and/or enhancer |
| JP6235610B2 (ja) * | 2012-12-26 | 2017-11-22 | ボルケーノ コーポレイション | マルチモダリティ医療用撮像システムにおける測定および強調 |
| US9922272B2 (en) * | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| CN105930877B (zh) * | 2016-05-31 | 2020-07-10 | 上海海洋大学 | 一种基于多模态深度学习的遥感影像分类方法 |
| CN106909905B (zh) * | 2017-03-02 | 2020-02-14 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的多模态人脸识别方法 |
| CN106971174B (zh) * | 2017-04-24 | 2020-05-22 | 华南理工大学 | 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法 |
| CN107220337B (zh) * | 2017-05-25 | 2020-12-22 | 北京大学 | 一种基于混合迁移网络的跨媒体检索方法 |
-
2018
- 2018-11-02 WO PCT/US2018/058855 patent/WO2019090023A1/en unknown
- 2018-11-02 CN CN201880071649.9A patent/CN111316290B/zh active Active
- 2018-11-02 EP EP18804491.1A patent/EP3704636A1/en not_active Withdrawn
- 2018-11-02 JP JP2020524235A patent/JP7467336B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020500378A (ja) | 2016-11-23 | 2020-01-09 | ゼネラル・エレクトリック・カンパニイ | ディープラーニング医療システムおよび医療処置のための方法 |
| JP2020500377A (ja) | 2016-11-23 | 2020-01-09 | ゼネラル・エレクトリック・カンパニイ | ディープラーニング医療システムおよび画像収集のための方法 |
Non-Patent Citations (1)
| Title |
|---|
| 松岡拓未 外７名、「ＣｙｃｌｅＧＡＮによる異種モダリティ画像生成を用いた股関節ＭＲＩの筋骨格セグメンテーション」、第３７回日本医用画像工学会大会、２０１８年７月２５日、ＯＰ１－４、７５～８０頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111316290B (zh) | 2024-01-12 |
| CN111316290A (zh) | 2020-06-19 |
| WO2019090023A1 (en) | 2019-05-09 |
| JP2021507327A (ja) | 2021-02-22 |
| EP3704636A1 (en) | 2020-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7467336B2 (ja) | 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム | |
| Dalca et al. | Anatomical priors in convolutional networks for unsupervised biomedical segmentation | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Li et al. | Deep learning based imaging data completion for improved brain disease diagnosis | |
| Khagi et al. | Pixel‐Label‐Based Segmentation of Cross‐Sectional Brain MRI Using Simplified SegNet Architecture‐Based CNN | |
| Li et al. | DFENet: A dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion | |
| Chanu et al. | Retracted article: computer-aided detection of brain tumor from magnetic resonance images using deep learning network | |
| DE102021133631A1 (de) | Gezielte objekterkennung in bildverarbeitungsanwendungen | |
| Khan et al. | Segmentation of shoulder muscle MRI using a new region and edge based deep auto-encoder | |
| Nair et al. | Multi-layer, multi-modal medical image intelligent fusion | |
| Quan et al. | An intelligent system approach for probabilistic volume rendering using hierarchical 3D convolutional sparse coding | |
| Ogiela et al. | Natural user interfaces in medical image analysis | |
| Tasdizen et al. | Improving the robustness of convolutional networks to appearance variability in biomedical images | |
| Tawfik et al. | Multimodal medical image fusion using stacked auto-encoder in NSCT domain | |
| Mano et al. | Method of multi‐region tumour segmentation in brain MRI images using grid‐based segmentation and weighted bee swarm optimisation | |
| Jena et al. | Review of neural network techniques in the verge of image processing | |
| Huang et al. | A two-level dynamic adaptive network for medical image fusion | |
| Michel et al. | Image transport regression using mixture of experts and discrete Markov random fields | |
| US20240265503A1 (en) | Neural processing unit and artificial neural network system for image fusion | |
| Bennai et al. | Towards a generic Multi-agent approach for medical image segmentation | |
| Rashmi et al. | CNN based multi-view classification and ROI segmentation: A survey | |
| Indhumathi et al. | Hybrid Pixel-Based Method for Multimodal Medical Image Fusion Based on Integration of Pulse-Coupled Neural Network (PCNN) and Genetic Algorithm (GA) | |
| Yang et al. | A survey on deep learning-based diffeomorphic mapping | |
| Gaasedelen et al. | Automated multiclass cardiac volume segmentation and model generation | |
| Vanitha et al. | A novel framework of multimodal medical image fusion using adaptive NSST and optimized deep learning approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210520 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230116 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230124 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230125 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230331 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230405 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7467336 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |