JP7406758B2 - 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 - Google Patents
人工知能モデルを使用機関に特化させる学習方法、これを行う装置 Download PDFInfo
- Publication number
- JP7406758B2 JP7406758B2 JP2022519274A JP2022519274A JP7406758B2 JP 7406758 B2 JP7406758 B2 JP 7406758B2 JP 2022519274 A JP2022519274 A JP 2022519274A JP 2022519274 A JP2022519274 A JP 2022519274A JP 7406758 B2 JP7406758 B2 JP 7406758B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- artificial intelligence
- intelligence model
- learning
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims description 302
- 238000000034 method Methods 0.000 title claims description 63
- 230000003902 lesion Effects 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 31
- 238000004821 distillation Methods 0.000 claims description 22
- 238000011017 operating method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000012795 verification Methods 0.000 description 31
- 238000004590 computer program Methods 0.000 description 20
- 238000012423 maintenance Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000002159 abnormal effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 230000008520 organization Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013140 knowledge distillation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000009349 indirect transmission Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/091—Active learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/922—Computer assisted medical diagnostics including image analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/923—Computer assisted medical diagnostics by comparison of patient data to other data
- Y10S128/924—Computer assisted medical diagnostics by comparison of patient data to other data using artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
説明において、単数で記載された表現は、「1つ」または「単一」などの明示的な表現を使わない以上、単数または複数と解釈される。
病変の不確実性点数=1-|病変点数-0.5|
データの不確実性点数=1-|最も大きい病変点数-2番目に大きい病変点数|
事前知識維持学習は、次のように行われる。
学習装置100は、再学習のためのデータが必要な場合、アノテーションされていないデータを新たなアノテーション対象に選別する(S270)。学習装置100は、使用機関が有している全体データの中から抽出していない新たなデータを選別することができる。
このように、学習装置100は、学習が終了するまで、繰り返しアノテーション対象を再選別したり使用機関データを再抽出して、アノテーションされたデータを含む新たなデータセットを人工知能モデルの特化学習データとして提供することができる。
Claims (20)
- 少なくとも1つのプロセッサによって動作する学習装置の動作方法であって、
医療機関が有しているデータの中から、医療機関が持っているデータ保持量とデータ特性を考慮して、特化学習に用いるデータセットを抽出する段階と、
事前学習された人工知能モデルを用いて、前記データセットからアノテーションが要求されるアノテーション対象を選別する段階と、
前記アノテーション対象に対してラベルがアノテーションされたデータを用いて、前記事前学習された人工知能モデルを指導学習させる段階と、を含む動作方法。 - 前記アノテーション対象を選別する段階は、
前記データセットの少なくとも一部のデータに対する前記事前学習された人工知能モデルの予測結果を用いて、前記事前学習された人工知能モデルに不確実なデータを前記アノテーション対象に選別する、請求項1に記載の動作方法。 - 前記アノテーション対象を選別する段階は、
前記事前学習された人工知能モデルの予測結果を用いて測定された不確実性点数に基づいて前記アノテーション対象を選別する、請求項2に記載の動作方法。 - 前記不確実性点数は、
前記事前学習された人工知能モデルで予測された病変別点数(score)の信頼値(confidence)、前記事前学習された人工知能モデルで予測された病変別ヒートマップ(heatmap)のエントロピー(entropy)、および前記事前学習された人工知能モデルで予測された病変の同時出現(co-occurrence)の少なくとも1つを用いて、測定される、請求項3に記載の動作方法。 - 前記アノテーション対象を選別する段階は、
前記事前学習された人工知能モデルの特徴空間(feature space)から前記データセットの分布を代表するデータを前記アノテーション対象に選別する、請求項1に記載の動作方法。 - 読取医レポート(Radiologist report)から抽出した情報を前記アノテーション対象にアノテーションするか、前記アノテーション対象に対する前記事前学習された人工知能モデルの予測結果を注釈者に提供してアノテーション作業を支援する段階をさらに含む、請求項1に記載の動作方法。
- 前記特化学習に用いるデータセットを抽出する段階は、
前記医療機関 が有しているデータ保有量、およびデータ特性に基づいて前記特化学習に用いるデータ量を決定する、請求項1に記載の動作方法。 - 前記事前学習された人工知能モデルを学習させる段階は、
前記事前学習された人工知能モデルの事前知識を維持する情報を、前記指導学習中の人工知能モデルに提供する、請求項1に記載の動作方法。 - 前記事前学習された人工知能モデルを学習させる段階は、
前記指導学習中の人工知能モデルと教師モデルとの蒸留損失を計算し、前記蒸留損失を前記指導学習中の人工知能モデルに提供し、
前記教師モデルは、前記事前学習された人工知能モデルと同一のモデルである、請求項8に記載の動作方法。 - 前記蒸留損失は、
前記指導学習中の人工知能モデルが前記教師モデルの中間特徴および/または最終出力をついていくようにする損失である、請求項9に記載の動作方法。 - 少なくとも1つのプロセッサによって動作する学習装置の動作方法であって、
事前学習のための第1データセットを収集する段階と、
前記第1データセットを用いて少なくとも1つのタスクを事前学習した第1人工知能モデルを出力する段階と、
前記事前学習で習得した事前知識を維持しつつ、 医療機関から収集した第2データセットを用いて特化学習した第2人工知能モデルを出力する段階であって、前記医療機関が有しているデータ保有量、および、データ特性を考慮して前記特化学習に用いる前記第2データセットを抽出することを含む、段階と、を含む動作方法。 - 前記第1人工知能モデルは、入力データのドメインを区分できないように前処理されたデータを用いて学習するか、抽出された中間特徴から入力データのドメインを区分できないように敵対学習する、請求項11に記載の動作方法。
- 前記第2人工知能モデルを出力する段階は、
前記特化学習中の人工知能モデルと教師モデルとの蒸留損失を計算し、前記蒸留損失を前記特化学習中の人工知能モデルに提供して、前記第2人工知能モデルが前記事前知識を維持するようにし、
前記教師モデルは、前記事前学習した第1人工知能モデルと同一のモデルである、請求項11に記載の動作方法。 - 前記第2人工知能モデルを出力する段階は、
前記第2データセットの中からラベルがアノテーションされた少なくとも一部のアノテーションデータを用いて前記第1人工知能モデルを指導学習させ、前記第1人工知能モデルの事前知識を維持する情報を前記指導学習中の人工知能モデルに提供し、
前記第1人工知能モデルの事前知識を維持する情報は、
前記指導学習中の人工知能モデルと教師モデルとの蒸留損失であり、
前記教師モデルは、前記第1人工知能モデルと同一のモデルである、請求項11に記載の動作方法。 - 前記医療機関が有しているデータの中から、前記特化学習に用いる前記第2データセットを抽出する段階と、
前記第1人工知能モデルを用いて、前記第2データセットからアノテーションが要求されるアノテーション対象を選別する段階と、
前記アノテーション対象に対してラベルがアノテーションされたデータを取得する段階と、をさらに含む、請求項11に記載の動作方法。 - 前記アノテーション対象を選別する段階は、
前記第2データセットの少なくとも一部のデータに対する前記第1人工知能モデルの予測結果を用いて、前記第1人工知能モデルに不確実なデータを前記アノテーション対象に選別する、請求項15に記載の動作方法。 - 前記アノテーション対象を選別する段階は、
前記第1人工知能モデルの特徴空間(feature space)から前記第2データセットの分布を代表するデータを前記アノテーション対象に選別する、請求項15に記載の動作方法。 - 命令語を格納するメモリと、
前記命令語を実行するプロセッサとを含み、
前記プロセッサは、
医療機関のデータリポジトリから一定量の医療機関データを抽出し、事前学習された人工知能モデルの事前知識を維持しつつ、前記医療機関データを用いて前記事前学習された人工知能モデルを特化学習させるものであり、
ここで、前記医療機関が有しているデータ保有量、および、データ特性を考慮して前記特化学習に用いるデータセットが抽出される、学習装置。 - 前記プロセッサは、
前記医療機関データに対する前記事前学習された人工知能モデルの予測結果を用いて、前記医療機関データから前記事前学習された人工知能モデルに不確実なデータを抽出し、前記不確実なデータをアノテーションが要求されるアノテーション対象に選別し、前記アノテーション対象に対してラベルがアノテーションされたデータを用いて、前記事前学習された人工知能モデルを指導学習させ、
前記指導学習中の人工知能モデルに前記事前知識を維持する情報を提供して前記事前知識を維持させる、請求項18に記載の学習装置。 - 前記プロセッサは、
前記医療機関データの分布を代表する一定数の代表データを選別し、前記代表データの中から前記事前学習された人工知能モデルの予測が不確実なデータを選別し、
前記不確実なデータは、
前記事前学習された人工知能モデルで予測された病変別点数(score)の信頼値(confidence)、前記事前学習された人工知能モデルで予測された病変別ヒートマップ(heatmap)のエントロピー(entropy)、および前記事前学習された人工知能モデルで予測された病変の同時出現(co-occurrence)の少なくとも1つを用いて、選別される、請求項18に記載の学習装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023207111A JP2024019441A (ja) | 2019-09-26 | 2023-12-07 | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190118545 | 2019-09-26 | ||
KR10-2019-0118545 | 2019-09-26 | ||
KR1020200124142A KR102542037B1 (ko) | 2019-09-26 | 2020-09-24 | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 |
KR10-2020-0124142 | 2020-09-24 | ||
PCT/KR2020/013027 WO2021060899A1 (ko) | 2019-09-26 | 2020-09-25 | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023207111A Division JP2024019441A (ja) | 2019-09-26 | 2023-12-07 | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022550094A JP2022550094A (ja) | 2022-11-30 |
JP7406758B2 true JP7406758B2 (ja) | 2023-12-28 |
Family
ID=75165922
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519274A Active JP7406758B2 (ja) | 2019-09-26 | 2020-09-25 | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
JP2023207111A Pending JP2024019441A (ja) | 2019-09-26 | 2023-12-07 | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023207111A Pending JP2024019441A (ja) | 2019-09-26 | 2023-12-07 | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220199258A1 (ja) |
EP (1) | EP4036931A4 (ja) |
JP (2) | JP7406758B2 (ja) |
KR (1) | KR20230085125A (ja) |
CN (1) | CN114467146A (ja) |
WO (1) | WO2021060899A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
KR20210042696A (ko) * | 2019-10-10 | 2021-04-20 | 삼성전자주식회사 | 모델 학습 방법 및 장치 |
US11568284B2 (en) | 2020-06-26 | 2023-01-31 | Intuit Inc. | System and method for determining a structured representation of a form document utilizing multiple machine learning models |
CN114444558A (zh) * | 2020-11-05 | 2022-05-06 | 佳能株式会社 | 用于对象识别的神经网络的训练方法及训练装置 |
AU2022203636B2 (en) * | 2021-04-30 | 2023-04-20 | Intuit Inc. | Methods and systems for generating mobile enabled extraction models |
US11977842B2 (en) * | 2021-04-30 | 2024-05-07 | Intuit Inc. | Methods and systems for generating mobile enabled extraction models |
CN113673254B (zh) * | 2021-08-23 | 2022-06-07 | 东北林业大学 | 基于相似度保持的知识蒸馏的立场检测方法 |
CN116963100A (zh) * | 2022-04-15 | 2023-10-27 | 维沃移动通信有限公司 | 模型微调的方法、装置及设备 |
JP2023181643A (ja) * | 2022-06-13 | 2023-12-25 | 日立Astemo株式会社 | 機械学習システム及び機械学習方法 |
CN114861836B (zh) * | 2022-07-05 | 2022-10-28 | 浙江大华技术股份有限公司 | 一种基于人工智能平台的模型部署方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276775A (ja) | 2007-04-25 | 2008-11-13 | Fujitsu Ltd | 画像検索装置 |
JP2017107386A (ja) | 2015-12-09 | 2017-06-15 | 日本電信電話株式会社 | 事例選択装置、分類装置、方法、及びプログラム |
JP6337973B2 (ja) | 2014-11-27 | 2018-06-06 | 日本電気株式会社 | 追学習装置、追学習方法、および、追学習プログラム |
US20180314943A1 (en) | 2017-04-27 | 2018-11-01 | Jianming Liang | Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier |
US20190065908A1 (en) | 2017-08-31 | 2019-02-28 | Mitsubishi Electric Research Laboratories, Inc. | Localization-Aware Active Learning for Object Detection |
US20190242608A1 (en) | 2018-02-05 | 2019-08-08 | Mitsubishi Electric Research Laboratories, Inc. | Methods and Systems for Personalized Heating, Ventilation, and Air Conditioning |
WO2019150813A1 (ja) | 2018-01-30 | 2019-08-08 | 富士フイルム株式会社 | データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8249892B2 (en) * | 2007-06-12 | 2012-08-21 | Bruce Reiner | Method of data mining in medical applications |
US11481411B2 (en) * | 2010-09-01 | 2022-10-25 | Apixio, Inc. | Systems and methods for automated generation classifiers |
KR102492318B1 (ko) * | 2015-09-18 | 2023-01-26 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 데이터 인식 방법 |
GB201517462D0 (en) * | 2015-10-02 | 2015-11-18 | Tractable Ltd | Semi-automatic labelling of datasets |
CN106682435B (zh) * | 2016-12-31 | 2021-01-29 | 西安百利信息科技有限公司 | 一种多模型融合自动检测医学图像中病变的系统及方法 |
US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
US20200210767A1 (en) * | 2017-09-08 | 2020-07-02 | The General Hospital Corporation | Method and systems for analyzing medical image data using machine learning |
US11468297B2 (en) * | 2017-10-26 | 2022-10-11 | Uber Technologies, Inc. | Unit-level uncertainty and propagation |
CN108021931A (zh) * | 2017-11-20 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种数据样本标签处理方法及装置 |
US11551353B2 (en) * | 2017-11-22 | 2023-01-10 | Arterys Inc. | Content based image retrieval for lesion analysis |
KR20190062283A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 |
US10878576B2 (en) * | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
JP7022195B2 (ja) * | 2018-02-28 | 2022-02-17 | 富士フイルム株式会社 | 機械学習装置、方法およびプログラム並びに記録媒体 |
CN109711544A (zh) * | 2018-12-04 | 2019-05-03 | 北京市商汤科技开发有限公司 | 模型压缩的方法、装置、电子设备及计算机存储介质 |
KR20190106861A (ko) * | 2019-08-27 | 2019-09-18 | 엘지전자 주식회사 | 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법 |
-
2020
- 2020-09-25 CN CN202080067704.4A patent/CN114467146A/zh active Pending
- 2020-09-25 WO PCT/KR2020/013027 patent/WO2021060899A1/ko unknown
- 2020-09-25 JP JP2022519274A patent/JP7406758B2/ja active Active
- 2020-09-25 EP EP20867856.5A patent/EP4036931A4/en active Pending
-
2022
- 2022-03-08 US US17/689,196 patent/US20220199258A1/en active Pending
-
2023
- 2023-06-05 KR KR1020230072404A patent/KR20230085125A/ko active Application Filing
- 2023-12-07 JP JP2023207111A patent/JP2024019441A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276775A (ja) | 2007-04-25 | 2008-11-13 | Fujitsu Ltd | 画像検索装置 |
JP6337973B2 (ja) | 2014-11-27 | 2018-06-06 | 日本電気株式会社 | 追学習装置、追学習方法、および、追学習プログラム |
JP2017107386A (ja) | 2015-12-09 | 2017-06-15 | 日本電信電話株式会社 | 事例選択装置、分類装置、方法、及びプログラム |
US20180314943A1 (en) | 2017-04-27 | 2018-11-01 | Jianming Liang | Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier |
US20190065908A1 (en) | 2017-08-31 | 2019-02-28 | Mitsubishi Electric Research Laboratories, Inc. | Localization-Aware Active Learning for Object Detection |
WO2019150813A1 (ja) | 2018-01-30 | 2019-08-08 | 富士フイルム株式会社 | データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム |
US20190242608A1 (en) | 2018-02-05 | 2019-08-08 | Mitsubishi Electric Research Laboratories, Inc. | Methods and Systems for Personalized Heating, Ventilation, and Air Conditioning |
Non-Patent Citations (3)
Title |
---|
今西勁峰 ほか,"放射線治療における深層学習の産業応用",第63回システム制御情報学会 研究発表講演会 講演論文集,一般社団法人システム制御情報学会,2019年05月15日,p.1013-1016 |
帯金駿 ほか,"病理画像のsemantic segmentationにおける癌種間のドメイン適応",SSII2019 予稿資料,画像センシング技術研究会,2019年07月03日,IS1-19 |
森谷崇史 ほか,"Progressive neural networksを応用した音響モデルの転移学習",日本音響学会講演論文集,2018年03月,p.13-14 |
Also Published As
Publication number | Publication date |
---|---|
JP2024019441A (ja) | 2024-02-09 |
EP4036931A1 (en) | 2022-08-03 |
CN114467146A (zh) | 2022-05-10 |
US20220199258A1 (en) | 2022-06-23 |
JP2022550094A (ja) | 2022-11-30 |
WO2021060899A1 (ko) | 2021-04-01 |
EP4036931A4 (en) | 2023-09-20 |
KR20230085125A (ko) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7406758B2 (ja) | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 | |
US11850021B2 (en) | Dynamic self-learning medical image method and system | |
KR102542037B1 (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
US10984905B2 (en) | Artificial intelligence for physiological quantification in medical imaging | |
CN111369576B (zh) | 图像分割模型的训练方法、图像分割方法、装置及设备 | |
US10825167B2 (en) | Rapid assessment and outcome analysis for medical patients | |
EP3404666A2 (en) | Rapid assessment and outcome analysis for medical patients | |
KR102237198B1 (ko) | 인공지능 기반의 의료영상 판독 서비스 시스템 | |
Martín-Noguerol et al. | Artificial intelligence in radiology: relevance of collaborative work between radiologists and engineers for building a multidisciplinary team | |
US20180157928A1 (en) | Image analytics platform for medical data using expert knowledge models | |
Selvan et al. | Uncertainty quantification in medical image segmentation with normalizing flows | |
CN116848588A (zh) | 医学图像中的健康状况特征的自动标注 | |
WO2019040705A1 (en) | SURGICAL DECISION SUPPORT USING A DECISION-MAKING MODEL | |
CN114078593A (zh) | 临床决策支持 | |
US20240112809A1 (en) | Interpretation of intraoperative sensor data using concept graph neural networks | |
CN111226287B (zh) | 用于分析医学成像数据集的方法、系统、程序产品和介质 | |
JP7478518B2 (ja) | 読影支援装置および読影支援方法 | |
CN112967246A (zh) | 用于临床决策支持系统的x射线影像辅助装置及方法 | |
CN113316803A (zh) | 使用历史校正的统计分析来校正医学图像的分割 | |
US20240087697A1 (en) | Methods and systems for providing a template data structure for a medical report | |
US20240062857A1 (en) | Systems and methods for visualization of medical records | |
EP4379672A1 (en) | Methods and systems for classifying a medical image dataset | |
US20230196557A1 (en) | Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging | |
Razavi et al. | Daniel Rueckert, Moritz Knolle, Nicolas Duchateau | |
CN118230969A (zh) | 用于提供更新的机器学习算法的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7406758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |