JP7190777B6 - 教師あり学習に基づく合意診断方法及びそのシステム - Google Patents
教師あり学習に基づく合意診断方法及びそのシステム Download PDFInfo
- Publication number
- JP7190777B6 JP7190777B6 JP2021524471A JP2021524471A JP7190777B6 JP 7190777 B6 JP7190777 B6 JP 7190777B6 JP 2021524471 A JP2021524471 A JP 2021524471A JP 2021524471 A JP2021524471 A JP 2021524471A JP 7190777 B6 JP7190777 B6 JP 7190777B6
- Authority
- JP
- Japan
- Prior art keywords
- diagnostic
- consensus
- diagnosis
- individual
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims description 171
- 201000010099 disease Diseases 0.000 claims description 29
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 238000002405 diagnostic procedure Methods 0.000 claims 2
- 230000001537 neural Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000000875 corresponding Effects 0.000 description 4
- 206010060862 Prostate cancer Diseases 0.000 description 3
- 230000001419 dependent Effects 0.000 description 3
- 238000007374 clinical diagnostic method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006011 modification reaction Methods 0.000 description 2
- 240000000800 Allium ursinum Species 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000295 complement Effects 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000001519 tissues Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Images
Description
本発明は、学習を通じて疾病を診断する方法及びそのシステムに係り、さらに詳しくは、ニューラルネットワークを介して教師あり学習に基づいて学習された複数の診断システムを備え、複数の診断システムの合意により最終的な診断結果を導き出すことにより、教師あり学習に基づく学習の弱点を補うことができる方法及びシステムに関する。
病理学または病理科で行われる主要な業務の一つは、患者の生体画像を読み取って特定の疾病の状態又は症状を判断する診断を行うことである。このような診断は、長年にわたって熟練した医療従事者の経験や知識に依存する方式である。
最近では、機械学習の発達に伴い、コンピュータシステムを用いた画像の認識や分類等の作業の自動化が積極的に図られている。特に、機械学習の一種であるニューラルネットワーク(例えば、畳み込みニューラルネットワーク:Convolution neurla network、CNN)を利用したディープラーニング(深層学習)を用いて、経験豊富な熟練した医療従事者が行ってきている診断を自動化するための試みがなされている。
特に、ニューラルネットワーク(例えば、CNN)を用いたディープラーニングによる診断では、従来の熟練した医療従事者の経験や知識を単に自動化するだけでなく、自分で学習を通じて特徴的な要素を自律的に見出し、所望の答えを導き出すという点においてむしろ、熟練した医療従事者が見つけていない疾病要因の特徴を画像から見出す場合もある。
一般に、生体データ(例えば、生体画像)を用いたニューラルネットワークを介した疾病の診断は、熟練した医療従事者が、特定の疾病の状態(例えば、がんが発現したか否か)を生体データにアノテーション(annotaion)を行い、このようなアノテーションされた多数のデータを学習データとして用いてニューラルネットワークを学習する。すなわち、学習用の学習データにアノテーションを行い、アノテーションされた学習データによる学習を主とする。このような学習方法を教師あり学習(supervised learning)と呼ぶ。
しかし、教師あり学習では、学習されたシステムの性能は、アノテーションを行ったアノテータの判断の性向又は傾向に大きく影響を受ける。すなわち、学習された診断システムの診断結果は、アノテータのアノテーション傾向や性向に依存する。
また、実際にアノテーションを行う際にアノテータによって互いに異なるアノテーションを行う程度に、学習すべき生体データには、明確に分類しにくい大量の生体データが含まれているのが現状のことである。すなわち、熟練した医療従事者がアノテーションを行っているものの、生体データによっては、疾病の発現の有無又は疾病の進行度を分類するに当たり、意見が異なる場合がある。
さらに、教師あり学習に基づいて学習された疾病診断システムの場合、アノテータの傾向に依存する判断を診断結果として出力するという弱点がある。
したがって、このような弱点を改善できる技術的思想が必要である。
本発明が解決しようとする技術的課題は、互いに異なるアノテーション主体により学習された複数の、教師あり学習に基づく診断システムを備え、所定の生体データに対して前記複数の診断システムがそれぞれ行った診断結果に基づいた最終的な診断結果、すなわち、診断システム間で合意された診断結果を導き出すようにより、教師あり学習に基づく弱点を補うことができる方法及びシステムを提供することである。
さらに、本発明の技術的課題は、このような複数の診断システムの合意による診断結果を用いて複数の個別診断システムを再学習できるようにすることで、複数の個別診断システムの性能をも向上させることができる方法及びシステムを提供することである。
上記技術的課題を達成するための、教師あり学習を通じて学習された診断システムを用いて疾病を診断する方法は、合意診断システムが、N(Nは2以上の整数)個の診断システム-N個の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである-のそれぞれが所定の生体データをそれぞれ入力されて出力するN個の個別診断結果を確認するステップと;前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップと;を含む。
前記教師あり学習に基づく合意診断方法は、前記合意診断システムが、ゴールドスタンダード(gold standard)の学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果を確認するステップをさらに含み、前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力するステップを含んでいてもよい。
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の診断システムのそれぞれに与えられた重み(加重値)に基づいて前記合意診断結果を出力することを特徴とし、前記重みは、特定の診断システムが合意診断結果とは異なる個別診断結果を出力した回数に基づいて決定されてもよい。
前記重みは、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定されてもよい。
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴としてもよい。
前記複数の診断システムは、所定の学習データセットがN個に分割された分割学習データセット-任意の分割学習データセットは、他の分割学習データセットには含まれていない少なくとも1つの学習データを含み、それぞれ異なる主体によってアノテーションされた学習データセットである-をそれぞれ学習し、疾病の診断結果を出力するシステムであることを特徴としてもよい。
前記教師あり学習に基づく合意診断方法は、特定の生体データの合意診断結果とは異なる、前記特定の生体データの個別診断結果を有する診断システムが、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより再訓練されるステップをさらに含んでいてもよい。
前記方法は、データ処理装置にインストールされ、コンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラムにより実現されてもよい。
上記技術的課題を解決するためのシステムは、プロセッサと;前記プロセッサによって実行されるプログラムを記憶する記憶装置と;を備え、前記プログラムは、N(Nは2以上の整数)個の診断システム-N個の診断システムのそれぞれは、互いに異なるアノテーション(annotation)主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである-のそれぞれが所定の生体データをそれぞれ入力されて出力するN個の個別診断結果を確認し、確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力する。
前記プログラムは、ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果をさらに確認し、前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力してもよい。
前記プログラムは、前記複数の診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記重みは、前記合意診断結果と、前記複数の診断システムのそれぞれの個別診断結果とが異なる場合の回数に基づいて決定されてもよい。
前記重みは、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定されてもよい。
前記プログラムは、前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴としてもよい。
また、前記合意診断システムの診断に用いる生体データのうちの特定の生体データは、
前記合意診断結果と、前記複数の診断システムのうちの特定の診断システムの個別診断結果とが異なっており、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより前記特定の診断システムが再訓練されることを特徴としてもよい。
前記合意診断結果と、前記複数の診断システムのうちの特定の診断システムの個別診断結果とが異なっており、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより前記特定の診断システムが再訓練されることを特徴としてもよい。
本発明の技術的思想によれば、1つのアノテーション主体によってアノテーションされた学習データを用いて学習された、教師あり学習に基づく診断システムを介して疾病を診断した場合に生じ得る診断結果のアノテーションへの依存性を補完することができるという効果がある。
また、本発明の技術的思想に基づいて、合意による診断結果を用いて個別診断システムの再学習を行うことができ、この場合、個別診断システムの性能をも向上させることができるという効果がある。
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
「第1」、「第2の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、構成要素は、言い回しによって何等限定されない。上記の言い回しは、ある構成要素を他の構成要素から区別する目的でしか使えない。
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。
この明細書において、「備える」、「含む」又は「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ(段階)、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものに過ぎず、一つ又はそれ以上の他の特徴や数字、ステップ(段階)、動作、構成要素、部品又はこれらを組み合わせたもの存在又は付加の可能性を予め排除しないものと理解すべきである。
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
以下、添付図面に基づいて、本発明の実施形態を中心として本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
図1は、本発明の技術的思想に基づいた、教師あり学習に基づく合意診断方法を実現するための概略的なシステム構成を示す図である。
図1を参照すると、本発明の技術的思想に基づいた、教師あり学習に基づく合意診断方法を実現するために合意診断システム100を実現してもよい。
合意診断システム100は、本発明の技術的思想に基づいて、複数(例えば、N個、Nは2以上の整数)の個別診断システム(例えば、診断システム1~診断システムN、10~30)から、個別診断結果(例えば、個別診断結果1~個別診断結果N)を受信することができる。また、合意診断システム100は、受信した個別診断結果(例えば、個別診断結果1~個別診断結果N)に基づいて合意診断結果を出力することができる。
複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれは、教師あり学習に基づいて学習され、所定の生体データ(例えば、生体画像)が入力されると、生体データを、学習されたニューラルネットワークに介して所定の分類(例えば、疾病の発現の有無又は疾病の進行度による分類)に分類し、その結果を診断結果として出力するシステムであり得る。
複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれは、同じ生体データの入力を受け、学習された各ニューラルネットワークを介して、複数の診断結果、すなわち、個別診断結果(例えば、個別診断結果1~個別診断結果N)を出力することができる。
上述したように、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれの診断結果は、アノテータによるアノテーションに依存的であり得る。すなわち、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれは、アノテーションされた学習データに依存するように個別診断結果を出力することができる。
このような弱点を補うために、本発明の技術的思想に基づいた複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データセットにより学習されたシステムであり得る。
例えば、診断システム1(10)は、第1アノテータによってアノテーションされた第1学習データセットにより学習されたシステムであってもよく、診断システム2(20)は、第2アノテータによってアノテーションされた第2学習データセットにより学習されたシステムであってもよく、診断システムN(30)は、第Nアノテータによってアノテーションされた第N学習データセットにより学習されたシステムであってもよい。
この場合、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれは、学習に使用された学習データのアノテータの判断の性向又は傾向に依存する特徴を有し得る。
例えば、同じ生体データ(例えば、生体画像)を入力された複数の診断システム(例えば、診断システム1~診断システムN、10~30)は、理想的には同じ診断結果を出力することが望ましいが、上述したようにアノテータの判断傾向が診断結果に影響を与えるため、ある場合には異なる診断結果を出力することもある。すなわち、複数の診断システム(例えば、診断システム1~診断システムN、10~30)は、アノテータの傾向に応じて、同じ生体データに対して異なる診断結果を出力することもある。
ただし、本発明の技術的思想に基づいて、複数の診断システム(例えば、診断システム1~診断システムN、10~30)の個別診断結果を用いた合意診断を通じて、このような弱点を補うことができる。
合意診断システム100は、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれが出力した個別診断結果に基づいて、合意診断結果を出力してもよい。合意診断結果は、個別診断結果の一部又は全部に基づいて生成された最終診断結果を意味し得る。
合意診断結果を出力するために、合意診断システム100は、個別診断結果が異なる場合には、単に多数決による合意診断結果を導き出すこともある。または、合意診断システム100は、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれに重みを与え、与えられた重み(加重値)を、対応する個別診断結果に適用した合意診断結果を出力することもある。
重みは、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれの診断履歴に基づいて与えられてもよい。例えば、合意診断結果とは異なる診断結果を出力した診断システムには重みが所定の基準分だけ減少するように、合意診断システム100により重み付けプロセスが駆動されてもよい。また、重み付けプロセスでは、単に合意診断結果とは異なるか否かのみを考慮しても良いが、全ての個別診断結果のうち、種類別の診断結果の数をさらに考慮してもよい。
例えば、10個の診断システムを実施して合意診断を行う場合、10個の診断システムのうちのいずれか1つの特定の診断システムは、特定の生体データに対して疾病が発現していないと判断し、残りの診断システムの全ては、特定の生体データに対して疾病が発現したと判断し得る。この場合、特定の診断システムの重みを、所定の第1基準値(例えば、0.1)分だけ減少させることができる。
しかし、10個の診断システムのうちの4つの診断システムは、特定の生体データに対して疾病が発現していないと判断し、6つの診断システムの全ては、特定の生体データに対して疾病が発現したと判断し得る。この場合、合意診断結果は疾病の発現を示すが、4つの診断システムの重みを、第1基準値(例えば、0.1より小さい所定の第2基準値(例えば、0.05)分だけ減少させることもできる。
すなわち、合意診断結果が正解であると仮定した場合、診断システムが出力する誤解回数に基づいて、診断システムの重みを簡単に調整することができる。しかし、特定の診断システムが誤解を出力しても、誤解を出力した診断システムの数を更に考慮して重み調整の程度を変更したり、状況に応じて誤解でないと判断したりして重み調整を行わない場合もある。
また、合意診断結果を導き出すための方式及び複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれに重みを与える方式については様々な実施形態が可能であることは、本発明の技術分野の平均的な専門家であれば容易に推論できる筈である。
一実施形態では、合意診断システム100は、後述するスタンダード診断システム40から、スタンダード個別診断結果をさらに受信しもよい。更に、合意診断システム100は、受信したスタンダード個別診断結果にさらに基づいて合意診断結果を出力してもよい。
スタンダード診断システム40は、ゴールドスタンダード(gold standard)学習データにより学習された診断システムを意味し得る。ゴールドスタンダード学習データは、標準又は理想的なアノテーションが行われた学習データを意味し得る。このようなゴールドスタンダード学習データは、単に1つの主体によりアノテーションされたものではなく、複数の主体により合意されたアノテーションが行われるか、または複数の主体により合意された基準に基づいてアノテーションが行われたデータを意味し得る。一般に、このようなゴールドスタンダード学習データを用いて学習を行うことが好ましい。しかし、実際には、ゴールドスタンダード学習データを生成するには、多くのコストが必要になる場合があり、ゴールドスタンダード学習データを用いて学習された1つの診断システムを構築するよりも、個別主体により学習された複数の診断システムを備えて合意診断結果を構築する方が、むしろより高い診断性能を発揮し得る。その理由は、ゴールドスタンダード学習データの場合、特定の生体データに対するアノテーションについての意見が異なると、少数意見を無視したまま、合意されたアノテーションのみを学習に反映するが、本発明の技術的思想のように、個別主体によるアノテーションを用いて個別に学習された複数の診断システム(例えば、診断システム1~診断システムN、10~30)を構築する場合には、少数意見を少なくとも個別診断システムの学習に反映するからである。
さらに、合意診断のための複数の診断システムにスタンダード診断システム40が含まれる場合には、より高い診断性能を示すことができる。
また、合意診断システム100は、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれに比べて、スタンダード診断システム40により高い重みを与え、複数の診断システム(例えば、診断システム1~診断システムN、10~30)別に与えられた重みを反映して合意結果を導き出すこともできる。
一方、合意診断システム100を、複数の診断システム(例えば、診断システム1~診断システムN、10~30)又はスタンダード診断システム40が各々異なる別個の物理装置を用いて実現した場合を、図1に示しているが、合意診断システム100は、複数の診断システム(例えば、診断システム1~診断システムN、10~30)又はスタンダード診断システム40のうちの少なくとも一方と物理的に同一の装置により実現されてもよいことは、本発明の技術分野の平均的な専門家であれば容易に推測できる。
合意診断システム100は、本明細書で定義された機能を実行できるならば、種々のデータ処理システム(例えば、コンピュータ、サーバ、スマートフォン、または専用装置など)を用いて実現できることは言うまでもない。
図2は、本発明の実施形態による各診断システムのそれぞれの概略構成を説明するための図である。
まず、図2(a)を参照すると、複数の個別診断システム(例えば、複数の診断システム(例えば、診断システム1~診断システムN、10~30))は、図2(a)に示す構成を備えていてもよい。スタンダード診断システム40もまた、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)の構成と同じ構成により実現されてもよい。したがって、本明細書では、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)についてのみ説明する。さらに、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)は、同一又は類似の構成を備えていてもよいので、本明細書では、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のうちのいずれか1つの構成についてのみ説明する。
第1診断システム10は、プロセッサ11と記憶装置12とを備えていてもよい。第1診断システム10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータや携帯端末等の特定のサービスを行えるいかなる装置でも実現できることは、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
プロセッサ11は、本発明の技術的思想を実現するためのプログラム12-1を駆動可能な演算装置を意味し得る。プロセッサ11は、プログラム12-1と、本発明の技術的思想により定義されるニューラルネットワーク(Nerual Network)12-2とを用いて診断を行ってもよい。ニューラルネットワークは、畳み込みニューラルネットワークであってもよく、生体データ(例えば、画像)の入力を受けると、学習されたニューラルネットワークを介して診断結果を出力し得る。
プログラム12-1は、教師あり学習を通じてニューラルネットワーク12-2を学習させるか、又は学習されたニューラルネットワーク12-2を用いて診断を行えるように定義されるソフトウェアを意味し得る。
記憶装置12は、プログラム12-1及びニューラルネットワーク12-2を記憶可能なデータ記憶手段を意味し得る。実現例によれば、記憶装置は複数の記憶手段で実現されてもよい。また、記憶装置12は、第1診断システム10に含まれる主記憶装置だけでなく、プロセッサ11に含まれ得る一時記憶装置又はメモリ等を含むことを意味してもよい。
診断システム100は、図2では一つの物理装置で実現されている。しかしながら、必要に応じて、複数の物理装置を有機的に組み合わせて、本発明の技術的思想に基づく第1診断システム10を実現できることは、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
以下、本明細書において診断システム(例えば、10)が所定の機能を行うというのは、診断システム(例えば、10)に備えられたプロセッサ(例えば、11)がプログラム(例えば、12-1)を用いて所定の機能を行うことを意味するのは言うまでもない。
本明細書において、第1診断システム10が診断を行うというのは、生体データの入力を受け、本明細書で定義された出力データ、例えば、診断結果を出力する一連のプロセスを意味し得る。
第1診断システム10は、所定の単位ユニット別に生体データの入力を受けてもよい。単位ユニットは、例えば、ピクセル単位であってもよいし、パッチ又はスライド単位であってもよい。
第1診断システム10の診断結果は、疾病の種類に応じて、単に疾病の発現の有無又はそれに相当する値(例えば、確率など)であり得、或いは、疾病が発現した場合には、疾病の状態の程度を示す状態情報であり得る。
例えば、後述するように、本発明の技術的思想を用いて前立腺がんを診断する場合には、前立腺がんの進行度を示す指標であるグリーソンパターン(Gleason Pattern)又はグリーソンスコア(Gleason Score)を状態情報に含めてもよい。例えば、グリーソンパターンは2~5の値を有し、数字が大きいほど、前立腺がんの発現度が高いことを示す。したがって、状態情報は、診断の対象となる単位ユニットに該当する生体組織がグリーソンパターンの特定の値(例えば、3、4、又は5)に該当する確率に相当する情報を含み得、或いは、ノーマル(すなわち、疾病が発現していない場合)に該当する確率に相当する情報を含み得る。
いずれの場合も、第1診断システム10は、学習されたニューラルネットワーク12-2を介して診断結果を出力できる。
一方、本発明の技術的思想に基づく合意診断システム100は、図2(b)に示す構成を備えていてもよい。
一方、本発明の技術的思想に基づく合意診断システム100は、図2(c)に示す要素を備えていてもよい。
一方、本発明の技術的思想に基づく合意診断システム100は、図2(c)に示す要素を備えていてもよい。
合意診断システム100もまた、プロセッサ110と、プログラム121を記憶する記憶装置120とを備えていてもよい。
合意診断システム100は、有線/無線ネットワークを介して、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)及び/又はスタンダード診断システム40と接続され、本発明の技術的思想を実現するために必要な情報を送受信できる。実現例によれば、合意診断システム100は、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)又はスタンダード診断システム40に設けられて実現されてもよい。この場合、合意診断システム100は、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)又はスタンダード診断システム40のハードウェアを共有してもよい。
合意診断システム100の記憶装置120に記憶されたプログラム121は、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30)及び/又はスタンダード診断システム40からそれぞれ診断結果(例えば、個別診断結果1~N及び/又はスタンダード個別診断結果)を受信し、確認することができる。
合意診断システム100は、互いに異なるアノテーション主体によってアノテーションされた学習データセットによりそれぞれ学習された複数の診断システム(例えば、診断システム1~診断システムN、10~30)のみから、個別診断結果を受信してもよいが、前述したように、スタンダード診断システム40からスタンダード個別診断結果をさらに受信してもよい。
いずれの場合も、合意診断システム100は、受信した診断結果に基づいて合意診断結果を生成して出力できる。
合意診断システム100が合意診断結果を生成する例を、図3を参照して説明する。
図3は、本発明の実施形態に基づいて、個別診断結果に基づく合意を導き出す概念を説明するための図である。
図3を参照すると、本発明の技術的思想を実現するために、複数の診断システム(例えば、診断システム1~診断システムN、10~30)が実現されてもよい。合意診断システム100は、複数の診断システム(例えば、診断システム1~診断システムN、10~30)のそれぞれから、同じ生体データに対する診断結果を受信してもよい。また、図3では、合意診断システム100が、スタンダード診断システム(STD)40からスタンダード個別診断結果をさらに受信する場合を例示的に説明している。
図3は、診断結果が特定の疾病の発現の有無を示す場合を例示しているが、ニューラルネットワーク12-2の実現例に応じて様々な形態の情報を診断結果として出力できることは、前述した通りである。
例えば、合意診断システム100は、単に複数の診断結果の種類(例えば、疾病の発現したことを示す「O」、疾病が発現していないことを示す「X」)のうちより多くの数の種類を合意診断結果として特定してもよい。
実現例によれば、合意診断システム100は、各診断システム(例えば、診断システム1~診断システムN、10~30、スタンダード診断システム40)に対して重みを与えてもよい。
このような重みは、多数の生体データに対して合意診断結果を導き出しながら、合意診断結果とは異なる個別診断結果を出力した回数に基づいて調整され得る。例えば、診断システム2の重みは0.9であってもよく、診断システム1の重みは1であってもよい。これは、診断システム2が合意診断結果とは異なる個別診断結果を出力した場合が、少なくとも一回であることを意味し得る。
合意診断システム100は、重みがウェイトファクターとして反映された診断結果に基づいて、合意診断結果を生成できる。例えば、特定の診断システムが診断結果を「X」として出力し、特定の診断システムの重みが「a」(例えば、0.9)である場合、合意診断結果を導き出す過程で、特定の診断システムの診断結果がa個(0.9個)の「X」であると判断されてもよい。このように、より多くの診断結果の種類(例えば、「O」又は「X」)を、重みを反映することで合意診断結果として判断してもよい。
合意診断システム100は、各診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)別に、単純に合意診断結果とは異なる個別診断結果を出力した場合毎に、所定値(例えば、0.1)を下げることで簡単に重みを調整してもよい。
または、前述したように特定の診断システム(例えば、診断システム2)が合意診断結果(例えば、「O」)とは異なる個別診断結果(例えば、「X」)を出力した場合であっても、異なる個別診断結果(例えば、「X」)を出力した診断システム(例えば、診断システム1~診断システムN、10~
30及び/又はスタンダード診断システム40)の数又は割合(全ての診断システムの数に比べて、特定の診断システム(例えば、診断システム2)と同じ種類の診断結果を出力した診断システムの数)をさらに考慮して重みを調整してもよい。例えば、10個の診断システムのうち1つだけが異なる診断結果を出力した場合、当該システムの重みを第1値(例えば、0.1)分だけ調整し、10個の診断システムのうち一定数(例えば、3つ)以上又は一定割合(例えば、30%)以上が異なる診断結果を出力した場合、当該システムのそれぞれの重みを第2値(例えば、0.03)分だけ調整してもよい。あるいは、一定数以上又は一定割合以上の場合、合意診断結果とは異なる診断結果を出力したとしても、当該システムの重みを決して調整しない場合もある。
30及び/又はスタンダード診断システム40)の数又は割合(全ての診断システムの数に比べて、特定の診断システム(例えば、診断システム2)と同じ種類の診断結果を出力した診断システムの数)をさらに考慮して重みを調整してもよい。例えば、10個の診断システムのうち1つだけが異なる診断結果を出力した場合、当該システムの重みを第1値(例えば、0.1)分だけ調整し、10個の診断システムのうち一定数(例えば、3つ)以上又は一定割合(例えば、30%)以上が異なる診断結果を出力した場合、当該システムのそれぞれの重みを第2値(例えば、0.03)分だけ調整してもよい。あるいは、一定数以上又は一定割合以上の場合、合意診断結果とは異なる診断結果を出力したとしても、当該システムの重みを決して調整しない場合もある。
すなわち、後者の場合、診断結果は、判断によって実質的に異なる診断結果と解釈できる余地があるので、当該診断システムの信頼性に該当する重みを適応的に調整することにより、全体としてより信頼性の高い診断結果を導き出すことができる。
また、スタンダード診断システム40の診断結果をさらに用いる場合は、合意診断システム100は、他の各診断システム(例えば、診断システム1~診断システムN、10~30)の重みよりも高い重みをスタンダード診断システム40に与えてもよい。
一方、本発明の技術的思想に基づく合意診断方法の場合、相異なる学習データセットにより学習された各診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)を用いる場合にも、診断結果を有用に導き出すことができる。後述の通り、合意診断システム100が、合意診断結果とは異なる診断結果を出力する診断システムに対して再学習を行う場合に、さらに有用である。
図4は、本発明の実施形態に基づいて、学習データの分割アノテーション概念を説明するための図である。
図4を参照すると、本発明の技術的思想に基づく合意診断方法を適用する場合、この合意診断方法は、前述の通り、アノテータ別に別々にアノテーションされた学習データを用いて、各診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)を学習させる場合にも有用であるのみならず、各診断システム(例えば、診断システム1~診断システムN、10~
30及び/又はスタンダード診断システム40)別に異なる学習データを用いて、それぞれの診断システムを学習させる場合にも有用であり得る。
30及び/又はスタンダード診断システム40)別に異なる学習データを用いて、それぞれの診断システムを学習させる場合にも有用であり得る。
例えば、図4に示すように、学習されたエンジン、すなわち、診断システムの性能は、学習に使用する学習データをアノテーションするアノテータの傾向によって異なる場合もあるが、同じアノテータがアノテーションを行っても、使用する学習データによって影響を受ける場合もある。
したがって、図4に示すように、診断システム1は学習データセット1により学習されたシステムであり、診断システム2は学習データセット2により学習されたシステムであり、診断システム3は学習データセット3により学習されたシステムであり、診断システム4は学習データセット4により学習されたシステムであり得る。
それぞれの学習データセットは、重複した学習データを含んでいてもよく、含んでいなくてもよい。学習データセット別にアノテータが同じでもよく、異なっていてもよい。
いずれの場合も、学習データセット別にそれぞれ学習された診断システムの診断結果に違いが生じる場合がある。このため、従来は、学習データセットを選択した時点から、様々なケースをすべて含む幅広い学習データセットを決定するために、多大な労力とコストを消費する必要があった。
しかし、本発明の技術的思想によれば、複数の診断システムのそれぞれを学習させるために、ある程度十分な学習データセットのみで学習するならば、相異なる学習データセットにより学習された複数の診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)であっても、合意診断結果を通じてより正確な診断結果を導き出すことができる。
すなわち、合意診断結果を導き出す過程で、学習データセット自体の偏向性を相当解消できるという効果がある。
さらに、特定の生体データに対して合意診断結果とは異なる診断結果を出力した診断システムに対しては、特定の生体データを合意診断結果としてアノテーションして再学習を行ってもよい。この場合、アノテータによる偏向性及び/又は学習データによる偏向性を経時的に解消でき、これにより、最終的に、複数の個別診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)の性能を向上させることができるという効果もある。
このような例は、図5を参照して説明する。
図5は、本発明の実施形態に基づいて、合意診断結果を用いて個別診断システムを再学習する概念を説明するための図である。
図5を参照すると、例えば、複数の診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)のそれぞれに特定の生体データを入力し、複数の診断システム(例えば、診断システム1~診断システムN、10~30)及び/又はスタンダード診断システム40)のそれぞれは、個別診断結果を合意診断システム100に出力してもよい。なお、このとき、合意診断システム100は、合意診断結果を「O」として出力し、診断システム2(20)は、個別診断結果を「X」として出力してもよい。
このような場合、合意診断システム100は、合意診断結果とは異なる個別診断結果を出力した診断システム(例えば、診断システム2)、この場合の特定の生体データ、及び合意診断結果(例えば、「O」)に関する情報を記憶してもよい。
さらに、記憶された情報を用いて複数の診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)を再学習させてもよい。
例えば、所定時間経過後、診断システム2は、合意診断結果(例えば、「O」)としてラベル付けされた特定の生体データを含む再学習データセットを用いて再学習されてもよい。
すなわち、本発明の技術的思想によれば、合意診断結果とは異なる診断結果の出力に関連した生体データを収集し、各診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)を再学習させることができる。つまり、合意診断システム100により記憶された、合意診断結果とは異なる診断結果の出力に関連した生体データを学習データとして個別診断システムにフィードバックすることができる。この場合、各診断システム(例えば、診断システム1~診断システムN、10~30及び/又はスタンダード診断システム40)の偏向性(例えば、アノテータの傾向により又は学習データ自体の偏向性により)が改善されるという効果がある。
本発明の実施形態による合意診断方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードで実現することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが記憶されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。また、コンピュータが読み取り可能な記録媒体は、ネットワークを介して接続されたコンピュータシステムに分散されて、分散方式によりコンピュータが読み取り可能なコードが記憶されて起動され得る。また、本発明を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマにより容易に推論され得る。
本発明は図面に示された実施形態を参考にして説明されたが、これは例示的なものに過ぎず、当該技術分野における通常の知識を有する者であれば、これから様々な変形および均等な他の実施形態が可能であるということを理解するであろう。したがって、本発明の真正の技術的な保護範囲は、添付の特許請求の範囲により定めなければならないであろう。
本発明は、「教師あり学習に基づく合意診断方法及びそのシステム」に利用できる。
Claims (11)
- 教師あり学習を通じて学習された診断システムを用いて疾病を診断する方法であって、
合意診断システムが、複数の診断システム-前記複数の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである-のそれぞれに所定の生体データをそれぞれ入力して出力される複数の個別診断結果を確認するステップと;
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップと;
を含み、
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の診断システムのそれぞれに与えられた重み(加重値)に基づいて前記合意診断結果を出力することを特徴とし、
前記重みは、
特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した回数と、全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合に基づいて決定される、
教師あり学習に基づく合意診断方法。 - 前記教師あり学習に基づく合意診断方法は、
前記合意診断システムが、ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果を確認するステップをさらに含み、
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力するステップを含む、請求項1に記載の教師あり学習に基づく合意診断方法。 - 前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、
前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴とする、請求項2に記載の教師あり学習に基づく合意診断方法。 - 前記複数の診断システムは、
所定の学習データセットが複数に分割された分割学習データセット-任意の分割学習データセットは、他の分割学習データセットには含まれていない少なくとも1つの学習データを含み、それぞれ異なる主体によってアノテーションされた学習データセットである-をそれぞれ学習し、疾病の診断結果を出力するシステムであることを特徴とする、請求項1に記載の教師あり学習に基づく合意診断方法。 - 前記教師あり学習に基づく合意診断方法は、
特定の生体データの合意診断結果とは異なる、前記特定の生体データの個別診断結果を有する診断システムが、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより再訓練されるステップをさらに含む、請求項1に記載の教師あり学習に基づく合意診断方法。 - データ処理装置にインストールされ、請求項1乃至請求項5のうちのいずれか一項に記載の方法を行うためのコンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラム。
- プロセッサと;
プログラムを記憶する記憶装置と;
を備え、
前記プロセッサによって実行されるプログラムにより前記請求項1乃至請求項5のうちのいずれか一項に記載の方法が行われるデータ処理システム。 - プロセッサと;
前記プロセッサによって実行されるプログラムを記憶する記憶装置と;
を備え、
前記プログラムは、
複数の診断システム-前記複数の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである-のそれぞれに所定の生体データをそれぞれ入力して出力される複数の個別診断結果を確認し、
確認した前記複数の個別診断結果と、前記複数の診断システムのそれぞれに与えられた重みに基づいて前記生体データの合意診断結果を出力し、
前記重みは、
特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した回数と、全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合に基づいて決定される、合意診断システム。 - 前記プログラムは、
ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果をさらに確認し、
前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力する、請求項8に記載の合意診断システム。 - 前記プログラムは、
前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、
前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴とする、請求項9に記載の合意診断システム。 - 前記合意診断システムの診断に用いる生体データのうちの特定の生体データは、
前記合意診断結果と、前記複数の診断システムのうちの特定の診断システムの個別診断結果とが異なっており、
前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより前記特定の診断システムが再訓練されることを特徴とする、請求項8に記載の教師あり学習に基づく合意診断システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180142095A KR102226899B1 (ko) | 2018-11-16 | 2018-11-16 | 지도학습기반의 합의 진단방법 및 그 시스템 |
KR10-2018-0142095 | 2018-11-16 | ||
PCT/KR2019/015737 WO2020101457A2 (ko) | 2018-11-16 | 2019-11-18 | 지도학습기반의 합의 진단방법 및 그 시스템 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022506857A JP2022506857A (ja) | 2022-01-17 |
JP7190777B6 true JP7190777B6 (ja) | 2022-12-16 |
JP7190777B2 JP7190777B2 (ja) | 2022-12-16 |
Family
ID=70730552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021524471A Active JP7190777B2 (ja) | 2018-11-16 | 2019-11-18 | 教師あり学習に基づく合意診断方法及びそのシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210407675A1 (ja) |
EP (1) | EP3866175A4 (ja) |
JP (1) | JP7190777B2 (ja) |
KR (1) | KR102226899B1 (ja) |
CN (1) | CN113056793A (ja) |
WO (1) | WO2020101457A2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957442B2 (en) * | 2018-12-31 | 2021-03-23 | GE Precision Healthcare, LLC | Facilitating artificial intelligence integration into systems using a distributed learning platform |
KR102226898B1 (ko) * | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | 커스터마이징 진단 시스템 제공방법 및 그 시스템 |
KR102163519B1 (ko) * | 2020-06-05 | 2020-10-07 | 주식회사 딥바이오 | 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템 |
EP4170679A4 (en) * | 2020-07-23 | 2024-03-27 | Deep Bio Inc. | METHOD AND SYSTEM FOR PROVIDING PERSONALIZED DIAGNOSTIC SYSTEM |
US11810662B2 (en) * | 2022-03-04 | 2023-11-07 | Imagemovermd, Inc. | Collection, storage, and management of images or image results |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170357760A1 (en) | 2016-06-10 | 2017-12-14 | Electronics And Telecommunications Research Institute | Clinical decision supporting ensemble system and clinical decision supporting method using the same |
JP2018032071A (ja) | 2016-08-22 | 2018-03-01 | 株式会社クレスコ | 検証装置、検証方法及び検証プログラム |
JP2018045673A (ja) | 2016-09-09 | 2018-03-22 | 株式会社Screenホールディングス | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6678669B2 (en) * | 1996-02-09 | 2004-01-13 | Adeza Biomedical Corporation | Method for selecting medical and biochemical diagnostic tests using neural network-related applications |
AU2003304434A1 (en) * | 2002-08-06 | 2005-03-07 | The Johns Hopkins University | System, software and methods for biomarker identification |
DE102014222241B3 (de) | 2014-10-30 | 2016-03-31 | Continental Automotive Gmbh | Elektrisch angetriebene Pumpe |
KR101799823B1 (ko) * | 2015-08-12 | 2017-11-21 | 아주대학교산학협력단 | 다기관 의료 데이터 통합 분석을 위한 정규화 방법 및 그 시스템 |
DE102015217429A1 (de) * | 2015-09-11 | 2017-03-16 | Siemens Healthcare Gmbh | Diagnosesystem und Diagnoseverfahren |
US20170249434A1 (en) * | 2016-02-26 | 2017-08-31 | Daniela Brunner | Multi-format, multi-domain and multi-algorithm metalearner system and method for monitoring human health, and deriving health status and trajectory |
KR102558021B1 (ko) * | 2016-06-10 | 2023-07-24 | 한국전자통신연구원 | 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법 |
EP3510505A1 (en) * | 2016-09-07 | 2019-07-17 | Koninklijke Philips N.V. | Systems, methods, and apparatus for diagnostic inferencing with a multimodal deep memory network |
EP3312748A1 (en) * | 2016-10-19 | 2018-04-25 | Fujitsu Limited | Method for aiding a diagnosis, program and apparatus |
KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
KR101811028B1 (ko) * | 2017-08-25 | 2017-12-20 | (주)제이엘케이인스펙션 | 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 |
CN108198620B (zh) * | 2018-01-12 | 2022-03-22 | 洛阳飞来石软件开发有限公司 | 一种基于深度学习的皮肤疾病智能辅助诊断系统 |
US10599984B1 (en) * | 2018-03-20 | 2020-03-24 | Verily Life Sciences Llc | Validating a machine learning model after deployment |
CN108231194A (zh) * | 2018-04-04 | 2018-06-29 | 苏州医云健康管理有限公司 | 一种疾病诊断系统 |
US11164086B2 (en) * | 2018-07-09 | 2021-11-02 | International Business Machines Corporation | Real time ensemble scoring optimization |
-
2018
- 2018-11-16 KR KR1020180142095A patent/KR102226899B1/ko active IP Right Grant
-
2019
- 2019-11-18 WO PCT/KR2019/015737 patent/WO2020101457A2/ko unknown
- 2019-11-18 EP EP19885108.1A patent/EP3866175A4/en active Pending
- 2019-11-18 CN CN201980075511.0A patent/CN113056793A/zh active Pending
- 2019-11-18 JP JP2021524471A patent/JP7190777B2/ja active Active
- 2019-11-18 US US17/294,283 patent/US20210407675A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170357760A1 (en) | 2016-06-10 | 2017-12-14 | Electronics And Telecommunications Research Institute | Clinical decision supporting ensemble system and clinical decision supporting method using the same |
JP2018032071A (ja) | 2016-08-22 | 2018-03-01 | 株式会社クレスコ | 検証装置、検証方法及び検証プログラム |
JP2018045673A (ja) | 2016-09-09 | 2018-03-22 | 株式会社Screenホールディングス | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |
Non-Patent Citations (2)
Title |
---|
YANG, Q. et al.,A multi-agent prototype system for medical diagnosis,2008 3rd International Conference on Intelligent System and Knowledge Engineering [online],2008年11月17日,pp. 1265-1270,[retrieved on 2022-05-23], Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/4731125>,<DOI: 10.1109/ISKE.2008.4731125> |
柚木 翔太ほか,ベイジアンネットワークによるコールトリアージ判定の高精度化,電気学会論文誌C(電子・情報・システム部門誌),2012年01月01日,Vol. 132, No. 1,pp. 61-67,ISSN: 0385-4221 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7190777B2 (ja) | 教師あり学習に基づく合意診断方法及びそのシステム | |
JP7190777B6 (ja) | 教師あり学習に基づく合意診断方法及びそのシステム | |
US10346782B2 (en) | Adaptive augmented decision engine | |
KR102226898B1 (ko) | 커스터마이징 진단 시스템 제공방법 및 그 시스템 | |
US20210011974A1 (en) | Named-entity recognition through sequence of classification using a deep learning neural network | |
KR20190030876A (ko) | 건강 위험 예측 방법 | |
Wang et al. | Cost-effective quality assurance in crowd labeling | |
JP2022510113A (ja) | 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム | |
CN110378438A (zh) | 标签容错下的图像分割模型的训练方法、装置及相关设备 | |
KR102285665B1 (ko) | 학습 커리큘럼 제공 방법, 시스템 및 장치 | |
JP6421421B2 (ja) | 注釈情報付与プログラム及び情報処理装置 | |
KR20190143510A (ko) | 투 페이스 질병 진단 시스템 및 그 방법 | |
US20200058399A1 (en) | Control method and reinforcement learning for medical system | |
US20220414470A1 (en) | Multi-Task Attention Based Recurrent Neural Networks for Efficient Representation Learning | |
Buskirk et al. | Why machines matter for survey and social science researchers: Exploring applications of machine learning methods for design, data collection, and analysis | |
WO2020087971A1 (zh) | 基于预测模型预测住院合理性的方法及相关产品 | |
US11556780B2 (en) | Neural network learning device, neural network learning method, and recording medium on which neural network learning program is stored | |
WO2024159819A1 (zh) | 训练方法、版面分析、质量评估方法、装置、设备和介质 | |
KR20190031192A (ko) | 건강 위험 예측 방법 | |
WO2024059097A1 (en) | Apparatus for generating a personalized risk assessment for neurodegenerative disease | |
Kern et al. | Statistical quality control for human-based electronic services | |
JP6947460B1 (ja) | プログラム、情報処理装置、及び方法 | |
US20230196469A1 (en) | System and Method for Processing Insurance Cards | |
US11275903B1 (en) | System and method for text-based conversation with a user, using machine learning | |
CN115516473A (zh) | 混合人机学习系统 |