JP2023527136A - 診断結果を提供するための方法及び装置(method and apparatus for providing diagnosis result) - Google Patents

診断結果を提供するための方法及び装置(method and apparatus for providing diagnosis result) Download PDF

Info

Publication number
JP2023527136A
JP2023527136A JP2022569520A JP2022569520A JP2023527136A JP 2023527136 A JP2023527136 A JP 2023527136A JP 2022569520 A JP2022569520 A JP 2022569520A JP 2022569520 A JP2022569520 A JP 2022569520A JP 2023527136 A JP2023527136 A JP 2023527136A
Authority
JP
Japan
Prior art keywords
diagnostic
information
network
medical data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022569520A
Other languages
English (en)
Inventor
ソン・ジェミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vuno Inc
Original Assignee
Vuno Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vuno Inc filed Critical Vuno Inc
Publication of JP2023527136A publication Critical patent/JP2023527136A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

本開示の一実施例に基づき、コンピューティング装置の1つ以上のプロセッサーにより実行される、医療データに対する診断関連情報を提供するための方法が開示される。上記方法は:上記医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算する段階;上記第1診断ネットワークにおいて演算された上記医療データに関する特徴ベクトルに基づき、診断情報を出力するように学習された第2診断ネットワークを利用して、上記入力された医療データに対して第2診断情報を演算する段階;及び上記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、上記入力された医療データに対して演算された上記第1診断情報及び第2診断情報を含む相関関係情報を生成する段階を含むことが可能である。

Description

本発明は、診断結果を提供するための方法に係り、より具体的には、医療データに対する、診断関連情報と診断情報との相関関係を提供する方法に関する。
人工ニューラルネットワークは、速い処理速度と大きな保存空間を利用し、入力データから出力データを抽出する方法を学習したうえで、新しい入力データに対し、上記学習した方法を適用し、出力データを導出する。ただし、人工ニューラルネットワークは、まるでブラックボックスのようで、ユーザーは、人工ニューラルネットワークが、入力データからどのようにして出力に至るかを詳しく知ることができないという問題点が当業界において存在していた。つまり、中間過程の詳細を知ることができず、人間が判断するには曖昧な問題について、人工ニューラルネットワークが答えを導出した場合、人工ニューラルネットワークに誤りがあった可能性も無視できないため、その答えを信頼すべきか否かの判断が難しくなる。このような問題は、医療及び法律分野のように、人工ニューラルネットワークが導出した結果が、ユーザーに大きな影響を及ぼす場合、さらに浮き彫りになる。したがって、当業界において、入力に対する出力の解釈が可能な、つまり透明性(transparency)の高い結果を提供する方法又は装置が求められてきた。韓国登録特許「KR 10-2018-0123198」は、子宮頸部 に対する自動解析及び臨床意思決定支援システムに基づく遠隔子宮頸がん検診システムを開示し、ディープラーニングに基づく、自動解析アルゴリズムが、子宮頸がんに関するデータを解析し、その解析結果についてレビューを行うか否かを判断する内容を開示している。
本開示は、前述の背景技術に対応して案出されたものであり、医療データに対する診断関連情報と診断情報との相関関係を提供することを目的とする。
前述の課題を実現するための本開示の一実施例に基づき、コンピューティング装置の1つ以上のプロセッサーにより実行される、医療データに対する診断関連情報を提供するための方法が開示される。上記方法は:上記医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算する段階;上記第1診断ネットワークにおいて演算された上記医療データに関する特徴ベクトルに基づき、診断情報を出力するように学習された、第2診断ネットワークを利用し、上記入力された医療データに対して第2診断情報を演算し、上記特徴ベクトルは、上記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき演算される段階;及び上記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、上記入力された医療データに対して演算された上記第1診断情報及び第2診断情報を含む相関関係情報を生成する段階を含むことが可能である。
代替の実施例において、プロセッサーが、上記第1診断ネットワークを利用し、入力された医療データに対し第1診断情報を演算する段階は、上記第1診断ネットワークにおいて上記入力された医療データに関する特徴ベクトルを演算する段階;及び上記入力された医療データに関する特徴ベクトルに基づき、上記第1診断情報を演算する段階をさらに含むことが可能である。
代替の実施例において、上記特徴ベクトルを、上記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)にグローバル・プーリング(Global Pooling)を実行し得られた結果に基づき演算することが可能である。
代替の実施例において、上記第1診断ネットワークは、複数の異なる種類の所見を含む第1診断情報を演算する相異なる2つ以上のサブ第1診断ネットワークを含むことが可能である。
代替の実施例において、上記相関関係情報は、上記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度を含むことが可能である。
代替の実施例において、上記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度を、上記第1診断ネットワークで演算された上記入力された医療データに関する特徴ベクトル、上記第1診断ネットワークに含まれている最終分類関数のパラメータ又は上記第2診断ネットワークに含まれている最終分類関数のパラメータのうち、少なくとも1つに基づき算出することが可能である。
代替の実施例において、上記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度を、第1部分寄与度と第2部分寄与度とのうち、少なくとも1つに基づき算出することが可能である。
代替の実施例において、上記第1部分寄与度は、上記第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている全体所見のオッズ(odds)に基づくものになり得る。
代替の実施例において、上記第2部分寄与度は、上記第2診断情報に含まれている少なくとも1つの疾病に対する上記第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)に基づくものであるが、上記仮想オッズは;上記第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見が必ず存在する状況の確率に基づくオッズ;上記第2診断情報に含まれている少なくとも1つの疾病に対する上記第1診断情報に含まれている1つ以上の所見が絶対に存在しない状況の確率に基づくオッズ;及び上記第2診断情報に含まれている1つの疾病に対する上記第1診断情報に含まれている1つ以上の所見の、予め決められた存在確率に基づくオッズ;のうち、少なくとも1つを含むことが可能である。
代替の実施例において、上記相関関係を生成する段階は、クラス活性化マップ(Class Activation Map)に少なくとも一部基づき、上記第1診断情報を上記入力された医療データに表示する段階を含むことが可能である。
代替の実施例において、上記相関関係情報を生成する段階は、上記入力された医療データに関する特徴ベクトルと、上記第1診断ネットワークに含まれている最終分類関数のパラメータと、上記第2診断ネットワークに含まれている最終分類関数のパラメータとのうち、少なくともいずれか1つに基づき、クラス活性化マップ(Class Activation Map)を生成する段階;及び上記クラス活性化マップに基づき、上記第1診断情報を上記入力された医療データに表示する段階を含むことが可能である。
前述のような課題を解決するための本開示の一実施例に基づき、コンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。上記コンピュータープログラムは、1つ以上のプロセッサーにおいて実行される場合、医療データに 対する診断に関する情報を提供するための以下の動作を実行するようにし、上記動作は;上記医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算する動作;上記第1診断ネットワークにおいて演算された上記医療データに関する特徴ベクトルに基づき、診断情報を出力するように学習された第2診断ネットワークを利用し、上記入力された医療データに対して第2診断情報を演算し、上記特徴ベクトルは、上記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき演算する動作;及び上記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、上記入力された医療データに対して演算された上記第1診断情報及び第2診断情報を含む相関関係情報を生成する動作を含むことが可能である。
前述の課題を実現するための本開示の一実施例に基づき、医療データに対する診断関連情報を提供するための装置が開示される。上記装置は、プロセッサー;及び少なくとも1つのネットワーク関数が保存されるメモリーを含み、上記メモリーは、上記プロセッサーが医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算し、上記第1診断ネットワークにおいて演算された上記医療データに関する特徴ベクトルに基づき診断情報を出力するように学習された第2診断ネットワークを利用し、上記入力された医療データに対して第2診断情報を演算し、上記特徴ベクトルは、上記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき演算され、さらに上記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、上記入力された医療データに対して演算された上記第1診断情報及び第2診断情報を含む相関関係情報を生成するための少なくとも1つのコンピューターで実行可能な命令を保存することが可能である。
前述のような課題を実行するための本開示の一実施例に基づき、コンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。上記コンピュータープログラムは、ユーザー端末に含まれている1つ以上のプロセッサーにおいて実行される場合、医療データに対する診断関連情報を表示するユーザーインターフェース(UI)を提供し、上記ユーザーインターフェースは;入力された医療データに対する第1診断情報及び上記入力された医療データに対する第2診断情報を含む相関関係情報を含み、さらに、上記相関関係情報は、第1診断ネットワークを利用した第1診断情報の演算過程及び第2診断ネットワークを利用した第2診断情報の演算過程の一部分に基づき、ユーザー端末又はサーバーにおいて生成されることが可能である。
代替の実施例において、上記相関関係情報は、上記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度を含むオッズ比マトリックス(odds ratio matrix)を含むことが可能である。
本開示は、医療データに対する、診断関連情報と診断情報との相関関係を提供することが可能である。
図1は、本開示の一実施例において、医療データに対する診断関連情報を提供するためのコンピューティング装置のブロック構成図である。 図2は、本開示の一実施例において、医療データに対する診断関連情報を提供するために用いられるネットワーク関数を示す概略図である。 図3は、医療データに対する診断関連情報を提供する本開示の一実施例において、入力された医療データから第1診断情報及び第2診断情報を出力するための全体モデルの学習プロセスに係るフローチャートである。 図4は、医療データに対する診断関連情報を提供するための本開示の一実施例において、第2診断ネットワークを学習するためのフローチャートである。 図5は、医療データに対する診断関連情報を提供するための本開示の一実施例において、入力された医療データに対する第1診断情報及び第2診断情報を含む相関関係情報を視覚化した一例示図である。 図6は、医療データに対する診断関連情報を提供するため本開示の一実施例において、入力された医療データに対する第1診断情報及び第2診断情報を含む相関関係情報を表示するユーザーインターフェースに係る例示図である。 図7は、本開示の実施例を具現化できる例示的なコンピューティング環境に係る簡略かつ一般的な概略図である。
多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても間違いなく実施されることができる。
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順(procedure)、プロセッサー、オブジェクト、実行スレッド、プログラム、及び/またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。1つ以上のコンポーネントは、プロセッサー及び/または実行スレッドの中に常駐することができ、1つのコンポーネントは1つのコンピューターの中でローカル化されることができ、または2つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ、多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば1つ以上のデータパケットを持つ信号(例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する1つのコンポーネントからのデータ及び/または信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ)によってローカル及び/または遠隔処理等を通じて通信することができる。
用語「または」は、排他的な「または」ではなく、内包的な「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「XはAまたはBを利用する」は、自然な内包的置換のうち1つを意味するものとする。つまり、XがAを利用したり;XがBを利用したり;またはXがA及びBの両方を利用する場合、「XはAまたはBを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び/または」という用語は、取り挙げられた関連アイテムのうち、1つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
また、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、当該特徴及び/または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、1つ以上の他のさらなる特徴、構成要素及び/またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「1つまたはそれ以上」を意味するものと解釈されるべきである。
そして、「A又はBのうち少なくとも1つ」という用語については、「Aだけを含む場合」、「Bだけを含む場合」、「AとBの組み合わせの場合」を意味するものと解釈されたい。
当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション(application)及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
本発明の詳細な説明及び請求項において用いられている用語「映像」または「映像データ」は、離散的映像要素(例えば、2次元映像においては、ピクセル)によって構成されている多次元データを指し、言い換えると、(例えば、ビデオ画面に表示された)目視で確認できる対象、又は、(例えば、CTやMRI装置などのピクセル出力に対応するファイルのような)その対象のデジタル表現物を指す用語である。
例えば、「イメージ」、「画像」、「映像」は、コンピューター断層撮影(CT; computed tomography)、磁気共鳴画像(MRI; magnetic resonance imaging)、眼底映像、超音波又は、その他本発明の技術分野において公知のあらゆる医療映像システムにより収集された被検体(subject)の医療映像になり得る。映像が必ずしも医療的脈絡で提供されたものである必要はなく、非医療的脈絡で提供されたものにもなり得るが、例えば、セキュリティー検査用のX線撮影などが挙げられる。
本発明の詳細な説明及び請求項において、「DICOM(Digital Imaging and Communications in Medicine;医療用デジタル映像及び通信)」の標準は、医療用機器におけるデジタル映像表現と通信に利用されるあらゆる標準規格の総称であり、DICOM標準は、米国放射線専門医会(ACR)と米国電機工業会(NEMA)によって構成されている連合委員会が発表する。
また、本発明の詳細な説明及び請求項において、「医療用画像管理システム(PACS; Picture Archiving and Communication System)」は、DICOM標準に沿って、医療用映像を保管、加工、送信するシステムを指す用語であり、X線、CT、MRIなどのデジタル医療映像装備を利用して取得した医療映像のデータを、DICOMの規格に合わせて保存し、ネットワークを介して院内や外部の端末に送信することが可能であり、そのデータには、解析結果や診療記録が付け加えられることが可能である。
本発明の明細書において、「第1診断情報」及び「第2診断情報」は、ネットワーク関数が、入力された医療データから最終診断を行うために演算する中間データのうち、その演算又は出力される順番に沿って名づけられる診断情報の種類を意味することが可能である。プロセッサー(110)は、全体モデルに含まれている第1診断ネットワークを通じて、入力された医療データから第1診断情報を出力することが可能である。プロセッサー(110)は、上記第1診断情報に少なくとも一部に基づき、全体モデルに含まれている第2診断ネットワークを通じて、第2診断情報を出力することが可能である。より具体的には、プロセッサー(110)は、上記第1診断情報を演算するための特徴ベクトルに基づき、第2診断ネットワークを通じて、第2診断情報を出力することが可能である。第1診断情報は、入力された医療データに対して最終診断結果を生成するための中間診断情報を含むことが可能である。第2診断情報は、入力された医療データに対する最終診断結果を含むことが可能である。
本明細書において、第1診断情報は、少なくとも1つ以上の所見に係る情報を含むことが可能である。本明細書において、所見に係る情報と所見情報は、相互置換され、同一の意味として用いられることが可能である。所見情報は、入力データに存在する特定の所見の存在確率、種類、位置等を含むことが可能である。本明細書において、第2診断情報は、少なくとも1つ以上の疾病に係る情報を含むことが可能である。本明細書において、疾病に係る情報と疾病情報は、相互置換され、同一の意味として用いられることが可能である。疾病情報は、入力データに存在する特定の疾病の存在確率、種類等を含むことが可能である。第1診断情報は、入力された医療データに対する臨床的所見に係るデータを含むことが可能である。本明細書において、所見(finding)情報は、疾病に対する最終判断の根拠となる資料、病変又は当該病変部に係る情報を含む意味として用いることが可能である。第2診断情報は、疾病の存在有無の判断を含むことが可能である。第2診断情報に含まれている1つの疾病の存在有無の判断において、1つ以上の所見情報が関与する場合がある。第2診断情報に含まれている相異なる2つ以上の疾病の存在有無の判断において、1つの所見情報が関与する場合がある。
一般的に、特定の疾病に対する診断は、少なくとも1つ以上の特定の所見の存在に基づき行われる。例えば、肺がんという疾病を診断する際、肺の両側の下部から、吸気時に水泡音が聴診されるという第1所見と、胸部CTにおいて肺の下部に網状影が見えるという第2所見を総合して最終診断を行うことが可能である。他の例において、緑内障という疾病の診断において、網膜神経線維層欠損の度合いに着目した第1所見及び視神経乳頭周辺及び黄斑部の血管の変化に着目した第2所見が関与することが可能である。上述の説明のように、本明細書において、1つ以上の所見に対する所見情報は、疾病を誘発する独立変数として理解することができ、上記1つ以上の所見に係る情報に基づき診断された1つ以上の疾病の存在確率を含む第2診断情報は、そのような独立変数に紐づいている従属変数として理解されることが可能である。前述の疾病の種類及び所見は、一例示に過ぎず、本開示を制限するものではなく、独立変数の変化が従属変数の変化にどのような影響を及ぼすかを定量化するための本発明において、疾病及び所見の実施例が制限される必要がないということは、当業者にとって自明な事項である。

図1は、本開示の一実施例において、医療データに対する診断関連情報を提供するためのコンピューティング装置のブロック構成図である。
図1に示すコンピューティング装置(100)の構成は、簡略化された例示に過ぎない。本開示の一実施例において、コンピューティング装置(100)には、コンピューティング装置(100)のコンピューティング環境を実装するための他の構成が含まれることが可能であり、開示されている構成のうち一部だけでコンピューティング装置(100)を構成することも可能である。
コンピューティング装置(100)は、プロセッサー(110)、メモリー(130)、ネットワーク部(150)を含むことができる。
プロセッサー(110)は、1つ以上のコアで構成されることができ、コンピューティング装置の中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンサー処理装置(TPU: tensor processing unit)等のデータ分析、ディープラーニングのためのプロセッサーを含むことが可能である。プロセッサー(110)は、メモリー(130)に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を実行することができる。本開示の一実施例に基づき、プロセッサー(110)は、ニューラルネットワークの学習のための演算を行うことができる。プロセッサー(110)は、ディープラーニング(DL:deep learning)における学習のための入力データの処理、入力データからのフィーチャーの抽出、誤差計算、逆伝播(backpropagation)を利用したニューラルネットワークの加重値の更新等のニューラルネットワークの学習のための計算を実行することができる。プロセッサー(110)のCPU、GPGPU及びTPUのうち少なくとも1つがネットワーク関数の学習を処理できる。例えば、CPUとGPGPUがともにネットワーク関数の学習やネットワーク関数を利用したデータの分類を行うことができる。なお、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習やネットワーク関数を利用したデータ分類を行うことができる。また、本開示の一実施例におけるコンピューティング装置において実行されるコンピュータープログラムは、CPU、GPGPU及びTPUで実行可能なプログラムになり得る。
本開示の一実施例において、メモリー(130)は、プロセッサー(110)が生成したり、決定した任意の形態の情報及びネットワーク部(550)が受信した任意の形態の情報を保存することができる。
本開示の一実施例において、メモリー(130)は、フラッシュメモリータイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー(例えばSD又はXDメモリー等)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも1つのタイプの保存媒体を含むことができる。コンピューティン装置(100)は、インターネット(internet)上で上記メモリー(130)の保存機能を実行するウェブストレージ(web storage)と連携して動作することも可能である。前述のメモリーに係る記述は、例示に過ぎず、本開示はこれらに限定されない。
本開示の一実施例におけるネットワーク部(150)は、公衆電話交換網(PSTN:Public Switched Telephone Network)、xDSL(x Digital Subscriber Line)、RADSL(Rate Adaptive DSL)、MDSL(Multi Rate DSL)、VDSL(Very High Speed DSL)、UADSL(Universal Asymmetric DSL)、HDSL(High Bit Rate DSL)及び近距離通信網(LAN)等のような多様な有線通信システムを使用することができる。
また、本明細書におけるネットワーク部(150)は、CDMA(Code Division Multi Access)、TDMA(Time Division Multi Access)、FDMA(Frequency Division Multi Access)、OFDMA(Orthogonal Frequency Division Multi Access)、SC-FDMA(Single Carrier-FDMA)及びその他のシステムのような多様な無線通信システムを利用することができる。
本開示におけるネットワーク部(150)は、有線及び無線等のような通信の様態を問わずに構成されるとができ、短距通信網(PAN:Personal Area Network)、近距離通信網(WAN:Wide Area Network)等の多様な通信網になり得る。また、上記ネットワークは、公知のワールドワイドウェブ(WWW:World Wide Web)になり得る他、赤外線(IrDA:Infrared Data Association)又は、ブルートゥース(登録商標)(Bluetooth)のように、短距離通信に利用される無線伝送技術を利用することもできる。
本明細書において説明された技術は、上記のネットワークだけでなく、他のネットワークで使われることもできる。
本開示の一実施例において、プロセッサー(110)は、診断関連情報を提供するために、医療データに基づき第1診断情報を出力するように学習されている第1診断ネットワークを利用し、入力された医療データに対する第1診断情報を演算することが可能である。
本発明の明細書において、医療データは、映像データ、音声データ及び時系列データのうち、少なくとも1つを含むことが可能である。つまり、医療に従事する者又は診断用の装置等によりデータにおける疾病の存在有無を判断できる任意の形態のデータが、本開示における医療データに含まれることが可能である。映像データは、患者の 患部を検査装備を通じて撮影又は測定し、電気信号化してから出力されるすべての映像データを含む。上記映像データは、医療映像撮影機器から、時間に沿って連続撮影された動画において、動画の各々のプレームを構成する映像データを含むことが可能である。例えば、エコー検査映像データ、MRI装置により取得された映像データ、CT断層撮影により取得された映像データ、X線撮影映像データ等を含む。さらに、音声データを電気信号に変換し、グラフの形の画像として出力したり、時系列データをグラフ等の視覚化された資料として 表している場合、当該画像や資料は、上記映像データに含まれることが可能である。医療データに係る前述の例示は、一例に過ぎず、本開示を限定するものではない。

図2は、本開示の一実施例において、医療データに対する診断関連情報を提供するために用いられるネットワーク関数を示す概略図である。
本明細書の全体を通して、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク(neural network)は、同一の意味で用いることができる。神経回路網は、一般的にノードと呼ばれる相互連結された計算単位の集合で構成されることが多い。このようなノードは、ニューロン(neuron)と称することもできる。神経回路網は、少なくとも1つ以上のノードを含めて構成される。神経回路網を構成するノード(またはニューロン)は1つ以上のリンクによって相互連結されることが可能である。
神経回路網において、リンクを介して繋がっている1つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。1つの入力ノードに1つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
1つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードのデータは入力ノードに入力されたデータに基づきその値が決められることが可能である。ここで入力ノードと出力ノードとを相互連結するノードは加重値(weight)を持つことができる。加重値は可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることが可能である。例えば、1つの出力ノードに1つ以上の入力ノードが各リンクによって相互連結されている場合、出力ノードは上記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された加重値に基づき出力ノードの値を決定することができる。
前述のように、神経回路網は、1つ以上のノードが1つ以上のリンクを介して相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網において、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された加重値の値によって、神経回路網の特性が決まることが可能である。例えば、同数のノード及びリンクが存在し、リンクの加重値の値がそれぞれ異なる2つの神経回路網が存在する場合、その2つの神経回路網を、相異なるものと認識することができる。
神経回路網は、1つ以上のノードの集合で構成することができる。神経回路網を構成するノードの部分集合は、レイヤー(layer)を構成できる。神経回路網を構成する複数のノードのうち一部は、第1入力ノードからの距離に基づき、1つのレイヤー(layer)を構成することができる。例えば、第1入力ノードからの距離がnであるノードの集合は、nレイヤーを構成することができる。第1入力ノードからの距離は、第1入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数を基に定義することができる。しかし、このようなレイヤーの定義は、説明のために任意に取り挙げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離を基に定義することもできる。
第1入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される1つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクを介して繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない1つ以上のノードを意味することができる。また、ヒドンノードは、第1入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数で、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一度減ってから、再び増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少なく、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が減少していく形の神経回路網になり得る。また、本開示の他の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多く、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の一実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。
ディープニューラルネットワーク(DNN:deep neural network、深層神経回路網)は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造(latent structures)を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、ある物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等)を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN;:recurrent neural network)、オートエンコーダー(auto encoder)、GAN(Generative Adversarial Networks)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワーク、敵対的生成ネットワーク(GAN:Generative Adversarial Network)等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。
本開示の一実施例において、ネットワーク関数は、オートエンコーダー(autoencoder)を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも1つのヒドンレイヤーを含むことができ、奇数個のヒドンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー(エンコード)という中間レイヤーに向かって減っていき、ボトルネックレイヤーから出力レイヤー(入力レイヤーと対称を成す)に向かって、縮小と対称する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの前処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドンレイヤーのノードの数は、入力データから遠くなるほど減っていく構造を持つことができる。ボトルネックレイヤー(エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー)のノードの数が少なすぎる場合、十分な量の情報が伝わらない可能性があるため、特定の数以上(例えば、入力レイヤーの半分以上等)に維持されることもあり得る。
ニューラルネットワークは、教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、半教師あり学習(semi supervised learning)、または、強化学習(reinforcement learning)のうち、少なくともいずれか1つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。
ニューラルネットワークは、出力のエラーを最小化する方向で学習されることが可能である。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤーの方向へ逆伝播(back propagation)してニューラルネットワークの各ノードの加重値を更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い(つまり、ラベリングされた学習データ)、教師なし学習の場合は、個々の学習データに正解がラベリングされていない場合がある。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データの各々にカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力(カテゴリ)と学習データのラベルを比較することでエラー(error)を計算することが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データをニューラルネットワークの出力と比較することでエラーを計算することが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向(つまり、出力レイヤーから入力レイヤー方向)へ逆伝播され、逆伝播を通じてニューラルネットワークの各レイヤーの各ノードの連結加重値を更新することが可能である。更新される各ノードの連結加重値は、学習率(learing rate)によって変化量が決まることが可能である。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル(epoch)を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。
ニューラルネットワークの学習において、一般的に学習データは実際のデータ(つまり、学習されたニューラルネットワークを利用して処理しようとするデータ)の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータに係るエラーは増加する学習サイクルが存在し得る。過剰適合(over fitting)は、このように学習データについて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法を適用できる。過剰適合を防ぐためには、学習データを増加させる方法、正則化(regulaization)、学習の過程でネットワークのノードの一部を非活性化するドロップアウト(drop out)、バッチ正規化レイヤー(batch normalization layer)の活用等の方法を適用できる。
第1診断ネットワークは、例えば、単一モデル構造になっており、入力された医療データに対して、少なくとも1つ以上の所見に関する情報を含む第1診断情報を生成することが可能である。第1診断ネットワークは、入力された医療データから、第1所見又は第2所見に関する情報をそれぞれ含む複数の相異なる第1診断情報を出力することも可能である。第1診断ネットワークは、入力された医療データから、少なくとも1つ以上の特徴マップ(featuremap)を抽出し、特徴マップに基づき特徴ベクトルを演算した後、このような特徴ペクトルに基づき少なくとも1つ以上の所見情報を含む第1診断情報を演算することが可能である。第1診断ネットワークの学習方法及び推論方法については、後述で詳しく説明する。
第1診断情報に含まれている少なくとも1つ以上の所見情報の各々は、入力された医療データに存在する所見の種類を含むことが可能である。所見情報は、所見の存在確率(confidence score)、所見の位置、所見の領域のうち少なくとも1つの情報を含むことが可能である。
所見情報に含まれている所見の種類は、ディープラーニングの学習方法による分類(Classification)結果になり得る。上記分類は、入力された医療データと所見に対する一対一(one to one)分類又は一対多(one to many)分類をすべて含む。一実施例として、上記分類(Classification)は、入力された医療データを特定の所見に紐づけるための一対多分類になり得る。つまり、分離できる所見の数がN件存在する場合、プロセッサー(110)は、Nという数の分類クラスのうち、いずれか1つのクラスに分類されるように入力データを分類できる。上記分類クラスには、所見がないという意味を持つクラスを含むことが可能である。上記分類の結果は、所見の種類及び所見の存在確率(Confidence Score)を含むことが可能である。他の実施例において、上記分類(Classification)は、入力された医療データに対して学習されたすべての種類の所見に対して存在の有無を判断する一対一分類になり得る。つまり、プロセッサー(110)は、第1診断ネットワークを利用して分類することのできる所見の数がN件存在する場合、入力された医療データに対して、すべての所見に対する個別の存在確率又はすべての所見に対する存在の有無を演算できる。この場合、入力された医療データに対する第1診断情報は、最大N件の所見に係る情報を含むことが可能である。プロセッサー(110)は、入力された医療データに対して、第1所見の存在確率、第2所見の存在確率、......、第N所見の存在確率をそれぞれ演算することが可能である。上記分類を存在確率に基づく分類区間を設定して、多次元分類につなげることが可能である。上記分類は、予め決められたしきい値と、存在確率との比較を通じた二進法(binary)分類になり得る。上記分類のために、第1診断ネットワークは、複数のサブ第1診断ネットワークを含むことが可能である。
所見情報に含まれている所見の位置は、ディープラーニング基盤の第1診断ネットワークによるディテクション(detection)の結果になり得る。つまり、プロセッサー(110)が、入力された医療データにより学習された所見の種類の中に、特定の所見が存在すると判断した場合、当該部位を表示することが可能である。上記存在判断は、ネットワーク関数により導出される確率の値及び予め決められたしきい値に基づいて実行することができる。上記当該部位の表示は、予め決められた形状のbounding boxを利用して実行することが可能である。
所見情報に含まれる所見の領域に係る情報は、ディープラーニング基盤の第1診断ネットワークにおける学習の結果やネットワークを通じたセグメンテーション(Segmentation)の結果になり得る。つまり、プロセッサー(110)が、入力された医療データから所見情報を出力する場合、当該所見に関する病変領域を含むピクセルを、他のピクセルとは見え方が異なるように表示して所見情報を出力することが可能である。
本開示の一実施例において、プロセッサー(110)は、第1診断ネットワークにおいて、入力された医療データに関する特徴ベクトルを演算し、上記入力された医療データに関する特徴ベクトルに基づき、第1診断情報を演算することが可能である。つまり、プロセッサー(110)は、第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき、特徴ベクトル(feature vector)を演算し、それに基づき、第1診断情報を出力することが可能である。上記第1診断ネットワークの演算結果は、第1診断ネットワークによる内部演算過程において、各レイヤーから導出される、入力された医療データに対する特徴マップ(feature map)及び特徴ベクトル(feature vector)を含むことが可能である。
プロセッサー(110)は、第1診断ネットワークによる演算の結果として、その内部演算過程において生成される特徴マップ(feature map)に少なくとも部分的に基づき、入力された医療データに関する特徴ベクトルを演算することが可能である。上記特徴ベクトル生成の元となる特徴マップ(feature map)は、第1診断ネットワークに含まれている各レイヤーから出力された少なくとも1つ以上の内部出力データのうち1つになり得る。第1診断ネットワークに含まれている各レイヤーは、第1診断ネットワークの内部に存在する畳み込み(Convolutional)レイヤー、プーリング(Pooling)レイヤー、全接続(Fully Connected)レイヤー等を含む。前述のレイヤーの例示は、一例にすぎず、医療データから所見情報を生成するための第1診断ネットワーク構造内部のあらゆるデータを、何ら制限なく含む。
第1診断ネットワーク内部において、最後のレイヤーに近づくほど、入力された医療データから、より抽象化が進んでいる内部出力データを演算することが可能である。また、最後のレイヤーに近づくほど、内部出力データは、最終所見情報を生成するために必要な情報だけを含むことが可能になる。従って、入力された医療データに関する特徴ベクトルは、第1診断ネットワークの内部に存在する少なくとも1つ以上の内部出力データのうち、最後に導出された特徴マップに基づき生成されることが可能である。入力された医療データに関する特徴ベクトル生成の元となる特徴マップは、第1診断ネットワークにおいて、入力された医療データから所見の最終分類を行うための全接続(Fully Connected)レイヤーに入力される特徴マップになり得る。ただし、第1診断ネットワークの内部において、最後のレイヤーに近づくほど、入力された医療データにおいてデータ損失が発生する可能性があるため、入力された医療データに関する特徴ベクトルは、第1診断ネットワークの内部に存在する少なくとも1つ以上の内部出力データのうち、予め決められた位置の特徴マップに基づき生成されることも可能である。
第1診断ネットワークの演算結果に含まれている少なくとも1つ以上の特徴マップは、予め決められたチャンネル数(C)、予め決められた高さ(H)及び予め決められた幅(W)からなる体積を有する配列で表現されることが可能である。特徴マップを配列で表現する場合、推論過程において、最初に入力されたデータに関する位置情報等を含む主な情報の損失を避けることが可能である。この場合、上記特徴マップに基づき生成された特徴ベクトルも、予め決められたチャンネル数(C')、予め決められた高さ(H')及び予め決められた幅(W')を持つ配列になり得る。この場合、特徴ベクトルの、予め決められた高さ(H')と予め決められた幅(W')とは、それぞれ1であり、特徴ベクトルの次元は、予め決められたチャンネル数(C')の大きさと同一のものになり得る。
プロセッサー(110)は、特徴マップに基づき、特徴ベクトルを生成するために平坦化(Flatten)レイヤーを利用してデータ平坦化(Flatten)を行うことが可能である。この場合、プロセッサー(110)は、3次元の配列データタイプである上記特徴マップを人工ニューラルネットワークの最後に存在する全接続ニューラルネットワーク(Fully Connected Neural Network)に入力するために、特徴マップ内部の要素を予め決められた順番に沿って一列に並べることで、1次元データに変換する作業を行うことが可能である。つまり3次元のデータが1次元データに変換されるということである。プロセッサー(110)は、上記変換された1次元データを特徴ベクトルとして利用することが可能である。他の実施例として、プロセッサー(110)は、上記特徴マップに基づき特徴ベクトルを生成するために、特徴マップに対して別途のプーリング(Pooling)を実行した後、次元が削減された特徴マップに基づき、入力された医療データに関する特徴ベクトルを生成することも可能である。具体的にプロセッサー(110)は、グローバル・プーリング(Global Pooling)を利用し、特徴マップから次元を削減した後、入力された医療データに関する特徴ベクトルを抽出することが可能である。
本開示の一実施例において、プロセッサー(110)は、第1診断ネットワークの演算に含まれている特徴マップ(feature map)に対してグローバル・プーリング(Global Pooling)を実行した結果に基づき、少なくとも1つ以上の、入力された医療データに関する特徴ベクトルを演算することが可能である。
グローバル・プーリングは、グローバル平均プーリング(Global Average Pooling)とグローバル最大プーリング(Global Maximum Pooling,GMP) とを含む。グローバルプーリングは、各チャンネルに存在する複数のパラメータの値からチャンネルを代表する1つの代表値を生成する機能を意味する。グローバル平均プーリングは、1つのチャンネルの中に存在するパラメータの値の平均値を代表値に変換できる。グローバル最大プーリングは、1つのチャンネルの中に存在するパラメータの値の最大値を代表値に変換できる。例えば、第1診断ネットワークの内部に中間データとして存在する特徴マップのうち最後に導出された特徴マップの大きさが、512(C)x5(H)x5(W)の場合、この特徴マップに対してグローバルプーリングを適用した場合に導出される特徴ベクトルの大きさは、512(C')x1(H')x1(W')になり得る。プロセッサー(110)は、グローバルプーリングを利用し、入力された医療データに関する特徴ベクトルを抽出し、これに基づき、第1診断情報を出力することが可能である。プロセッサー(110)は、グローバルプーリングを利用することで、各特徴マップからチャンネルごとに有意味な値を計算することが可能である。プロセッサー(110)は、グローバルプーリングを利用することで、3次元の大きさを有する配列形態の特徴マップを全接続(FC)レイヤーに連結するためのデータ平坦化(flatten)作業を省略できる。プロセッサー(110)は、特徴マップの次元をグローバルプーリングを利用して削減することで、第1診断情報の出力のための加重値(weight)、バイアス(bias)等を含むパラメータ数を減らし、パラメータ保存に使われるメモリー空間を節減できる。例えば、特徴マップの大きさが5x5x5の場合、データ平坦化作業を通じて特徴ベクトルを抽出すると、特徴ベクトルの大きさは125になる。一方、グローバルプーリングを通じて特徴ベクトルを生成すると、特徴ベクトルの大きさは5になる。これは、メモリー空間を節約できるだけでなく、入力データに対するネットワーク関数のデータ過学習(overfitting)問題を防止する効果を持つ。
本開示の一実施例において、プロセッサー(110)は、相異なるの種類の所見を含む第1診断情報を演算する相異なる2つ以上のサブ第1診断ネットワークを含むことが可能である。例えば、所見Aに関するサブ第1診断ネットワークは、所見Aがラベリングされている学習データセットを通じて学習され、所見Bに関するサブ第1診断ネットワークは、所見Bがラベリングされている学習データセットを通じて学習されることが可能である。各サブ第1診断ネットワークは、当該所見の有無に関する二進分類、所見の位置、領域に関する分類等を実行することが可能である。各サブ第1診断ネットワークが演算できる所見の数は、1つ以上であり、数の上限に関する制限はない。
サブ第1診断ネットワークは、プロセッサー(110)が第1診断ネットワークを通じて、入力された医療データから確認しようとする所見の数だけ存在することが可能である。この場合、各サブ第1診断ネットワークが演算する第1診断情報は、それぞれ1つの所見の存在確率を含むことが可能である。他の実施例において、サブ第1診断ネットワークの数は、所見の数より少ない場合がある。この場合、各サブ第1診断ネットワークが演算する第1診断情報は、2つ以上の所見に関する情報を含むことが可能である。また、サブ第1診断ネットワークの数は、所見の数より多く、少なくとも1つ以上のサブ第1診断ネットワークが、アンサンブル(ensemble)され、1つの所見情報を含む第1診断情報を生成することも可能である。前述のサブ第1診断ネットワークの数は、一例に過ぎず、サブネットワークの数による効率と、第1診断情報の正確性とを比較し、ユーザーが選択し得るすべての数を含む。
第1診断ネットワークは、普遍的特徴を抽出したり、前処理動作を実行するために、汎用的特徴抽出ネットワークを含むことが可能である。汎用的特徴抽出ネットワークは、入力された医療データから特定の所見と関係なく存在する一般的な特徴を抽出した後、入力データに対して前処理動作を実行することが可能である。汎用的特徴抽出ネットワークが、一般的な特徴を抽出する前処理動作は、例えば、1つ以上のすべての所見に関するサブ第1診断ネットワークが、入力データのうち、血管を含む領域に対してのみ、第1診断情報を生成する場合、血管を含む領域をクロップ(crop)する動作を含むことが可能である。他の例として、1つ以上のすべての所見に関するサブ第1診断ネットワークが、共通して、関心を持たない領域を、入力データから取り除く動作等を含むことが可能である。汎用的特徴抽出ネットワークは、入力された医療データに存在するノイズを取り除くことも可能である。また、汎用的特徴抽出ネットワークは、最初に入力された医療データを、個別所見に対するサブ第1診断ネットワークに入力する前に、入力された医療データを、潜在空間にマッピング(mapping)することが可能である。例えば、RGBの値を持つ、入力された画像データの大きさが、512x512x3の場合、汎用的特徴抽出ネットワークは、線の太さ、線の種類、画像のテクスチャー等を含む普遍的特徴を抽出するために、上記入力された画像データを、512x512x1024の大きさを有する潜在空間上の多次元配列でマッピング(mapping)することが可能である。プロセッサー(110)が、このような普遍的特徴を汎用的特徴抽出ネットワークを通じて抽出する場合、サブ第1診断ネットワークの各々が、最初の入力に対して、同じ作業を実行する必要がなくなり、個別サブネットワークは、各所見に必要な特徴の抽出に集中して、コンピューティングリソースを集中するようになるため、全体ネットワークの性能向上につながる。プロセッサー(110)は、所見の各々に対応するサブ第1診断ネットワークを、前述の汎用的特徴抽出ネットワークに並列的に連結し、相異なる1つ以上の、入力された医療データに関する特徴ベクトルを、所見別に抽出し、各所見情報を含む第1診断情報を出力できる。所見の各々に対応するサブ第1診断ネットワークは、学習させようとするデータによって学習データにラベリングされている所見の数だけ存在することが可能である。前述の第1診断ネットワークの構造に関する例は、一例に過ぎず、本開示を限定するものではない。本開示において、第1診断ネットワークは、最終的に、入力された医療データに対して少なくとも1つ以上の所見情報を含む、第1診断情報を演算できる、あらゆる構造を制限なく含む。
本開示の一実施例において、プロセッサー(110)は、第1診断ネットワークにおいて演算された、入力された医療データに関する特徴ベクトルに基づき、第2診断情報を出力するように学習されている第2診断ネットワークを利用し、入力された医療データに対して第2診断情報を演算することが可能である。第2診断情報は、入力された医療データに対する最終診断結果を含むことが可能である。第2診断情報は、入力された医療データに係る、疾病の種類、疾病の有無、疾病の存在確率等を含むことが可能である。
本開示の一実施例において、プロセッサー(110)は、医療データに対する診断関連情報を提供するために、少なくとも1つ以上の所見情報がラベリングされている医療データセット(つまり、第1学習データセット)及び少なくとも1つ以上の疾病情報がラベリングされている医療データ(つまり、第2学習データセット)を取得できる。本開示において、医療データは、病変の位置を確認したり、疾病の診断を下す際、その根拠又は裏付けになり得るあらゆる種類の医療データを含む。
プロセッサー(110)は、コンピューティング装置の内部メモリー(130)、外部メモリー又はエンティティから、上記2種類の学習データセットを取得できる。プロセッサー(110)が取得する第1学習データセット及び第2学習データセットは、少なくとも1つ以上の同一の医療データに対し、少なくとも1つ以上の所見情報及び少なくとも1つ以上の疾病情報がラベリングされている医療データを含むことが可能である。上記少なくとも1つ以上の医療データに対し、所見情報及び疾病情報がすべてラベリングされているデータセットから学習データセットを取得する場合、プロセッサー(110)は、所見情報がラベリングされている第1医療データを第1学習データセットとして取得し、疾病情報がラベリングされている第1医療データを、第2学習データセットとして取得できる。プロセッサー(110)は、少なくとも1つ以上の相異なる医療データを含む第1医療データ及び第2医療データに対し、それぞれ所見情報及び疾病情報がラベリングされている第1学習データセット及び第2学習データセットを取得することも可能である。
本開示における他の実施例において、プロセッサー(110)は、第1学習データに含まれている医療データを入力とし、少なくとも1つ以上の所見情報を含む、第1診断情報を出力するように第1診断ネットワークを学習させることが可能である。つまり、プロセッサー(110)は、ディープラーニング基盤の第1診断ネットワークが第1学習データを入力し、少なくとも1つ以上の所見に対する所見情報を出力するように、学習させることが可能である。本記事の一実施例における所見情報は、当該学習データに対する医学的判断の根拠となり得る情報を含むことが可能であり、例えば当該学習データに対する所見の存在の有無に係る情報、所見の存在位置に係る情報又は所見の領域に係る情報のうち、少なくとも1つを含むことが可能である。
本開示の一実施例において、プロセッサー(110)は、第2学習データに含まれている医療データを、予め学習された上記第1診断ネットワークに入力し、入力された医療データに関する特徴ベクトルを演算できる。さらに、プロセッサー(110)は、上記入力された医療データに関する特徴ベクトルを、第2診断ネットワークに入力し、少なくとも1つ以上の疾病の診断確率を含む、第2診断情報を出力するように、第2診断ネットワークに含まれているパラメータを学習させることが可能である。
プロセッサー(110)は、第2学習データに含まれている医療データを、上記ディープラーニング基盤の第1診断ネットワークに入力し、少なくとも1つ以上の所見に係る、入力された医療データに係る特徴ベクトルを演算し、上記演算された特徴ベクトルに基づき、第2診断情報を出力するように、第2診断ネットワークを学習させることが可能である。つまり、第2診断ネットワークの学習時に、第1診断ネットワークは、すでに学習が完了し内部パラメータ及びモデルが固定された状態で第2診断ネットワークの学習に提供されることが可能である。
以下、プロセッサー(110)が、第1診断ネットワーク及び第2診断ネットワークに含まれている内部パラメータを更新又は学習させる方法について、数式を用いて具体的に説明する。第1診断ネットワークは、数1に沿って、その最終出力である第1診断情報に含まれている少なくとも1つ以上の所見の存在確率を演算できる。
Figure 2023527136000002
xは入力された医療データ、y_f(x)は入力された医療データに対する第1診断ネットワークの出力である第1診断情報に含まれている特定の所見(f)の存在確率を示す。fは{f_1,f_2,...,f_F}で表現される所見集合の元としての個別所見を意味する。g_f(x)∈R^Cは、第1診断ネットワークに入力された入力データから演算された、入力された医療データに関する特徴ベクトルを現している。w_fは、個別所見加重値ベクトルを、b_fは個別所見バイアス値を表している。σは、活性化関数を表している。
上記入力された医療データに関する特徴ベクトル(g_f(x))は、特定の所見(f)ごとに存在することが可能である。上記入力された医療データに関する特徴ベクトルは、少なくとも2つ以上の所見の存在確率を計算するための特徴ベクトルになり得る。本実施例においては、個々の所見ごとに、入力された医療データに関する特徴ベクトル(g_f(x))を生成すると仮定している。入力された医療データに関する特徴ベクトルは、任意の自然数C次元を有する実数ベクトルとして表すことが可能である。
第1診断ネットワークは、入力された医療データに基づき、1つ以上の所見情報を含む第1診断情報を生成するために、各所見ごとに個別所見加重値ベクトル(w_f)及び個別所見バイアス値(b_f)を含むことが可能である。第1診断ネットワークは、入力された医療データ関する特徴ベクトルに個別所見加重値ベクトル(w_f∈R^C)を転置(w_f^T)して乗じた後、個別所見バイアス値(b_f∈R)を加算し、それを活性化関数(activation function,σ)に入力し、第1診断情報に含まれている少なくとも1つ以上の所見の存在確率を計算することが可能である。第1診断ネットワークは、上記活性化関数に基づく、最終分類関数を含むことが可能である。上記個別所見加重値ベクトル(w_f)及び個別所見バイアス値(b_f)は、第1診断ネットワークが特徴ベクトルから特定の所見(f)の存在確率を導出するために利用されるパラメータになり得る。上記個別所見加重値ベクトル(w_f)及び個別所見バイアス値(b_f)は、所見ごとに存在する固有のパラメータになり得る。上記パラメータは、学習によって更新またはトレーニングされることが可能である。
上述の例示のように、プロセッサー(110)は、入力された医療データに基づき、少なくとも1つ以上の所見情報を含む、第1診断情報を出力するために、第1診断ネットワークに含まれている、各個別所見加重値ベクトル(w_f)及び第1診断ネットワークに含まれている個別所見バイアス値(b_f)を学習させることが可能である。また、それに伴う逆伝播の過程において、プロセッサー(110)は、入力データ(x)に対し、入力された医療データに関する特徴ベクトル(g_f(x))を演算するために、第1診断ネットワークの内部パラメータを学習及び更新することが可能である。前述の第1診断ネットワークの学習方法に関する例示において、活性関数の種類は一例にすぎず、本開示を制限するものではない。
本開示の一実施例において、プロセッサー(110)は、前述のように、ディープラーニング基盤の第1診断ネットワークを学習した後、学習された第1診断ネットワークに含まれている内部パラメータの値を固定し、予め決められたDという数の疾病に対して第2診断ネットワークを学習することが可能である。プロセッサー(110)は、1つ以上の疾病に関する情報がラベリングされている医療データ、つまり第2学習データセットを、上記ディープラーニング基盤の第1診断ネットワークに入力し、少なくとも1つ以上の、入力された医療データに関する特徴ベクトルを演算することが可能である。プロセッサー(110)は、上記演算された、入力された医療データに関する特徴ベクトルを、第2診断ネットワークに入力し、少なくとも1つ以上の疾病情報を含む、第2診断情報を取得することが可能である。具体的な例示として、第2診断ネットワークが、第2診断情報を出力するために学習する目的関数の具体的な数式は、数2の通りである。
Figure 2023527136000003
xは入力された医療データ、f_d(x)は第2診断情報の、入力された医療データに対する出力である第2診断情報に含まれている特定の疾病(d)の診断確率を意味する。dは、予め決められたDという数の疾病からなる集合の元として、個別の疾病を表している。fは、少なくとも1つ以上の個別所見を表している。g_f(x)∈R^Cは、プロセッサー(110)が、入力された医療データ(x)を、第1診断ネットワークに入力した後、第1診断ネットワークにおいて演算された、入力された医療データに関する特徴ベクトルを表している。入力された医療データに関する特徴ベクトル(g_f(x))は、2つ以上の所見の各存在確率を計算するための特徴ベクトルになり得る。v_{d,f}は、疾病-所見加重値ベクトルを表している。c_dは、疾病によるバイアス値を表している。σは、活性化関数を表している。
第2診断ネットワークは、1つ以上の所見に係る、入力された医療データに関する特徴ベクトルに基づき、第2診断情報を生成するためにすべての疾病(d)-所見(f)の組み合わせごとに疾病(d)-所見(f)加重値ベクトル(v_{d,f})及びすべての疾病ごとに疾病によるバイアス値(c_d)を含むことが可能である。
第2診断ネットワークは、上記入力された医療データに関する特徴ベクトル(g_f(x))に、疾病-所見バイアス値ベクトル(v_{d,f}∈R^C)を各所見(f∈{f_1,f_2,...,f_F})ごとに乗ずることが可能である。第2診断ネットワークは、上記入力された医療データに関する特徴ベクトル(g_f(x))に、疾病-所見バイアス値ベクトル(v_{d,f}∈R^C)を転置(
Figure 2023527136000004
)し、各所見(f∈{f_1,f_2,...,f_F})ごとに乗じた後、合算(Σ)し、当該疾病によるバイアス値(c_d∈R)を加算し、それを活性化関数(activation function,σ)に入力し、第2診断情報を出力できる。第2診断ネットワークは、上記活性化関数に基づく、最終分類関数を含むことが可能である。第2診断情報は、少なくとも1つ以上の疾病(d)の診断確率を含むことが可能である。上記疾病-所見加重値ベクトル(v_{d,f})及び疾病によるバイアス値(c_d)は、第1診断ネットワークにより、最初に入力された医療データから抽出された、入力された医療データに関する特徴ベクトル(g_f(x))を、第2診断ネットワークに改めて入力し、最終診断結果を導出するために使用されるパラメータになり得る。疾病-所見加重値ベクトル(v_{d,f})は、疾病-所見の組み合わせごとに存在する固有のパラメータになり得る。疾病のよるバイアス値(c_d)は、個々の疾病ごとに存在する固有のパラメータになり得る。上記パラメータは、学習によって更新またはトレーニングされることが可能である。プロセッサー(110)は、学習された第1診断ネットワークを取得し、第1診断ネットワークモデルの内部パラメータを固定した上で、最初の医療データを第1診断ネットワークに入力してから、第1診断ネットワークから演算される、入力された医療データに関する特徴ベクトル(g_f(x))に基づき、第2診断ネットワークを学習できる。
前述のように、プロセッサー(110)が、第2診断ネットワークを学習する際、先に第1診断ネットワークを学習させてから、学習済みの第1診断ネットワークから、入力された医療データに関する特徴ベクトルを抽出し、これに基づいて、第2診断ネットワークを学習するという本開示には、次のような長所がある。第1に、入力された医療データに関する特徴ベクトルは、次元を有する配列に表現され、所見を表現するとき求められる病変の位置情報を失うことがない。言い換えると、上記特徴ベクトルは、最初に入力された医療データに所見が存在するか否かを確認できるだけでなく、所見が存在する場合は、所見の位置、所見の領域、第1診断ネットワークが所見を判断するとき根拠となったデータ等を内部パラメータの値として維持するため、これらをすべて第2診断ネットワークに提供することで、単純に所見有無の最終確率だけを伝達することより、多くの情報を損失なく伝達することが可能である。従って、第2診断ネットワークが、疾病と所見との関係を推論するにあたり、良質の入力データが提供されるため、推論性能の向上につながる。第2に、入力された医療データに関する特徴ベクトルを第1診断ネットワークと第2診断ネットワークが共有することにより、プロセッサー(110)が、第2診断ネットワークの出力によって診断された疾病に対する少なくとも1つ以上の所見の寄与度を、算出できるようになる。これは、医療診断モデルの全体を通して、単純にある疾病に対して、第2診断情報を生成することにとどまらず、その疾病に対する診断の判断の根拠を示すことができるという効果がある。
本開示の一実施例において、プロセッサー(110)は、第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、上記入力された医療データに対して演算された、上記第1診断情報及び第2診断情報を含む、相関関係情報を生成又は出力できる。上記相関関係情報は、入力された医療データに対して演算され第1診断情報、入力された医療データに対して演算された第2診断情報、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の寄与度、上記寄与度を視覚化したデータ、オッズ比(odds ratio)、オッズ比に関するマトリックス(odds ratio matrix)、第1診断情報又は第2診断情報を、入力された医療データに示したクラス活性化マップ(Class Activation Map)等を含むことが可能である。
本開示の一実施例において、第1診断情報及び第2診断情報を含む相関関係情報は、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見情報を寄与度を含むことが可能である。プロセッサー(110)は、寄与度を算出することで、入力された医療データから第2診断情報に含まれている特定の疾病が出力される際、個別所見の存在確率を含む第1診断情報が及ぼす影響を定量化できる。つまり、単純に、第2診断情報の根拠となる第1診断情報又は所見情報を提供するだけでなく、第1診断情報に含まれている1つ以上の所見の存在の各々が第2診断情報に及ぼす影響の大きさを比較できるように、その度合いを数値化して示すことが可能である。
プロセッサー(110)は、第1診断ネットワークにおいて演算された、入力された医療データに関する特徴ベクトルと、第1診断ネットワークに含まれている最終分類関数のパラメータと、第2診断ネットワークに含まれている最終分類関数のパラメータとのうち、少なくともいずれか1つに基づき、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見情報の寄与度を算出できる。第1診断ネットワークに含まれている最終分類関数又は第2診断ネットワークに含まれている最終分類は、シグモイド(sigmoid)関数、Leaky ReLU関数等の、逆関数が存在する線形分類関数を制限なく含む。上記第1診断ネットワークに含まれている最終分類関数のパラメータは、第1診断ネットワークに含まれている個別所見加重値ベクトル(w_f)及び個別所見バイアス値(b_f)を含むことが可能である。上記第2診断ネットワークに含まれている最終分類関数のパラメータは、疾病(d)-所見(f)加重値ベクトル(v_{d,f})及び疾病によるバイアス値(c_d)を含むことが可能である。プロセッサー(110)は、学習された第1診断ネットワーク又は第2診断ネットワークの中に存在する線形分類関数のパラメータの値に少なくとも一部基づき、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見情報の寄与度を算出するために、寄与度を算出するための別途の学習データセット又は別途のネットワーク関数を追加で必要としない。また、本発明が開示しているように寄与度を算出すると、入力された医療データから第1診断情報又は第2診断情報を出力すると同時に、これら2つの診断情報の相関関係情報を知ることが可能である。
以下、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見情報の寄与度を算出する方法について述べる。
本開示の一実施例において、プロセッサー(110)は、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見情報の寄与度をオッズ(odds)に基づき算出することが可能である。本明細書において、オッズ(odds)は、数3と同じ意味であり、相互互換できる。
Figure 2023527136000005
上記数3において、Pは、特定の事象が起こる確率を意味することが可能である。つまり、本明細書を通して、オッズは、「事象が起こる確率と、事象が起こらない確率との比」を意味することが可能である。例えば、眼科装備を通じて眼球を撮影した映像に対し、人工ニューラルネットワークが、緑内障だと判断する確率が80%の場合、緑内障ではない可能性が20%であるため、緑内障という診断情報に対する入力データのオッズは、0.8/(1-0.8)=0.8/0.2=4で表すことが可能である。
本開示の一実施例において、プロセッサー(110)は、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度を、第1部分寄与度と第2部分寄与度とのうち、少なくとも1つに基づき算出することが可能である。第1部分寄与度は、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている全体所見による影響を示す値を意味することが可能である。第2部分寄与度は、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見による影響を示す値を意味することが可能である。
プロセッサー(110)は、第1部分寄与度を、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている全体所見のオッズ(odds)に基づき、算出することが可能である。本明細書において、第2診断情報に含まれている、少なくとも1つの疾病に対する、第1診断情報に含まれている全体所見のオッズ(odds)は、入力された医療データにおいて、特定の疾病(d)が存在するオッズ(odds)と同じ意味に用いられることが可能である。第1部分寄与度は、入力された医療データに、特定の疾病(d)が存在する確率と、存在しない確率との比で表すことが可能である。本開示において、プロセッサー(110)が第1部分寄与度を算出する方法は、一例として、以下の数4に基づくものになり得る。
Figure 2023527136000006
このように、プロセッサー(110)により算出される第1部分寄与度は、疾病(d)に関する情報に対する、入力された医療データ(x)のオッズ(O(d;x))で表現することが可能である。つまり、プロセッサー(110)は、学習された第1診断ネットワーク及び学習された第2診断ネットワークを含む、医療診断モデルが出力する、少なくとも1つの疾病(d)に関する存在確率(y_d(x))を含む第2診断情報に基づき、第1部分寄与度を計算できる。そして、数4の最後の等号の右側の数式は、活性関数としてシグモイド関数(σ(x))を使う場合、数5及び数6から誘導することが可能である。
Figure 2023527136000007
Figure 2023527136000008
従って、数4乃至数6を参照し、プロセッサー(110)は、学習された第1診断ネットワーク及び学習された第2診断ネットワークを含む医療診断モデルに、医療データを入力し、第1診断ネットワークから抽出される少なくとも1つ以上の所見(f)に係る、入力された医療データに関する特徴ベクトル(g_f(x))と、第2診断ネットワークに含まれている最終分類関数のパラメータとしての、疾病-所見加重値ベクトル(v_{d,f})と、第2診断ネットワークに含まれている最終分類関数のパラメータとしての、疾病によるバイアス値(c_d))とのうち、少なくとも1つに基づき、第1部分寄与度を算出できる。
上述のように、プロセッサー(110)は、別途の外部装置又は追加入力を必要とせず、入力された医療データに対して疾病の存在を推論する動作の他、入力された医療データに疾病が存在するオッズに基づく第1部分寄与度を算出する動作を内部パラメータの値を利用した演算に基づき、追加で行うことが可能である。
次に、プロセッサー(110)が、第2部分寄与度を算出する方法について説明する。第2部分寄与度は、診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見による影響を示す値を意味することが可能である。本開示の一実施例において、プロセッサー(110)は、第2部分寄与度を、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)に基づき算出することが可能である。
本明細書において、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)は、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の仮想の存在確率に基づくオッズ(odds)と同じ意味として、相互互換できる。上記仮想オッズは、入力データから、特定の種類の疾病を含む第2診断情報が演算された場合、そのような第2診断情報の演算に寄与した、第1診断情報に含まれている各所見の仮想の存在確率に基づくオッズを意味することが可能である。
例えば、入力された医療データに対する、第2診断情報として、糖尿病網膜症(DR, Diabetic Retinopathy)が診断された場合、プロセッサー(110)が診断したそのような第2診断情報は、網膜出血(Hmr, Hemorrhage)及び硬性滲出物(HE, Hard Exudate)を含む、複数の所見に対する存在確率を含む、第1診断情報に基づくものになり得る。この場合、第2診断情報(糖尿病網膜症)に対する第1診断情報(網膜出血、硬性滲出物)に含まれている1つ以上の所見情報の仮想オッズは、網膜出血という所見が100%存在する状況を仮定した仮想オッズ、網膜出血という所見が0%存在する状況を仮定した仮想オッズ、網膜出血という所見が予め決められたp%存在する状況の仮想オッズを含むことが可能である。また、第2診断情報(糖尿病網膜症、DR)に対する第1診断情報(網膜出血、硬性滲出物)に含まれている1つ以上の所見情報の仮想オッズは、網膜出血という所見が100%存在し、硬性滲出物という所見が0%存在する状況の仮想オッズを含むことが可能である。つまり、本明細書において、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の仮想オッズは、プロセッサー(110)により、入力データから第2診断情報が演算されるとき、その元となる第1診断情報に含まれている少なくとも1つ以上の所見の存在確率を仮定的に設定し、それに基づき第2診断情報が導出されるオッズを意味することが可能である。
以下、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)を計算する方法について述べる。以下、本開示の一例として、第1診断情報に含まれている1つの所見に関する存在確率を調整し、それに基づく仮想オッズを計算する方法について述べるが、これは一例にすぎず、本開示は、第2診断情報に対し第1診断情報に含まれている複数の所見の存在確率を調整し、それに基づく仮想オッズを計算する方法まで、制限なく含む。
プロセッサー(110)は、上記仮想オッズ(counterfactual-odds)を演算するために、第1診断ネットワークにおいて演算される、入力された医療データに関する特徴ベクトルにおける特定の所見の影響を調整できる。プロセッサー(110)は、上記特徴ベクトルを、2つの方向の相異なるベクトルに分解する演算に基づき、入力された医療データに関する特徴ベクトルにおいて、特定の所見の影響を調整できる。プロセッサー(110)は、上記特徴ベクトルを、個別所見加重値ベクトル(w_f)と平行する方向の第1ベクトルと、その他の方向の第2ベクトルとに分解することで、入力された医療データに関する特徴ベクトルにおいて、特定の所見の影響を調整できる。上記その他の方向の第2ベクトルは、個別所見加重値ベクトル(w_f)と直交する方向のベクトルを含むことが可能である。プロセッサー(110)が、特徴ベクトルを、相異なる2つの方向に分解する過程は、数7に基づき行われることが可能である。
Figure 2023527136000009
数7において、最初の等号の右側の数式は、入力された医療データに関する特徴ベクトル(g_f(x))を、個別所見加重値ベクトル(w_f)と平行する方向の第1ベクトル(
Figure 2023527136000010
)と、その他の方向の第2ベクトル(
Figure 2023527136000011
)に分解したものを示している。上記数7において、最後の等号の右側の数式の第1項は、前述の数1において活性関数として使われたシグモイド関数の逆関数(σ^(-1))を両辺に取り、各項を移項することで、導出することが可能である。つまり、数7において、最後の等号の右側の数式の第1項は、特徴ベクトル(g_f(x))において、個別所見加重値ベクトル(w_f)と平行する方向の第1ベクトルを意味することが可能である。このように、個別所見加重値ベクトル(w_f)と平行する第1ベクトルは、プロセッサー(110)が、入力された医療データを第1診断ネットワークに入力した後、ネットワーク関数によって導出される特徴ベクトル及び出力される第1診断情報に含まれている個別所見の存在確率(y_f(x))に基づき、計算することが可能である。そして、数7において、最後の等号の右側の数式の第2項(g_{f⊥w_f}(x))は、特徴ベクトルにおいて、上記その他の方向の第2ベクトルを意味することが可能である。上記第2ベクトルは、個別所見加重値ベクトル(w_f)と直交する成分ベクトルを意味ことが可能である。上記第2ベクトルは、上記特徴ベクトル(g_f(x))と、上記第1ベクトルとの差に基づき計算することが可能である。
本開示の一実施例において、プロセッサー(110)が第2診断情報に対して、複数の所見の存在確率を調整し、それに基づく仮想オッズを計算する場合、プロセッサー(110)は、特徴ベクトルを、相異なる複数の方向に分解することが可能である。具体的に、f_1とf_2で表現することのできる2つの所見の存在確率を調整し、それに基づく仮想オッズを計算するために、プロセッサー(110)は、入力された医療データに関する特徴ベクトル(g_f(x))を3つの方向に分解することが可能である。具体的に、プロセッサー(110)は、入力された医療データに関する特徴ベクトル(g_f(x))を、f_1と平行する方向の第3ベクトルと、f_2と平行する方向の第4ベクトルと、その他の方向の第5ベクトルとに分解することが可能である。上記、第3ベクトルは、
Figure 2023527136000012
のように計算することが可能であり、上記第4ベクトルは、
Figure 2023527136000013
のように計算することが可能である。その他第5ベクトルは、上記特徴ベクトル(g_f(x))と、第3ベクトル及び第4ベクトルの差に基づき計算することが可能である。
プロセッサー(110)は、前述の特徴ベクトルの分解方法に基づき、第1診断情報に含まれている所見(f)の存在確率(y_f(x))を変更することで、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている、1つ以上の所見の仮想オッズを、算出できる。プロセッサー(110)は、第1診断ネットワークから抽出された、入力された医療データに関する特徴ベクトル(g_f(x))を分解した後、第1診断ネットワークの出力である第1診断情報に含まれている特定の所見の存在確率(y_f(x))を、他の確率値(p)に置換し、その変更された確率値に基づく第2診断情報のオッズ(odds)を計算できる。プロセッサー(110)は、特徴ベクトルにおいて、特定の所見の影響を排除又は調整できる。例えば、特定の所見(f)の存在確率が、0に置換され、所見の影響が排除された特徴ベクトルは、数8で表すことが可能である。
Figure 2023527136000014
つまり、プロセッサー(110)は、特徴ベクトルを、相異なる2つの方向に分解した後、活性関数の逆関数(σ^(-1)に入力される、特定の所見の存在確率(y_f(x))を、他の確率値(p)である0に置換することで、特徴ベクトルにおける特定の所見の影響を排除することが可能である。他の例において、活性関数の逆関数(σ^(-1))に入力される特定の所見の存在確率(y_f(x))を、確率値(p)1に置換する場合、特定の所見が必ず存在する状況の存在確率に基づく特徴ベクトルを得ることが可能である。さらに、活性関数の逆関数(σ^(-1))に入力される特定の所見の存在確率(y_f(x))を、任意の予め決められた確率値(p)に設定した場合、そのような所見の存在確率に基づく特徴ベクトルを得ることが可能である。前述のように、特徴ベクトルにおいて、特定の所見の影響は、プロセッサー(110)のネットワークの中の関数及びパラメータを利用した演算により調整される。
以下、特定の所見の各々の存在確率に基づく特徴ベクトルから、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の仮想オッズを算出する方法について述べる。
本明細書において、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)は、入力された医療データ(x)に対して、特定の疾病(d)の情報を含む第2診断情報に対する第1診断情報に含まれている個別所見(f)の仮想の存在確率(p)に基づくオッズ(C(d,f,p;x))と同じ意味として、その呼称は相互互換できるものとする。プロセッサー(110)は、寄与度算出の元となる第2部分寄与度の算出のために、上記仮想オッズを利用できる。個別所見の仮想の存在確率(p)は、0若しくは1になり得るだけでなく、0.5や0.7等の、0と1の間の任意の値にもなり得る。プロセッサー(110)が第2部分寄与度の算出のために参照する第2診断情報に含まれている1つの疾病に対する第1診断情報に含まれている1つ以上の所見の仮想オッズは、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見が必ず存在する状況の確率(p=1)に基づくオッズと、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見が絶対的に存在しない状況の確率(p=0)に基づくオッズと、第2診断情報に含まれている1つの疾病に対する第1診断情報に含まれている1つ以上の所見の予め決められた存在確率(0<p<1)に基づくオッズとのうち、少なくとも1つを含むことが可能である。上記第1診断情報は、複数の所見に関する仮想の存在確率を含むことが可能である。特定の所見の影響が排除されている場合の第2部分寄与度、つまり、入力された医療データ(x)に対して特定の疾病(d)の情報を含む第2診断情報に対する第1診断情報に含まれている個別所見(f)の仮想の存在確率(p)に基づくオッズ(C(d,f,p;x))は、数9のように計算することが可能である。
Figure 2023527136000015
数9は、前述の数4を参照して説明することが可能である。数9は、上記v^T_{d,i}g_i(x)項を、i≠fの場合に、各所見による値を順次足していき、iが特定の所見である場合(i=f)にのみ、当該所見の影響が排除された項(
Figure 2023527136000016
)を足すことで、導出できる。上述のように、本開示の一実施例において、プロセッサー(110)が計算する仮想オッズ(C(d,f,0:x))は、ベクトル間の演算により、入力された医療データ(x)において特定の所見(f)の影響が排除(p=0)された場合、特定の疾病(d)に診断される確率と、特定の疾病が存在しないと診断される確率との比率を含むことが可能である。前述の確率値(p)の例は、一例にすぎず、仮想オッズは、個別所見の、予め決められた存在確率に基づき計算することが可能である。
プロセッサー(110)は、少なくとも1つのネットワーク関数を含む第1診断ネットワーク又は第2診断ネットワークに基づき、第1診断情報及び第2診断情報を出力する過程において、第1診断ネットワーク又は第2診断ネットワークに含まれている、学習されたパラメータを利用することが可能である。第1診断ネットワーク又は第2診断ネットワークに含まれているパラメータは、入力された医療データに関するベクトル(g_f(x))と、個別所見加重値ベクトル(w_f)と、個別所見バイアス値(b_f)と、疾病-所見バイアス値ベクトル(v_{d,f})とのうち、少なくとも1つを含むことが可能である。プロセッサー(110)は、上記学習されたパラメータを活用し、第2診断情報に含まれている少なくとも1つの疾病に関する第1診断情報に含まれている1つ以上の所見の仮想オッズを計算することで、第2診断情報に対する、第1診断情報に含まれている1つ以上の所見による影響を定量化できる。これは、医療診断モデルが、単純に疾病の有無、又は、疾病の存在確率を提供することにとどまらず、どのような所見に基づき、人工ニューラルネットワークが、そのような結論に至ったのか、ユーザーが解釈できるようにする。
プロセッサー(110)は、第2診断情報に含まれている少なくとも1つのの疾病(d)に対する第1診断情報に含まれている1つ以上の所見(f)の寄与度を、オッズ比(odds ratio)に基づき表現することが可能である。本明細書において、オッズ比(odds ratio)は、交差比率や掛け算比率と同じ意味として用いられることが可能である。上記オッズ比(odds ratio)は、異なる仮定の下で導出された2つのオッズ(odds)の比率を意味することが可能である。上記オッズ比の算出の元となるオッズは、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている全体所見のオッズになり得る。上記オッズ比 算出の元となるオッズは、第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の仮想オッズになり得る。
本明細書において、「特定の疾病(d)に関する第2診断情報に対して、第1診断情報に含まれている特定の所見(f)が及ぼす影響に関するオッズ比」と「仮想オッズ比(counterfactual-odds-ratio)」は、相互置換でき、同じ意味として用いられることが可能である。
本開示において、プロセッサー(110)は、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の寄与度を、第1部分寄与度と第2部分寄与度との比率で表すことが可能である。具体的な一例として、仮想オッズ比(p=0)に関する数式は、数10で表現できる。
Figure 2023527136000017
上記仮想オッズ比を示す数10は、特定の所見と疾病との間において、正の相関が合った場合、1より大きい値になることが可能である。具体的に、医療診断モデルによって、入力された医療データにおいて疾病(d)が存在すると判断された場合、プロセッサー(110)が、当該疾病が存在すると診断するのに、有意味な影響を及ぼす特定の所見(f)の影響を排除する場合、疾病が発生する確率が低くなり、結果として、仮想オッズ(C(d,f,0;x))の値が小さくなり、仮想オッズ比(R_{CO}(d,f,0;x))の分母が小さくなる。従って、特定の所見(f)の疾病(d)に対する影響力を意味する、仮想オッズ比(R_{CO}(d,f,0;x))は、その値が大きいほど、入力された医療データ(x)に存在する所見(f)が、第2診断ネットワークが当該疾病(d)に関する第2診断情報を生成するのに、寄与した度合いが大きいという意味になり得る。
プロセッサー(110)により演算され、相関関係情報に含まれる第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の寄与度は、第2診断情報に含まれている1つ以上の疾病(d)に対する第1診断情報に含まれている1つ以上の所見(f)の発見重要度(R_{DF}(d,f))を含むことが可能である。プロセッサー(110)は、上記発見重要度(R_{DF}(d,f))を計算するために、前述の第2部分寄与度を少なくとも部分的に参照することが可能である。発見重要度(R_{DF}(d,f))は、第2診断情報に含まれている1つ以上の疾病(d)に対して、第1診断情報に含まれている特定の所見(f)が必ず存在する状況の確率に基づくオッズ(C(d,f,1;x))に基づき演算することが可能である。発見重要度(R_{DF}(d,f))は、第2診断情報に含まれている1つ以上の疾病(d)に対して、第1診断情報に含まれている特定の所見(f)が絶対に存在しない状況の確率に基づくオッズ(C(d,f,0;x))に基づき演算することが可能である。一実施例において、発見重要度は、上記2つのオッズ(C(d,f,1;x)、C(d,f,0;x))の比率に基づき計算することが可能である。数式は、下記の数11の通りである。
Figure 2023527136000018
数11のように、プロセッサー(110)は、第2部分寄与度に基づき、第2診断情報に含まれている1つ以上の疾病(d)に対する第1診断情報に含まれている1つ以上の所見(f)の発見重要度(R_{DF}(d,f))を計算することで、入力された医療データから当該所見を発見することが、他の所見との関係において疾病を診断するのに及ぼす重要性を定量化できる。
前述の数式は、本開示における寄与度算出方式を説明するために、活性化関数としてシグモイド(Sigmoid)関数を使っている。しかし、上記活性関数は、tanh関数、Leaky ReLU関数等を含む、逆関数を取ることのできるあらゆる活性関数を制限なく含む。さらに、上記置換される確率値も、制限なく任意の予め決められた値に変更または計算することが可能である。つまり、前述の例示は、本開示を制限するものではなく、単純な値の変更や関数の変更を通じても、本開示が達成しようとする目的と効果を達成することができるということは、当業者にとって自明な事項である。
一般的に、人工ニューラルネットワークは、最初に入力されたデータに対して、無数のノード間における演算過程を経て、最終出力を導出する。従って、人工ニューラルネットワークを通して、出力が得られた場合でも、ユーザーは、人工ニューラルネットワークが、入力データのどのような情報に基づき当該結果を導出したのかを把握しがたい。一方、本開示におけるプロセッサー(110)は、最終的に出力された第1診断情報と第2診断情報との間の相関関係情報を通じて、第1診断情報が第2診断情報に及ぼす影響を定量的に導出できる。これを通じて、様々な独立変数が関与して従属変数が決まる因果関係において、独立変数を制御することにより、独立変数と従属変数との相関関係を確かめることが可能である。その結果、本開示は、ディープラーニング基盤のネットワーク関数の透明性(transparency)を高めるとともに、信頼度の高い結果を提供することが可能である。つまり、医療界等を含む産業界において、人工ニューラルネットワークの最終判断に対する根拠の提出及び高い信頼度が求められる場合、人工ニューラルネットワークの信頼度を定量的に提供できる効果がある。
本開示の一実施例において、プロセッサー(110)は、第1診断情報及び第2診断情報を含む相関関係情報を生成又は出力するとき、第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見の寄与度を視覚化して提供することが可能である。プロセッサー(110)は、入力された医療データに対する疾病の有無又は疾病の存在確率を含む第2診断情報、当該第2診断情報に寄与する1つ以上の所見情報を含む第1診断情報又は第1診断情報の寄与度等を値として出力することが可能である。プロセッサー(110)は、ユーザーの可読性のために、上記の値を視覚化して提供することが可能である。上記視覚化のための動作は、第1診断情報の寄与度分布をグラフに表し、各所見の寄与度の差異をグラフにおける表現因子の大きさの違いで表す動作や、入力データに寄与度の大きい所見の病変領域を表す動作や、第2診断情報に対する第1診断情報に含まれている所見情報の寄与度を、その度合いによって色の濃淡を変えて2次元マトリックス(matrix)で表す動作等を含むことが可能である。
プロセッサー(110)が、第1診断情報及び第2診断情報を含む相関関係情報を出力する際、クラス活性化マップ(Class Activation Map)に少なくとも一部基づき、第1診断情報を、入力された医療データに表示して出力することが可能である。プロセッサー(110)は、クラス活性化マップを通じて、医療診断モデルの最終診断結果である第2診断情報が、入力された医療データのどのピクセル領域によって出力されたのかを表現することが可能である。プロセッサー(110)は、入力された医療データに関する特徴ベクトル(g_f(x))に基づき、クラス活性化マップを生成することが可能である。本開示の一実施例において、特徴ベクトル(g_f(x)∈R^C)が、グローバル平均プーリング(Global Average Pooling)によって抽出された場合、プロセッサー(110)は、特徴ベクトル(g_f(x))が、グローバル平均プーリングによって処理される直前の特徴マップ(g_f(x)∈R^{C'×H'×W'})に基づき、クラス活性化マップを生成することが可能である。その数式は、数12の通りである。
Figure 2023527136000019
プロセッサー(110)は、第2診断ネットワークが,第2診断情報を生成するために、入力された医療データに関する特徴ベクトルに対して、所見ごとに乗ずるパラメータである、疾病―所見加重値ベクトル(v_{d,j})に少なくとも部分的に基づいてクラス活性化マップを生成できる。具体的に、プロセッサー(110)は、クラス活性化マップを生成するために、特徴マップ(g_f(x))の各チャンネルに乗ずる加重値の値を、疾病―所見加重値ベクトル(v_{d,j})に基づいて決めることが可能である。
本開示の一実施例において、プロセッサー(110)は、第1診断情報及び第2診断情報を含む相関関係情報を出力する際、入力された医療データに関する特徴ベクトルと、第1診断ネットワークに含まれている最終分類関数のパラメータと、第2診断ネットワークに含まれている最終分類関数のパラメータとのうち、少なくともいずれか1つに基づき、クラス活性化マップ(Class Activation Map)を生成し、上記クラス活性化マップに基づき、上記第1診断情報を、上記入力された医療データに表示して出力することが可能である。プロセッサー(110)は、第1診断ネットワークの演算過程において、グローバル平均プーリングにより、入力された医療データに関する特徴ベクトル(g_f(x))が抽出される直前のデータである特徴マップ(g_f(x))を、第1診断ネットワークの演算結果から取得できる。上記数12に示すように、プロセッサー(110)は、第1診断ネットワークの最終分類関数に含まれている個別所見加重値(w_f)ベクトルと平行する方向の成分ベクトル、第2診断ネットワークの最終分類関数に含まれている疾病―所見加重値ベクトル(v_{d,f})を、上記特徴マップ(g_f(x))に各チャンネルごとに乗じてから合算することで、これに基づきクラス活性化マップを生成できる。上記クラス活性化マップを通じて、プロセッサー(110)は、入力された医療データにおいて、第2診断情報の出力に影響を及ぼす第1診断情報に含まれている1つ以上の所見情報に係る病変領域を示すことが可能である。
以下、図3を用いて説明する。図3は、医療データに対する診断関連情報を提供する本開示の一実施例において、入力された医療データから第1診断情報及び第2診断情報を出力するための全体モデルの学習プロセスに係るフローチャートである。プロセッサー(110)は、少なくとも1つ以上の所見情報がラベリングされている医療データを含む第1学習データセットを取得(210)できる。上記第1診断情報は、医療データに対する所見の有無、所見の位置、所見に対する確率等を含むことが可能である。プロセッサー(110)は、第1学習データに含まれている医療データを入力とし、少なくとも1つ以上の所見情報を出力するように、第1診断ネットワークを学習(230)させることが可能である。プロセッサー(110)は、少なくとも1つ以上の疾病情報がラベリングされている医療データを含む第2学習データセットを取得(250)できる。この時、第2学習データセットを取得(250)する段階は、第1診断ネットワークを学習(230)させる段階と、その順番が置き換えられることもある。プロセッサー(110)は、第2学習データに含まれている医療データを、第1診断ネットワークに入力し、入力された医療データに関する特徴ベクトルを演算(270)できる。入力された医療データに関する特徴ベクトルは、入力された医療データに対して、第1診断ネットワークが第1診断情報を出力するために行う、中間演算過程において演算されるデータを含むことが可能である。プロセッサー(110)は、入力された医療データに関する特徴ベクトルを入力とし、少なくとも1つ以上の疾病情報を含む、第2診断情報を出力するように、第2診断ネットワークを学習することが可能である。第2診断情報は、疾病の名前、疾病の存在有無、疾病の根拠となる所見、根拠となる所見の病変領域等を含むことが可能である。第2診断ネットワークは、入力された医療データに関する特徴ベクトルから、第2診断情報を算出するために、ネットワーク関数で構成することが可能であり、決定ツリー(decision tree)で構成することも可能である。プロセッサー(110)は、学習された第1診断ネットワーク及び学習された第2診断ネットワークを含む、医療診断モデルにデータを入力して出力された1つ以上の第2診断情報に対して、第1診断情報の寄与度を算出できる。
図4は、医療データに対する診断関連情報を提供するための本開示の一実施例において、第2診断ネットワークを学習するためのフローチャートである。プロセッサー(110)は、学習が完了したディープラーニング基盤の第1診断ネットワークを獲得(281)できる。学習が完了したということは、上記ディープラーニング基盤の第1診断ネットワークの中に含まれているパラメータの値は、これ以上学習もしくは更新されないという意味を含む。上記ディープラーニング基盤の第1診断ネットワークのモデルを固定した後、プロセッサー(110)は、第2学習データに含まれている医療データを、第1診断ネットワークに入力し、少なくとも1つ以上の、入力された医療データに関する特徴ベクトルを演算(283)できる。その後、プロセッサー(110)は、上記入力された医療データに関する特徴ベクトルに基づき、医療データに対する第2診断情報を出力するように、第2診断ネットワークを学習(285)させることが可能である。第1診断ネットワークの最終診断結果ではない、第1診断ネットワークの中の演算過程における特徴ベクトルに基づき、第2診断ネットワークが学習されるということは、単純な値だけを含む数値より多くの情報を盛り込んでいるベクトル形態を、第2診断ネットワークの学習データとして提供するということを意味する。従って、第2診断ネットワークが、第2診断情報と第1診断情報との相関関係をより正確に学習及び推論できる。
前述のように、プロセッサー(110)が、全体の医療診断モデルに含まれている、第1診断ネットワーク及び第2診断ネットワークを段階別に分けて、順次学習することで、第2診断ネットワークは、第1診断ネットワークが演算する、予め決められた特定の次元を有するベクトル形態の中間データに基づき学習することが可能である。例えば、第1診断ネットワークと第2診断ネットワークとを同時に学習すれば、第1診断ネットワークと第2診断ネットワークとの組み合わせは、全体として1つの単一ネットワークと変わらないものになる。また、第1診断ネットワークと第2診断ネットワークとを同時に学習すれば、学習過程において、入力された医療データに関する特徴ベクトルは、修正と更新を繰り返すため、第2診断ネットワークに、第1診断ネットワークにおいて演算される、入力された医療データに関する特徴ベクトルを、学習データとして提供することができない。従って、全体を1つのネットワークのように学習する場合は、入力された医療データに関する特徴ベクトルと第2診断情報との関係を学習することが不可能であり、結局第2診断情報と第1診断情報との相関関係情報を出力することが不可能になる。一方、本開示は、第1診断ネットワークの学習を先に進めてから、第1診断ネットワークの演算の結果を利用して、第2診断ネットワークの学習を行うことで、個別所見の特定の疾病に対する影響を踏まえた、医療診断モデルを学習できる。つまり、特定の診断に寄与する所見を定量的に確認できるようになる。
図5は、医療データに対する診断関連情報を提供するための本開示の一実施例において、入力された医療データに対する第1診断情報及び第2診断情報を含む相関関係情報を視覚化した一例示図である。図5の棒ブラフ(510)は、第2診断情報に寄与する第1診断情報を、その寄与度の大きさに対応して表現しているグラフである。図5の実施例において、第2診断情報は、1つの疾病関する情報だけを含む第2診断情報になり得る。第1診断情報に含まれている1つ以上の所見に対応する棒の大きさは、各所見が疾病に影響を及ぼす度合いの比に比例することが可能である。プロセッサー(110)は、各所見の疾病に対する寄与度の度合いに基づき、全体の所見のうち、寄与度が最も大きい第1所見(511)、寄与度が2番目に大きい第2所見(513)、寄与度が3番目に大きい第3所見(515)を選択することが可能である。
プロセッサー(110)は、クラス活性化マップに基づき、1つ以上の所見に関する情報を含む第1診断情報を、入力された医療データに表示することが可能である。プロセッサー(110)は、原本医療データ(530)に対し、第1所見に係る病変(551)を表示する第1医療データ(550)、第2所見に係る病変(571)を表示する第2医療データ(570)、第3所見に係る病変(591)を表示する第3医療データ(590)を生成できる。前述の3つの所見は、全体の所見を含む第1診断情報のうち、プロセッサー(110)によって演算された寄与度の度合いに基づく上位3つの所見になり得る。プロセッサー(110)により選択される所見の数は、一例にすぎず、本開示を制限するものではない。プロセッサー(110)は、特定の疾病に対する第1診断情報に含まれている所見の寄与度の度合いを棒グラフ(510)に出力することができるため、診断結果の原因をユーザーに一目瞭然に示すことができ、かつ、各所見に対する病変領域を前述のように原本医療データ(530)に表示することができるため、ユーザーに対して、所見の位置を把握しやすい資料を提供できる。
本開示の一実施例において、医療データに対する診断関連情報を提供する、ニューラルネットワークの演算に係るデータを保存する、データ構造を保存しているコンピューターで読み取り可能な記録媒体が開示される。医療データに対する診断関連情報を提供するニューラルネットワークの演算に係るデータは、次のようなプロセッサー(110)の動作を通じて取得できる。プロセッサー(110)は、少なくとも1つ以上の所見情報がラベリングされている医療データを含む第1学習データセットに基づき、第1診断ネットワークを学習した後、少なくとも1つ以上の疾病情報がラベリングされている医療データを含む第2学習データセットを第1診断ネットワークに対する入力とし演算された第2学習データセットに含まれている医療データに関する特徴ベクトルに少なくとも部分的に基づき、第2診断ネットワークを学習し、第1診断ネットワークの学習の結果及び第2診断ネットワークの学習の結果に少なくとも部分的に基づき、第1学習データセットに対する第1診断情報セットと、第2学習データセットとに含まれている第2診断情報セットの相関関係情報を算出することが可能である。つまり、プロセッサー(110)は、第1診断ネットワークと第2診断ネットワークの学習を通じて。新しい医療データに対して、第1診断情報、第2診断情報、又は、各診断情報の相関関係情報を推論できるだけでなく、学習過程において取得したパラメータの値を通じ、学習データセットから算出された全体の第2診断情報と、全体の第1診断情報との相関関係を視覚化して出力することが可能である。
本開示の一実施例において、コンピューティング装置(100)は、ディスプレイ部(図示は省略)をさらに含むことが可能である。上記ディスプレイ部は、液晶ディスプレイ(liquid crystal display, LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display, TFT LCD)、有機発光ダイオード(organic light-emitting diode, OLED)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)のうち、少なくとも1つを含むことができる。これらのうち、一部のディスプレイモジュールは、それを通して外部を見ることができるように、透明性又は光透過性の素材で作られる場合がある。それらを、透明ディスプレイモジュールと称することができるが、上記透明ディスプレイモジュールの代表例として、TOLED(Transparent OLED)等がある。前述のディスプレイ部の種類は、例示にすぎず、本開示におけるコンピューティング装置は、ディスプレイのためのあらゆる形態のディスプレイ装置を含むことが可能である。
プロセッサー(110)は、上記ディスプレイ部を通じて、入力された医療データに対する第1診断情報及び第2診断情報を含む相関関係情報を表示することが可能である。上記相関関係情報は、入力された医療データに対して演算された第1診断情報、入力された医療データに対して演算された第2診断情報、第2診断情報に対する第1診断情報の寄与度、上記寄与度を視覚化したデータ、オッズ比(odds ratio)、オッズ比に関するマトリックス(odds ratio matrix)、第1診断情報又は第2診断情報を入力された医療データに示したクラス活性化マップ(Class Activation Map)等を含むことが可能である。
プロセッサー(110)は、上記第1診断情報及び第2診断情報を含む相関関係情報を表示する際、相関関係情報を、第2診断情報に対する第1診断情報の寄与度を含むオッズ比マトリックス(odds ratio matrix)で表示することが可能である。
本開示の一実施例において、コンピューティング装置(100)のプロセッサー(110)は、ネットワーク部(150)を通じて、入力された医療データに対する第1診断情報と、上記入力された医療データに対する第2診断情報とを含む相関関係情報を、ユーザー端末に送信することが可能である。ユーザー端末は、図1に示すコンピューティング装置に含まれている各構成のうち、少なくとも1つを含むことが可能である。ユーザー端末は、ネットワーク部を利用して、外部サーバーから第1診断情報及び第2診断情報を含む相関関係情報を受信することができるが、ユーザー端末に含まれているプロセッサーを利用して、前述の方法を利用し医療データの入力を受け、第1診断情報及び第2診断情報を含む相関関係情報を生成することも可能である。ユーザー端末は、医療データに対する診断関連情報を表示するユーザーインターフェース(User Interface)を提供することが可能である。ユーザー端末は、出力部を通じて、第1診断情報及び第2診断情報を含む相関関係情報を含むユーザーインターフェースを提供することが可能である。ユーザー端末は、図6に示しているような画面構成を、少なくとも一部含む、ユーザーインターフェースを表示することが可能である。以下、図6を用いて、相関関係情報をオッズ比マトリックス(odds ratio matrix)に基づき表示する方法について述べる。
図6は、医療データに対する診断関連情報を提供するため本開示の一実施例において、入力された医療データに対する第1診断情報及び第2診断情報を含む相関関係情報を表示するユーザーインターフェースに係る例示図である。プロセッサー(110)により学習されたネットワーク関数は、ネットワーク関数に含まれているパラメータの値に基づき、第1診断情報と第2診断情報との相関関係を表示することが可能である。図6のオッズ比マトリックス(310)に含まれている個別のマス目は、第2診断情報に含まれている少なくとも1つ以上の疾病の各々に対する、第1診断情報に含まれている1つ以上の所見の寄与度の度合いを、個別に表すことが可能である。オッズ比マトリックス(310)に含まれている個別のマス目は、各所見の寄与度の度合いを、前述の仮想オッズ比(odds ratio)に基づき、表現することが可能である。上記オッズ比(odds ratio)の表現は、絶対的な度合いの差や相対的な度合いの差を区別する色に係る表現になり得る。プロセッサー(110)は、特定の疾病に影響を及ぼす個別の所見の寄与度を、その寄与度の度合いに対応する異なる色でオッズ比マトリックス(310)に表現することが可能である。例えば、入力された医療データに対して出力された第2診断情報に含まれている、D1という疾病(311)に対して、第1診断情報に含まれている個別所見のマス目を、その寄与度の度合いによりそれぞれ異なる色で表現することが可能である。図6において、疾病D1に対する所見F1(313)の寄与度は、所見F2を除くその他の所見に比べて比較的大きいということを、D1-F1の組み合わせに対応するマス目(315)の塗りつぶしの色で把握することが可能である。オッズ比マトリックス(310)の縦軸は、第2診断情報に含まれている、少なくとも1つの疾病を含むことが可能である。オッズ比マトリックス(310)の横軸は、第1診断情報に含まれている1つ以上の所見を含むことが可能である。図6の色付きの棒(330)は、プロセッサー(110)が算出した寄与度の最小値と最大値の分布に対応する色になり得る。上記色付きの棒(330)の最小値と最大値は、全体寄与度分布から抽出することも可能であり、任意の値に予め選択しておくことも可能である。
データ構造は、データに効率的なアクセスおよび修正を可能にするデータの組織、管理、保存を意味することができる。データ構造は、特定の問題(例えば、最短時間でデータ検索、データ保存、データ修正)を解決するためのデータ組織を意味することができる。データ構造は、特定のデータ処理機能をサポートするように設計されたデータ要素間の物理的または論理的な関係と定義することもできる。データ要素間の論理的な関係は、ユーザーが考えるデータ要素間の連結関係を含むことができる。データ要素間の物理的な関係は、コンピューター可読保存媒体(例えば、ハードディスク)に物理的に保存されているデータ要素間の実際の関係を含むことができる。データ構造は具体的にデータの集合、データ間の関係、データに適用できる関数またはコマンドを含むことができる。効果的に設計されたデータ構造により、コンピューティング装置はコンピューティング装置のリソースを最小限に使用しながら計算を行うことができる。具体的にコンピューティング装置は効果的に設計されたデータ構造を通じて演算、読み取り、挿入、削除、比較、交換、検索の効率性を高めることができる。
データ構造はデータ構造の形態によって線形データ構造と非線形データ構造に区分されることができる。線形データ構造は、一つのデータの後に一つのデータだけが連結される構造である可能性がある。線形データ構造はリスト(List)、スタック(Stack)、キュー(Queue)、デッキ(Deque)を含むことができる。リストは、内部的に順序が存在する一連のデータセットを意味することが可能である。リストは連結リスト(Linked List)を含むことができる。連結リストはそれぞれのデータがポインタを持って一列に連結されている方式でデータが連結されたデータ構造でありうる。連結リストでポインタは、次や以前のデータとの連結情報を含むことができる。連結リストは形態によって単一連結リスト、二重連結リスト、円形連結リストで表現できる。スタックは制限的にデータにアクセスできるデータリスト構造である可能性がある。スタックは、データ構造の片端でのみデータを処理(例えば、挿入または削除)できる線形データ構造である可能性がある。スタックに保存されたデータは、遅く入るほど早く出てくるデータ構造(LIFO-Last in First Out)である可能性がある。キューは制限的にデータにアクセスできるデータ羅列構造であり、スタックとは異なり遅く保存されたデータほど遅く出てくるデータ構造(FIFO-FirstinFirstOut)であることができる。デッキはデータ構造の両端でデータを処理できるデータ構造になり得る。
非線形データ構造は、一つのデータの後に複数のデータが連結される構造である可能性がある。非線形データ構造はグラフ(Graph)データ構造を含むことができる。グラフデータ構造は頂点(Vertex)と幹線(Edge)で定義でき、幹線は互いに異なる二つの頂点を連結する線を含むことができる。グラフデータ構造ツリー(Tree)データ構造を含むことができる。ツリーデータ構造はツリーに含まれる複数の頂点のうち、互いに異なる2つの頂点を連結させる経路が一つのデータ構造になり得る。すなわち、グラフデータ構造でループ(loop)を形成しないデータ構造になり得る。
本明細書にかけて、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワークは同じ意味で使用できる。(以下ではニューラルネットワークで統一して記述する。)データ構造はニューラルネットワークを含むことができる。そして、ニューラルネットワークを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークを含むデータ構造はまた、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークの学習のための損失関数を含むことができる。ニューラルネットワークを含むデータ構造は、上記開示された構成のうち任意の構成要素を含むことができる。すなわち、ニューラルネットワークを含むデータ構造は、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤーに関連する活性関数、ニューラルネットワークのトレーニングのための損失関数など、全部またはこれらの任意の組み合わせを含んで構成されることができる。前述した構成以外にも、ニューラルネットワークを含むデータ構造は、ニューラルネットワークの特性を決定する任意の他の情報を含むことができる。また、データ構造は、ニューラルネットワークの演算過程で使用されたり発生するすべての形態のデータを含むことができ、前述の事項に制限されるわけではない。コンピューター可読保存媒体は、コンピューター可読記録媒体および/またはコンピューター可読伝送媒体を含むことができる。ニューラルネットワークは、一般的にノードと呼ばれる相互接続された計算単位の集合で構成されることができる。このようなノードはニューロン(neuron)と呼ばれることができる。ニューラルネットワークは、少なくとも1つ以上のノードを含んで構成される。
データ構造は、ニューラルネットワークに入力されるデータを含むことができる。ニューラルネットワークに入力されるデータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ニューラルネットワークに入力されるデータは、ニューラルネットワークの学習過程で入力される学習データおよび/または学習が完了したニューラルネットワークに入力される入力データを含むことができる。ニューラルネットワークに入力されるデータは、前処理(pre-processing)を経たデータおよび/または前処理対象となるデータを含むことができる。前処理はデータをニューラルネットワークに入力させるためのデータ処理過程を含むことができる。したがって、データ構造は前処理対象となるデータおよび前処理で発生するデータを含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークに入力されるか、ニューラルネットワークから出力されるデータを含むことができる。ニューラルネットワークに入力されたり、出力されるデータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。コンピューター可読保存媒体に保存されたデータ構造は、ニューラルネットワークの推論過程で入力されるデータ、またはニューラルネットワークの推論結果に出力される出力データを含むことができる。また、データ構造は特定のデータ加工方法によって加工されるデータを含むことができるので、加工前後のデータを含むことができる。したがって、データ構造は加工の対象となるデータおよびデータ加工方法を通じて加工されたデータを含むことができる。
データ構造は、ニューラルネットワークの加重値を含むことができる。(本明細書で加重値、パラメータは同じ意味で使用できる。)そして、神経回路網の加重値を含むデータ構造はコンピューター可読保存媒体に保存されることができる。ニューラルネットワークは、複数の加重値を含むことができる。加重値は可変的であり、ニューラルネットワークが望む機能を遂行するために、ユーザーまたはアルゴリズムによって可変することができる。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって相互接続された場合、出力ノードは上記出力ノードと連結された入力ノードに入力された値及びそれぞれの入力ノードに対応するリンクに設定されたパラメータに基づいて出力ノード値を決定することができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
制限ではなく例として、加重値は神経回路網学習過程で可変する加重値および/または神経回路網学習が完了した加重値を含むことができる。ニューラルネットワーク学習過程で可変される加重値は、学習サイクルが始まる時点の加重値および/または学習サイクルの間に可変される加重値を含むことができる。ニューラルネットワーク学習が完了した加重値は、学習サイクルが完了した加重値を含むことができる。したがって、ニューラルネットワークの加重値を含むデータ構造は、ニューラルネットワーク学習過程で可変される加重値および/またはニューラルネットワーク学習が完了した加重値を含むデータ構造を含むことができる。したがって、上述した加重値および/または各加重値の組み合わせは、神経回路網の加重値を含むデータ構造に含まれるものとする。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
ニューラルネットワークの加重値を含むデータ構造は、直列化(serialization)過程を経た後、コンピューター可読保存媒体(例えば、メモリ、ハードディスク)に保存されることができる。直列化は、データ構造を同一または他のコンピューティングデバイスに保存し、後で再構成して使用できる形態に変換する過程である可能性がある。コンピューティングデバイスは、データ構造を直列化し、ネットワークを介してデータを送受信することができる。直列化されたニューラルネットワークの加重値を含むデータ構造は、逆直列化(deserialization)を通じて同じコンピューティング装置または他のコンピューティング装置で再構成されることができる。ニューラルネットワークの加重値を含むデータ構造は、シリアル化に限定されるものではない。さらに、神経回路網の加重値を含むデータ構造は、コンピューティング装置の資源を最小限に使用しながら演算の効率を高めるためのデータ構造(例えば、非線形データ構造で B-Tree、Trie、m-way search tree、AVLtree、Red-Black Tree)を含むことができる。前述の事項は例示に過ぎず、本開示はこれに限定されない。
データ構造は、ニューラルネットワークのハイパーパラメータ(Hyper-parameter)を含むことができる。そして、ニューラルネットワークのハイパーパラメータを含むデータ構造は、コンピューター可読保存媒体に保存されることができる。ハイパーパラメータは、ユーザーによって可変される変数である可能性がある。ハイパーパラメータは、例えば、学習率(learning rate)、コスト関数(cost function)、学習サイクル反復回数、加重値初期化(例えば、加重値初期化対象となる加重値の範囲設定)、Hidden Unit個数(例えば、ヒドゥンレイヤーの個数、ヒドゥンレイヤーのノード数)を含むことができる。前述のデータ構造は例示に過ぎず、本開示はこれに限定されない。
図7は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び/またはその他のプログラムモジュールと結合して及び/またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド(handheld)コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々(これらは、それぞれ1つ以上の関連する装置と繋がって動作することができる)をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的(transitory)及び非一時的(non-transitory)媒体、移動式及び非-移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュール又はその他のデータのような情報を保存する任意の方法又は技術により実装される揮発性及び非揮発性媒体、一時的及び非-一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、RAM、ROM、EEPROM、フラッシュメモリーまたはその他のメモリー技術、CD-ROM、DVD(digital video disk)またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
コンピューター可読伝送媒体は、通常、搬送波(carrier wave)またはその他の伝送メカニズム(transport mechanism)のような被変調データ信号(modulated data signal)にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち1つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続(direct-wired connection)のような有線媒体、そして音響、RF、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。
コンピューター(1102)を含む本開示の多様な側面を実現する例示的な環境(1100)が示されており、コンピューター(1102)は、処理装置(1104)、システムメモリー(1106)、システムバス(1108)を含む。システムバス(1108)は、システムメモリー(1106)(これに限定されない)をはじめとするシステムコンポーネントを処理装置(1104)につなげる。処理装置(1104)は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置(1104)として利用されることができる。
システムバス(1108)は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー(1106)は、読み取り専用メモリー(ROM)(1110)やランダムアクセスメモリー(RAM)(1112)を含む。基本的な入出力システム(BIOS)は、ROM、EPROM、EEPROM等の非揮発性メモリー(1110)に保存され、このBIOSは、起動中の時等にコンピューター(1102)の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。RAM(1112)は、またデータをキャッシュするための静的RAM等の高速RAMを含むことができる。
コンピューター(1102)においては、また、内蔵型ハードディスクドライブ(HDD)(1114)(例えば、EIDE、SATA)―この内蔵型ハードディスクドライブ(1114)はまた適切なシャシー(図示は省略)の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ(FDD)(1116)(例えば、移動式ディスケット(1118)から読み取ったりそれに書き込むためのものである)及び光ディスクドライブ(1120)(例えば、CD-ROMディスク(1122)を読み取ったり、DVD等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである)を含む。ハードディスクドライブ(1114)、磁気ディスクドライブ(1116)及び光ディスクドライブ(1120)は、それぞれハードディスクドライブインターフェース(1124)、磁気ディスクドライブインターフェース(1126)及び光ドライブインターフェース(1128)によってシステムバス(1108)に繋がることができる。外付け型ドライブの実装のためのインターフェース(1124)は、例えば、USB(Universal Serial Bus)やIEEE1394インターフェース技術のうち、少なくとも1つまたはその両方を含む。
これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター(1102)の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読保存媒体に係る説明が、HDD、移動式磁気ディスク及びCDまたはDVD等の移動式光媒体について触れているが、当業者ならジップドライブ(zip drive)、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
運営システム(1130)、1つ以上のアプリケーションプログラム(1132)、その他のプログラムモジュール(1134)及びプログラムデータ(1136)をはじめとする多数のプログラムモジュールが、ドライブ及びRAM(1112)に保存されることができる。運営システム、アプリケーション、モジュール及び/またはデータの全部またはその一部分がまたRAM(1112)にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
ユーザーは、1つ以上の有線・無線の入力装置、例えば、キーボード(1138)及びマウス(1140)等のポインティング装置を通じてコンピューター(1102)に命令及び情報を入力することができる。その他の入力装置(図示は省略)としてはマイク、IRリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス(1108)に繋がっている入力装置インターフェース(1142)を通じて処理装置(1104)に繋がることがあるが、並列ポート、IEEE1394直列ポート、ゲームポート、USBポート、IRインターフェース、その他等々のその他のインターフェースによって繋がることができる。
モニター(1144)または他の類型のディスプレイ装置も、ビデオアダプター(1146)等のインターフェースを通じてシステムバス(1108)に繋がる。モニター(1144)に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置(図示は省略)を含む。
コンピューター(1102)は、有線及び/または無線通信による(複数の)遠隔コンピューター(1148)等の1つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。(複数の)遠隔コンピューター(1148)は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター(1102)について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置(1150)のみ図示されている。図示されている論理的接続は、近距離通信網(LAN)(1152)及び/または、より大きいネットワーク、例えば、遠距離通信網(WAN)(1154)における有線・無線の接続を含む。このようなLAN及びWANのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク(enterprise-wide computer network)を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
LANネットワーキング環境で使われるとき、コンピューター(1102)は、有線及び/または無線通信ネットワークインターフェース、または、アダプター(1156)を通じてローカルネットワーク(1152)に繋がる。アダプター(1156)は、LAN(1152)への有線または無線通信を容易にすることができ、このLAN(1152)は、また無線アダプター(1156)と通信するためにそれに設置されている無線アクセスポイントを含む。WANネットワーキング環境で使われるとき、コンピューター(1102)は、モデム(1158)を含むことができたり、WAN(1154)上の通信サーバーに繋がったり、またはインターネットを通じる等、WAN(1154)を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム(1158)は、直列ポートインターフェース(1142)を通じてシステムバス(1108)に繋がる。ネットワーク化された環境において、コンピューター(1102)について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー/保存装置(1150)に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。
コンピューター(1102)は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び/または携帯用コンピューター、PDA(portable data assistant)、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともWi-Fi及びブルートゥース(登録商標)無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも2つの装置の間でのアドホック通信(ad hoc communication)になり得る。
Wi-Fi(Wireless Fidelity)は、有線で繋がっていなくても、インターネット等への接続を可能にする。Wi-Fiは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Wi-Fiネットワークは、安全で信頼性があり、高速である無線接続を提供するためにIEEE802.11(a、b、g、その他)という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク(IEEE802.3またはイーサネットを使う)に接続するためにWi-Fiが使われることができる。Wi-Fiネットワークは、非認可2.4や5GHzの無線帯域において、例えば、11Mbps(802.11a)または54Mbps(802.11b)のデータレートで動作したり、両帯域(デュエル帯域)を含む製品において動作することができる。
本開示の技術分野における通常の知識を持つ者は情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理会できる。例えば、上記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁気派、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、(利便性のために、ここでは「ソフトウェア」と称される)多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して上記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーションおよび全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び/またはエンジニアリング技術を使った製造物品(article)によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体(media)を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置(例えば、ハードディスク、フロッピーディスク、磁気ストリップ等)、光学ディスク(例えば、CD、DVD等)、スマートカード及びフラッシュメモリー装置(例えば、EEPROM、カード、スティック、キードライブ等)を含むが、これらに限定されるものではない。また、ここに示されている多様は保存媒体は、情報を保存するための1つ以上の装置及び/または他の機械可読媒体を含む。
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
上記のように、発明の実施のための最善の形態において、関連する内容を述べた。
本発明は、医療データに対する診断関連情報を提供するコンピューティング装置等に利用されることが可能である。

Claims (14)

  1. コンピューティング装置の1つ以上のプロセッサーにより実行される、医療データに対する診断関連情報を提供する方法であって、
    前記医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算する段階;
    前記第1診断ネットワークにおいて演算された前記医療データに関する特徴ベクトルに基づき、診断情報を出力するように学習された、第2診断ネットワークを利用し、前記入力された医療データに対して第2診断情報を演算し、前記特徴ベクトルは、前記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき演算される段階;及び
    前記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、前記入力された医療データに対して演算された前記第1診断情報及び第2診断情報を含む相関関係情報を生成する段階;
    を含む、
    医療データに対する診断関連情報を提供する方法。
  2. 請求項1において、
    プロセッサーが、前記第1診断ネットワークを利用し、入力された医療データに対し第1診断情報を演算する段階は、
    前記第1診断ネットワークにおいて前記入力された医療データに関する特徴ベクトルを演算する段階;及び
    前記入力された医療データに関する特徴ベクトルに基づき、前記第1診断情報を演算する段階;
    をさらに含む、
    医療データに対する診断関連情報を提供する方法。
  3. 請求項1において、
    前記特徴ベクトルは、
    前記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)にグローバル・プーリング(Global Pooling)を実行し得られた結果に基づき演算される、
    医療データに対する診断関連情報を提供する方法。
  4. 請求項1において、
    前記第1診断ネットワークは、
    複数の異なる種類の所見を含む第1診断情報を演算する相異なる2つ以上のサブ第1診断ネットワークを含む、
    医療データに対する診断関連情報を提供する方法。
  5. 請求項1において、
    前記相関関係情報は、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている1つ以上の所見情報の寄与度を含む、
    医療データに対する診断関連情報を提供する方法。
  6. 請求項5において、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度は、
    前記第1診断ネットワークで演算された前記入力された医療データに関する特徴ベクトル、前記第1診断ネットワークに含まれている最終分類関数のパラメータ又は前記第2診断ネットワークに含まれている最終分類関数のパラメータのうち、少なくともいずれか1つに基づき算出される、
    医療データに対する診断関連情報を提供する方法。
  7. 請求項5において、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する、第1診断情報に含まれている1つ以上の所見の寄与度は、
    第1部分寄与度と第2部分寄与度とのうち、少なくとも1つに基づき算出される、
    医療データに対する診断関連情報を提供する方法。
  8. 請求項7において、
    前記第1部分寄与度は、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する第1診断情報に含まれている全体所見のオッズ(odds)に基づく、
    医療データに対する診断関連情報を提供する方法。
  9. 請求項7において、
    前記第2部分寄与度は、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する前記第1診断情報に含まれている1つ以上の所見の仮想オッズ(counterfactual-odds)に基づくものであるが、
    前記仮想オッズは;
    前記第2診断情報に含まれている少なくとも1つの疾病に対する前記第1診断情報に含まれている1つ以上の所見が必ず存在する状況の確率に基づくオッズ;
    前記第2診断情報に含まれている少なくとも1つの疾病に対する前記第1診断情報に含まれている1つ以上の所見が絶対に存在しない状況の確率に基づくオッズ;又は
    前記第2診断情報に含まれている少なくとも1つの疾病に対する前記第1診断情報に含まれている1つ以上の所見の予め決められた存在確率に基づくオッズ;
    のうち、少なくとも1つを含む、
    医療データに対する診断関連情報を提供する方法。
  10. 請求項1において、
    前記相関関係情報を生成する段階は、
    クラス活性化マップ(Class Activation Map)に少なくとも一部基づき、前記第1診断情報を前記入力された医療データに表示する段階を含む、
    医療データに対する診断関連情報を提供する方法。
  11. 請求項1において、
    前記相関関係情報を生成する段階は、
    前記入力された医療データに関する特徴ベクトルと、前記第1診断ネットワークに含まれている最終分類関数のパラメータと、前記第2診断ネットワークに含まれている最終分類関数のパラメータとのうち、少なくともいずれか1つに基づき、クラス活性化マップ(Class Activation Map)を生成する段階;及び
    前記クラス活性化マップに基づき、前記第1診断情報を前記入力された医療データに表示する段階;
    を含む、
    医療データに対する診断関連情報を提供する方法。
  12. プロセッサー;及び
    少なくとも1つのネットワーク関数が保存されるメモリーを含み、
    前記メモリーは、前記プロセッサーが
    医療データに基づき、診断情報を出力するように学習された第1診断ネットワークを利用し、入力された医療データに対して第1診断情報を演算し、
    前記第1診断ネットワークにおいて演算された前記医療データに関する特徴ベクトルに基づき診断情報を出力するように学習された第2診断ネットワークを利用して、前記入力された医療データに対して第2診断情報を演算し、前記特徴ベクトルは、前記第1診断ネットワークの演算過程において導出された特徴マップ(feature map)に基づき演算され、さらに
    前記第1診断ネットワークの演算過程又は第2診断ネットワークの演算過程の一部分に基づき、前記入力された医療データに対して演算された前記第1診断情報及び第2診断情報を含む相関関係情報を生成するための、少なくとも1つの、コンピューターで実行可能な命令を保存する、
    医療データに対する診断関連情報を提供するための装置。
  13. コンピューター可読保存媒体に保存されたコンピュータープログラムであって、前記コンピュータープログラムは、ユーザー端末に含まれている1つ以上のプロセッサーにおいて実行される場合、医療データに対する診断関連情報を表示するユーザーインターフェース(UI)を提供し、前記ユーザーインターフェースは;
    入力された医療データに対する第1診断情報及び上記入力された医療データに対する第2診断情報を含む相関関係情報;
    を含み、さらに
    前記相関関係情報は、第1診断ネットワークを利用した第1診断情報の演算過程及び第2診断ネットワークを利用した第2診断情報の演算過程の一部分に基づき、ユーザー端末又はサーバーにおいて生成される、
    コンピューター可読保存媒体に保存されたコンピュータープログラム。
  14. 請求項13において、
    前記相関関係情報は、
    前記第2診断情報に含まれている少なくとも1つの疾病に対する前記第1診断情報に含まれている1つ以上の所見の寄与度を含むオッズ比マトリックス(odds ratio matrix);
    を含む、
    コンピューター可読保存媒体に保存されたコンピュータープログラム。
JP2022569520A 2020-07-03 2021-06-23 診断結果を提供するための方法及び装置(method and apparatus for providing diagnosis result) Pending JP2023527136A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0082359 2020-07-03
KR1020200082359A KR102460257B1 (ko) 2020-07-03 2020-07-03 진단 결과를 제공하기 위한 방법 및 장치
PCT/KR2021/007853 WO2022005090A1 (ko) 2020-07-03 2021-06-23 진단 결과를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2023527136A true JP2023527136A (ja) 2023-06-27

Family

ID=79167828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022569520A Pending JP2023527136A (ja) 2020-07-03 2021-06-23 診断結果を提供するための方法及び装置(method and apparatus for providing diagnosis result)

Country Status (5)

Country Link
US (1) US20220005604A1 (ja)
EP (1) EP4177901A1 (ja)
JP (1) JP2023527136A (ja)
KR (1) KR102460257B1 (ja)
WO (1) WO2022005090A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129794A1 (en) * 2020-10-27 2022-04-28 Accenture Global Solutions Limited Generation of counterfactual explanations using artificial intelligence and machine learning techniques
KR102523555B1 (ko) * 2022-05-26 2023-04-20 가천대학교 산학협력단 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치
WO2023239151A1 (ko) * 2022-06-07 2023-12-14 서울대학교병원 흉부 방사선 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
WO2024025326A1 (ko) * 2022-07-29 2024-02-01 주식회사 메디컬에이아이 심전도 판독 서비스를 제공하는 방법, 프로그램 및 장치
KR20240022865A (ko) * 2022-08-12 2024-02-20 가톨릭대학교 산학협력단 투석 중 저혈압 발생 예측 방법 및 그 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
US11200483B2 (en) * 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
KR20180027887A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
KR101876338B1 (ko) * 2016-12-28 2018-07-09 아주대학교산학협력단 신경망을 이용한 간 경변 예측 장치 및 방법
US11328412B2 (en) * 2017-02-08 2022-05-10 Siemens Healthcare Gmbh Hierarchical learning of weights of a neural network for performing multiple analyses
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
US11049243B2 (en) * 2017-04-19 2021-06-29 Siemens Healthcare Gmbh Target detection in latent space
KR101939306B1 (ko) 2017-05-04 2019-01-17 주식회사 데이타게이트코리아 양식장용 수중카메라
KR101938992B1 (ko) * 2017-06-19 2019-01-15 한국과학기술원 진단 이유 설명이 생성되는 cad 시스템 및 그 방법
NZ759818A (en) * 2017-10-16 2022-04-29 Illumina Inc Semi-supervised learning for training an ensemble of deep convolutional neural networks
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR102183847B1 (ko) * 2018-08-16 2020-11-27 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
US11556746B1 (en) * 2018-10-26 2023-01-17 Amazon Technologies, Inc. Fast annotation of samples for machine learning model development
US10790056B1 (en) * 2019-04-16 2020-09-29 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices

Also Published As

Publication number Publication date
WO2022005090A1 (ko) 2022-01-06
KR20220004476A (ko) 2022-01-11
KR102460257B1 (ko) 2022-10-28
EP4177901A1 (en) 2023-05-10
US20220005604A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
JP2023527136A (ja) 診断結果を提供するための方法及び装置(method and apparatus for providing diagnosis result)
JP2022553906A (ja) 疾患検出モデルを開発するためのシステム、方法、プログラム
TWI814154B (zh) 基於醫學影像的疾病預測方法
US11263744B2 (en) Saliency mapping by feature reduction and perturbation modeling in medical imaging
Shamrat et al. Analysing most efficient deep learning model to detect COVID-19 from computer tomography images
Kuo et al. Perspectives: A surgeon's guide to machine learning
KR20220074442A (ko) 질병을 판정하기 위한 정보를 제공하는 방법
KR20220001403A (ko) 골 연령 판독 방법 및 장치
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
US20220198668A1 (en) Method for analyzing lesion based on medical image
KR102507451B1 (ko) 흉부 이미지 판독 방법
JP2024508852A (ja) 医療画像における病変分析方法
KR20220050014A (ko) 영상 분석을 위한 사용자 인터페이스
KR102317857B1 (ko) 병변 판독 방법
TWI836394B (zh) 醫療影像處理之方法、裝置及電腦程式
KR102375786B1 (ko) 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
KR102622660B1 (ko) 의료 영상에 대한 연속 절편 검출 방법
KR102569976B1 (ko) 의료 영상 처리 방법
KR102554181B1 (ko) 골 영상으로부터 골 연령을 판독하는 방법
US20220237777A1 (en) Method for measuring lesion of medical image
Sasikala et al. Classification of diabetic retinopathy based on Functional Linked Neural network utilizing segmented fundus image features
US20220130065A1 (en) Method for analyzing thickness of cortical region
Rastogi et al. Anomaly Detection in Medical Images Using Deep Reinforcement Learning
Azmat Towards Post-Hoc Human-Interpretability of Multimodal Neural Networks for Healthcare Applications
Rithin et al. Analysis on Covid-19 Detection System Using Machine Learning & Deep Learning Models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419