JP7209383B2 - 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体 - Google Patents

精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP7209383B2
JP7209383B2 JP2021052119A JP2021052119A JP7209383B2 JP 7209383 B2 JP7209383 B2 JP 7209383B2 JP 2021052119 A JP2021052119 A JP 2021052119A JP 2021052119 A JP2021052119 A JP 2021052119A JP 7209383 B2 JP7209383 B2 JP 7209383B2
Authority
JP
Japan
Prior art keywords
examination
neural network
diagnosing
patient
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021052119A
Other languages
English (en)
Other versions
JP2022082408A (ja
Inventor
イ，サンワン
カン，ヨンホ
ケ，フェンカイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of JP2022082408A publication Critical patent/JP2022082408A/ja
Application granted granted Critical
Publication of JP7209383B2 publication Critical patent/JP7209383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

特許法第３０条第２項適用 ２０２０年８月１４日に、ＩＥＥＥ Ａｃｃｅｓｓ， Ｖｏｌｕｍｅ ８， ２０２０， ｐｐ．１５３３４１－１５３３５２にて公開
特許法第３０条第２項適用 ２０２０年８月２８日に、Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｐｒｅｄｉｃｔｓ ｓｙｍｐｔｏｍｓ ｏｆ ａｕｔｉｓｍ ａｎｄ ｓｅｖｅｒｉｔｙ， Ｐｒｅｓｓ Ｒｅｌｅａｓｅにて公開
多様な実施形態は、精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法に関する。
一般的に、自閉スペクトラム症（ａｕｔｉｓｍ ｓｐｅｃｔｒｕｍ ｄｉｓｏｒｄｅｒ：ＡＳＤ）のような精神疾患は、複雑な精神医学的症状と不十分な神経生物学的知識によって診断され、自動システムによって正確な結論を導き出すのは極めて難しい。また、結論が導き出されたとしても、これを裏付けるための医学構造的かつ戦略的な証拠となる変数を提示するにも困難がある。さらに、結論を導き出すために使用した数多くの医学的証拠を時間効率的な診断順序に並べて論証を提示することは不可能に近い。なお、複雑度が高い精神疾患の診断をディープラーニングアルゴリズムのような伝統的なモデリング方式によって単純に分類システム化する場合には、ブラック－ボックス（ｂｌａｃｋ－ｂｏｘ）特性により、信頼性のある結論を導き出すことができない。
多様な実施形態は、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができるコンピュータシステムおよびその方法を提供する。
多様な実施形態に係るコンピュータシステムによる方法は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階を含んでよい。
多様な実施形態に係るコンピュータシステムは、メモリ、および前記メモリに接続され、前記メモリに記録される少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定し、前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供するように構成されてよい。
多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階を実行するための１つ以上のプログラムを記録してよい。
多様な実施形態によると、コンピュータシステムは、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができる。このとき、コンピュータシステムは、精神疾患を診断するために検査されるべき検査領域と精神疾患を診断するための検査プロセスとを脳画像から決定し、これに基づき、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして提供することができる。これにより、コンピュータシステムの使用者は、検査プロトコルに基づき、患者の精神疾患をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼性の高い精神疾患の診断を可能にする。
多様な実施形態における、コンピュータシステムを示した図である。 図１のコンピュータシステムの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークを例示的に示した図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークを例示的に示した図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第２ニューラルネットワークを例示的に示した図である。 多様な実施形態における、コンピュータシステムの第２ニューラルネットワーａクの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第２ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムの第２ニューラルネットワークの動作の特徴を説明するための図である。 多様な実施形態における、コンピュータシステムによる方法を示したフロー図である。
以下、本明細書の多様な実施形態について、添付の図面を参照しながら詳しく説明する。
図１は、多様な実施形態における、コンピュータシステム１００を示した図である。図２は、図１のコンピュータシステム１００の動作の特徴を説明するための図である。図３ａおよび図３ｂは、多様な実施形態における、コンピュータシステム１００の第１ニューラルネットワークを例示的に示した図である。図４ａ～ｄは、多様な実施形態における、コンピュータシステム１００の第１ニューラルネットワークの動作の特徴を説明するための図である。図５は、多様な実施形態における、コンピュータシステム１００の第２ニューラルネットワークを例示的に示した図である。図６ａ～図６ｃは、多様な実施形態における、コンピュータシステム１００の第２ニューラルネットワークの動作の特徴を説明するための図である。
図１を参照すると、多様な実施形態に係るコンピュータシステム１００は、入力モジュール１１０、出力モジュール１２０、メモリ１３０、またはプロセッサ１４０のうちの少なくとも１つを含んでよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくとも１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくとも２つが、１つの統合された回路で実現されてもよい。このとき、コンピュータシステム１００は、少なくとも１つの装置、例えば、少なくとも１つのサーバ（ｓｅｒｖｅｒ）または少なくとも１つの電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）のうちの少なくとも１つで構成されてよい。一実施形態において、コンピュータシステム１００が複数の装置を含む場合、コンピュータシステム１００の構成要素は、装置のうちの１つに構成されてもよいし、装置のうちの少なくとも２つに分散されて構成されてもよい。
入力モジュール１１０は、コンピュータシステム１００の少なくとも１つの構成要素に使用される信号を入力してよい。入力モジュール１１０は、使用者がコンピュータシステム１００に信号を直接入力するように構成される入力装置、周辺の変化を感知して信号を発生するように構成されるセンサ装置、または外部機器から信号を受信するように構成される受信装置のうちの少なくとも１つを含んでよい。例えば、入力装置は、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくとも１つを含んでよい。一実施形態において、入力装置は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくとも１つを含んでよい。
出力モジュール１２０は、コンピュータシステム１００の外部に情報を出力してよい。出力モジュール１２０は、情報を視覚的に出力するように構成される表示装置、情報をオーディオ信号で出力することができるオーディオ出力装置、または情報を無線送信することができる送信装置のうちの少なくとも１つを含んでよい。例えば、表示装置は、ディスプレイ、ホログラム装置、またはプロジエクタのうちの少なくとも１つを含んでよい。一例として、表示装置は、入力モジュール１１０のタッチ回路またはセンサ回路のうちの少なくとも１つとともに組み立てられ、タッチスクリーンとして実現されてよい。例えば、オーディオ出力装置は、スピーカまたはレシーバのうちの少なくとも１つを含んでよい。
一実施形態によると、受信装置と送信装置は、通信モジュールとして実現されてよい。通信モジュールは、コンピュータシステム１００で外部機器との通信を実行してよい。通信モジュールは、コンピュータシステム１００と外部機器との間に通信チャネルを樹立し、通信チャネルを経て外部機器との通信を実行してよい。ここで、外部機器は、衛星、基地局、サーバ、または他のコンピュータシステムのうちの少なくとも１つを含んでよい。通信モジュールは、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、外部機器と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくとも１つを含んでよい。近距離通信モジュールは、外部機器と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ワイファイダイレクト（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくとも１つを含んでよい。遠距離通信モジュールは、外部機器と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部機器と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくとも１つを含んでよい。
メモリ１３０は、コンピュータシステム１００の少なくとも１つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ１３０は、揮発性メモリまたは不揮発性メモリのうちの少なくとも１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、少なくとも１つの命令を含むソフトウェアとしてメモリ１３０に記録されてよく、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくとも１つを含んでよい。
プロセッサ１４０は、メモリ１３０のプログラムを実行し、コンピュータシステム１００の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ１４０は、データ処理または演算を実行してよい。このとき、プロセッサ１４０は、メモリ１３０に記録された命令を実行してよい。
多様な実施形態によると、プロセッサ１４０は、予め定められた精神疾患を患者の脳画像から診断するための検査プロトコルを提供してよい。例えば、精神疾患は、自閉スペクトラム症を含んでよい。このとき、検査プロトコルとは、患者の精神疾患を診断するための検査体制を示し、脳画像における少なくとも１つの検査領域および検査プロセスを含んでよい。検査領域とは、脳画像において、精神疾患を診断するために検査されるべき部位を示してよい。精神疾患を診断するためには複数の検査段階が存在することがある。検査プロセスは、検査段階の進行順序または脳画像内の複数の検査領域の検査順序のうちの少なくとも１つを含んでよい。
多様な実施形態によると、プロセッサ１４０は、ニューラルネットワークに基づき、患者の脳画像から検査プロトコルを提供してよい。ニューラルネットワークは、第１ニューラルネットワークと第２ニューラルネットワークを含んでよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークと第２ニューラルネットワークそれぞれに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。ここで、医療マルチモーダルデータは、異なる方式によって得られる複数のデータアイテムを含み、データアイテムは、脳画像および少なくとも１つの他のデータアイテムを含んでよい。脳画像は、例えば、磁気共鳴映像法（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ：ＭＲＩ）または陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）のうちの少なくともいずれか１つによって生成されてよい。他のデータアイテムは、例えば、トロンボプラスチンスクリーニング試験（ｔｈｒｏｍｂｏｐｌａｓｔｉｎ ｓｃｒｅｅｎｉｎｇ ｔｅｓｔ：ＴＳＴ）結果、行動検査結果、一般の血液検査（ｃｏｍｐｌｅｔｅ ｂｌｏｏｄ ｃｏｕｎｔ：ＣＢＣ）結果、または脳波検査（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）結果などのうちの少なくとも１つを含んでよい。このために、第１ニューラルネットワークと第２ニューラルネットワークは、精神疾患の診断と関連して予め収集されたビッグデータに基づいて事前訓練されていてよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークの分析結果および第２ニューラルネットワークの分析結果にしたがい、患者の精神疾患の有無および確率を出力してよい。ここで、プロセッサ１４０は、第１ニューラルネットワークの分析結果と第２ニューラルネットワークの分析結果とを組み合わせることで、患者の精神疾患の有無を確率的に提示してよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークの分析結果および第２ニューラルネットワークの分析結果にしたがい、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして出力してよい。プロセッサ１４０は、検査領域と検査プロセスに基づいて検査プロトコルを提供してよい。
プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、脳画像から少なくとも１つの検査領域を決定してよい。さらに、プロセッサ１４０は、第１ニューラルネットワークに基づき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を検出してよい。第１ニューラルネットワークは、クラス活性化マッピング（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐｐｉｎｇ：ＣＡＭ）技法と、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成されてよい。
一実施形態によると、医療シングルモーダルデータに対し、第１ニューラルネットワークは図３ａおよび図３ｂに示すように構成され、医療シングルモーダルデータを分析し、図４ａ、図４ｂ、図４ｃ、または図４ｄのうちの少なくとも１つに示すように医療シングルモーダルデータを視覚化してよい。例えば、医療シングルモーダルデータは、磁気共鳴映像法によって得られる患者の脳画像であり、プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の脳画像において検査領域を視覚化してよい。一例として、第１ニューラルネットワークは、図３ａに示すように、畳み込みニューラルネットワークに基づいて患者の脳画像から患者の精神疾患の有無を確率的に出力してよい。また、第１ニューラルネットワークは、図３ｂに示すように、クラス活性化マッピング（ＣＡＭ）技法を適用させて畳み込みニューラルネットワークから検査画像を出力してよい。このとき、第１ニューラルネットワークは、図４ａ、図４ｂ、図４ｃ、および図４ｄに示すように、検査画像を利用して検査領域を視覚化してよい。検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つが視覚化されてよい。ここで、検査領域の重要度は、予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して視覚化されてよい。図４ａまたは図４ｃに示すように、検査画像全体にわたってヒートマップによる色を分布させることで検査領域が視覚化されるか、図４ｂまたは図４ｄに示すように、重要度が最も高い検査領域だけがヒートマップによる色で視覚化されてよい。他の例として、畳み込みニューラルネットワークの代わりに全結合型ニューラルネットワークが利用されてもよい。
他の実施形態によると、医療マルチモーダルデータに対し、第１ニューラルネットワークは、医療マルチモーダルデータを分析し、医療マルチモーダルデータを視覚化してよい。このとき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度が視覚化されてよい。ここで、データアイテムそれぞれの相対的な重要度は、予め定められたヒートマップを利用して視覚化されてよい。
プロセッサ１４０は、第２ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、第２ニューラルネットワークに基づき、検査プロセスを決定してよい。一実施形態によると、脳画像から複数の検査領域が決定される場合、検査プロセスは、脳画像における検査領域の検査順序が含まれてよい。他の実施形態によると、検査プロセスは、患者の精神疾患を診断するために医療マルチモーダルデータのデータアイテムが活用される順序を示してよい。ここで、データアイテムそれぞれは検査段階それぞれで活用されるため、検査プロセスは検査段階の進行順序として表現されてもよい。第２ニューラルネットワークは、回帰型ニューラルネットワーク（ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）に基づいて構成されるビジュアルアテンションモデル（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ）であってよい。
一実施形態によると、医療シングルモーダルデータに対し、第２ニューラルネットワークは、図５に示すように回帰型ニューラルネットワークと強化学習に基づいて構成され、図６ａ、図６ｂ、または図６ｃのうちの少なくとも１つに示すように医療シングルモーダルデータに対して検査順序を決定してよい。例えば、医療シングルモーダルデータは、磁気共鳴映像法によって得られる患者の脳画像であってよい。ここで、患者の脳画像に対して検査領域が決定される場合、第２ニューラルネットワークは、脳画像における検査領域の検査順序を決定してよい。これにより、第２ニューラルネットワークは、図６ａ、図６ｂ、または図６ｃのうちの少なくとも１つに示すように、脳画像における検査領域の検査順序を提供してよい。
他の実施形態によると、医療マルチモーダルデータに対し、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成され、医療マルチモーダルデータに対して検査順序を決定してよい。このとき、医療マルチモーダルデータのデータアイテムが活用される順序、すなわち、検査段階の進行順序が決定されてよい。
図７は、多様な実施形態における、コンピュータシステム１００による方法を示した図である。このとき、図７は、コンピュータシステム１００による、精神疾患診断プロトコルを自動探索するための方法を示している。例えば、精神疾患は、自閉スペクトラム症を含んでよい。
図７を参照すると、段階７１０で、コンピュータシステム１００は、第１ニューラルネットワークに基づき、患者の脳画像から少なくとも１つの検査領域を決定してよい。第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成されてよい。プロセッサ１４０は、第１ニューラルネットワークに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。ここで、医療マルチモーダルデータは、異なる方式によって得られる複数のデータアイテムを含み、データアイテムは、脳画像および少なくとも１つの他のデータアイテムを含んでよい。プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、脳画像から少なくとも１つの検査領域を決定してよい。検査領域とは、脳画像において精神疾患の診断のために検査されるべき部位を示してよい。このとき、プロセッサ１４０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化してよい。ここで、プロセッサ１４０は、検査領域の重要度を、予め定められたヒートマップを利用して視覚化してよい。さらに、プロセッサ１４０は、第１ニューラルネットワークに基づき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を検出してよい。このとき、プロセッサ１４０は、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を視覚化してよい。ここで、プロセッサ１４０は、データアイテムそれぞれの相対的な重要度を、予め定められたヒートマップを利用して視覚化してよい。
段階７２０で、コンピュータシステム１００は、第２ニューラルネットワークに基づき、患者の検査プロセスを決定してよい。第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。プロセッサ１４０は、第２ニューラルネットワークに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。プロセッサ１４０は、第２ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、第２ニューラルネットワークに基づき、検査プロセスを決定してよい。一実施形態によると、脳画像から複数の検査領域が決定される場合、検査プロセスは、脳画像における検査領域の検査順序を含んでよい。他の実施形態によると、検査プロセスは、患者の精神疾患の診断のために医療マルチモーダルデータのデータアイテムが活用される順序を示してよい。ここで、データアイテムそれぞれは検査段階それぞれで活用されるため、検査プロセスは検査段階の進行順序として表現されてもよい。
段階７３０で、コンピュータシステム１００は、検査領域と検査プロセスとに基づき、患者の検査プロトコルを提供してよい。検査プロトコルとは、患者の精神疾患を診断するための検査体制を示してよい。プロセッサ１４０は、検査領域と検査プロセスとに基づき、患者のための検査プロトコルを、患者の精神疾患を診断するためのガイドラインとして出力してよい。
これにより、コンピュータシステム１００の使用者、例えば、医師のような医療関係者は、患者の検査プロトコルに基づき、患者の精神疾患を診断してよい。すなわち、使用者は、脳画像を用いて検査領域を集中的に検査することができる。ここで、使用者は、各検査領域の重要度に基づいて検査領域を検査してよい。一方、使用者は、医療マルチモーダルデータのデータアイテムをそれぞれの重要度に基づいて検査してよい。さらに、使用者は、検査プロセスに基づき、脳画像における検査領域の検査順序にしたがって検査領域を検査してよい。一方、使用者は、検査プロセスに基づく検査段階の進行順序にしたがい、検査段階それぞれでデータアイテムそれぞれを検査してよい。これにより、使用者は、患者の精神疾患の有無をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼度の高い精神疾患の診断を可能にする。
多様な実施形態によると、コンピュータシステム１００は、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができる。このとき、コンピュータシステム１００は、精神疾患を診断するために検査されるべき検査領域と精神疾患の診断のための検査プロセスを脳画像から決定し、これに基づき、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして提供してよい。これにより、コンピュータシステム１００の使用者は、検査プロトコルに基づき、患者の精神疾患をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼度の高い精神疾患の診断を可能にする。
多様な実施形態に係るコンピュータシステム１００による方法は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階７１０、第２ニューラルネットワークに基づき、患者の精神疾患を診断するための検査プロセスを決定する段階７２０、および検査領域と検査プロセスとに基づき、患者の精神疾患を診断するための検査プトロコルを提供する段階７３０を含んでよい。
多様な実施形態によると、検査領域を決定する段階７１０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化してよい。
多様な実施形態によると、検査領域を決定する段階７１０は、予め定められたヒートマップを利用して重要度を視覚化してよい。
多様な実施形態によると、第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成されてよい。
多様な実施形態によると、精神疾患を診断するための複数の検査段階が存在し、検査プロセスは、検査段階の進行順序を含んでよい。
多様な実施形態によると、検査プロセスは、脳画像から複数の検査領域が決定される場合、検査領域の検査順序を含んでよい。
多様な実施形態によると、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。
多様な実施形態によると、前記方法は、第１ニューラルネットワークおよび第２ニューラルネットワークに基づき、患者の精神疾患の有無を確率的に提示する段階をさらに含んでよい。
多様な実施形態によると、精神疾患は、自閉スペクトラム症を含んでよい。
多様な実施形態に係るコンピュータシステム１００は、メモリ１３０、およびメモリ１３０に接続され、メモリ１３０に記録される少なくとも１つの命令を実行するように構成されたプロセッサ１４０を含んでよい。
多様な実施形態によると、プロセッサ１４０は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、第２ニューラルネットワークに基づき、患者の精神疾患を診断するための検査プロセスを決定し、検査領域と検査プロセスとに基づき、患者の精神疾患を診断するための検査プトロコルを提供するように構成されてよい。
多様な実施形態によると、プロセッサ１４０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化するように構成されてよい。
多様な実施形態によると、プロセッサ１４０は、予め定められたヒートマップを利用して重要度を視覚化するように構成されてよい。
多様な実施形態によると、第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成されてよい。
多様な実施形態によると、精神疾患を診断するための複数の検査段階が存在し、検査プロセスは、検査段階の進行順序を含んでよい。
多様な実施形態によると、検査プロセスは、脳画像において複数の検査領域が決定される場合、検査領域の検査順序を含んでよい。
多様な実施形態によると、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。
多様な実施形態によると、プロセッサ１４０は、第１ニューラルネットワークおよび第２ニューラルネットワークに基づき、患者の精神疾患の有無を確率的に提示するように構成されてよい。
多様な実施形態によると、精神疾患は、自閉スペクトラム症を含んでよい。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に格納されてよい。
多様な実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な格納手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
本明細書の多様な実施形態およびこれに使用された用語は、本明細書に記載された技術を特定の実施形態だけに対して限定するためのものではなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明と関連し、類似する構成要素に対しては類似する参照符号を付与した。単数の表現は、文脈上で明らかに異なるように意味していない限り、複数の表現を含んでよい。本明細書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、羅列される項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「１番目」、または「２番目」などの表現は、該当の構成要素を順序または重要度とは関係なく修飾するものであり、ある構成要素を他の構成要素と区分するために使用されるものに過ぎず、該当の構成要素を限定するためのものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結されて」いるか「接続されて」いると記載されるときには、前記ある構成要素が前記他の構成要素に直接に連結されているのはもちろん、他の構成要素（例：第３構成要素）を介して連結されている場合も含まれる。
本明細書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。
多様な実施形態によると、記載された構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよいし、１つ以上の他の構成要素または段階が追加されてもよい。大体的にまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合される前に複数の構成要素のうちの該当の構成要素によって実行されるときと同一または類似するように実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的に、並列的に、反復的に、または発見的に実行されても、段階のうちの１つ以上が他の順序で実行されても、省略されても、または１つ以上の他の段階が追加されてもよい。
１００：コンピュータシステム
１１０：入力モジュール
１２０：出力モジュール
１３０：メモリ
１４０：プロセッサ

Claims (16)

  1. コンピュータシステムによる方法であって、
    第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、
    第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および
    前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プロトコルを提供する段階
    を含み、
    前記検査領域を決定する段階は、
    前記脳画像からなるデータアイテムと、前記脳画像とは異なる方法で得られた他のデータアイテムとを含む医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を前記第１ニューラルネットワークに基づいて検出し、予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して前記検査領域の重要度および検出された前記相対的な重要度を視覚化し、
    前記精神疾患を診断するための複数の検査段階が存在し、
    前記検査プロセスは、
    前記検査段階の進行順序を含み、
    前記検査段階の進行順序にしたがい、前記検査段階それぞれで前記患者の前記医療マルチモーダルデータのデータアイテムを検査する、
    方法。
  2. 前記検査領域を決定する段階は、
    前記脳画像において、前記検査領域の位置、形状、または大きさのうちの少なくとも１つを視覚化する、
    請求項１に記載の方法。
  3. 前記第１ニューラルネットワークは、
    クラス活性化マッピング（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐｐｉｎｇ：ＣＡＭ）技法と、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成される、
    請求項１に記載の方法。
  4. 前記検査プロセスは、
    前記脳画像から複数の検査領域が決定される場合、前記検査領域の検査順序を含む、
    請求項１に記載の方法。
  5. 前記第２ニューラルネットワークは、
    回帰型ニューラルネットワーク（ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）に基づいて構成されるビジュアルアテンションモデル（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ）である、
    請求項１に記載の方法。
  6. 前記第１ニューラルネットワークおよび前記第２ニューラルネットワークに基づき、前記患者の前記精神疾患を確率的に提示する段階
    をさらに含む、請求項１に記載の方法。
  7. 前記精神疾患は、自閉スペクトラム症を含む、
    請求項１に記載の方法。
  8. コンピュータシステムであって、
    メモリ、および
    前記メモリに接続され、前記メモリに記録される少なくとも１つの命令を実行するように構成されたプロセッサを含み、
    前記プロセッサは、
    第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、
    第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定し、
    前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プロトコルを提供するように構成され、
    前記検査領域を決定することは、
    前記脳画像からなるデータアイテムと、前記脳画像とは異なる方法で得られた他のデータアイテムとを含む医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を前記第１ニューラルネットワークに基づいて検出し、予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して前記検査領域の重要度および検出された前記相対的な重要度を視覚化し、
    前記精神疾患を診断するための複数の検査段階が存在し、
    前記検査プロセスは、
    前記検査段階の進行順序を含み、
    前記検査段階の進行順序にしたがい、前記検査段階それぞれで前記患者の前記医療マルチモーダルデータのデータアイテムを検査する、
    コンピュータシステム。
  9. 前記プロセッサは、
    前記脳画像において、前記検査領域の位置、形状、または大きさのうちの少なくとも１つを視覚化するように構成される、
    請求項８に記載のコンピュータシステム。
  10. 前記第１ニューラルネットワークは、
    クラス活性化マッピング技法と、
    畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成される、
    請求項８に記載のコンピュータシステム。
  11. 前記検査プロセスは、
    前記脳画像から複数の検査領域が決定される場合、前記検査領域の検査順序を含む、
    請求項８に記載のコンピュータシステム。
  12. 前記第２ニューラルネットワークは、
    回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルである、
    請求項８に記載のコンピュータシステム。
  13. 前記プロセッサは、
    前記第１ニューラルネットワークおよび前記第２ニューラルネットワークに基づき、前記患者の前記精神疾患を確率的に提示するように構成される、
    請求項８に記載のコンピュータシステム。
  14. 前記精神疾患は、自閉スペクトラム症を含む、
    請求項８に記載のコンピュータシステム。
  15. 非一時的なコンピュータ読み取り可能な記録媒体であって、
    第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、
    第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および
    前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プロトコルを提供する段階
    を実行し、
    前記検査領域を決定する段階は、
    前記脳画像からなるデータアイテムと、前記脳画像とは異なる方法で得られた他のデータアイテムとを含む医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を前記第１ニューラルネットワークに基づいて検出し、予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して前記検査領域の重要度および検出された前記相対的な重要度を視覚化し、
    前記精神疾患を診断するための複数の検査段階が存在し、
    前記検査プロセスは、
    前記検査段階の進行順序を含み、
    前記検査段階の進行順序にしたがい、前記検査段階それぞれで前記患者の前記医療マルチモーダルデータのデータアイテムを検査するための１つ以上のプログラムを記録する、コンピュータ読み取り可能な記録媒体。
  16. 前記検査領域を決定する段階は、
    前記脳画像において、前記検査領域の位置、形状または大きさのうちの少なくとも１つを視覚化し、
    前記検査プロセスは、
    前記精神疾患を診断するための複数の検査段階の進行順序を含む、
    請求項１５に記載のコンピュータ読み取り可能な記録媒体。
JP2021052119A 2020-11-20 2021-03-25 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体 Active JP7209383B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200156681A KR102496834B1 (ko) 2020-11-20 2020-11-20 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법
KR10-2020-0156681 2020-11-20

Publications (2)

Publication Number Publication Date
JP2022082408A JP2022082408A (ja) 2022-06-01
JP7209383B2 true JP7209383B2 (ja) 2023-01-20

Family

ID=81658394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021052119A Active JP7209383B2 (ja) 2020-11-20 2021-03-25 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US11823383B2 (ja)
JP (1) JP7209383B2 (ja)
KR (1) KR102496834B1 (ja)
WO (1) WO2022108004A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021011493A (es) * 2019-03-22 2022-01-04 Cognoa Inc Métodos y dispositivos de terapia digital personalizados.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003335A (ja) 2010-06-14 2012-01-05 Ricoh Co Ltd 画像検査装置、画像検査システム、画像検査方法及び画像検査プログラム
US20140088984A1 (en) 2012-09-26 2014-03-27 Samsung Electronics Co., Ltd. Medical imaging apparatus and control method thereof
WO2019112050A1 (ja) 2017-12-08 2019-06-13 国立研究開発法人量子科学技術研究開発機構 画像撮像装置、画像撮像方法、画像撮像プログラム、及び記憶媒体
JP2020126284A (ja) 2019-02-01 2020-08-20 コニカミノルタ株式会社 情報処理装置、診断支援システム及びプログラム
WO2020218460A1 (ja) 2019-04-26 2020-10-29 エーザイ・アール・アンド・ディー・マネジメント株式会社 診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002343194A1 (en) * 2001-11-20 2003-06-10 Avi Peled System and method for diagnosis of mental disorders
WO2013062937A2 (en) * 2011-10-24 2013-05-02 President And Fellows Of Harvard College Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy
MX2016004899A (es) * 2013-10-17 2017-01-18 Children's Healthcare Of Atlanta Inc Metodos para evaluar el desarrollo de bebes y niños via rastreo ocular.
EP3294124A4 (en) * 2015-05-15 2019-01-16 The General Hospital Corporation SYSTEM AND METHOD FOR EARLY DIAGNOSIS OF INTERFERENCE IN THE AUTOMATIC SPECTRUM
US10799186B2 (en) * 2016-02-12 2020-10-13 Newton Howard Detection of disease conditions and comorbidities
WO2018005814A1 (en) * 2016-06-29 2018-01-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utilizing functional connectivity brain imaging for diagnosis of a neurobehavioral disorder
WO2018005820A1 (en) * 2016-06-29 2018-01-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder
KR101957456B1 (ko) * 2017-08-24 2019-03-12 주식회사 아리아케어코리아 뇌 질환 검출 및 예측 시스템 및 방법
KR101957811B1 (ko) * 2018-08-07 2019-03-13 주식회사 뷰노 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치
KR101995383B1 (ko) 2018-10-02 2019-07-02 주식회사 뷰노 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치
KR20190135908A (ko) * 2019-02-01 2019-12-09 (주)제이엘케이인스펙션 인공지능 기반 치매 진단 방법 및 장치
US11379981B1 (en) * 2021-06-07 2022-07-05 The Florida International University Board Of Trustees Systems and methods for diagnosing autism spectrum disorder using fMRI data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003335A (ja) 2010-06-14 2012-01-05 Ricoh Co Ltd 画像検査装置、画像検査システム、画像検査方法及び画像検査プログラム
US20140088984A1 (en) 2012-09-26 2014-03-27 Samsung Electronics Co., Ltd. Medical imaging apparatus and control method thereof
WO2019112050A1 (ja) 2017-12-08 2019-06-13 国立研究開発法人量子科学技術研究開発機構 画像撮像装置、画像撮像方法、画像撮像プログラム、及び記憶媒体
JP2020126284A (ja) 2019-02-01 2020-08-20 コニカミノルタ株式会社 情報処理装置、診断支援システム及びプログラム
WO2020218460A1 (ja) 2019-04-26 2020-10-29 エーザイ・アール・アンド・ディー・マネジメント株式会社 診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル

Also Published As

Publication number Publication date
US11823383B2 (en) 2023-11-21
KR102496834B1 (ko) 2023-02-08
JP2022082408A (ja) 2022-06-01
US20220164948A1 (en) 2022-05-26
WO2022108004A1 (ko) 2022-05-27
KR20220069499A (ko) 2022-05-27

Similar Documents

Publication Publication Date Title
US20180144244A1 (en) Distributed clinical workflow training of deep learning neural networks
Marcus et al. Informatics and data mining tools and strategies for the human connectome project
US11961004B2 (en) Predicting brain data using machine learning models
JP7209383B2 (ja) 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体
CN116685261A (zh) 使用自动编码器神经网络处理脑数据
US11460528B2 (en) MRI reconstruction with image domain optimization
US11581082B2 (en) Subsetting brain data
CN112397195B (zh) 用于生成体格检查模型的方法、装置、电子设备和介质
JP2022068043A (ja) 医用画像処理装置及び医用画像処理システム
JP7492769B2 (ja) 認知症診断に必要な情報の提供方法及び装置
US20200253548A1 (en) Classifying a disease or disability of a subject
JPWO2020116351A5 (ja)
US20160070883A1 (en) Supporting execution of a clinical trial
JP2021068188A (ja) 診断支援方法および診断支援システム
KR20220143178A (ko) 인공지능 기반 치매 진단 방법 및 장치
KR20220143179A (ko) 치매 진단 및 예후 예측 방법
US10973454B2 (en) Methods, systems, and apparatus for identifying and tracking involuntary movement diseases
WO2024128584A1 (ko) 우울증 예측을 위한 인공지능 및 웹 기반 플랫폼
JP7313165B2 (ja) アルツハイマー病生存分析装置及びアルツハイマー病生存分析プログラム
KR20220142562A (ko) 뇌 영상을 이용한 치매 진단 방법
KR20220142564A (ko) 뇌영상의 자동 분석을 통한 치매 중중도 정량화 방법
KR20220143181A (ko) 뇌영상 분석 방법 및 시스템
KR20220143177A (ko) 인공지능을 이용한 뇌 영역 분류 방법
KR20220142565A (ko) 뇌질환 진단 학습 모델 생성을 위한 영상 전처리 방법
KR20220142563A (ko) fMRI를 이용한 뇌질환 판독 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7209383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150