JP7152724B2 - 機械学習装置、プログラム、及び検査結果推定装置 - Google Patents

機械学習装置、プログラム、及び検査結果推定装置 Download PDF

Info

Publication number
JP7152724B2
JP7152724B2 JP2020140479A JP2020140479A JP7152724B2 JP 7152724 B2 JP7152724 B2 JP 7152724B2 JP 2020140479 A JP2020140479 A JP 2020140479A JP 2020140479 A JP2020140479 A JP 2020140479A JP 7152724 B2 JP7152724 B2 JP 7152724B2
Authority
JP
Japan
Prior art keywords
unit
learning
result
echocardiography
examination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020140479A
Other languages
English (en)
Other versions
JP2022035870A5 (ja
JP2022035870A (ja
Inventor
雅文 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AAA JAPAN, LLC.
Original Assignee
AAA JAPAN, LLC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AAA JAPAN, LLC. filed Critical AAA JAPAN, LLC.
Priority to JP2020140479A priority Critical patent/JP7152724B2/ja
Priority to PCT/JP2021/010688 priority patent/WO2022038819A1/ja
Priority to EP21857971.2A priority patent/EP4198994A1/en
Priority to CN202180051576.9A priority patent/CN115885347A/zh
Priority to US18/022,072 priority patent/US20230363688A1/en
Publication of JP2022035870A publication Critical patent/JP2022035870A/ja
Publication of JP2022035870A5 publication Critical patent/JP2022035870A5/ja
Application granted granted Critical
Publication of JP7152724B2 publication Critical patent/JP7152724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30—Anatomical models
    • G09B23/303—Anatomical models specially adapted to simulate circulation of bodily fluids
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、心臓超音波検査結果を推定する検査結果推定装置およびプログラムに関する。
従来、心電図を用いた検査が知られている。心電図は心臓の電気的活動を体表の電極で検出して調べる検査であり、不整脈、虚血性心疾患、心筋症などあらゆる心臓疾患の発見および経過をみるために用いられている。さらに、心電図検査は、侵襲的な検査ではなく、どこでも簡便に、かつ、安価に検査を行うことができる検査である。このことから、心電図検査は、健康診断でもスクリーニング検査として重宝されている。しかしながら、心電図の読影には多くの経験が必要とされ、熟練した医師であっても、心電図のみで心疾患の全てを診断（確定診断）することは難しい。
そこで、確定診断をするためには、心臓超音波検査による精査が必要となる。ここで、心臓超音波検査とは、超音波を身体の内部の構造に当てて跳ね返ってきた反射波を利用して画像を取得する検査を意味する。心臓超音波検査によれば、高血圧や心不全、心臓の筋肉壁の障害（心筋症）などの患者でみられる、心臓弁の異常、先天異常（心室や心房の間の穴など）、心臓壁や心房または心室の拡大など、心臓の構造的異常を見つけることが可能となる。また、心臓超音波検査では、１回の拍動毎に心臓が送り出す血液の量なども測定することが可能となる。心臓超音波検査は、心臓の構造的異常や心臓の血液の流量等を把握するのに有用であることと、心電図と同様に被検者にとって非侵襲的であることから、心疾患の診断によく用いられる検査法の１つになっている。
しかしながら、心臓超音波検査装置を所有している場合でも、適切な画像の描出には、熟練した医師または技師が必要になる。そのため、医療過疎地域においては循環器専門医がいない場合や、超音波検査を行うことができる技師がいない場合があり、心臓超音波検査装置を準備しても、適切な医療を受けられない可能性がある。
上記の事情から、心電図によって疾患を自動的に判定するシステムの開発が開始されており、例えば、心電図と機械学習（深層学習）とを組み合わせた研究が開始されている（例えば、特許文献１および２、非特許文献１および２）。
特表２０１９－５１４６３５号公報
特表２０１８－５０３８８５号公報
古林せなみ、今井健、石原三四郎、藤生克仁、大江和彦著、深層学習を用いた心電図波形の正常異常判定に関する研究、人工知能学会研究会資料、2018年3月15日、vol.5、no.5、ｐ．1-5
Goto S, Kimura M, Katsumata Y, Goto S, Kamatani T, Ichihara G, Ko S, Sasaki J, Fukuda K, Sano M.，Artificial intelligence to predict needs for urgent revascularization from 12-leads electrocardiography in emergency patients. PLoS One （米），2019，14(1)，e0210103
泉知里、他３３名、2020年改訂版 弁膜症治療のガイドライン（日本循環器学会、日本胸部外科学会、日本血管外科学会、日本心臓血管外科学会合同ガイドライン）、2013年3月13日
上記のように、心電図（心電信号）と機械学習とを組み合わせた研究が開始されているものの、従来の研究は、学習させた時点における医療技術に基づく、特定の疾患の有無の推定や、その特定の疾患がある場合に重症であるか否かの判定（推定）を行うものである。しかしながら、よりよい医療が提供されるように日々医療技術は変化しており、治療方法の判断基準は日々変化している。例えば、大動脈弁狭窄症だけを例にとっても、以前の臨床では手術適応の判断は重症度に基づいて行われていたが、最近の臨床では手術適応の判断は重症度だけに依存するわけではない（例えば、非特許文献３）。具体的には、心臓の駆出率（心臓が血液を送り出す量を拡張期の左心室容量で割って算出されるもの）が低ければ、大動脈弁での圧較差が生じにくくなるため、重症の大動脈弁狭窄症でなくても手術適応になることがある。このため、医師にとっては、上記の研究に基づいた装置を用いたとしても、比較的古い医療技術に基づいた推定結果を知ることができるだけであり、確定診断を行いにくいという問題点があった。そこで、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムが望まれている。
この開示は、上記のような課題を解決するためになされたものであり、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置と、心臓超音波検査装置を使用しない場合でも、検査結果推定装置によって医療技術の変化に対応可能な検査結果を推定させることを可能にする学習済モデルを作成する機械学習装置およびプログラムとを提供することを目的とする。
上記の目的を達成するために、以下に開示する、第１の局面による検査結果推定装置は、心電信号を取得する信号取得部と、学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、信号取得部により取得された心電信号に応じた心臓超音波検査結果を推定する推定部と、推定部により推定された心臓超音波検査結果を出力する出力部と、を備える。
第２の局面によるプログラムは、心電信号を取得する処理と、学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、心電信号に応じた心臓超音波検査結果を推定する処理と、推定された心臓超音波検査結果を出力する処理と、コンピュータに実行させる。
上記第１および第２の局面の構成によれば、心臓超音波検査装置を使用しない場合や、心臓超音波検査装置を扱うことができる専門の医師や技師がいない場合でも、心臓超音波検査結果を医師に提供することができる。そして、心臓超音波検査結果を確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される従来の装置とは異なり、診断時の最新の医療技術と心臓超音波検査結果（心臓の構造的異常や心臓の血液の流量等）とに基づいて、医師は適切に診察することができる。すなわち、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムを提供することができる。
図１は、一実施形態における検査結果推定システムの処理の概要を説明するための図である。 図２は、一実施形態における検査結果推定システムの全体の構成を示ブロック図である。 図３は、一実施形態における心電図検査装置の構成を示すブロック図である。 図４（ａ）は、一実施形態における心電図検査の肢誘導を説明するための図である。図４（ｂ）は、一実施形態における心電図検査の胸部誘導を説明するための図である。 図５は、一実施形態における機械学習装置の制御部の機能ブロック図である。 図６は、一実施形態における心電信号の波形の例を説明するための図である。 図７は、一実施形態における数値データに変換された状態の心電信号の例を説明するための図である。 図８は、一実施形態における検査結果推定装置の構成を示すブロック図である。 図９は、一実施形態における検査結果推定装置の制御部の機能ブロック図である。 図１０は、一実施形態における心臓超音波検査結果（レポート）の画面の例を示す図である。 図１１は、一実施形態におけるガイドライン参照結果の画面の例を示す図である。 図１２は、一実施形態における検査結果推定装置による提案の画面の例を示す図である。 図１３は、一実施形態における学習済モデルの作成方法を説明するためのフロー図である。 図１４は、一実施形態における心臓超音波検査結果の推定方法を説明するためのフロー図である。
以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は、以下の実施形態に限定されるものではなく、本発明の構成を充足する範囲内で、適宜設計変更を行うことが可能である。また、以下の説明において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、実施形態および変形例に記載された各構成は、適宜組み合わされてもよいし、変更されてもよい。また、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。
［検査結果推定装置の概要］
図１および図２は、本実施形態における検査結果推定システム１００（以下、単に「システム１００」という）の構成の概要を説明するための図である。システム１００は、心電信号Ｓａが入力されると、心臓超音波検査結果Ｒａを推定して出力するためのシステムであり、医師による診断や治療を支援するためのシステムである。ここで、「心臓超音波検査結果Ｒａ」は、心臓超音波検査（心エコー検査）を実施した場合に得られる検査結果に相当するものであり、例えば、心電信号Ｓａのみでは得られない心臓の構造的な情報や心臓における血液の流量等の情報が含まれる。心臓超音波検査結果Ｒａの詳細は、図１０を用いて後述する。
図１に示すように、システム１００では、学習用心電信号ＳＬを入力データとし学習用心臓超音波検査結果ＲＬを教師データとするデータセットを用いて、機械学習部２１ｂによる機械学習が行われる（学習フェーズ）。ここで、「学習用心電信号ＳＬ」とは、例えば、機械学習を行うために準備された心電図データを数値データに変換したものである。機械学習を行うために準備された心電図データには、例えば、心電図検査装置３０（図２参照）により取得された患者の心電図データが含まれていてもよいし、学習用に機械や人が作成した模式的な心電図データが含まれていてもよい。また、機械学習を行うために準備された心電図データは、心電図検査装置３０により取得された患者の心電図データそのもの（生データ）に限らず、学習用に加工処理されたデータであってもよい。加工処理の例は後述する。
本実施形態における心電図データは、例えば、Medical waveform Format Encoding Rules（ＭＦＥＲ）、または、Digital Imaging and COmmunications in Medicine（ＤＩＣＯＭ）に準拠しているものである。ＭＦＥＲは、心電図を始め、脳波や呼吸波形など医療波形全般を記述することができるように標準化された規格であり、容易に数値や画像への変換を可能にするための規格である。例えば、ＭＦＥＲに準拠した心電図データは、システム１００において、Comma Separated Value（ＣＳＶ）変換された数値データ（ＣＳＶ信号）として学習、記憶、推定および表示に用いることが可能である。また、ＤＩＣＯＭは、医用画像機器間の通信プロトコルを定義した標準規格であり、異なる製造業者の医用画像機器間で画像転送を可能とすることを目的とした規格である。なお、本開示では、ＭＦＥＲまたはＤＩＣＯＭに準拠した心電図データであっても、必ずしもＣＳＶ変換する必要はなく、例えば、ＭＦＥＲファイルまたはＤＩＣＯＭファイルを画像として学習、記憶、推定および表示に用いてもよい。また、心電図データは、ＭＦＥＲおよびＤＩＣＯＭに限られず、画像データであれば、例えば、Joint Photographic Experts Group（ＪＰＥＧ）規格に基づいたものであってもよい。
図１に示すように、システム１００は、機械学習部２１ｂにより作成された学習済モデルＭを用いて、入力された心電信号Ｓａに対応する心臓超音波検査結果Ｒａを推定し、推定された心臓超音波検査結果Ｒａを出力する（推定フェーズ）。ここで、「心電信号Ｓａ」とは、診断の対象となっている患者の心電図データ、または、当該心電図データを加工または数値に変換したデータである。すなわち、システム１００は、この診断の対象となっている患者の心電図データに基づいて、心臓超音波検査結果Ｒａ（心エコーの検査結果）を推定するように構成されている。この段落における心電図データは、例えば、心臓超音波検査装置が設けられていない医療施設（例えば、医療過疎地の診療所）において診察される患者の心電図データである。なお、「学習済モデルＭ」の詳細は、後述する。
これにより、心臓超音波検査装置を使用できない場合や、心臓超音波検査装置を扱うことができる医師や技師がいない地域でも、心臓超音波検査結果Ｒａを医師に提供することができる。そして、心臓超音波検査結果Ｒａを確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される装置とは異なり、診断時の最新の医療技術と心臓の構造的異常や心臓の血液の流量等とに基づいて、医師は適切に診察することができる。
［検査結果推定装置の各部の構成］
図２に示すように、システム１００は、複数の検査結果推定装置１０と、機械学習装置２０とを備える。機械学習装置２０は、図１に示した学習フェーズを実行するための装置である。すなわち、機械学習装置２０は、学習用心電信号ＳＬを入力データとし学習用心臓超音波検査結果ＲＬを教師データとするデータセットを用いて、機械学習を行うことにより、学習済モデルを作成する。検査結果推定装置１０は、図１に示した推定フェーズを実行するための装置である。すなわち、検査結果推定装置１０は、学習済モデルＭを用いて、入力された心電信号Ｓａに対応する心臓超音波検査結果Ｒａを推定し、推定された心臓超音波検査結果Ｒａを出力する。
複数の検査結果推定装置１０と、機械学習装置２０とは、例えば、ネットワークＮを介して、通信可能に構成されている。複数の検査結果推定装置１０と複数の心電図検査装置３０とは、それぞれ、通信可能に接続されている。なお、ネットワークＮは、例えば、Local Area Network（ＬＡＮ）、Wide Area Network（ＷＡＮ）、および、インターネット等であるが、これら以外のネットワークを用いてもよい。
（心電図検査装置の構成）
心電図検査装置３０は、例えば、１２誘導心電図を用いた検査法により、心電図検査を行うように構成されている。図３および図４に示すように、心電図検査装置３０は、測定部３１と、制御部３２と、通信部３３と、表示部３４とを含む。以下、１２誘導心電図を例として示すが、本開示では、１２誘導心電図を用いた検査法以外の検査法により心電信号Ｓａを取得してもよい。
図４は、１２誘導心電図を用いた検査法を説明するための図である。図４に示すように、１２誘導とは、６つの肢誘導（Ｉ、ＩＩ、ＩＩＩ、ａＶＲ、ａＶＬおよびａＶＦ）と６つの胸部誘導（Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５およびＶ６）で構成され、心筋の電気的活動を１２個のベクトルとして表すものである。測定部３１は、例えば、患者の１２部位に取り付けられる１２個の測定電極を含む。そして、測定部３１は、１２誘導の心電図データを表す１２種類の心電信号Ｓａ（図６参照）を取得する。測定部３１は、取得した心電信号Ｓａを制御部３２に伝達する。制御部３２は、プロセッサを含む。そして、制御部３２は、表示部３４に心電信号Ｓａ（波形）（図６参照）を表示する。また、制御部３２は、通信部３３を介して、有線または無線通信により、心電信号Ｓａを検査結果推定装置１０（図２参照）に送信する。また、制御部３２は、通信部３３を介して、学習用心電信号ＳＬを機械学習装置２０に送信してもよい。通信部３３は、通信インターフェイスである。表示部３４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイである。
なお、本実施形態では、心電図検査装置３０に、表示部３４を設ける例を示したが、表示部３４に代えて、または、表示部３４に加えて、心電信号Ｓａの波形を紙媒体に印刷する印刷部が設けられていてもよい。また、心電図検査装置３０に、通信部３３を設ける例を示したが、通信部３３に代えて、または、通信部３３に加えて、心電図検査装置３０に着脱可能な記憶媒体が設けられていてもよい。この記憶媒体を用いて、心電信号Ｓａを検査結果推定装置１０に移動させてもよいし、学習用心電信号ＳＬを機械学習装置２０に移動させてもよい。
（機械学習装置の構成）
図２に示すように、機械学習装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４とを含む。制御部２１は、プログラムを実行することにより制御処理を実行するプロセッサを含む。そして、制御部２１は、機械学習装置２０の各制御処理を実行するように構成されている。記憶部２２は、学習用データ記憶領域２２ａと、学習済モデル記憶領域２２ｂとを含む。通信部２３は、通信インターフェイスであり、ネットワークＮに接続されている。入力部２４は、キーボード、マウス、タッチパネル等のユーザインタフェースであってもよいし、紙媒体を読み取る光学式文字読取装置（ＯＣＲ）として構成されていてもよい。
図５は、制御部２１の機能ブロック図である。制御部２１は、データ取得部２１ａと、機械学習部２１ｂと、出力部２１ｃとを含む。データ取得部２１ａは、心電図検査装置３０から学習用心電信号ＳＬを取得するか、または、人や機械が作成した学習用心電信号ＳＬを取得する。そして、データ取得部２１ａは、取得した学習用心電信号ＳＬを学習用データ記憶領域２２ａに記憶する。
図６は、１２誘導心電図のデータ（心電信号の波形）を説明するための図である。また、図７は、学習用心電信号ＳＬ（心電信号Ｓａ）の数値データを説明するための図である。学習用心電信号ＳＬは、１２誘導心電図のデータ（図６参照）を所定のタイミングでサンプリングし、ＣＳＶ変換された数値データとして取得される。図７は、ＣＳＶ変換された数値データを表形式で模式的に示したものである。なお、本開示では、ＣＳＶ変換された数値データに限られず、１２誘導心電図の波形画像を、学習用心電信号ＳＬとして用いてもよい。学習用心電信号ＳＬは、ＣＳＶ変換された数値データに対して、さらに加工処理が行われた信号（データ）であってもよい。例えば、制御部２１は、学習用心電信号ＳＬの心拍間隔を正規化してもよい。「正規化」とは、心拍の１拍の長さを共通の大きさになるように各信号を加工処理し、波形同士を対比しやすくすることを意味する。また、制御部２１は、学習用心電信号ＳＬからPQRST波以外の直線部分（ベースライン）や、ノイズ成分を除去する処理を行ってもよい。これにより、個人差が表れやすい心拍間隔やノイズ等の要因を排除することにより、作成される学習済モデルＭの推定精度を向上させることができる。なお、心拍間隔が学習用心電信号ＳＬの特徴点として含まれる場合には、学習用心電信号ＳＬは、正規化されなくてもよい。
データ取得部２１ａは、学習用心臓超音波検査結果ＲＬを取得する。例えば、同一の患者に対して心電図検査と心臓超音波検査とが行われ、これらの検査から学習用心電信号ＳＬと学習用心臓超音波検査結果ＲＬとがデータ取得部２１ａにより取得される。ここで、学習用心臓超音波検査結果ＲＬには、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも１つの項目が含まれる。詳細には、例えば、学習用心臓超音波検査結果ＲＬは、左心室壁厚、左心房径、および、弁口面積等を含む心臓の構造的な寸法と、心拍出量などの血液の流量と、心臓弁膜症の重症度の判定に必要な圧較差、および、心室内の圧等との各々の項目を含む。
さらに詳細には、学習用心臓超音波検査結果ＲＬには、大動脈径（ＡＯＤ）、左房径（ＬＡＤ）、右房径（ＲＶＤ）、左室拡張末期径（ＬＶＤｄ）、左室収縮末期径（ＬＶＤｓ）、左室拡張末期容積（ＬＶＥＤＶ）、左室収縮末期容積（ＬＶＥＳＶ）、一回心拍出量（ＳＶ）、駆出率（ＥＦ）、左室心筋重量係数（ＬＶ ｍａｓｓ ｉｎｄｅｘ）、左室中隔（ＩＶＳＴ）、左室後壁厚（ＰＷＴ）、左室流入血流の情報（Ｅ／Ａ、ＤｃＴ、ｅ＊、Ｅ／ｅ＊）、右室流出血流の情報（ＡＣＩ／ＥＴ）、僧房弁逆流（ＭＲ）、僧帽弁口面積（ＭＶＡ）、僧帽弁輪径、圧半減時間（ＰＨＴ）、大動脈弁逆流（ＡＲ）、大動脈弁口面積（ＡＶＡ）、大動脈弁輪径、三尖弁逆流（ＴＲ）、ジェット面積、右室収縮期圧（ＲＶＰ）、肺動脈弁逆流（ＰＲ）、下大静脈径（ＩＶＣ）、虚脱、および、心膜液の項目が含まれる。また、学習用心臓超音波検査結果ＲＬには、心臓の壁運動の情報、および、先天性心疾患の情報が含まれる。心臓の壁運動の情報は、例えば、左心室または右心室のうちのどの壁部に異常があるかについての情報を含む。また、先天性心疾患の情報には、心室中隔欠損症や心房中隔欠損症などが存在する可能性の情報が含まれる。先天性心疾患は、これら２つに限らず、他の疾患であってもよい。そして、学習用心臓超音波検査結果ＲＬの各項目は、例えば、数値データとして学習用データ記憶領域２２ａに記憶される。なお、本開示では、数値データに限られず、心臓超音波検査における心エコー画像が、学習用心臓超音波検査結果ＲＬとして学習用データ記憶領域２２ａに記憶されていてもよい。また、学習用心臓超音波検査結果ＲＬは、入力部２４に対する入力や、入力部２４により紙媒体を読み取られることにより、データ取得部２１ａにより取得されてもよい。学習用心電信号ＳＬと学習用心臓超音波検査結果ＲＬとは、対応付けて（データセットとして）、学習用データ記憶領域２２ａに記憶される。
図１に示すように、機械学習部２１ｂは、例えば、教師あり学習を行うことにより学習済モデルＭを作成する機能を有する。すなわち、機械学習部２１ｂは、学習用心電信号ＳＬを入力データとし、入力データ（学習データ）に対する教師データ（正解ラベル）として、学習用心臓超音波検査結果ＲＬが学習される。機械学習部２１ｂは、例えば、学習用データ記憶領域２２ａに記憶された数万の学習用心電信号ＳＬおよび学習用心臓超音波検査結果ＲＬのデータセットを学習することにより、学習済モデルＭを作成する。機械学習部２１ｂによる機械学習方法としては、例えば、ニューラルネットワークによる深層学習を用いることができるが、深層学習以外の機械学習方法を用いてもよい。深層学習を用いる場合、機械学習部２１ｂは、データセットを学習することにより、ニューラルネットワークにおける関数のパラメータが最適化される。作成された学習済モデルＭは、記憶部２２の学習済モデル記憶領域２２ｂ（図２参照）に記憶される。
出力部２１ｃは、機械学習部２１ｂにより作成された学習済モデルＭを、通信部２３を介して各検査結果推定装置１０に送信する。検査結果推定装置１０は、受信した学習済モデルＭを自身の記憶部１２（図８参照）に記憶する。なお、機械学習装置２０に、通信部２３を設ける例を示したが、通信部２３に代えて、または、通信部２３に加えて、機械学習装置２０に、着脱可能な記憶媒体が設けられていてもよい。この記憶媒体を用いて、学習済モデルＭを検査結果推定装置１０に移動させてもよい。
記憶部２２は、例えば、不揮発性メモリとして構成されている。記憶部２２は、オンプレミス型（据え置き型）のサーバでもよいし、オンプレミス型のサーバに限られず、クラウド上に構成されたサーバを用いてもよい。
（検査結果推定装置の構成）
図８は、検査結果推定装置１０の構成を示すブロック図である。検査結果推定装置１０は、制御部１１と、記憶部１２と、通信部１３と、表示部１４とを含む。制御部１１は、制御部１１は、プログラムを実行することにより制御処理を実行するプロセッサを含む。そして、制御部１１は、検査結果推定装置１０の各制御処理を実行するように構成されている。
記憶部１２には、制御部１１が処理を行うためのプログラムと、学習済モデルＭとが記憶されている。記憶部１２には、機械学習装置２０により作成された学習済モデルＭが、予め（検査結果推定装置１０に製造時に）記憶されていてもよいし、上記したように、通信部１３を介して、機械学習装置２０から学習済モデルＭを受信してもよい。ここで、本実施形態では、記憶部１２には、医療ガイドラインデータＧが記憶されている。また、医療ガイドラインデータＧは、心臓超音波検査結果Ｒａの各項目における基準、当該基準に対して異常値（または異常）となった場合に推奨される検査方法、および、当該基準に対して異常値（または異常）となった場合に推奨される治療方法等の情報が含まれている。医療ガイドラインデータとは、例えば、医療系学会（例えば、日本循環器学会、日本胸部外科学会、日本血管外科学会、および、日本心臓血管外科学会等）により作成された、医師による診断や治療方法を判断するための基準や手順である。記憶部１２に記憶される医療ガイドラインデータＧは、最新版に随時更新されている。更新処理は、制御部１１により行われる。医療ガイドラインデータＧは、例えば、「弁膜症治療のガイドライン」を用いることができる。
図９は、制御部１１の機能ブロックを示す図である。制御部１１は、信号取得部１１ａと、推定部１１ｂと、出力部１１ｃとを含む。信号取得部１１ａは、通信部１３を介して、心電図検査装置３０から心電信号Ｓａを取得するように構成されている。すなわち、信号取得部１１ａは、診察対象の患者の心電図画像データ（ＭＦＥＲまたはＤＩＣＯＭ）からＣＳＶ変換された数値データ（ＣＳＶ信号）を含む心電信号Ｓａを取得する。これにより、心電図画像データ（ＭＦＥＲまたはＤＩＣＯＭ）よりも数値データの方がデータサイズを小さくすることができるので、心電図検査装置３０から心電信号Ｓａをより迅速に取得することができるとともに、記憶部１２の容量を節約することができる。また、推定部１１ｂにより心臓超音波検査結果Ｒａを推定する際の処理負担を軽減することができる。
図１０は、表示部１４に表示されるレポート（心臓超音波検査推定結果報告書）の例である。推定部１１ｂは、学習済モデルＭを用いて、取得した心電信号Ｓａに応じた心臓超音波検査結果Ｒａを推定する処理を行う。出力部１１ｃは、推定された心臓超音波検査結果Ｒａを、表示部１４に出力する。具体的には、出力部１１ｃは、心臓超音波検査結果Ｒａに含まれる複数の項目が記載されたレポートを表示部１４に表示する。推定部１１ｂは、例えば、心臓超音波検査結果Ｒａとして、左心室壁厚、左心房径、および、弁口面積等を含む心臓の構造的な寸法と、心拍出量などの血液の流量と、心臓内の血液の流速、心臓弁膜症の重症度の判定に必要な圧較差、および、心室内の圧等との各々の項目の数値データ（ＣＳＶデータ）として推定結果を出力する。詳細には、推定部１１ｂは、例えば、大動脈径（ＡＯＤ）、左房径（ＬＡＤ）、右房径（ＲＶＤ）、左室拡張末期径（ＬＶＤｄ）、左室収縮末期径（ＬＶＤｓ）、左室拡張末期容積（ＬＶＥＤＶ）、左室収縮末期容積（ＬＶＥＳＶ）、一回心拍出量（ＳＶ）、駆出率（ＥＦ）、左室心筋重量係数（ＬＶ ｍａｓｓ ｉｎｄｅｘ）、左室中隔（ＩＶＳＴ）、左室後壁厚（ＰＷＴ）、左室流入血流の情報（Ｅ／Ａ、ＤｃＴ、ｅ＊、Ｅ／ｅ＊）、右室流出血流の情報（ＡＣＩ／ＥＴ）、僧房弁逆流（ＭＲ）、僧帽弁口面積（ＭＶＡ）、僧帽弁輪径、圧半減時間（ＰＨＴ）、大動脈弁逆流（ＡＲ）、大動脈弁口面積（ＡＶＡ）、大動脈弁輪径、三尖弁逆流（ＴＲ）、ジェット面積、右室収縮期圧（ＲＶＰ）、肺動脈弁逆流（ＰＲ）、下大静脈径（ＩＶＣ）、虚脱、および、心膜液の各々の項目についての推定結果を出力する。また、推定部１１ｂは、心臓の壁運動の推定結果、および、先天性心疾患の推定結果を出力する。心臓の壁運動の推定結果とは、例えば、左心室または右心室のうちのどの壁部に異常があるかについての推定結果を含む。また、先天性心疾患の推定結果には、心室中隔欠損症や心房中隔欠損症などが存在する可能性の推定結果が含まれる。先天性心疾患の推定結果は、これら２つの推定結果に限らず、他の疾患の推定結果が含まれていてもよい。
図１０に示すように、レポートには、患者情報（患者ＩＤ、患者氏名、患者の生年月日、患者の性別、患者の年齢）と、検査日、科別（例えば、心臓血管内科など）、および、担当医師名等が記載される。そして、レポートには、例えば、大動脈径（ＡＯＤ）、左房径（ＬＡＤ）、右房径（ＲＶＤ）、左室拡張末期径（ＬＶＤｄ）、左室収縮末期径（ＬＶＤｓ）、左室拡張末期容積（ＬＶＥＤＶ）、左室収縮末期容積（ＬＶＥＳＶ）、一回心拍出量（ＳＶ）、駆出率（ＥＦ）、左室心筋重量係数（ＬＶ ｍａｓｓ ｉｎｄｅｘ）、左室中隔（ＩＶＳＴ）、左室後壁厚（ＰＷＴ）、左室流入血流の情報（Ｅ／Ａ、ＤｃＴ、ｅ＊、Ｅ／ｅ＊）、右室流出血流の情報（ＡＣＩ／ＥＴ）、僧房弁逆流（ＭＲ）、僧帽弁口面積（ＭＶＡ）、僧帽弁輪径、圧半減時間（ＰＨＴ）、大動脈弁逆流（ＡＲ）、大動脈弁口面積（ＡＶＡ）、大動脈弁輪径、三尖弁逆流（ＴＲ）、ジェット面積、右室収縮期圧（ＲＶＰ）、肺動脈弁逆流（ＰＲ）、下大静脈径（ＩＶＣ）、虚脱、および、心膜液の項目が含まれる。また、レポートには、心臓の壁運動の推定結果、および、先天性心疾患の推定結果が含まれる。例えば、心臓の壁運動の推定結果として、左心室の「前壁運動異常の可能性あり」や右心室の「異常なし」等のコメントが含まれている。また、先天性心疾患の推定結果には、心室中隔欠損症の「可能性高い」や心房中隔欠損症の「可能性低い」等のコメントが含まれる。なお、レポートには、上記の情報以外の情報（例えば、心室中隔欠損症や心房中隔欠損症以外の疾患の推定結果）が含まれていてもよい。また、検査結果推定装置１０には、レポートを紙媒体に印刷する印刷機能部が設けられていてもよい。
この表示部１４に表示されたレポートを医師が視認することにより、心臓超音波検査装置が設けられていない医療施設においても、推定された心臓超音波検査結果Ｒａを医師が確認することができる。このため、医師は、心電信号Ｓａのみでは得られない心臓の構造的な情報や心臓における血液の流量等を確認することができる。この結果、システム１００は、推定された心臓の構造的な情報や心臓における血液の流量等を用いて、医師による患者の確定診断を支援することができる。
図１２は、表示部１４に表示されるガイドライン参照結果の画面の例である。推定部１１ｂは、心臓超音波検査結果Ｒａと、医療ガイドラインデータＧとに基づいて、医師による診療を支援するための支援情報Ｒｂを出力する。例えば、推定部１１ｂは、心臓超音波検査結果Ｒａの各項目の値と、医療ガイドラインデータＧに含まれる各項目の基準値とを比較する。推定部１１ｂは、心臓超音波検査結果Ｒａの各項目の値のうちいずれかが異常値（または異常）であった場合に、医療ガイドラインデータＧから、異常値（または異常）に対応する疾患の有無を精査するための検査方法を抽出する。そして、出力部１１ｃは、表示部１４に異常値（または異常）となった項目と、精査するための検査方法等を表示させる。例えば、出力部１１ｃは、表示部１４に「ガイドライン参照結果、△△（項目名）に異常が見られますので、造影検査を実施し精査を行うことを提案致します」等のメッセージが表示される。なお、図１２の画像は、図１１の画像と同一画面上に表示されてもよいし、別画面として表示されてもよい。
また、図１３は、表示部１４に表示される提案（医師への提案）の画面の例である。推定部１１ｂは、心臓超音波検査結果Ｒａの項目のうちのいずれかが推定できなかった場合、推定値の確度が低い場合（推定される範囲が所定の範囲よりも大きい場合）、推定値が所定の値（異常値）であった場合などに、表示部１４に表示される提案のメッセージを作成する。出力部１１ｃは、表示部１４に提案のメッセージを表示させる。例えば、出力部１１ｃは、表示部１４に「××（項目）の推定値に異常が見られますので、心臓超音波検査装置による実際の検査を実施することを提案致します」というメッセージを表示させる。なお、図１３の画像は、図１１および図１２のいずれか一方の画像と同一画面上に表示されてもよいし、別画面として表示されてもよい。
［学習済モデルの作成方法］
次に、図１３を参照して、本実施形態における学習済モデルの作成方法について説明する。図１３は、学習済モデルの作成に関するフローチャートである。この作成方法に関する処理は、機械学習装置２０の制御部２１により実行される。
ステップＳ１において、学習用心電信号ＳＬと学習用心臓超音波検査結果ＲＬとのデータセットが取得される。例えば、同一の患者に対して心電図検査と心臓超音波検査（心エコー検査）との両方を行う。そして、心電図検査により得られた心電信号を学習用心電信号ＳＬとし、心臓超音波検査により得られた情報を学習用心臓超音波検査結果ＲＬとし、当該学習用心電信号ＳＬと当該学習用心臓超音波検査結果ＲＬとを対応付けたデータセットを作成する。データセットは記憶部２２に記憶される。なお、学習用心電信号ＳＬまたは学習用心臓超音波検査結果ＲＬには、加工処理（正規化処理やノイズ処理など）された状態で記憶部２２に記憶されてもよい。
ステップＳ２において、複数のデータセットが学習される。例えば、複数（例えば、数万）のデータセットが記憶部２２から読み出され、深層学習されることにより、学習済モデルＭが作成される。ステップＳ３において、作成された学習済モデルＭが記憶部２２に記憶される。
［心臓超音波検査結果の推定方法］
次に、図１４を参照して、本実施形態における心臓超音波検査結果Ｒａの推定方法について説明する。図１４は、心臓超音波検査結果Ｒａの推定に関するフローチャートである。この作成方法に関する処理は、検査結果推定装置１０の制御部１１により実行される。
ステップＳ１１において、心電信号Ｓａが取得される。この心電信号Ｓａは、診断対象の患者に対して行われた心電図検査により得られたものである。
ステップＳ１２において、心電信号Ｓａに応じた心臓超音波検査結果Ｒａが、学習済モデルＭを用いて推定される。
ステップＳ１３において、推定された心臓超音波検査結果Ｒａに含まれる複数の項目が記載されたレポート（図１０参照）が表示部１４に表示される。ステップＳ１４において、ガイドライン参照結果（図１１参照）および提案（図１２参照）の少なくとも一方が表示される。これにより、心臓超音波検査装置を使用できない場合や、心臓超音波検査装置を扱うことができる医師や技師がいない地域でも、心臓超音波検査結果Ｒａを医師が確認することができる。そして、心臓超音波検査結果Ｒａを確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される装置とは異なり、診断時の最新の医療技術と心臓の構造的異常や心臓の血液の流量等とに基づいて、医師は適切に診察することができる。
例えば、日常診療では、医師は、心臓超音波検査結果Ｒａから心筋梗塞の有無や、心臓弁膜症の重症度などの他の検査を行うかどうか検討する。また、医師は、推定された心臓超音波検査結果Ｒａを元に、疑うべき疾患や、次に行うべき検査を提案する。これは心疾患に限らず、医師は、肺動脈塞栓症や肺高血圧症などの心臓超音波検査結果Ｒａから推測できる疾患であれば心臓以外の病気についても提案を行う。
［変形例］
以上、上述した実施形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施形態を適宜変形して実施することが可能である。
（１）上記実施形態では、機械学習装置と検査結果推定装置と心電図検査装置とをそれぞれ別装置として構成する例を示したが、本開示はこれに限られない。すなわち、機械学習装置と検査結果推定装置と心電図検査装置とのうちの２つが一体に構成されていてもよい。
（２）上記実施形態では、推定された心臓超音波検査結果を、数値データを含むレポートとして表示する例を示したが、本開示はこれに限られない。例えば、推定された心臓超音波検査結果を画像（心エコー画像）として表示してもよい。
（３）上記実施形態では、学習および推定の際に、数値データに変換した心電信号を用いたが、本開示はこれに限られない。例えば、学習および推定の少なくとも一方において、心電図画像データを用いてもよい。
（４）上記実施形態では、図１０にレポートに記載される項目の例を挙げたが本開示はこれに限られない。すなわち、図１０に記載の項目のうちの一部のみ記載されてもよいし、図１０に記載の項目以外の項目がレポートに含まれていてもよい。
また、上述した検査結果推定装置およびプログラムは、以下のように説明することができる。
第１の構成に係る検査結果推定装置は、学習用心電信号を入力データとし、心臓超音波検査結果を教師データとして、機械学習された学習済モデルと、心電信号を取得する信号取得部と、信号取得部により取得された心電信号に応じた心臓超音波検査結果を、学習済モデルを用いて推定する推定部と、推定部により推定された心臓超音波検査結果を出力する出力部と、を備える（第１の構成）。
上記第１の構成によれば、心臓超音波検査装置が設けられていない医療施設においても、推定された心臓超音波検査結果を出力することができる。このため、医師は、推定された心臓超音波検査結果を確認することにより、心電信号のみでは得られない心臓の構造的な情報や心臓における血液の流量等を確認することができる。この結果、推定された心臓の構造的な情報や心臓における血液の流量等を用いて、医師による患者の確定診断を支援することが可能な検査結果推定装置を提供することができる。
第１の構成において、心臓超音波検査結果に、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも１つの項目が含まれていてもよい（第２の構成）。
上記第２の構成によれば、医師は、心臓超音波検査装置を用いずに、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも１つの項目の推定結果を認識することができる。
第１または第２の構成において、出力部を、心臓超音波検査結果に含まれる複数の項目が記載されたレポートを表示部に表示するように構成してもよい（第３の構成）。
上記第３の構成によれば、表示部に表示されたレポートにより、医師は容易に心臓超音波検査結果を確認することができる。
第１～第３のいずれか１つの構成において、信号取得部を、心電図画像データから変換された数値データを含む心電信号を取得するように構成してもよい（第４の構成）。
上記第４の構成によれば、心電図画像データよりもデータ量が小さい数値データを用いることができるので、検査結果推定装置の処理の負担を軽減することができる。
第１～第４のいずれか１つの構成において、出力部を、数値データを含む心臓超音波検査結果を出力するように構成してもよい（第５の構成）。
上記第５の構成によれば、医師は、数値データを確認することにより、心臓超音波検査の画像自体が出力される場合に比べて容易に心臓超音波検査結果を確認することができる。
第１～第５のいずれか１つの構成において、推定部を、学習済モデルを用いて、信号取得部により取得された心電信号に応じた、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方を含む心臓超音波検査結果を推定するように構成してもよい（第６の構成）。
上記第６の構成によれば、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方の推定結果を、医師は確認することができるので、壁運動の異常や先天性心疾患に関して、医師の診断や治療方法の判断を支援することができる。
第１～第６のいずれか１つの構成において、医療ガイドラインの情報が記憶された記憶部をさらに備えてもよく、推定部を、推定した心臓超音波検査結果と、医療ガイドラインの情報とに基づいて、医師による診療を支援するための支援情報を生成し、出力部は、推定部により推定された心臓超音波検査結果と、支援情報とを出力するように構成してもよい（第７の構成）。
上記第７の構成によれば、心臓超音波検査結果のみならず、医療ガイドラインの情報に基づく支援情報が出力されるので、支援情報を医師が参照することによって、より一層、医師の診断や治療方法の判断を支援することができる。
第８の構成に係るプログラムは、心電信号を取得する処理と、学習用心電信号を入力データとし、心臓超音波検査結果を教師データとして、機械学習された学習済モデルを用いて、取得した心電信号に応じた心臓超音波検査結果を推定する処理と、推定された心臓超音波検査結果を出力する処理と、コンピュータに実行させる（第８の構成）。
上記第８の構成によれば、上記第１の構成と同様に、心臓超音波検査装置を使用しない場合でも、医師が確定診断を行う際に必要な心臓超音波検査結果を、医師に提供することが可能なプログラムを提供することができる。
１０…検査結果推定装置、１１ａ…信号取得部、１１ｂ…推定部、１１ｃ…出力部、１２…記憶部、１４…表示部、Ｍ…学習済モデル、ＲＬ…学習用心臓超音波検査結果、Ｒａ…心臓超音波検査結果、Ｒｂ…支援情報、ＳＬ…学習用心電信号、Ｓａ…心電信号

Claims (10)

  1. 学習用心電信号を取得する学習用心電信号取得部と、
    被検者に対して行われた心臓超音波検査の結果を取得する検査結果取得部と、
    前記心臓超音波検査の結果から心エコー数値データを抽出して、心エコー画像を含まない学習用超音波検査結果を作成する処理を行う前処理部と、
    心電信号に応じた心臓超音波検査結果を推定するための学習済モデルを作成する学習部であって、前記学習用心電信号と前記学習用超音波検査結果とを機械学習して学習済モデルを作成する学習部と、を備える、機械学習装置。
  2. 前記心エコー数値データは、心臓内の圧較差、心臓内の血液の流速、及び心臓内の血液の圧力を含み、
    前記前処理部は、前記心臓超音波検査の結果から、前記心臓内の圧較差、前記心臓内の血液の流速、及び前記心臓内の血液の圧力を抽出して、前記学習用超音波検査結果を作成する処理を行う、請求項１に記載の機械学習装置。
  3. 心電信号を取得する信号取得部と、
    学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、前記信号取得部により取得された心電信号に応じた心臓超音波検査結果を推定する推定部と、
    前記推定部により推定された前記心臓超音波検査結果を出力する出力部と、
    医療ガイドラインの情報が記憶された記憶部と、をさらに備え、
    前記推定部は、推定した前記心臓超音波検査結果のうちに異常値または異常であった場合に、前記医療ガイドラインの情報から、前記異常値または前記異常に対応する疾患の有無を精査するための検査方法を抽出し、
    前記出力部は、前記異常値または前記異常となった項目と、前記精査するための検査方法と、を出力する、検査結果推定装置。
  4. 前記出力部は、前記推定部によって前記心臓超音波検査結果の項目のうちのいずれかが推定できなかった場合に、心臓超音波検査装置による実際の検査を実施することを提案するメッセージを表示部に表示させる、請求項３に記載の検査結果推定装置。
  5. 学習用心電信号を取得する処理と、
    被検者に対して行われた心臓超音波検査の結果から心エコー数値データを抽出して、心エコー画像を含まない学習用超音波検査結果を作成する処理と、
    心電信号に応じた心臓超音波検査結果を推定するための学習済モデルを作成する学習部であって、前記学習用心電信号と前記学習用超音波検査結果とを機械学習して学習済モデルを作成する処理と、をコンピュータに実行させる、プログラム。
  6. 請求項１または２に記載の機械学習装置により作成された学習済モデルが記憶された記憶部と、
    心電信号を取得する信号取得部と、
    前記学習済モデルを用いて、前記信号取得部により取得された心電信号に応じた心臓超音波検査結果を推定する推定部と、
    前記推定部により推定された前記心臓超音波検査結果を出力する出力部と、を備える、検査結果推定装置。
  7. 前記出力部は、心臓内の圧較差、心臓内の血液の流速、及び心臓内の血液の圧力の各々の項目が記載されたレポートを表示部に表示する、請求項６に記載の検査結果推定装置。
  8. 前記信号取得部は、心電図画像データから変換された心電図数値データを含む心電信号を取得する、請求項６に記載の検査結果推定装置。
  9. 前記出力部は、心エコー数値データを含む前記心臓超音波検査結果を出力する、請求項６に記載の検査結果推定装置。
  10. 前記推定部は、前記学習済モデルを用いて、前記信号取得部により取得された心電信号に応じた、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方を含む前記心臓超音波検査結果を推定する、請求項６に記載の検査結果推定装置。
JP2020140479A 2020-08-21 2020-08-21 機械学習装置、プログラム、及び検査結果推定装置 Active JP7152724B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020140479A JP7152724B2 (ja) 2020-08-21 2020-08-21 機械学習装置、プログラム、及び検査結果推定装置
PCT/JP2021/010688 WO2022038819A1 (ja) 2020-08-21 2021-03-16 検査結果推定装置、プログラム及びプログラム記憶媒体
EP21857971.2A EP4198994A1 (en) 2020-08-21 2021-03-16 Test result estimation device, program, and program storage medium
CN202180051576.9A CN115885347A (zh) 2020-08-21 2021-03-16 检查结果估计装置、程序以及程序存储介质
US18/022,072 US20230363688A1 (en) 2020-08-21 2021-03-16 Examination result estimation device, program, and program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020140479A JP7152724B2 (ja) 2020-08-21 2020-08-21 機械学習装置、プログラム、及び検査結果推定装置

Publications (3)

Publication Number Publication Date
JP2022035870A JP2022035870A (ja) 2022-03-04
JP2022035870A5 JP2022035870A5 (ja) 2022-06-28
JP7152724B2 true JP7152724B2 (ja) 2022-10-13

Family

ID=80322889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020140479A Active JP7152724B2 (ja) 2020-08-21 2020-08-21 機械学習装置、プログラム、及び検査結果推定装置

Country Status (5)

Country Link
US (1) US20230363688A1 (ja)
EP (1) EP4198994A1 (ja)
JP (1) JP7152724B2 (ja)
CN (1) CN115885347A (ja)
WO (1) WO2022038819A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243706A (ja) 2001-02-09 2002-08-28 Sumitomo Metal Ind Ltd 超音波探傷方法及び装置
WO2018211687A1 (ja) 2017-05-19 2018-11-22 株式会社オプティム コンピュータシステム、被験者診断方法及び支援プログラム
JP2019514635A (ja) 2016-03-28 2019-06-06 ジェンドゥ・イノベイションズ・プライベイト・リミテッドＪｅｎｄｏ Ｉｎｎｏｖａｔｉｏｎｓ （Ｐｖｔ） Ｌｔｄ 血管系の健康を監視するためのシステムおよび方法
US20190183366A1 (en) 2017-12-20 2019-06-20 International Business Machines Corporation Automated Extraction of Echocardiograph Measurements from Medical Images
JP2020520273A (ja) 2017-05-18 2020-07-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 時間的な心臓画像の畳み込み深層学習解析

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077786A1 (en) 2014-11-14 2016-05-19 Zoll Medical Corporation Medical premonitory event estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243706A (ja) 2001-02-09 2002-08-28 Sumitomo Metal Ind Ltd 超音波探傷方法及び装置
JP2019514635A (ja) 2016-03-28 2019-06-06 ジェンドゥ・イノベイションズ・プライベイト・リミテッドＪｅｎｄｏ Ｉｎｎｏｖａｔｉｏｎｓ （Ｐｖｔ） Ｌｔｄ 血管系の健康を監視するためのシステムおよび方法
JP2020520273A (ja) 2017-05-18 2020-07-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 時間的な心臓画像の畳み込み深層学習解析
WO2018211687A1 (ja) 2017-05-19 2018-11-22 株式会社オプティム コンピュータシステム、被験者診断方法及び支援プログラム
US20190183366A1 (en) 2017-12-20 2019-06-20 International Business Machines Corporation Automated Extraction of Echocardiograph Measurements from Medical Images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AIを用いた胎児心臓超音波スクリーニング，[online]，2019年02月20日，pp.1-11，[2021年6月2日検索], インターネット<URL:https://blog.global.fujitsu.com/jp/2019-02-20/01/>

Also Published As

Publication number Publication date
US20230363688A1 (en) 2023-11-16
EP4198994A1 (en) 2023-06-21
CN115885347A (zh) 2023-03-31
WO2022038819A1 (ja) 2022-02-24
JP2022035870A (ja) 2022-03-04

Similar Documents

Publication Publication Date Title
Schläpfer et al. Computer-interpreted electrocardiograms: benefits and limitations
CN111260209B (zh) 电子病历与医学影像结合的心血管疾病风险预测评估系统
Deng et al. Extracting cardiac dynamics within ECG signal for human identification and cardiovascular diseases classification
US7272435B2 (en) System and method for sudden cardiac death prediction
US20200205739A1 (en) Method and system for automated quantification of signal quality
US5687738A (en) Apparatus and methods for analyzing heart sounds
CN118000760A (zh) 用于可视化有风险的心脏组织的方法和系统
JP2002330937A (ja) 心血管リスクの術中評価方法及び装置
Kobal et al. Hand-carried cardiac ultrasound enhances healthcare delivery in developing countries
JP7152724B2 (ja) 機械学習装置、プログラム、及び検査結果推定装置
JP7253380B2 (ja) Ｅｃｇトレーニング及びスキル向上
JP2021112479A (ja) 心電信号分析装置及び心電信号分析プログラム
JP6353208B2 (ja) 生体情報管理装置、生体情報管理方法および生体情報管理プログラム
Borges et al. Diagnostic accuracy of new handheld echocardiography with Doppler and harmonic imaging properties
Iqbal et al. Real-time signal processing of data from an ECG
Redmond et al. Applications of supervised learning to biological signals: ECG signal quality and systemic vascular resistance
Durga Intelligent Support for Cardiovascular Diagnosis: The AI-CDSS Approach
Rudnicka et al. Advancements in artificial intelligence-driven techniques for interventional cardiology
Maqbool et al. A CNN and ResNet 50 Approach to Detect Cardiac Diseases using ECG Images
Megahed et al. Localization of Myocardial Infarction from 12 Lead ECG Empowered with Novel Machine Learning
Sobotnicki et al. Analysis of the agreement of CAVASCREEN system diagnostic suggestions with the real clinic state of a patient
Vranic Pharmacodynamic Evaluation: Cardiovascular Methodologies
Agrawal et al. Understanding the Impacts of ECG Signal Processing Techniques on Recognition of Cardiovascular Diseases
Maurizi et al. Validation of a multiple‑lead smartphone-based electrocardiograph with automated lead placement for layman use in patients with hypertrophic cardiomyopathy
Franklin et al. Artificial intelligence in adult congenital heart disease

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220331

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7152724

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150