JP7313170B2 - Medical information processing apparatus, medical information processing system, and medical information processing method - Google Patents

Medical information processing apparatus, medical information processing system, and medical information processing method Download PDF

Info

Publication number
JP7313170B2
JP7313170B2 JP2019052597A JP2019052597A JP7313170B2 JP 7313170 B2 JP7313170 B2 JP 7313170B2 JP 2019052597 A JP2019052597 A JP 2019052597A JP 2019052597 A JP2019052597 A JP 2019052597A JP 7313170 B2 JP7313170 B2 JP 7313170B2
Authority
JP
Japan
Prior art keywords
estimation
subject
medical
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019052597A
Other languages
Japanese (ja)
Other versions
JP2020154723A (en
Inventor
克彦 藤本
愛未 笹山
真理子 柴田
通孝 菅原
慎太朗 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019052597A priority Critical patent/JP7313170B2/en
Publication of JP2020154723A publication Critical patent/JP2020154723A/en
Application granted granted Critical
Publication of JP7313170B2 publication Critical patent/JP7313170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明の実施形態は、医用情報処理装置、医用情報処理システム、および医用情報処理方法に関する。 TECHNICAL FIELD Embodiments of the present invention relate to a medical information processing apparatus, a medical information processing system, and a medical information processing method.

コンピュータ処理能力の進歩に伴い、シミュレーションによる推定技術の医療、ヘルスケア分野への応用が進んでいる。シミュレーションには、数値流体解析や流体構造連成などの物理シミュレーションからバイオシミュレーションまで種々のものが含まれる。シミュレーションモデルによる推定技術は今後さらに進歩し、病気の進展や治療成果の推定など、将来の個別化医療の実現に寄与しうる重要な技術と考えられている。 With advances in computer processing power, simulation-based estimation techniques are being applied to the medical and healthcare fields. Simulations include a variety of simulations, from physical simulations such as computational fluid dynamics analysis and fluid-structure interaction to bio-simulations. Estimation technology based on simulation models will further advance in the future, and is considered an important technology that can contribute to the realization of future personalized medicine, such as estimating disease progress and treatment outcomes.

一方、IoT技術の普及に伴い、ビッグデータにもとづく知識ベースの推定技術(学習済みモデルによる推定技術)も大きく進歩している。このため、非常に多種類の医用データを被検体から大量に収集可能となってきた。たとえば、この種の医用データには、病院内で得られる画像診断結果や検査情報のほか、院外や家庭で得られる生体情報、ウェアラブルセンサからの情報が含まれる。 On the other hand, along with the spread of IoT technology, knowledge-based estimation technology based on big data (estimation technology based on trained models) has made great progress. For this reason, it has become possible to collect a large amount of extremely diverse types of medical data from subjects. For example, this type of medical data includes diagnostic imaging results and examination information obtained in hospitals, biological information obtained outside hospitals and at home, and information from wearable sensors.

しかしながら、これらの2つの推定技術はそれぞれ個別に進化を遂げてきており、それぞれの得意な分野に対して独立に適用事例を増やしてきた。このため、両者を組み合わせて用いることは難しい。 However, these two estimation techniques have evolved independently, and have increased their application cases independently in their respective fields of expertise. Therefore, it is difficult to use them in combination.

また、学習済みモデルによる推定とシミュレーションモデルによる推定は、互いに異なる問題点をはらんでおり、どちらが優れているかを画一的に決定することは難しい。たとえば、シミュレーションモデルによる推定では、境界条件の設定が困難な場合がある。この場合、境界条件として確からしい数値を大まかに設定して、実験や標準的なモデルとの比較や整合により場当たり的にシミュレーションモデルによる推定が実行されるため、推定結果の誤差が大きくなってしまう場合がある。また、学習済みモデルによる推定結果の精度は入力データの種類や質、量の影響を受けるが、個人から得られる計測情報は限られた情報であり、被検体の生体情報を再現するための全ての情報を取得することは困難である。このため、学習済みモデルによる推定とシミュレーションモデルによる推定は、いずれも、個人の特性や特徴量を反映した推定を行うことが難しい。 In addition, estimation using a trained model and estimation using a simulation model have different problems, and it is difficult to uniformly determine which is superior. For example, it may be difficult to set boundary conditions in simulation model estimation. In this case, estimation using a simulation model is performed on an ad-hoc basis by roughly setting probable numerical values as boundary conditions and performing comparisons and matching with experiments and standard models, which may result in large errors in estimation results. In addition, the accuracy of the estimation result by the trained model is affected by the type, quality, and quantity of the input data, but the measurement information obtained from the individual is limited, and it is difficult to obtain all the information to reproduce the biological information of the subject. For this reason, it is difficult to perform estimation that reflects individual characteristics and feature amounts in both estimation using a trained model and estimation using a simulation model.

特表2014-532859号公報Japanese Patent Publication No. 2014-532859 クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290Christopher M. Bishop, "Pattern recognition and machine learning", (USA), 1st ed., Springer, 2006, p. 225-290

本発明が解決しようとする課題は、学習済みモデルによる推定とシミュレーションモデルによる推定を組み合わせて被検体の健康状態に関する推定を行うことである。 The problem to be solved by the present invention is to estimate the health condition of a subject by combining estimation by a trained model and estimation by a simulation model.

実施形態に係る医用情報処理装置は、取得部と、最適化部とを備える。取得部は、複数の被検体から収集した検証用医用データと健康状態に関する情報の正解の推定結果との組からなる正解データセットを記憶した記憶部から、正解データセットを取得する。最適化部は、検証用医用データにもとづいて学習済みモデルが生成した健康状態に関する情報の推定結果と、検証用医用データにもとづいてシミュレーションモデルが生成した健康状態に関する情報の推定結果と、健康状態に関する情報の正解の推定結果と、にもとづいて、学習済みモデルとシミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する。 A medical information processing apparatus according to an embodiment includes an acquisition unit and an optimization unit. The acquisition unit acquires a correct data set from a storage unit that stores a correct data set including sets of verification medical data collected from a plurality of subjects and correct estimation results of information on health conditions. The optimization unit determines which of the trained model and the simulation model is used to estimate the information about the health condition of the subject to be estimated, based on the results of estimating the information about the health condition generated by the learned model based on the medical data for verification, the results of estimating the information about the health condition generated by the simulation model based on the medical data for verification, and the results of estimating correct information about the health condition.

一実施形態に係る医用情報処理装置を含む医用情報処理システムの一構成例を示すブロック図。1 is a block diagram showing a configuration example of a medical information processing system including a medical information processing apparatus according to an embodiment; FIG. 情報処理端末の一構成例を示すブロック図。FIG. 2 is a block diagram showing a configuration example of an information processing terminal; 推定処理ごとに行われる、学習済みモデルとシミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する最適化処理の手順の一例を示すフローチャート。4 is a flowchart showing an example of an optimization process procedure for determining which of a trained model and a simulation model is used to estimate information about the health condition of a subject to be estimated, which is performed for each estimation process. 3つの推定処理の入出力が直列に接続可能な場合において各推定処理を最適化する際の手順の一例を示すフローチャート。4 is a flowchart showing an example of a procedure for optimizing each estimation process when inputs and outputs of three estimation processes can be connected in series. 推定処理のそれぞれについて学習済みモデルおよびシミュレーションモデルを構築する際の概略的な手順の一例を示すフローチャート。4 is a flow chart showing an example of a schematic procedure for constructing a trained model and a simulation model for each estimation process; シミュレーションモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャート。4 is a flowchart showing an example of a procedure when estimation processing is operated by a simulation model and part of the input medical data necessary for estimation processing is insufficient. 冠動脈の血流パラメータの推定処理について学習済みモデルおよびシミュレーションモデルを構築する際の具体的な手順の一例を示すフローチャート。4 is a flowchart showing an example of a specific procedure for constructing a trained model and a simulation model for estimating coronary artery blood flow parameters. シミュレーションモデルXにより冠動脈の血流パラメータの推定処理が運用される場合であって、推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャート。4 is a flow chart showing an example of a procedure when a process for estimating a blood flow parameter of a coronary artery is operated by a simulation model X and part of the input medical data necessary for the estimation process is insufficient. 学習済みモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャート。FIG. 10 is a flowchart showing an example of a procedure when estimation processing is operated using a trained model and part of the input medical data necessary for estimation processing is insufficient; FIG.

以下、図面を参照しながら、医用情報処理装置、医用情報処理システム、および医用情報処理方法の実施形態について詳細に説明する。 Hereinafter, embodiments of a medical information processing apparatus, a medical information processing system, and a medical information processing method will be described in detail with reference to the drawings.

(システム全体構成)
図1は、一実施形態に係る医用情報処理装置20を含む医用情報処理システム10の一構成例を示すブロック図である。また、図2は、情報処理端末40の一構成例を示すブロック図である。
(Overall system configuration)
FIG. 1 is a block diagram showing a configuration example of a medical information processing system 10 including a medical information processing apparatus 20 according to one embodiment. FIG. 2 is a block diagram showing a configuration example of the information processing terminal 40. As shown in FIG.

医用情報処理システム10は、サーバの一例としての医用情報処理装置20を含むほか、正解データベース(正解DB)31、被検体データベース(被検体DB)32、複数のモダリティ35、36、医師などのユーザにより利用される情報処理端末40、被検体に装着されたウェアラブル端末51、IoTゲートウェイ52、および被検体に利用される情報処理端末53を含む。 The medical information processing system 10 includes a medical information processing apparatus 20 as an example of a server, a correct answer database (correct answer DB) 31, a subject database (subject DB) 32, a plurality of modalities 35 and 36, an information processing terminal 40 used by a user such as a doctor, a wearable terminal 51 attached to the subject, an IoT gateway 52, and an information processing terminal 53 used by the subject.

正解DB31および被検体DB32は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。 The correct answer DB 31 and the subject DB 32 have a configuration including a processor-readable recording medium such as a magnetic or optical recording medium or a semiconductor memory.

正解DB31は、複数の被検体から収集した検証用医用データと健康状態に関する情報の正解の推定結果との組からなる正解データセットを記憶する。検証用医用データは、複数の被検体から過去に収集されたデータである。健康状態に関する情報の正解の推定結果は、たとえば、当該推定に対応する検証用医用データの収集対象者から組織を取り出して診断することで確定した病変に関する確定診断結果などである。正解DB31は、記憶部の一例である。 The correct answer DB 31 stores a correct answer data set consisting of a set of verification medical data collected from a plurality of subjects and an estimation result of the correct answer of the information on the health condition. Verification medical data is data collected in the past from a plurality of subjects. The estimated result of the correctness of the information on the health condition is, for example, a definitive diagnosis result regarding a lesion determined by diagnosing a tissue extracted from the person to whom the verification medical data corresponding to the estimation is collected. The correct answer DB 31 is an example of a storage unit.

被検体DB32は、被検体から収集した医用データを被検体ごとに記憶する。被検体DB32としては、PHR(Personal Health Record、個人医療記録)などを用いることができる。被検体DB32に収集される医用データは、被検体が病院に訪れたときに収集される各種医用データ(モダリティ35、36で収集された医用画像データを含む)、被検体に装着されたウェアラブル端末51で収集された医用データ、あるいは被検体が所持する図示しないデバイス(医用計測機器、たとえば血圧計など)であってネットワーク接続可能なデバイスで収集された医用データなどを含む。被検体DB32は、記憶部の一例である。 The subject DB 32 stores medical data collected from subjects for each subject. A PHR (Personal Health Record) or the like can be used as the subject DB 32 . The medical data collected in the subject DB 32 include various medical data (including medical image data collected by the modalities 35 and 36) collected when the subject visits the hospital, medical data collected by the wearable terminal 51 attached to the subject, or medical data collected by a device (not shown) possessed by the subject (medical measuring equipment, such as a sphygmomanometer) that can be connected to a network. The subject DB 32 is an example of a storage unit.

複数のモダリティ35、36は、たとえば超音波診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、SPECT(Single Photon Emission computed Tomography)装置やPET(Positron Emission Tomography)装置などの核医学診断装置等により構成される。 The plurality of modalities 35 and 36 are composed of, for example, nuclear medicine diagnostic apparatuses such as an ultrasound diagnostic apparatus, an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, a SPECT (Single Photon Emission computed Tomography) apparatus, and a PET (Positron Emission Tomography) apparatus.

情報処理端末40は、医師などのユーザにより利用され、たとえば一般的なパーソナルコンピュータやワークステーションなどにより構成される。また、情報処理端末40は、たとえばスマートフォン型やタブレット端末、ノートブック型パーソナルコンピュータなどの携帯型の情報処理端末により構成されてもよい。 The information processing terminal 40 is used by a user such as a doctor, and is composed of, for example, a general personal computer or workstation. The information processing terminal 40 may be configured by a portable information processing terminal such as a smart phone type, tablet terminal, notebook type personal computer, or the like.

図2に示すように、情報処理端末40は、ディスプレイ41、入力インターフェース42、記憶回路43、通信回路44、および処理回路45を有する。情報処理端末40は、医用情報処理装置20が出力した推定結果を表示するクライアントの一例である。 As shown in FIG. 2, the information processing terminal 40 has a display 41 , an input interface 42 , a memory circuit 43 , a communication circuit 44 and a processing circuit 45 . The information processing terminal 40 is an example of a client that displays the estimation results output by the medical information processing apparatus 20 .

ディスプレイ41は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成される。入力インターフェース42は、たとえばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路45に出力する。 The display 41 is composed of a general display output device such as a liquid crystal display or an OLED (Organic Light Emitting Diode) display. The input interface 42 is composed of general input devices such as a trackball, switch button, mouse, keyboard, numeric keypad, etc., and outputs operation input signals corresponding to user's operations to the processing circuit 45 .

記憶回路43は、たとえば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、処理回路45が利用するプログラムやパラメータデータやその他のデータを記憶する。なお、記憶回路43の記録媒体内のプログラムおよびデータの一部または全部は、ネットワーク100を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路43に与えられてもよい。 The storage circuit 43 includes a processor-readable recording medium such as a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like, and stores programs, parameter data, and other data used by the processing circuit 45. Part or all of the programs and data in the recording medium of the storage circuit 43 may be downloaded by communication via the network 100, or may be provided to the storage circuit 43 via a portable storage medium such as an optical disk.

通信回路44は、ネットワーク100の形態に応じた種々の情報通信用プロトコルを実装する。通信回路44は、この各種プロトコルに従ってネットワーク100を介して他の電気機器と接続する。通信回路44は、受信部の一例である。 Communication circuit 44 implements various information communication protocols according to the form of network 100 . The communication circuit 44 connects with other electric devices via the network 100 according to these various protocols. Communication circuit 44 is an example of a receiver.

本実施形態において、ネットワーク100は、たとえばクラウドネットワークなどの電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。 In the present embodiment, the network 100 means, for example, a cloud network or any other general information communication network using telecommunication technology, and includes a wireless/wired LAN such as a hospital backbone LAN (Local Area Network), an Internet network, a telephone communication network, an optical fiber communication network, a cable communication network, a satellite communication network, and the like.

処理回路45は、情報処理端末40を統括制御する機能を実現する。また、処理回路45は、記憶回路43に記憶されたプログラムを読み出して実行することにより、医用情報処理装置20に健康状態に関する情報の推定を要求する処理、および医用情報処理装置20から健康状態に関する情報の推定結果を受信してディスプレイ41に表示する処理を実行するプロセッサである。 The processing circuit 45 implements a function of centrally controlling the information processing terminal 40 . The processing circuit 45 is a processor that reads out and executes a program stored in the storage circuit 43 to execute a process of requesting the medical information processing apparatus 20 to estimate information on the health condition, and a process of receiving the estimated result of the information on the health condition from the medical information processing apparatus 20 and displaying it on the display 41.

処理回路45のプロセッサは、推定要求機能451、推定結果取得機能452、および画像生成機能453を実現する。これらの各機能は、それぞれプログラムの形態で記憶回路43に記憶されている。 The processor of the processing circuit 45 implements an estimation request function 451 , an estimation result acquisition function 452 and an image generation function 453 . Each of these functions is stored in the storage circuit 43 in the form of a program.

推定要求機能451は、医用情報処理装置20に対し、被検体の健康状態に関する情報の推定を行うよう要求する。 The estimation request function 451 requests the medical information processing apparatus 20 to estimate information regarding the health condition of the subject.

推定結果取得機能452は、通信回路44が受信した医用情報処理装置20から被検体の健康状態に関する情報の推定結果を取得する。 The estimation result acquisition function 452 acquires the estimation result of information on the health condition of the subject from the medical information processing apparatus 20 received by the communication circuit 44 .

画像生成機能453は、医用情報処理装置20から取得した被検体の健康状態に関する情報の推定結果にもとづいて、被検体の診断を支援するための画像を生成してディスプレイ41に表示させる。被検体の診断を支援するための画像は、被検体の健康状態に関する情報の推定結果そのものを示す画像を含む。 The image generation function 453 generates an image for supporting diagnosis of the subject based on the estimation result of the information regarding the health condition of the subject acquired from the medical information processing apparatus 20 and causes the display 41 to display the image. The images for supporting the diagnosis of the subject include images showing the result of estimating the information about the health condition of the subject itself.

ウェアラブル端末51は(図1参照)、被検体が腕などの身体の一部に装着して使用する医用データ収集デバイスであり、被検体の医用データを収集する。ウェアラブル端末51が収集する医用データは、たとえば血圧、心拍数、血中酸素濃度、血糖値、超音波や赤外線等の強度など、様々な生化学的情報を含む。ウェアラブル端末51がディスプレイを有する場合は、ウェアラブル端末51は、医用情報処理装置20が出力した推定結果を表示するクライアントの一例である。 The wearable terminal 51 (see FIG. 1) is a medical data collection device that is worn by a subject on a part of the body such as an arm, and collects medical data of the subject. The medical data collected by the wearable terminal 51 includes various biochemical information such as blood pressure, heart rate, blood oxygen concentration, blood sugar level, and intensity of ultrasonic waves, infrared rays, and the like. When the wearable terminal 51 has a display, the wearable terminal 51 is an example of a client that displays the estimation results output by the medical information processing apparatus 20 .

IoTゲートウェイ52は、プロセッサを有し、ウェアラブル端末51から送信された医用データをエッジ処理してからネットワーク100に送信する。エッジ処理は、ウェアラブル端末51から送信されるデータのデータ量を削減するために行われる処理であり、たとえばデータから抽出した特徴量にもとづいてネットワーク100に送信するデータ量を削減する処理を含む。 The IoT gateway 52 has a processor, performs edge processing on medical data transmitted from the wearable terminal 51 , and then transmits the medical data to the network 100 . Edge processing is processing performed to reduce the amount of data transmitted from wearable terminal 51, and includes, for example, processing for reducing the amount of data transmitted to network 100 based on the feature amount extracted from the data.

なお、図1にはウェアラブル端末51がIoTゲートウェイ52を介してネットワーク100に接続される場合の例を示したが、IoTゲートウェイ52を介さず直接ネットワーク100に接続されてもよい。ウェアラブル端末51がIoTゲートウェイ52を介してネットワーク100に接続される場合、ウェアラブル端末51から常時リアルタイムに収集データが送信されたとしても、IoTゲートウェイ52のエッジ処理によってネットワーク100に流れるデータ量を削減することができる。 Although FIG. 1 shows an example in which the wearable terminal 51 is connected to the network 100 via the IoT gateway 52 , it may be connected directly to the network 100 without the IoT gateway 52 . When the wearable terminal 51 is connected to the network 100 via the IoT gateway 52, even if collected data is always transmitted in real time from the wearable terminal 51, the edge processing of the IoT gateway 52 can reduce the amount of data flowing to the network 100.

情報処理端末53は、被検体に利用され、たとえばスマートフォン型やタブレット端末、ノートブック型パーソナルコンピュータなどの携帯型の情報処理端末により構成される。情報処理端末53は、医用情報処理装置20が出力した推定結果を表示するクライアントの一例である。 The information processing terminal 53 is used by the subject, and is configured by a portable information processing terminal such as a smartphone type, tablet terminal, or notebook type personal computer. The information processing terminal 53 is an example of a client that displays the estimation results output by the medical information processing apparatus 20 .

(医用情報処理装置の構成)
医用情報処理装置20は、たとえばパーソナルコンピュータやワークステーションなどの一般的な情報処理装置により構成され、図1に示すように入力インターフェース21、ディスプレイ22、記憶回路23、通信回路24、および処理回路25を有する。
(Configuration of medical information processing apparatus)
The medical information processing apparatus 20 is composed of a general information processing apparatus such as a personal computer or workstation, and has an input interface 21, a display 22, a storage circuit 23, a communication circuit 24, and a processing circuit 25 as shown in FIG.

医用情報処理装置20の入力インターフェース21は、たとえばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路25に出力する。ディスプレイ22は、たとえば液晶ディスプレイやOLEDディスプレイなどの一般的な表示出力装置により構成される。 The input interface 21 of the medical information processing apparatus 20 is composed of general input devices such as a trackball, switch buttons, mouse, keyboard, numeric keypad, etc., and outputs operation input signals corresponding to user's operations to the processing circuit 25 . The display 22 is composed of a general display output device such as a liquid crystal display or an OLED display.

記憶回路23は、たとえば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、処理回路25が利用するプログラムやパラメータデータやその他のデータを記憶する。なお、記憶回路23の記録媒体内のプログラムおよびデータの一部または全部は、ネットワーク100を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路23に与えられてもよい。 The storage circuit 23 has a configuration including a processor-readable recording medium such as a semiconductor memory device such as a RAM, a flash memory, a hard disk, an optical disk, etc., and stores programs, parameter data, and other data used by the processing circuit 25. Part or all of the programs and data in the recording medium of the storage circuit 23 may be downloaded by communication via the network 100, or may be provided to the storage circuit 23 via a portable storage medium such as an optical disc.

通信回路24は、ネットワーク100の形態に応じた種々の情報通信用プロトコルを実装する。通信回路24は、この各種プロトコルに従ってネットワーク100を介して他の電気機器と接続する。通信回路24は、送信部の一例である。 Communication circuit 24 implements various information communication protocols according to the form of network 100 . The communication circuit 24 connects with other electric devices via the network 100 according to these various protocols. Communication circuit 24 is an example of a transmitter.

処理回路25は、医用情報処理装置20を統括制御する機能を実現する。また、処理回路25は、記憶回路23に記憶された医用情報処理プログラムを読み出して実行することにより、学習済みモデルによる推定とシミュレーションモデルによる推定を組み合わせて被検体の健康状態に関する推定を行うための処理を実行するプロセッサである。 The processing circuit 25 implements a function of centrally controlling the medical information processing apparatus 20 . The processing circuit 25 is a processor that reads out and executes the medical information processing program stored in the storage circuit 23 to perform processing for estimating the health condition of the subject by combining estimation by the trained model and estimation by the simulation model.

処理回路25のプロセッサは、取得機能251、推定機能252、最適化機能253、学習機能254、および通知機能255を実現する。これらの各機能は、それぞれプログラムの形態で記憶回路23に記憶されている。 The processor of processing circuit 25 implements acquisition function 251 , estimation function 252 , optimization function 253 , learning function 254 and notification function 255 . Each of these functions is stored in the storage circuit 23 in the form of a program.

取得機能251は、正解DB31から、複数の被検体から収集した検証用医用データと健康状態に関する情報の正解の推定結果との組からなる正解データセットを取得する。また、取得機能251は、被検体DB32から、推定対象の被検体の医用データを取得する。取得機能251は、取得部の一例である。 The acquisition function 251 acquires, from the correct answer DB 31 , a correct answer data set consisting of a set of verification medical data collected from a plurality of subjects and an estimated correct answer result of information on health conditions. Also, the acquisition function 251 acquires medical data of the subject to be estimated from the subject DB 32 . Acquisition function 251 is an example of an acquisition unit.

推定機能252は、最適化部により決定された学習済みモデルとシミュレーションモデルとのどちらかを用いて、推定対象の被検体の医用データにもとづいて推定対象の被検体の健康状態に関する情報の推定を行う。推定機能252は、推定部の一例である。 The estimation function 252 uses either the learned model determined by the optimization unit or the simulation model to estimate information regarding the health condition of the subject to be estimated based on the medical data of the subject to be estimated. The estimation function 252 is an example of an estimation unit.

本実施形態に係る推定処理は、大きく3つの処理を含む。1つは、被検体の医用データを入力データとし、被検体の現在の医用パラメータを推定する処理である。医用パラメータとしては、たとえば冠動脈の血流パラメータなどが挙げられる。1つは、被検体の医用データを入力データとし被検体の現在の健康状態を推定する処理である。現在の健康状態としては、被検体が現在罹患している病名等が挙げられる。1つは、被検体の医用データを入力データとし、被検体の将来の健康状態の変化を推定する処理、予後を推定する推定、または治療プランを推定する処理である。健康状態に関する情報は、現在の医用パラメータと、現在の健康状態と、将来の健康状態の推定または治療プランと、を含む。将来の健康状態の推定は、将来の健康状態の変化予測と予後予測とを含む。 The estimation process according to this embodiment roughly includes three processes. One is a process of estimating current medical parameters of a subject using medical data of the subject as input data. Medical parameters include, for example, blood flow parameters of coronary arteries. One is a process of estimating the current health condition of a subject using the medical data of the subject as input data. The current health condition includes the name of a disease that the subject is currently suffering from. One is a process of estimating a change in the subject's future health condition, an estimation of prognosis, or a process of estimating a treatment plan, using the medical data of the subject as input data. Health status information includes current medical parameters, current health status, and future health status estimates or treatment plans. Future health status estimation includes future health status change prediction and prognosis prediction.

最適化機能253は、検証用医用データにもとづいて学習済みモデルが生成した健康状態に関する情報の推定結果と、検証用医用データにもとづいてシミュレーションモデルが生成した健康状態に関する情報の推定結果と、健康状態に関する情報の正解の推定結果と、にもとづいて、学習済みモデルとシミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する。最適化機能253は、最適化部の一例である。 The optimization function 253 determines which of the trained model and the simulation model is used to estimate the information about the health condition of the subject to be estimated based on the estimation result of the information about the health condition generated by the trained model based on the medical data for verification, the result of estimating the information about the health condition generated by the simulation model based on the medical data for verification, and the result of estimating the correctness of the information about the health condition. The optimization function 253 is an example of an optimization unit.

また、推定結果が正解に近いことも重要である一方で、推定結果を短時間で得ることができることが重要である場面もある。特に、複雑な計算を要するシミュレーションモデルによる推定処理には、思いのほか長時間を要する場合もあり、実用に耐えない場合がある。そこで、最適化機能253は、学習済みモデルとシミュレーションモデルのそれぞれが推定結果を生成するために要する時間にさらにもとづいて、学習済みモデルとシミュレーションモデルとのどちらを用いるかを決定してもよい。 In addition, while it is important that the estimation result is close to the correct answer, there are situations where it is important that the estimation result can be obtained in a short time. In particular, estimation processing using a simulation model that requires complicated calculations may take an unexpectedly long time and may not be practical. Therefore, the optimization function 253 may determine which of the trained model and the simulation model to use, further based on the time required for each of the trained model and the simulation model to generate an estimation result.

この最適化処理は、推定処理ごとに行われ、たとえば上記の3つの推定処理ごとに行われる。また、上記の3つの推定処理のそれぞれは複数の推定処理に細分化されてもよく、この場合は細分化された各推定処理について学習済みモデルとシミュレーションモデルとのどちらを用いるかの最適化処理が行われてもよい。 This optimization process is performed for each estimation process, for example, for each of the above three estimation processes. Further, each of the three estimation processes described above may be subdivided into a plurality of estimation processes, and in this case, an optimization process may be performed as to which of the trained model and the simulation model is used for each of the subdivided estimation processes.

学習機能254は、推定処理のそれぞれについて、学習済みモデルおよびシミュレーションモデルをあらかじめ構築する。学習機能254は、学習部の一例である。 The learning function 254 pre-builds a trained model and a simulation model for each estimation process. Learning function 254 is an example of a learning unit.

学習機能254は、たとえばCNN(畳み込みニューラルネットワーク)や畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)などの、多層のニューラルネットワークを用いた深層学習を用いて学習済みモデルを構築できる。学習の方法および学習済みモデルの構築方法については、非特許文献1に開示された方法など種々の方法が知られている。 The learning function 254 can build trained models using deep learning using multilayer neural networks, such as CNNs (Convolutional Neural Networks) and Convolutional Deep Belief Networks (CDBNs). Various methods, such as the method disclosed in Non-Patent Document 1, are known as methods of learning and methods of constructing a trained model.

なお、学習済みモデルおよびシミュレーションモデルはそれぞれ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路によって構築されてもよい。 Note that the trained model and the simulation model may each be constructed by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

通知機能255は、推定機能252により推定された被検体の健康状態に関する情報の推定結果を、ユーザおよび被検体の少なくとも一方に通知する。たとえば、通知機能255は、推定機能252により生成された被検体の健康状態に関する情報を示す画像を、ユーザにより利用される情報処理端末40のディスプレイ41や、被検体により利用されるウェアラブル端末51のディスプレイ、情報処理端末53のディスプレイなどに表示させる。より具体的には、通知機能255は、インターネット上のウェブページに、被検体の現在の健康状態を示す色や形状、またはテキスト情報や数値、グラフを表示することができる。また、通知機能255は、これらの端末に、被検体の健康状態に関する情報を示す音声を出力させてもよい。医師などのユーザは、推定機能252による推定結果にもとづいて通知機能255からメッセージ、数値、グラフ情報などにより通知された被検体の健康状態に関する情報を確認することで、容易かつ正確に被検体の健康状態に関する診断を行うことができる。たとえば、健康状態に関する情報が、治療に対する患者の反応の推定結果である場合は、治療に対する患者の反応を予測した上で治療薬を投与することができる。 The notification function 255 notifies at least one of the user and the subject of the estimation result of the information regarding the health condition of the subject estimated by the estimation function 252 . For example, the notification function 255 displays an image indicating information about the health condition of the subject generated by the estimation function 252 on the display 41 of the information processing terminal 40 used by the user, the display of the wearable terminal 51 used by the subject, the display of the information processing terminal 53, or the like. More specifically, the notification function 255 can display colors and shapes, text information, numerical values, and graphs indicating the current health condition of the subject on a web page on the Internet. In addition, the notification function 255 may cause these terminals to output audio indicating information about the health condition of the subject. A user such as a doctor can easily and accurately diagnose the health condition of the subject by confirming the information about the health condition of the subject notified by the notification function 255 as a message, numerical value, graph information, etc. based on the estimation result by the estimation function 252. For example, if the health status information is a result of an estimate of a patient's response to a therapy, then the therapeutic agent can be administered after the patient's response to the therapy has been predicted.

(最適化)
図3は、推定処理ごとに行われる、学習済みモデルとシミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する最適化処理の手順の一例を示すフローチャートである。なお、図3-9において、Sに数字を付した符号はフローチャートの各ステップを示す。図3には、1つの推定処理についての最適化処理の例を示す。
(optimization)
FIG. 3 is a flowchart showing an example of an optimization process procedure for determining which of the trained model and the simulation model is used to estimate information about the health condition of the subject to be estimated, which is performed for each estimation process. In FIGS. 3-9, numerals attached to S indicate respective steps of the flow chart. FIG. 3 shows an example of optimization processing for one estimation processing.

なお、学習済みモデルおよびシミュレーションモデルは、学習機能254によって推定処理ごとにあらかじめ構築されている。 Note that the learned model and the simulation model are built in advance by the learning function 254 for each estimation process.

まず、ステップS1において、取得機能251は、正解データセット(検証用医用データと健康状態に関する情報の正解の推定結果との組)を正解DB31から取得する。 First, in step S<b>1 , the acquisition function 251 acquires a correct data set (a set of verification medical data and a correct estimation result of information on the health condition) from the correct DB 31 .

次に、ステップS2において、推定機能252は、検証用医用データにもとづいて、学習済みモデルにより健康状態に関する情報の推定結果を生成する。 Next, in step S2, the estimating function 252 generates an estimated result of health condition information using a trained model based on the verification medical data.

次に、ステップS3において、推定機能252は、検証用医用データにもとづいて、学習済みモデルにより健康状態に関する情報の推定結果を生成する。いま、1つの推定処理を仮定しているため、ステップS2とステップS3の推定処理における入力データは同一であり、出力される健康状態に関する情報も同種のものである。 Next, in step S3, the estimating function 252 generates an estimated result of health condition information using a trained model based on the verification medical data. Since one estimation process is assumed now, the input data in the estimation processes in step S2 and step S3 are the same, and the output information regarding the health condition is also of the same type.

次に、ステップS4において、最適化機能253は、学習済みモデルとシミュレーションモデルのそれぞれの推定結果と、正解の推定結果とにもとづいて、どちらのモデルを用いて推定処理を行うかを決定する。 Next, in step S4, the optimization function 253 determines which model is to be used for the estimation process based on the estimation result of each of the learned model and the simulation model and the correct estimation result.

以上の手順により、学習済みモデルとシミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを推定処理ごとに決定することができる。 By the above procedure, it is possible to determine for each estimation process whether to use the learned model or the simulation model to estimate the information about the health condition of the subject to be estimated.

図3に示す手順は、たとえば上記の3つの推定処理のそれぞれに対して適用することができる。また、上記では、3つの推定処理のそれぞれが被検体の医用データを入力データとすると説明したが、互いの入出力が直列に接続可能であってもよい。 The procedure shown in FIG. 3 can be applied, for example, to each of the above three estimation processes. Also, in the above description, each of the three estimation processes uses the medical data of the subject as input data, but the inputs and outputs of the three estimation processes may be connected in series.

図4は、3つの推定処理の入出力が直列に接続可能な場合において各推定処理を最適化する際の手順の一例を示すフローチャートである。 FIG. 4 is a flowchart showing an example of a procedure for optimizing each estimation process when the inputs and outputs of three estimation processes can be connected in series.

ステップS11において、最適化機能253は、推定対象の被検体の医用データを入力として現在の医用パラメータを推定する推定処理について、図3に示す手順により学習済みモデルとシミュレーションモデルとのどちらを用いるかを決定する。 In step S11, the optimization function 253 determines whether to use the learned model or the simulation model according to the procedure shown in FIG.

次に、ステップS12において、最適化機能253は、推定対象の被検体の現在の医用パラメータを入力として現在の健康状態を推定する推定処理について、図3に示す手順により学習済みモデルとシミュレーションモデルとのどちらを用いるかを決定する。 Next, in step S12, the optimization function 253 determines whether to use the learned model or the simulation model according to the procedure shown in FIG.

次に、ステップS13において、最適化機能253は、推定対象の被検体の現在の健康状態を入力として将来の健康状態の推定(将来の健康状態の変化または予後予測)または治療プランを推定する推定処理について、図3に示す手順により学習済みモデルとシミュレーションモデルとのどちらを用いるかを決定する。 Next, in step S13, the optimization function 253 determines whether to use the learned model or the simulation model according to the procedure shown in FIG.

以上の手順により、3つの推定処理の入出力が直列に接続可能な場合において各推定処理を最適化することができる。図4に示す手順によれば、複数の推定処理が互いに関連しつつ最終推定結果を出力する場合には、たとえば最初の推定処理と2番目の推定処理は学習済みモデルを用い、最後の推定処理はシミュレーションモデルを用いる、といった組み合わせを利用することができる。 By the above procedure, each estimation process can be optimized when the inputs and outputs of the three estimation processes can be connected in series. According to the procedure shown in FIG. 4, when a plurality of estimation processes are related to each other and the final estimation result is output, for example, a combination of using a trained model for the first estimation process and the second estimation process and using a simulation model for the last estimation process can be used.

また、最適化機能253は、複数の推定処理のそれぞれを担当するモデルの組み合わせを、学習済みモデルを用いて最適化してもよい。この学習済みモデルは、モデルの組み合わせの推定に適合するよう構築する。この場合、最適化機能253は、複数の推定処理の情報にもとづいて各推定処理を担当するモデルの組み合わせを生成する組合せ推定用の学習済みモデルに対して、複数の推定処理の情報を入力することで、複数の推定処理のそれぞれを担当するモデルの組み合わせを決定する。 Also, the optimization function 253 may optimize a combination of models responsible for each of a plurality of estimation processes using trained models. This trained model is constructed to fit the estimation of the combination of models. In this case, the optimization function 253 inputs information on a plurality of estimation processes to a trained model for combined estimation that generates a combination of models for each estimation process based on information on a plurality of estimation processes, thereby determining a combination of models for each of the plurality of estimation processes.

(学習、運用)
まず、モデル構築およびモデル運用の概略について図5および図6をそれぞれ用いて説明する。
(learning, operation)
First, an outline of model construction and model operation will be described with reference to FIGS. 5 and 6, respectively.

図5は、推定処理のそれぞれについて学習済みモデルおよびシミュレーションモデルを構築する際の概略的な手順の一例を示すフローチャートである。 FIG. 5 is a flow chart showing an example of a schematic procedure for constructing a trained model and a simulation model for each estimation process.

ステップS21において、学習機能254は、医用データにもとづいて健康状態に関する情報の推定を行うシミュレーションモデルを構築する。入力となる医用データは複数であってもよい。 In step S21, the learning function 254 constructs a simulation model for estimating information about health conditions based on medical data. A plurality of pieces of medical data may be input.

ステップS22において、学習機能254は、医用データにもとづいて他の医用データを推定する学習済みモデルを構築する。入力となる医用データは複数であってもよい。ステップS22における入力の医用データは、ステップS21における入力の医用データとは異なるものである。ステップS22は省略されてもよい。 In step S22, the learning function 254 builds a trained model for estimating other medical data based on the medical data. A plurality of pieces of medical data may be input. The medical data input in step S22 is different from the medical data input in step S21. Step S22 may be omitted.

ステップS23において、学習機能254は、医用データにもとづいて健康状態に関する情報の推定を行う学習済みモデルを構築する。ステップS23における入力の医用データは、ステップS21における入力の医用データと同一である。 In step S23, the learning function 254 builds a trained model for estimating information on health conditions based on medical data. The medical data input in step S23 is the same as the medical data input in step S21.

なお、ステップS21-23は順不同に実行されて構わない。 Note that steps S21-23 may be executed in random order.

以上の手順により、推定処理のそれぞれについて学習済みモデルおよびシミュレーションモデルを構築することができる。 Through the above procedure, a trained model and a simulation model can be constructed for each estimation process.

図6は、シミュレーションモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャートである。図6に示す推定処理は、最適化の結果、シミュレーションモデルによる運用が決定済みであるものとする。 FIG. 6 is a flow chart showing an example of the procedure when the estimation process is operated by the simulation model and part of the input medical data required for the estimation process is insufficient. In the estimation process shown in FIG. 6, it is assumed that operation by a simulation model has already been determined as a result of optimization.

ステップS31において、取得機能251は、被検体DB32から推定対象の被検体の医用データを取得する。 In step S<b>31 , the acquisition function 251 acquires the medical data of the subject to be estimated from the subject DB 32 .

次に、ステップS32において、推定機能252は、シミュレーションモデルによる推定処理に必要な医用データに不足がないか判定する。不足がなければステップS36に進む。一方、不足がある場合はステップS33に進み、当該不足データが計測可能か否かを判定する。 Next, in step S32, the estimation function 252 determines whether or not there is a shortage of medical data necessary for estimation processing using the simulation model. If there is no shortage, the process proceeds to step S36. On the other hand, if there is a shortage, the process proceeds to step S33 to determine whether or not the missing data can be measured.

計測可能な場合はステップS34に進み、不足する医用データについて被検体を計測して収集し、被検体に関連付けて被検体DB32に格納してステップS36に進む。一方、計測不可な場合はステップS35に進み、不足している医用データを推定する学習済みモデルによって不足している医用データを推定し、ステップS36に進む。この場合、学習済みモデルによって推定された医用データは、計測していないデータ(計測外データ)であることを示す情報を付加して被検体に関連付けて被検体DB32に格納しておくとよい。次に図6に示す手順を実行する際に同じ医用データが不足した場合、学習済みモデルに推定させずとも、被検体DB32に今回格納しておいた計測外データを利用することができる。 If measurable, the process proceeds to step S34, the missing medical data is collected by measuring the subject, and stored in the subject DB 32 in association with the subject, and the process proceeds to step S36. On the other hand, if the measurement is not possible, the process proceeds to step S35, the missing medical data is estimated by the trained model for estimating the missing medical data, and the process proceeds to step S36. In this case, the medical data estimated by the trained model should be stored in the subject DB 32 in association with the subject by adding information indicating that it is data that has not been measured (unmeasured data). Next, when the same medical data is insufficient when executing the procedure shown in FIG. 6, the non-measurement data stored in the subject DB 32 can be used without estimating the learned model.

次に、ステップS36において、推定機能252はシミュレーションモデルにより推定対象の被検体の健康状態に関する情報を推定する。 Next, in step S36, the estimation function 252 estimates information about the health condition of the subject to be estimated using a simulation model.

そして、ステップS37において、通知機能255は、推定機能252により推定された被検体の健康状態に関する情報の推定結果を、ユーザおよび被検体の少なくとも一方に通知する。 Then, in step S<b>37 , the notification function 255 notifies at least one of the user and the subject of the estimation result of the information regarding the health condition of the subject estimated by the estimation function 252 .

以上の手順により、シミュレーションモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合に、学習済みモデルを用いて不足データを補完することができる。したがって、シミュレーションモデルだけを用いる場合よりも容易かつ効率よく、高精度な推定結果を得ることができる。 According to the above procedure, when the simulation model is used for the estimation process and part of the input medical data required for the estimation process is insufficient, the learned model can be used to supplement the missing data. Therefore, a highly accurate estimation result can be obtained more easily and efficiently than when using only a simulation model.

続いて、モデル構築およびモデル運用の具体例について図7および図8をそれぞれ用いて説明する。 Next, specific examples of model construction and model operation will be described with reference to FIGS. 7 and 8, respectively.

図7は、冠動脈の血流パラメータの推定処理について学習済みモデルおよびシミュレーションモデルを構築する際の具体的な手順の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of a specific procedure for constructing a learned model and a simulation model for estimating coronary artery blood flow parameters.

ステップS210において、学習機能254は、境界条件と血流粘性とX線CT画像データにもとづいて血流パラメータを推定する、血流パラメータ用シミュレーションモデルXを構築する。 In step S210, the learning function 254 constructs a blood flow parameter simulation model X for estimating blood flow parameters based on boundary conditions, blood flow viscosity, and X-ray CT image data.

ステップS221において、学習機能254は、血圧と心臓容積にもとづいて境界条件を推定する学習済みモデルAを構築する。 In step S221, the learning function 254 builds a trained model A that estimates boundary conditions based on blood pressure and heart volume.

ステップS222において、学習機能254は、血液検査結果にもとづいて血流粘性を推定する学習済みモデルBを構築する。 In step S222, the learning function 254 builds a trained model B for estimating blood flow viscosity based on blood test results.

ステップS230において、学習機能254は、境界条件と血流粘性とX線CT画像データにもとづいて血流パラメータを推定する血流パラメータ用学習済みモデルCを構築する。 In step S230, the learning function 254 constructs a blood flow parameter trained model C for estimating blood flow parameters based on boundary conditions, blood flow viscosity, and X-ray CT image data.

なお、これらのステップS210-230は順不同に実行されて構わない。 Note that these steps S210-230 may be executed in any order.

以上の手順により、冠動脈の血流パラメータの推定処理について学習済みモデルおよびシミュレーションモデルを構築することができる。 Through the above procedure, a trained model and a simulation model can be constructed for the process of estimating blood flow parameters of coronary arteries.

図8は、シミュレーションモデルXにより冠動脈の血流パラメータの推定処理が運用される場合であって、推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャートである。図8に示す推定処理は、図6に示す例と同様、最適化の結果、シミュレーションモデルによる運用が決定済みであるものとする。 FIG. 8 is a flow chart showing an example of the procedure when the simulation model X is used to estimate the blood flow parameters of the coronary arteries and part of the input medical data required for the estimation process is insufficient. In the estimation process shown in FIG. 8, as in the example shown in FIG. 6, it is assumed that the simulation model operation has already been determined as a result of the optimization.

ステップS310において、取得機能251は、被検体DB32から推定対象の被検体の医用データを取得する。 In step S<b>310 , the acquisition function 251 acquires the medical data of the subject to be estimated from the subject DB 32 .

次に、ステップS320において、推定機能252は、シミュレーションモデルX(図7のステップS210参照)による冠動脈の血流パラメータの推定処理に必要な境界条件に不足がないか判定する。不足がなければステップS360に進む。一方、不足がある場合はステップS330に進み、不足する境界条件が計測可能か否かを判定する。 Next, in step S320, the estimating function 252 determines whether or not the boundary conditions necessary for estimating the coronary artery blood flow parameters by the simulation model X (see step S210 in FIG. 7) are sufficient. If there is no shortage, the process proceeds to step S360. On the other hand, if there is a shortage, the flow advances to step S330 to determine whether or not the missing boundary conditions are measurable.

計測可能な場合はステップS340に進み、不足する境界条件について被検体を計測して収集し、被検体に関連付けて被検体DB32に格納してステップS360に進む。一方、計測不可な場合はステップS350に進み、不足している境界条件を推定する学習済みモデルB(図7のステップS222参照)によって不足している境界条件を推定し、ステップS360に進む。この場合、学習済みモデルBによって推定された境界条件は、計測していないデータ(計測外データ)であることを示す情報を付加して被検体に関連付けて被検体DB32に格納しておくとよい。 If it is measurable, the process proceeds to step S340, the object is measured and collected with respect to the missing boundary conditions, the data is stored in the object DB 32 in association with the object, and the process proceeds to step S360. On the other hand, if the measurement is not possible, the flow advances to step S350 to estimate the missing boundary conditions using the learned model B (see step S222 in FIG. 7) for estimating the missing boundary conditions, and then to step S360. In this case, the boundary conditions estimated by the trained model B should be stored in the subject DB 32 in association with the subject by adding information indicating that they are unmeasured data (unmeasured data).

次に、ステップS360において、推定機能252はシミュレーションモデルXにより推定対象の被検体の冠動脈の血流パラメータを推定する。 Next, in step S360, the estimation function 252 estimates the blood flow parameter of the coronary arteries of the subject to be estimated using the simulation model X. FIG.

そして、ステップS370において、通知機能255は、推定機能252により推定された冠動脈の血流パラメータの推定結果を、ユーザおよび被検体の少なくとも一方に通知する。 Then, in step S370, the notification function 255 notifies at least one of the user and the subject of the estimation result of the coronary artery blood flow parameter estimated by the estimation function 252. FIG.

以上の手順により、シミュレーションモデルXにより冠動脈の血流パラメータの推定処理が運用される場合であって境界条件が不足する場合に、学習済みモデルBを用いて境界条件を推定して補完することができる。このように、本実施形態に係る医用情報処理装置20は、シミュレーションモデルと学習済みモデルの組み合わせを柔軟に最適化することができる。 According to the above procedure, when the simulation model X is used to estimate the coronary artery blood flow parameters and the boundary conditions are insufficient, the learned model B can be used to estimate and complement the boundary conditions. Thus, the medical information processing apparatus 20 according to this embodiment can flexibly optimize the combination of the simulation model and the trained model.

図9は、学習済みモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合の手順の一例を示すフローチャートである。図8に示す推定処理は、図6に示す例とは逆に、最適化の結果、学習済みモデルによる運用が決定済みであるものとする。 FIG. 9 is a flowchart showing an example of a procedure when estimation processing is operated using a trained model and part of the input medical data necessary for estimation processing is insufficient. In the estimation process shown in FIG. 8, contrary to the example shown in FIG. 6, it is assumed that operation by the learned model has already been determined as a result of optimization.

ステップS41において、取得機能251は、被検体DB32から推定対象の被検体の医用データを取得する。 In step S<b>41 , the acquisition function 251 acquires the medical data of the subject to be estimated from the subject DB 32 .

次に、ステップS42において、推定機能252は、学習済みモデルによる推定処理に必要な医用データに不足がないか判定する。不足がなければステップS46に進む。一方、不足がある場合はステップS43に進み、当該不足データが計測可能か否かを判定する。 Next, in step S42, the estimation function 252 determines whether or not there is a shortage of medical data necessary for estimation processing using the trained model. If there is no shortage, the process proceeds to step S46. On the other hand, if there is a shortage, the process proceeds to step S43 to determine whether or not the missing data can be measured.

計測可能な場合はステップS44に進み、不足する医用データについて被検体を計測して収集し、被検体に関連付けて被検体DB32に格納してステップS46に進む。一方、計測不可な場合はステップS45に進み、不足している医用データを推定するシミュレーションモデルによって不足している医用データを推定し、ステップS46に進む。この場合、学習済みモデルによって推定された医用データは、計測していないデータ(計測外データ)であることを示す情報を付加して被検体に関連付けて被検体DB32に格納しておくとよい。 If it is measurable, the process proceeds to step S44, the missing medical data is collected by measuring the subject, associated with the subject and stored in the subject DB 32, and the process proceeds to step S46. On the other hand, if the measurement is not possible, the process proceeds to step S45 to estimate the missing medical data by a simulation model for estimating the missing medical data, and the process proceeds to step S46. In this case, the medical data estimated by the trained model should be stored in the subject DB 32 in association with the subject by adding information indicating that it is data that has not been measured (unmeasured data).

次に、ステップS46において、推定機能252は学習済みモデルにより推定対象の被検体の健康状態に関する情報を推定する。 Next, in step S46, the estimation function 252 estimates information about the health condition of the subject to be estimated using the learned model.

そして、ステップS47において、通知機能255は、推定機能252により推定された被検体の健康状態に関する情報の推定結果を、ユーザおよび被検体の少なくとも一方に通知する。 Then, in step S<b>47 , the notification function 255 notifies at least one of the user and the subject of the estimation result of the information regarding the health condition of the subject estimated by the estimation function 252 .

以上の手順により、学習済みモデルにより推定処理が運用される場合であって推定処理に必要な入力医用データの一部が不足する場合には、シミュレーションモデルを用いて不足データを補完することができる。 According to the above procedure, when the estimation process is operated by the trained model and part of the input medical data necessary for the estimation process is insufficient, the missing data can be supplemented using the simulation model.

本実施形態に係る医用情報処理装置20は、推定処理ごとに、学習済みモデルとシミュレーションモデルとのどちらを用いるかを決定することができる。学習済みモデルとシミュレーションモデルとのどちらを用いるかは、それぞれの推定結果の正解の推定結果との一致度、およびそれぞれの推定に要する時間、の少なくとも一方にもとづいて最適化機能253により決定されうる。一致度と時間のどちらを用いるか、または両方を用いるかは、ユーザにより設定可能である。このため、ユーザは、利用目的に応じて、互いのモデルを適宜組み合わせることにより、推定結果の精度を向上させ、あるいは推定処理速度を向上させることができる。 The medical information processing apparatus 20 according to this embodiment can determine which of the trained model and the simulation model to use for each estimation process. Whether to use the trained model or the simulation model can be determined by the optimization function 253 based on at least one of the degree of matching between each estimation result and the correct estimation result, and the time required for each estimation. Whether to use the degree of matching or time, or to use both can be set by the user. Therefore, the user can improve the accuracy of the estimation result or improve the estimation processing speed by appropriately combining the models according to the purpose of use.

以上説明した少なくとも1つの実施形態によれば、学習済みモデルによる推定とシミュレーションモデルによる推定を組み合わせて被検体の健康状態に関する推定を行うことができる。 According to at least one embodiment described above, the health condition of the subject can be estimated by combining the estimation by the trained model and the estimation by the simulation model.

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(たとえば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびFPGA)等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。 In the above-described embodiments, the term “processor” means, for example, a dedicated or general-purpose CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an application-specific integrated circuit (ASIC), a programmable logic device (for example, a Simple Programmable Logic Device (SPLD), a Complex Programmable Logic Device (CPLD), and an FPGA) or the like. The processor implements various functions by reading and executing programs stored in the storage medium.

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。 In the above embodiments, an example in which a single processor of the processing circuit implements each function has been shown, but a processing circuit may be configured by combining a plurality of independent processors, and each processor may implement each function. Further, when a plurality of processors are provided, a storage medium for storing programs may be provided individually for each processor, or one storage medium may collectively store programs corresponding to the functions of all processors.

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 It should be noted that although several embodiments of the invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.

10 医用情報処理システム
20 医用情報処理装置
51 ウェアラブル端末
100 ネットワーク
251 取得機能
252 推定機能
253 最適化機能
254 学習機能
255 通知機能
451 推定要求機能
452 推定結果取得機能
453 画像生成機能
10 medical information processing system 20 medical information processing apparatus 51 wearable terminal 100 network 251 acquisition function 252 estimation function 253 optimization function 254 learning function 255 notification function 451 estimation request function 452 estimation result acquisition function 453 image generation function

Claims (13)

複数の被検体から収集した検証用医用データと健康状態に関する情報の正解との組からなる正解データセットを記憶した記憶部から、前記正解データセットを取得する取得部と、
前記検証用医用データにもとづいて学習済みモデルが生成した健康状態に関する情報の推定結果と、前記検証用医用データにもとづいてシミュレーションモデルが生成した健康状態に関する情報の推定結果と、前記健康状態に関する情報の正解と、にもとづいて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する最適化部と、
を備えた医用情報処理装置。
an acquisition unit that acquires a correct data set from a storage unit that stores a correct data set consisting of a set of medical data for verification collected from a plurality of subjects and correct information about health conditions;
an optimization unit that determines which of the trained model and the simulation model is used to estimate the information on the health condition of the subject to be estimated, based on an estimation result of information on the health condition generated by the learned model based on the medical data for verification, an estimation result of the information on the health condition generated by the simulation model based on the medical data for verification, and a correct answer of the information on the health condition;
medical information processing device.
前記推定対象の被検体の健康状態に関する情報の推定は、
前記推定対象の被検体の現在の医用パラメータの推定、前記推定対象の被検体の現在の健康状態の推定、前記推定対象の被検体の将来の予後の推定を含む将来の健康状態の推定、および前記推定対象の被検体の治療プランの推定の、少なくとも1つの推定処理を含み、
前記学習済みモデルおよび前記シミュレーションモデルは、
前記少なくとも1つの推定処理のそれぞれについてあらかじめ構築され、
前記最適化部は、
前記少なくとも1つの推定処理のそれぞれについて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて推定を行うかを決定する、
請求項1記載の医用情報処理装置。
The estimation of information about the health condition of the subject to be estimated includes:
at least one estimation process of estimating a current medical parameter of the estimation target subject, estimating a current health status of the estimation target subject, estimating a future health status including estimating a future prognosis of the estimation target subject, and estimating a treatment plan for the estimation target subject;
The trained model and the simulation model are
preconfigured for each of the at least one estimation process;
The optimization unit
determining which of the trained model and the simulation model is to be used for each of the at least one estimation process;
The medical information processing apparatus according to claim 1.
前記少なくとも1つの推定処理は、
複数の推定処理により構成され、
前記学習済みモデルおよび前記シミュレーションモデルは、
前記複数の推定処理のそれぞれについてあらかじめ構築され、
前記最適化部は、
前記複数の推定処理のそれぞれについて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて推定を行うかを決定する、
請求項2に記載の医用情報処理装置。
The at least one estimation process includes:
It consists of multiple estimation processes,
The trained model and the simulation model are
Pre-configured for each of the plurality of estimation processes,
The optimization unit
Determining which of the trained model and the simulation model is used for estimation for each of the plurality of estimation processes;
The medical information processing apparatus according to claim 2.
前記最適化部は、
前記複数の推定処理の情報にもとづいて、前記複数の推定処理のそれぞれを担当するモデルの組み合わせを生成する組合せ推定用学習済みモデルに対して、前記複数の推定処理の情報を入力することで、前記複数の推定処理のそれぞれを担当するモデルの組み合わせを決定する、
請求項3記載の医用情報処理装置。
The optimization unit
Based on the information of the plurality of estimation processes, inputting the information of the plurality of estimation processes to a combined estimation trained model that generates a combination of models responsible for each of the plurality of estimation processes, thereby determining the combination of models responsible for each of the plurality of estimation processes.
The medical information processing apparatus according to claim 3.
前記推定処理のそれぞれについて、前記学習済みモデルおよび前記シミュレーションモデルをあらかじめ構築する学習部、
をさらに備えた請求項2ないし4のいずれか1項に記載の医用情報処理装置。
a learning unit that builds in advance the trained model and the simulation model for each of the estimation processes;
The medical information processing apparatus according to any one of claims 2 to 4, further comprising:
前記取得部は、
前記推定対象の被検体の医用データを取得し、
前記最適化部により決定された前記学習済みモデルと前記シミュレーションモデルとのどちらかを用いて、前記推定対象の被検体の医用データにもとづいて前記推定対象の被検体の健康状態に関する情報の推定を行う推定部、
をさらに備えた、
請求項1ないし5のいずれか1項に記載の医用情報処理装置。
The acquisition unit
obtaining medical data of the subject to be estimated;
an estimating unit that estimates information related to the health condition of the subject to be estimated based on the medical data of the subject to be estimated using either the trained model determined by the optimization unit or the simulation model;
further comprising
The medical information processing apparatus according to any one of claims 1 to 5.
前記推定部は、
前記推定対象の被検体の医用データが不足していると、当該医用データを、前記最適化部により決定された前記学習済みモデルと前記シミュレーションモデルとの他方を用いて推定して補完する、
請求項6記載の医用情報処理装置。
The estimation unit
when the medical data of the subject to be estimated is insufficient, supplementing the medical data by estimating using the other of the trained model determined by the optimization unit and the simulation model;
The medical information processing apparatus according to claim 6.
前記最適化部が前記シミュレーションモデルを用いて前記推定対象の被検体の健康状態に関する情報の推定を行うと決定した場合、前記シミュレーションモデルを用いた推定に用いる前記推定対象の被検体の医用データが不足していると、前記学習済みモデルを用いて不足している医用データを推定して補完する、
請求項7記載の医用情報処理装置。
When the optimization unit determines to estimate information about the health condition of the subject to be estimated using the simulation model, and the medical data of the subject to be estimated used for estimation using the simulation model is insufficient, estimate and complement the missing medical data using the trained model.
The medical information processing apparatus according to claim 7.
前記推定部により推定された前記推定対象の被検体の健康状態に関する情報の推定結果を、ユーザおよび前記推定対象の被検体の少なくとも一方に通知する通知部、
をさらに備えた請求項6ないし8のいずれか1項に記載の医用情報処理装置。
a notification unit that notifies at least one of a user and the estimation target subject of an estimation result of information related to the health condition of the estimation target subject estimated by the estimation unit;
The medical information processing apparatus according to any one of claims 6 to 8, further comprising:
前記最適化部は、
前記学習済みモデルと前記シミュレーションモデルのそれぞれが推定結果を生成するために要する時間にさらにもとづいて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて前記推定対象の被検体の健康状態に関する情報の推定を行うかを決定する、
請求項1ないし9のいずれか1項に記載の医用情報処理装置。
The optimization unit
further based on the time required for each of the trained model and the simulation model to generate an estimation result, determining which of the trained model and the simulation model is used to estimate information about the health condition of the subject to be estimated;
The medical information processing apparatus according to any one of claims 1 to 9.
推定対象の被検体から収集した前記推定対象の被検体の医用データにもとづいて、学習済みモデルおよびシミュレーションモデルの少なくとも一方を用いて前記被検体の健康状態に関する情報の推定を行う医用情報処理装置と、ネットワークを介して前記医用情報処理装置と通信可能なクライアントと、を含む医用情報処理システムであって、
前記医用情報処理装置は、
複数の被検体から収集した検証用医用データと健康状態に関する情報の正解との組からなる正解データセットを記憶した記憶部から、前記正解データセットを取得する取得部と、
前記検証用医用データにもとづいて前記学習済みモデルが生成した健康状態に関する情報の推定結果と、前記検証用医用データにもとづいて前記シミュレーションモデルが生成した健康状態に関する情報の推定結果と、前記健康状態に関する情報の正解と、にもとづいて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定する最適化部と、
前記最適化部により決定された前記学習済みモデルと前記シミュレーションモデルとのどちらかを用いて、前記推定対象の被検体の医用データにもとづいて前記推定対象の被検体の健康状態に関する情報の推定を行う推定部と、
前記推定部による前記推定対象の被検体の健康状態に関する情報の推定結果を前記クライアントに送信する送信部と、
を備えた医用情報処理システム。
A medical information processing system, comprising: a medical information processing apparatus for estimating information about a health condition of a subject using at least one of a trained model and a simulation model based on medical data of the estimation target subject collected from the estimation target subject; and a client capable of communicating with the medical information processing apparatus via a network,
The medical information processing device is
an acquisition unit that acquires a correct data set from a storage unit that stores a correct data set consisting of a set of medical data for verification collected from a plurality of subjects and correct information about health conditions;
an optimization unit that determines which of the trained model and the simulation model is used to estimate information about the health condition of the subject to be estimated, based on an estimation result of information about the health condition generated by the learned model based on the medical data for verification, an estimation result of the information about the health condition generated by the simulation model based on the medical data for verification, and a correct answer of the information about the health condition;
an estimating unit that estimates information related to the health condition of the subject to be estimated based on the medical data of the subject to be estimated using either the trained model determined by the optimization unit or the simulation model;
a transmission unit configured to transmit, to the client, an estimation result of information related to the health condition of the subject to be estimated by the estimation unit;
medical information processing system.
前記クライアントは、
前記推定部による前記推定対象の被検体の健康状態に関する情報の推定結果を前記医用情報処理装置から受信する受信部と、
受信した前記推定部による前記推定対象の被検体の健康状態に関する情報の推定結果にもとづいて、前記被検体の診断を支援するための画像を生成して表示部に表示させる画像生成部と、
を備えた請求項11記載の医用情報処理システム。
Said client
a receiving unit that receives, from the medical information processing apparatus, an estimation result of information about the health condition of the subject to be estimated by the estimating unit;
an image generation unit configured to generate an image for supporting diagnosis of the subject based on the estimation result received by the estimation unit and to display the image on a display unit;
The medical information processing system according to claim 11, comprising:
取得部と推定部と最適化部とを備えた医用情報処理装置で実行される医用情報処理方法であって、
前記取得部が複数の被検体から収集した検証用医用データと健康状態に関する情報の正解の推定結果との組からなる正解データセットを記憶した記憶部から、前記正解データセットを取得するステップと、
前記推定部が前記検証用医用データにもとづいて学習済みモデルが健康状態に関する情報の推定結果を生成するステップと、
前記推定部が前記検証用医用データにもとづいてシミュレーションモデルが健康状態に関する情報の推定結果を生成するステップと、
前記最適化部が前記学習済みモデルの推定結果と、前記シミュレーションモデルの推定結果と、前記健康状態に関する情報の正解と、にもとづいて、前記学習済みモデルと前記シミュレーションモデルとのどちらを用いて推定対象の被検体の健康状態に関する情報の推定を行うかを決定するステップと、
を有する医用情報処理方法。
A medical information processing method executed by a medical information processing apparatus comprising an acquisition unit, an estimation unit, and an optimization unit,
a step of acquiring the correct data set from a storage unit storing a correct data set consisting of a set of verification medical data collected from a plurality of subjects by the acquiring unit and a result of estimating the correctness of information related to health conditions;
a step in which the estimating unit generates an estimation result of information about the health condition of the trained model based on the verification medical data;
a step in which the estimation unit generates an estimation result of information about the health condition by the simulation model based on the verification medical data;
determining , by the optimization unit , which of the trained model and the simulation model is used to estimate the information regarding the health condition of the subject to be estimated, based on the estimation result of the trained model, the estimation result of the simulation model, and the correct answer of the information regarding the health condition;
A medical information processing method comprising:
JP2019052597A 2019-03-20 2019-03-20 Medical information processing apparatus, medical information processing system, and medical information processing method Active JP7313170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019052597A JP7313170B2 (en) 2019-03-20 2019-03-20 Medical information processing apparatus, medical information processing system, and medical information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019052597A JP7313170B2 (en) 2019-03-20 2019-03-20 Medical information processing apparatus, medical information processing system, and medical information processing method

Publications (2)

Publication Number Publication Date
JP2020154723A JP2020154723A (en) 2020-09-24
JP7313170B2 true JP7313170B2 (en) 2023-07-24

Family

ID=72559226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019052597A Active JP7313170B2 (en) 2019-03-20 2019-03-20 Medical information processing apparatus, medical information processing system, and medical information processing method

Country Status (1)

Country Link
JP (1) JP7313170B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181526A (en) 1998-12-16 2000-06-30 Chugoku Electric Power Co Inc:The Device and method for estimating/predicting plant state
JP2000222005A (en) 1999-02-03 2000-08-11 Hitachi Ltd Controller for process
JP2020135374A (en) 2019-02-19 2020-08-31 日立造船株式会社 Information processor, information processing method and information processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181526A (en) 1998-12-16 2000-06-30 Chugoku Electric Power Co Inc:The Device and method for estimating/predicting plant state
JP2000222005A (en) 1999-02-03 2000-08-11 Hitachi Ltd Controller for process
JP2020135374A (en) 2019-02-19 2020-08-31 日立造船株式会社 Information processor, information processing method and information processing program

Also Published As

Publication number Publication date
JP2020154723A (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US11553874B2 (en) Dental image feature detection
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
US11538161B2 (en) Systems and methods for determining blood vessel conditions
US20210151187A1 (en) Data-Driven Estimation of Predictive Digital Twin Models from Medical Data
CN108784655A (en) Rapid evaluation for medical patient and consequences analysis
CN107492090A (en) Analyzed according to generated data using the tumor phenotypes based on image of machine learning
CN108475540A (en) For using the information from process to carry out the system and method description of dissection modeling
EP3591663A1 (en) Computer aided diagnosis and monitoring of heart failure patients
US20230053474A1 (en) Medical care system for assisting multi-diseases decision-making and real-time information feedback with artificial intelligence technology
US20220108801A1 (en) Diagnosis and treatment support system
CN117275648B (en) Intelligent nursing method for intensive care unit patient based on Internet of things
Huang et al. Deep learning for caries detection using optical coherence tomography
Oguine et al. AI in telemedicine: an appraisal on deep learning-based approaches to virtual diagnostic solutions (VDS)
JP7313170B2 (en) Medical information processing apparatus, medical information processing system, and medical information processing method
JP2021114139A (en) Medical information processing apparatus and medical information processing program
JP7210175B2 (en) Medical information processing device, medical information processing system and medical information processing program
Lopes et al. Smartphone-based remote monitoring solution for heart failure patients
Gupta et al. IoT and cloud based healthcare solution for diabetic foot ulcer
Talha et al. Paving the way to cardiovascular health monitoring using Internet of Medical Things and Edge-AI
JP7485512B2 (en) Medical information processing device, medical information processing method, and medical information processing program
JP7269027B2 (en) Medical information processing apparatus, medical information processing system, and medical information processing method
Lip et al. Transforming Clinical Trials with Artificial Intelligence
Inampudi Lipi et al. Smart Heart Rate, Oxygen Level and Temperature values Monitoring with Things peak
US11335453B1 (en) Systems and methods for displaying hubs in brain data
JP7433901B2 (en) Learning device and learning method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230711

R150 Certificate of patent or registration of utility model

Ref document number: 7313170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150