JP7457292B2 - 脳画像解析装置、制御方法、及びプログラム - Google Patents

脳画像解析装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP7457292B2
JP7457292B2 JP2022529135A JP2022529135A JP7457292B2 JP 7457292 B2 JP7457292 B2 JP 7457292B2 JP 2022529135 A JP2022529135 A JP 2022529135A JP 2022529135 A JP2022529135 A JP 2022529135A JP 7457292 B2 JP7457292 B2 JP 7457292B2
Authority
JP
Japan
Prior art keywords
data
subject
brain
analysis
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022529135A
Other languages
English (en)
Other versions
JPWO2021245733A1 (ja
JPWO2021245733A5 (ja
Inventor
正隆 菊地
泰志 松村
香織 小林
憲一 上條
泰人 伏見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Osaka University NUC
Original Assignee
NEC Corp
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Osaka University NUC filed Critical NEC Corp
Publication of JPWO2021245733A1 publication Critical patent/JPWO2021245733A1/ja
Publication of JPWO2021245733A5 publication Critical patent/JPWO2021245733A5/ja
Application granted granted Critical
Publication of JP7457292B2 publication Critical patent/JP7457292B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、脳画像の解析に関する。
脳の画像を用いて脳の状態を把握する技術が開発されている。例えば特許文献1は、軽度認知障害の患者の MRI 画像を解析して、認知症の発症を予測する技術を開示している。また、特許文献2は、脳の形態を表す画像(MRI 画像など)と、受容体に選択的に結合する所定の放射性薬剤を用いて撮像された脳の画像(PET 画像など)とを用いて、脳の受容体結合能を画像化する技術を開示している。特許文献2のシステムでは、MRI 画像を利用することで PET 画像内の関心領域を決定した後、決定した関心領域について PET 画像を解析することにより、脳の受容体結合能の分布を算出している。
国際公開第2019/208661号 特開2013-061196号広報
特許文献1の発明では、1種類の画像から得られる情報のみを用いて、認知症の予測を行っている。この点、本発明者は、脳機能障害に関する解析に利用できる情報が得られるのは、1種類の画像からだけではないことを見いだした。なお、特許文献2では、2種類の脳画像を用いて解析が行われている。しかしながら、特許文献2に開示されているのは、PET 画像において注目すべき領域を MRI 画像を利用して決定するという技術であり、脳機能障害に関する解析を行う技術ではない。
本発明は上記の課題に鑑みてなされたものであり、その目的の一つは、脳の画像を用いた脳機能障害に関する解析について、その精度を高める技術を提供することである。
本開示における脳画像解析装置は、脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルと、対象者について前記入力データを取得する取得部と、前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理部と、を有する。
本開示における制御方法は、コンピュータによって実行される。前記コンピュータは、脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルを有する。
当該制御方法は、対象者について前記入力データを取得する取得ステップと、前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理ステップと、を有する。
本発明のコンピュータ可読媒体は、本発明の制御方法を管理装置に実行させるプログラムを格納している。
本発明によれば、脳の画像を用いた脳機能障害に関する解析について、その精度を高める技術が提供される。
実施形態1の脳画像解析装置の動作の概要を例示する図である。 実施形態1の脳画像解析装置の機能構成を例示するブロック図である。 脳画像解析装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 実施形態1の脳画像解析装置によって実行される処理の流れを例示するフローチャートである。 異種混合学習を用いて生成される解析モデルを例示する図である。 出力データの一例を示す図である。 対象者について行われた解析の結果と既存の症例との比較を例示する図である。 解析モデルの学習を通じて得られた情報を例示する第1の図である。 解析モデルの学習を通じて得られた情報を例示する第2の図である。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
図1は、実施形態1の脳画像解析装置2000の動作の概要を例示する図である。ここで、図1は、脳画像解析装置2000の概要の理解を容易にするための図であり、脳画像解析装置2000の動作は、図1に示したものに限定されない。
脳画像解析装置2000は、対象者10の脳が含まれる2種類以上の画像を解析し、対象者10について、現在又は将来の脳機能障害に関する情報を示す出力データ30を出力する。例えば出力データ30は、以下のような情報を示す(以下には限定されない)。
-対象者10が何らかの脳機能障害を持っているか否か
-対象者10の脳機能が悪化するか否か
-対象者10が持っている又はこれから持つ可能性がある脳機能障害の種類
ここで、対象者10は、既に脳機能障害を持つことが分かっている人でもよいし、脳機能障害を持っているかどうかが不明な人であってもよい。また、対象者10は人に限定されず、犬などといった人以外の動物であってもよい。
脳画像解析装置2000が扱う脳機能障害は任意である。例えば脳機能障害は、軽度認知症やアルツハイマー病などである。
脳画像解析装置2000が利用する画像には、脳形態画像42と脳機能画像44が含まれる。脳形態画像42は、脳の形態を表す画像である。例えば脳形態画像42は、脳 MRI(magnetic resonance imaging)画像や脳 CT(computed tomography)画像などである。一方、脳機能画像44は、脳の機能的な状態を表す画像である。例えば脳機能画像44は、脳 PET(Positron Emission Tomography)画像、脳 SPECT(single photon emission computed tomography)画像、又は拡散テンソル画像(diffusion tensor image)などである。
脳画像解析装置2000は、解析モデル2020を有する。解析モデル2020は、対象者10についての入力データ40が入力されたことに応じ、対象者10についての解析データ20を出力するように予め学習されている。入力データ40には、対象者10の脳を撮像することで得られた脳形態画像42と脳機能画像44が含まれる。解析データ20は、対象者10について、現在又は将来の脳機能障害に関する情報を表す。例えば解析モデル2020は、異種混合学習を利用して生成された解析モデル、ニューラルネットワーク、又は SVM(Support Vector Machine)などで実現される。
脳画像解析装置2000は、対象者10について、脳形態画像42と脳機能画像44を含む入力データ40を取得し、解析モデル2020に入力する。そして脳画像解析装置2000は、解析モデル2020から出力された解析データ20に基づいて、出力データ30を出力する。出力データ30は、解析データ20と同一であってもよいし、解析データ20に対して何らかの加工を加えたものであってもよい。後者の場合、例えば出力データ30は、解析データ20を利用して生成されたグラフなどである。
<作用効果の例>
本実施形態の脳画像解析装置2000によれば、解析モデル2020に対して対象者10の入力データ40を入力することにより、対象者10の脳機能障害に関する解析(例えば、対象者10が何らかの脳機能障害を持っているか否かの判定など)が行われる。ここで、入力データ40には脳形態画像42と脳機能画像44が含まれており、解析モデル2020は、少なくともこれら2種類の画像を用いて、対象者10の脳機能障害に関する解析を行う。よって、本実施形態の脳画像解析装置2000によれば、1種類の脳画像のみを利用して解析を行うケースと比較し、対象者10の脳機能障害に関する解析を高い精度で行うことができる。
また、脳形態画像42と脳機能画像44はいずれも非侵襲データであるため、これらのデータの取得は、侵襲データの取得と比較し、対象者10にかかる負担が小さい。よって、脳形態画像42と脳機能画像44を用いて解析を行うことにより、対象者10にかかる負担を小さくしつつ、高い精度で対象者10の脳機能障害に関する解析を実現することができる。ただし、脳画像解析装置2000による解析には、少なくとも脳形態画像42と脳機能画像44が利用されればよく、侵襲データを利用してはいけないわけではない。
以下、本実施形態の脳画像解析装置2000について、より詳細に説明する。
<機能構成の例>
図2は、実施形態1の脳画像解析装置2000の機能構成を例示するブロック図である。脳画像解析装置2000は、解析モデル2020、取得部2040、出力処理部2060を有する。解析モデル2020は、対象者10の入力データ40が入力されたことに応じ、対象者10の解析データ20を出力する。取得部2040は、対象者10の入力データ40を取得する。出力処理部2060は、対象者10の入力データ40を解析モデル2020に入力することで、解析モデル2020から解析データ20を取得する。そして、出力処理部2060は、解析データ20に基づいて出力データ30の出力を行う。
<ハードウエア構成の例>
脳画像解析装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、脳画像解析装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、脳画像解析装置2000を実現するコンピュータ500のハードウエア構成を例示するブロック図である。コンピュータ500は、任意のコンピュータである。例えばコンピュータ500は、PC(Personal Computer)やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ500は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ500は、脳画像解析装置2000を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
例えば、コンピュータ500に対して所定のアプリケーションをインストールすることにより、コンピュータ500で、脳画像解析装置2000の各機能が実現される。上記アプリケーションは、脳画像解析装置2000の機能構成部を実現するためのプログラムで構成される。
コンピュータ500は、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512を有する。バス502は、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ504などを互いに接続する方法は、バス接続に限定されない。
プロセッサ504は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ506は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス508は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
入出力インタフェース510は、コンピュータ500と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース510には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
ネットワークインタフェース512は、コンピュータ500をネットワークに接続するためのインタフェースである。このネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよい。
ストレージデバイス508は、脳画像解析装置2000の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ504は、このプログラムをメモリ506に読み出して実行することで、脳画像解析装置2000の各機能構成部を実現する。
脳画像解析装置2000は、1つのコンピュータ500で実現されてもよいし、複数のコンピュータ500で実現されてもよい。後者の場合において、各コンピュータ500の構成は同一である必要はなく、それぞれ異なるものとすることができる。
<処理の流れ>
図4は、実施形態1の脳画像解析装置2000によって実行される処理の流れを例示するフローチャートである。取得部2040は、入力データ40を取得して、解析モデル2020に入力する(S102)。解析モデル2020は、入力された入力データ40を処理して、解析データ20を出力する(S104)。出力処理部2060は、解析データ20に基づいて出力データ30を出力する(S106)。
<解析モデル2020による解析について>
解析モデル2020は、入力された入力データ40を用いて、対象者10の脳機能障害に関する解析を行い、その結果を表す解析データ20を出力する。なお、解析モデル2020は、入力データ40が入力されたことに応じて解析データ20を出力するように、予め学習されている。解析モデル2020の学習を実現する具体的な方法については後述する。
解析モデル2020によって行われる解析は様々である。以下、解析モデル2020によって行われる解析を具体的に例示する。
<<現在の脳機能障害に関する予測>>
例えば解析モデル2020は、対象者10の現在の脳機能障害に関する予測を行う。例えば解析モデル2020は、入力データ40を解析して、対象者10が現在脳機能障害を持っている確率を算出する。この場合、例えば解析データ20は、対象者10が現在脳機能障害を持っている確率を表す数値である。また、解析モデル2020は、対象者10が現在脳機能障害を持っているか否かを判定してもよい。この場合、例えば解析データ20は、対象者10が現在脳機能障害を持っているか否かを示すフラグである。
その他にも例えば、解析モデル2020は、対象者10が現在持っている脳機能障害の種類を予測する。この場合、例えば解析データ20は、解析モデル2020がその有無を判別可能な脳機能障害の種類の数と同一の要素数を持つベクトルデータである。例えば、解析モデル2020が、軽度認知症の有無及びアルツハイマー病の有無を判別可能であるとする。この場合、例えば解析データ20は、軽度認知症を持つ確率 p1 と、アルツハイマー病を持つ確率 p2 とで構成されるベクトルデータ v=(p1, p2) である。例えば、解析モデル2020から (0.7, 0.1) という解析データ20が出力されたら、この解析データ20は、「対象者10が軽度認知症を持つ確率は 0.7 であり、対象者10がアルツハイマー病を持つ確率は 0.1 である」ということを表す。
<<将来の脳機能障害に関する予測>>
例えば解析モデル2020は、対象者10の将来の脳機能障害に関する予測を行う。例えば解析モデル2020は、所定期間内に対象者10の脳機能が悪化する確率を算出する。この場合、解析データ20は、所定期間内に対象者10の脳機能が悪化する確率を表す数値である。また、解析モデル2020は、所定期間内に対象者10の脳機能が悪化するか否かを判定してもよい。この場合、解析データ20は、所定期間内に対象者10の脳機能が悪化するか否かを示すフラグである。
なお、「所定期間内に脳機能の状態が悪化する」とは、対象者10の脳を撮像して脳形態画像42や脳機能画像44が生成された時における対象者10の脳機能と、その時から所定期間が経過した後における対象者10の脳機能とを比較した場合に、後者における脳機能が前者における脳機能よりも低下していることを意味する。より具体的なケースとしては、1)脳機能障害を持たない状態から軽度認知障害を持つ状態に移行するケース、2)脳機能障害を持たない状態からアルツハイマー病を持つ状態に移行するケース、又は3)軽度認知障害を持つ状態からアルツハイマー病を持つ状態に移行するケースなどが挙げられる。
解析モデル2020は、特定の悪化(例えば前述した1)から3)のいずれか)のみを扱うものであってもよいし、任意の悪化を扱うもの(例えば、1)から3)のいずれかに当てはまれば悪化として扱うもの)であってもよい。例えば解析モデル2020が、3)の悪化を扱うとする。この場合、解析モデル2020には、軽度認知障害を持っている対象者10についての入力データ40が入力される。そして、解析モデル2020は、所定期間内に対象者10がアルツハイマー病を持つ状態に移行する確率(すなわち、対象者10の状態が所定期間内に軽度認知障害からアルツハイマー病に移行する確率)や、所定期間内に対象者10がアルツハイマー病を持つ状態に移行するか否かを表す解析データ20を出力する。
その他にも例えば、解析モデル2020は、対象者10の脳機能が悪化するまでの時間を予測する。この場合、例えば解析データ20は、対象者10の脳機能が悪化するまでの時間を表す数値を出力する。その他にも例えば、解析モデル2020は、対象者10の脳機能障害が悪化するまでの時間が、複数の各選択肢(例えば、1年以内、1年以上3年以内、3年以上5年以内、及び5年以上など)に当てはまる確率を予測してもよい。この場合、例えば解析データ20は、これら選択肢の数と同一の要素数を持つベクトルデータである。
例えば複数の選択肢として、1年以内、1年以上3年以内、3年以上5年以内、及び5年以上の4つが設けられているとする。この場合、例えば解析データ20は、1年以内に脳機能が悪化する確率 p1、1年以上3年以内の期間に脳機能が悪化する確率 p2、3年以上5年以内の期間に脳機能が悪化する確率 p3、及び5年以内には脳機能が悪化しない確率 p4 という4つの確率が列挙されたベクトルデータ v=(p1, p2, p3, p4) である。
なお、このケースの解析モデル2020も、脳機能が悪化する確率を予測するケースと同様に、特定の悪化(例えば前述した1)から3)のいずれか)のみを扱ってもよいし、任意の悪化を扱ってもよい。
その他にも例えば、解析モデル2020は、対象者10が今後所定期間内に持つと予測される脳機能障害の種類を表す。この場合、例えば解析データ20は、解析モデル2020が予測可能な脳機能障害の種類の数と同一の要素数を持つベクトルデータである。例えば、解析モデル2020が、所定期間内における軽度認知症の有無及びアルツハイマー病の有無を予測可能であるとする。この場合、例えば解析データ20は、所定期間内に軽度認知症を持つ確率 p1 と、所定期間内にアルツハイマー病を持つ確率 p2 で構成されるベクトル v=(p1, p2) である。
<画像から抽出される特徴量について>
解析モデル2020は、入力データ40に含まれる脳形態画像42と脳機能画像44のそれぞれから特徴量を抽出し、抽出した特徴量を利用して、解析データ20を生成する。脳形態画像42や脳機能画像44から抽出される特徴量は様々である。
例えば脳形態画像42から抽出される特徴量は、脳の全体又は一部の領域のサイズや形状に関する特徴量である。より具体的な例としては、海馬、嗅内皮質、全脳、脳室、又は白質高信号域などの脳容量データが挙げられる。
脳機能画像44から抽出される特徴量は、脳機能画像44の種類によって異なる。例えば脳機能画像44が、脳内に蓄積した特定のタンパク質が観察可能な脳 PET 画像であるとする。この場合、脳機能画像44から抽出される特徴量は、観察可能なタンパク質の量に関する特徴量である。より具体的には、前頭皮質、前帯状皮質、楔前部、及び頭頂葉の4つの領域の SUV(Standardized Uptake Value)を小脳の SUV で割った SUV 比の平均値などが挙げられる。なお、このように特定のタンパク質が観察可能な脳機能画像44としては、例えば、18F-AV45 標識の薬剤を利用することで得られる、脳内に蓄積したアミロイドを観察可能な脳 PET 画像が挙げられる。
また、脳機能画像44が、脳内の糖代謝を観察可能な脳 PET 画像であるとする。この場合、脳機能画像44から得られる特徴量としては、例えば、側頭皮質、前帯状皮質、及び後帯状皮質の3つの領域の SUV を小脳の SUV で割った SUV 比の平均値などが挙げられる。このような脳機能画像44は、例えば、18F-FDG 標識の薬剤を利用することで得られる。
なお、脳形態画像42や脳機能画像44から抽出される特徴量の例について説明したが、解析モデル2020に採用可能なモデルの中には、脳形態画像42と脳機能画像44それぞれから抽出すべき特徴量を明示的に指定する必要がないものもある。このようなモデルの例としては、ニューラルネットワークが挙げられる。
<脳形態画像42や脳機能画像44を複数利用するケース>
入力データ40には、複数の脳形態画像42が含まれていてもよい。例えば、対象者10の脳をそれぞれ異なる複数の角度から撮像することで複数の MRI 画像を得て、これら複数の MRI 画像を解析モデル2020に入力することが考えらえる。
また、入力データ40には、複数の脳機能画像44が含まれていてもよい。例えば前述したように、複数の薬剤を利用することで、脳のそれぞれ異なる機能を観察することが考えられる。この場合、それぞれ異なる脳の機能を表す脳機能画像44を、解析モデル2020に入力することが考えられる。例えば、脳内に蓄積した特定のタンパク質が観察可能な脳機能画像44と、脳内の糖代謝を観察可能な脳機能画像44とをそれぞれ、解析モデル2020に入力するようにする。
なお、後述するように、このように複数の脳形態画像42や脳機能画像44が解析モデル2020に入力される場合、学習の際にも同様に、複数の脳形態画像42や脳機能画像44が利用される。
<画像以外から得られる情報を利用するケース>
入力データ40には、脳形態画像42や脳機能画像44以外から得られるデータがさらに含まれていてもよい。例えばこのようなデータとしては、対象者10の属性データ、病歴データ、健康状態データ、遺伝データ、又はバイオマーカーデータなどが挙げられる。
対象者10の属性データとしては、例えば、年齢、性別、又は教育歴などを表すデータが挙げられる。対象者10の病歴データとしては、これまでに対象者10が罹ったことのある病気や、その病気に罹った年月日などを表すデータが挙げられる。対象者10の健康状態データとしては、対象者10が受けた健康診断で得られたデータや、対象者10が病院を受診した際に行われた診察や検査で得られたデータなどが挙げられる。より具体的には、血液検査、心電図検査、又は尿検査などの結果や、身長、体重、又は血圧の測定結果などが挙げられる。対象者10のゲノムデータとしては、対象者10のゲノムが持つ塩基配列などといった、対象者10の遺伝子に関連する種々のデータを扱うことができる。対象者10のバイオマーカーデータとしては、対象者10について得られた種々のバイオマーカーのデータを扱うことができる。バイオマーカーの例としては、髄液バイオマーカーや炎症バイオマーカー(プログラニュリンや C 反応性蛋白など)が挙げられる。
なお、後述するように、このように脳画像以外の種々のデータも解析モデル2020に入力される場合、学習の際にも同様に、これらのデータが利用される。
<異種混合学習における例>
ここで、異種混合学習が利用されるケースについて、解析モデル2020の構造の例を示す。なお、この例において、入力データ40には、脳形態画像42と脳機能画像44のみが含まれているとする。
図5は、異種混合学習を用いて生成される解析モデル2020を例示する図である。この例において、解析モデル2020は、深さ3の決定木100を有する。決定木100は、分岐ノード110と葉ノード120を有している。分岐ノード110は、脳形態画像42、脳機能画像44、又はこれら双方から得られた各特徴量に基づく条件分岐を表している。葉ノード120は、分岐ノード110による条件分岐によってその葉ノード120に到達した入力データ40に適用される予測式を示している。各予測式は、脳形態画像42、脳機能画像44、又はこれら双方から得られる各特徴量を説明変数とする任意のモデル(例えば、線形回帰モデル、線形判別モデル、又は二項ロジスティック回帰モデルなど)である。各葉ノード120の予測式は、決定木100による条件分岐でその葉ノード120に到達する特徴量を持つ各学習データを用いて生成される。
解析モデル2020に入力データ40が入力されると、まず解析モデル2020は、決定木100による条件分岐を行うことで、入力データ40が到達する葉ノード120を特定する。なお、決定木100を辿る際、解析モデル2020は、入力データ40から、条件分岐に必要な特徴量の抽出を行う。そして、解析モデル2020は、入力データ40から得られる特徴量を、特定した葉ノード120に対応する予測式に適用することで、解析結果を算出する。
<入力データ40の取得:S102>
取得部2040は、対象者10について入力データ40を取得する(S102)。入力データ40を取得する方法は任意である。例えば入力データ40は、対象者10の識別情報に対応づけて、予め記憶装置に格納されている。取得部2040は、対象者10の識別情報を取得し、取得した識別情報に対応づけられている入力データ40を取得する。
ここで、入力データ40を構成する各データ(脳形態画像42や脳機能画像44など)は、互いに異なる記憶装置に格納されていてもよい。この場合、取得部2040は、各記憶装置にアクセスすることで、入力データ40を構成する各データを取得する。
なお、対象者10の識別情報を取得する方法も任意である。例えば対象者10の識別情報は、脳画像解析装置2000のユーザによって入力される。その他にも例えば、対象者10の識別情報は、対象者10の識別情報が格納されている記憶媒体(診察券として利用される磁気カードや IC カードなど)からリーダを利用して読み取られる。
<出力情報の生成:S106>
出力処理部2060は、入力データ40を解析モデル2020に入力することで得られた解析データ20を用いて出力データ30を生成する(S106)。例えば出力データ30は、解析データ20の内容に基づいて生成されるテキストデータや画像データ(画面データを含む)などである。
図6は、出力データ30の一例を示す図である。出力データ30-1及び30-2はいずれも、ディスプレイ装置に出力される画面データである。出力データ30-1は、1)現在脳機能障害を持っていないこと、及び2)17% の確率で3年以内に軽度認知障害になることが示されている。一方、出力データ30-2には、1)現在軽度認知障害を持っていること、及び2)41% の確率で3年以内にアルツハイマー病になることが示されている。
なお、図6の例では、複数種類の解析モデル2020が利用されている。具体的には、1)現在持っている脳疾患の種類を予測する第1の解析モデル2020、2)3年以内に脳機能障害を持たない状態から軽度認知障害を持つ状態に移行する確率を予測する第2の解析モデル2020、3)3年以内に軽度認知障害を持つ状態からアルツハイマー病を持つ状態に移行する確率を予測する第3の解析モデル2020という3つが利用される。
第2と第3の解析モデル2020は、第1の解析モデル2020から出力される解析データ20に基づいて、選択的に利用される。すなわち、解析データ20により、対象者10が現在脳機能障害を持たないと判定された場合には、第2の解析モデル2020が利用される。一方、解析データ20により、対象者10が現在軽度認知障害を持っていると判定された場合には、第3の解析モデル2020が利用される。
出力データ30は、解析データ20の内容をそのまま表すものであってもよいし、解析データ20に対して何らかの加工を加えたものであってもよい。例えば解析データ20が確率を表すデータ(例えば、対象者10が脳機能障害を持っている確率を表すデータ)である場合、出力処理部2060は、解析データ20が表す確率を閾値と比較することで判定を行い、その判定結果を示す出力データ30を生成してもよい。例えば解析データ20が、対象者10が脳機能障害を持っている確率を表すとする。この場合、出力処理部2060は、解析データ20によって表される確率が閾値以上であれば、「対象者10は脳機能障害を持っている」という判定結果を表す出力データ30を生成する。一方、当該確率が閾値未満であれば、出力処理部2060は、「対象者10は脳機能障害を持っていない」という判定結果を表す出力データ30を生成する。
その他にも例えば、出力処理部2060は、既存の症例(解析モデル2020の学習に利用された学習データ)を利用してグラフを生成し、対象者10について行われた解析の結果と既存の症例との比較結果を、出力データ30として出力してもよい。図7は、対象者10について行われた解析の結果と既存の症例との比較を例示する図である。
この例において、解析モデル2020は、異種混合学習を用いて生成されたモデルであり、その決定木には3つの葉ノード(すなわち、予測式)が存在する。言い換えれば、解析モデル2020において、対象者10は、決定木に従って3つのクラスタのいずれかに分類される。そして、対象者10についての予測は、対象者10が分類されたクラスタに対応づけられている予測式を用いて行われる。
図7のグラフは、解析モデル2020が持つ決定木に基づいて学習データをクラスタに分類し、クラスタごとにカプランマイヤー(Kaplan-Meier)曲線を生成したものである。X 軸は年齢を示し、Y 軸は軽度認知症からアルツハイマー病に移行した人の割合を示している。実線の曲線は、第1のクラスタに分類される症例で生成されたカプランマイヤー曲線である。点線の曲線は、第2のクラスタに分類される症例で生成されたカプランマイヤー曲線である。一点鎖線の曲線は、第3のクラスタに分類される症例で生成されたカプランマイヤー曲線である。
この例では、対象者10の入力データ40を解析モデル2020に入力した結果、対象者10が第1のクラスタに分類され、なおかつ、対象者10が軽度認知症からアルツハイマー病に移行するまでの時間が5年であると予測されている。ここで、対象者10の現在の年齢は70歳であるとする。そのため、対象者10が軽度認知障害からアルツハイマー病に移行すると予測される年齢は、75歳である。
この結果から、対象者10についての解析結果は、第1のクラスタのカプランマイヤー曲線において、「年齢=75歳」の点に相当する。そこで図7において、この点に、星印のプロットが表示されている。
このように対象者10についての解析結果と既存の症例との比較結果を表示することにより、ユーザは、1)対象者10が75歳で軽度認知障害からアルツハイマー病に移行すると予測されること、2)対象者10が第1のクラスタに分類されること、3)対象者10と同様に第1のクラスタに分類された人についての、年齢とアルツハイマー病へ移行する割合との関係などといった情報を、視覚的かつ容易に把握することができる。
出力データ30の出力先は任意である。例えば出力データ30は、出力処理部2060からアクセス可能なディスプレイ装置に表示される。その他にも例えば、出力データ30は、出力処理部2060からアクセス可能な記憶装置に格納される。その他にも例えば、出力データ30は、出力処理部2060から他の装置に対して送信される。例えばユーザ端末から脳画像解析装置2000に対して入力データ40が送信された場合に、その入力データ40を解析することで得られた出力データ30が出力処理部2060からユーザ端末へ送信されることが考えられる。
<解析モデル2020の学習について>
解析モデル2020は、脳画像解析装置2000によって利用される前に予め学習される。以下、解析モデル2020の学習を行う装置を、学習装置と呼ぶ。学習装置は、脳画像解析装置2000と一体として設けられてもよいし、脳画像解析装置2000とは別体として設けられてもよい。前者の場合、学習装置は、脳画像解析装置2000を実現するコンピュータで実現される。一方、後者の場合、学習装置は、脳画像解析装置2000を実現するコンピュータとは別のコンピュータで実現される。なお、後者の場合、学習装置を実現するコンピュータは、任意のコンピュータとすることができ、例えば図3に示すハードウエア構成を持つ。
学習装置は、複数の学習データを取得し、学習データを用いて解析モデル2020の学習を行う。学習データは、「入力データ40、正解の解析データ20(その入力データ40を解析モデル2020に入力した場合に解析モデル2020から出力されるべき解析データ20)」という組み合わせで構成される。学習データは、症例データを用いて生成することができる。症例データとは、ある人物その他の動物(以下、症例者)について行われた診察や検査から得られたデータである。以下、前述した種々の解析モデル2020について、学習に利用される学習データについて説明する。なお、学習データを利用してモデルの学習を行う技術には、既存の種々の技術を利用できる。
例えば解析モデル2020が、対象者10が現在脳機能障害を持っている確率を予測するように学習されるとする。この場合、脳機能障害を持っていると診断された症例者の症例データ、脳機能障害を持っていないと診断された症例者の症例データは、又はその双方の症例データそれぞれから、学習データを生成できる。脳機能障害を持っていると診断された症例者からは、「その症例者について得た入力データ40、脳機能障害を持つ確率=1」という組み合わせの学習データ(正例の学習データ)が得られる。一方、脳機能障害を持たないと診断された症例者からは、「その症例者について得た入力データ40、脳機能障害を持つ確率=0」という組み合わせの学習データ(負例の学習データ)が得られる。解析モデル2020は、これらの学習データを利用して学習される。なお、対象者10が現在脳機能障害を持つか否かを予測する解析モデル2020の学習も、同様の学習データで実現できる。
その他にも例えば、解析モデル2020が、対象者10が現在持っている脳機能障害の種類を予測するように学習されるとする。例えばこの場合、解析モデル2020は、対象者10が各脳機能障害を持つ確率を示すベクトルデータを出力するように学習される。この場合、症例データから生成される学習データは、正解の解析データ20として、「その症例者が持っている脳機能障害については確率1を示し、それ以外の脳機能障害については確率0を示すベクトルデータ」を示す。
例えば、対象者10が軽度認知障害を持っている確率を p1 とし、対象者10がアルツハイマー病を持っている確率を p2 とした時に、解析モデル2020が、ベクトル v=(p1, p2) を出力するように学習されるとする。この場合、軽度認知障害を持っている一方でアルツハイマー病を持っていない症例者の症例データからは、「その症例者について得た入力データ40、v=(1,0)」という学習データを生成することができる。
その他にも例えば、解析モデル2020が、対象者10の脳機能が所定期間内に悪化する確率を予測するように学習されるとする。この場合、入力データ40として利用されるデータが生成された時(脳の撮像を行って脳形態画像42や脳機能画像44を生成した時)と、その時から所定期間が経過した後とのそれぞれで行われた検査や診察の結果を含む症例データから、学習データを生成することができる。例えば、所定期間内に脳機能が悪化したことを表す症例データからは、「その症例者について得た入力データ40、脳機能が悪化する確率=1」という組み合わせの学習データ(正例の学習データ)が得られる。一方、所定期間内に脳機能が悪化しなかったことを表す症例データからは、「その症例者について得た入力データ40、脳機能が悪化する確率=0」という組み合わせの学習データ(負例の学習データ)が得られる。解析モデル2020は、これらの学習データを用いて学習される。なお、対象者10の脳機能が所定期間に悪化するか否かを予測する解析モデル2020の学習も、同様の学習データで実現できる。
なお、前述したように、脳機能の悪化としては、特定の悪化のみを扱ってもよい。例えば、「軽度認知障害を持っている状態からアルツハイマー病を持っている状態へ移行する」という悪化を扱うとする。この場合、入力データ40として利用するデータが生成された時の診察では軽度認知障害を持っていると診断され、なおかつそれから所定期間後の診察でアルツハイマー病を持っていると診断された症例者の症例データから、「その症例者について得た入力データ40、脳機能が悪化する確率=1」という学習データが得られる。一方、入力データ40として利用するデータが生成された時の診察で軽度認知障害を持っていると診断され、なおかつそれから所定期間後の診察でアルツハイマー病を持っていないと診断された症例者の症例データからは、「その症例者について得た入力データ40、脳機能が悪化する確率=0」という学習データが得られる。
その他にも例えば、解析モデル2020が、対象者10の脳機能が悪化するまでの時間を予測するとする。この場合、ある症例者の症例データが、入力データ40として利用するデータが生成された時と、その時から時間 t が経過した後とで診察を行った結果に基づいて、脳機能が悪化したことを表しているとする。この場合、その症例データからは、「その症例者について得た入力データ40、脳機能が悪化するまでの時間=t」という学習データが得られる。そして、解析モデル2020は、この学習データを用いて学習される。
なお、前述した通り、対象者10の脳機能が悪化するまでの時間は、1年以内や、1年以上3年以内などのように、複数の選択肢を用いて表されてもよい。この場合、症例データによって表されている、脳機能が悪化するまでの時間 t を、これらの選択肢のいずれかに当てはめることで、学習データを生成することができる。例えば解析データ20が、1年以内に脳機能が悪化する確率 p1、1年以上3年以内に脳機能が悪化する確率 p2、3年以上5年以内に脳機能が悪化する確率 p3、脳機能が5年以内に悪化しない確率 p4 という4つの確率で構成されるベクトルデータ v=(p1, p2, p3, p4) であるとする。この場合、7ヶ月で脳機能が悪化したと診断された症例者の症例データからは、「その症例者について得た入力データ40、v=(1,0,0,0)」という学習データが得られる。また、5年経過しても脳機能の悪化が見られなかった症例者の症例データからは、「その症例者について得た入力データ40、v= (0,0,0,1)」という学習データが得られる。
その他にも例えば、解析モデル2020は、対象者10が今後所定期間内に持つと予測される脳機能障害の種類を予測するように学習される。例えばこの場合、解析モデル2020は、対象者10が今後所定期間内に各脳機能障害を持つ確率を示すベクトルデータを出力するように学習される。この場合、入力データ40として利用するデータが生成された時と、その時から所定期間が経過した後とで診察を行った結果を含む症例データから、学習データを生成することができる。学習データは、正解の解析データ20として、「その症例者が所定期間後の診察時に持っていた脳機能障害については確率1を示し、それ以外の脳機能障害については確率0を示すベクトルデータ」を示す。
例えば、対象者10が軽度認知障害を持っている確率を p1 とし、対象者10がアルツハイマー病を持っている確率を p2 とした時に、解析モデル2020が、ベクトル v=(p1, p2) を出力するように学習されるとする。この場合、所定期間後の診察で、軽度認知障害を持っている一方でアルツハイマー病を持っていないと診察された症例者の症例データからは、「その症例者について得た入力データ40、v=(1,0)」という学習データを生成することができる。
<学習によって得られた情報の出力>
脳画像解析装置2000の出力処理部2060、又は学習装置は、解析モデル2020の学習を通じて得られた情報を出力する機能を有していてもよい。図8は、解析モデル2020の学習を通じて得られた情報を例示する第1の図である。この例において、解析モデル2020は、異種混合学習によって学習されている。より具体的には、この解析モデル2020では、学習データが3つのクラスタに分割されており、3つのクラスタそれぞれについて、2つの予測式が生成されている。各クラスタについて生成される予測式は、健常者である蓋然性の高さを表すスコア(以下、健常者スコア)を算出する第1の予測式と、アルツハイマー病患者である蓋然性の高さを表すスコア(以下、AD スコア)を算出する第2の予測式である。
解析モデル2020は、入力データ40から得られる特徴量を利用して、対象者10が属するクラスタを特定し、特定したクラスタに対応づけられている第1の予測式と第2の予測式の双方に、入力データ40から得られる特徴量を適用する。これによって、対象者10について、健常者スコアと AD スコアが得られる。解析モデル2020は、健常者スコアと AD スコアを比較することで、対象者10が健常者とアルツハイマー病患者のどちらであるのかを判定し、その判定結果を示す解析データ20を出力する。
この例において、入力データ40は、脳 MRI 画像、脳の糖代謝を観察可能な脳 PET 画像、及び脳内に蓄積したアミロイドを観察可能な脳 PET 画像という3つの画像で構成されている。図8のグラフにおいて、FDG は、脳の糖代謝を観察可能な脳 PET 画像から得られる特徴量である。また、AV45 は、脳内に蓄積したアミロイドを観察可能な脳 PET 画像から得られる特徴量である。そして、全脳、海馬、脳室、嗅内皮質、及び白色高信号域はそれぞれ、脳 MRI から得られるこれらの領域のサイズを表す特徴量である。また、予測式にはバイアス項も設けられている。
図8のグラフは、左から順に、1)第1のクラスタにおける第1の予測式、2)第1のクラスタにおける第2の予測式、3)第2のクラスタにおける第1の予測式、4)第2のクラスタにおける第2の予測式、5)第3のクラスタにおける第1の予測式、及び6)第3のクラスタにおける第2の予測式という6つの予測式について、各特徴量(説明変数)の重み係数を示している。このグラフを利用することで、クラスタごとに、健常者らしさとアルツハイマー病患者らしさのそれぞれに対する特徴量の寄与の大きさを把握することができる。
例えば、第1のクラスタについては、FDG の低下が、アルツハイマー病患者らしさに寄与していることが分かる。また、第2のクラスタについては、海馬と FDG の低下、及び AV45 の増加が、アルツハイマー病患者らしさに寄与していることがわかる。また、第3のクラスタについては、FDG の低下及び AV45 の増加が、アルツハイマー病患者らしさに寄与していることが分かる。なお、図8では、このような説明がグラフ上に示されている。ただし、このような説明は表示しなくてもよい。
図9は、解析モデル2020の学習を通じて得られた情報を例示する第2の図である。この例では、異種混合学習で解析モデル2020を学習することにより、学習データが5つのクラスタに分類されている。そして、図9のグラフは、学習データを各クラスタに分類した上で、特徴量ごとに、各学習データにおける特徴量の値の分布を示している。例えば Aβのグラフでは、クラスタごとに、そのクラスタに分類された学習データにおける Aβの値の分布を示している。なお、学習データはいずれも、軽度認知障害を持つ症例者の症例データから生成されたものである。
また、横方向に描画されている実線と点線の太線は、健常者とアルツハイマー患者とを識別するためのカットオフ値を表している。カットオフ値は、健常者と AD 患者を識別する精度(=(真陽性+真陰性)/総数)が最も高くなる値である。実線のケースでは、カットオフ値よりも値が大きい場合にアルツハイマー病寄り(健常者のみの分布よりも、アルツハイマー病患者のみの分布に近い)であることを表している。一方、点線のケースでは、カットオフ値よりも値が小さい場合にアルツハイマー病寄りであることを表している。
これらのグラフを見ると、例えば、各クラスタに分類される症例者について、健常者に近い(脳機能の低下が比較的小さい)症例者なのか、それとも、アルツハイマー病に近い(脳機能の低下が比較的大きい)症例者なのかなどといったことを把握することができる。例えば図9において、第1のクラスタについての分布は、Aβ とタウ比が異常で脳萎縮も進んでいることを表している。そのため、第1のクラスタに分類される症例者には、アルツハイマー病に近い軽度認知症患者が多いことが分かる。また、第3と第4のクラスタについての分布は、Aβとタウは正常で脳萎縮も進んでいないことを表している。そのため、これらのクラスタに分類される症例者には、健常者に近い軽度認知症患者が多いことが分かる。
なお、前述したように学習を通じて得られた種々の情報の出力先は、出力データ30の出力先と同様に、任意の出力先とすることができる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスク ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルと、
対象者について前記入力データを取得する取得部と、
前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理部と、を有する脳画像解析装置。
(付記2)
前記解析モデルは、前記対象者が現在脳機能障害を持っている確率、前記対象者が現在持っている脳機能障害の種類、所定期間内に前記対象者が持つ脳機能障害の種類、所定期間内に前記対象者の脳機能が悪化する確率、及び前記対象者の脳機能が悪化するまでの時間のうちのいずれか1つ以上に関する解析データを生成する、付記1に記載の脳画像解析装置。
(付記3)
脳機能障害の種類には、軽度認知障害及びアルツハイマー病のいずれか一方又は双方が含まれる、付記2に記載の脳画像解析装置。
(付記4)
前記対象者は、軽度認知障害を持っており、
前記解析モデルは、所定期間内に前記対象者が軽度認知障害からアルツハイマー病に移行する確率に関する解析データを生成する、付記3に記載の脳画像解析装置。
(付記5)
前記解析モデルは、前記対象者の属性に関するデータ、前記対象者の病歴に関するデータ、前記対象者の健康状態に関するデータ、前記対象者のゲノムデータ、及び前記対象者から得られたバイオマーカーデータのいずれか1つ以上をさらに用いて、前記解析データを生成する、付記1から4いずれか一項に記載の脳画像解析装置。
(付記6)
前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、付記1から5いずれか一項に記載の脳画像解析装置。
(付記7)
前記解析モデルは、異種混合学習を用いた学習によって生成されたモデルである、付記6に記載の脳画像解析装置。
(付記8)
前記出力処理部は、
前記クラスタごとに、前記クラスタに属する学習データの症例者の脳機能障害に関するグラフを生成し、
前記対象者について得られた前記解析データを用いて、前記対象者の脳機能障害に関するデータを、前記対象者が属する前記クラスタのグラフに重畳した前記出力データを生成する、付記6又は7に記載の脳画像解析装置。
(付記9)
前記出力処理部は、前記学習データから得られる複数の特徴量それぞれについて、前記学習データの分布をクラスタごとに示すグラフを出力する、付記6から8いずれか一項に記載の脳画像解析装置。
(付記10)
前記解析モデルは、前記クラスタごとに、健常者である蓋然性の高さを表す第1の予測式と、脳機能障害を持つ蓋然性の高さを表す第2の予測式とを有し、
前記第1の予測式と前記第2の予測式ではいずれも、前記学習データから得られる複数の特徴量それぞれに対して重み係数が付与されており、
前記出力処理部は、前記クラスタごとに設けられている前記第1の予測式と前記第2の予測式それぞれについて、各特徴量に付与された重み係数を表すグラフを出力する、付記6から9いずれか一項に記載の脳画像解析装置。
(付記11)
コンピュータによって実行される制御方法であって、
前記コンピュータは、脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルを有し、
対象者について前記入力データを取得する取得ステップと、
前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理ステップと、を有する制御方法。
(付記12)
前記解析モデルは、前記対象者が現在脳機能障害を持っている確率、前記対象者が現在持っている脳機能障害の種類、所定期間内に前記対象者が持つ脳機能障害の種類、所定期間内に前記対象者の脳機能が悪化する確率、及び前記対象者の脳機能が悪化するまでの時間のうちのいずれか1つ以上に関する解析データを生成する、付記11に記載の制御方法。
(付記13)
脳機能障害の種類には、軽度認知障害及びアルツハイマー病のいずれか一方又は双方が含まれる、付記12に記載の制御方法。
(付記14)
前記対象者は、軽度認知障害を持っており、
前記解析モデルは、所定期間内に前記対象者が軽度認知障害からアルツハイマー病に移行する確率に関する解析データを生成する、付記13に記載の制御方法。
(付記15)
前記解析モデルは、前記対象者の属性に関するデータ、前記対象者の病歴に関するデータ、前記対象者の健康状態に関するデータ、前記対象者のゲノムデータ、及び前記対象者から得られたバイオマーカーデータのいずれか1つ以上をさらに用いて、前記解析データを生成する、付記11から14いずれか一項に記載の制御方法。
(付記16)
前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、付記11から15いずれか一項に記載の制御方法。
(付記17)
前記解析モデルは、異種混合学習を用いた学習によって生成されたモデルである、付記16に記載の制御方法。
(付記18)
前記出力処理ステップにおいて、
前記クラスタごとに、前記クラスタに属する学習データの症例者の脳機能障害に関するグラフを生成し、
前記対象者について得られた前記解析データを用いて、前記対象者の脳機能障害に関するデータを、前記対象者が属する前記クラスタのグラフに重畳した前記出力データを生成する、付記16又は17に記載の制御方法。
(付記19)
前記出力処理ステップにおいて、前記学習データから得られる複数の特徴量それぞれについて、前記学習データの分布をクラスタごとに示すグラフを出力する、付記16から18いずれか一項に記載の制御方法。
(付記20)
前記解析モデルは、前記クラスタごとに、健常者である蓋然性の高さを表す第1の予測式と、脳機能障害を持つ蓋然性の高さを表す第2の予測式とを有し、
前記第1の予測式と前記第2の予測式ではいずれも、前記学習データから得られる複数の特徴量それぞれに対して重み係数が付与されており、
前記出力処理ステップにおいて、前記クラスタごとに設けられている前記第1の予測式と前記第2の予測式それぞれについて、各特徴量に付与された重み係数を表すグラフを出力する、付記16から19いずれか一項に記載の制御方法。
(付記21)
コンピュータによって実行されるプログラムが格納されているコンピュータ可読媒体であって、
前記コンピュータは、脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルを有し、
前記プログラムは、前記コンピュータに、
対象者について前記入力データを取得する取得ステップと、
前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力ステップと、を実行させるコンピュータ可読媒体。
(付記22)
前記解析モデルは、前記対象者が現在脳機能障害を持っている確率、前記対象者が現在持っている脳機能障害の種類、所定期間内に前記対象者が持つ脳機能障害の種類、所定期間内に前記対象者の脳機能が悪化する確率、及び前記対象者の脳機能が悪化するまでの時間のうちのいずれか1つ以上に関する解析データを生成する、付記21に記載のコンピュータ可読媒体。
(付記23)
脳機能障害の種類には、軽度認知障害及びアルツハイマー病のいずれか一方又は双方が含まれる、付記22に記載のコンピュータ可読媒体。
(付記24)
前記対象者は、軽度認知障害を持っており、
前記解析モデルは、所定期間内に前記対象者が軽度認知障害からアルツハイマー病に移行する確率に関する解析データを生成する、付記23に記載のコンピュータ可読媒体。
(付記25)
前記解析モデルは、前記対象者の属性に関するデータ、前記対象者の病歴に関するデータ、前記対象者の健康状態に関するデータ、前記対象者のゲノムデータ、及び、前記対象者から得られたバイオマーカーデータのいずれか1つ以上をさらに用いて、前記解析データを生成する、付記21から24いずれか一項に記載のコンピュータ可読媒体。
(付記26)
前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、付記21から25いずれか一項に記載のコンピュータ可読媒体。
(付記27)
前記解析モデルは、異種混合学習を用いた学習によって生成されたモデルである、付記26に記載のコンピュータ可読媒体。
(付記28)
前記出力ステップにおいて、
前記クラスタごとに、前記クラスタに属する学習データの症例者の脳機能障害に関するグラフを生成し、
前記対象者について得られた前記解析データを用いて、前記対象者の脳機能障害に関するデータを、前記対象者が属する前記クラスタのグラフに重畳した前記出力データを生成する、付記26又は27に記載のコンピュータ可読媒体。
(付記29)
前記出力ステップにおいて、前記学習データから得られる複数の特徴量それぞれについて、前記学習データの分布をクラスタごとに示すグラフを出力する、付記26から28いずれか一項に記載のコンピュータ可読媒体。
(付記30)
前記解析モデルは、前記クラスタごとに、健常者である蓋然性の高さを表す第1の予測式と、脳機能障害を持つ蓋然性の高さを表す第2の予測式とを有し、
前記第1の予測式と前記第2の予測式ではいずれも、前記学習データから得られる複数の特徴量それぞれに対して重み係数が付与されており、
前記出力処理ステップにおいて、前記クラスタごとに設けられている前記第1の予測式と前記第2の予測式それぞれについて、各特徴量に付与された重み係数を表すグラフを出力する、付記26から29いずれか一項に記載のコンピュータ可読媒体。
10 対象者
20 解析データ
30 出力データ
40 入力データ
42 脳形態画像
44 脳機能画像
100 決定木
110 分岐ノード
120 葉ノード
500 コンピュータ
502 バス
504 プロセッサ
506 メモリ
508 ストレージデバイス
510 入出力インタフェース
512 ネットワークインタフェース
2000 脳画像解析装置
2020 解析モデル
2040 取得部
2060 出力処理部

Claims (10)

  1. 脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルと、
    対象者について前記入力データを取得する取得部と、
    前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理部と、を有し、
    前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
    前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、脳画像解析装置。
  2. 前記解析モデルは、前記対象者が現在脳機能障害を持っている確率、前記対象者が現在持っている脳機能障害の種類、所定期間内に前記対象者が持つ脳機能障害の種類、所定期間内に前記対象者の脳機能が悪化する確率、及び前記対象者の脳機能が悪化するまでの時間のうちのいずれか1つ以上に関する解析データを生成する、請求項1に記載の脳画像解析装置。
  3. 前記解析モデルは、前記対象者の属性に関するデータ、前記対象者の病歴に関するデータ、前記対象者の健康状態に関するデータ、前記対象者のゲノムデータ、及び前記対象者から得られたバイオマーカーデータのいずれか1つ以上をさらに用いて、前記解析データを生成する、請求項1又は2に記載の脳画像解析装置。
  4. 前記出力処理部は、
    前記クラスタごとに、前記クラスタに属する学習データの症例者の脳機能障害に関するグラフを生成し、
    前記対象者について得られた前記解析データを用いて、前記対象者の脳機能障害に関するデータを、前記対象者が属する前記クラスタのグラフに重畳した前記出力データを生成する、請求項に記載の脳画像解析装置。
  5. 前記解析モデルは、前記クラスタごとに、健常者である蓋然性の高さを表す第1の予測式と、脳機能障害を持つ蓋然性の高さを表す第2の予測式とを有し、
    前記第1の予測式と前記第2の予測式ではいずれも、前記学習データから得られる複数の特徴量それぞれに対して重み係数が付与されており、
    前記出力処理部は、前記クラスタごとに設けられている前記第1の予測式と前記第2の予測式それぞれについて、各特徴量に付与された重み係数を表すグラフを出力する、請求項又はに記載の脳画像解析装置。
  6. 脳機能障害の種類には、軽度認知障害及びアルツハイマー病のいずれか一方又は双方が含まれ、
    前記対象者は、軽度認知障害を持っており、
    前記解析モデルは、所定期間内に前記対象者が軽度認知障害からアルツハイマー病に移行する確率に関する解析データを生成する、請求項1から5いずれか一項に記載の脳画像解析装置。
  7. コンピュータによって実行される制御方法であって、
    前記コンピュータは、脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルを有し、
    対象者について前記入力データを取得する取得ステップと、
    前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力処理ステップと、を有し、
    前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
    前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、制御方法。
  8. 前記解析モデルは、前記対象者が現在脳機能障害を持っている確率、前記対象者が現在持っている脳機能障害の種類、所定期間内に前記対象者が持つ脳機能障害の種類、所定期間内に前記対象者の脳機能が悪化する確率、及び前記対象者の脳機能が悪化するまでの時間のうちのいずれか1つ以上に関する解析データを生成する、請求項7に記載の制御方法。
  9. 前記解析モデルは、前記対象者の属性に関するデータ、前記対象者の病歴に関するデータ、前記対象者の健康状態に関するデータ、前記対象者のゲノムデータ、及び前記対象者から得られたバイオマーカーデータのいずれか1つ以上をさらに用いて、前記解析データを生成する、請求項7又は8に記載の制御方法。
  10. 脳の形態を表す脳形態画像と脳の機能的な状態を表す脳機能画像とを含む入力データが入力されたことに応じて、脳機能障害に関する情報を表す解析データを出力するように学習された解析モデルが含まれており、
    対象者について前記入力データを取得する取得ステップと、
    前記取得した入力データを前記解析モデルに入力することにより、前記解析モデルから、前記対象者についての前記解析データを取得し、前記取得した解析データに基づいて、前記対象者の脳機能障害に関する情報を表す出力データを出力する出力ステップと、をコンピュータに実行させ、
    前記解析モデルの学習において、複数の学習データがその学習データから得られる特徴量に基づいて複数のクラスタに分類され、前記クラスタごとに予測式が生成されており、
    前記解析モデルは、前記対象者の入力データから得られる特徴量に基づいて、その特徴量が属する前記クラスタを特定し、前記対象者の入力データから得られる特徴量を前記特定したクラスタに対応する予測式に適用することで、前記解析データを生成する、プログラム。
JP2022529135A 2020-06-01 2020-06-01 脳画像解析装置、制御方法、及びプログラム Active JP7457292B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021575 WO2021245733A1 (ja) 2020-06-01 2020-06-01 脳画像解析装置、制御方法、及びコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021245733A1 JPWO2021245733A1 (ja) 2021-12-09
JPWO2021245733A5 JPWO2021245733A5 (ja) 2023-02-15
JP7457292B2 true JP7457292B2 (ja) 2024-03-28

Family

ID=78830961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022529135A Active JP7457292B2 (ja) 2020-06-01 2020-06-01 脳画像解析装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230210441A1 (ja)
JP (1) JP7457292B2 (ja)
WO (1) WO2021245733A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170918A1 (ja) * 2022-03-11 2023-09-14 日本電気株式会社 可視化方法、可視化装置、および記録媒体
CN116206752B (zh) * 2023-02-22 2024-07-30 南通大学 基于结构-功能脑网络的精神疾病识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507115A (ja) 2010-11-29 2014-03-27 ジェネンテック, インコーポレイテッド 神経変性疾患又は障害を検出する方法
CN110580695A (zh) 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
US20200027557A1 (en) 2018-02-28 2020-01-23 Human Longevity, Inc. Multimodal modeling systems and methods for predicting and managing dementia risk for individuals
US20200126221A1 (en) 2018-10-19 2020-04-23 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for mild cognitive impairment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034724A1 (ja) * 2012-08-30 2014-03-06 株式会社島津製作所 脳断層動態画像解析装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507115A (ja) 2010-11-29 2014-03-27 ジェネンテック, インコーポレイテッド 神経変性疾患又は障害を検出する方法
US20200027557A1 (en) 2018-02-28 2020-01-23 Human Longevity, Inc. Multimodal modeling systems and methods for predicting and managing dementia risk for individuals
US20200126221A1 (en) 2018-10-19 2020-04-23 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for mild cognitive impairment
CN110580695A (zh) 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAKAGAWA, Tomonori et al.,Prediction of conversion to Alzheimer’s disease using deep survival analysis of MRI images,Brain Communications,2020年05月27日,Volume 2, Issue 1,https://doi.org/10.1093/braincomms/fcaa057
WANG, Pingyue et al.,Multimodal Classification of Mild Cognitive Impairment Based on Partial Least Squares,Journal of Alzheimer's Disease,2016年08月23日,vol. 54, no.1,pp. 359-371,DOI:10.3233/JAD-160102

Also Published As

Publication number Publication date
US20230210441A1 (en) 2023-07-06
WO2021245733A1 (ja) 2021-12-09
JPWO2021245733A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
JP7170145B2 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
US11615879B2 (en) System and method for automated labeling and annotating unstructured medical datasets
Gill et al. Using machine learning to predict dementia from neuropsychiatric symptom and neuroimaging data
US11182894B2 (en) Method and means of CAD system personalization to reduce intraoperator and interoperator variation
Zhou et al. Enhancing magnetic resonance imaging-driven Alzheimer’s disease classification performance using generative adversarial learning
US20170357844A1 (en) Image-based tumor phenotyping with machine learning from synthetic data
US20190370969A1 (en) Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
Yee et al. Quantifying brain metabolism from FDG‐PET images into a probability of Alzheimer's dementia score
More et al. Brain-age prediction: A systematic comparison of machine learning workflows
Popescu et al. Local brain-age: a U-net model
CN111447874A (zh) 判别装置、抑郁症状的判别方法、抑郁症状的水平的判断方法、抑郁症患者的分类方法、抑郁症状的治疗效果的判断方法和脑活动训练装置
US11341632B2 (en) Method for obtaining at least one feature of interest
Ye et al. Discriminative multi-task feature selection for multi-modality classification of Alzheimer’s disease
US11900599B2 (en) Multi-modality medical image analysis method and apparatus for brain disease diagnosis
JP7457292B2 (ja) 脳画像解析装置、制御方法、及びプログラム
Derado et al. Predicting brain activity using a Bayesian spatial model
Davis et al. Cooperative contributions of structural and functional connectivity to successful memory in aging
Kamran et al. Prediction of infarction volume and infarction growth rate in acute ischemic stroke
Garbarino et al. Investigating hypotheses of neurodegeneration by learning dynamical systems of protein propagation in the brain
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
KR20210059272A (ko) 자기공명 뇌영상 분석을 통한 청년기 우울증 및 고위험군 예측 기계학습 알고리즘
KR20210018214A (ko) 단층 화상 예측 장치 및 단층 화상 예측 방법
Kerber et al. Deep learning-based age estimation from clinical Computed Tomography image data of the thorax and abdomen in the adult population
Di Deco et al. Machine learning and social network analysis applied to Alzheimer’s disease biomarkers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7457292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150