JPWO2020122227A1 - うつ状態を推定する装置、方法及びそのためのプログラム - Google Patents

うつ状態を推定する装置、方法及びそのためのプログラム Download PDF

Info

Publication number
JPWO2020122227A1
JPWO2020122227A1 JP2020559336A JP2020559336A JPWO2020122227A1 JP WO2020122227 A1 JPWO2020122227 A1 JP WO2020122227A1 JP 2020559336 A JP2020559336 A JP 2020559336A JP 2020559336 A JP2020559336 A JP 2020559336A JP WO2020122227 A1 JPWO2020122227 A1 JP WO2020122227A1
Authority
JP
Japan
Prior art keywords
data
subject
unit
depression
estimation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559336A
Other languages
English (en)
Other versions
JP7502192B2 (ja
Inventor
泰士郎 岸本
雄基 田澤
國經 梁
卓仙 藤田
道孝 吉村
桃子 北沢
將 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Publication of JPWO2020122227A1 publication Critical patent/JPWO2020122227A1/ja
Application granted granted Critical
Publication of JP7502192B2 publication Critical patent/JP7502192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

ウェアラブルデバイスを用いてうつ状態を推定するための新たな方法を提供する。複数の被験者からの数日分の生体データをデータタイプごとに、1時間等のあらかじめ定めた時間単位のデータに変換する(S201)。次に、被験者ごと、かつ、データタイプごとに、得られたサンプルデータの分布の分位数を定める(S202)。また、被験者ごと、かつ、データタイプごとに、得られたサンプルデータの分布の標準偏差を算出する(S203)。そして、被験者ごとに、データタイプの各組合せについて、ピアソン相関係数を算出する(S204)。次いで、こうして各被験者の生体データから抽出された分位数、標準偏差及びピアソン相関係数という特徴量を入力ベクトル、各被験者についての医師等の専門家によるうつ状態の有無の評価をラベルとする教師データを用いた機械学習により、うつ状態か否かの分類問題の推定モデルを訓練する(S206)。

Description

本発明は、うつ状態(depressive state)を推定する装置、方法及びそのためのプログラムに関し、より詳細には、生体データに基づいてうつ病又は躁うつ病のうつ状態を推定する装置、方法及びそのためのプログラムに関する。
近年、先進国で精神疾患の有病者が増加しており、気分障害の一類型であるうつ病又は躁うつ病の患者数が特に多い。気分障害は、大きくうつ病エピソード(depressive episode)のみの「うつ病性障害」と「躁病エピソード」と呼ばれる症状を伴う「双極性障害」に大別される。
うつ病又は躁うつ病によりうつ状態になると一般に気力が減退し、活動的でなくなることが言われており、特許文献1には、被験者の活動量と拍動間隔に基づいて所定の条件式が満たされる場合に双極性障害であると判定する技術が開示されている。
特開2018-33795号公報
発明者らは、今後普及が見込まれるウェアラブルデバイスを活用することで、うつ状態の判定技術を改善可能であることを見出した。本発明の目的は、ウェアラブルデバイスを用いてうつ状態を推定するための新たな装置、方法及びそのためのプログラムを提供することにある。
このような目的を達成するために、本発明の第1の態様は、生体データに基づいて被験者のうつ状態を推定する方法であって、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、前記単位時間データに基づいて1又は複数の特徴量を抽出するステップと、前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定するステップとを含むことを特徴とする。
また、本発明の第2の態様は、第1の態様において、前記生体データは、前記被験者が身に付けたウェアラブルデバイスにより計測されたデータ又はそれに対応するデータであることを特徴とする。
また、本発明の第3の態様は、第1又は第2の態様において、前記生体データは、48時間以上の期間にわたり計測されたデータ又はそれに対応するデータであることを特徴とする。
また、本発明の第4の態様は、第1から第3のいずれかの態様において、前記所定の時間は1時間であることを特徴とする。
また、本発明の第5の態様は、第1から第4のいずれかの態様において、前記複数のデータタイプは、肌温度を含むことを特徴とする。
また、本発明の第6の態様は、第5の態様において、前記複数のデータタイプは、歩数、消費エネルギー、体動、心拍数、睡眠状態及び紫外線レベルのうちの少なくともいずれかをさらに含むことを特徴とする。
また、本発明の第7の態様は、第1から第6のいずれかの態様において、前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数、各データタイプの前記単位時間データの標準偏差、及び複数のデータタイプの各組合せの相関係数の少なくともいずれかを含むことを特徴とする。
また、本発明の第8の態様は、第1から第7のいずれかの態様において、前記1又は複数の特徴量の前記少なくとも一部は、正則化によって選択することを特徴とする。
また、本発明の第9の態様は、第1から第8のいずれかの態様において、前記推定モデルは、機械学習により生成されたうつ状態の有無を推定するモデルであることを特徴とする。
また、本発明の第10の態様は、第1から第8のいずれかの態様において、前記推定モデルは、機械学習により生成されたうつ状態の重症度を推定するモデルであることを特徴とする。
また、本発明の第11の態様は、第10の態様において、前記重症度は、HAMDのスコアであることを特徴とする。
また、本発明の第12の態様は、第10又は第11の態様において、前記生体データは、72時間以上の期間にわたり計測されたデータ又はそれに対応するデータであることを特徴とする。
また、本発明の第13の態様は、コンピュータに、生体データに基づいて被験者のうつ状態を推定する方法を実行させるためのプログラムであって、前記方法は、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、前記単位時間データから1又は複数の特徴量を抽出するステップと、前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定するステップとを含むことを特徴とする。
また、本発明の第14の態様は、生体データに基づいて被験者のうつ状態を推定する装置であって、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換し、前記単位時間データから1又は複数の特徴量を抽出し、前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定することを特徴とする。
また、本発明の第15の態様は、複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルの生成方法であって、被験者ごとに、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、被験者ごとに、前記単位時間データから1又は複数の特徴量を抽出するステップと、各被験者の前記1又は複数の特徴量の少なくとも一部を入力ベクトルとし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成するステップとを含むことを特徴とする。
また、本発明の第16の態様は、第15の態様において、前記機械学習は、アンサンブル学習であることを特徴とする。
また、本発明の第17の態様は、第15又は第16の態様において、前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数、各データタイプの前記単位時間データの標準偏差、及び複数のデータタイプの各組合せの相関係数の少なくともいずれかを含むことを特徴とする。
また、本発明の第18の態様は、第15から第17のいずれかの態様において、前記1又は複数の特徴量の前記少なくとも一部は、正則化によって選択することを特徴とする。
また、本発明の第19の態様は、コンピュータに、複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルの生成方法を実行させるためのプログラムであって、前記生成方法は、被験者ごとに、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、被験者ごとに、前記単位時間データから1又は複数の特徴量を抽出するステップと、各被験者の前記1又は複数の特徴量の少なくとも一部を入力とし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成するステップとを含むことを特徴とする。
また、本発明の第20の態様は、複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルを生成する装置であって、被験者ごとに、複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換し、被験者ごとに、前記単位時間データから1又は複数の特徴量を抽出し、各被験者の前記1又は複数の特徴量の少なくとも一部を入力とし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成することを特徴とする。
本発明の一態様によれば、複数のデータタイプを含む生体データをウェアラブルデバイスを用いて取得し、当該生体データに基づく1又は複数の特徴量によりうつ状態を推定することによって、従来の推定技術を改善することができる。
本発明の第1の実施形態にかかる装置を示す図である。 本発明の第1の実施形態にかかる推定モデルの生成プロセスを説明するための図である。 本発明の第1の実施形態にかかる推定モデルを用いた推定プロセスを説明するための図である。 本発明の実施例2−1の推定結果の精度を示す図である。 本発明の実施例2−2の推定結果の精度を示す図である。 本発明の実施例2−3の推定結果の精度を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第1の実施形態)
本発明の第1の実施形態では、ウェアラブルデバイスとして、リストバンド型で加速度センサ、脈拍センサ、紫外線センサ及び温度センサを備えるSilmee(登録商標)W20という製品を用いた。加速度センサから歩数、消費エネルギー、体動及び睡眠状態に関する生体データが得られ、紫外線センサからは紫外線レベルが得られ、温度センサから肌温度に関する生体データが得られる。
加速度センサから得られる睡眠状態(sleep state)に関する生体データは、より具体的には、アクチグラフィーとして知られる手法と同様に、三軸加速度センサの各軸の方向における加速度から算出される値が所定の閾値を超えていれば起きている状態と判定し、越えていなければ寝ている状態と判定することによって得ることができる。一例として、加速度センサの値が記録される各時刻又は各時点における睡眠状態を寝ている状態(sleeping state)であれば1、起きている状態(awake state)であれば0によって表現し、値が1である状態が連続する時間を睡眠時間として評価し、その開始時刻及び終了時刻を就寝時刻及び起床時刻とそれぞれ評価することが可能である。また、一例として、睡眠状態の評価において、加速度センサの値以外の心拍数等の値も反映させることが挙げられる。
温度センサから得られる肌温度(skin temperature)に関する生体データは、より具体的には、ウェアラブルデバイス110が着用される手首等の部位の肌温度を測定することによって得ることができる。正確な体温は、中核体温(core temperature)と呼ばれ、直腸温、腋窩温等の測定により得られるが、本実施形態において測定する肌温度は、被験者における測定の負担が小さく、継続的なデータの取得を現実的に可能にする。
図1に、本実施形態にかかる装置を示す。装置100は、ウェアラブルデバイス110と有線又は無線で接続され、ウェアラブルデバイス110により得られる生体データを受け取る。装置100は、図示のように直接的に生体データを受信するのではなく、ウェアラブルデバイス110がスマートフォンなどの携帯端末と接続され、当該携帯端末を介してデータを受信したり、ウェアラブルデバイス110がインターネットなどのIPネットワーク上のサーバと接続され、当該サーバを介してデータを受信したり、得られた生体データをUSBクレードルを通じて装置100に入力したりしてもよい。
装置100は、プロセッサ、CPU等の処理部101と、メモリ、ハードディスク等の記憶装置又は記憶媒体を含む記憶部102と、有線又は無線で他のデバイスと通信するための通信インターフェースなどの通信部103とを備え、各処理を行うためのプログラムを処理部101において実行することによって構成することができる。装置100は、1又は複数の装置、コンピュータないしサーバを含むことがあり、また当該プログラムは、1又は複数のプログラムを含むことがあり、また、コンピュータ読み取り可能な記憶媒体に記録して非一過性のプログラムプロダクトとすることができる。
本実施形態においては、まず、複数の被験者からウェアラブルデバイス110により得られる生体データを用いて、うつ状態の有無を推定するための推定モデルを機械学習によって生成する。そして、当該推定モデルを用いて新たな被験者のうつ状態の推定を行う。以下では、推定モデルの生成と推定モデルを用いた推定に分けて説明する。共に装置100における処理として説明するが、推定モデルの生成と推定モデルを用いた推定が異なるコンピュータにおいて行われ得ることが想定されている。本実施形態にかかる手法は、うつ状態のスクリーニングに有用であり、特に産業保健での健康診断などで活用可能である。
推定モデルの生成
l人(lは正の整数)の被験者からのm日分(mは正の数)の生体データをデータタイプごとに、1時間等のあらかじめ定めた時間単位のデータ(以下「単位時間データ(unit time data)」と呼ぶ。)に変換する(S201)。生体データに含まれるデータタイプとして、歩数、消費エネルギー、体動、心拍数、睡眠状態、肌温度及び紫外線レベルが挙げられる。データタイプは、モダリティ(modality)とも呼ぶことがある。一例として、歩数、消費エネルギー、体動、及び睡眠状態、すなわち睡眠時間については、あらかじめ定めた時間にわたって積算した値、心拍数、肌温度及び紫外線レベルについては、あらかじめ定めた時間における平均値を単位時間データとすることができる。また、心拍数、肌温度及び紫外線レベルについて、あらかじめ定めた時間にわたって積算した値としてもよい。
次に、被験者ごと、かつ、データタイプごとに、得られた24mのサンプルデータの分布のn個(nは正の整数)の分位数を定める(S202)。たとえばn=5として、第5百分位数、第25百分位数、第50百分位数、第75百分位数、第95百分位数の5個の分位数を記憶する。ここでは、単位時間データが1時間単位である場合を例としている。
また、被験者ごと、かつ、データタイプごとに、得られた24mのサンプルデータの分布の標準偏差を算出する(S203)。
そして、被験者ごとに、データタイプの各組合せについて、ピアソン相関係数等の相関係数を算出する(S204)。データタイプが上述の7個であれば21通りの組合せがある。ここでは分位数、標準偏差、そしてピアソン相関係数の順序で説明したが、これらは順不同で行うことができる。
次いで、こうして各被験者の生体データから抽出された分位数、標準偏差及び相関係数という特徴量(feature)を入力ないし入力ベクトル、各被験者についての医師等の専門家によるうつ状態の有無(presence or absence)の評価をラベルとして、l−1人の結果を教師データとして用いた機械学習により、うつ状態か否かの分類問題の推定モデルを訓練する(S206)。生成された推定モデルは、当該推定モデルを用いた推定を行う装置100の記憶部102又は装置100からアクセス可能な記憶媒体又は記憶装置に記憶される。
抽出した特徴量の一部であるサブセットをたとえば正則化の一手法であるL1正則化、L2正則化、これらを組み合わせたElastic Netなどによって選択して(S205)、これを入力ベクトルとしてもよい。また、機械学習は、勾配ブースティングの一手法であるXGBoostなどのアンサンブル学習によって行うことができる。
教師データから除いた1人の結果を用いて、生成した推定モデルの交差検証(cross validation)を行う。推定モデルの妥当性の検証はこうしたleave−one−out交差検証(LOOCV)に必ずしも限るものではないことを付言する。具体例として、k分割交差検証(k−fold cross validation)が挙げられ、これは、教師データをk分割して分割されたいずれか1組のデータを用いる検証をk回繰り返す手法である。検証の手法は、学習に用いるデータに影響を与えるため、生成される推定モデルの精度にも影響を及ぼすところ、k分割交差検証は一般に、LOOCVと比較してオーバーフィッティングの問題を緩和する。
推定モデルを用いた推定
うつ状態の有無の判定を行う被験者のm’日分(m’は正の数)の生体データをデータタイプごとに単位時間データに変換する(S301)。単位時間データへの変換は、ウェアラブルデバイス110が測定した生体データ又はそれに対してウェアラブルデバイス110若しくは装置100において処理を施した当該生体データに対応するデータを1分単位のデータに変換した後にさらに1時間単位のデータに変換して行うなど、さまざまな手法を用いることができる。この点は、予測モデルの生成時においても同様である。ただし、推定時の単位時間と生成時の単位時間は等しいことが望ましい。
そして、データタイプごとに、特徴量を抽出して記憶する(S302)。必要に応じて特徴量のサブセットを選択し、特徴量又はそのサブセットを入力ないし入力ベクトルとして、あらかじめ生成された推定モデルを用いてうつ状態の有無を推定する(S303)。
上述の説明では、特定の製品をウェアラブルデバイスの例として挙げたが、加速度センサ、脈拍センサ、紫外線センサ及び温度センサを備えるものであればよく、また、予測モデルの高精度に大きく寄与していると考えられる温度センサを少なくとも備えるウェアラブルデバイスとするのが好ましい。
なお、「××のみに基づいて」、「××のみに応じて」、「××のみの場合」というように「のみ」との記載がなければ、本明細書においては、付加的な情報も考慮し得ることが想定されていることに留意されたい。また、一例として、「aの場合にbする」という記載は、明示した場合を除き、「aの場合に常にbする」ことを必ずしも意味しないことに留意されたい。
また、念のため、なんらかの方法、プログラム、端末、装置、サーバ又はシステム(以下「方法等」)において、本明細書で記述された動作と異なる動作を行う側面があるとしても、本発明の各態様は、本明細書で記述された動作のいずれかと同一の動作を対象とするものであり、本明細書で記述された動作と異なる動作が存在することは、当該方法等を本発明の各態様の範囲外とするものではないことを付言する。
実施例1−1
62人の被験者について2日分以上の生体データをSilmee W20を用いて取得し、本実施形態にかかる手法によって推定モデルを生成した。推定モデルの検証は、leave−one−out交差検証により行った。そして、当該推定モデルを用いたうつ状態の有無の推定結果と医師による診断結果と比較した結果が以下の表である。生体データは、診断日前の6日間のうちの2日分以上を用いており、Elastic Netによるサブセットの選択及びXGBoostによる機械学習がなされている。単位時間データは、1時間単位の値である。
Figure 2020122227
医師によるうつ病の診断は、うつ病の一般的な診断指標であるハミルトン評価尺度HAMDを用いており、本実施例においてはHAMD17のカットオフを7とし、スコアが7を超える場合にうつ病と判断した。正解率(accuracy)は0.854、感度(recall)は0.906、特異度(specificity)は0.800であった。
本実施例によれば、高い精度でうつ状態の推定がなされており、健常者とうつ病患者とをスクリーニング可能であることが分かる。発明者らの知る限り従来うつ状態の推定に有益であると指摘された例のない肌温度を、これまで指摘されている心拍数などに組み合わせることが高い精度の実現に寄与しているものと考えられる。したがって、生体データとしては、肌温度と、歩数、エネルギー、体動、心拍数、睡眠状態及び紫外線レベルの少なくともいずれかとを含む2以上のデータタイプを含むことが好ましい。
実施例1−2
実施例1−1と同様の条件下で、55人の被験者について診断日前の6日間のうちの3日分以上の生体データを取得し、本実施形態にかかる手法によって推定モデルの生成及びうつ状態の推定を行った結果が以下の表である。
Figure 2020122227
正解率は0.855、感度は0.862、特異度は0.846であった。
本実施例によれば、高い精度でうつ状態の推定がなされていることが分かるが、2日分の生体データで行ったうつ状態の有無の推定と比較して顕著な精度向上はみられず、本実施形態にかかる手法が、2日分又は48時間分の生体データを用いれば十分に高い精度を得られるものであると言える。このことは、被験者がウェアラブルデバイス110を着用しなければならない期間の短縮につながり、着用時間が短く被験者の負担が小さいことは、うつ病早期発見のためのスクリーニングの普及を促す。
実施例1−3
86人の被験者について3日分以上の生体データをSilmee W20を用いて取得し、本実施形態にかかる手法によって推定モデルを生成した。推定モデルの検証は、10−fold交差検証により行った。そして、当該推定モデルを用いたうつ状態の有無の推定結果と医師による診断結果と比較した結果が以下の表である。生体データは、86人について得られた228個のサンプルデータを10分割した。ここで、同一の被験者のデータは同一の組(fold)に収まるようにした。また、一部の被験者からは複数のデータセットを取得している。サブセットの選択は行わず、XGBoostによる機械学習がなされている。単位時間データは、1時間単位の値である。
Figure 2020122227
正解率は0.737、感度は0.661、特異度は0.807であった。検証手法をLOOCVから10−fold交差検証に変えたことによるオーバーフィッティングの緩和が正解率等の若干の低下を招いていると考えられるが、依然として高い精度での推定がなされている。
生成された推定モデルにおいて、いずれの特徴量が推定結果に大きく寄与しているかを示す各特徴量の重要度(importance)を計算した結果が以下の表であり、具体的には、ある特徴量を変化させた時にどれくらいモデル精度が改善するかを計算することで特徴量ごとの重要度を推定しており、マイクロソフトが提供するサービス「Azure Machine Learning(商標)」を用いた。すべての特徴量について合計すると重要度は1となる。
Figure 2020122227
睡眠状態と肌温度との相関係数、肌温度の第50百分位数、そして体動の標準偏差が重要度の高い特徴量であることが分かり、肌温度の寄与が大きいことが確認された。また、肌温度と睡眠状態との相関係数の寄与も大きく、生体データとして、肌温度に加えて睡眠状態を含むことが好ましいと言える。
(第2の実施形態)
本発明の第2の実施形態は、うつ状態の有無のみならず、あるいはうつ状態の有無に代替して、うつ状態の重症度(severity)を推定可能とする。まず、複数の被験者からウェアラブルデバイス110により得られる生体データを用いて、うつ状態の重症度を推定するための推定モデルを機械学習によって生成する。そして、当該推定モデルを用いて新たな被験者のうつ状態の重症度を推定する。
本実施形態における推定モデルの生成は、第1の実施形態において図2を参照して説明したものと同様であり、機械学習の際に用いる医師の診断結果がうつ状態の有無ではなくうつ状態の重症度のスコアである点と、機械学習で用いるアルゴリズムが分類問題に適したアルゴリズムではなく回帰問題に適したアルゴリズムである点で異なる。
また、本実施形態における推定モデルを用いた推定は、第1の実施形態において図3を参照して説明したものと同様であり、出力がうつ状態の有無ではなくうつ状態の重症度である点で異なる。
うつ状態の重症度には、ハミルトン評価尺度HAMDを用いることができる。いくつかのバージョンがあり、HAMD17は、医師等の専門家が17項目を評価していき、各項目について3〜5点まであり、たとえば、7点までが正常、8〜13点が軽症、14〜18点が中等症、19〜22点は重症、23点以上は最重症のように診断が行われる。
本実施形態の手法によれば、うつ状態の重症度を判定可能であるため、うつ状態の治療方針の判断、処方薬の変更など、治療上必要な緻密な判断にまで寄与することができ、精神科臨床における診断治療補助において有益性が高い。
実施例2−1
62人の被験者について2日分以上の生体データをSilmee W20を用いて取得し、本実施形態にかかる手法によって推定モデルを生成した。推定モデルの検証は、leave−one−out交差検証により行った。そして、当該推定モデルを用いたうつ状態の有無の推定結果と医師による診断結果と比較した結果が図4である。生体データは、診断日前の6日間のうちの2日分以上を用いており、Elastic Netによるサブセットの選択及びXGBoostによる機械学習がなされている。単位時間データは、1時間単位の値である。
平均絶対誤差(mean absolute error)は4.11で、相関係数(correlation coefficient)は0.604、p値は2.04×10-7という結果となった。R2は0.341である。
実施例2−2
実施例2−1と同様の条件下で、55人の被験者について3日分以上の生体データを取得し、本実施形態にかかる手法によって推定モデルの生成及びうつ状態の重症度の推定を行った結果が図5である。
平均絶対誤差は3.29で、相関係数は0.763、p値は1.22×10-11という結果となった。R2は0.570である。この結果は、実施例2−1と比較して高い相関係数を示しており、重症度推定においては、0.700を超える高い推定精度を得るには3日間又は72時間程度又は以上の着用が必要である可能性が高いということが分かる。このことは、実施例1−1及び1−2と対比すれば、うつ状態の重症度を推定するためのモデルは、うつ状態の有無を推定するためのモデルよりも長期間計測された生体データを用いて生成することが好ましいことを意味する。
実施例2−3
86人の被験者について7日分以上の生体データをSilmee W20を用いて取得し、本実施形態にかかる手法によって推定モデルを生成した。推定モデルの検証は、10−fold交差検証により行った。そして、当該推定モデルを用いたうつ状態の有無の推定結果と医師による診断結果と比較した結果が図6である。生体データは、86人について得られた236個のサンプルデータを10分割した。ここで、同一の被験者のデータは同一の組(fold)に収まるようにした。また、一部の被験者からは複数のデータセットを取得している。サブセットの選択は行わず、XGBoostによる機械学習がなされている。単位時間データは、1時間単位の値である。
平均絶対誤差は4.94で、相関係数は0.610、p値は2.20×10-16という結果となった。R2は0.372である。検証手法をLOOCVから10−fold交差検証に変えたことによるオーバーシューティングの緩和が相関係数等の若干の低下を招いていると考えられるが、依然として高い精度での推定がなされている。
生成された推定モデルにおいて、いずれの特徴量が推定結果に大きく寄与しているかを示す各特徴量の重要度(importance)を計算した結果が以下の表であり、具体的にはマイクロソフトが提供するサービス「Azure Machine Learning(商標)」を用いた。すべての特徴量について合計すると重要度は1となる。
Figure 2020122227
肌温度の第95百分位数、睡眠状態と肌温度との相関係数、そして肌温度の第50百分位数が重要度の高い特徴量であることが分かり、実施例1−3と同様に、肌温度の寄与が大きいことが確認された。また、実施例1−3と同様に、肌温度と睡眠状態との相関係数の寄与も大きく、生体データとして、肌温度に加えて睡眠状態を含むことが好ましいと言える。
100 装置
101 処理部
102 記憶部
103 通信部
110 ウェアラブルデバイス

Claims (20)

  1. 被験者が身に付けたウェアラブルデバイスにより計測された生体データに基づいて被験者のうつ状態を推定する方法であって、
    複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、
    前記単位時間データに基づいて1又は複数の特徴量を抽出するステップと、
    前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定するステップと
    を含み、
    前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とする方法。
  2. 前記所定の時間単位は1時間単位であることを特徴とする1に記載の方法。
  3. 前記複数のデータタイプは、肌温度を含むことを特徴とする請求項1から4のいずれかに記載の方法。
  4. 前記1又は複数の特徴量は、肌温度の分位数を含むことを特徴とする請求項3に記載の方法。
  5. 前記複数のデータタイプは、睡眠状態を含むことを特徴とする請求項3又は4に記載の方法。
  6. 前記1又は複数の特徴量は、肌温度と睡眠状態との相関係数を含むことを特徴とする請求項5に記載の方法。
  7. 前記1又は複数の特徴量は、各データタイプの前記単位時間データの標準偏差をさらに含むことを特徴とする請求項1から6のいずれかに記載の方法。
  8. 前記1又は複数の特徴量の前記少なくとも一部は、正則化によって選択することを特徴とする請求項1から7のいずれかに記載の方法。
  9. 前記推定モデルは、機械学習により生成されたうつ状態の有無を推定するモデルであることを特徴とする請求項1から8のいずれかに記載の方法。
  10. 前記推定モデルは、機械学習により生成されたうつ状態の重症度を推定するモデルであることを特徴とする請求項1から8のいずれかに記載の方法。
  11. 前記重症度は、HAMDのスコアであることを特徴とする請求項10に記載の方法。
  12. 前記推定モデルは、機械学習により生成されたうつ状態の有無を推定する第1のモデル及び機械学習により生成されたうつ状態の重症度を推定する第2のモデルを含み、
    前記第2のモデルは生成に用いる生体データは、前記第1のモデルの生成に用いる生体データよりも長期間計測されたものであることを特徴とする請求項1から8のいずれかに記載の方法。
  13. コンピュータに、被験者が身に付けたウェアラブルデバイスにより計測された生体データに基づいて被験者のうつ状態を推定する方法を実行させるためのプログラムであって、前記方法は、
    複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、
    前記単位時間データから1又は複数の特徴量を抽出するステップと、
    前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定するステップと
    を含み、
    前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とする方法。
  14. 被験者が身に付けたウェアラブルデバイスにより計測された生体データに基づいて被験者のうつ状態を推定する装置であって、
    複数のデータタイプを含む生体データをデータタイプごとに、所定の時間単位の単位時間データに変換し、
    前記単位時間データから1又は複数の特徴量を抽出し、
    前記1又は複数の特徴量の少なくとも一部を入力として、あらかじめ定めた推定モデルを用いてうつ状態を推定し、
    前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とする装置。
  15. 複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルの生成方法であって、
    被験者ごとに、複数のデータタイプを含む各被験者が身に付けたウェアラブルデバイスにより計測された生体データをデータタイプごとに、所定の時間単位の時間単位データに変換するステップと、
    被験者ごとに、前記時間単位データから1又は複数の特徴量を抽出するステップと、
    各被験者の前記1又は複数の特徴量の少なくとも一部を入力ベクトルとし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成するステップと
    を含み、
    前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とする生成方法。
  16. 前記機械学習は、アンサンブル学習であることを特徴とする請求項15に記載の方法。
  17. 前記1又は複数の特徴量は、各データタイプの前記時間単位データの標準偏差をさらに含むことを特徴とする請求項15又は16に記載の方法。
  18. 前記1又は複数の特徴量の前記少なくとも一部は、正則化によって選択することを特徴とする請求項15から17のいずれかに記載の方法。
  19. コンピュータに、複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルの生成方法を実行させるためのプログラムであって、前記生成方法は、
    被験者ごとに、複数のデータタイプを含む各被験者が身に付けたウェアラブルデバイスにより計測された生体データをデータタイプごとに、所定の時間単位の単位時間データに変換するステップと、
    被験者ごとに、前記単位時間データから1又は複数の特徴量を抽出するステップと、
    各被験者の前記1又は複数の特徴量の少なくとも一部を入力とし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成するステップと
    を含み、
    前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とするプログラム。
  20. 複数の被験者の生体データに基づいてうつ状態を推定するための推定モデルを生成する装置であって、
    被験者ごとに、複数のデータタイプを含む各被験者が身に付けたウェアラブルデバイスにより計測された生体データをデータタイプごとに、所定の時間単位の単位時間データに変換し、
    被験者ごとに、前記単位時間データから1又は複数の特徴量を抽出し、
    各被験者の前記1又は複数の特徴量の少なくとも一部を入力とし、各被験者についての専門家による診断結果をラベルとする教師データを用いた機械学習により、前記推定モデルを生成し、 前記1又は複数の特徴量は、各データタイプの前記単位時間データの分位数及び複数のデータタイプの各組合せの相関係数を含むことを特徴とする装置。
JP2020559336A 2018-12-14 2019-12-13 うつ状態を推定する装置、方法及びそのためのプログラム Active JP7502192B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018234966 2018-12-14
JP2018234966 2018-12-14
PCT/JP2019/048904 WO2020122227A1 (ja) 2018-12-14 2019-12-13 うつ状態を推定する装置、方法及びそのためのプログラム

Publications (2)

Publication Number Publication Date
JPWO2020122227A1 true JPWO2020122227A1 (ja) 2021-12-16
JP7502192B2 JP7502192B2 (ja) 2024-06-18

Family

ID=71075648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559336A Active JP7502192B2 (ja) 2018-12-14 2019-12-13 うつ状態を推定する装置、方法及びそのためのプログラム

Country Status (5)

Country Link
US (1) US20220059226A1 (ja)
JP (1) JP7502192B2 (ja)
CN (1) CN113164163A (ja)
CA (1) CA3123192A1 (ja)
WO (1) WO2020122227A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608408B1 (ko) * 2021-06-04 2023-11-30 주식회사 커넥티드인 인공지능 모델을 이용한 우울증 발생 예측방법 및 이를 기록한 컴퓨터 판독 가능한 기록매체
KR20230035182A (ko) * 2021-09-03 2023-03-13 삼성전자주식회사 정신 건강 관리를 위한 전자 장치 및 이의 제어 방법
WO2023224085A1 (ja) * 2022-05-19 2023-11-23 塩野義製薬株式会社 情報処理システムおよび情報処理方法
CN115496105B (zh) * 2022-09-28 2023-10-24 广东省新黄埔中医药联合创新研究院 睡眠预测模型训练方法、睡眠状况预测方法及相关装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010126625A1 (en) * 2009-04-30 2010-11-04 Medtronic, Inc. Patient state detection based on support vector machine based algorithm
KR20130051922A (ko) * 2010-03-04 2013-05-21 뉴미트라 엘엘씨 심리장애(psychological disorders) 치료를 위한 장치 및 방법
US20130225575A1 (en) * 2010-06-16 2013-08-29 Afraxis, Inc. Methods for treating neurological conditions
WO2012093143A1 (fr) * 2011-01-04 2012-07-12 Jabourian Artin Pascal Systeme automatise de mesure du degre de motivation chez un individu et procede associe
EP2914752B1 (en) * 2012-11-02 2022-03-09 The Johns Hopkins University Dna methylation biomarkers of post-partum depression risk
US20170215782A1 (en) * 2014-08-26 2017-08-03 Toyobo Co., Ltd. Method for determining a depression state and depression state determination device
JP6635507B2 (ja) * 2015-02-27 2020-01-29 公立大学法人首都大学東京 精神状態判定方法及び精神状態判定プログラム
JP2018524137A (ja) * 2015-06-15 2018-08-30 メディバイオ リミテッドMedibio Limited 心理状態を評価するための方法およびシステム
CN105147248B (zh) * 2015-07-30 2019-02-05 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法
CN106175800A (zh) * 2016-07-10 2016-12-07 北京工业大学 一种基于人体运动状态数据的心境状态量化评估方法
JP2018015327A (ja) * 2016-07-28 2018-02-01 株式会社リコー 診断装置、診断方法、プログラム
EP3503809A4 (en) * 2016-08-26 2020-01-01 Akili Interactive Labs, Inc. COGNITIVE PLATFORM COUPLED WITH A PHYSIOLOGICAL COMPONENT
JP6784368B2 (ja) * 2016-09-01 2020-11-11 東洋紡株式会社 うつ状態判別方法及びうつ状態判定装置
JP6722845B2 (ja) * 2017-10-03 2020-07-15 株式会社国際電気通信基礎技術研究所 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
KR101911516B1 (ko) * 2017-12-26 2018-10-24 (주)에프앤아이 사용자의 심리 상태 데이터를 획득하고 사용자의 심리 상태를 판단하고 피드백을 제공하는 방법 및 이를 이용한 서버
CN108888281A (zh) * 2018-08-16 2018-11-27 华南理工大学 精神状态评估方法、设备及系统

Also Published As

Publication number Publication date
CA3123192A1 (en) 2020-06-18
WO2020122227A1 (ja) 2020-06-18
CN113164163A (zh) 2021-07-23
US20220059226A1 (en) 2022-02-24
JP7502192B2 (ja) 2024-06-18

Similar Documents

Publication Publication Date Title
JPWO2020122227A1 (ja) うつ状態を推定する装置、方法及びそのためのプログラム
US20230255564A1 (en) Systems and methods for machine-learning-assisted cognitive evaluation and treatment
US20150148621A1 (en) Methods and systems for creating a preventative care plan in mental illness treatment
Jeon et al. High-accuracy automatic classification of Parkinsonian tremor severity using machine learning method
JP5135197B2 (ja) 生体指標管理装置
KR102208759B1 (ko) 생체 신호에 기반하여 건강상태 및 병리증상을 진단하기 위한 딥러닝 모델 생성방법
Nag et al. Cross-modal health state estimation
Kelly et al. Automatic prediction of health status using smartphone-derived behavior profiles
Tay et al. The effect of sample age and prediction resolution on myocardial infarction risk prediction
Ko et al. Predicting sarcopenia of female elderly from physical activity performance measurement using machine learning classifiers
Cosoli et al. Methods for the metrological characterization of wearable devices for the measurement of physiological signals: state of the art and future challenges
CN114469141A (zh) 用于从大脑活动中解码和弦信息的系统和方法
Fonseca et al. A computationally efficient algorithm for wearable sleep staging in clinical populations
JP5911840B2 (ja) 診断データ生成装置および診断装置
WO2023281424A1 (en) Integrative system and method for performing medical diagnosis using artificial intelligence
Kalina et al. System for selecting relevant information for decision support
JP2021189093A (ja) 自己免疫性水疱症の診断装置
Tsiouris et al. Mining motor symptoms UPDRS data of Parkinson's disease patients for the development of Hoehn and Yahr estimation decision support system
CN116019429A (zh) 基于生理指标的健康监测方法、装置、设备及存储介质
Adnan et al. Unmasking Parkinson's Disease with Smile: An AI-enabled Screening Framework
WO2021048514A1 (en) Predicting clinical outcomes in parkinson's disease
Wang et al. A convenient non-harm cervical spondylosis intelligent identity method based on machine learning
Gashi et al. Modeling multiple sclerosis using mobile and wearable sensor data
WO2022157872A1 (ja) 情報処理装置、特徴量選択方法、教師データ生成方法、推定モデル生成方法、ストレス度の推定方法、およびプログラム
Hong et al. Natural language processing to detect cognitive concerns in electronic health records using deep learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240606