JP7435821B2 - 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム - Google Patents

学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム Download PDF

Info

Publication number
JP7435821B2
JP7435821B2 JP2022561789A JP2022561789A JP7435821B2 JP 7435821 B2 JP7435821 B2 JP 7435821B2 JP 2022561789 A JP2022561789 A JP 2022561789A JP 2022561789 A JP2022561789 A JP 2022561789A JP 7435821 B2 JP7435821 B2 JP 7435821B2
Authority
JP
Japan
Prior art keywords
psychological state
data
sequence
mood
preprocessed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022561789A
Other languages
English (en)
Other versions
JPWO2022102060A1 (ja
Inventor
修平 山本
浩之 戸田
健 倉島
登夢 冨永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022102060A1 publication Critical patent/JPWO2022102060A1/ja
Application granted granted Critical
Publication of JP7435821B2 publication Critical patent/JP7435821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、心理状態を予測するための技術に係り、特に、ユーザの過去の行動データや心理状態の系列から、未来のユーザの心理状態（気分）の系列を精度良く自動予測することを実現するための技術に関するものである。
スマートウォッチやフィットネストラッカー、スマートフォンなどに代表されるウェアラブルセンサの普及に伴い、ユーザの生体情報や行動ログ（以下行動データ）を容易に記録できるようになった。これらの行動データとユーザの自己評価によって得られる心理状態（気分、感情、ストレス度など）を詳細に分析することは、様々な用途に役立つ。
例えば、スマートウォッチを通じて取得されたユーザの行動データの履歴を利用して、今日のストレス度を数値として推定したり、将来の気分を予測したりできれば、ユーザの心理状態の改善に有効な行動の推奨など様々な用途で役立てられる。
従来、このような行動データからユーザの心理状態を自動推定する技術として、得られているデータを離散化しヒストグラムに変換して、確率的生成モデルによって健康度合やストレス度を推定する技術が存在する（非特許文献１）。また、スマートフォンから取得される操作ログやスクリーンタイムの日々の系列データを用いて、翌日の心理状態を回帰する技術が存在する（非特許文献２）。
E. Nosakhare and R. Picard: Probabilistic Latent Variable Modeling for Assessing Behavioral Influences on Well-Being. In Proc. of KDD, 2019. S. Yan et al.: Estimating Individualized Daily Self-Reported Affect with Wearable Sensors. In Proc. of ICHI, 2019. D. Spathis, S. Servia-Rodriguez, K. Farrahi, C. Mascolo, and J. Rentflow: Sequence Multi-task Learning to Forecast Mental Wellbeing from Sparse Self-reported Data. In Proc. of KDD, 2019. J.P. Pollak, P. Adams, G. Gay: PAM: A Photographic Affect Meter for Frequent, In Situ Measurement of Affect. In Proc. of CHI, 2011.
しかし、上記従来の方法は、日単位でデータを分離し統計的に処理しているため、日時による時系列的なユーザの気分や感情の変動を考慮できていなかった。例えば、非特許文献２に開示された技術では一日の中で何度も投稿される気分データを数値化し平均値に変換してから、翌日の気分の平均値を予測する。一方で、人間の気分は１日の中でも上下するため、平均値を予測するだけでは気分の変動をユーザに提示することができない。
また、非特許文献３に開示された技術では、過去の行動データの系列から将来の気分データの系列を予測するが、予測した気分がどの程度持続するかは不明であるため、ユーザの気分が変動する時間間隔を捉えられず、将来の気分の変動によるメンタルヘルスへの影響を十分に推定できない問題がある。
本発明は上記の点に鑑みてなされたものであり、ユーザの過去の行動データや気分データから未来の気分データをその持続時間と共に予測することを可能とする技術を提供することを目的とする。
開示の技術によれば、心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理部と、
行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて、心理状態系列予測モデルを学習する学習部と
を備える学習装置が提供される。
開示の技術によれば、ユーザの過去の行動データや気分データから未来の気分データをその持続時間と共に予測することが可能となる。
本発明の実施の形態における心理状態系列予測装置の構成図である。 本発明の実施の形態における心理状態系列予測装置の構成図である。 心理状態系列予測装置の動作を説明するためのフローチャートである。 心理状態系列予測装置の動作を説明するためのフローチャートである。 行動系列データＤＢの記憶形式の例を示す図である。 特徴量抽出部の処理として得られる特徴ベクトルデータの例を示す図である。 気分系列データＤＢの記憶形式の例を示す図である。 前処理済み気分データの例を示す図である。 行動データ前処理部の動作を説明するためのフローチャートである。 特徴量抽出部の動作を説明するためのフローチャートである。 気分データ前処理部の動作を説明するためのフローチャートである。 クラスタリング部の動作を説明するためのフローチャートである。 行動系列予測モデル構築部によって構築されるＤＮＮの一例を示す図である。 気分系列予測モデル学習部の動作を説明するためのフローチャートである。 気分系列予測モデルＤＢの記憶形式の例を示す図である。 気分系列予測部の動作を説明するためのフローチャートである。 装置のハードウェア構成例を示す図である。
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
本実施の形態では、前述した従来技術の問題点に鑑みて、過去の行動データや気分データをもとにユーザの未来の気分系列を持続時間と共に予測できるようにした心理状態系列予測装置の構成と動作について説明する。
（装置構成例）
図１及び図２に、本実施の形態における心理状態系列予測装置１００の構成例を示す。図１は、学習フェーズにおける構成を示し、図２は予測フェーズにおける構成を示す。なお、心理状態系列予測装置１００は、学習フェーズにおける機能と予測フェーズにおける機能の両方を含んでもよいし、学習フェーズにおける機能と予測フェーズにおける機能のうちのいずれか１つの機能のみを含んでもよい。学習フェーズにおける機能のみを含む心理状態系列予測装置１００を学習装置と呼んでもよい。学習フェーズにおける機能と予測フェーズにおける機能の両方を含む心理状態系列予測装置１００を学習装置と呼んでもよい。
＜学習フェーズにおける装置構成＞
図１に示すように、学習フェーズにおける心理状態系列予測装置１００は、行動系列データＤＢ１１０と、気分系列データＤＢ１２０と、行動データ前処理部１３０と、特徴量抽出部１４０と、気分データ前処理部１５０と、クラスタリング部１６０と、気分系列予測モデル構築部１７０と、気分系列予測モデル学習部１８０と、気分系列予測モデルＤＢ１９０とを有する。なお、気分系列予測モデル学習部１８０を「学習部」と呼んでもよい。
学習フェーズの心理状態系列予測装置１００において、行動系列データＤＢ１３０の情報と気分系列データＤＢ１２０の情報を利用して、気分系列予測モデルを構成する固有のパラメータを気分系列予測モデルＤＢ１９０に出力する。
ここで行動系列データＤＢ１１０と、気分系列データＤＢ１２０は、データが記録された日時情報で対応付けが取れるように予め構築されているとする。また、気分系列データＤＢ１２０には、ユーザが自己報告したその時点での気分を表す２種類の数値、感情価（Ｖａｌｅｎｃｅ）と覚醒価（Ａｒｏｕｓａｌ）が格納されているとする。ここで感情価とは、そのときの感情のポジティブさとネガティブさの度合い、覚醒価とは感情の興奮度合いを表す。
このように構成される気分データは、例えばPhotographic Affect Meter（PAM）（非特許文献４）などの公知の技術を用いてユーザに回答してもらえばよい。気分系列データＤＢ１２０の構築処理については、例えば対象ユーザによって気分の自己評価結果が入力され、その入力結果をＤＢに格納するようにすればよい。
なお、気分を表す数値として感情価（Ｖａｌｅｎｃｅ）と覚醒価（Ａｒｏｕｓａｌ）を用いることが一例である。これら以外の数値を、気分を表す数値として用いてもよい。また、「気分」は「心理状態」の例である。
＜予測フェーズの装置構成＞
図２に示すように、予測フェーズにおける心理状態系列予測装置１００は、行動データ前処理部１３０と、特徴量抽出部１４０と、気分データ前処理部１５０と、気分系列予測モデルＤＢ１９０と、気分系列予測部２００とを有する。気分系列予測部２００を「予測部」と呼んでもよい。
予測フェーズの心理状態系列予測装置１００において、入力の過去の行動系列データと過去の気分系列データに対する予測結果として未来の気分系列を出力する。
（装置の動作例）
以下、前述した構成を備える心理状態系列予測装置１００の動作について詳細に説明する。以下、学習フェーズにおける動作と予測フェーズにおける動作のそれぞれについて説明する。
＜学習フェーズ＞
図３は、学習フェーズにおける心理状態系列予測装置１００の動作を示すフローチャートである。以下、図３のフローチャートに沿って学習フェーズにおける心理状態系列予測装置１００の動作を説明する。
ステップ１００）行動データ前処理部１３０が、行動系列データＤＢ１１０からデータを受け取り処理する。処理の詳細は後述する。図５に行動系列データＤＢ１１０のデータの記憶形式の例を示す。図５に示すとおり、行動データは、時刻情報と共に、それぞれの行動（歩行、運動、会話など）を表す列に数値や時間、文字列などの形式で記録されている。
ステップ１１０）特徴量抽出部１４０が行動データ前処理部１３０から前処理済みのデータを受け取り処理する。処理の詳細は後述する。図６に特徴量抽出部１４０の出力として得られる特徴ベクトルデータの例を示す。
ステップ１２０）気分データ前処理部１５０が、気分系列データＤＢ１２０からデータを受け取り処理する。処理の詳細は後述する。図７に気分系列データＤＢ１２０のデータの記憶形式の例を示す。気分データは、ユーザが自己報告した際の日時情報と共に、ＶａｌｅｎｃｅとＡｒｏｕｓａｌのスコアとして記録されている。図８に気分データ前処理部１５０の出力として得られる前処理済み気分データの例を示す。
ステップ１３０）クラスタリング部１６０が、気分データ前処理部１５０からデータを受け取り処理する。処理の詳細は後述する。
ステップ１４０）気分系列予測モデル構築部１７０がモデルを構築する。処理の詳細は後述する。
ステップ１５０）気分系列予測モデル学習部１８０が、特徴量抽出部１４０から特徴ベクトルデータを受け取り、気分データ前処理部１５０から前処理済み気分データを受け取り、クラスタリング部１６０からパラメータを受け取り、気分系列予測モデル構築部１７０からモデルを受け取り、モデルを学習し、学習済みモデルを気分系列予測モデルＤＢ１９０に出力する。
＜予測フェーズ＞
図４は、予測フェーズにおける心理状態系列予測装置１００の動作を示すフローチャートである。以下、図４のフローチャートに沿って予測フェーズにおける心理状態系列予測装置１００の動作を説明する。
ステップ２００）行動データ前処理部１３０が入力として過去の行動系列データを受け取り処理する。
ステップ２１０）特徴量抽出部１４０が行動データ前処理部１３０から前処理済み行動データを受け取り処理する。
ステップ２２０）気分データ前処理部１５０が入力として過去の気分系列データを受け取り処理する。
ステップ２３０）気分系列予測部２００が特徴量抽出部１４０から特徴ベクトルデータを受け取り、気分データ前処理部１５０から前処理済み気分データを受け取り、気分系列予測モデルＤＢ１９０から学習済みモデルを受け取り、未来の気分系列予測結果を計算し、未来の気分系列予測結果を出力する。気分系列予測部２００は、未来の気分系列予測結果とともに、上記の受け取ったデータを出力してもよい。
（各部の動作詳細）
以下、心理状態系列予測装置１００における各部の動作を詳細に説明する。
＜行動データ前処理部１３０＞
図９は、本実施の形態における行動データ前処理部１３０の動作を示すフローチャートである。以下、図９のフローチャートに沿って行動データ前処理部１３０の動作を説明する。
ステップ３００）学習フェーズの場合には、行動データ前処理部１３０は、行動系列データＤＢ１１０から行動系列データを受け取る。予測フェーズの場合には、行動データ前処理部１３０は、入力として、行動系列データを受け取る。
ステップ３１０）行動データ前処理部１３０は、システム管理者が事前に指定した種別の行動データ（列）を抽出する。例えば、抽出対象となる行動データの列名を定義しておき、その列名と一致する列のデータを抽出する。
ステップ３２０）行動データ前処理部１３０は、抽出した各行動データの列について走査し、欠損値や想定していない値が含まれている場合、別の値に置き換える。例えば、数値データの場合は対応する列の平均値や０を挿入し、文字列型データの場合は欠損値であることを表現する文字列を挿入する。
ステップ３３０）行動データ前処理部１３０は、変換された前処理済み行動データ、及び対応する日時の情報を、特徴量抽出部１４０に受け渡す。
＜特徴量抽出部１４０＞
図１０は、本実施の形態における特徴量抽出部１４０の動作を示すフローチャートである。以下、図１０のフローチャートに沿って特徴量抽出部１４０の動作を説明する。
ステップ４００）特徴量抽出部１４０は、行動データ前処理部１３０から前処理済み行動データを受け取る。
ステップ４１０）特徴量抽出部１４０は、各行動データの列について走査し、値の正規化を行う。例えば、数値データの場合は平均０、標準偏差が１となるようにデータを正規化し、文字列型データの場合は同じ値がデータ全体で出現した回数をカウントし代入する。
ステップ４２０）特徴量抽出部１４０は、各行動データの列について走査し、文字列型のデータと時刻型のデータを数値データに変換する。例えば、文字列型のデータは対応する次元に関するｏｎｅ－ｈｏｔ表現のベクトルに変換する。
ステップ４３０）学習フェーズの場合において、特徴量抽出部１４０は、得られた特徴ベクトルデータと対応する日時の情報を気分系列予測モデル学習部１８０に受け渡す。予測フェーズの場合において、特徴量抽出部１４０は、得られた特徴ベクトルデータと対応する日時の情報を気分系列予測部２００に受け渡す。
＜気分データ前処理部１５０＞
図１１は、本実施の形態における気分データ前処理部１５０の動作を示すフローチャートである。以下、図１１のフローチャートに沿って気分データ前処理部１５０の動作を説明する。
ステップ５００）気分データ前処理部１５０は、学習フェーズの場合には、気分系列データＤＢ１２０から気分系列データを受け取る。気分データ前処理部１５０は、予測フェーズの場合には、入力として、気分系列データを受け取る。
ステップ５１０）気分データ前処理部１５０は、気分データの日時を走査し、次の行の回答日時との差を計算し、その値を持続時間の列に格納する。例えば、図８に示す例において、データＩＤ：１とデータＩＤ：２の回答日時の差は３時間であるため、「３．０Ｈ」をデータＩＤ：１の持続時間の列に格納する。
ステップ５２０）学習フェーズの場合、気分データ前処理部１５０は、得られた前処理済み気分データを、気分予測モデル学習部１８０とクラスタリング部１６０に受け渡す。予測フェーズの場合、気分データ前処理部１５０は、得られた前処理済み気分データを、気分系列予測部２００にのみ受け渡す。
＜クラスタリング部１６０＞
図１２は、本実施の形態におけるクラスタリング部１６０の動作を示すフローチャートである。以下、図１２のフローチャートに沿ってクラスタリング部１６０の動作を説明する。
ステップ６００）クラスタリング部１６０は、気分データ前処理部１５０から前処理済み気分データを受け取る。
ステップ６１０）クラスタリング部１６０は、Ｖａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間の３つの列に格納された値を用いて、混合ガウスモデル（ＧＭＭ）によるソフトクラスタリングを行う。混合ガウスモデルはＥＭアルゴリズムなどの公知の技術を用いて学習を行えばよい。また、混合ガウスモデルのハイパーパラメータであるコンポーネント数Ｋは、システム管理者が事前に設定する。
ステップ６２０）クラスタリング部１６０は、混合ガウスモデルを行い得られたパラメータ集合を気分系列予測モデル学習部１８０に受け渡す。パラメータ集合は以下から構成される。
各コンポーネントｋのＶａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間の平均値：μｖ，ｋ，μａ，ｋ，μｄ，ｋ
各コンポーネントｋのＶａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間の分散：σｖ，ｋ，σａ，ｋ，σｄ，ｋ
各コンポーネントｋのＶａｌｅｎｃｅ：Ａｒｏｕｓａｌ、Ｖａｌｅｎｃｅ：持続時間、Ａｒｏｕｓａｌ：持続時間の相関 ：ρｖａ，ｋ，ρｖｄ，ｋ，ρａｄ，ｋ
＜気分系列予測モデル構築部１７０＞
図１３は、本実施の形態における、気分系列予測モデル構築部１７０によって構築されるＤＮＮの構造の一例である。入力として、対応する時刻の特徴ベクトルデータ（入力１）と前処理済み気分系列データ（入力２）と、クラスタリング部１６０で得られたパラメータ集合とを受け取り、出力として将来のユーザの気分系列を獲得する。図１３に示すように、本ＤＮＮのネットワークは以下のユニットから構成される。
１つ目は特徴ベクトルデータからより抽象的な特徴を抽出する全結合層１である。ここでは、入力を全結合層で変換した後、例えばシグモイド関数やＲｅＬｕ関数などを利用して、入力の特徴量を非線形変換し、特徴ベクトルを得る。この処理を時系列データとして与えられている特徴ベクトルデータに対して順次繰り返し処理する。
２つ目は抽象化された特徴ベクトルを更に系列データとして抽象化するＲＮＮ１であり、例えばＬｏｎｇ－ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ）などの既知の技術で実装される。具体的には、系列データを順次受け取り、過去の抽象化された情報を考慮しながら、繰り返し非線形変換する。
３つ目は前処理済み気分データからより抽象的な特徴を抽出する全結合層２である。ここでは、全結合層１と同様の処理をし、特徴ベクトルを得る。この処理を時系列データとして与えられている前処理済み気分データに対して順次繰り返し処理する。
４つ目は、抽象化された特徴ベクトルを更に系列データとして抽象化するＲＮＮ２であり、ＲＮＮ１と同様に既知の技術で処理し、特徴ベクトルを得る。
５つ目は、時系列データの最終時刻までＲＮＮ１とＲＮＮ２で処理して得られた２種類の特徴ベクトルを１つの特徴ベクトルに結合し、新たな特徴ベクトルを抽出する全結合層３である。ここでは、全結合層１と同様の処理をし、特徴ベクトルを得る。
６つ目は、気分系列予測結果を順次得るために複合化するＲＮＮ３である。ここでは入力として、全結合層３で得られた特徴ベクトルと、現在予測対象の時刻の１つ前の時刻の気分データについて、全結合層２を介して得られた特徴ベクトルを受け取り処理し、新たな特徴ベクトルを抽出する。
７つ目は、ＲＮＮ３で得られた特徴ベクトルから、クラスタリング部１６０で得られている各コンポーネント（平均、分散、相関の集合）への所属確率πｋを計算するための全結合層４である。ここでは、特徴ベクトルを全結合層でコンポーネント数の次元数に変換した後、Ｓｏｆｔｍａｘ関数などを利用して全次元の値の合計値が１．０になるように処理をする。
８つ目は、全結合層４で得られた所属確率πｋと、各コンポーネントのパラメータ集合を用いて、３次元正規分布から気分データを出力する出力層である。この出力層は予測フェーズのみ有効化される。出力層による出力方法に関して、例えばＫ次元の多項分布から所属確率πｋ（１≦ｋ≦Ｋ）の値に基づいてインデックスをランダムに選択した後、そのインデックスに紐づく平均値（μｖ，ｋ，μａ，ｋ，μｄ，ｋ）、分散（σｖ，ｋ，σａ，ｋ，σｄ，ｋ）、相関（ρｖａ，ｋ，ρｖｄ，ｋ，ρａｄ，ｋ）を得ることで、それらの値に基づいて３次元（Ｖａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間）の正規分布からＶａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間をサンプリングする。
＜気分系列予測モデル学習部１９０＞
図１４は、本実施の形態における気分系列予測モデル学習部１９０の動作を示すフローチャートである。以下、図１４のフローチャートに沿って気分系列予測モデル学習部１９０の動作を説明する。
ステップ７００）気分系列予測モデル学習部１９０は、受け取った特徴ベクトルデータ、前処理済み気分データの日時情報を基に、それぞれのデータを昇順に並べ替える。
ステップ７１０）気分系列予測モデル学習部１９０は、学習用データとして、入力系列データと正解系列データのペアを構築する。
例えば、入力系列データのウィンドウサイズをＴとしたとき、Ｔ件の前処理済み気分データを順に抽出する。各入力系列データの日時情報から最小時刻と最大時刻を参照し、その時刻内に該当する特徴ベクトルデータを抽出する。前処理済み気分データと特徴ベクトルデータとが入力系列データになる。正解系列データのウィンドウサイズをＮとしたとき、気分系列データのインデックス番号ＴからＴ＋Ｎ件の前処理済み気分データを抽出する。このようにして入力系列データと正解系列データのペアが作成される。
この処理を、前処理済み気分データの先頭からウィンドウをＷずつずらしながら行い、入力系列データと正解系列データのペア集合を構築し、これを学習データとする。
ステップ７２０）気分系列予測モデル学習部１９０は、気分系列予測モデル構築部１７０から図１３に示すようなモデルを受け取る。
ステップ７３０）気分系列予測モデル学習部１９０は、ネットワークにおける各ユニットのモデルパラメータを初期化する。例えば、０から１の乱数で初期化する。
ステップ７４０）気分系列予測モデル学習部１９０は、学習用データを用いて、ネットワークのパラメータを更新する。具体的には、入力系列データから正解系列データを正しく予測できるようにネットワークのパラメータを学習する。ここでは、ネットワークの全結合層４で得られる所属確率πｋと、クラスタリング部１６０で得られるパラメータ集合を用いて、出力系列データに対する対数尤度を計算し、ネットワークを対数尤度によって誤差逆伝播法などの公知の技術で学習すればよい。尤度計算の式は以下で得られる。
Figure 0007435821000001
 上記の式において、Ｎは出力系列データのサイズ、Ｋはクラスタリング部１６０のコンポーネント数、ｖｎ，ａｎ，ｄｎは正解系列データの各タイムステップのＶａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間である。また、μｋ，Σｋは以下から構成される各コンポーネントｋの平均ベクトルと共分散行列である。
Figure 0007435821000002
 ステップ７５０）気分系列予測モデル学習部１９０は、気分系列予測モデル（ネットワーク構造およびモデルパラメータ）を出力し、出力された結果を気分系列予測モデルＤＢ１９０に格納する。図１５にモデルパラメータの例を示す。各ユニットにおいて、行列やベクトルとしてパラメータが格納されている。また、全結合層４は、クラスタリング部１６０のコンポーネント数と同じ次元数が出力されるように設定されている。出力層は、クラスタリング部１６０で得られたパラメータ集合の値が保持され、Ｖａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間が対応づくように設定されている。
＜気分系列予測部２００＞
図１６は、本実施の形態における気分系列予測部２００の動作を示すフローチャートである。以下、図１６のフローチャートに沿って気分系列予測部２００の動作を説明する。
ステップ８００）気分系列予測部２００は、特徴量抽出部１４０から特徴ベクトルデータを受け取り、気分データ前処理部１５０から前処理済み気分データを受け取る。
ステップ８１０）気分系列予測部２００は、気分系列予測モデルＤＢ１９０から学習済みの気分系列予測モデルを受け取る。
ステップ８２０）気分系列予測部２００は、気分系列予測モデルを用いて、特徴ベクトルデータ、前処理済み気分系列データから未来の各ステップにおける所属確率πｋを計算する。
ステップ８３０）気分系列予測部２００は、所属確率πｋに基づいてＶａｌｅｎｃｅ、Ａｒｏｕｓａｌ、持続時間をサンプリングし、気分系列データを出力する。
（ハードウェア構成例）
学習フェーズの機能と予測フェーズの機能を両方含む心理状態系列予測装置１００、学習フェーズの機能のみを含む心理状態系列予測装置１００、予測フェーズの機能のみを含む心理状態系列予測装置１００は、いずれの場合でも、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
すなわち、心理状態系列予測装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、心理状態系列予測装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
図１７は、上記コンピュータのハードウェア構成例を示す図である。図１７のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、これらのうち、一部の装置を備えないこととしてもよい。例えば、表示を行わない場合、表示装置１００６を備えなくてもよい。
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、心理状態系列予測装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
（実施の形態のまとめ）
以上説明した本実施の形態における心理状態系列予測装置１００では、学習フェーズにおいて、行動データ前処理部１３０が行動系列データＤＢのデータを処理し、特徴量抽出部１４０が前処理済みの行動データを処理する。また、気分データ前処理部１５０が気分系列データＤＢ１２０のデータを処理し、クラスタリング部１６０が前処理済み気分データを処理する。
また、学習フェーズにおいて、気分系列予測モデル構築部１７０が、行動系列データを基にした特徴ベクトルデータと気分系列データを扱えるモデルを構築する。気分系列予測モデル学習部１８０が行動系列データと気分系列データから気分系列予測モデルを学習・最適化し、モデルを気分系列予測モデルＤＢ１９０に出力する。
予測フェーズにおいて、行動データ前処理部１３０が入力の行動データを処理し、特徴量抽出部１４０が前処理済みの行動データを処理する。気分データ前処理部１５０が入力の気分データを処理する。気分系列予測部２００が学習済みモデルを用いて、特徴ベクトルデータと気分データから未来の気分系列をそれぞれの気分の持続時間とともに計算し出力する。
より具体的な処理として、行動データ前処理部１３０と特徴量抽出部１４０が、ＤＮＮが扱いやすいように、行動データの正規化、文字列型データの変換などを実行する。また、クラスタリング部１６０が前処理済み気分データからユーザの気分の傾向を、平均と分散、相関からなる複数のコンポーネントとして学習し、得られたパラメータ集合を気分系列予測モデル学習部１８０に受け渡す。
気分系列予測モデル学習部１８０は、クラスタリング部１６０で得られたパラメータ集合を利用してネットワークを学習する。気分系列予測モデルの中の出力層が、クラスタリング部１６０で得られたパラメータ集合を利用して、ＶａｌｅｎｃｅとＡｒｏｕｓａｌ、持続時間の相関関係を捉えた出力をする。
（実施の形態の効果）
上記のような機能を有する心理状態系列予測装置１００によれば、気分系列データを前処理し気分の持続時間を計算し、行動系列データから得られた特徴ベクトルと合わせて気分系列予測モデルを学習することで、従来予測できなかったユーザの将来の気分系列をその持続時間とともに予測可能になる。このように気分の持続時間も合わせて予測結果を提示することで、将来のメンタルヘルスへの影響を分析する際に役立てることができる。
また、気分を構成するＶａｌｅｎｃｅとＡｒｏｕｓａｌ、その持続時間の平均、分散、相関関係をユーザごとに捉えることで、高精度に未来の気分系列を予測可能となる。
また、ＶａｌｅｎｃｅとＡｒｏｕｓａｌ、その持続時間の平均、分散、相関関係をニューラルネット上で学習させるのでなく、予めクラスタリング部で計算しておくことによって、少量の訓練データでも高精度に未来の気分系列を予測可能となる。
（付記）
本明細書には、少なくとも下記各項の学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラムが開示されている。
（第１項）
心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理部と、
行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて、心理状態系列予測モデルを学習する学習部と
を備える学習装置。
（第２項）
前記心理状態データ前処理部により得られた前処理済み心理状態系列データに対してソフトクラスタリングを実行し、各コンポーネントの心理状態及び持続時間に関するパラメータ集合を出力するクラスタリング部を更に備え、
前記学習部は、前記入力系列データから前記心理状態系列予測モデルにより得られる各コンポーネントへの所属確率と、前記パラメータ集合とから前記心理状態系列予測モデルを学習する
第１項に記載の学習装置。
（第３項）
心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理部と、
行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて学習された心理状態系列予測モデルに、過去の行動系列データと前記心理状態データ前処理部により得られた過去の前処理済み心理状態系列データとを入力することにより、未来の心理状態及びその持続時間を予測する予測部と、
を備える心理状態系列予測装置。
（第４項）
前記予測部は、学習時に前処理済み心理状態系列データに対してソフトクラスタリングを実行することにより得られた各コンポーネントの心理状態及び持続時間に関するパラメータ集合と、前記心理状態系列予測モデルにより得られたコンポーネントへの所属確率とに基づいて、未来の心理状態及びその持続時間を予測する
第３項に記載の心理状態系列予測装置。
（第５項）
心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理ステップと、
行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて、心理状態系列予測モデルを学習する学習ステップと
を備える学習方法。
（第６項）
心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理ステップと、
行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて学習された心理状態系列予測モデルに、過去の行動系列データと前記心理状態データ前処理ステップにより得られた過去の前処理済み心理状態系列データとを入力することにより、未来の心理状態及びその持続時間を予測する予測ステップと
を備える心理状態系列予測方法。
（第７項）
コンピュータを、第１項又は第２項に記載の学習装置における各部として記載させるプログラム、又は、コンピュータを、第３項又は第４項に記載の心理状態系列予測装置における各部として記載させるプログラム。
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００ 心理状態系列予測装置
１１０ 行動系列データＤＢ
１２０ 気分系列データＤＢ
１３０ 行動データ前処理部
１４０ 特徴量抽出部
１５０ 気分データ前処理部
１６０ クラスタリング部
１７０ 気分系列予測モデル構築部
１８０ 気分系列予測モデル学習部
１９０ 気分系列予測モデルＤＢ
２００ 気分系列予測部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (7)

  1. 心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理部と、
    行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて、心理状態系列予測モデルを学習する学習部と
    を備える学習装置。
  2. 前記心理状態データ前処理部により得られた前処理済み心理状態系列データに対してソフトクラスタリングを実行し、各コンポーネントの心理状態及び持続時間に関するパラメータ集合を出力するクラスタリング部を更に備え、
    前記学習部は、前記入力系列データから前記心理状態系列予測モデルにより得られる各コンポーネントへの所属確率と、前記パラメータ集合とから前記心理状態系列予測モデルを学習する
    請求項１に記載の学習装置。
  3. 心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理部と、
    行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて学習された心理状態系列予測モデルに、過去の行動系列データと前記心理状態データ前処理部により得られた過去の前処理済み心理状態系列データとを入力することにより、未来の心理状態及びその持続時間を予測する予測部と、
    を備える心理状態系列予測装置。
  4. 前記予測部は、学習時に前処理済み心理状態系列データに対してソフトクラスタリングを実行することにより得られた各コンポーネントの心理状態及び持続時間に関するパラメータ集合と、前記心理状態系列予測モデルにより得られたコンポーネントへの所属確率とに基づいて、未来の心理状態及びその持続時間を予測する
    請求項３に記載の心理状態系列予測装置。
  5. 心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理ステップと、
    行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて、心理状態系列予測モデルを学習する学習ステップと
    を備える学習方法。
  6. 心理状態系列データから、心理状態の持続時間を算出し、前記心理状態と前記持続時間とを有する前処理済み心理状態系列データを生成する心理状態データ前処理ステップと、
    行動系列データ及び前処理済み心理状態系列データを有する入力系列データと、前記入力系列データの後の時刻の前処理済み心理状態系列データである正解系列データとを用いて学習された心理状態系列予測モデルに、過去の行動系列データと前記心理状態データ前処理ステップにより得られた過去の前処理済み心理状態系列データとを入力することにより、未来の心理状態及びその持続時間を予測する予測ステップと
    を備える心理状態系列予測方法。
  7. コンピュータを、請求項１又は２に記載の学習装置における各部として記載させるプログラム、又は、コンピュータを、請求項３又は４に記載の心理状態系列予測装置における各部として記載させるプログラム。
JP2022561789A 2020-11-12 2020-11-12 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム Active JP7435821B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/042295 WO2022102060A1 (ja) 2020-11-12 2020-11-12 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022102060A1 JPWO2022102060A1 (ja) 2022-05-19
JP7435821B2 true JP7435821B2 (ja) 2024-02-21

Family

ID=81601832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022561789A Active JP7435821B2 (ja) 2020-11-12 2020-11-12 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230368920A1 (ja)
JP (1) JP7435821B2 (ja)
WO (1) WO2022102060A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125260A1 (ja) 2015-02-04 2016-08-11 株式会社日立製作所 心理状態計測システム
WO2019021653A1 (ja) 2017-07-28 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125260A1 (ja) 2015-02-04 2016-08-11 株式会社日立製作所 心理状態計測システム
WO2019021653A1 (ja) 2017-07-28 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUHARA, Yoshihiko et al.，"DeepMood: Forecasting Depressed Mood Based on Self-Reported Histories via Recurrent Neural Networks"，Proceedings of the 26th International conference on World Wide Web [online]，ACM DIGITAL LIBRARY，2017年，p. 715-724，［2023年12月26日検索］，インターネット＜ＵＲＬ：https://dl.acm.org/doi/10.1145/3038912.3052676＞

Also Published As

Publication number Publication date
JPWO2022102060A1 (ja) 2022-05-19
WO2022102060A1 (ja) 2022-05-19
US20230368920A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
CN110503531B (zh) 时序感知的动态社交场景推荐方法
Wang et al. Deep model for dropout prediction in MOOCs
CN110334843B (zh) 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
Pham et al. Classification of short time series in early Parkinsonʼ s disease with deep learning of fuzzy recurrence plots
TW201946013A (zh) 基於ｌｓｔｍ模型的信用風險預測方法及裝置
US11562262B2 (en) Model variable candidate generation device and method
CN112418059B (zh) 一种情绪识别的方法、装置、计算机设备及存储介质
CN112289442A (zh) 预测疾病终点事件的方法、装置及电子设备
US20210375441A1 (en) Using clinical notes for icu management
KR20190109710A (ko) 얼굴 이미지들로부터의 질적인 특성의 평가를 위한 컴퓨터-구현된 도구를 구축하기 위한 방법
Nuha Training dataset reduction on generative adversarial network
Buskirk et al. Why machines matter for survey and social science researchers: Exploring applications of machine learning methods for design, data collection, and analysis
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
JP7435821B2 (ja) 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム
CN116680401A (zh) 文档处理方法、文档处理装置、设备及存储介质
US20230190159A1 (en) Mood forecasting method, mood forecasting apparatus and program
CN113283589B (zh) 事件预测系统的更新方法及装置
Nakip et al. Comparative study of forecasting models for COVID-19 outbreak in Turkey
JP2022032115A (ja) プロジェクト予兆検知装置及びプロジェクト予兆検知方法
Farag et al. Inductive Conformal Prediction for Harvest-Readiness Classification of Cauliflower Plants: A Comparative Study of Uncertainty Quantification Methods
WO2022249483A1 (ja) 予測装置、学習装置、予測方法、学習方法およびプログラム
JP7424389B2 (ja) 学習装置、推定装置、学習方法、推定方法、及びプログラム
Deepthi et al. Predicting the Adherence to Physical Activity Using Ensemble Machine Learning
US20240119366A1 (en) Online training of machine learning models using bayesian inference over noise

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7435821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150