JP7359437B2 - 情報処理装置、プログラム、及び、方法 - Google Patents

情報処理装置、プログラム、及び、方法 Download PDF

Info

Publication number
JP7359437B2
JP7359437B2 JP2019224004A JP2019224004A JP7359437B2 JP 7359437 B2 JP7359437 B2 JP 7359437B2 JP 2019224004 A JP2019224004 A JP 2019224004A JP 2019224004 A JP2019224004 A JP 2019224004A JP 7359437 B2 JP7359437 B2 JP 7359437B2
Authority
JP
Japan
Prior art keywords
person
mental state
information
processor
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019224004A
Other languages
English (en)
Other versions
JP2021090668A (ja
Inventor
賢吾 得地
雅弘 佐藤
Original Assignee
株式会社Agama-X
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Agama-X filed Critical 株式会社Agama-X
Priority to JP2019224004A priority Critical patent/JP7359437B2/ja
Priority to US16/864,572 priority patent/US20210177325A1/en
Priority to CN202010503834.XA priority patent/CN112951377A/zh
Publication of JP2021090668A publication Critical patent/JP2021090668A/ja
Application granted granted Critical
Publication of JP7359437B2 publication Critical patent/JP7359437B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置プログラム、及び、方法に関する。
特許文献1には、自己のメンタル状態を自力でコントロールすることができるように訓練することができるメンタルトレーニングシステムが記載されている。
特許文献2には、対象者の脳波以外の生体情報を受け取り、当該生体情報と脳波との相関関係に基づき当該生体情報から当該対象者の脳波を推定し、推定した脳波を、感情に対応付けられて格納されている脳波の特徴パターンと比較し、当該対象者の感情を推定する感情推定装置が記載されている。
特許文献3には、ユーザとの対話が所定時間以上途切れている場合に、会話途絶状態と判定し、当該会話途絶状態となった原因を特定し、当該ユーザの感情を判定し、特定された原因と判定された感情との組み合わせに基づいて、当該ユーザへの通知内容を決定し、当該通知内容を当該ユーザに通知する対話システムが記載されている。
特開2009-082299号公報 特開2015-109964号公報 特開2019-095546号公報
ところで、人は会話の内容によって精神的なダメージを受けることがある。
本発明の目的は、精神的なダメージを受けていると推測される人の精神的なダメージを緩和する仕組みを提供することにある。
請求項1に係る発明は、プロセッサを有し、前記プロセッサは、会話中の複数の人のそれぞれの生体情報を取得し、前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御し、前記特定の人から、予め定められた時間内に、ネガティブな精神状態を示す生体情報とポジティブな精神状態を示す生体情報とが交互に測定される場合、前記処理の実行を制御する、情報処理装置である。
請求項2に係る発明は、プロセッサを有し、前記プロセッサは、会話中の複数の人のそれぞれの生体情報を取得し、前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御し、前記処理は、前記特定の人を責めている人の位置まで移動し、当該人の発言を制止するようにロボットの動きを制御する処理である、情報処理装置である。
請求項3に係る発明は、コンピュータに、会話中の複数の人のそれぞれの生体情報を取得させ、前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御させ、前記特定の人から、予め定められた時間内に、ネガティブな精神状態を示す生体情報とポジティブな精神状態を示す生体情報とが交互に測定される場合、前記処理の実行を制御させる、プログラムである。
請求項4に係る発明は、コンピュータに、会話中の複数の人のそれぞれの生体情報を取得させ、前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御させ、前記処理は、前記特定の人を責めている人の位置まで移動し、当該人の発言を制止するようにロボットの動きを制御させる処理である、プログラムである。
請求項1~4に係る発明によれば、精神的なダメージを受けていると推測される人の精神的なダメージを緩和することができる。請求項1、3に係る発明によれば、ネガティブな精神状態とポジティブな精神状態とを交互に有する人の精神的なダメージを緩和することができる。
請求項2、4に係る発明によれば、ロボットにより特定の人を責めている人の発言を制止することができる。
本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る情報処理装置の構成を示すブロック図である。 本実施形態に係る情報処理装置による処理の流れを示すフローチャートを示す図である。 状態管理テーブルを示す図である。 解決手段管理テーブルを示す図である。 精神状態の時間変化を示すグラフを示す図である。 精神状態の時間変化を示すグラフを示す図である。 人やロボット等を模式的に示す図である。
図1を参照して、本実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムの構成の一例が示されている。
本実施形態に係る情報処理システムは、情報処理装置10と1又は複数の生体情報測定装置12とを含む。図1に示されている各装置の数は一例に過ぎない。情報処理システムは、図1に示されている装置以外の他の装置(例えば、端末装置やサーバやその他の機器等)を含んでもよい。
情報処理システムに含まれている各装置は、他の装置と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置は、他の装置とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やWi-Fi(登録商標)等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Bluetooth(登録商標)やRFID(Radio Frequency Identifier)やNFC等である。各装置は、LAN(Local Area Network)やインターネット等の通信経路を介して他の装置と通信してもよい。
情報処理装置10は、例えば、パーソナルコンピュータ(以下、「PC」と称する)、タブレットPC、スマートフォン、携帯電話、又は、その他の装置(例えば、サーバやロボットやその他の機器等)である。情報処理装置10は、人が携帯することが可能な端末装置(例えば、タブレットPCやスマートフォンや携帯電話等)であってもよいし、テーブル等に設置されて使用される装置であってもよいし、移動可能な装置(例えば自走式の装置)であってもよいし、作業を行う装置であってもよいし、人と対話することが可能な装置であってもよい。例えば、情報処理装置10は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよいし、人と対話し、作業を行うロボットであってもよい。情報処理装置10は、人工知能(AI)を搭載した装置であってもよい。
生体情報測定装置12は、人の生体情報を測定するように構成されている装置である。例えば、生体情報測定装置12は、各種のセンサや電極等を有し、人の生体情報を測定する。複数の生体情報測定装置12が用いられる場合、各生体情報測定装置12は、異なる種類の生体情報を測定してもよい。複数の生体情報測定装置12の中の一部又は全部は、同じ種類の生体情報を測定してもよい。また、生体情報測定装置12は、1つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。
生体情報測定装置12は、測定された生体情報を情報処理装置10に送信する。生体情報測定装置12は、生体情報を測定する度に生体情報を情報処理装置10に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置10に送信してもよいし、人が指定したタイミングで生体情報を情報処理装置10に送信してもよい。また、生体情報測定装置12は、他の生体情報測定装置12が測定した生体情報を当該他の生体情報測定装置12から受信し、自身が測定した生体情報と当該他の生体情報測定装置12が測定した生体情報とを情報処理装置10に送信してもよい。
生体情報測定装置12は、自身又は他の生体情報測定装置12が測定した生体情報を解析し、その解析の結果を示す情報を情報処理装置10に送信してもよい。生体情報測定装置12はプロセッサや記憶装置を含み、当該プロセッサが生体情報を解析してもよい。その解析は、情報処理装置10又は他の装置によって行われてもよい。
生体情報測定装置12は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、他の装置(例えば情報処理装置10等)から電力の供給を受けて駆動してもよい。
生体情報測定装置12は、人に設置されてもよい。例えば、生体情報測定装置12は、人に装着されて生体情報を測定するウェアラブル装置であってもよい。具体例を挙げると、生体情報測定装置12は、人の頭部(例えば額等)に装着される装置であってもよいし、人の耳に装着されるヒアラブル装置(例えば、イヤフォンやヘッドフォン等)であってもよいし、人の腕や手や手首や指等に装着される装置(例えば、スマートウォッチ等の腕時計型の装置等)であってもよいし、人の首に掛けられる装置であってもよいし、人の胴体(例えば腹部や胸部等)に装着される装置であってもよいし、人の下肢(例えば、大腿、下腿、膝、足、足首等)に装着される装置であってもよい。生体情報測定装置12は、人の腕や手や胴体や下肢に装着される健康器具等であってもよい。生体情報測定装置12は、これら以外の部位に装着されてもよい。また、複数の部位のそれぞれに生体情報測定装置12が装着されてもよい。
生体情報は、生体である人から発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報(例えば、脳波、脳の血流量、脳磁場信号等)、脈拍数を示す情報、筋電波形等の筋電情報、唾液に関する情報(例えば唾液量を示す情報)、脈波を示す情報、血圧を示す情報、血流量を示す情報、脈拍を示す情報、心拍数を示す情報、心電波形を示す情報、眼球運動を示す情報、体温を示す情報、発汗量を示す情報、視線を示す情報、音声情報、及び、人の動きを示す情報等が含まれる。また、バイオマーカによって特定される情報が、生体情報として用いられてもよい。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置12は、これらの生体情報の中の1つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。
また、生体情報の概念の範疇には、生体から測定される電位を示す生体電位情報が含まれる。生体電位情報の概念の範疇には、例えば、脳の活動に伴い発生する微小電流の測定結果である脳波、心臓の拍動に伴い発生する微小電流の測定結果である心電図、筋肉の活動に伴い発生する微小電流の測定結果である筋電図、皮膚に生じる微小電流の測定結果である皮膚電位等が含まれる。これらは生体電位情報の一例に過ぎず、これら以外の生体電位情報が用いられてもよい。
情報処理装置10は、生体情報測定装置12から生体情報を受け付けて、生体情報の解析、生体情報の記憶、生体情報の出力、生体情報の解析結果を示す情報の記憶、及び、生体情報の解析結果を示す情報の出力等を行う。もちろん、生体情報の解析は、生体情報測定装置12又は他の装置によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の解析結果を示す情報を出力することは、例えば、解析結果を示す情報を表示することや、解析結果を音声情報として出力すること等である。情報処理装置10は、生体情報や解析結果を示す情報を他の装置に送信してよい。
情報処理装置10は、1又は複数の生体情報測定装置12を含んでもよい。つまり、1又は複数の生体情報測定装置12は、情報処理装置10に組み込まれて、1つの装置が構成されてもよい。1又は複数の生体情報測定装置12を含む情報処理装置10全体が、人に装着されて生体情報を測定してもよい。つまり、情報処理装置10はウェアラブル装置であってもよい。例えば、情報処理装置10は、人の頭部(例えば額等)に装着される装置であってもよいし、人の耳に装着されるヒアラブル装置(例えば、イヤフォンやヘッドフォン等)であってもよいし、人の腕や手や手首や指等に装着される装置(例えば、スマートウォッチ等の腕時計型の装置等)であってもよいし、人の首に掛けられる装置であってもよいし、人の胴体(例えば腹部や胸部等)に装着される装置であってもよいし、人の下肢(例えば、大腿、下腿、膝、足、足首等)に装着される装置であってもよい。情報処理装置10は、人の腕や手や胴体や下肢に装着される健康器具等であってもよい。情報処理装置10は、これら以外の部位に装着されてもよい。
もちろん、情報処理装置10と生体情報測定装置12は、別々の装置であってもよい。例えば、情報処理装置10は、ロボットやスマートスピーカやサーバ等の装置であり、生体情報測定装置12は、人に装着されるウェアラブル装置であってもよい。
以下、図2を参照して、情報処理装置10の構成について詳しく説明する。図2には、情報処理装置10の構成の一例が示されている。
情報処理装置10は、例えば、通信装置14と、UI16と、カメラ18と、マイク20と、記憶装置22と、プロセッサ24とを含む。情報処理装置10は、これら以外の構成を含んでもよい。
通信装置14は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置14は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置14は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、LANやインターネット等の通信経路を介して他の装置と通信してもよい。例えば、通信装置14は、生体情報測定装置12から送信されてきた生体情報を受信する。通信装置14は、生体情報測定装置12の動作を制御するための制御情報を生体情報測定装置12に送信してもよい。
UI16はユーザインターフェースであり、表示装置及び操作装置の中の少なくとも1つを含む。表示装置は、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI16は、表示装置と操作装置とを兼ね備えたタッチパネル等のUIであってもよい。
カメラ18は、撮影装置の一例である。カメラ18によって撮影されることで画像データが生成される。画像データは、静止画像データであってもよいし、動画像データであってもよい。例えば、カメラ18によって人が撮影される。画像データは、プロセッサ24、又は、情報処理装置10以外の他の装置によって解析されてもよい。なお、1又は複数のカメラ18が情報処理装置10に含まれる。
マイク20によって音が集められることで、音データが生成される。マイク20は、特定の方向の音を集める集音器であってもよい。例えば、マイク20によって、人の会話を表す音声データが生成される。音声データは、プロセッサ24、又は、情報処理装置10以外の他の装置によって解析されてもよい。なお、1又は複数のマイク20が情報処理装置10に含まれる。
なお、カメラ18及びマイク20は、情報処理装置10に含まれずに、情報処理装置10の外部に設けられてもよい。この場合、情報処理装置10は、カメラ18から送信されてきた画像データを受信し、マイク20から送信されてきた音データを受信する。なお、情報処理装置10に、スピーカが設けられてもよい。
記憶装置22は、データを記憶する1又は複数の記憶領域を構成する装置である。記憶装置22は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。1又は複数の記憶装置22が情報処理装置10に含まれている。
記憶装置22には、状態管理情報と解決手段管理情報とが記憶されている。
状態管理情報は、人の生体情報に基づいて当該人の状態を推定するための情報である。例えば、予め定められた基準生体情報と人の状態を示す状態情報とが予め紐付けられて状態管理情報に登録されている。人毎に、基準生体情報と状態情報とが紐付けられて状態管理情報に登録されてもよい。
基準生体情報は、当該基準生体情報が紐付けられている状態情報が示す状態を有する人から発生すると推定される生体情報である。例えば、基準生体情報は統計的な処理によって定められ、当該基準生体情報に紐付けられている状態情報が示す状態を有する人から一般的に発生すると推定される生体情報である。
例えば、人の状態は、当該人の精神状態である。人の精神状態を示す状態情報に紐付けられている基準生体情報は、当該人の精神状態を示す生体情報であるといえる。精神状態の概念の範疇には、感情や気分等の概念が含まれる。
具体的には、安心、不安、感謝、驚愕、興奮、好奇心、冷静、憔悴、焦り、困惑、幸福、リラックス、ストレス、緊張、責任、尊敬、親しみ、憧れ、意欲、恐怖、勇気、快感、後悔、満足、不満、無念、嫌悪、恥、軽蔑、嫉妬、罪悪感、期待、優越感、劣等感、恨み、苦しみ、悲しみ、感動、怒り、悩み、諦め、絶望、希望、憎悪、愛しさ、空虚、好意、逃げたいという感情、及び、拒否等が、精神状態の概念の範疇に含まれる。もちろん、これら以外の感情や気分等が、精神状態の概念の範疇に含まれてもよい。
例えば、精神状態は、ポジティブな精神状態とネガティブな精神状態とに分類される。
例えば、安心、感謝、興奮、好奇心、冷静、幸福、リラックス、尊敬、親しみ、憧れ、意欲、勇気、快感、満足、期待、優越感、感動、希望、愛しさ、及び、好意等が、ポジティブな精神状態に分類される。
不安、驚愕、憔悴、焦り、困惑、ストレス、緊張、責任、恐怖、不満、無念、嫌悪、恥、軽蔑、嫉妬、罪悪感、劣等感、恨み、苦しみ、悲しみ、怒り、悩み、諦め、絶望、憎悪、空虚、逃げたいという感情、及び、拒否等が、ネガティブな精神状態に分類される。
もちろん、ある精神状態が、ポジティブな精神状態とネガティブな精神状態との両方に分類されることもあり得る。例えば、ストレスは、そのストレスが発生している場面や状況等によっては、ポジティブな精神状態に分類されたり、それとは逆に、ネガティブな精神状態に分類されたりすることがあり得る。したがって、ある精神状態が発生している場面や状況等に応じて、当該精神状態が、ポジティブ又はネガティブな精神状態のいずれかに分類されてもよい。もちろん、各精神状態は、予め、ポジティブ又はネガティブな精神状態のいずれかに分類されてもよい。
なお、人の状態は、当該ユーザの精神状態以外の状態(例えば身体の状態等)であってもよい。例えば、疲労感や倦怠感等が、身体の状態の概念の範疇に含まれる。
解決手段管理情報は、ネガティブな精神状態をポジティブな精神状態に変えるための手段である解決手段を特定するための情報である。つまり、解決手段は、ネガティブな精神状態を示す生体情報が測定される人から、ポジティブな精神状態を示す生体情報が測定されるようにするための手段である。以下では、ネガティブな精神状態を示す生体情報が測定される人を、「特定の人」と称することとする。
解決手段は、会話中の複数の人の中の少なくとも1人に変化を与える処理である。例えば、解決手段は、特定の人、及び、当該複数の人の中の当該特定の人以外の人、の中の少なくとも1人に対して作用する処理である。特定の人以外の人は、当該特定の人からネガティブな精神状態を示す生体情報が測定されることになった原因を有する人であってもよいし、当該原因を有する人以外の第三者であってもよい。当該第三者は、当該原因を有する人との間で、特定の関係を有する人であってもよい。
例えば、解決手段管理情報には、複数の解決手段が登録されている。具体例を挙げると、解決手段は、会話の話題を変える処理、会話を人以外の機器に向ける処理、又は、会話が行われている場所から特定の人を離すための処理等である。これら以外の解決手段が解決手段管理情報に登録されてもよい。
会話の場面や状況毎に、会話の場面や状況に応じた1又は複数の解決手段が予め定められてもよい。例えば、会話の場面や状況毎に、会話の場面や状況を示す情報と、当該会話の場面や状況下にてネガティブな精神状態をポジティブな精神状態に変えるための解決手段を示す情報とが、予め紐付けられて解決手段管理情報に登録される。例えば、統計的な手法によって、会話の場面や状況に応じた1又は複数の解決手段が予め定められてもよい。
プロセッサ24は、会話中の複数の人のそれぞれの生体情報を取得し、当該複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、当該複数の人の中の少なくとも1人に変化を与える処理の実行を制御するように構成されている。当該処理は、上述した解決手段である。
解決手段は、情報処理装置10によって実行されてもよいし、情報処理装置10以外の1又は複数の機器によって実行されてもよいし、情報処理装置10と1又は複数の機器とによって実行されてもよい。例えば、情報処理装置10と1又は複数の機器とが連携して解決手段を実行してもよいし、複数の機器が連携して解決手段を実行してもよい。
また、プロセッサ24は、情報処理装置10の各部の動作を制御するように構成されている。プロセッサ24は、メモリを含んでもよい。
なお、プロセッサ24による処理は、情報処理装置10以外の装置(例えば、端末装置やサーバやその他の機器等)によって実行されてもよい。また、処理の一部が情報処理装置10によって実行され、処理の別の一部が情報処理装置10以外の装置によって実行されてもよい。例えば、生体情報の解析(例えば精神状態を推定する処理)が、情報処理装置10以外の装置(例えばサーバ等)によって実行され、解決手段が、情報処理装置10によって実行されてもよい。この場合であっても、解決手段が、情報処理装置10以外の機器によって実行されてもよい。また、その処理の結果を示す情報が他の装置から情報処理装置10に送信されて、UI16の表示装置に表示されたり、音声情報として出力されたりしてもよい。
以下、図3を参照して、情報処理装置10による処理の流れについて説明する。図3には、当該処理の流れを示すフローチャートが示されている。
プロセッサ24は、会話中の複数の人のそれぞれの生体情報を取得する(S01)。以下、ステップS01の処理について詳しく説明する。
例えば、会話中の複数の人がカメラ18によって撮影されることで、当該複数の人を表す画像データが生成される。当該複数の人は一緒にカメラ18によって撮影されてもよいし、個々の人が別々にカメラ18によって撮影されてもよい。また、当該会話がマイク20によって集められることで、当該会話を表す音声データが生成される。プロセッサ24は、当該複数の人を表す画像データと当該会話を表す音声データとに基づいて、当該複数の人のそれぞれを識別し、当該会話の内容を推定する。画像データや音声データから人を識別する技術、及び、画像データや音声データから会話の内容を推定する技術として、公知の技術(例えば顔認証技術や音声認識技術等)が用いられてもよい。例えば、プロセッサ24は、画像データと音声データとに基づいて、各人の個人情報(例えば、性別、年齢及び氏名等)を特定する。プロセッサ24は、個人情報を特定するために、個人情報が登録されているデータベース(例えば、各人の顔を表す画像や各人の音声が登録されているデータベース)を利用してもよい。また、プロセッサ24は、画像データと音声データとに基づいて、誰が誰に話しかけているのかを推定してもよい。なお、個人情報は、各人によって情報処理装置10に入力されてもよい。
会話は、複数の人が同じ場所(例えば同じ部屋や会場や広場等)に集まって行われる会話であってもよいし、電話回線を介して行われる会話であってもよいし、インターネット等の通信経路を介して行われる会話(例えば、チャットやTV会議等)であってもよいし、これら以外の会話であってもよい。
また、会話中の複数の人のそれぞれの生体情報が、生体情報測定装置12によって測定される。例えば、複数の人のそれぞれに生体情報測定装置12が装着され、各人から生体情報が測定される。各人の生体情報は、各生体情報測定装置12から情報処理装置10に送信され、プロセッサ24は、各生体情報測定装置12から送信されてきた各人の生体情報を取得する。
次に、プロセッサ24は、人毎に、人の生体情報に基づいて当該人の精神状態を推定する(S02)。以下、ステップS02の処理について詳しく説明する。
プロセッサ24は、人毎に、人の生体情報と、上記の状態管理情報に登録されている各基準生体情報とを比較し、当該生体情報との差異が許容範囲内に含まれる基準生体情報を検索する。プロセッサ24は、その検索された基準生体情報に紐付けられている状態情報が示す精神状態を、当該生体情報が測定された人の精神状態として推定する。
なお、人の生体情報との差異が許容範囲内に含まれる複数の基準生体情報が検索された場合、プロセッサ24は、当該複数の基準生体情報の中で、当該生体情報との差異が最小となる基準生体情報を特定する。
基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ24は、人の生体情報から特徴的な成分を抽出し、その抽出された成分との差異が許容範囲内に含まれる成分を有する基準生体情報を検索してもよい。
例えば、生体情報として脳波が用いられる場合、プロセッサ24は、測定された脳波から特徴的な成分を抽出し、当該成分を分析することで人の精神状態を推定してもよい。
なお、ユーザの脳の活動(例えば脳波等)を解析するために、高速フーリエ変換(FFT:Fast Fourier Transform)や、ウェーブレット変換(WT:Wavelet Transform)、TFD(Time Frequency Distribution)、EM(Eigenvector Methods)、自己回帰モデル(ARM:Auto Regressive Method)等が用いられてもよい。
プロセッサ24は、各人の精神状態を推定し、会話中の複数の人の中にネガティブな精神状態を有する特定の人がいるか否かを判断する。
会話中の複数の人の中にネガティブな精神状態を有する特定の人がいない場合(S03,No)、処理はステップS01に戻る。
会話中の複数の人の中にネガティブな精神状態を有する特定の人がいる場合(S03,Yes)、プロセッサ24は、上記の解決手段管理情報を参照することで、ネガティブな精神状態を有する特定の人の精神状態をポジティブな精神状態に変えるための解決手段を特定する(S04)。プロセッサ24は、会話の場面や状況に応じた1又は複数の解決手段を特定してもよい。例えば、プロセッサ24は、画像データと音声データとに基づいて、会話の場面や状況を推定する。
次に、プロセッサ24は、ステップS04にて特定した1又は複数の解決手段の実行を制御する(S05)。
プロセッサ24は、情報処理装置10を制御することで解決手段を実行してもよいし、情報処理装置10以外の1又は複数の機器を制御することで解決手段を実行してもよいし、情報処理装置10と1又は複数の機器とを制御することで解決手段を実行してもよい。情報処理装置10のみでは、ネガティブな精神状態をポジティブな精神状態に変えることができない場合、情報処理装置10と1又は複数の機器とが連携して解決手段を実行してもよいし、複数の機器が連携して解決手段を実行してもよい。
プロセッサ24は、ネガティブな精神状態を有する特定の人の生体情報を取得し、当該生体情報に基づいて、当該特定の人の精神状態を推定する。例えば、プロセッサ24は、当該特定の人がポジティブな精神状態を有しているか否かを推定する。
プロセッサ24は、ポジティブな精神状態を示す生体情報が当該特定の人から測定されるまで、解決手段の実行を制御してもよい。これにより、ポジティブな精神状態を示す生体情報が当該特定の人から測定されるまで、解決手段が実行される。プロセッサ24は、ポジティブな精神状態を示す生体情報が、予め定められた時間以上にわたって、当該特定の人から継続して測定されるまで、解決手段を実行してもよい。ポジティブな精神状態を示す生体情報が、予め定められた時間以上にわたって、当該特定の人から継続して測定された場合、プロセッサ24は、解決手段の実行を停止してもよい。
解決手段が実行された時点から予め定められた時間が経過した時点にて、ポジティブな精神状態を示す生体情報が当該特定の人から測定されない場合、プロセッサ24は、実行される解決手段を変更してもよいし、他の解決手段を追加して実行してもよい。
また、プロセッサ24は、予め定められた時間以上にわたってネガティブな精神状態を示す生体情報が当該特定の人から測定される場合、解決手段の実行を制御し、予め定められた時間以上にわたってネガティブな精神状態を示す生体情報が当該特定の人から測定されない場合、解決手段の実行を制御しなくてもよい。これにより、予め定められた時間以上にわたってネガティブな精神状態を示す生体情報が当該特定の人から測定される場合、情報処理装置10又は他の装置によって解決手段が実行され、予め定められた時間以上にわたってネガティブな精神状態を示す生体情報が当該特定の人から測定されない場合、解決手段は実行されない。
上記の各時間は、管理者等の人によって変更されてもよいし、人毎に定められてもよい。
なお、上述したステップS01からステップS05の全処理は、情報処理装置10によって実行されてもよいし、ステップS01からステップS05の一部の処理が、情報処理装置10によって実行され、別の一部の処理が、情報処理装置10以外の装置(例えばサーバ等)によって実行されてもよい。各処理が別々の装置によって実行される場合、各種のデータが、処理を実行する複数の装置の間で送受信される。
例えば、ステップS01の「生体情報を取得する」処理やステップS05の「解決手段の実行を制御する」処理が、情報処理装置10によって実行され、ステップS02の「精神状態を推定する」処理やステップS04の「解決手段を特定する」処理が、情報処理装置10以外のサーバ等によって実行されてもよい。別の例として、ステップS02の処理が情報処理装置10以外のサーバ等によって実行され、ステップS04の処理が情報処理装置10によって実行されてもよい。
以下、図4を参照して、状態管理情報の具体例について説明する。図4には、状態管理情報の一例である状態管理テーブルの一例が示されている。状態管理テーブルのデータは、記憶装置22に記憶されている。状態管理テーブルのデータは、記憶装置22に記憶されずに、情報処理装置10以外の他の装置(例えばサーバ等)に記憶されてもよい。
状態管理テーブルにおいては、IDと、基準脳波と、人の精神状態を示す状態情報とが、予め紐付けられている。
IDは、状態管理テーブルに登録されている各情報を管理するための情報である。
基準脳波は、基準生体情報の一例である。基準脳波は、例えば統計的な処理によって定められ、当該基準脳波に紐付けられている状態情報が示す精神状態を有するユーザから発生すると推定される脳波である。ここでは、生体情報の一例として脳波が用いられているが、脳波以外の生体情報が用いられてもよい。
図4には、精神状態の一例として、凄くポジティブな精神状態、少しポジティブな精神状態、凄くネガティブな精神状態、及び、少しネガティブな精神状態が、示されている。これらは一例に過ぎず、精神状態がより詳細に分類されて状態管理テーブルに登録されてもよい。
例えば、安心、感謝及びリラックス等といった、ポジティブな精神状態に分類される各精神状態や、不安、ストレス及び苦しみ等といった、ネガティブな精神状態に分類される各精神状態が、状態管理テーブルに登録されてもよい。この場合も、精神状態毎に、精神状態を示す状態情報と、当該精神状態を有する人から発生すると推定される基準脳波とが紐付けられて状態管理テーブルに登録される。
ポジティブのレベルやネガティブのレベルといった精神状態のレベルが、状態管理テーブルに登録されてもよい。
例えば、ポジティブな精神状態に分類される精神状態であっても、その程度によってポジティブのレベルが異なる場合がある。例えば、感謝や興奮や幸福等の精神状態は、凄くポジティブな精神状態であり、リラックス等の精神状態は、少しポジティブな精神状態であると推定される。つまり、感謝や興奮や幸福等の精神状態は、リラックス等の精神状態よりも、ポジティブの程度が高く、ポジティブのレベルが高い精神状態であると推定される。
同様に、ネガティブな精神状態に分類される精神状態であっても、その程度によってネガティブのレベルが異なる場合がある。例えば、苦しみや恐怖や逃げたいという感情等の精神状態は、凄くネガティブな精神状態であり、不安や緊張等の精神状態は、少しネガティブな精神状態であると推定される。つまり、苦しみや恐怖や逃げたいという感情等の精神状態は、不安や緊張等の精神状態よりも、ネガティブの程度が高く、ネガティブのレベルの高い精神状態であると推定される。
なお、ポジティブのレベルやネガティブのレベルは、数値等によって表現されてよい。
上記の分類は一例に過ぎず、精神状態の定義の仕方等によっては、上記の分類とは異なる分類やレベルが定められてもよい。
具体例を挙げて説明すると、ID「1」の基準脳波は、凄くポジティブな精神状態を示す脳波である。ID「3」の基準脳波は、凄くネガティブな精神状態を示す脳波である。
例えば、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波が、人から測定された場合、プロセッサ24は、ID「1」の基準脳波に紐付けられている「凄くポジティブな精神状態」を、当該人の精神状態であると推定する。
また、ID「3」の基準脳波との差異が許容範囲内に含まれる脳波が、人から測定された場合、プロセッサ24は、ID「3」の基準脳波に紐付けられている「凄くネガティブな精神状態」を、当該人の精神状態であると推定する。
プロセッサ24は、人から測定された脳波と基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は、許容範囲に対応する値である。測定された脳波と基準脳波との間の類似度が閾値以上である場合、プロセッサ24は、測定された脳波と基準脳波は類似していると判断する。つまり、プロセッサ24は、測定された脳波と基準脳波との差異が許容範囲内に含まれると判断する。例えば、ID「1」の基準脳波との間の類似度が閾値以上となる脳波が、人から測定された場合、プロセッサ24は、「凄くポジティブな精神状態」を、当該人の精神状態であると推定する。
人毎に、基準生体情報と状態情報とが紐付けられて状態管理テーブルに登録されてもよい。例えば、人から実際に測定された生体情報が、当該人の基準生体情報として状態管理テーブルに登録される。また、当該生体情報が測定されたときの当該人の精神状態を示す状態情報が、当該基準生体情報に紐付けられて状態管理テーブルに登録される。例えば、その登録の作業を行う者が、生体情報が測定されたときに人が有していた精神状態を当該人から聞き出し、その精神状態を示す情報を状態情報として、基準生体情報である当該生体情報に紐付けて状態管理テーブルに登録する。
図4に示す例では、脳波に基づいて精神状態が推定されるが、もちろん、別の生体情報に基づいて精神状態が推定されてもよい。例えば、人の唾液に含まれる唾液アミラーゼ活性を分析することで、当該人が感じているストレスの程度が測定されてもよい。また、その他のストレスマーカを用いて、人が感じているストレスの程度が測定されてもよい。プロセッサ24は、人が感じているストレスの程度に基づいて、当該人の精神状態がポジティブ又はネガティブな精神状態のいずれであるのかを推定してもよいし、ポジティブやネガティブのレベルを推定してもよい。
また、プロセッサ24は、複数の種類の生体情報に基づいて、人の精神状態を推定してもよい。例えば、プロセッサ24は、脳波と唾液量とに基づいて、人の精神状態を推定してもよい。もちろん、これら以外の生体情報が用いられてもよい。
以下、図5を参照して、解決手段管理情報の具体例について説明する。図5には、解決手段管理情報の一例である解決手段管理テーブルの一例が示されている。解決手段管理テーブルのデータは、記憶装置22に記憶されている。解決手段管理テーブルのデータは、記憶装置22に記憶されずに、情報処理装置10以外の他の装置(例えばサーバ等)に記憶されてもよい。
解決手段管理テーブルにおいては、IDと解決手段を示す解決手段情報とが予め紐付けられている。IDは、解決手段管理テーブルに登録されている各情報を管理するための情報である。解決手段管理テーブルには、1又は複数の解決手段が登録されている。
また、会話の内容や場面や状況毎に、1又は複数の解決手段が定められて解決手段管理テーブルに登録されてもよい。例えば、会話の内容や場面や状況を示す情報と、当該場面や当該状況下において、ネガティブな精神状態をポジティブな精神状態に変更することが可能であると推定される解決手段を示す解決手段情報とが、予め紐付けられて解決手段管理テーブルに登録される。そのような解決手段は、予め定められている。
以下、解決手段の具体例について説明する。
ID「1」の解決手段は、癒しの画像を表示する処理である。例えば、癒しの画像は、会話が行われている場を和ませる効果を奏する画像である。具体的には、癒しの画像は、風景を表す画像や、動物を表す画像等である。風景を表す画像は、自然を表す画像(例えば、海、山、川又は田園等を表す画像)であってもよいし、建物を表す画像であってもよい。癒しの画像は、静止画像であってもよいし、動画像であってもよい。また、ID「1」の解決手段は、癒しの画像を表示すると共に、音楽等の音や光を発生させる処理であってもよい。プロセッサ24は、癒しの画像をUI16の表示装置に表示させてもよいし、情報処理装置10以外の装置(例えば、会話中の各人が利用する端末装置、特定の人が利用する端末装置、又は、その他の機器等)に表示させてもよい。
癒しの画像のデータは、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されていてもよい。この場合、プロセッサ24は、癒しの画像のデータが記憶されている装置から当該画像のデータを取得する。また、プロセッサ24は、インターネットを利用することで、癒しの画像のデータを取得してもよい。
また、会話の内容や場面や状況毎に、1又は複数の癒しの画像が定められてもよい。例えば、会話の内容や場面や状況毎に、ネガティブな精神状態をポジティブな精神状態に変えることが可能であると推定される画像が、予め定められている。例えば、プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容や場面や状況を推定し、その会話の内容や場面や状況に応じた画像を表示装置に表示させる。その解析の技術や推定の技術として、公知の技術が用いられてもよい。なお、プロセッサ24は、カメラ18による撮影によって生成された画像データ、又は、マイク20によって生成された音声データのいずれか一方のデータを解析することで、会話の内容や場面や状況を推定してもよい。以下の具体例においても同様である。
ID「2」の解決手段は、馬鹿げた発言をする処理である。例えば、プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとに基づいて、会話の内容を推定し、その内容とは関係のない発言をスピーカから発する。その発言は、特定の人に向けた発言であってもよいし、特定の人以外の人に向けた発言であってもよいし、会話している全員に向けた発言であってもよい。
ID「2」の発言のデータは、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されていてもよい。この場合、プロセッサ24は、その発言のデータが記憶されている装置から当該発言のデータを取得する。また、プロセッサ24は、インターネットを利用することで、当該発言のデータを取得してもよい。
また、会話の場面や状況毎に、発言が定められてもよい。例えば、会話の場面や状況毎に、ネガティブな精神状態をポジティブな精神状態に変えることが可能であると推定される発言が、予め定められている。例えば、プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の場面や状況を推定し、その会話の場面や状況に応じた発言を発する。
ID「3」の解決手段は、特定の人を責めている人の発言を抑制する処理である。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容や場面や状況を推定し、特定の人を責めている人を推定する。例えば、特定の人を責めている人の発言を制止する処理や諫める処理等が、発言を抑制する処理である。
人の発言を抑制する処理を示す情報は、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されている。プロセッサ24は、当該処理を示す情報が記憶されている装置から当該情報を取得する。また、プロセッサ24は、インターネットを利用することで、当該情報を取得してもよい。プロセッサ24は、当該情報に従って、特定の人を責めている人の発言を抑制する処理や諫める処理等を実行する。そのために、プロセッサ24は、画像を表示したり、発言したりする。また、情報処理装置10がロボットである場合、プロセッサ24は、ロボットである情報処理装置10の動きを制御してもよい。例えば、情報処理装置10は、特定の人を責めている人の位置まで移動し、当該人の発言を制止してもよい。プロセッサ24は、情報処理装置10以外のロボットの動きを制御することで、当該人の発言を制止してもよい。
また、会話の内容や場面や状況毎に、特定の人を責めている人の発言を抑制する方法が定められてもよい。例えば、会話の内容や場面や状況毎に、ネガティブな精神状態をポジティブな精神状態に変えることが可能であると推定される、発言を抑制する方法が、予め定められている。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容や場面や状況を推定し、その会話の内容や場面や状況に応じた方法によって、特定の人を責めている人の発言を抑制する。
ID「4」の解決手段は、責められている特定の人を擁護する処理である。例えば、特定の人を擁護するための発言のデータが、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されている。プロセッサ24は、その発言の内容のデータが記憶されている装置から当該発言のデータを取得する。プロセッサ24は、インターネットを利用することで、当該発言のデータを取得してもよい。
また、会話の内容や場面や状況毎に、特定の人を擁護する方法が定められてもよい。例えば、会話の内容や場面や状況毎に、ネガティブな精神状態をポジティブな精神状態に変えることが可能であると推定される擁護の方法が、予め定められている。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容や場面や状況を推定し、その会話の内容や場面や状況に応じた方法によって、特定の人を擁護する。
ID「5」の解決手段は、会話の話題を変える処理である。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容を推定し、その会話の話題とは異なる話題に関する発言をスピーカから発する。例えば、会話の話題毎に、会話の話題とは異なる話題が定められており、その異なる話題を示す情報が、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されている。プロセッサ24は、その異なる話題を示す情報が記憶されている装置から当該情報を取得する。プロセッサ24は、インターネットを利用することで、当該情報を取得してもよい。
また、会話の場面や状況毎に、その会話の話題とは異なる話題が定められてもよい。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の場面や状況を推定し、その会話の場面や状況に応じて、会話の話題を変える。
ID「6」の解決手段は、特定の人が非難されている場合、その非難の先を特定の人以外の装置(例えば情報処理装置10や機器等)に向ける処理である。非難の先を特定の人以外の装置に向ける処理は、例えば、特定の人を非難している人の集中力を逸らす処理(例えば、音や光を発する処理)、特定の人を非難している人を怒らせる発言を発する処理、特定の人を非難している人が興味を有すると推定される事項に関する発言を発する処理、特定の人を非難している人を怒らせる画像を表示する処理、又は、特定の人を非難している人が興味を有する事項を表す画像を表示する処理等である。例えば、そのような発言や画像等が予め定められており、当該発言のデータや当該画像のデータが、情報処理装置10又は他の装置(例えばサーバや機器等)に予め記憶されている。プロセッサ24は、当該発言のデータや当該画像のデータが記憶されている装置から当該発言のデータや当該画像のデータを取得する。プロセッサ24は、インターネットを利用することで、当該発言のデータや当該画像のデータを取得してもよい。
また、会話の内容や場面や状況毎に、非難の先を装置に向ける処理が定められてもよい。プロセッサ24は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、会話の内容や場面や状況を推定し、その会話の内容や場面や状況に応じて、非難の先を装置に向ける処理を変える。
図5に示されている解決手段は一例に過ぎず、図5に示されている解決手段以外の解決手段が実行されてもよい。例えば、プロセッサ24は、会話中の人の集中力を逸らす処理(例えば、音や光を発する処理)を実行してもよい。
以下、図6を参照して、情報処理装置10による処理の一例について説明する。図6には、精神状態の時間変化を示すグラフが示されている。横軸は時間を示し、縦軸は精神状態のレベルを示している。+側がポジティブな精神状態を示しており、-側がネガティブな精神状態を示している。+側のレベルが高いほど(つまり、+側の絶対値が大きいほど)、ポジティブのレベルが高い。-側のレベルが高いほど(つまり、-側の絶対値が大きいほど)、ネガティブのレベルが高い。
例えば、符号26が指し示すように、ネガティブのレベルが時間と共に高くなる傾向を有する生体情報が、特定の人から測定される場合、プロセッサ24は、解決手段を実行してもよい。つまり、ネガティブの程度が時間と共に高く場合、特定の人の精神状態が、これ以上ネガティブにならないように、プロセッサ24は、解決手段の実行を制御する。
特定の人から、予め定められた時間内に、ネガティブな精神状態を示す生体情報が測定されて次にポジティブな精神状態を示す生体情報が測定される場合、プロセッサ24は、解決手段を実行しなくてもよい。例えば、符号28が指し示す精神状態は、最初、ネガティブな精神状態を示しており、そのネガティブのレベルは時間と共に高くなっている。しかし、その後、精神状態はポジティブな精神状態に変わり、そのポジティブのレベルが時間と共に高くなっている。例えば、ネガティブな精神状態を示す生体情報が特定の人から測定された時点から、予め定められた時間内に、ポジティブな精神状態を示す生体情報が当該特定の人から測定された場合、プロセッサ24は解決手段を実行しない。
例えば、特定の人が上司や先輩等から叱られている場合であっても、その叱りの態様が適切なものであり、当該特定の人が感謝等の気持ちを持っている場合には、当該特定の人から、ポジティブな精神状態を生体状態が測定されることがあり得る。例えば、当該特定の人が、叱り始めではネガティブな精神状態を有している場合であっても、その後、ポジティブな精神状態を有することがあり得る。このような場合、解決手段を実行する必要がないため、プロセッサ24は解決手段を実行しない。
一方で、その叱りの態様が適切ではなく、符号26が指し示すように、ネガティブのレベルが時間と共に高くなる場合には、プロセッサ24は解決手段を実行する。
プロセッサ24は、ネガティブのレベルが閾値th1以上になった場合に、解決手段を実行し、ネガティブのレベルが閾値th1未満である場合、解決手段を実行しなくてもよい。ネガティブのレベルが閾値th1以上になることとは、-側の絶対値が閾値th1以上になることである。
例えば、符号26が指し示す精神状態では、ネガティブのレベルが閾値th1以上になっているため、プロセッサ24は解決手段を実行する。
ネガティブのレベルが閾値th1以上になった時点から、予め定められた時間以上にわたって、特定の人の生体情報が、閾値th1以上のレベルのネガティブな精神状態を示している場合、プロセッサ24は解決手段を実行してもよい。それ以外の場合、プロセッサ24は解決手段を実行しない。
符号26が指し示す精神状態では、ネガティブのレベルが閾値th1以上になった時点から、予め定められた時間以上にわたって、閾値th1以上のレベルのネガティブな精神状態を示す生体情報が特定の人から測定されている。この場合、プロセッサ24は解決手段を実行する。
符号28が指し示す精神状態では、ネガティブのレベルが閾値th1以上になっているが、その時点から予め定められた時間以上にわたって、閾値th1以上のレベルのネガティブな精神状態を示す生体情報が特定の人から測定されていない。この場合、プロセッサ24は解決手段を実行しない。
プロセッサ24は、人の体調に応じて、解決手段を実行するか否かの条件を変えてもよい。体調は、精神的な体調(例えば精神状態)であってもよいし、身体的な体調(例えば肉体的な疲労等)であってもよい。プロセッサ24は、人の生体情報に基づいて、当該人の体調を推定してもよい。別の例として、各人が、自身の体調を示す情報を情報処理装置10に入力してもよい。また、各人が、自身の体調を示す情報を自身の端末装置に入力し、情報処理装置10は、各人の端末装置から各人の体調を示す情報を取得してもよい。
解決手段を実行するか否かの条件を変えることは、例えば、ネガティブのレベルの閾値を変えることである。
閾値th1は、体調が良好であると推定される人に対して用いられる閾値である。閾値th2は、体調が不良であると推定される人に対して用いられる閾値である。閾値th2は、閾値th1よりも、ポジティブ側にシフトした値(つまり、ネガティブのレベルが低い値)である。
体調が不良の人に対して閾値th2を用いることで、閾値th1を用いる場合と比較して、よりネガティブのレベルが低い場合であっても、プロセッサ24は解決手段を実行する。つまり、体調が不良の人に対しては、体調が良好の人と比較して、よりネガティブのレベルが低い場合であっても解決手段が実行される。
以下、図7を参照して、別の精神状態について説明する。図7には、精神状態の時間変化を示すグラフが示されている。横軸及び縦軸の定義は、図6に示されているグラフの定義と同じである。
符号30が指し示すように、特定の人から、予め定められた時間ΔT内に、ネガティブな精神状態を示す生体情報とポジティブな精神状態を示す生体情報とが交互に測定される場合、プロセッサ24は解決手段を実行してもよい。このように、精神状態が不安定の場合に、プロセッサ24は解決手段を実行する。例えば、ネガティブな精神状態を示す生体情報が特定の人から測定された後、ポジティブな精神状態を示す生体情報が当該特定の人から測定された場合であっても、その後、ネガティブな精神状態を示す生体情報が当該特定の人から測定された場合、当該特定の人の精神状態は不安定であると推定される。この場合、プロセッサ24は解決手段を実行する。
以下、図8を参照して、具体的な実施例について説明する。図8には、人やロボット等が模式的に示されている。
ここでは一例として、人A,B,Cが会話しているものとする。ロボット32は、例えば、自走式の装置であり、会話や作業等を行うことが可能な装置である。また、ロボット32は、情報処理装置10と生体情報測定装置12とを含む装置である。つまり、ロボット32はプロセッサ24を含み、上述した情報処理装置10の処理を実行する機能を有する。
サーバ34が用いられてもよい。情報処理装置10の処理の全部又は一部が、サーバ34によって実行されてもよい。この場合、サーバ34によって実行される処理は、ロボット32によって実行されない。例えば、生体情報の解析等が、サーバ34によって実行され、解決手段の実行の制御が、ロボット32によって実行されてもよい。複数のサーバ34が用いられてもよい。
機器36は、解決手段を実現するために用いられる。解決手段によっては、機器36は用いられない場合がある。複数の機器36が用いられてもよい。
機器36は、例えば、PC、タブレットPC、スマートフォン、携帯電話、ロボット(例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮影装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、健康器具、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(例えばドローン))、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器36の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器36の範疇に含まれてもよい。機器36は、例えば、通信インターフェースである通信装置と、データを記憶する記憶装置と、当該機器36の動作を制御するプロセッサとを含む。機器36は、ユーザインターフェースを含んでもよい。機器36は、自装置である機器36を識別するための機器識別情報を情報処理装置10に送信してもよい。機器識別情報は、例えば、機器36のID、名称、型番、又は、アドレス(例えばMACアドレスやIPアドレス等)等である。
例えば、ロボット32、サーバ34及び機器36は、ネットワーク等の通信経路を介して通信してもよいし、近距離無線通信等を利用することで直接的に通信してもよい。
ロボット32は、人A,B,Cのそれぞれの生体情報を測定し、各人の生体情報を解析することで、各人の精神状態を推定する。例えば、その推定のために、図4に示されている状態管理テーブルが用いられる。
また、ロボット32は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、人A,B,Cを識別し、会話の内容や場面や状況を推定する。なお、人A,B,Cのそれぞれは、自身の個人情報をロボット32に入力してもよい。
例えば、人A,B,Cにて会話が行われているときに、人Aからネガティブな精神状態を示す生体情報が測定された場合、ロボット32は、人Aからポジティブな精神状態を示す生体情報が測定されるように解決手段を実行する。
例えば、ロボット32は、人Aが会話の対象とならないように解決手段を実行する。具体的には、ロボット32は、人Aを責めている人(例えば人B)に対して発言したり(例えば人Bを諫める発言をしたり)、音や光を発したり、会話の話題を変えたり、非難の先をロボット32や機器36に向ける処理を実行したりする。これら以外の解決手段が実行されてもよい。
また、ロボット32は、人Aに作用する解決手段を実行してもよいし、人Aを責めている人Bに対して作用する解決手段を実行してもよいし、人A,Bの両方に作用する解決手段を実行してもよいし、人A,B以外の人Cに作用する解決手段であってもよい。例えば、人Aに作用する解決手段は、人Aを擁護する処理等であり、人Bに作用する解決手段は、人Bを諫める処理等である。例えば、ロボット32は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、人Aを責めている人Bや、人A,B以外の人Cを識別する。
ロボット32は、会話の履歴を記録しておき、その履歴に基づいて、会話の話題を、人Aがポジティブな精神状態となるような話題に変更してもよい。例えば、ロボット32は、ポジティブな精神状態を示す生体情報が人Aから測定されたときの会話の話題を記録しておき、ネガティブな精神状態を示す生体情報が人Aから測定されたときに、会話の話題を、その記録した話題に変更する。
人Bが人Aを批判している状況下において、反省を示す生体情報が人Aから測定された場合、ロボット32は解決手段を実行しなくてもよい。この場合においても、ネガティブのレベルが閾値th(例えば閾値th1又は閾値th2)以上となる生体情報が人Aから測定された場合、プロセッサ24は解決手段を実行してもよい。また、ロボット32は、人Aや人Bの会話の内容を言い換えてもよい。例えば、ロボット32は、攻撃的な口調を攻撃的ではない口調(例えば優しい表現)に言い換えてもよい。
ロボット32は、特定の人の属性に応じて、解決手段を実行するか否かの条件を変えてもよい。人の属性は、例えば、年齢、性別、会社等の組織における役職、又は、職位等である。
解決手段を実行するか否かの条件を変えることは、例えば、図6に示されている閾値を変えることである。例えば、プロセッサ24は、特定の人である人Aの年齢が閾値以上である場合、閾値th1を用いることで、解決手段を実行するか否かを判断し、人Aの年齢が閾値未満である場合、閾値th2を用いることで、解決手段を実行するか否かを判断してもよい。また、プロセッサ24は、人Aの役職が、予め定められた役職以上である場合、閾値th1を用いることで、解決手段を実行するか否かを判断し、人Aの役職が、予め定められた役職未満である場合、閾値th2を用いることで、解決手段を実行するか否かを判断してもよい。性別等についても同様である。
また、ロボット32は、特定の人の属性と、当該特定の人からネガティブな精神状態を示す生体情報が測定されることになった原因を有する人の属性との差異に応じて、解決手段を実行するか否かの条件を変えてもよい。
例えば、人Aが、ネガティブな精神状態を示す生体情報が特定される特定の人である。人Bが、人Aを非難している人である。人Bが人Aを非難していることで、人Aからネガティブな精神状態を示す生体情報が測定されている。つまり、人Bは、人Aからネガティブな精神状態を示す生体情報が測定されることになった原因を有する人である。ロボット32は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、人Aを非難している人Bを識別する。
例えば、人Aの年齢と人Bの年齢との差異が閾値未満である場合、ロボット32は解決手段を実行する。人A,Bが同世代や同年齢である場合、当事者同士では問題が解決しないことがあるため、ロボット32は解決手段を実行する。
人Aの年齢と人Bの年齢との差異が閾値以上である場合、ロボット32は解決手段を実行しない。このような場面は、人Bが人Aを指導している場面等であり得るため、ロボット32は解決手段を実行しない。
人Bが人Aよりも年上であり、人Aの年齢と人Bの年齢との差異が閾値以上である場合、ロボット32は解決手段を実行しなくてもよい。このような場面は、人Bが上司であり、人Aが部下である場面等であり得るため、当事者同士で問題が解決すると考えられる。そのため、ロボット32は解決手段を実行しない。
ロボット32は、特定の人である人A以外の第三者であって、人Aからネガティブな精神状態を示す生体情報が測定されることになった原因を有する人である人B以外の第三者に、解決手段の実行を促してもよい。例えば、ロボット32は、第三者である人Cに解決手段の実行を促す。ロボット32は、カメラ18による撮影によって生成された画像データとマイク20によって生成された音声データとを解析することで、第三者である人Cを識別する。例えば、ロボット32は、人Bが人Aを非難することを止めることを人Cに促してもよいし、会話の話題を変えることを人Cに促してもよいし、人Aを擁護することを人Cに促してもよい。ロボット32は、解決手段を促すことを示すメッセージを表示装置に表示させてもよいし、そのメッセージを表す音声を発してもよいし、人Cまで移動して解決手段を人Cに促してもよい。
上記の第三者は、例えば、特定の人からネガティブな精神状態を示す生体情報が測定されることになった原因を有する人との間で、特定の関係を有する人であってもよい。例えば、第三者は、その原因を有する人の上司や先輩であってもよいし、その原因を有する人よりも年上の人であってもよい。つまり、第三者は、その原因を有する人の行為を制止や抑制することが可能であると推定される人である。
また、解決手段は、原因を有する人である人Bの発言を、人と会話することが可能な装置(例えば、ロボット32や機器36等)に向ける処理であってもよい。例えば、ロボット32は、人Bに話しかけたり(例えば、人Bの名前を呼ぶ)、人Bが興味を有する事項に関する発言を発したり、当該事項に関する画像を表示装置に表示させたり、人Bの集中力を逸らす発言をしたり、人Bを怒らせる発言をしたりする。ロボット32は、指向性のある音を人Bに向けて発してもよい。
ロボット32は、特定の人の数が閾値以上である場合、解決手段を実行し、特定の人の数が閾値未満である場合、解決手段を実行しなくてもよい。例えば、複数の人が非難されている場合等では、ネガティブな精神状態を示す生体情報が測定される人の数が、閾値以上になることがある。
特定の人からネガティブな精神状態を示す生体情報が測定されることになった原因を有する複数の人がいる場合、解決手段は、当該複数の人に作用する処理であってもよい。例えば、1又は複数の特定の人が、複数の人から非難されている場合、ロボット32は、非難している複数の人の発言を制止する処理を実行する。
また、特定の人の数が閾値未満であり、原因を有する人が複数いる場合、解決手段は、原因を有する複数の人に作用する処理であってもよい。また、原因を有する人の数が、特定の人の数よりも多い場合、解決手段は、原因を有する複数の人に作用する処理であってもよい。
ロボット32は、会話が行われている場所から特定の人(例えば人A)を離すための処理を実行してもよい。例えば、会話の話題を変更したり、原因を有する人の発言を制止したりした場合であっても、特定の人からポジティブな精神状態を示す生体情報が測定されない場合、ロボット32は、会話が行われている場所から特定の人を離すための処理を実行する。ロボット32自身が移動して、特定の人を強制的に連れ出してもよいし、音声を発したりメッセージを表示したりすることで、特定の人をその場から逃がしてもよい。例えば、ロボット32は、上司や友人等が特定の人を呼んでいることを示すメッセージを表示したり、そのメッセージを表す音声を発したりしてもよい。
また、ロボット32は、特定の人(例えば人A)の位置と原因を有する人(例えば人B)の位置との差が閾値以上になるように、原因を有する人から特定の人を離してもよい。例えば、ロボット32は、GPS(Global Positioning System)、カメラ18又は別のカメラを利用することで、各人の位置情報を取得し、各人の位置情報に基づいて、各人の位置の関係を特定する。特定の人の位置と原因を有する人の位置との差が閾値以上となる場所(つまり、特定の人と原因を有する人との間の距離が閾値以上となる場所)まで、特定の人を逃がすことで、特定の人を安心させることができると考えられる。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
10 情報処理装置、12 生体情報測定装置、24 プロセッサ。

Claims (4)

  1. プロセッサを有し、
    前記プロセッサは、
    会話中の複数の人のそれぞれの生体情報を取得し、
    前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御し、
    前記特定の人から、予め定められた時間内に、ネガティブな精神状態を示す生体情報とポジティブな精神状態を示す生体情報とが交互に測定される場合、前記処理の実行を制御する、
    報処理装置。
  2. プロセッサを有し、
    前記プロセッサは、
    会話中の複数の人のそれぞれの生体情報を取得し、
    前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御し、
    前記処理は、前記特定の人を責めている人の位置まで移動し、当該人の発言を制止するようにロボットの動きを制御する処理である、
    情報処理装置。
  3. コンピュータに、
    会話中の複数の人のそれぞれの生体情報を取得させ、
    前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御させ、
    前記特定の人から、予め定められた時間内に、ネガティブな精神状態を示す生体情報とポジティブな精神状態を示す生体情報とが交互に測定される場合、前記処理の実行を制御させる、
    プログラム。
  4. コンピュータに、
    会話中の複数の人のそれぞれの生体情報を取得させ、
    前記複数の人の中にネガティブな精神状態を示す生体情報が測定される特定の人がいる場合、前記複数の人の中の少なくとも1人に変化を与える処理の実行を制御させ、
    前記処理は、前記特定の人を責めている人の位置まで移動し、当該人の発言を制止するようにロボットの動きを制御させる処理である、
    プログラム。
JP2019224004A 2019-12-11 2019-12-11 情報処理装置、プログラム、及び、方法 Active JP7359437B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019224004A JP7359437B2 (ja) 2019-12-11 2019-12-11 情報処理装置、プログラム、及び、方法
US16/864,572 US20210177325A1 (en) 2019-12-11 2020-05-01 Information processing apparatus and non-transitory computer readable medium
CN202010503834.XA CN112951377A (zh) 2019-12-11 2020-06-05 信息处理装置和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019224004A JP7359437B2 (ja) 2019-12-11 2019-12-11 情報処理装置、プログラム、及び、方法

Publications (2)

Publication Number Publication Date
JP2021090668A JP2021090668A (ja) 2021-06-17
JP7359437B2 true JP7359437B2 (ja) 2023-10-11

Family

ID=76234514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019224004A Active JP7359437B2 (ja) 2019-12-11 2019-12-11 情報処理装置、プログラム、及び、方法

Country Status (3)

Country Link
US (1) US20210177325A1 (ja)
JP (1) JP7359437B2 (ja)
CN (1) CN112951377A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
JP2022059140A (ja) 2020-10-01 2022-04-13 株式会社Agama-X 情報処理装置及びプログラム
US11769595B2 (en) * 2020-10-01 2023-09-26 Agama-X Co., Ltd. Information processing apparatus and non-transitory computer readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319921A (ja) 2002-04-30 2003-11-11 Mitsubishi Chemicals Corp 集団状態における心身状態の評価方法,同評価装置,同評価システムおよびプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2013027570A (ja) 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
WO2018074224A1 (ja) 2016-10-21 2018-04-26 株式会社デイジー 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184563A (ja) * 2014-03-25 2015-10-22 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
US10764534B1 (en) * 2017-08-04 2020-09-01 Grammarly, Inc. Artificial intelligence communication assistance in audio-visual composition
WO2019133706A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for learning preferences in dialogue personalization
US11259729B2 (en) * 2018-03-15 2022-03-01 Arm Ltd. Systems, devices, and/or processes for behavioral and/or biological state processing
US20210145340A1 (en) * 2018-04-25 2021-05-20 Sony Corporation Information processing system, information processing method, and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319921A (ja) 2002-04-30 2003-11-11 Mitsubishi Chemicals Corp 集団状態における心身状態の評価方法,同評価装置,同評価システムおよびプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2013027570A (ja) 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
WO2018074224A1 (ja) 2016-10-21 2018-04-26 株式会社デイジー 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム

Also Published As

Publication number Publication date
US20210177325A1 (en) 2021-06-17
CN112951377A (zh) 2021-06-11
JP2021090668A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP7359437B2 (ja) 情報処理装置、プログラム、及び、方法
KR20210003718A (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
US11635816B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2023129585A (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2024045281A (ja) 情報処理方法
JP7296626B2 (ja) 情報処理装置及びプログラム
US11755109B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US11868529B2 (en) Information processing device and non-transitory computer readable medium
JP7254345B2 (ja) 情報処理装置及びプログラム
JP7254346B2 (ja) 情報処理装置及びプログラム
JP7343168B2 (ja) 情報処理装置、プログラム、及び、方法
US11769595B2 (en) Information processing apparatus and non-transitory computer readable medium
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
JP2023152840A (ja) 情報処理装置及び情報処理方法
JP2023072467A (ja) 情報処理方法、情報処理システム及びプログラム
JP2021089539A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210322

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210416

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230921

R150 Certificate of patent or registration of utility model

Ref document number: 7359437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150