JP6906197B2 - 情報処理方法、情報処理装置及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP6906197B2
JP6906197B2 JP2017189274A JP2017189274A JP6906197B2 JP 6906197 B2 JP6906197 B2 JP 6906197B2 JP 2017189274 A JP2017189274 A JP 2017189274A JP 2017189274 A JP2017189274 A JP 2017189274A JP 6906197 B2 JP6906197 B2 JP 6906197B2
Authority
JP
Japan
Prior art keywords
user
information
reason
information processing
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017189274A
Other languages
English (en)
Other versions
JP2019068153A (ja
Inventor
前川　英嗣
英嗣 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017189274A priority Critical patent/JP6906197B2/ja
Priority to CN201811065552.5A priority patent/CN109599127A/zh
Priority to US16/137,247 priority patent/US10629225B2/en
Publication of JP2019068153A publication Critical patent/JP2019068153A/ja
Application granted granted Critical
Publication of JP6906197B2 publication Critical patent/JP6906197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Pulmonology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)

Description

本開示は、他の情報処理装置へ情報を送信する情報処理方法、情報処理装置及び情報処理プログラムに関するものである。
従来、ユーザの感情を分析し、現在のユーザの感情に適したサービスを提供する技術が存在している。
例えば、特許文献１では、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得し、取得した状況情報に基づいてユーザの状況を推定し、推定したユーザの状況を示す情報を、通信相手の装置に送信する通信端末装置を開示している。
これにより、従来の通信端末装置では、送信側の通信端末装置のユーザの状況を十分に把握することができる情報を受信側の通信端末装置のユーザに伝達することができる。
特開２０１０−１０９８２６号公報
しかしながら、上記従来の技術では、送信側のユーザの現在の状況に至った理由については考慮されておらず、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる情報処理方法、情報処理装置及び情報処理プログラムを提供することを目的とするものである。
本開示の一態様に係る情報処理方法は、プロセッサを用いて、第１の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いか否かを判定し、前記第１のユーザの機嫌が良いと判定した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、推定した前記理由を示す理由情報を、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持するとともに、前記理由情報に基づいて前記タイミングを判定して報知する第２の情報処理装置へ送信する。
本開示によれば、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる。
本開示の実施の形態１に係る情報通信システムの構成の一例を示すブロック図である。 本実施の形態１における機嫌判定部によって算出される感情状態値を説明するための図である。 本実施の形態における機嫌判定履歴記憶部に記憶される機嫌判定履歴の一例を示す図である。 図１に示す行動履歴制御部の構成を示すブロック図である。 本実施の形態における行動履歴蓄積制御部によって蓄積される行動履歴情報の一例を示す図である。 本実施の形態における理由推定データベースに記憶される理由情報の一例を示す図である。 本実施の形態におけるタイミング記憶部に記憶される接触可否情報の一例を示す図である。 本実施の形態における情報通信システムの動作について説明するための第１のフローチャートである。 本実施の形態における情報通信システムの動作について説明するための第２のフローチャートである。
（本開示の基礎となった知見）
第１のユーザに対し、第２のユーザが何らかの報告事項を連絡する際に、第２のユーザは、第１のユーザの機嫌が悪い場合よりも第１のユーザの機嫌が良い場合に連絡した方が、第１のユーザの機嫌を損ねる可能性が低くなる。しかしながら、第１のユーザの機嫌が良い理由によっては、第２のユーザの報告事項が、第１のユーザの機嫌を損ねるおそれがある。例えば、第１のユーザが、第２のユーザとは異なる人物から良い報告事項を受けた結果、第１のユーザの機嫌が良くなった場合、第２のユーザの報告事項が、第２のユーザとは異なる人物の報告事項と比較されてしまい、第２のユーザの報告事項が、第１のユーザの機嫌を損ねるおそれがある。
上記の従来の通信端末装置では、脈拍センサ及び加速度センサから取得した脈拍数及び加速度に基づいて、ユーザの緊張の度合い及び落ち着きの度合いを検出し、検出した緊張の度合い及び落ち着きの度合いを他の通信端末装置へ送信しているが、ユーザの緊張の度合い及び落ち着きの度合いが現在の状況に至った理由については考慮されていない。
また、上記の従来の通信端末装置は、送信側の通信端末装置のユーザの状況を十分に把握することができる情報を、受信側の通信端末装置のユーザに伝達しており、受信側の通信端末装置のユーザの状況を十分に把握することができる情報を、送信側の通信端末装置のユーザに伝達するものではない。
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、第１の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定した前記理由を示す理由情報を送信する。
この構成によれば、第１の情報処理装置を保持する第１のユーザの生体情報が取得される。生体情報に基づいて第１のユーザの機嫌が良いと推定される状態が検出される。第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザの行動の履歴を示す行動履歴情報に基づいて第１のユーザの機嫌が良い理由が推定される。第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定された理由を示す理由情報が送信される。
したがって、第１のユーザの機嫌が良い理由を示す理由情報が第２の情報処理装置へ送信され、第２の情報処理装置では、理由情報に基づいて第１のユーザと連絡を取るタイミングが判定されて第２のユーザに報知されるので、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる。
また、上記の情報処理方法において、さらに、前記第１の情報処理装置によって送信された前記理由情報を前記第２の情報処理装置において受信し、さらに、受信した前記理由情報に基づいて、現時点が、前記第１のユーザと連絡を取るタイミングであるか否かを判定し、さらに、現時点が、前記第１のユーザと連絡を取るタイミングであると判定した場合、現時点が、前記第１のユーザと連絡を取るタイミングであることを前記第２のユーザに報知してもよい。
この構成によれば、第１の情報処理装置によって送信された理由情報が第２の情報処理装置において受信される。受信された理由情報に基づいて、現時点が、第１のユーザと連絡を取るタイミングであるか否かが判定される。現時点が、第１のユーザと連絡を取るタイミングであると判定された場合、現時点が、第１のユーザと連絡を取るタイミングであることが第２のユーザに報知される。
したがって、第２の情報処理装置において、理由情報に基づいて、現時点が、第１のユーザと連絡を取るタイミングであるか否かを判定することができるので、第１の情報処理装置の処理負荷を軽減することができる。
また、上記の情報処理方法において、前記判定は、前記第１のユーザの前記機嫌が良い理由と、前記第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたテーブルを参照し、受信した前記理由情報により示される理由に、前記第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、前記第１のユーザと連絡を取るタイミングであると判定してもよい。
この構成によれば、判定において、第１のユーザの前記機嫌が良い理由と、第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたテーブルが参照され、受信された理由情報により示される理由に、第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、第１のユーザと連絡を取るタイミングであると判定される。
したがって、理由情報により示される理由に、第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、第１のユーザと連絡を取るタイミングであると判定されるので、現時点が、第１のユーザと連絡を取るタイミングであるか否かを容易に判定することができる。
また、上記の情報処理方法において、さらに、前記第２のユーザとは異なる人物と、前記第１のユーザとが対話する音声情報を取得し、さらに、前記音声情報を音声認識することにより、前記第１のユーザが発話した文字列を抽出し、さらに、抽出した前記文字列を意味のある発話内容毎に切り出し、さらに、切り出した各文字列に対して、前記発話内容に応じて分類するための発話属性を特定し、さらに、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザが発話した時刻と、切り出した前記文字列と、特定した前記発話属性とを対応付けた前記行動履歴情報を行動履歴記憶部に記憶してもよい。
この構成によれば、第２のユーザとは異なる人物と、第１のユーザとが対話する音声情報が取得される。音声情報が音声認識されることにより、第１のユーザが発話した文字列が抽出される。抽出された文字列が意味のある発話内容毎に切り出される。切り出された各文字列に対して、発話内容に応じて分類するための発話属性が特定される。第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザが発話した時刻と、切り出された文字列と、特定された発話属性とを対応付けた行動履歴情報が行動履歴記憶部に記憶される。
したがって、行動履歴情報は、第１のユーザが発話した時刻と、切り出された文字列と、特定された発話属性とを対応付けているので、第１のユーザの発話内容に応じて、第１のユーザの機嫌が良い理由を推定することができる。
また、上記の情報処理方法において、前記理由の推定は、前記発話属性と、前記発話属性から推定される前記機嫌が良い理由とを対応付けて記憶する推定理由記憶部から、前記行動履歴情報に含まれる前記発話属性に対応付けられている前記理由を読み出してもよい。
この構成によれば、理由の推定において、発話属性と、発話属性から推定される機嫌が良い理由とを対応付けて記憶する推定理由記憶部から、行動履歴情報に含まれる発話属性に対応付けられている理由が読み出される。
したがって、発話属性と、発話属性から推定される機嫌が良い理由とを対応付けて記憶する推定理由記憶部から、行動履歴情報に含まれる発話属性に対応付けられている理由が読み出されるので、第１のユーザの機嫌が良い理由を容易に推定することができる。
また、上記の情報処理方法において、前記推定理由記憶部は、前記発話属性と、互いに異なる複数の理由とを対応付けて記憶しており、前記理由の推定は、前記第１のユーザの前記機嫌が良い期間における互いに異なる複数の発話属性を前記行動履歴記憶部から読み出し、読み出した前記複数の発話属性のそれぞれに対応付けられている前記複数の理由の中から最も多い理由を前記推定理由記憶部から読み出してもよい。
この構成によれば、推定理由記憶部は、発話属性と、互いに異なる複数の理由とを対応付けて記憶している。理由の推定において、第１のユーザの機嫌が良い期間における互いに異なる複数の発話属性が行動履歴記憶部から読み出され、読み出された複数の発話属性のそれぞれに対応付けられている複数の理由の中から最も多い理由が推定理由記憶部から読み出される。
したがって、複数の発話属性のそれぞれに対応付けられている複数の理由の中から最も多い理由が推定理由記憶部から読み出されるので、第１のユーザの発話から、第１のユーザの機嫌が良い理由を正確に推定することができる。
また、上記の情報処理方法において、さらに、前記第２の情報処理装置によって送信された前記理由情報を要求するための要求情報を受信し、前記検出は、前記要求情報が受信されたことをトリガにして前記第１のユーザの機嫌が良いと推定される状態を検出してもよい。
この構成によれば、第２の情報処理装置によって送信された理由情報を要求するための要求情報が受信される。検出において、要求情報が受信されたことをトリガにして第１のユーザの機嫌が良いと推定される状態が検出される。
したがって、第２の情報処理装置によって送信された要求情報が受信されたことをトリガにして第１のユーザの機嫌が良いと推定される状態が検出されるので、第２のユーザが希望するタイミングで、第１のユーザと連絡を取るタイミングを報知することができる。
本開示の他の態様に係る情報処理装置は、プロセッサと、通信部と、を備え、前記プロセッサは、情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する他の情報処理装置へ、推定した前記理由を示す理由情報を前記通信部に送信させる。
この構成によれば、第１の情報処理装置を保持する第１のユーザの生体情報が取得される。生体情報に基づいて第１のユーザの機嫌が良いと推定される状態が検出される。第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザの行動の履歴を示す行動履歴情報に基づいて第１のユーザの機嫌が良い理由が推定される。第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定された理由を示す理由情報が送信される。
したがって、第１のユーザの機嫌が良い理由を示す理由情報が第２の情報処理装置へ送信され、第２の情報処理装置では、理由情報に基づいて第１のユーザと連絡を取るタイミングが判定されて第２のユーザに報知されるので、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる。
本開示の他の態様に係る情報処理プログラムは、第１の情報処理装置が備えるプロセッサに、前記第１の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定した前記理由を示す理由情報を通信部に送信させる、処理を実行させる。
この構成によれば、第１の情報処理装置を保持する第１のユーザの生体情報が取得される。生体情報に基づいて第１のユーザの機嫌が良いと推定される状態が検出される。第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザの行動の履歴を示す行動履歴情報に基づいて第１のユーザの機嫌が良い理由が推定される。第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定された理由を示す理由情報が送信される。
したがって、第１のユーザの機嫌が良い理由を示す理由情報が第２の情報処理装置へ送信され、第２の情報処理装置では、理由情報に基づいて第１のユーザと連絡を取るタイミングが判定されて第２のユーザに報知されるので、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態）
図１は、本開示の実施の形態１に係る情報通信システムの構成の一例を示すブロック図である。図１に示す情報通信システムは、第１の情報通信装置１及び第２の情報通信装置２を備える。
第１の情報通信装置１及び第２の情報通信装置２は、例えば、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータである。なお、第１の情報通信装置１は、第１の情報処理装置及び情報処理装置の一例であり、第２の情報通信装置２は、第２の情報処理装置及び他の情報処理装置の一例である。第１の情報通信装置１は、第１のユーザに所持される。第２の情報通信装置２は、第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザに所持される。
第１の情報通信装置１は、ネットワーク３を介して第２の情報通信装置２と互いに通信可能に接続されている。なお、ネットワーク３は、例えばインターネットである。
第１の情報通信装置１は、生体情報測定部１１、音声取得部１２、制御部１３、記憶部１４及び通信部１５を備える。
生体情報測定部１１は、例えば、種々のセンサであり、第１のユーザの生体情報を測定する。また、生体情報測定部１１は、所定の時間間隔で第１のユーザの生体情報を測定する。生体情報としては、例えば、第１のユーザの血流、心拍数、脈拍数、脳波、血圧、脳波、生体ガス、呼吸、及び／又は体温等が該当する。例えば、生体情報測定部１１は、高感度なスペクトラム拡散ミリ波レーダー等を用いて、非接触で第１のユーザの脈波を計測するセンサを備え、第１のユーザの心拍数及び心拍変動を検出する。
なお、生体情報測定部１１の構成は、この例に特に限定されず、人間の生体情報等を測定するスマートウォッチを第１のユーザに装着し、スマートウォッチから生体情報等を取得するようにしてもよい。この場合、第１の情報通信装置１は、測定された生体情報を受信する生体情報受信部を備えてもよい。また、生体情報測定部１１は、カメラであってもよく、第１のユーザの顔の表情を撮影し、撮影画像を取得してもよい。
音声取得部１２は、例えば、マイクであり、第１の情報通信装置１の周辺の音声情報を取得する。音声取得部１２は、第２のユーザとは異なる人物と、第１のユーザとが対話する音声情報を取得する。
制御部１３は、例えばＣＰＵ（中央演算処理装置）であり、第１の情報通信装置１全体を制御する。制御部１３は、生体情報取得部１３１、機嫌判定部１３２、行動履歴制御部１３３、理由推定部１３４及び送信制御部１３５を備える。
記憶部１４は、例えば、半導体メモリ又はハードディスクドライブであり、機嫌判定履歴記憶部１４１、行動履歴記憶部１４２及び理由推定データベース１４３を備える。
生体情報取得部１３１は、生体情報測定部１１によって測定された第１のユーザの生体情報を取得する。
機嫌判定部１３２は、生体情報取得部１３１によって取得された生体情報に基づいて第１のユーザの機嫌が良いと推定される状態を検出する。機嫌判定部１３２は、生体情報取得部１３１によって取得された生体情報に基づいて第１のユーザの機嫌が良いか否かを判定する。機嫌判定部１３２は、生体情報に基づいて、現在時刻における感情状態値を算出する。機嫌判定部１３２は、例えば、生体情報の値と、感情状態値とを対応付けたテーブル、又は生体情報の値を感情状態値に変換するための関数を予め記憶している。機嫌判定部１３２は、取得された生体情報の値に対応付けられている感情状態値をテーブルから読み出す、又は取得された生体情報の値を関数に代入して感情状態値を算出する。
図２は、本実施の形態１における機嫌判定部によって算出される感情状態値を説明するための図である。図２において、縦軸は覚醒度を示し、横軸は快度を示している。
感情状態値は、覚醒度と快度とを示す２次元座標で表される。機嫌判定部１３２は、２次元座標上における感情状態値を算出する。図２に示す２次元座標は、ラッセルの円環図（ｃｉｒｃｕｍｐｌｅｘ ｍｏｄｅｌ ｏｆ ａｆｆｅｃｔ）に基づくものである（Ｊａｍｅｓ Ａ． Ｒｕｓｓｅｌｌ、「Ａ Ｃｉｒｃｕｍｐｌｅｘ Ｍｏｄｅｌ ｏｆ Ａｆｆｅｃｔ」、Ｊｏｕｒｎａｌ ｏｆ Ｐｅｒｓｏｎａｌｉｔｙ ａｎｄ Ｓｏｃｉａｌ Ｐｓｙｃｈｏｌｏｇｙ、１９８０、Ｖｏｌ．３９、Ｎｏ．６、１１６１−１１７８）。
覚醒度は、−５．０（鎮静）から＋５．０（覚醒）までの値で示され、快度は、−５．０（不快）から＋５．０（快適）までの値で示される。
機嫌判定部１３２は、算出した感情状態値の快度の値が０より低い場合（−５．０≦快度＜０及び−５．０≦覚醒度≦＋５．０）、第１のユーザの機嫌が悪いと判定し、算出した感情状態値の快度の値が０以上である場合（０≦快度≦＋５．０及び−５．０≦覚醒度≦＋５．０）、第１のユーザの機嫌が良いと判定する。すなわち、機嫌判定部１３２は、算出した感情状態値が第２象限又は第３象限にある場合、第１のユーザの機嫌が悪いと判定し、算出した感情状態値が第１象限又は第４象限にある場合、第１のユーザの機嫌が良いと判定する。
なお、機嫌判定部１３２は、算出した感情状態値から第１のユーザの感情を特定し、特定した第１のユーザの感情に基づいて第１のユーザの機嫌が良いと推定される状態を検出してもよい。例えば、機嫌判定部１３２は、算出した感情状態値から特定した第１のユーザの感情が「怒り」であった場合、第１のユーザの機嫌が悪いと判定し、算出した感情状態値から特定した第１のユーザの感情が「怒り」以外であった場合、第１のユーザの機嫌が良いと判定してもよい。また、機嫌判定部１３２は、算出した感情状態値から特定した第１のユーザの感情が「喜び」であった場合、第１のユーザの機嫌が良いと判定してもよい。
また、機嫌判定部１３２による第１のユーザの機嫌の判定は、上記に限定されず、第１のユーザの表情、第１のユーザの脚の動き及び第１のユーザの発話音量の少なくとも１つを用いて、第１のユーザの機嫌が良いと推定される状態を検出してもよい。第１のユーザの表情、第１のユーザの脚の動き及び第１のユーザの発話音量の少なくとも１つを用いた第１のユーザの機嫌の判定については、特開２０１２−１４６２０８号公報に開示されている。
また、機嫌判定部１３２は、第１のユーザの複数の生体情報を機械学習的手法に基づく認識アルゴリズムに入力し、第１のユーザの感情を認識してもよい。
さらに、第１のユーザの機嫌が良いか否かを判定する方法については、例えば、国際公開第２０１６／１７０８１０号、特開２００９−２０８７２７号公報及び特開２０１５−４６０６５号公報に開示されている技術を用いることが可能である。
機嫌判定履歴記憶部１４１は、機嫌判定部１３２によって判定された時刻と、機嫌判定部１３２によって算出された感情状態値の快度の値とを対応付けて記憶する。
図３は、本実施の形態における機嫌判定履歴記憶部に記憶される機嫌判定履歴の一例を示す図である。図３では、例えば１５秒毎に生体情報が取得され、例えば１５秒毎に第１のユーザの機嫌が良いか否かが判定される。図３において、例えば、時刻「１０：００：００」には、快度「２．５」が対応付けられ、時刻「１０：００：１５」には、快度「３．０」が対応付けられ、時刻「１０：００：３０」には、快度「３．５」が対応付けられている。なお、機嫌判定履歴記憶部１４１は、第１のユーザを識別するためのユーザＩＤに対して判定時刻及び快度を記憶している。
なお、生体情報を取得するタイミング及び第１のユーザの機嫌を判定するタイミングは、上記の１５秒ごとに限定されない。
機嫌判定部１３２は、判定した時刻と、算出した感情状態値の快度の値とを対応付けた機嫌判定履歴を機嫌判定履歴記憶部１４１に記憶する。なお、機嫌判定部１３２は、判定した時刻と、第１のユーザの機嫌が良いか否かを示す情報とを対応付けた機嫌判定履歴を機嫌判定履歴記憶部１４１に記憶してもよい。また、機嫌判定部１３２は、判定した時刻と、第１のユーザの機嫌が良いことを示す情報とを対応付けた機嫌判定履歴を機嫌判定履歴記憶部１４１に記憶してもよい。
行動履歴制御部１３３は、第１のユーザの行動の履歴を示す行動履歴情報を行動履歴記憶部１４２に記憶する。
図４は、図１に示す行動履歴制御部の構成を示すブロック図である。図４に示す行動履歴制御部１３３は、音声認識部１３３１、発話内容切り出し部１３３２、発話属性特定部１３３３及び行動履歴蓄積制御部１３３４を備える。
音声認識部１３３１は、音声取得部１２によって取得された音声情報を音声認識することにより、第１のユーザが発話した文字列を抽出する。
発話内容切り出し部１３３２は、音声認識部１３３１によって抽出された文字列を意味のある発話内容毎に切り出す。
発話属性特定部１３３３は、発話内容に応じて分類するための発話属性と、文字列とを対応付けた発話属性データベース（不図示）に基づいて、発話内容切り出し部１３３２によって切り出された各文字列に対して、発話内容に応じて分類するための発話属性を特定する。なお、記憶部１４が、発話属性データベースを備えてもよい。例えば、「良くやった」という文字列には、「賞賛」という発話属性が対応付けられ、「これからも頑張って」という文字列には、「激励」という発話属性が対応付けられている。また、「賞賛」という発話属性には、例えば、「上出来だ」及び「すばらしい」などの文字列が対応付けられ、「激励」という発話属性には、例えば、「この調子で」及び「このままで」などの文字列が対応付けられる。なお、発話属性特定部１３３３は、切り出された文字列に対応する発話属性が発話属性データベースに存在しない場合、当該文字列を破棄してもよい。
行動履歴蓄積制御部１３３４は、第１のユーザの機嫌が良いと推定される状態を検出した場合、第１のユーザが発話した時刻と、切り出した文字列と、特定した発話属性とを対応付けた行動履歴情報を行動履歴記憶部１４２に蓄積する。
行動履歴記憶部１４２は、切り出した各文字列と、発話内容に応じて分類するための発話属性とを対応付けた行動履歴情報を記憶する。
図５は、本実施の形態における行動履歴蓄積制御部によって蓄積される行動履歴情報の一例を示す図である。
図５に示すように、行動履歴情報は、第１のユーザが発話した時刻と、発話者を特定する情報と、発話した時点の発話者の快度と、発話文字列と、発話属性とを対応付けている情報である。発話者を特定する情報は、第１のユーザを識別するためのユーザＩＤであってもよい。快度は、機嫌判定履歴記憶部１４１から取得される。すなわち、行動履歴蓄積制御部１３３４は、発話した時刻と同じ時刻に対応する快度を機嫌判定履歴記憶部１４１から読み出す。なお、発話した時刻と同じ時刻に対応する快度が機嫌判定履歴記憶部１４１に存在しない場合、行動履歴蓄積制御部１３３４は、発話した時刻の１つ前の時刻又は発話した時刻の１つ後の時刻に対応する快度を読み出してもよい。例えば、時刻「１２：５０：１３」に対応する快度が機嫌判定履歴記憶部１４１に存在しない場合、行動履歴蓄積制御部１３３４は、時刻「１２：５０：１５」に対応する快度を読み出してもよい。発話文字列は、発話内容切り出し部１３３２によって切り出された文字列である。
なお、行動履歴蓄積制御部１３３４は、発話した時刻から所定時間前の快度を機嫌判定履歴記憶部１４１から読み出してもよい。また、行動履歴蓄積制御部１３３４は、発話した時刻から所定時間後の快度を機嫌判定履歴記憶部１４１から読み出してもよい。さらに、行動履歴蓄積制御部１３３４は、発話した時刻を基準とする所定時間幅内の複数の快度を機嫌判定履歴記憶部１４１から読み出し、読み出した複数の快度の平均を行動履歴情報の快度としてもよい。なお、所定時間幅は、例えば、発話した時刻と、発話した時刻から所定時間前の時刻との期間を示す。
例えば、行動履歴蓄積制御部１３３４は、時刻「１２：５０：００」と、発話者である第１のユーザを特定する情報と、快度「３．０」と、発話文字列「良くやった」と、発話属性「賞賛」とを対応付けた行動履歴情報を記憶する。
なお、本実施の形態では、行動履歴蓄積制御部１３３４は、快度が３．０以上である行動履歴情報を行動履歴記憶部１４２に蓄積する。行動履歴蓄積制御部１３３４は、機嫌が良いと判定された場合、すなわち、快度が０以上である場合の行動履歴情報を行動履歴記憶部１４２に蓄積してもよい。快度が所定値以上である行動履歴情報が行動履歴記憶部１４２に蓄積されることにより、行動履歴記憶部１４２に記憶する情報量を削減することができる。
理由推定部１３４は、機嫌判定部１３２によって第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザの行動の履歴を示す行動履歴情報に基づいて第１のユーザの機嫌が良い理由を推定する。理由推定部１３４は、機嫌判定部１３２によって第１のユーザの機嫌が良いと推定される状態が検出された場合、第１のユーザの行動の履歴を示す行動履歴情報を行動履歴記憶部１４２から取得する。
理由推定データベース１４３は、発話属性と、発話属性から推定される機嫌が良い理由とを対応付けて記憶する。
図６は、本実施の形態における理由推定データベースに記憶される理由情報の一例を示す図である。例えば、「賞賛」という発話属性には、「褒める」及び「絶賛する」などの第１のユーザの機嫌が良い理由が対応付けられ、「激励」という発話属性には、「励ます」及び「褒める」などの第１のユーザの機嫌が良い理由が対応付けられている。
理由推定部１３４は、理由推定データベース１４３から、行動履歴情報に含まれる発話属性に対応付けられている理由を読み出す。これにより、理由推定部１３４は、第１のユーザの機嫌が良い理由を推定することができる。
なお、１つの発話属性に対して少なくとも１つの理由が対応付けられており、理由推定データベース１４３は、発話属性と、互いに異なる複数の理由とを対応付けて記憶してもよい。この場合、理由推定部１３４は、第１のユーザの機嫌が良い期間における互いに異なる複数の発話属性を行動履歴情報から抽出し、抽出した複数の発話属性のそれぞれに対応付けられている複数の理由の中から最も多い理由を理由推定データベースから読み出してもよい。例えば、理由推定部１３４は、第１のユーザの機嫌が良いと判定された時点から所定時間前までの期間のうち、快度が３．０以上である発話属性を行動履歴記憶部１４２から抽出する。図６において、「賞賛」及び「激励」という２つの発話属性が行動履歴記憶部１４２から抽出された場合、「賞賛」及び「激励」には、「褒める」という理由が２つあるので、理由推定部１３４は、第１のユーザの機嫌が良い理由として、「褒める」を理由推定データベース１４３から読み出す。
なお、理由推定部１３４は、抽出した複数の発話属性のそれぞれに対応付けられている複数の理由の中から、ランダムに１つの理由を読み出してもよい。また、理由に優先順位を設けてもよく、理由推定部１３４は、抽出した複数の発話属性のそれぞれに対応付けられている複数の理由の中から、最も優先順位の高い理由を読み出してもよい。
送信制御部１３５は、理由推定部１３４によって推定された理由を示す理由情報を、第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持するとともに、理由情報に基づいてタイミングを判定して報知する第２の情報通信装置２へ送信する。
通信部１５は、第２の情報通信装置２へ情報を送信するとともに、第２の情報通信装置２から情報を受信する。通信部１５は、送信制御部１３５による制御に従って、理由情報を第２の情報通信装置２へ送信する。
第２の情報通信装置２は、通信部２１、制御部２２、記憶部２３、報知部２４及び入力部２５を備える。
通信部２１は、第１の情報通信装置１から情報を受信するとともに、第１の情報通信装置１へ情報を送信する。通信部２１は、第１の情報通信装置１によって送信された理由情報を受信する。
制御部２２は、例えばＣＰＵであり、第２の情報通信装置２全体を制御する。制御部２２は、タイミング判定部２２１を備える。
記憶部２３は、例えば、半導体メモリ又はハードディスクドライブであり、タイミング記憶部２３１を備える。
タイミング記憶部２３１は、第１のユーザの機嫌が良い理由を示す理由情報と、第２のユーザが第１のユーザに接触しても良いか否かを示す接触可否情報とを対応付けて記憶している。
図７は、本実施の形態におけるタイミング記憶部に記憶される接触可否情報の一例を示す図である。図７では、例えば、「褒める」という理由には、第２のユーザが第１のユーザに接触可能なタイミングではないことを示す接触可否情報が対応付けられており、「励ます」という理由には、第２のユーザが第１のユーザに接触可能なタイミングであることを示す接触可否情報が対応付けられており、「叱る」という理由には、第２のユーザが第１のユーザに接触可能なタイミングであることを示す接触可否情報が対応付けられている。
タイミング判定部２２１は、通信部２１によって受信された理由情報に基づいて、現時点が、第２のユーザが第１のユーザに連絡を取るタイミングであるか否かを判定する。タイミング判定部２２１は、第１のユーザの機嫌が良い理由と、第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたタイミング記憶部２３１を参照し、受信した理由情報により示される理由に、第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、第１のユーザと連絡を取るタイミングであると判定する。
すなわち、タイミング判定部２２１は、タイミング記憶部２３１を参照し、通信部２１によって受信された理由情報に対応付けられている接触可否情報が、第２のユーザが第１のユーザに接触可能なタイミングではないことを示す接触可否情報である場合、現時点が、第２のユーザが第１のユーザに接触可能なタイミングではないと判定する。また、タイミング判定部２２１は、タイミング記憶部２３１を参照し、通信部２１によって受信された理由情報に対応付けられている接触可否情報が、第２のユーザが第１のユーザに接触可能なタイミングであることを示す接触可否情報である場合、現時点が、第２のユーザが第１のユーザに接触可能なタイミングであると判定する。
例えば、通信部２１によって受信された理由情報が「褒める」である場合、当該理由情報には、第２のユーザが第１のユーザに接触可能なタイミングではないことを示す接触可否情報が対応付けられているので、タイミング判定部２２１は、現時点が、第２のユーザが第１のユーザに接触可能なタイミングではないと判定する。一方、通信部２１によって受信された理由情報が「励ます」である場合、当該理由情報には、第２のユーザが第１のユーザに接触可能なタイミングであることを示す接触可否情報が対応付けられているので、タイミング判定部２２１は、現時点が、第２のユーザが第１のユーザに接触可能なタイミングであると判定する。
報知部２４は、例えば、液晶表示装置又はタッチパネルディスプレイであり、タイミング判定部２２１によって現時点が、第２のユーザが第１のユーザに接触可能なタイミングであると判定された場合、現時点が、第１のユーザに接触可能なタイミングであることを第２のユーザに報知する。報知部２４は、現時点が、第１のユーザに接触可能なタイミングであることを第２のユーザに報知するための画像を画面上に表示する。
なお、報知部２４は、例えば、スピーカであってもよい。この場合、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであることを第２のユーザに報知するための音声又は警告音を出力する。報知部２４は、例えば、発光ダイオードであってもよい。この場合、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであると判定された場合に点灯し、現時点が、第１のユーザに接触可能なタイミングではないと判定された場合に消灯する。
なお、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであると判定された場合に点灯する光の色と、現時点が、第１のユーザに接触可能なタイミングではないと判定された場合に点灯する光の色とを互いに異ならせてもよい。例えば、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであると判定された場合、青色の光を点灯し、現時点が、第１のユーザに接触可能なタイミングではないと判定された場合、赤色の光を点灯してもよい。
また、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであると判定された場合の発光パターンと、現時点が、第１のユーザに接触可能なタイミングではないと判定された場合の発光パターンとを互いに異ならせてもよい。例えば、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであると判定された場合、光を常時点灯させ、現時点が、第１のユーザに接触可能なタイミングではないと判定された場合、光を点滅させてもよい。
入力部２５は、例えば、タッチパネルディスプレイ、キーボード又はマウスであり、第２のユーザによる種々の入力操作を受け付ける。入力部２５は、第１のユーザと連絡を取るタイミングの報知を依頼するための入力操作を受け付ける。通信部２１は、入力部２５によって第１のユーザと連絡を取るタイミングの報知を依頼するための入力操作が受け付けられると、理由情報を要求するための要求情報を第１の情報通信装置１へ送信する。第１の情報通信装置１の通信部１５は、第２の情報通信装置２によって送信された理由情報を要求するための要求情報を受信する。そして、機嫌判定部１３２は、要求情報が受信されたことをトリガにして第１のユーザの機嫌が良いと推定される状態を検出する。
図８は、本実施の形態における情報通信システムの動作について説明するための第１のフローチャートであり、図９は、本実施の形態における情報通信システムの動作について説明するための第２のフローチャートである。
まず、ステップＳ１において、第１の情報通信装置１の生体情報測定部１１は、第１のユーザの生体情報を測定する。
次に、ステップＳ２において、生体情報取得部１３１は、生体情報測定部１１によって測定された第１のユーザの生体情報を取得する。
次に、ステップＳ３において、機嫌判定部１３２は、生体情報取得部１３１によって取得された生体情報に基づいて第１のユーザの機嫌が良いか否かを判定する。
次に、ステップＳ４において、機嫌判定部１３２は、第１のユーザの機嫌が良いか否かを判定した時刻と、第１のユーザの機嫌が良いか否かとを対応付けた機嫌判定履歴を機嫌判定履歴記憶部１４１に記憶する。ここで、機嫌判定履歴は、第１のユーザの機嫌が良いか否かを判定した時刻と、判定の際に算出した感情状態値の快度の値とを対応付ける。
次に、ステップＳ５において、音声取得部１２は、第２のユーザとは異なる人物と、第１のユーザとが対話する音声情報を取得する。
次に、ステップＳ６において、音声認識部１３３１は、音声取得部１２によって取得された音声情報を音声認識することにより、第１のユーザが発話した文字列を抽出する。
次に、ステップＳ７において、発話内容切り出し部１３３２は、音声認識部１３３１によって抽出された文字列を意味のある発話内容毎に切り出す。
次に、ステップＳ８において、発話属性特定部１３３３は、発話内容切り出し部１３３２によって切り出された文字列に対応する発話属性を発話属性データベースから特定する。発話属性データベースは、発話内容に応じて分類するための発話属性と、文字列とを対応付けて予め記憶している。
次に、ステップＳ９において、行動履歴蓄積制御部１３３４は、音声情報を取得した時刻に対応する第１のユーザの機嫌を示す情報を機嫌判定履歴記憶部１４１から取得する。機嫌判定履歴記憶部１４１が感情状態値の快度の値を記憶している場合、行動履歴蓄積制御部１３３４は、音声情報を取得した時刻に対応する快度の値を機嫌判定履歴記憶部１４１から取得する。
次に、ステップＳ１０において、行動履歴蓄積制御部１３３４は、第１のユーザが発話した時刻と、発話者を特定する情報と、発話した時点の発話者の機嫌を示す情報と、発話文字列と、発話属性とを対応付けた行動履歴情報を行動履歴記憶部１４２に蓄積する。
次に、ステップＳ１１において、機嫌判定部１３２は、第２の情報通信装置２によって送信された理由情報を要求するための要求情報を受信したか否かを判断する。ここで、要求情報を受信していないと判断された場合（ステップＳ１１でＮＯ）、ステップＳ１の処理に戻る。
ステップＳ２１において、第２の情報通信装置２の入力部２５は、第１のユーザと連絡を取るタイミングの報知を依頼するための入力操作を受け付ける。
次に、ステップＳ２２において、通信部２１は、入力部２５によって報知依頼の入力操作が受け付けられると、理由情報を要求するための要求情報を第１の情報通信装置１へ送信する。
要求情報を受信したと判断された場合（ステップＳ１１でＹＥＳ）、ステップＳ１２において、通信部１５は、第２の情報通信装置２によって送信された要求情報を受信する。
次に、ステップＳ１３において、機嫌判定部１３２は、生体情報取得部１３１によって取得された生体情報に基づいて第１のユーザの機嫌が良いか否かを判定する。ここで、第１のユーザの機嫌が良くないと判定された場合（ステップＳ１３でＮＯ）、ステップＳ１の処理に戻る。
一方、第１のユーザの機嫌が良いと判定された場合（ステップＳ１３でＹＥＳ）、ステップＳ１４において、理由推定部１３４は、第１のユーザの行動の履歴を示す行動履歴情報に基づいて第１のユーザの機嫌が良い理由を推定する。このとき、理由推定部１３４は、現在時刻から所定時間内の発話属性を行動履歴記憶部１４２から取得し、取得した発話属性に対応付けられている理由を理由推定データベース１４３から読み出す。これにより、理由推定部１３４は、第１のユーザの機嫌が良い理由を推定する。
次に、ステップＳ１５において、送信制御部１３５は、理由推定部１３４によって推定された理由を示す理由情報を第２の情報通信装置２へ送信する。なお、ステップＳ１５の処理の後、第１の情報通信装置１はステップＳ１の処理に戻る。
次に、ステップＳ２３において、第２の情報通信装置２の通信部２１は、第１の情報通信装置１によって送信された理由情報を受信する。
次に、ステップＳ２４において、タイミング判定部２２１は、通信部２１によって受信された理由情報に基づいて、現時点が、第２のユーザが第１のユーザに接触可能なタイミングであるか否かを判定する。例えば、通信部２１によって受信された理由情報が「褒める」である場合、タイミング判定部２２１は、現時点が、第２のユーザが第１のユーザに接触可能なタイミングではないと判定する。また、例えば、通信部２１によって受信された理由情報が「褒める」以外の理由である場合、タイミング判定部２２１は、現時点が、第２のユーザが第１のユーザに接触可能なタイミングであると判定する。なお、通信部２１によって受信された理由情報が「褒める」以外の理由であっても、タイミング判定部２２１は、現時点が、第２のユーザが第１のユーザに接触可能なタイミングではないと判定する場合もある。
ここで、現時点が、第２のユーザが第１のユーザに接触可能なタイミングではないと判定された場合（ステップＳ２４でＮＯ）、処理が終了される。
一方、現時点が、第２のユーザが第１のユーザに接触可能なタイミングであると判定された場合（ステップＳ２４でＹＥＳ）、ステップＳ２５において、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであることを第２のユーザに報知する。例えば、報知部２４は、現時点が、第１のユーザに接触可能なタイミングであることを第２のユーザに報知するための画像を画面上に表示する。なお、第２のユーザは、現時点が、第１のユーザに接触可能なタイミングであることが報知されると、第１のユーザに接触を図る。このとき、第２のユーザは、何らかの報告事項を第１のユーザに口頭で伝える。なお、第２のユーザは、何らかの報告事項を第１のユーザに電子メールで伝えてもよい。
例えば、第１のユーザが第２のユーザの上司であり、第２のユーザが第１のユーザの部下である場合、第２のユーザは、第１のユーザの機嫌が良いときに、報告事項を伝えることを望む。しかしながら、例えば、他の人物を褒めることにより第１のユーザの機嫌が良くなった場合に、第２のユーザが第１のユーザに報告事項を伝えると、第２のユーザの報告事項が他の人物の報告事項と比較されるおそれがあり、第２のユーザの報告事項が、第１のユーザの機嫌を損ねるおそれがある。
一方、本実施の形態では、単に第１のユーザの機嫌が良いか否かを判定して報知するのではなく、第１のユーザの機嫌が良い理由が推定され、推定された理由に基づいて、現時点が、第１のユーザに接触可能なタイミングであることが第２のユーザに報知される。したがって、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができる。
なお、本実施の形態では、第２の情報通信装置２の制御部２２がタイミング判定部２２１を備え、第２の情報通信装置２の記憶部２３がタイミング記憶部２３１を備えているが、本開示は特にこれに限定されず、第１の情報通信装置１の制御部１３がタイミング判定部を備え、第１の情報通信装置１の記憶部１４がタイミング記憶部を備えてもよい。
この場合、タイミング判定部は、理由推定部１３４によって推定された理由に基づいて、現時点が、第２のユーザが第１のユーザと連絡を取るタイミングであるか否かを判定する。現時点が、第１のユーザと連絡を取るタイミングであると判定された場合、通信部１５は、現時点が、第１のユーザと連絡を取るタイミングであることを通知する通知情報を第２の情報通信装置２へ送信する。第２の情報通信装置２の通信部２１は、第１の情報通信装置１によって送信された通知情報を受信する。そして、報知部２４は、通信部２１によって通知情報が受信された場合、現時点が、第１のユーザと連絡を取るタイミングであることを第２のユーザに報知する。
また、本実施の形態では、音声取得部１２は、第２のユーザとは異なる人物と、第１のユーザとが対話する音声情報を取得しているが、本開示は特にこれに限定されず、音声取得部１２は、第２のユーザと第１のユーザとが対話する音声情報を取得してもよい。この場合、通信部１５は、第１のユーザと連絡を取るタイミングの報知を希望する第３のユーザに所持される第３の情報通信装置へ理由情報を送信してもよい。
以上、本開示の装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。
本開示に係る情報処理方法、情報処理装置及び情報処理プログラムは、第１のユーザと良好に連絡を取ることが可能なタイミングを第２のユーザに報知することができ、他の情報処理装置へ情報を送信する情報処理方法、情報処理装置及び情報処理プログラムとして有用である。
１ 第１の情報通信装置
２ 第２の情報通信装置
３ ネットワーク
１１ 生体情報測定部
１２ 音声取得部
１３ 制御部
１４ 記憶部
１５ 通信部
２１ 通信部
２２ 制御部
２３ 記憶部
２４ 報知部
２５ 入力部
１３１ 生体情報取得部
１３２ 機嫌判定部
１３３ 行動履歴制御部
１３４ 理由推定部
１３５ 送信制御部
１４１ 機嫌判定履歴記憶部
１４２ 行動履歴記憶部
１４３ 理由推定データベース
２２１ タイミング判定部
２３１ タイミング記憶部
１３３１ 音声認識部
１３３２ 発話内容切り出し部
１３３３ 発話属性特定部
１３３４ 行動履歴蓄積制御部

Claims (7)

  1. 第２の情報処理装置が、
    第１の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する前記第２の情報処理装置へ、推定した前記理由を示す理由情報を送信する前記第１の情報処理装置によって送信された前記理由情報を受信し、
    受信した前記理由情報に基づいて、現時点が、前記第１のユーザと連絡を取るタイミングであるか否かを判定し、
    現時点が、前記第１のユーザと連絡を取るタイミングであると判定した場合、現時点が、前記第１のユーザと連絡を取るタイミングであることを前記第２のユーザに報知し、
    前記判定は、前記第１のユーザの前記機嫌が良い理由と、前記第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたテーブルを参照し、受信した前記理由情報により示される理由に、前記第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、前記第１のユーザと連絡を取るタイミングであると判定する、
    情報処理方法。
  2. 第１の情報処理装置が、
    前記第１の情報処理装置を保持する第１のユーザの生体情報を取得し、
    前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、
    前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、
    前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定した前記理由を示す理由情報を送信し、
    前記第２のユーザとは異なる人物と、前記第１のユーザとが対話する音声情報を取得し、
    前記音声情報を音声認識することにより、前記第１のユーザが発話した文字列を抽出し、
    抽出した前記文字列を意味のある発話内容毎に切り出し、
    切り出した各文字列に対して、前記発話内容に応じて分類するための発話属性を特定し、
    前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザが発話した時刻と、切り出した前記文字列と、特定した前記発話属性とを対応付けた前記行動履歴情報を行動履歴記憶部に記憶する、
    情報処理方法。
  3. 前記理由の推定は、前記発話属性と、前記発話属性から推定される前記機嫌が良い理由とを対応付けて記憶する推定理由記憶部から、前記行動履歴情報に含まれる前記発話属性に対応付けられている前記理由を読み出す、
    請求項２記載の情報処理方法。
  4. 前記推定理由記憶部は、前記発話属性と、互いに異なる複数の理由とを対応付けて記憶しており、
    前記理由の推定は、前記第１のユーザの前記機嫌が良い期間における互いに異なる複数の発話属性を前記行動履歴記憶部から読み出し、読み出した前記複数の発話属性のそれぞれに対応付けられている前記複数の理由の中から最も多い理由を前記推定理由記憶部から読み出す、
    請求項３記載の情報処理方法。
  5. 第１の情報処理装置が、
    前記第１の情報処理装置を保持する第１のユーザの生体情報を取得し、
    前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、
    前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、
    前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する第２の情報処理装置へ、推定した前記理由を示す理由情報を送信し、
    前記第２の情報処理装置によって送信された前記理由情報を要求するための要求情報を受信し、
    前記検出は、前記要求情報が受信されたことをトリガにして前記第１のユーザの機嫌が良いと推定される状態を検出する、
    情報処理方法。
  6. プロセッサと、
    通信部と、
    を備え、
    前記プロセッサは、
    他の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する情報処理装置へ、推定した前記理由を示す理由情報を送信する前記他の情報処理装置によって送信された前記理由情報を前記通信部に受信させ、
    受信した前記理由情報に基づいて、現時点が、前記第１のユーザと連絡を取るタイミングであるか否かを判定し、
    現時点が、前記第１のユーザと連絡を取るタイミングであると判定した場合、現時点が、前記第１のユーザと連絡を取るタイミングであることを前記第２のユーザに報知し、
    前記判定は、前記第１のユーザの前記機嫌が良い理由と、前記第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたテーブルを参照し、受信した前記理由情報により示される理由に、前記第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、前記第１のユーザと連絡を取るタイミングであると判定する、
    情報処理装置。
  7. 第２の情報処理装置が備えるプロセッサに、
    第１の情報処理装置を保持する第１のユーザの生体情報を取得し、前記生体情報に基づいて前記第１のユーザの機嫌が良いと推定される状態を検出し、前記第１のユーザの機嫌が良いと推定される状態を検出した場合、前記第１のユーザの行動の履歴を示す行動履歴情報に基づいて前記第１のユーザの前記機嫌が良い理由を推定し、前記第１のユーザと連絡を取るタイミングの報知を希望する第２のユーザが保持する前記第２の情報処理装置へ、推定した前記理由を示す理由情報を送信する前記第１の情報処理装置によって送信された前記理由情報を通信部に受信させ、
    受信した前記理由情報に基づいて、現時点が、前記第１のユーザと連絡を取るタイミングであるか否かを判定し、
    現時点が、前記第１のユーザと連絡を取るタイミングであると判定した場合、現時点が、前記第１のユーザと連絡を取るタイミングであることを前記第２のユーザに報知し、
    前記判定は、前記第１のユーザの前記機嫌が良い理由と、前記第１のユーザと連絡を取っても良いか否かを示す情報とを対応付けたテーブルを参照し、受信した前記理由情報により示される理由に、前記第１のユーザと連絡を取っても良いことを示す情報が対応付けられている場合、現時点が、前記第１のユーザと連絡を取るタイミングであると判定する、
    処理を実行させるための情報処理プログラム。
JP2017189274A 2017-09-29 2017-09-29 情報処理方法、情報処理装置及び情報処理プログラム Active JP6906197B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017189274A JP6906197B2 (ja) 2017-09-29 2017-09-29 情報処理方法、情報処理装置及び情報処理プログラム
CN201811065552.5A CN109599127A (zh) 2017-09-29 2018-09-13 信息处理方法、信息处理装置以及信息处理程序
US16/137,247 US10629225B2 (en) 2017-09-29 2018-09-20 Information processing method, information processing device, and recording medium recording information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017189274A JP6906197B2 (ja) 2017-09-29 2017-09-29 情報処理方法、情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019068153A JP2019068153A (ja) 2019-04-25
JP6906197B2 true JP6906197B2 (ja) 2021-07-21

Family

ID=65897352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017189274A Active JP6906197B2 (ja) 2017-09-29 2017-09-29 情報処理方法、情報処理装置及び情報処理プログラム

Country Status (3)

Country Link
US (1) US10629225B2 (ja)
JP (1) JP6906197B2 (ja)
CN (1) CN109599127A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384558B2 (ja) * 2019-01-31 2023-11-21 株式会社日立システムズ 有害行為検出システムおよび方法
CN116963667A (zh) * 2021-03-15 2023-10-27 三菱电机株式会社 情绪推测装置以及情绪推测方法
US11931127B1 (en) 2021-04-08 2024-03-19 T-Mobile Usa, Inc. Monitoring users biological indicators using a 5G telecommunication network
CN114343585B (zh) * 2022-01-13 2023-09-29 平安科技（深圳）有限公司 认知和行为障碍的预警方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
JP4794846B2 (ja) * 2004-10-27 2011-10-19 キヤノン株式会社 推定装置、及び推定方法
JP2006178063A (ja) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc 対話処理装置
JP4742583B2 (ja) * 2004-12-27 2011-08-10 日本電気株式会社 電子メール送信装置、情報提供装置及び電子メール送信装置の制御方法
JP5581581B2 (ja) 2008-10-31 2014-09-03 日本電気株式会社 通信端末装置、情報通信システム、情報通信方法および情報通信プログラム
CN103366760A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种数据处理方法、装置及系统
KR20130137940A (ko) * 2012-06-08 2013-12-18 삼성전자주식회사 모바일 디바이스에서 메시지 발송 제어 방법과 그를 위한 모바일 디바이스
US9483736B2 (en) * 2012-10-23 2016-11-01 Empire Technology Development Llc Filtering user actions based on user's mood
US9046884B2 (en) * 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
JP2014134922A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9436756B2 (en) * 2013-01-28 2016-09-06 Tata Consultancy Services Limited Media system for generating playlist of multimedia files
JP5735592B2 (ja) * 2013-08-28 2015-06-17 ヤフー株式会社 情報処理装置、制御方法および制御プログラム
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
US9955902B2 (en) * 2015-01-29 2018-05-01 Affectomatics Ltd. Notifying a user about a cause of emotional imbalance
WO2016170810A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
CN105391843A (zh) * 2015-09-28 2016-03-09 努比亚技术有限公司 终端设备、信息发布方法及信息发布系统
CN106683688B (zh) * 2015-11-05 2020-10-13 中国移动通信集团公司 一种情绪检测方法及装置
CN108351846B (zh) * 2015-11-13 2022-03-01 索尼公司 通信系统和通信控制方法
US10878307B2 (en) * 2016-12-23 2020-12-29 Microsoft Technology Licensing, Llc EQ-digital conversation assistant

Also Published As

Publication number Publication date
US10629225B2 (en) 2020-04-21
CN109599127A (zh) 2019-04-09
US20190103128A1 (en) 2019-04-04
JP2019068153A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6906197B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN109460752B (zh) 一种情绪分析方法、装置、电子设备及存储介质
US9011352B2 (en) Fall detection and/or prevention systems
EP2713881B1 (en) Method and system for assisting patients
CN107209807B (zh) 疼痛管理可穿戴设备
US10448887B2 (en) Biometric customer service agent analysis systems and methods
US10734103B2 (en) Stress management system and stress management method
US9113837B2 (en) Drowsiness detection method and associated device
JP2018515155A5 (ja)
JP2008023127A (ja) 生体情報推定装置及びそれを搭載した電子機器
JP2012249797A (ja) ストレス解析システム、ストレス解析プログラムおよびストレス解析方法
KR101579585B1 (ko) 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체
JP2009233027A (ja) 睡眠改善装置及び睡眠改善プログラム
JP2017121286A (ja) 情動推定システム、情動推定方法および情動推定プログラム
US20170319074A1 (en) System and method for providing an indication of the well-being of an individual
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
JP2017100221A (ja) コミュニケーションロボット
JP4631464B2 (ja) 体調判定装置およびそのプログラム
JP2019051129A (ja) 嚥下機能解析システム及びプログラム
JP2018503187A (ja) 被験者とのインタラクションのスケジューリング
WO2018168604A1 (en) Method, system, storage medium and computer system for determining fall response of subject
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
KR102270637B1 (ko) 보호자와의 상호작용에 기반한 반려동물 행동 분석 방법
JP7416245B2 (ja) 学習装置、学習方法及び学習プログラム
TW202022891A (zh) 互動式健康狀態評估系統及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210615

R151 Written notification of patent or utility model registration

Ref document number: 6906197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151