JPWO2019021653A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2019021653A1
JPWO2019021653A1 JP2019532424A JP2019532424A JPWO2019021653A1 JP WO2019021653 A1 JPWO2019021653 A1 JP WO2019021653A1 JP 2019532424 A JP2019532424 A JP 2019532424A JP 2019532424 A JP2019532424 A JP 2019532424A JP WO2019021653 A1 JPWO2019021653 A1 JP WO2019021653A1
Authority
JP
Japan
Prior art keywords
target user
information processing
sensing data
processing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019532424A
Other languages
English (en)
Inventor
耕太 相澤
耕太 相澤
脇田 能宏
能宏 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019021653A1 publication Critical patent/JPWO2019021653A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • A61B5/4266Evaluating exocrine secretion production sweat secretion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)

Abstract

【課題】推定されたユーザの状態において生じ得るニーズに対応することが可能な、情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置を提供する。【選択図】図6

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、ユーザの生体情報等のセンシングデータを検出し、検出したセンシングデータに基づき推定されたユーザの状態に関する情報を提供する技術が開発されている。例えば、下記特許文献1には、複数のユーザから得られたセンシングデータに基づいて、複数のユーザの状態を推定し、推定した複数のユーザの状態を示す情報を生成する情報処理装置が開示されている。
特開2014−134922号公報
上記特許文献1に開示された技術においては、基本的に、センシングデータに基づいてユーザの状態を推定し、推定した結果をユーザに向けて出力するだけであり、推定された状態において生じ得るユーザのニーズに対応するものではなかった。
そこで、本開示では、推定されたユーザの状態において生じ得るニーズに対応することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定することと、推定結果に対応する出力を行うことと、を含む、情報処理方法が提供される。
さらに、本開示によれば、コンピュータに、センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する機能と、推定結果に対応する出力を行う機能と、を実行させる、プログラムが提供される。
以上説明したように本開示によれば推定されたユーザの状態において生じ得るニーズに対応することが可能な、情報処理装置、情報処理方法及びプログラムを提供することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システム1の構成例を説明する説明図である。 第1の実施形態に係るウェアラブルデバイス10の構成の一例を示すブロック図である。 同実施形態に係るPPGセンサ部122を説明する説明図である。 同実施形態に係るPPGセンサ部122により得られる脈波信号の一例を示す説明図である。 同実施形態に係るウェアラブルデバイス10の外観の一例を示す説明図である。 同実施形態に係るサーバ30の構成の一例を示すブロック図である。 同実施形態に係る推定部340により得られるHRV指標の一例を示す説明図(その1)である。 同実施形態に係る推定部340により得られるHRV指標の一例を示す説明図(その2)である。 同実施形態に係る学習部342による機械学習の一例を説明するための説明図(その1)である。 同実施形態に係る学習部342による機械学習の一例を説明するための説明図(その2)である。 同実施形態に係る端末50の構成の一例を示すブロック図である。 同実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る端末50の設定画面800の一例を示す説明図である。 同実施形態の変形例1を説明する説明図である。 同実施形態の変形例2の情報処理方法の一例を説明するフローチャートである。 同実施形態の変形例2に係る表示灯700の一例を示す説明図である。 同実施形態の変形例2に係る表示画面802の一例を示す説明図である。 同実施形態の変形例3に係る表示画面804の一例を示す説明図である。 同実施形態の変形例3に係る表示画面806の一例を示す説明図である。 本開示の第2の実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る情報処理の一例を説明する説明図(その1)である。 同実施形態に係る情報処理の一例を説明する説明図(その2)である。 同実施形態の変形例1に係る情報処理の一例を説明する説明図(その1)である。 同実施形態の変形例1に係る情報処理の一例を説明する説明図(その2)である。 同実施形態の変形例3に係る情報処理の一例を説明する説明図(その1)である。 同実施形態の変形例3に係る情報処理の一例を説明する説明図(その2)である。 本開示の第3の実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る情報処理の一例を説明する説明図である。 本開示の一実施形態に係る情報処理装置900のハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1. 本開示の実施形態に係る情報処理システム1の概要
2. 本開示に係る実施形態を創作するに至るまでの技術的背景
3. 第1の実施形態
3.1 ウェアラブルデバイス10の詳細構成
3.2 サーバ30の詳細構成
3.3 制御部330の詳細構成
3.4 端末50の詳細構成
3.5 情報処理方法
3.6 変形例1
3.7 変形例2
3.8 変形例3
4. 第2の実施形態
4.1 情報処理方法
4.2 変形例1
4.3 変形例2
4.4 変形例3
4.5 変形例4
5. 第3の実施形態
5.1 情報処理方法
5.2 変形例1
5.3 変形例2
6.まとめ
7.ハードウェア構成について
8.補足
<<1. 本開示の実施形態に係る情報処理システム1の概要>>
まずは、本開示の実施形態に係る情報処理システム1の概略について、図1を参照して説明する。図1は、本実施形態に係る情報処理システム1の構成例を説明する説明図である。
図1に示すように、本実施形態に係る情報処理システム1は、ウェアラブルデバイス10、サーバ30、及び端末50を含み、これらは互いにネットワーク70を介して通信可能に接続される。詳細には、ウェアラブルデバイス10、サーバ30、及び端末50は、図示しない基地局等(例えば、携帯電話機の基地局、無線LANのアクセスポイント等)を介してネットワーク70に接続される。なお、ネットワーク70で用いられる通信方式は、有線又は無線(例えば、WiFi(登録商標)、Bluetooth(登録商標)等)を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。
(ウェアラブルデバイス10)
ウェアラブルデバイス10は、ユーザの身体の一部(耳たぶ、首、腕、手首、足首等)に装着可能なデバイス、もしくは、ユーザの身体に挿入されたインプラントデバイス(インプラント端末)であることができる。より具体的には、ウェアラブルデバイス10は、HMD(Head Mounted Display)型、眼鏡型、イヤーデバイス型、アンクレット型、腕輪(リストバンド)型、首輪型、アイウェア型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスであることができる。さらに、ウェアラブルデバイス10は、例えば、ユーザの脈拍による脈波信号を検出するPPG(Photo Plethysmo Graphy)センサ部122等のセンサ類を内蔵するセンサ部120を有する(図2 参照)。本実施形態においては、このようなセンサ部120により取得されたセンシングデータに基づいて、ユーザの身体状態や精神状態(以下の説明においては、ユーザの身体状態及び精神状態を併せて「情動」と呼ぶ)や、運動状態、現在位置等を推定することができる。また、本実施形態においては、ウェアラブルデバイス10の有するセンサ部120により取得されたセンシングデータに基づいて、ユーザの消費エネルギー、歩数、運動量、睡眠状態等を推定してもよい。なお、以下の説明においては、ウェアラブルデバイス10は、腕輪(リストバンド)型ウェアラブルデバイスであるものとする。また、ウェアラブルデバイス10の詳細については後述する。
(サーバ30)
サーバ30は、例えば、コンピュータ等により構成される。サーバ30は、例えば、ウェアラブルデバイス10で取得したセンシングデータを処理したり、当該処理により得られた情報を他のデバイス(例えば、端末50)に出力したりする。なお、サーバ30の詳細については後述する。
(端末50)
端末50は、ユーザによって使用され、もしくは、ユーザの近傍に設置され、サーバ30により得られた情報をユーザに向けて出力するための端末である。また、端末50は、ユーザからの入力された情報を受け付け、受け付けた当該情報をセンシングデータとしてサーバ30へ出力してもよい。例えば、端末50は、タブレット型PC(Personal Computer)、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC、HMD等のデバイスであることができる。さらに、端末50は、ユーザに向けて表示を行う表示部(図示省略)や、ユーザからの操作を受け付ける操作部(図示省略)や、ユーザに向けて音声出力を行うスピーカ(図示省略)、周囲の音声を取得するマイクロフォン(図示省略)等を有する。また、本実施形態においては、端末50は、上述のようなPCに限定されるものではなく、ユーザに情報を出力したり、ユーザのために制御されることができるデバイスであれば良く、例えば、表示灯700(図16 参照)や空調設備602(図28 参照)であってもよい。
なお、本実施形態においては、端末50に、上述のウェアラブルデバイス10の有するセンサ部120が設けられていてもよく、もしくは、上記センサ部120は、ウェアラブルデバイス10や端末50等とは別体のものとして設けられていてもよい。
なお、図1においては、本実施形態に係る情報処理システム1は、1つのウェアラブルデバイス10及び端末50を含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム1は、複数のウェアラブルデバイス10及び端末50を含んでもよい。さらに、本実施形態に係る情報処理システム1は、例えば、ウェアラブルデバイス10からサーバ30へ情報を送信する際の中継装置のような他の通信装置等を含んでもよい。また、本実施形態に係る情報処理システム1は、ウェアラブルデバイス10を含んでいなくてもよく、このような場合、例えば、端末50がウェアラブルデバイス10のように機能し、端末50で取得したセンシングデータがサーバ30に出力される。なお、以下の説明においては、センシングデータとは、電磁気的、光学的、機械的、熱的等の特性を検出することにより特定の現象を測定する測定装置からのデータのことを意味するだけでなく、さらに、ユーザに関するコンテキスト情報(スケジュール、性別や年齢等の情報)を含むものとする。
<<2. 本開示に係る実施形態を創作するに至るまでの技術的背景>>
以上、本開示の実施形態に係る情報処理システム1、当該情報処理システム1に含まれるウェアラブルデバイス10、サーバ30、及び端末50の概要について説明した。次に、本開示に係る各実施形態の詳細を説明する前に、本発明者らが本開示に係る実施形態を創作するに至るまでの技術的背景について説明する。
これまでも、ユーザに装着されたウェアラブルデバイスに設けられたセンサ部で取得された各種センシングデータに基づいて、ユーザの情動等を推定する情報処理システムは存在した。例えば、上記センサ部がユーザの脈拍を検出するセンサであった場合には、上記情報処理システムは、検出した脈拍に基づいて、ユーザの運動量等を推定し、推定した結果をユーザに向けて通知する。そして、通知された推定結果を参照して、ユーザは、自身の体調等を管理したりする。すなわち、上記情報処理システムにおいては、センシングデータに基づいてユーザの状態を推定し、推定した結果をユーザに向けて出力するだけであった。
また、職場等の複数のユーザからなる集団において上記情報処理システムが使用される場合であっても、上記情報処理システムは、当該職場に属する各ユーザの状態を推定し、推定した結果を、本人もしくは当該職場の他のユーザに通知するだけであった。
このような状況において、本発明者らは、上記情報処理システムの利便性を認めつつも、より情報処理システムの利便性を高めることについて鋭意検討を重ねてきた。そのような検討の中で、本発明者らは、ユーザの状態を推定するだけでなく、推定された状態において生じ得るユーザのニーズに対応することにより、情報処理システムの利便性をより高めることができることに想到した。
そこで、本発明者らは、上記想到を一着眼点として、本開示に係る実施形態を創作するに至った。すなわち、以下に説明する本開示に係る実施形態によれば、推定されたユーザの状態において生じ得るニーズに対応することが可能な情報処理システム1を提供することができる。以下、このような本開示に係る実施形態の詳細を順次説明する。
なお、以下の説明においては、ユーザとは、本開示の実施形態に係る情報処理システム1を利用する利用者全般のことを意味し、対象ユーザとは、ユーザのうち、ウェアラブルデバイス10のセンサ部120等により、状態等を検知される対象者のことを意味する。また、上記ユーザには、上記対象ユーザが含まれるものとする。
<<3. 第1の実施形態>>
まずは、本開示に係る第1の実施形態について説明する。本実施形態においては、情報処理システム1は、センシングデータに基づいて、対象ユーザの状態を推定し、推定結果に応じて、ユーザが使用する端末50等を制御する。より詳細には、本実施形態においては、対象ユーザに装着されたウェアラブルデバイス10のセンサ部120によるセンシングデータに基づき、当該対象ユーザの情動(集中度)を推定し、推定結果に応じて、当該対象ユーザの使用するスマートフォン(端末50)を制御する。
より具体的には、対象ユーザが、オフィス内において作業を開始し、集中度が高い状態にある場合を考える。このような場合、当該対象ユーザは、作業の中断の原因になることから、自身が使用するスマートフォン(端末50)が着信によりアラームが鳴動することを不快に感じることが多い。そこで、本実施形態においては、対象ユーザが集中度の高い状態にあることが推定された場合には、当該対象ユーザのスマートフォンが着信によりアラームが鳴動しないように制御する。その結果、当該対象ユーザは、集中して作業を継続することができ、当該対象ユーザのパフォーマンスを向上させることができる。すなわち、本実施形態においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように端末50等を制御する。従って、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。なお、以下の説明においては、集中度が高い状態とは、人が1つの物事に気を向けて取り組んでいる精神状態のことを意味する。
まずは、本実施形態に係る情報処理システム1に含まれる各装置の詳細を説明する。詳細には、先に説明したように、本実施形態に係る情報処理システム1は、ウェアラブルデバイス10と、サーバ30と、端末50とを含む。
<3.1 ウェアラブルデバイス10の詳細構成>
まずは、本開示の実施形態に係るウェアラブルデバイス10の詳細構成について、図2から図5を参照して説明する。図2は、本実施形態に係るウェアラブルデバイス10の構成の一例を示すブロック図であり、図3は、本実施形態に係るPPGセンサ部122を説明する説明図である。また、図4は、本実施形態に係るPPGセンサ部122により得られる脈波信号の一例を示す説明図であり、図5は、本実施形態に係るウェアラブルデバイス10の外観の一例を示す説明図である。
ウェアラブルデバイス10は、図2に示すように、入力部100と、出力部110と、センサ部120と、制御部130と、通信部150と、記憶部160とを主に有する。以下に、ウェアラブルデバイス10の各機能部の詳細について説明する。
(入力部100)
入力部100は、ウェアラブルデバイス10への対象ユーザからのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部100は、タッチパネル、ボタン、マイクロフォン等により実現される。
(出力部110)
出力部110は、対象ユーザに対して情報を提示するためのデバイスであり、例えば、対象ユーザに向けて、画像、音声、光、又は、振動等により各種の情報を出力する。より具体的には、出力部110は、対象ユーザにメール等の受信を通知したり、後述するサーバ30から提供される情報を画面表示したりすることができる。当該出力部110は、ディスプレイ、スピーカ、イヤフォン、発光素子(例えば、Light Emitting Diode(LED))、振動モジュール等により実現される。なお、出力部110の機能の一部は、端末50により提供されてもよい。
(センサ部120)
センサ部120は、対象ユーザの身体に装着されたウェアラブルデバイス10内に設けられ、対象ユーザの状態を検出する各種センサを有する。詳細には、当該センサ部120は、対象ユーザの脈拍又は心拍を検出して、心拍又は脈拍の時系列データ(脈波信号)を取得するPPGセンサ部(拍動センサ)122や、対象ユーザの動きを検出するモーションセンサ部124等を有する。
−PPGセンサ部122−
PPGセンサ部122は、対象ユーザの脈波信号を検出するために、当該対象ユーザの皮膚等の身体の一部(例えば、両腕、手首、足首等)に装着される生体センサである。ここで、脈波信号とは、心臓の筋肉が一定のリズムで収縮すること(拍動、なお、単位時間の心臓における拍動回数を心拍数と呼ぶ)により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動による波形のことである。図3に示すように、PPGセンサ部122は、脈波信号を取得するために、手や腕、脚等の対象ユーザの測定部位200内の血管202に光を照射し、当該対象ユーザの血管中を移動する物質や静止している生体組織で散乱された光を検出する。照射した光は血管202中の赤血球により吸収されることから、光の吸収量は、測定部位200内の血管202に流れる血液量に比例する。従って、PPGセンサ部122は、散乱された光の強度を検出することにより流れる血液量の変化を知ることができる。さらに、この血流量の変化から、拍動の波形、すなわち、図4に示すような脈波信号を検出することができる。なお、このような方法は、光電容積脈波(PhotoPlethysmoGraphy;PPG)法と呼ばれる。
詳細には、PPGセンサ部122は、コヒーレント光を照射することができる、小型レーザやLED(Light Emitting Diode)(図示省略)等を内蔵し、例えば850nm前後のような所定の波長を持つ光を照射する。なお、本実施形態においては、PPGセンサ部122が照射する光の波長は、適宜選択することが可能である。さらに、PPGセンサ部122は、例えばフォトダイオード(Photo Detector:PD)を内蔵し、検出した光の強度を電気信号に変換することにより、脈波信号を取得する。なお、PPGセンサ部122は、PDの代わりに、CCD(Charge Coupled Devices)型センサ、CMOS(Complementary Metal Oxide Semiconductor)型センサ等を内蔵してもよい。また、PPGセンサ部122には、ユーザの測定部位200からの光を検出するために、レンズやフィルタ等の光学系機構が含まれていてもよい。
そして、PPGセンサ部122により、図4に示されるような複数のピークを有する時系列データとして脈波信号を検出することができる。以下の説明において、図4に示されるような脈波信号に現れる複数のピークのピーク間隔を、脈拍間隔(Pulse Rate Interval:PPI)と呼ぶ。PPIの値は、PPGセンサ部122により検出された脈波信号を処理することにより、取得することができる。各PPIの値は、時間とともに変動するものの、対象ユーザの状態が一定に維持されている間においては、ほぼ正規分布することが知られている。そこで、PPI値のデータ群を統計的に処理する(例えば、PPI値の標準偏差を算出する)ことにより、対象ユーザの身体状態の指標となる各種HRV(Heart Rate Variability)指標を算出することができる。なお、各種HRV指標の詳細については後述する。
本実施形態においては、上述のPPG法を利用して脈波信号を取得することに限定されるものではなく、他の方法によっても脈波信号を取得してもよい。例えば、本実施形態においては、センサ部120は、レーザドップラー血流計測法を用いて脈波を検出してもよい。当該レーザドップラー血流計測法は、以下のような現象を利用して血流を測定する方法である。詳細には、レーザ光を対象ユーザの測定部位200に照射した際には、当該対象ユーザの血管202内に存在する散乱物質(主に赤血球)が移動していることにより、ドップラーシフトを伴った散乱光が生じる。そして、当該ドップラーシフトを伴った散乱光が、対象ユーザの測定部位200に存在する、移動しない組織による散乱光と干渉し、ビート状の強度変化が観測されることとなる。そこで、当該レーザドップラー血流計測法は、ビート信号の強度と周波数を解析することにより、血流を測定することができる。
なお、以下の説明においては、ウェアラブルデバイス10のセンサ部120には、上述のPPG法を利用するPPGセンサ部122が設けられるものとして説明する。また、本実施形態においては、PPGセンサ部122の代わりに、対象ユーザの身体に貼り付けられた電極(図示省略)を介して当該対象ユーザの心電図を検出するECG(Electrocardiogram)センサ部(図示省略)が設けられていてもよい。この場合、検出した心電図から、心臓の拍動間隔であるR−R間隔(RRI)を取得し、RRI値の時系列データから対象ユーザの身体の状態を示す身体指標であるHRV指標を算出することができる。
また、本実施形態においては、センサ部120には、PPGセンサ部122の代わりに、もしくは、PPGセンサ部122と共に、発汗センサ部(図示省略)が設けられていてもよい。
詳細には、人間に生じる発汗には、温熱性発汗と精神性発汗との主に2種類の発汗があると一般的にいわれている。温熱性発汗は、体温調節のために行われる発汗である。一方、精神性発汗は、緊張や喜怒哀楽等の人間の情動によって生じる発汗であり、常温において、掌や足裏等上で、温熱性発汗に比べて瞬時、且つ、微量に生じる発汗である。例えば、精神性発汗は、プレゼンテーションを行う際に緊張によって生じる発汗等のことである。このような精神性発汗は、交感神経優位時に多く出ることが知られており、情動を示す指標になり得ると一般的に考えられている。
そこで、上記発汗センサ部は、対象ユーザの皮膚に装着され、発汗により変化する当該皮膚上の2点間の電圧又は抵抗を検出する。そして、本実施形態においては、発汗センサ部によって取得されたセンシングデータに基づいて、発汗量、発汗頻度、発汗量の変化等の情報を取得することにより、対象ユーザの情動を推定することができる。
さらに、本実施形態においては、センサ部120は、PPGセンサ部122の代わりに、もしくは、PPGセンサ部122と共に、対象ユーザの表情を捉える撮像装置(図示省略)を含んでいてもよい。この場合、当該撮像装置は、例えば、対象ユーザの眼球運動、瞳孔径の大きさ、凝視時間等を検出する。人間の瞳孔径を支配する筋は、交感神経/副交感神経から影響を受けているといわれている。従って、本実施形態においては、上記撮像装置により対象ユーザの瞳孔径を検知することにより、当該対象ユーザの交感神経/副交感神経の状態等、すなわち、当該対象ユーザの情動を推定することができる。
また、上記撮像装置は、対象ユーザの姿勢を検出してもよい。姿勢は呼吸の深さ等に影響を与えると言われ、さらに、呼吸の深さは、人の緊張状態(緊張度)と関連性が高いと言われている。そこで、本実施形態においては、上記撮像装置により対象ユーザの姿勢を検出し、検出した姿勢から、対象ユーザの緊張度等を推定することができる。なお、上述のような撮像装置は、対象ユーザの周囲に、ウェアラブルデバイス10とは別体の装置として設置されていてもよい。
また、本実施形態においては、センサ部120は、PPGセンサ部122の代わりに、もしくは、PPGセンサ部122と共に、他の各種生体センサ(図示省略)を含んでいてもよい。例えば、当該各種生体センサは、対象ユーザの身体の一部に直接的又は間接的に装着され、当該対象ユーザの脳波、呼吸、筋電位、皮膚温度等を測定する1つ又は複数のセンサを含むことができる。より具体的には、本実施形態においては、対象ユーザの脳波を測定する脳波センサ部(図示省略)により得られたセンシングデータを解析して、当該脳波の種類(例えば、α波、β波等の種類)を検出することにより、対象ユーザの感情状態(例えば、対象ユーザの機嫌等)を推定することができる。
−モーションセンサ部124−
また、センサ部120は、対象ユーザの動き、すなわち運動状態を検出するためのモーションセンサ部124を含んでもよい。モーションセンサ部124は、対象ユーザの動作に伴って発生する加速度の変化を示すセンシングデータを取得することにより、当該対象ユーザの運動状態を検出する。当該モーションセンサ部124により取得された対象ユーザの運動状態は、当該対象ユーザの情動を推定する際に用いることができる。具体的には、モーションセンサ部124は、加速度センサ、ジャイロセンサ、地磁気センサ等(図示省略)を含む。
また、当該モーションセンサ部124は、対象ユーザを撮像する撮像装置(図示省略)であってもよい。この場合、上記撮像装置によって撮像される画像によって、当該対象ユーザの動作等がキャプチャすることが可能であることから、当該撮像装置により、対象ユーザの運動状態を検出することができる。さらに、当該モーションセンサ部124は、対象ユーザの動作を検出することができる赤外線センサ、超音波センサ等(図示省略)を含んでいてもよい。なお、このような撮像装置及び赤外線センサ等は、対象ユーザの周囲に、ウェアラブルデバイス10とは別体の装置として設置されていてもよい。
また、センサ部120は、モーションセンサ部124の代わりに、もしくは、モーションセンサ部124と共に、測位センサ(図示省略)を含んでいてもよい。当該測位センサは、ウェアラブルデバイス10を装着した対象ユーザの位置を検出するセンサであり、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、測位センサは、GNSS衛星からの信号に基づいて、対象ユーザの現在地の緯度・経度を示すセンシングデータを生成することができる。また、本実施形態においては、例えば、RFID(Radio Frequency Identification)、Wi−Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位センサとして利用することも可能である。
そして、センサ部120は、モーションセンサ部124の代わりに、もしくは、モーションセンサ部124と共に、対象ユーザの発話音声、又は、当該対象ユーザの周囲で発生した音を検出するサウンドセンサ(図示省略)を含んでいてもよい。例えば、本実施形態においては、当該サウンドセンサから検出された音から特定の音声(例えば、対象ユーザが発話した特定の文言)を抽出することによって得られた抽出結果を、当該対象ユーザの情動を推定する際に用いてもよい。
さらに、センサ部120は、対象ユーザが使用するデバイス(例えば、キーボード、椅子等)に設けられた圧力センサを含んでいてもよい。例えば、本実施形態においては、当該圧力センサにより取得されたセンシングデータ(キーボードに対するタイピングの頻度、着席時間等)を用いて、当該対象ユーザの情動を推定してもよい。なお、上述のような圧力センサは、ウェアラブルデバイス10とは別体の装置として設置されることとなる。
以上のように、本実施形態においては、センサ部120は各種センサを含むことができる。さらに、センサ部120は、正確な時刻を把握する時計機構(図示省略)を内蔵し、取得したセンシングデータに当該センシングデータを取得した時刻を紐づけてもよい。また、各種センサは、先に説明したように、ウェアラブルデバイス10のセンサ部120内に設けられていなくてもよく、例えば、ウェアラブルデバイス10とは別体のものとして設けられていてもよく、対象ユーザが使用するデバイス等に設けられていてもよい。
(制御部130)
制御部130は、ウェアラブルデバイス10内に設けられ、ウェアラブルデバイス10の各機能部を制御したり、上述したPPGセンサ部122から出力された脈波信号からPPIの時系列データを取得したりすることができる。当該制御部130は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現される。なお、制御部130の機能の一部は、後述するサーバ30により提供されてもよい。
(通信部150)
通信部150は、ウェアラブルデバイス10内に設けられ、サーバ30、端末50等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部150は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部150は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
(記憶部160)
記憶部160は、ウェアラブルデバイス10内に設けられ、上述した制御部130が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部160は、例えば、フラッシュメモリ(flash memory)等の不揮発性メモリ(nonvolatile memory)等により実現される。
先に説明したように、ウェアラブルデバイス10としては、腕輪型、HMD型等の各種の方式のウェアラブルデバイスを採用することができる。図5に、本実施形態に係るウェアラブルデバイス10の外観の一例を示す。図5に示すように、当該ウェアラブルデバイス10は、対象ユーザの手首に装着される腕輪型のウェアラブルデバイスである。
詳細には、図5に示すように、ウェアラブルデバイス10は、ベルト状のバンド部12と、制御ユニット14とを有する。バンド部12は、例えば対象ユーザの手首に巻きつけるように装着されることから、手首の形状に合わせてリング状の形態になるように、柔らかいシリコンゲル等の材料で形成されている。また、制御ユニット14は、上述のセンサ部120、制御部130等が設けられる部分である。さらに、センサ部120は、ウェアラブルデバイス10が対象ユーザの身体の一部に装着された際に、当該対象ユーザの身体に接する、又は、対向するような位置に設けられている。
<3.2 サーバ30の詳細構成>
次に、本実施形態に係るサーバ30の構成について、図6を参照して説明する。図6は、本実施形態に係るサーバ30の構成の一例を示すブロック図である。先に説明したように、サーバ30は、例えばコンピュータ等により構成される。図6に示すように、サーバ30は、入力部300と、出力部310と、制御部330と、通信部350と、記憶部360とを主に有する。以下に、サーバ30の各機能部の詳細について説明する。
(入力部300)
入力部300は、サーバ30へのユーザからのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部300は、タッチパネル、キーボード等により実現される。
(出力部310)
出力部310は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報をユーザに向けて出力する。
(制御部330)
制御部330は、サーバ30内に設けられ、サーバ30の各ブロックを制御することができる。具体的には、制御部330は、サーバ30内で行われる、対象ユーザの情動の推定や推定結果に応じた制御といった各種処理を制御する。当該制御部330は、例えば、CPU、ROM、RAM等のハードウェアにより実現される。なお、制御部330は、ウェアラブルデバイス10の制御部130の機能の一部を実行してもよい。また、制御部330の詳細については後述する。
(通信部350)
通信部350は、サーバ30内に設けられ、ウェアラブルデバイス10や端末50等の外部装置との間で情報の送受信を行うことができる。なお、通信部350は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
(記憶部360)
記憶部360は、サーバ30内に設けられ、上述した制御部330が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。より具体的には、記憶部360は、複数の対象ユーザに装着されたウェアラブルデバイス10から取得されたセンシングデータ等を格納することができる。なお、記憶部360は、例えば、ハードディスク(Hard Disk:HD)等の磁気記録媒体や、不揮発性メモリ等により実現される。
<3.3 制御部330の詳細構成>
次に、本実施形態に係る制御部330の詳細構成について、図6から図10を参照して説明する。図7及び図8は、本実施形態に係る推定部340により得られるHRV指標の一例を示す説明図であり、図9及び図10は、本実施形態に係る学習部342による機械学習の一例を説明するための説明図である。
図6に示すように、制御部330は、センシングデータ取得部332と、処理部334と、出力制御部336と、評価取得部338とを主に有する。以下に、制御部330の各機能部の詳細について説明する。
(センシングデータ取得部332)
センシングデータ取得部332は、ウェアラブルデバイス10等から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部334へ出力する。
(処理部334)
処理部334は、センシングデータ取得部332から出力されたセンシングデータを処理し、対象ユーザの状態(情動)を推定する。さらに、処理部334は、センシングデータが取得された時点より後の対象ユーザの状態(情動)等を推定することもできる。詳細には、処理部334は、上述したこれら機能を実現するために、推定部340及び学習部342として機能する。
−推定部340−
推定部340は、ウェアラブルデバイス10から取得したセンシングデータに基づいて、例えば、対象ユーザの状態(情動)を推定する。詳細には、推定部340は、例えば、上記センシングデータ、すなわち、脈拍、発汗等の生体信号に基づき、対象ユーザの現在の興奮度、緊張度、集中度、リラックス度、覚醒、眠気等を推定する。
より具体的には、推定部340は、図4に示されるような脈波信号から、ピークの間隔であるPPI値の時系列データを取得する。さらに、推定部340は、PPIの時系列データを用いて統計処理を行うことにより、各種HRV指標を算出する。HRV指標としては、RMSSD(Root Mean Square Successive Difference)、SDNN(Standard Deviation of the Normal to Normal Interval)、LF/HF等を挙げることができる。これらHRV指標は、先に説明したように、対象ユーザの情動を示す指標として取り扱うことができる。
詳細には、RMSSDは、PPIの時系列上で互いに隣接するPPI値の差分の二乗の平均値の平方根である。当該RMSSDは、脳神経の1つである迷走神経の緊張状態を示す指標になると考えられている。
SDNNは、所定の期間内でのPPI値のデータ群の標準偏差である。当該SDNNは、交感神経及び副交感神経の両方を含む自律神経系の活動状況を示す指標になると考えられている。
LF/HFは、PPIの時系列データの高周波成分(例えば、0.15〜0.4Hz)のパワースペクトルに対する低周波成分(例えば、0.04〜0.15Hz)のパワースペクトルの割合である。なお、高周波成分(HF)は呼吸変動に対応し、低周波成分(LF)は、血圧変動であるメイヤー波に対応するといわれている。さらに、呼吸変動に対応する高周波成分は、副交感神経を反映すると考えられ、一方、低周波成分は、交感神経を反映すると考えられている。従って、LF/HFは、交感神経と副交感神経とのバランスを示す指標となると考えられており、交感神経と副交感神経とのバランス、すなわち、自律神経の状態を示し、より具体的には、対象ユーザの集中度(緊張)/リラックス度を示していると考えることができる。
以下に、上記推定部340によって、HRV指標としてLF/HFの時系列データを取得した場合を説明する。この場合、推定部340は、例えば、図7に示されるようなHRV指標の時系列データを得ることができる。なお、図7に示される閾値Aは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であり、すなわち、HRV指標が閾値Aに比べて高い場合には、対象ユーザは集中度が高い状態にあると推定することができる。一方、図7に示される閾値Bは、対象ユーザが、リラックスした状態にあると推定することができる閾値であり、すなわち、HRV指標が閾値Bに比べて低い場合には、対象ユーザはリラックスした状態にあると推定することができる。従って、本実施形態においては、上記推定部340は、例えば、得られたHRV指標を閾値A、Bと比較することにより、対象ユーザの集中度等を推定することができる。
また、推定部340は、上述の高周波成分と低周波成分とを対比させることにより、交感神経の活性度と副交感神経活性度とのどちらが優位であるかを判断し、例えば、対象ユーザの集中度を推定してもよい。
この際、推定部340は、センサ部120の有するモーションセンサ部124による対象ユーザの動作を示すセンシングデータを利用して、推定を行ってもよい。例えば、推定部340は、図8に示されるようなHRV指標の時系列データを取得したとする。なお、図8に示される閾値Cは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。従って、推定部340は、図8に示される閾値Cよりも高いHRV指標を有する期間D及び期間Eにおいては、対象ユーザは集中度が高い状態にあると推定することができる。しかしながら、推定部340は、上記期間Dにおいて、モーションセンサ部124によるセンシングデータから、対象ユーザが激しい運動を行っていることが検出できた場合には、対象ユーザの集中度が高い状態であると推定しない。詳細には、通常、激しい運動を行っている場合には交感神経が活発となる。そこで、本実施形態においては、推定部340は、モーションセンサ部124によるセンシングデータに基づいて激しい運動の実施が検出できた場合には、上記運動によってHRV指標が高くなったと推測し、対象ユーザの集中度が高いとは推定しない。一方、推定部340は、上記期間Eにおいて、モーションセンサ部124によるセンシングデータから対象ユーザが安静状態にあることが検出できた場合には、集中によりHRV指標が高くなったと推測し、すなわち、当該対象ユーザの集中度が高いと推定する。
また、本実施形態においては、推定部340は、上述のように脈波信号からのHRV指標による推定を行うことに限定されるものではなく、脈波信号から取得することができる脈拍数によって、対象ユーザの情動を推定してもよい。例えば、推定部340は、対象ユーザが安静状態にあるにもかかわらず、脈拍数が平常時によりも増加した(脈拍の間隔が平常時よりも短くなった)ことがセンシングデータから検出できた場合には、対象ユーザにおいては、交感神経が優位であり、緊張が高い状態にあると推定する。一方、推定部340は、対象ユーザの脈拍数が平常時によりも減少した(脈拍の間隔が平常時よりも長くなった)ことがセンシングデータから検出できた場合には、対象ユーザにおいては副交感神経が優位であり、眠気が高い状態にあると推定する。
さらに、本実施形態においては、推定部340は、センサ部120の有する他の各種センサ、例えば、撮像装置(図示省略)によって検出された対象ユーザの姿勢や動きを示すセンシングデータを利用して、当該対象ユーザの情動を推定してもよい。より具体的には、上記撮像装置により、対象ユーザが前のめりの姿勢で着席していることが検出された場合には、推定部340は、当該対象ユーザは集中していると推定してもよい。また、上記撮像装置により、対象ユーザが貧乏ゆすり(着席した状態で、脚等の身体の一部を定期的に揺らす動作)を行っていることを検出した場合には、推定部340は、当該対象ユーザは集中していない、もしくは不機嫌であると推定してもよい。さらに、上記撮像装置により、対象ユーザが長時間身体の動きがないことを検出した場合には、推定部340は、当該対象ユーザは疲労している、もしくは鬱状態であると推定してもよい。
さらに、推定部340は、対象ユーザが利用する椅子等に設けられた圧力センサ(図示省略)によって取得したセンシングデータを利用して、上述と同様に、当該対象ユーザの姿勢や動きを検出し、当該対象ユーザの情動を推定してもよい。
推定部340は、センサ部120の有するサウンドセンサ(図示省略)によるセンシングデータを利用して、一人又は複数人の対象ユーザの情動を推定してもよい。より具体的には、上記サウンドセンサにより、会話の頻度が多いことが検出された場合には、推定部340は、複数のユーザを含む集団のメンバーが集中していると推定する。また、上記サウンドセンサにより、会話の頻度が低いことや、あくび等が検出された場合には、推定部340は、複数のユーザを含む集団のメンバーに退屈している者や眠気がある者が存在し、集中度が低い状態にあると推定する。なお、本実施形態においては、サウンドセンサによるセンシングデータによって得られた対象ユーザの発話音量や、発話した内容に基づいて、対象ユーザの情動を推定してもよい。
また、推定部340は、後述する学習部342の学習によって得られた対象ユーザの状態傾向(情動傾向)に基づいて、当該対象ユーザの状態(情動)を推定してもよい。人間の状態(情動)の傾向は個人ごとに異なっていることから、学習部342により対象ユーザのセンシングデータを用いて、当該対象ユーザの状態傾向の情報を事前に取得し、取得した状態傾向に基づいて推定を行うことにより、推定の精度をより向上させることができる。さらに、推定部340は、学習部342によって得られた上記状態傾向を基づいて、対象ユーザの将来的な状態を推定してもよい。
−学習部342−
学習部342は、先に説明したように、過去に取得されたセンシングデータを用いて、対象ユーザの状態傾向(情動傾向)を学習する。そして、学習部342の学習によって得られた対象ユーザの状態傾向は、上述の推定部340による、当該対象ユーザの状態(情動)の推定に用いることができる。
例えば、上述のようなHRV指標による対象ユーザの集中度の推定においては、閾値との比較により客観的に対象ユーザの集中度を推定することができるものの、対象ユーザの主観とはずれが生じることがある。より具体的には、推定部340は、図9に示されるようなHRV指標の時系列データを取得したとする。なお、図9に示される閾値Fは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。従って、HRV指標が閾値Fよりも高いことから、図9の期間Gにおいては、対象ユーザが集中していると客観的に推定することができる。しかしながら、実際には、当該対象ユーザは、上記期間Gとはずれている、図9の期間Hにおいて集中していると感じていることがある。そこで、本実施形態においては、このようなHRV指標による客観的な推定と、対象ユーザの主観とのずれを調整することで、より精度よく、対象ユーザの集中状態を推定することができる。
詳細には、対象ユーザにウェアラブルデバイス10を装着し、装着した状態において、パズルゲーム等の集中が起きやすいゲームを行ってもらい、その間、センシングデータ取得部332は、センシングデータとして対象ユーザの脈波信号を取得する。この際、対象ユーザにより、自身の集中度に対して評価を行ってもらい、当該評価を後述する評価取得部338により取得する。そして、学習部342は、センシングデータを処理して得られたHRV指標に基づいて対象ユーザが集中していると推定することができる期間と、対象ユーザが集中していると評価する期間とが一致しているかを判断する。さらに、学習部342は、上記2つの期間が一致していない場合には、一致するように、対象ユーザが、集中度が高い状態にあると推定することができる閾値Fの値を変更する。このようにすることで、本実施形態においては、HRV指標による客観的な推定と、対象ユーザの主観とのずれを調整することで、より精度よく、対象ユーザの集中状態を推定することができる。なお、本実施形態においては、閾値Fの値を変更することに限定するものではなく、例えば、時間的なオフセットを設ける等、他の方法を選択してもよい。また、本実施形態においては、対象ユーザによる集中度の評価を取得することに限定するものではなく、例えば、対象ユーザが所望するデバイスの制御のタイミング指示(例えば、デバイスの制御をHRV指標に基づいて推定された集中期間よりも早く行う、または遅く行う等の指示)を取得してもよい。この場合、上記指示に基づき、後述する出力制御部336は出力の制御を行うこととなり、より対象ユーザにとって好ましい制御が行われることとなる。
また、学習部342は、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器であってもよい。学習部342に、図10に示すように、ウェアラブルデバイス10から過去に取得されたセンシングデータと、当該センシングデータが取得された際の対象ユーザによる評価(集中度等)とがそれぞれ教師信号及び入力信号として入力される。そして、当該学習部342は、所定の規則に従ってこれら信号の間の関係について機械学習を行うこととなる。その結果、学習部342は、センシングデータと対象ユーザによる評価との関係(情動傾向等)を示す関係情報を格納したデータベース(DB)362を構築することができる。さらに、上述した推定部340は、上述のような機械学習によって得られたDB362を利用して、対象ユーザの情動等を推定する。なお、本実施形態においては、学習部342は、半教師付き学習器や弱教師付き学習器であってもよい。
また、学習部342は、センシングデータ等に基づいて、対象ユーザの情動の継続時間の傾向を学習し、上述のDB362を構築してもよい。そして、上述した推定部340は、このようなDB362を利用して、次回センシングデータが取得された際に、当該センシングデータが取得された時点より後の対象ユーザの将来的な情動を予想してもよい。例えば、学習部342は、対象ユーザが一度集中したと推定された場合に、継続して集中を維持することができる継続時間の傾向を複数のセンシングデータに基づいて学習する。そして、推定部340は、学習部342によって学習された継続時間の傾向に基づいて、現時点の状態として対象ユーザの集中が推定された際に、この時点後に対象ユーザが集中を継続することができる時間を予測する。
(出力制御部336)
出力制御部336は、上記推定部340による推定結果に対応する出力を行う。より具体的には、出力制御部336は、推定結果に対応する出力として、後述する端末50を制御したり、端末50に推定結果に対応する情報を出力したりする。
(評価取得部338)
評価取得部338は、先に説明したように、対象ユーザによる自身の状態(情動)に対する評価等を取得し、取得した評価等を処理部334へ出力する。また、評価取得部338は、推定部340による推定結果に対する対象ユーザの評価を取得してもよい。
また、サーバ30は、対象ユーザのスケジュールや、性別、年齢等の属性情報等を取得するコンテキスト取得部(図示省略)を有していてもよい。上述のような情報を、推定部340における推定や、学習部342における学習の際に利用することにより、ユーザの状態(情動)の推定の精度をより向上させることができる。
<3.4 端末50の詳細構成>
次に、本実施形態に係る端末50の構成について、図11を参照して説明する。図11は、本実施形態に係る端末50の構成の一例を示すブロック図である。先に説明したように、端末50は、タブレット、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC、HMD等のデバイスである。図11に示すように、端末50は、入力部500と、出力部510と、制御部530と、通信部550と、記憶部560とを主に有する。なお、端末50においては、上述の各機能部は、サーバ30の同一名称を持つ機能部と共通するため、ここでは、これらの各機能部の説明を省略する。
<3.5. 情報処理方法>
以上、本実施形態に係るウェアラブルデバイス10、サーバ30及び端末50の詳細構成について説明した。次に、本実施形態に係る情報処理方法について、図12及び図13を参照して説明する。図12は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図13は、本実施形態に係る端末50の設定画面800の一例を示す説明図である。
図12に示すように、本実施形態に係る情報処理方法には、ステップS101からステップS107までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
(ステップS101)
サーバ30は、対象ユーザの使用するスマートフォンである端末50の設定に関する設定情報を取得する。詳細には、対象ユーザは、自身の集中度が高まった際に、自身の使用するスマートフォンに対して所望する動作を事前に設定する。例えば、対象ユーザは、図13に示すようなスマートフォンの表示部(図示省略)に表示された設定画面800に対して、自身の集中度が高まった際のスマートフォンのアラームの動作についての設定を行う。設定画面800においては、図13に示すように、常に通知を着信したらアラームを鳴動させる選択肢、重要な通知のみ着信したらアラームを鳴動させる選択肢、及び、通知を着信しても常にアラームを鳴動させない選択肢の3つの選択肢が表示されている。対象ユーザは、このいずれかの選択肢に対して選択操作を行うことにより、自身の集中度が高まった際のスマートフォンのアラームの動作の設定を行うことができる。以下の説明においては、対象ユーザは、重要な通知のみ着信したらアラームを鳴動させる選択肢を選択したものとして説明する。
(ステップS103)
次に、対象ユーザは、上述した本実施形態に係るウェアラブルデバイス10を装着し、ウェアラブルデバイス10は、センシングデータとして、当該対象ユーザに対する脈波信号を取得し、サーバ30へ出力する。さらに、サーバ30は、ウェアラブルデバイス10から上記センシングデータを取得する。
(ステップS105)
サーバ30は、取得したセンシングデータに基づき、対象ユーザの情動、ここでは集中度を推定する。なお、対象ユーザの情動を推定の方法については上述したため、ここでは、詳細な説明を省略する。
(ステップS107)
そして、サーバ30は、当該対象ユーザが高い集中度の状態にあると推定した場合には、スマートフォンを制御して、重要な通知以外の通知を受信した際、当該スマートフォンのアラームが鳴動しないように設定する。
なお、この後、サーバ30は、ウェアラブルデバイス10から取得したセンシングデータによって、当該対象ユーザの集中度が低下したと推定した場合には、スマートフォンを制御して、通知を着信したら常にアラームを鳴動させるように設定を変更する。なお、本実施形態においては、スマートフォンの設定は、上述のような設定に限定されるものではない。例えば、本実施形態においては、上記スマートフォンを、通知を着信しても音声が出力されず当該スマートフォンが振動するようなマナーモードに設定してもよく、もしくは、当該スマートフォンの通信機能をオフする機内モードに設定してもよい。
以上のように、本実施形態においては、対象ユーザが高い集中の状態にあることが推定された場合には、当該対象ユーザの使用するスマートフォン(端末50)が着信によりアラームが鳴動しないように制御する。その結果、当該対象ユーザは、集中して作業を継続することができ、当該対象ユーザのパフォーマンスを向上させることができる。すなわち、本実施形態においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように端末50を制御する。従って、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
<3.6 変形例1>
先に説明したように、サーバ30は、対象ユーザのスケジュールや、性別、年齢等の属性情報を取得し、このような情報を、推定部340における推定や、学習部342における学習の際に利用することにより、当該対象ユーザの情動の推定の精度をより向上させることができる。そこで、以下においては、図14を参照して、本実施形態の変形例1として、対象ユーザのスケジュールを取得し、当該対象ユーザの情動の推定の精度をより向上させる例を説明する。図14は、実施形態の変形例1を説明する説明図である。
より具体的には、サーバ30は、図14に示されるような、対象ユーザのHRV指標の時系列データを取得したとする。なお、図14に示される閾値Iは、対象ユーザが、集中度が高い状態にあると推定することができる閾値であるとする。さらに、サーバ30は、図14に示される期間Jにおいて、当該対象ユーザが資料の作成を行うことが予定されている旨の情報(スケジュール)を予め取得しているものとする。このような場合、サーバ30は、HRV指標が閾値Iよりも高く、且つ、対象ユーザの集中度が高まるであろう資料作成が期間Jにおいて予定されていることに基づいて、図14の期間Kにおいては、対象ユーザが集中していると推定する。このように、本変形例においては、HRV指標だけでなく、対象ユーザのスケジュールを参照することにより、ユーザの情動の推定をより向上させることができる。
また、本変形例においては、対象ユーザのスケジュールを、当該対象ユーザの情動の推定に用いるだけでなく、対象ユーザのスケジュールに応じて情動を推定する際に用いる閾値を制御してもよい。具体的には、図14に示す期間Jにおいては、対象ユーザが資料の作成を行うことが予定されている。そこで、サーバ30は、期間Jにおいては、当該対象ユーザは集中度が高まりやすい状態にあると推測し、期間Jにおいては、集中度が高い状態にあると推定することができる閾値Iの値を下げて、上記対象ユーザが集中しているとより推定されやすくしてもよい。このようにすることで、対象ユーザが少しでも集中している場合には、当該対象ユーザの使用するスマートフォンが着信によりアラームが鳴動しないように制御されやすくなり、当該対象ユーザは、より集中して作業を継続することができることとなる。
以上のように、本変形例においては、対象ユーザのスケジュール等の情報を利用することにより、対象ユーザの情動の推定の精度や制御をより向上させることができる。その結果、本変形例においても、対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
<3.7 変形例2>
上述の第1の実施形態においては、推定された対象ユーザの情動に応じて、当該対象ユーザの使用する端末50(スマートフォン)を制御したが、本実施形態においては、他の端末50を制御してもよい。例えば、他の端末50としては、対象ユーザの近傍に設置された表示灯700(図16 参照)や、対象ユーザが属する集団に含まれる他のユーザが使用するPCを挙げることができる。そこで、このような端末50の制御の一例について、オフィス等での使用を想定した変形例2として説明する。
例えば、作業等を行い、集中度が高まっている対象ユーザにとっては、作業を中断する原因となることから、他のユーザから声をかけられる等を不快に感じることが多い。そこで、本変形例においては、対象ユーザの集中度が高まった場合には、表示灯700を制御して、他のユーザに対して、当該対象ユーザへの対応として推奨される推奨行動等を通知する。すなわち、本変形例においては、対象ユーザの情動を推定するだけでなく、推定した情動に応じて対象ユーザのニーズを特定し、特定したニーズに対応するように、他のユーザに向けて出力を行う。従って、本変形例によれば、対象ユーザは、特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい環境を作り出すことができる。
以下に、本変形例の詳細を、図15から図17を参照して説明する。図15は、本実施形態の変形例2の情報処理方法の一例を説明するフローチャートである。また、図16は、本実施形態の変形例2に係る表示灯700の一例を示す説明図であり、図17は、本実施形態の変形例2に係る表示画面802の一例を示す説明図である。
図15に示すように、本変形例に係る情報処理方法には、ステップS201からステップS205までの複数のステップが含まれている。なお、本変形例における図15のステップS201及びステップS203は、図12に示されるステップS103及びステップS105と同様であるため、ここでは、ステップS201及びステップS203の説明を省略し、ステップS205のみを説明する。
(ステップS205)
サーバ30は、対象ユーザが集中度の高い状態にあると推定した場合には、図16に示すような当該対象ユーザの近傍に設置された表示灯700を制御して点灯させる。当該表示灯700には、例えば、「取り込み中のため、声をかけないで」等の文言が書かれており、点灯することにより、対象ユーザに近寄った他のユーザに向けて、当該対象ユーザに声をかけない等、対象ユーザへの対応として推奨される推奨行動を通知する。その結果、対象ユーザが集中している場合には、上記表示灯700の点灯によって他のユーザが当該対象ユーザに声をかけることがなくなることから、当該対象ユーザは、より集中して作業を継続することができる。
以上のように、本変形例によれば、推定された対象ユーザの情動に応じて、表示灯700を制御することにより、当該対象ユーザにとって好ましい状況を作り出すことができる。
また、本変形例においては、上述したような表示灯700を制御することに限定されるものではなく、例えば、対象ユーザが属する集団に含まれる他のユーザが使用するPC(端末50)を制御してもよい。このような場合、例えば、図17に示すように、各ユーザが使用するPCの表示部(図示省略)に表示された通話アプリの表示画面802上に、対象ユーザ(図17では「Aさん」)が集中していると推定されたことに応じて、当該対象ユーザが「取り込み中」である旨を表示する。また、本変形例においては、通話アプリの表示画面802による表示に限定されるものではなく、スケジュール管理用のアプリの表示画面であってもよく、電子メールを介して他のユーザに対象ユーザが「取り込み中」である旨を通知してもよい。
<3.8 変形例3>
上述の第1の実施形態においては、対象ユーザの情動として集中度を推定していた。しかしながら、本実施形態においては、集中度を推定するだけでなく、対象ユーザの疲労度や眠気等を推定してもよい。そこで、対象ユーザの疲労度や眠気を推定して、推定結果に応じた通知を他のユーザに向けて行う例について、図18及び図19を参照して、オフィス等での使用を想定した変形例3として説明する。なお、図18は、本実施形態の変形例3に係る表示画面804の一例を示す説明図であり、図19は、本実施形態の変形例3に係る表示画面806の一例を示す説明図である。
例えば、本変形例においては、サーバ30は、対象ユーザの集中度や疲労度を推定し、当該対象ユーザを勤務管理する管理者(ユーザ)の使用するPC等の端末50に向けて、推定結果とともに、当該対象ユーザへの対応として推奨される推奨行動を通知する。より具体的には、サーバ30は、図18に示すような表示画面804を、管理者の使用するPCの表示部(図示省略)に表示させる。当該表示画面804上には、対象ユーザ(図18においてはAさん)の推定される情動がXY座標上のマーカ850で示されている。詳細には、当該XY座標のX軸は、対象ユーザの機嫌を示しており、例えば、図の右側にいくほど機嫌が良く、図の左側に行くほど機嫌が悪いことを示している。また、当該XY座標のY軸は、対象ユーザの集中度及び疲労度を示しており、例えば、図の上側に行くほど集中度が高く、図の下側に行くほど疲労度が高いことを示している。このようなXY座標上に、推定される対象ユーザの情動をマーカ850として表示することにより、上記管理者は、対象ユーザの情動を容易に把握することができる。なお、先に説明したように、対象ユーザの機嫌は、例えば、ウェアラブルデバイス10のセンサ部120に含まれる脳波センサによるセンシングデータを解析することにより、推定することができる。
さらに、サーバ30は、当該表示画面804上に、対象ユーザの推定される情動を表示させるだけでなく、推定結果に応じた当該対象ユーザへの対応として推奨される推奨行動をコメント860として表示させる。例えば、図18においては、対象ユーザが集中していると推定されたことに対応して、コメント860として「声をかけないであげましょう」等の文言が表示されている。従って、上記管理者は、当該コメント860に基づいて、当該対象ユーザへの対応として推奨される推奨行動を把握し、当該対象ユーザに声をかけない等の対応を行うことができる。
また、サーバ30は、例えば、対象ユーザの疲労度が高いことが推定される場合には、上記管理者のPCに対して、「声をかけてあげましょう。」「休憩を進めましょう。」「相談にのってあげましょう。」「仕事量を調整しましょう。」等の文言を表示してもよい。
また、サーバ30は、現時点での対象ユーザの情動を推定するだけでなく、現時点以降の対象ユーザの情動を予測し、予測結果を上記管理者等に向けて通知してもよい。より具体的には、サーバ30は、図19に示すような表示画面806を、上記管理者の使用するPCの表示部(図示省略)に表示させる。当該表示画面806上には、対象ユーザ(図19においてはAさん)の推定された集中度、疲労度、眠気が、3つの棒グラフとして示されている。詳細には、図の左側から、各棒グラフは、集中度、疲労度、眠気にそれぞれ対応している。さらに、表示画面806上には、図の左側から、3時間前の対象ユーザの集中度/疲労度/眠気、現時点での対象ユーザの集中度/疲労度/眠気、及び、予想される今後の対象ユーザの集中度/疲労度/眠気が時系列順に示されている。なお、図19においては、棒グラフが高いほど、集中度/疲労度/眠気が高いことを示している。このような表示画面806を確認することで、上記管理者は、対象ユーザの過去、現在、及び今後の情動を容易に把握することができる。さらに、上記管理者は、このような対象ユーザの過去、現在、及び今後の情動を参照することにより、サーバ30から通知された当該対象ユーザへの対応として推奨される推奨行動が適切な行動であることに納得することができる。
なお、本変形例においては、管理者の使用するPC等へ推奨行動を通知することに限定されるものではなく、例えば、対象ユーザの周囲に存在する他のユーザや家族等の使用する端末50へ上記推奨行動を通知してもよい。
以上のように、本実施形態及び変形例によれば、対象ユーザの情動を推定して、推定した結果を可視化して表示したり、推定した結果に応じて通知や制御を行ったりすることにより、当該対象ユーザにとって好ましい状況を作り出すことができる。例えば、対象ユーザが、自身の状態(情動)に対して無自覚であったり、当該状態を他人へ伝えることが難しい場合であったりしても、本実施形態によれば、当該対象ユーザの周囲の他のユーザは、対象ユーザの状態を認識し、対象ユーザに対して適切な行動を行うことができる。特に、近年、人手不足により、仕事量が大幅に増加していることに起因して、オフィスにおける社員のメンタルヘルスの管理が難しくなっている。このような状況において、本実施形態に係る情報処理システム1を用いることにより、当該オフィスの管理者は、各社員が本格的に疲弊してしまう前に、その予兆を知り適切な行動をとることができることから、各社員のメンタルヘルスを良好に管理することができる。
<<4. 第2の実施形態>>
上述の第1の実施形態においては、各対象ユーザの情動を推定していた。しかしながら、本開示の実施形態においては、このような推定に限定されるものではなく、複数の対象ユーザの情動、すなわち、集団の情動を推定してもよい。そこで、以下に説明する本開示の第2の実施形態においては、複数の対象ユーザが含まれる集団の情動を推定して、推定結果に応じた出力を行う。
ところで、ビジネス等の重要な場面では、複数のメンバーによって協働して作業が行われることが多い。しかしながら、このような複数のメンバーからなる集団の状態を評価する場合、客観的に行うことが難しい。具体的には、複数のメンバーによって行われるブレインストーミングにおいては、効果的にブレインストーミングが行われたか否かは発言数等に基づいて評価することが可能なものの、メンバー構成によるシナジー効果等については検証することは難しかった。特に、ブレインストーミングの良し悪しは、メンバー個人の能力だけでなく、メンバーの構成に依存する場合が多い。具体的には、良いブレインストーミングを行うためには、一般的には、他のメンバーに気兼ねせずにアイディアを出せるような雰囲気作りが重要であるといわれている。従って、このような雰囲気を作り出すためには、メンバーの構成が重要であるといえる。そこで、以下に説明する本実施形態においては、集団のシナジー効果によって生じるブレインストーミングにおける集団の情動を推定し、推定結果に応じて今後のブレインストーミングの進行に関する通知を出力する。なお、以下の説明においては、ブレインストーミングとは、集団でアイディアを出し合うことにより、メンバー相互の連鎖作用による新たなアイディアの誘発を期待して行われる話し合いのことを意味する。
詳細には、本実施形態においては、上述の情報処理システム1を利用して、ブレインストーミングにおいて集団を構成する少なくも一部の対象ユーザの集中度を推定し、推定結果に基づき上記集団の集中度を推定する。さらに、本実施形態においては、推定結果に基づき、上記ブレインストーミングを継続するか否かを、例えば上記ブレインストーミングの進行役に通知する。これまでは、ブレインストーミングの内容等に基づいて、進行役がブレインストーミングを継続すべきか否かを主観的に判断していた。それに対して、本実施形態においては、ブレインストーミングを行う集団の集中度を推定し、推定結果に応じて、上記ブレインストーミングを継続するか否かを客観的に判断することができる。その結果、進行役は、適切にブレインストーミングを進行することができ、ブレインストーミングの効果を最大限に引き出すことができる。以下に、本実施形態の詳細について説明する。
なお、本実施形態においては、情報処理システム1、ウェアラブルデバイス10、サーバ30、端末50の構成は、第1の実施形態と共通であり、第1の実施形態のこれら構成の説明を参照し得る。従って、ここでは、情報処理システム1、ウェアラブルデバイス10、サーバ30、端末50の詳細構成の説明を省略する。また、以下の説明においては、ブレインストーミングを行う集団には、2人の対象ユーザが含まれており、さらに、他のユーザが含まれているものとする。なお、本実施形態においては、上記集団には、少なくとも2人の対象ユーザが含まれていれば特に限定されるものではなく、3人以上の対象ユーザが含まれていてもよく、2人の対象ユーザしか含まれず、且つ、他のユーザが含まれていなくてもよい。
<4.1 情報処理方法>
次に、本実施形態に係る情報処理方法について、図20から図22を参照して説明する。図20は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図21及び図22は、本実施形態に係る情報処理の一例を説明する説明図である。なお、図21及び図22においては、ブレインストーミング中の対象ユーザ(図中では、Aさん及びBさん)のHRV指標の時系列データを示している。詳細には、図中の上段には、AさんのHRV指標の時系列データが示され、図中の下段には、BさんのHRV指標の時系列データが示されている。さらに、各HRV指標の時系列データには、対象ユーザが集中していると推定することができる基準となる閾値N及び閾値Oが示されおり、すなわち、これら閾値N、Oよりも各HRV指標が高い場合には、各対象ユーザが集中していると推定することができる。
図20に示すように、本実施形態に係る情報処理方法には、ステップS301からステップS307までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
(ステップS301)
ブレインストーミングに参加する対象ユーザに、上述のウェアラブルデバイス10を装着し、各ウェアラブルデバイス10は、センシングデータとして、各対象ユーザの脈波信号等を取得し、サーバ30へ出力する。さらに、サーバ30は、各ウェアラブルデバイス10からセンシングデータを取得する。
(ステップS303)
サーバ30は、取得したセンシングデータに基づき、各対象ユーザの集中度を推定する。なお、集中度の推定方法については上述したため、ここでは、詳細な説明を省略する。
(ステップS305)
まずは、図21に示すように、ブレインストーミング中の期間LにおいてAさんが集中していると推定することができ、同様に、期間MにおいてBさんも集中していると推定することができた場合を説明する。このような場合、サーバ30は、いずれの対象ユーザも集中していると推定することができることから、当該ブレインストーミングに参加する他のユーザも集中していると推測し、効果的なブレインストーミングが行われていると判断する。さらに、サーバ30は、上述のような判断に基づき、進行役にブレインストーミングの継続を提案する通知を行うことを選択する。
次に、図22に示すように、ブレインストーミング中の期間P及び期間QにおいてAさん及びBさんが集中いると推定することができるものの、期間RにおいてBさんが集中していない、もしくは、眠い状態にあると推定することができた場合を説明する。このような場合、サーバ30は、上記ブレインストーミングに参加したBさんの集中度が低いことから、参加した他のユーザの中にも集中度が低い者が存在すると推測する。さらに、サーバ30は、上述の推測に基づき、今後、効果的なブレインストーミングを進行することが難しいとして、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択する。なお、サーバ30は、対象ユーザの中に極度に興奮状態にあると推定される者の存在が検出された場合には、興奮による喧嘩等の発生が予期されることもあるため、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択してもよい。
(ステップS307)
サーバ30は、上述のステップS305における選択に従って、例えば、進行役が使用する端末50に対して、ブレインストーミングの継続、中止、又は中断を提案する通知を画面表示するように制御を行う。
以上のように、本実施形態においては、ブレインストーミングにおいて、複数の対象ユーザの集中度を推定し、推定結果に基づき上記集団の集中度を推定する。さらに、本実施形態においては、推定結果に応じて、上記ブレインストーミングを継続するか否かを、例えば上記ブレインストーミングの進行役に通知する。従って、本実施形態によれば、ブレインストーミングを継続するか否かを、上記進行役等の主観ではなく、客観的に判断することができる。その結果、進行役は、適切にブレインストーミングを進行することができ、ブレインストーミングの効果を最大限に引き出すことができる。
なお、本実施形態においては、ブレインストーミングで用いることに限定されるものではなく、例えば、イベント会場で用いてもよい。詳細には、イベントの参加者に、上述のウェアラブルデバイス10を装着してもらい、各参加者の情動を推定する。各参加者が適度に興奮している場合には、各参加者がイベントを楽しんでいるとして、サーバ30は、現状の進行内容を継続することをイベントの進行役に提案する。一方、各参加者が興奮していない場合には、各参加者がイベントを楽しんでいないとして、サーバ30は、イベントの内容を変更することをイベントの進行役に提案する。このように、本実施形態によれば、イベントの各参加者の情動に応じて内容を変更したりすることができることから、参加者に対して、より楽しめるイベントの提供が可能になる。また、サーバ30は、極度の興奮状態にある参加者を検出した場合には、例えば、当該参加者を別室に誘導する等を進行役に提案してもよい。この提案に応じて、進行役が上記参加者を別室に誘導し、休憩を促すことにより、極度の興奮によって生じるイベントの混乱を未然に防ぐことができる。
<4.2 変形例1>
また、サーバ30は、センシングデータに基づいて、将来的な対象ユーザの集中度を予測することもできることから、以下に説明する本実施形態に係る変形例1においては、上記予測に基づき、上記ブレインストーミングを継続するか否かを選択してもよい。以下に、図23及び図24を参照して、本変形例について説明する。図23及び図24は、本実施形態の変形例1に係る情報処理の一例を説明する説明図である。なお、図23及び図24は、ブレインストーミング中の、及び、現時点以降の予測される対象ユーザ(図中では、Aさん及びBさん)のHRV指標の時系列データを示している。詳細には、図23及び図24は、図21及び図23と同様に、図23及び図24の上段には、AさんのHRV指標の時系列データが示され、下段には、BさんのHRV指標の時系列データが示されている。
まず、図23に示すように、ブレインストーミング中の期間S及び期間Uにおいて、Aさん及びBさんが集中していると推定することができ、さらに、現時点以降の期間T及び期間VにおいてもAさん及びBさんが集中していると予想することができる場合を説明する。このような場合、サーバ30は、現時点以降も対象ユーザの集中が維持することができると判断し、進行役にブレインストーミングの継続を提案する通知を行うことを選択する。
次に、図24に示す場合を説明する。図24においては、Aさんについては、ブレインストーミング中の期間AAにおいて集中していると推定することができ、さらに、現時点以降の期間ABにおいても、集中していると予想されている。しかしながら、Bさんにおいては、ブレインストーミング中の最初の期間ACにおいて集中していると推定することができるものの、次の期間ADにおいては、集中していない、もしくは、眠い状態にあると推定することができる。さらに、Bさんについては、期間AC及び期間ADの傾向に基づき、現時点以降の期間AEにおいては、集中していない、もしくは、眠い状態にあると予測される。このような場合、サーバ30は、上記ブレインストーミングに参加したBさんの集中度が将来的に低くなることが予想されることから、参加した他のユーザの中にも集中度が将来的に低くなる者が存在すると予測する。さらに、サーバ30は、上述の予想に基づき、今後、効果的なブレインストーミングを進行することが難しいとして、進行役にブレインストーミングの中止又は中断を提案する通知を行うことを選択する。
以上のように、本変形例においては、将来的な対象ユーザの集中度を予測することもできることから、上記予測に基づき、例えば、上記ブレインストーミングを継続するか否かを選択することができる。従って、本変形例によれば、ブレインストーミングを継続するか否かを客観的に判断することができ、進行役は、適切にブレインストーミングを進行し、ブレインストーミングの効果を最大限に引き出すことができる。
なお、本変形例においては、サーバ30は、将来的な対象ユーザの集中の継続時間も予測することもできることから、予測された継続時間に基づいて、ブレインストーミングの継続時間、もしくは、終了が推奨される時間を具体的に進行役に通知してもよい。また、本変形例においては、サーバ30は、将来的な対象ユーザの集中の傾向、例えば、どの程度の休憩をはさむことで、対象ユーザの集中が回復するか否か等を予測することもできることから、進行役に集中の回復が見込まれる休憩時間を具体的に提案してもよい。
<4.3 変形例2>
先に説明したように、これまで、ブレインストーミングにおいては、その良し悪しがメンバーの構成に依存する場合が多いにも関わらず、メンバー構成によるシナジー効果、すなわち、相性について検証することが難しかった。例えば、ブレインストーミングに参加するメンバーの一人が、当該ブレインストーミングをリードし、良い成果等を生んだ場合には、成果が良いことから、当該ブレインストーミングの良かったと判断されやすい。しかしながら、当該ブレインストーミングにおいて、他のメンバーが積極的に取り組んでいない状況があった場合には、実際には上記シナジー効果は得られておらず、良いブレインストーミングであったとは言い難い。
そこで、本実施形態に係る変形例2においては、上述の情報処理システム1を利用して、ブレインストーミングを行う集団の情動を推定し、推定結果に基づき、シナジー効果の有無、すなわち、メンバー構成(組み合わせ、相性)についての評価を客観的に行う。そして、本変形例においては、メンバー構成についての評価に基づき、次回のブレインストーミングにおけるメンバーについて提案を行う。なお、当該提案は、例えば、次回のブレインストーミングの進行役の使用するPC(端末50)に、提案するメンバーの名前を画面表示させることにより行うことができる。
例えば、先に説明した図21のように、ブレインストーミング中において、いずれの対象ユーザ(Aさん及びBさん)も集中していると推定することができる場合には、サーバ30は、当該ブレインストーミングに参加したAさん及びBさんの組み合わせは相性が良いと評価する。このような場合、サーバ30は、次回ブレインストーミングを行う際にも、相性が良いと評価されたAさんとBさんとを組み合わせることを提案する。
一方、先に説明した図22のように、ブレインストーミング中において、Aさんが集中しているものの、Bさんが、集中していないと推定することができる場合には、サーバ30は、当該ブレインストーミングに参加したAさん及びBさんは相性が悪いと評価する。このような場合、サーバ30は、次回ブレインストーミングを行う際には、相性が悪いと評価されたAさんとBさんとを組み合わせないようにすることを提案する。
以上のように、本変形例によれば、ブレインストーミングを行う集団の情動を推定し、推定結果に基づき、組み合わせについて客観的に評価することができる。さらに、本変形例によれば、このようにして得られた組み合わせの評価に基づき、相性がよいと推定されるブレインストーミングの組み合わせを提案することができる。従って、本変形例によれば、このような提案を参照してブレインストーミングを行うことにより、より効果的にブレインストーミングを行うことができる。
さらに、本変形例においては、センサ部120の含むサウンドセンサ(図示省略)によって得られたセンシングデータも利用してもよい。例えば、サウンドセンサによって得られたセンシングデータによって、ブレインストーミング中の発言により他の対象ユーザの集中度を下げているユーザの存在を検出した場合には、サーバ30は、次回ブレインストーミングを行う際に上記ユーザを外すことを提案する。さらに、サーバ30は、複数回のブレインストーミングにおいて他の対象ユーザの集中度を下げる発言を行う傾向が高いと判断されたユーザについては、その旨の情報をデータベース等に格納してもよい。
また、本変形例においては、組み合わせの評価については、各対象ユーザの情動だけでなく、例えば、ブレインストーミングの成果物に対する評価等を参照して行ってもよい。この場合、サーバ30は、参加した対象ユーザの集中度がいずれも高く、且つ、上記成果物の評価が高い場合には、当該ブレインストーミングにおける組み合わせは良かったと評価する。また、上記成果物の評価が高い場合であっても、参加したいずれかの対象ユーザの集中度が低い場合には、サーバ30は、当該ブレインストーミングの組み合わせは良くなかったと評価する。
なお、ブレインストーミングの成果物の評価としては、アイディアの数や発言回数等を指標にしてもよく、成果物(レポート)等を当該ブレインストーミングに参加していない人等から評価してもらうことによって得てもよい。また、ブレインストーミングに参加したユーザに、ブレインストーミング終了後にアンケートを行い、当該アンケート結果にも基づいて、ブレインストーミングの成果物の評価を行ってもよい。
<4.4 変形例3>
ところで、同じメンバーにおいてブレインストーミングを行っていると、徐々に新鮮味が薄れて、ブレインストーミングが盛り上がらないことがある。従って、このような場合、ブレインストーミングを盛り上げ、さらに新しい知見を得るためにも、次回のブレインストーミングに新たなメンバーを入れることは効果的であると考えられる。一般的には、ブレインストーミングにおいては、参加する各メンバーの背景等が異なっているほうがより良い成果が上がるとは言われている。しかしながら、集中や興奮の傾向が異なるメンバーでブレインストーミングを行うと、上記傾向が異なっていることから、議論がかみ合わず、ブレインストーミングが盛り上がらないことがある。言い換えると、集中や興奮の傾向が類似するメンバーで構成する場合の方が、ブレインストーミングが盛り上がることが多い。
そこで、本変形例においては、過去のブレインストーミング中における各対象ユーザの情動の傾向に基づき、類似の傾向を持つ対象ユーザを抽出し、抽出した対象ユーザを、次回のブレインストーミングにおける、新たなメンバー、もしくは交代メンバー(候補者)として提案する。以下に、このような変形例を、図25及び図26を参照して説明する。図25及び図26は、本実施形態の変形例3に係る情報処理の一例を説明する説明図である。なお、図25及び図26においては、図21及び図22と同様に、ブレインストーミング中の対象ユーザ(図中では、Aさん、Cさん及びDさん)のHRV指標の時系列データを示している。
例えば、図25に示す場合には、ブレインストーミング中の期間BAにおいて、HRV指標が閾値Nよりも高いことから、Aさんについては、集中していると推定することができる。同様に、上記ブレインストーミング中の期間BBにおいて、HRV指標が閾値Wよりも高いことから、Cさんについても、集中していると推定することができる。このような場合、サーバ30は、同じブレインストーミング中に、同様の傾向を持って集中していることから、AさんとCさんとは、類似する集中の傾向を持っていると判断する。
また、図26に示す場合には、ブレインストーミング中の期間CAにおいて、HRV指標が閾値Nよりも高いことから、Aさんについては、集中していると推定することができる。同様に、上記期間CAに比べて短いものの、上記ブレインストーミング中の期間CBにおいて、HRV指標が閾値Xよりも高いことから、Dさんについても、集中していると推定することができる。このような場合、サーバ30は、同じブレインストーミング中に、ほぼ同様の傾向を持って集中していることから、AさんとDさんとは、類似する集中の傾向を持っていると判断する。
そして、サーバ30は、図25及び図26に示されるような集中の傾向に基づき、Aさんに類似する傾向を持つCさんの代わりとして、同様にAさんに類似する傾向を持つDさんを、次回のブレインストーミングにおける新たなメンバーとして提案する。なお、当該提案は、例えば、次回のブレインストーミングの進行役の使用するPC(端末50)に、提案する新たなメンバーの名前を画面表示させることにより行うことができる。
以上のように、本変形例においては、類似の傾向を持つ対象ユーザを抽出し、抽出した対象ユーザを、次回のブレインストーミングにおける、新たなメンバーとして客観的に提案することができる。従って、本変形例によれば、このような提案に基づいて新たなメンバーを参加させることにより、次回のブレインストーミングを盛り上げることができる。
<4.5 変形例4>
また、これまで説明した本実施形態及び変形例においては、ブレインストーミングで用いることとして説明したが、これらはブレインストーミングでの利用に限定されるものではなく、審議会や品評会で用いてもよい。審議会や品評会は、一般的に、複数のメンバーにおいて物事の審査や評価を行う際に実施され、各メンバーが、集中して、冷静、公平、且つ、客観的に取り組むことが求められる。
そこで、本変形例においては、上述の情報処理システム1を利用して、審議会等を行う集団の情動を推定し、推定結果に基づき、各メンバーが集中して、冷静、公平、且つ、客観的に取り組んでいるかを評価し、評価結果を審議会等の進行役に提示する。具体的には、審議会等において互いに対立する意見が存在する際に、対立するメンバーの相性が悪いことから、メンバーの一部が、興奮し、批判的な態度をとる場合がある。このような場合、興奮等することで、冷静な思考や判断が停止されることもあることから、適切に審議会を進行することが難しい。そこで、本変形例においては、上述の情報処理システム1を利用して、興奮等の状態にあるメンバーが存在するかを推定し、もし、このようなメンバーが存在する場合には、審議会等の進行役に通知する。そして、このような場合、進行役は、上記通知に基づいて、メンバーが冷静になるように、休憩等の適切な手段を選択することができる。
また、メンバーの一部が集中しておらず、眠気が高い中で行われた審議会等は、一部のメンバーの審査対象への興味や観察が不足していることを意味していることから、公平な審議が行われたとはいえない場合がある。そこで、本変形例においては、上述の情報処理システム1を利用して、審議会等を行う集団の情動を推定し、推定結果に基づき、各メンバーが集中しているかを評価し、評価結果を審議会等の進行役に提示する。より具体的には、上述の情報処理システム1により、審議会等を行う集団において集中度が欠けていると推定され、集中度が欠けていると通知された場合には、進行役は当該通知に基づき、審議会等の休憩や中断を提案することができる。
以上のように、本変形例においては、集団の情動を客観的に推定し、推定結果を進行役等に通知することができることから、当該進行役は、各メンバーが、集中して、冷静、公平、且つ、客観的に取り組むことが求められる審議会等を適切に進行することができる。
<<5. 第3の実施形態>>
上述の実施形態においては、主に各種生体センサによるセンシングデータに基づき対象ユーザの情動を推定し、推定した結果に応じて出力を行ってきたが、本開示の実施形態はこれに限定されるものではない。例えば、本開示の実施形態においては、複数の対象ユーザが含まれる集団の状態(例えば、利用状況等)を推定し、推定した結果に応じて出力を行ってもよい。そこで、次に説明する第3の実施形態においては、複数のユーザの利用状況に関する情報を取得し、取得した情報に基づき、複数のユーザの状態を推定し、推定結果に基づき、ユーザの周囲の設備等に対して制御を行う。すなわち、以下に説明する本実施形態によれば、推定された複数のユーザの状態において生じ得るニーズに対応することができる。
より具体的には、本実施形態においては、映画館における空調設備602(図28 参照)(端末50)の制御に適用した場合を説明する。これまで、映画館等においては、観客(ユーザ)の利用状況等に応じて空調設備602等が制御できていない場合が多い。そこで、本実施形態においては、上述の情報処理システム1を利用することにより、サーバ30は、観客の状態を推定し、推定結果に応じて、空調設備602の制御を行うことにより、観客に快適な空間を提供することができる。
なお、本実施形態においては、情報処理システム1、ウェアラブルデバイス10、サーバ30、端末50の構成は、第1の実施形態と共通であり、第1の実施形態のこれら構成の説明を参照し得る。従って、ここでは、情報処理システム1、ウェアラブルデバイス10、サーバ30、端末50の詳細構成の説明を省略する。なお、本実施形態においては、情報処理システム1にウェアラブルデバイス10が含まれていなくてもよい。
<5.1 情報処理方法>
本実施形態に係る情報処理方法について、図27及び図28を参照して説明する。図27は、本実施形態に係る情報処理方法の一例を説明するフローチャートである。さらに、図28は、本実施形態に係る情報処理の一例を説明する説明図であり、詳細には、映画館等の館内600と、館内の空調を調整する空調設備602とを模式的に示す。
図27に示すように、本実施形態に係る情報処理方法には、ステップS401からステップS405までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
(ステップS401)
サーバ30は、センシングデータとして、各ユーザから端末50を介して入力された予約情報を取得する。具体的には、各ユーザから、座席の事前予約として、鑑賞を所望する映画館、上映映画、座席する等の情報が入力される。
(ステップS403)
サーバ30は、取得した予約情報から、映画館の混雑度を推定する。
(ステップS405)
サーバ30は、推定結果に応じて、映画館の館内600の空調設備602を制御する。具体的には、上述のステップS405において混雑していると推定される場合には、サーバ30は、空調設備602を制御して、館内600を冷やすようにする。一方、上述のステップS405において混雑していないと推定される場合には、サーバ30は、空調設備602を制御して、館内600をあまり冷やさないようにする。
また、サーバ30は、上記混雑度を推定する際には、上映日時や上映内容を加味して、観客の男女比等を予想してもよい。より具体的には、上映時間や上映内容に応じて、家族ずれが多い場合や、一人が多い場合等の傾向がある。そこで、サーバ30は、上映日時等の情報を参照することにより、事前に観客の人数や男女比を予測することができる。そして、男性と女性とは適温が異なるため、予測された男女構成比に応じて、サーバ30は、空調設備602を制御する。また、サーバ30は、座席予約を利用して、観客の男女構成比を事前に把握してもよい。さらに、サーバ30は、他の映画館での情報をも参照して、上記推定の精度を上げてもよい。
さらに、本実施形態においては、事前に取得した予約情報に基づいて、映画館の混雑度を推定するだけでなく、例えば、館内600に設けられた座席に設置された圧力センサ(図示省略)によって得られたセンシングデータに基づいて、映画館の混雑度を推定してもよい。また、例えば、本実施形態においては、上記館内600に設けられた撮像装置(図示省略)によって得られたセンシングデータとしての撮像画像を解析することにより、映画館の混雑度を推定してもよい。
また、本実施形態においては、映画を観賞する観客が、館内600の気温をどのように感じているかを、例えば、観客が装着するウェアラブルデバイス10のセンサ部120が有する発汗センサ(図示省略)等によって得られたセンシングデータによって推定してもよい。
以上のように、本実施形態においては、映画館の観客の混雑度を推定し、推定結果に応じて、館内600の空調設備602等を制御することができる。すなわち、本実施形態においては、観客(ユーザ)の状態を推定するだけでなく、推定した状態に応じて観客のニーズを特定し、特定したニーズに対応するように空調設備602を制御する。従って、本実施形態によれば、観客は特に何かしらの行動を起こすことなく、当該観客にとって好ましい状況を作り出すことができる。
また、本実施形態においては、館内600の空調設備602を制御するだけに限定されるものではなく、サーバ30は、例えば、推定結果に応じて、事前に観客に対して、服装や持ち物を提案する通知をメール等で送信してもよい。より具体的には、本実施形態においては、例えば、男性は暑がりの傾向が高いことから、男性の観客の比率が高い場合には、冷房が強くなるように空調設備602を制御する場合がある。そこで、このような場合には、サーバ30は、寒がりの傾向を持つ可能性の高い女性の観客に向けて、ストールやカーディガン等の温度調節を行うことができる持ち物を持参するように提案するメールを、観客の使用するスマートフォン(端末50)等に事前に送付する。また、上述の場合には、サーバ30は、映画館の上映担当者に、館内600で提供する毛布や温かい飲み物やスナックを多めに準備する等を提案する通知を行ってもよい。
また、本実施形態においては、映画の上映終了後に、観客に館内600の空調等に対するアンケートを行って評価を取得し、当該評価を、次回上映における空調設備602の制御に反映させてもよい。このようにすることで、より観客に快適な状況を提供することができる。
また、上述の説明においては、映画館の館内600での利用の場合を説明したが、本実施形態は、映画館以外でも用いることができ、例えば、博物館、美術館、ホテル、レストラン等、様々な人が集まる公共の場で用いることができる。
また、本実施形態は、バスやタクシー等の乗り物の空調設備602でも用いることができる。この場合、サーバ30は、センシングデータとして、上記乗り物の位置や時間を取得する。具体的には、オフィス街や学校等の近くであれば、通勤、通学時間にあたる平日の朝夕の時間帯において乗り物の利用率が高くなることが推定される。また、大規模商業施設等のある繁華街においては、休日において乗り物の利用率が高くなることが推定される。そこで、サーバ30は、上述のような傾向に基づいて、センシングデータとして取得した乗り物の位置や日時における利用率を推定し、推定結果に応じて、乗り物の空調設備602を制御する。また、サーバ30は、上記乗り物内の温度や予想される利用率を取得し、これら乗り物を利用しようとするユーザに社内温度や利用率を提供してもよい。
さらに上述のような場合、サーバ30は、センシングデータとして、各ユーザから端末50を介して入力された、バスやタクシーの予約情報を取得してもよい。この際、サーバ30は、各ユーザの空調の好み(寒い方が好き、暑い方が好き等)を予約情報共に取得して、取得した情報を乗り物の空調設備602の制御に活用してもよい。
<5.2 変形例1>
上述した第3の実施形態においては、映画館における混雑度を推定していたが、本実施形態はこれに限定されるものではなく、公共施設における施設の利用頻度を推定し、推定結果に応じて、掃除等の回数等を施設管理者に行ってもよい。以下にこのような例を、第3の実施形態に係る変形例1として説明する。
例えば、公共施設のトイレ等の設備については、その利用頻度に応じて清掃を行うのではなく、定期的に決められた日時に清掃を行うことが一般的である。このようにすることで、設備を常に清潔に維持することができる一方、清掃を行うコスト等を抑えることが難しい。そこで、本実施形態に係る情報処理システム1を利用することで、利用頻度を推定し、推定結果に応じて適切な清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。また、本変形例においては、サーバ30は、推定結果に応じて、掃除を行う人数や機材や溶剤についての提案を行ってもよい。なお、当該提案は、例えば、施設管路者の使用するPC(端末50)に、清掃日時や人数等を画面表示させることにより行うことができる。
詳細には、サーバ30は、対象ユーザに装着したウェアラブルデバイス10のセンサ部120が有する測位センサ(図示省略)等によって得られたセンシングデータによって、対象ユーザの設備の利用頻度を推定する。具体的には、サーバ30は、所定の期間において該当する設備に滞在する対象ユーザの数を、上記センシングデータによって把握することにより、利用頻度を推定する。また、設備がトイレである場合には、サーバ30は、個室ドアに設置された開閉センサ(図示省略)によって得られるセンシングデータから個室のドアの開閉回数を取得し、利用頻度を推定してもよい。同様に、サーバ30は、水を流す回数や、照明が点灯した回数等により、利用頻度を推定してもよい。そして、サーバ30は、推定した利用頻度に応じて清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。また、設備がトイレであった場合、ドアの開閉回数が多いにもかかわらず、水を流す回数が極端に少ない場合には、サーバ30は、トイレを使用しようとしたものの、極端に汚れていることから使用を中止した人が存在すると推定し、至急清掃するように設備管理者に提案を行う。
以上のように、本変形例によれば、施設の利用頻度を推定し、推定結果に応じて清掃のタイミング等を施設管理者に対して提案することにより、設備を清潔に維持しつつ、清掃に係るコストを抑えることができる。すなわち、本変形例においては、利用者(ユーザ)の状態を推定するだけでなく、推定した状態に応じて利用者のニーズを特定し、特定したニーズに対応するように施設管理者に提案することができる。
<5.3 変形例2>
また、上述のサーバ30のよる公共施設の混雑度や利用頻度の推定を利用して、例えば、当該公共施設に設置されたロッカーの利用状況を推定し、公共施設の利用者に通知してもよい。より具体的には、本変形例においては、鉄道駅、空港、劇場、銭湯等に設置されたロッカーの利用状況の推定に適用する。
通常、上記の公共施設の利用者の数と、ロッカーの利用者の数とは必ずしも一致しないことが多い。そこで、本変形例においては、サーバ30は、上述の変形例と同様に、公共施設の混雑度を推定し、さらに、ロッカーに設けられた開閉センサ(図示省略)等から現在のロッカーの使用状況を取得する。そして、サーバ30は、推定した混雑度と取得した使用状況とから、今後のロッカーの使用状況を予測する。さらに、サーバ30は、上記予測結果に基づき、上記ロッカーをこれから利用しようとする可能性のある上記公共施設の利用者に向けて、利用可能なロッカーの存在や、ロッカーを使用可能な時間帯等を、公共施設に設置された表示装置(端末50)等(図示省略)に表示する。当該利用者は、上記表示に基づいて、ロッカーの使用を再検討したり、利用しようとする時間をずらしたりすることができる。また、サーバ30は、予測結果をロッカーの管理者に通知してもよく、この場合、当該管理者に、利用状況に応じたロッカー設置数や、利用状況を調整するためにロッカーの利用料の変更を提案してもよい。
また、本変形例においては、ロッカーでの利用の場合を説明したが、このような利用に限定されるものではなく、例えば、アミューズメントパークでも用いることができる。この場合、サーバ30は、利用者(対象ユーザ)に装着したウェアラブルデバイス10のセンサ部120が有する測位センサ(図示省略)等によって得られたセンシングデータによって、利用客の位置や混雑状況を推定することができる。そして、サーバ30は、特に混雑度が高い位置が検出された場合には、混雑によって利用者の不満が高まる可能性が高いとして、施設管理者に、係員の派遣や、利用者を楽しませるキャストの派遣等を提案する。
<<6.まとめ>>
以上説明したように、本開示の実施形態によれば、対象ユーザの状態を推定するだけでなく、推定された状態において生じ得る当該対象ユーザのニーズに対応することができる情報処理システム1を提供することができる。その結果、本実施形態によれば、当該対象ユーザは特に何かしらの行動を起こすことなく、当該対象ユーザにとって好ましい状況を作り出すことができる。
<<7. ハードウェア構成について>>
図29は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図29では、情報処理装置900は、上述のサーバ30のハードウェア構成の一例を示している。
情報処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インタフェース958と、操作入力デバイス960とを有する。さらに、情報処理装置900は、表示デバイス962と、通信インタフェース968とを有する。また、情報処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
(CPU950)
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する制御部として機能する。具体的には、CPU950は、情報処理装置900において、例えば、上述の制御部330等の機能を果たす。
(ROM952及びRAM954)
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
(記録媒体956)
記録媒体956は、上述の記憶部360として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
(入出力インタフェース958、操作入力デバイス960、及び表示デバイス962)
入出力インタフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
操作入力デバイス960は、例えば上述の入力部300として機能し、情報処理装置900の内部で入出力インタフェース958と接続される。
表示デバイス962は、例えば上述の出力部310として機能し、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
なお、入出力インタフェース958が、情報処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
また、入出力インタフェース958は、ドライブ(図示省略)と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、RAM954に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
(通信インタフェース968)
通信インタフェース968は、例えば上述のネットワーク70を介して(あるいは、直接的に)、サーバ30等の外部装置と、無線または有線で通信を行うための通信部350として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナ及びRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
以上、情報処理装置900のハードウェア構成の一例を示した。なお、情報処理装置900のハードウェア構成は、図29に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
また、本実施形態に係る情報処理装置900は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置900は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システム1として実現することも可能である。
<<8. 補足>>
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する推定部と、推定結果に対応する出力を行う出力制御部と、を備える、情報処理装置。
(2)前記推定部は、前記対象ユーザに装着された生体センサによるセンシングデータに基づいて、前記対象ユーザの情動を推定する、上記(1)に記載の情報処理装置。
(3)前記推定部は、前記センシングデータが取得された時点より後の前記対象ユーザの情動を推定する、上記(2)に記載の情報処理装置。
(4)過去に取得された前記センシングデータを用いて、前記対象ユーザの情動傾向を学習する学習部をさらに備える、上記(2)又は(3)に記載の情報処理装置。
(5)前記出力の内容に対する前記対象ユーザの評価を取得する評価取得部をさらに備え、前記学習部は、前記評価に基づいて、前記対象ユーザの情動傾向を学習する、上記(4)に記載の情報処理装置。
(6)前記出力制御部は、前記出力として、前記対象ユーザが使用するデバイス又は前記対象ユーザの近傍に設置されたデバイスに対して制御を行う、上記(2)〜(5)のいずれか1つに記載の情報処理装置。
(7)前記出力制御部は、前記出力として、前記対象ユーザの属する集団に含まれるユーザが使用するデバイスに対して制御を行う、上記(2)〜(5)のいずれか1つに記載の情報処理装置。
(8)前記出力制御部は、前記デバイスに対して、推定結果に応じた推奨行動を表示するように制御する、上記(6)又は(7)に記載の情報処理装置。
(9)前記推定部は、複数の前記対象ユーザからなる集団の情動を推定する、上記(2)に記載の情報処理装置。
(10)前記出力制御部は、前記出力として、前記集団に含まれるユーザの使用するデバイスに対して、推定結果に応じた推奨行動を表示するように制御する、上記(9)に記載の情報処理装置。
(11)前記出力制御部は、前記推定結果に基づいて、前記集団に含まれる前記対象ユーザの組み合わせに対する組み合わせ評価を行う、上記(9)又は(10)に記載の情報処理装置。
(12)前記集団による成果物に対する成果物評価を取得する評価取得部をさらに備え、前記出力制御部は、前記成果物評価に基づいて、前記組み合わせ評価を行う、上記(11)に記載の情報処理装置。
(13)前記出力制御部は、前記組み合わせ評価に基づいて、次回に組み合わせる前記対象ユーザの候補を出力する、上記(12)に記載の情報処理装置。
(14)前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて心拍又は脈拍を検出する拍動センサによって取得される、上記(2)〜(13)のいずれか1つに記載の情報処理装置。
(15)前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて発汗を検出する発汗センサから取得される、上記(2)〜(13)のいずれか1つに記載の情報処理装置。
(16)前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて血圧、脳波、呼吸、筋電位、皮膚温度のうちの少なくとも1つを検出するセンサから取得される、上記(2)〜(13)のいずれか1つに記載の情報処理装置。
(17)前記推定部は、複数人の前記対象ユーザから入力されたセンシングデータに基づいて、複数の前記対象ユーザからなる集団の状態を推定する、
上記(1)に記載の情報処理装置。
(18)前記出力制御部は、前記出力として、前記集団の周囲に設置されたデバイスに対して制御を行う、上記(17)に記載の情報処理装置。
(19)センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定することと、推定結果に対応する出力を行うことと、を含む、情報処理方法。
(20)コンピュータに、センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する機能と、推定結果に対応する出力を行う機能と、を実行させる、プログラム。
1 情報処理システム
10 ウェアラブルデバイス
12 バンド部
14 制御ユニット
30 サーバ
50 端末
70 ネットワーク
100、300、500 入力部
110、310、510 出力部
120 センサ部
122 PPGセンサ部
124 モーションセンサ部
130、330、530 制御部
150、350、550 通信部
160、360、560 記憶部
200 測定部位
202 血管
332 センシングデータ取得部
334 処理部
336 出力制御部
338 評価取得部
340 推定部
342 学習部
362 DB
600 館内
602 空調設備
700 表示灯
800、802、804、806 画面
850 マーカ
860 コメント
900 情報処理装置
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インタフェース
960 操作入力デバイス
962 表示デバイス
968 通信インタフェース
970 バス

Claims (20)

  1. センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する推定部と、
    推定結果に対応する出力を行う出力制御部と、
    を備える、情報処理装置。
  2. 前記推定部は、前記対象ユーザに装着された生体センサによるセンシングデータに基づいて、前記対象ユーザの情動を推定する、
    請求項1に記載の情報処理装置。
  3. 前記推定部は、前記センシングデータが取得された時点より後の前記対象ユーザの情動を推定する、請求項2に記載の情報処理装置。
  4. 過去に取得された前記センシングデータを用いて、前記対象ユーザの情動傾向を学習する学習部をさらに備える、請求項2に記載の情報処理装置。
  5. 前記出力の内容に対する前記対象ユーザの評価を取得する評価取得部をさらに備え、
    前記学習部は、前記評価に基づいて、前記対象ユーザの情動傾向を学習する、
    請求項4に記載の情報処理装置。
  6. 前記出力制御部は、前記出力として、前記対象ユーザが使用するデバイス又は前記対象ユーザの近傍に設置されたデバイスに対して制御を行う、請求項2に記載の情報処理装置。
  7. 前記出力制御部は、前記出力として、前記対象ユーザの属する集団に含まれるユーザが使用するデバイスに対して制御を行う、請求項2に記載の情報処理装置。
  8. 前記出力制御部は、前記デバイスに対して、推定結果に応じた推奨行動を表示するように制御する、請求項6に記載の情報処理装置。
  9. 前記推定部は、複数の前記対象ユーザからなる集団の情動を推定する、請求項2に記載の情報処理装置。
  10. 前記出力制御部は、前記出力として、前記集団に含まれるユーザの使用するデバイスに対して、推定結果に応じた推奨行動を表示するように制御する、請求項9に記載の情報処理装置。
  11. 前記出力制御部は、前記推定結果に基づいて、前記集団に含まれる前記対象ユーザの組み合わせに対する組み合わせ評価を行う、請求項9に記載の情報処理装置。
  12. 前記集団による成果物に対する成果物評価を取得する評価取得部をさらに備え、
    前記出力制御部は、前記成果物評価に基づいて、前記組み合わせ評価を行う、請求項11に記載の情報処理装置。
  13. 前記出力制御部は、前記組み合わせ評価に基づいて、次回に組み合わせる前記対象ユーザの候補を出力する、請求項12に記載の情報処理装置。
  14. 前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて心拍又は脈拍を検出する拍動センサによって取得される、請求項2に記載の情報処理装置。
  15. 前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて発汗を検出する発汗センサから取得される、請求項2に記載の情報処理装置。
  16. 前記センシングデータは、前記対象ユーザの身体の一部に直接的に装着されて血圧、脳波、呼吸、筋電位、皮膚温度のうちの少なくとも1つを検出するセンサから取得される、請求項2に記載の情報処理装置。
  17. 前記推定部は、複数人の前記対象ユーザから入力されたセンシングデータに基づいて、複数の前記対象ユーザからなる集団の状態を推定する、
    請求項1に記載の情報処理装置。
  18. 前記出力制御部は、前記出力として、前記集団の周囲に設置されたデバイスに対して制御を行う、請求項17に記載の情報処理装置。
  19. センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定することと、
    推定結果に対応する出力を行うことと、
    を含む、情報処理方法。
  20. コンピュータに、
    センシングデータに基づいて、1人又は複数人の対象ユーザの状態を推定する機能と、
    推定結果に対応する出力を行う機能と、
    を実行させる、プログラム。
JP2019532424A 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム Pending JPWO2019021653A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017146012 2017-07-28
JP2017146012 2017-07-28
PCT/JP2018/022165 WO2019021653A1 (ja) 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2019021653A1 true JPWO2019021653A1 (ja) 2020-05-28

Family

ID=65040543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019532424A Pending JPWO2019021653A1 (ja) 2017-07-28 2018-06-11 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20210161482A1 (ja)
EP (1) EP3660702A1 (ja)
JP (1) JPWO2019021653A1 (ja)
CN (1) CN110945541A (ja)
WO (1) WO2019021653A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250356B2 (en) * 2019-03-27 2022-02-15 Panasonic Intellectual Property Management Co., Ltd. Method and system for apportioning tasks to persons in environment
JP2020194267A (ja) * 2019-05-27 2020-12-03 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP6670413B1 (ja) * 2019-06-25 2020-03-18 株式会社疲労科学研究所 情報処理装置、情報処理方法及びプログラム
JP2021026594A (ja) * 2019-08-07 2021-02-22 パナソニックIpマネジメント株式会社 入場者ガイド方法および入場者ガイドシステム
US20220344041A1 (en) * 2019-09-13 2022-10-27 Sony Group Corporation Information processing device, information processing method, and program
JP2021101846A (ja) * 2019-12-25 2021-07-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2022102060A1 (ja) 2020-11-12 2022-05-19 日本電信電話株式会社 学習装置、心理状態系列予測装置、学習方法、心理状態系列予測方法、及びプログラム
US20240095310A1 (en) * 2020-12-07 2024-03-21 Sony Group Corporation Information processing device, data generation method, grouping model generation method, grouping model learning method, emotion estimation model generation method, and grouping user information generation method
CN115054248B (zh) * 2021-12-10 2023-10-20 荣耀终端有限公司 情绪监测方法和情绪监测装置
JP2024002167A (ja) * 2022-06-23 2024-01-11 ソニーグループ株式会社 情報処理装置
WO2024003993A1 (ja) * 2022-06-27 2024-01-04 日本電信電話株式会社 内観予測装置、内観予測方法および内観予測プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198086A (ja) * 2004-01-08 2005-07-21 Nippon Telegr & Teleph Corp <Ntt> 会議状態検出方法、装置、および会議状態検出プログラム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録
JP2016126623A (ja) * 2015-01-06 2016-07-11 株式会社Nttドコモ 行動支援装置、行動支援システム、行動支援方法及びプログラム
JP2016137203A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2016146173A (ja) * 2015-01-30 2016-08-12 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20150339363A1 (en) * 2012-06-01 2015-11-26 Next Integrative Mind Life Sciences Holding Inc. Method, system and interface to facilitate change of an emotional state of a user and concurrent users
US20150338917A1 (en) * 2012-12-26 2015-11-26 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
JP2014134922A (ja) 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP6355050B2 (ja) * 2014-11-11 2018-07-11 パナソニックIpマネジメント株式会社 会議システムおよび会議システム用プログラム
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
JP6550980B2 (ja) * 2015-07-07 2019-07-31 富士通株式会社 スケジューリング方法、情報処理装置およびスケジューリングプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198086A (ja) * 2004-01-08 2005-07-21 Nippon Telegr & Teleph Corp <Ntt> 会議状態検出方法、装置、および会議状態検出プログラム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録
JP2016126623A (ja) * 2015-01-06 2016-07-11 株式会社Nttドコモ 行動支援装置、行動支援システム、行動支援方法及びプログラム
JP2016137203A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2016146173A (ja) * 2015-01-30 2016-08-12 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2017050803A (ja) * 2015-09-04 2017-03-09 株式会社東芝 電子機器及び方法

Also Published As

Publication number Publication date
EP3660702A4 (en) 2020-06-03
US20210161482A1 (en) 2021-06-03
CN110945541A (zh) 2020-03-31
EP3660702A1 (en) 2020-06-03
WO2019021653A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JPWO2019021653A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11937943B2 (en) Detection of physical abuse or neglect using data from ear-wearable devices
US11839473B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US10901509B2 (en) Wearable computing apparatus and method
JP6268193B2 (ja) 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20170042439A1 (en) System, device and methods for brainwave-based technologies
CN104684463B (zh) 用于确定患者状态的方法和系统
US20160293042A1 (en) Monitoring infant emotional state
KR20160075677A (ko) 소비자 생체측정 장치
US11986300B2 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
Grifantini How's My Sleep?: Personal sleep trackers are gaining in popularity, but their accuracy is still open to debate
US10839705B2 (en) Intelligent infant monitoring system and infant monitoring hub and infant learning receptivity detection system
Garzotto et al. Exploiting the integration of wearable virtual reality and bio-sensors for persons with neurodevelopmental disorders
Labus et al. An IoT system for healthcare in the smart city
WO2023167061A1 (ja) 情報処理方法、情報処理装置及び情報処理システム
Taj-Eldin et al. A review of wearable tracking and emotional monitoring solutions for individuals with autism and intellectual disability
HUYNH Multimodal mobile sensing systems for physiological and psychological assessment
Wache Implicit Human-computer Interaction: Two complementary Approaches
JP2013046691A (ja) 個人特性検出システム、個人特性検出方法およびプログラム
JP2021089501A (ja) 情報処理装置及びプログラム
Yumak et al. Survey of sensor-based wellness applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131