WO2021261123A1 - コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法 - Google Patents

コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法 Download PDF

Info

Publication number
WO2021261123A1
WO2021261123A1 PCT/JP2021/018923 JP2021018923W WO2021261123A1 WO 2021261123 A1 WO2021261123 A1 WO 2021261123A1 JP 2021018923 W JP2021018923 W JP 2021018923W WO 2021261123 A1 WO2021261123 A1 WO 2021261123A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
content
emotion
content information
Prior art date
Application number
PCT/JP2021/018923
Other languages
English (en)
French (fr)
Inventor
貴規 石川
僚 佐々木
佑太 青木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21828712.6A priority Critical patent/EP4163924A4/en
Priority to US18/001,760 priority patent/US11983305B2/en
Publication of WO2021261123A1 publication Critical patent/WO2021261123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • Content presentation including at least a machine learning model that performs machine learning to present appropriate content information to the emotional information based on the content information selected by the user from the plurality of content information.
  • the present technology includes a computer device that holds content information associated with emotion information indicating the user's emotions, and the computer device responds to the user with the desired emotion information indicating the emotion information desired by the user.
  • Machine learning is performed so as to present appropriate content information for the emotional information based on the plurality of content information to be presented and the content information selected by the user from the plurality of content information.
  • a method of presenting content including at least that.
  • the content presentation system includes a computer device that holds content information associated with emotion information indicating the user's emotion.
  • the computer device prompts the user to input emotion information (desired emotion information) desired by the user.
  • the computer device presents the user with content information associated with the emotional information.
  • the content presentation system 100 presents a plurality of content information to the user, and prompts the user to select the most suitable content information from the plurality of content information.
  • the plurality of content information presented may be ranked in an appropriate order with respect to the user's emotional information.
  • the machine learning model 13 can learn the content information appropriate for the user's emotion.
  • the content presentation system 100 can present appropriate content information to the user's emotional information.
  • the content information presented will be customized for that user.
  • the touch panel 105 prompts the user to operate by touch operation.
  • the touch panel 105 can function as, for example, an operation interface unit 11.
  • the content presentation system 100 may include a biosensor or the like in order to estimate the current emotion of the user. This will be described with reference to FIG.
  • FIG. 5 is a block diagram showing a configuration of a content presentation system 100 according to an embodiment of the present technology.
  • the biosensor can acquire biometric information about the user.
  • Biological information includes, for example, heart rate, body temperature, blood pressure, blood oxygen concentration, respiration, water, blood glucose, electrocardiogram, electroencephalogram, and the like.
  • the current emotion information estimated by the emotion estimation unit 15 is presented in the emotion model shown in FIG.
  • the user can objectively grasp his / her current emotions.
  • the user can easily select the desired emotion. For example, when the current emotion is close to lethargy despite being at work, the user may select an emotion that enhances concentration.
  • the operation interface unit 11 that prompts the user to input the desired emotion information may be, for example, a microphone or a camera, but here, the operation interface when a display is used as an embodiment. Part 11 will be described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Fuzzy Systems (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

ユーザの負担を低減し、適切なコンテンツを精度良くユーザに提示するコンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法を提供する。　本技術は、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示システムを提供する。

Description

コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法
　本技術は、コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法に関する。
　従来、ユーザに関する生体情報、行動情報、及び属性情報などに関連付けられたコンテンツがユーザに提示される技術が開示されている。
　例えば特許文献１では、「利用者の生体情報を測定する生体情報測定部と、前記利用者の行動情報を測定する行動情報測定部と、前記利用者の属性情報を入力する属性情報入力部と、過去の利用者の生体情報、行動情報、属性情報及び嗜好項目を互いに関連付けて格納するデータベースと、前記生体情報測定部により測定された生体情報、前記行動情報測定部により測定された行動情報及び前記属性情報入力部により入力された属性情報を取得し、前記データベースと照合することにより前記利用者の嗜好を判断する嗜好判断部とを備えることを特徴とする嗜好判断システム」が、開示されている。この特許文献１では、機械学習手法によりユーザの嗜好を判断して、推薦されるコンテンツ等をユーザに提示する技術について説明されている。
　例えば特許文献２では、「食品の購買活動を指示するための購買活動管理装置であって、ユーザに関する情報である基礎情報を取得する基礎情報取得手段と、上記基礎情報取得手段により取得された基礎情報に基づいて、ユーザの各種栄養成分の摂取状態を判断し、該判断の結果に基づいて、購買活動の適否を判定する購買活動判定手段とを備えるとともに、上記基礎情報取得手段は、上記基礎情報として少なくとも、ユーザの生体情報およびユーザによる購買活動の内容を示す購買活動情報を継続的に取得することを特徴とする購買活動管理装置」が、開示されている。この特許文献２では、ユーザに適した食品購買行動をアドバイスする技術について説明されている。
特開２０１４－２１９９３７号公報 特開２００７－３２８４６４号公報
　しかし、例えば特許文献１などで用いられているような機械学習モデルには、汎化性能が高いことが求められている。汎化性能とは、未学習のユーザから得られた情報に基づいても適切に精度良く判断できる性能をいう。特許文献１では、この汎化性能について開示されていない。
　また、例えば特許文献２などで開示されている技術では、例えばユーザの好きなものや嫌いなものなどの情報を登録する必要がある。しかし、このような情報は状況に応じて変化する。そのため、様々な状況に応じた情報を登録する必要があり、ユーザの負担が大きいという問題がある。
　そこで、本技術は、ユーザの負担を低減し、適切なコンテンツを精度良くユーザに提示するコンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法を提供することを主目的とする。
　本技術は、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示システムを提供する。
　前記感情の要素を座標軸とする座標系に基づいて、前記感情情報及び前記コンテンツ情報が関連付けられていてよい。
　前記座標系が、ラッセルの円環モデルであってよい。
　前記ユーザの現在の前記感情を示す現在感情情報が、生体センサが検知するセンシング情報から得られる生体情報に基づいて推定されてよい。
　前記現在感情情報が、コンテキストセンサが検知するセンシング情報から得られる前記ユーザの状況に関連するコンテキスト情報に基づいて補正されてよい。
　感情推定部をさらに含んでおり、前記感情推定部が、前記生体情報に基づいて、前記生体情報に対して適切な前記感情情報を推定するように機械学習してよい。
　操作インタフェース部をさらに含んでおり、前記操作インタフェース部が、前記希求感情情報の入力を促してよい。
　前記操作インタフェース部が、前記希求感情情報に対応する前記コンテンツ情報を提示し、及び／又は、前記コンテンツ情報の選択を促してよい。
　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、前記機械学習モデルが、前記入力により形成される経路における所定の前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習してよい。
　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、前記機械学習モデルが、前記入力により形成される経路の形状及び前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習してよい。
　また、本技術は、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有し、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示装置を提供する。
　また、本技術は、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習することを少なくとも含む、コンテンツ提示方法を提供する。
本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。 本技術の一実施形態に係る感情モデルの一例を示す概念図である。 本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。 本技術の一実施形態に係るコンピュータ装置１のハードウェア構成を示すブロック図である。 本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。 本技術の一実施形態に係る感情推定部１５の手順の一例を示すフローチャートである。 本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。 本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。 本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。 本技術の一実施形態に係る操作インタフェース部１１に表示される画面の例を示す図である。 本技術の一実施形態に係る操作インタフェース部１１に表示される画面の例を示す図である。 本技術の一実施形態に係るコンテンツ提示装置２００の構成を示すブロック図である。 本技術の一実施形態に係るコンテンツ提示方法の手順の一例を示すフローチャートである。
　以下、本技術を実施するための好適な形態について説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
　本技術の説明は以下の順序で行う。
　１．本技術の第１の実施形態（コンテンツ提示システムの例１）
　（１）本実施形態の概要
　（２）感情モデル
　（３）フローチャート
　（４）ハードウェア構成
　２．本技術の第２の実施形態（コンテンツ提示システムの例２）
　３．本技術の第３の実施形態（コンテンツ提示システムの例３）
　４．本技術の第４の実施形態（コンテンツ提示システムの例４）
　５．本技術の第５の実施形態（コンテンツ提示システムの例５）
　６．本技術の第６の実施形態（コンテンツ提示装置）
　７．本技術の第７の実施形態（コンテンツ提示方法）
［１．本技術の第１の実施形態（コンテンツ提示システムの例１）］
［（１）本実施形態の概要］
　本技術の一実施形態に係るコンテンツ提示システムは、例えばユーザが自己の感情をコントロールするために用いられることができる。感情は、心的過程全般を指し、情動、気分、情操などが含まれる。感情の一例を挙げると、幸せ、くつろぎ、無気力、心配、緊張、などがある。
　本技術によれば、ユーザは自己の感情をコントロールできる。例えば緊張感を感じているユーザが、くつろぎが感じられる動画などのコンテンツを視聴することにより、くつろぎが感じられるようになる。
　本技術の一実施形態に係るコンテンツ提示システムは、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含む。前記コンピュータ装置は、ユーザが希求する感情情報（希求感情情報）の入力をユーザに対して促す。前記コンピュータ装置は、前記感情情報に関連付けられるコンテンツ情報をユーザに提示する。
　コンテンツ情報には、例えば、動画、静止画、音声、音楽、テキストなどのほか、香り、温度、照明などの情報が含まれる。なお、香りには、人が香りとして認知できるもののほか、人が香りとして認知できないが吸引されることにより人に対して何らかの作用を及ぼすものも含まれる。例えば、吸引される医療用鎮静剤、あるいは、酸素や二酸化炭素などに代表されるような、無臭であるが吸引されることにより人の体調に作用する気体なども香りに含まれる。
　本技術の第一実施形態に係るコンテンツ提示システムの構成について図１を参照しつつ説明する。図１は、本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。図１に示されるとおり、本技術の一実施形態に係るコンテンツ提示システム１００は、コンピュータ装置１を含む。コンピュータ装置１は、例えば、操作インタフェース部１１と、記憶部１２と、機械学習モデル１３と、制御部１４と、を含むことができる。
　操作インタフェース部１１は、希求感情情報の入力をユーザに対して促す。操作インタフェース部１１は、例えばタッチパネルなどが用いられることにより実現できる。操作インタフェース部１１は、ユーザのタッチ操作を認識することにより、希求感情情報を取得できる。
　あるいは、操作インタフェース部１１は、例えばマイクロフォンなどが用いられることにより実現できる。操作インタフェース部１１は、ユーザの発話音声を認識することにより、希求感情情報を取得できる。
　あるいは、操作インタフェース部１１は、例えばカメラなどが用いられることにより実現できる。操作インタフェース部１１は、ユーザの顔の表情や視線などを画像認識することにより、希求感情情報を取得できる。
　記憶部１２は、感情情報と関連付けられるコンテンツ情報を保有する。そのほか、記憶部１２は、例えば機械学習モデル１３のパラメータ、ユーザの操作に関する履歴情報、ユーザに関する属性情報などを保有してもよい。
　機械学習モデル１３は、感情情報に対して適切なコンテンツ情報を提示するように機械学習する。より詳しく説明すると、機械学習モデル１３は、感情情報に対応してユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中からユーザに選択されるコンテンツ情報と、に基づいて、感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する。
　制御部１４は、操作インタフェース部１１、記憶部１２、及び機械学習モデル１３の動作を制御する。
　ここで、選択されるコンテンツ情報が複数であることについて説明する。機械学習モデル１３が生成されるとき、複数人に関する感情情報とコンテンツ情報が関連付けられているデータセットが用いられる。この複数人の中に、機械学習モデル１３がこれから学習しようとするユーザが含まれていないとき、そのユーザの特性を学習できていないため、提示されるコンテンツ情報がユーザの感情情報に対して最適ではないおそれがある。
　そこで、コンテンツ提示システム１００は、複数のコンテンツ情報をユーザに提示することにより、その複数のコンテンツ情報の中から最適なものの選択をユーザに促す。提示される複数のコンテンツ情報は、ユーザの感情情報に対して適切な順に順位付けがされていてよい。ユーザの感情に対して適切なコンテンツ情報が選択されることにより、機械学習モデル１３は、ユーザの感情に対して適切なコンテンツ情報を学習できる。その結果、コンテンツ提示システム１００は、ユーザの感情情報に対して適切なコンテンツ情報が提示できるようになる。提示されるコンテンツ情報は、そのユーザに対してカスタマイズされたものとなる。
　機械学習モデル１３が解決すべきことは「感情情報に対して適切なコンテンツ情報を提示する」ことである。適切であるか否かの判定は、例えば、ユーザに提示されるコンテンツ情報と、ユーザに選択されるコンテンツ情報と、の差違によって行われることができる。この差違が小さいほど、感情情報に対して適切なコンテンツが提示できたといえる。
　ユーザに提示されるコンテンツ情報は、例えばユーザの特性に適切なものであってもよいし、多数のユーザに適切な傾向があるものであってもよい。前者は、例えばお気に入りの楽曲などが該当する。後者は、例えば流行している楽曲などが該当する。コンテンツ情報は、コンテンツ情報の選択に関する履歴情報などから得られる。
　なお、前記感情情報は、生体センサから得てもよいし、操作インタフェース部１１がユーザに入力を促すことにより得てもよい。詳細については後述する。
　機械学習モデル１３は、この差違が小さくなるように機械学習する。この機械学習の手段は特に限定されないが、例えば、機械学習モデル１３であるニューラルネットワークのパラメータ（重み付け係数）が、強化学習により更新されてよい。機械学習モデル１３は、前記差違が小さいほど高い報酬を得て強化学習するように実装されることができる。
　あるいは、前記差違が数値化されていてもよい。機械学習モデル１３は、機械学習によりこの差違を更新してもよい。
　本技術によれば、ユーザは、自己の感情に対して適切なコンテンツ情報を選択するだけでよい。ユーザは、例えば自己の年齢、性別、好きな食べ物などの属性情報をあらかじめ登録しておく必要がない。そのため、ユーザの負担が小さい。
　本技術によれば、未学習のユーザに対しても学習でき、適切なコンテンツ情報が精度良く提示される。そのため、機械学習モデル１３の汎化性能は高い。
　なお、これらの効果は、後述する他の実施形態においても同様である。そのため、他の実施形態の説明においては、再度の説明を省略する。
［（２）感情モデル］
　感情情報及びコンテンツ情報の関連付けについて図２を参照しつつ説明する。図２は、本技術の一実施形態に係る感情モデルの一例を示す概念図である。
　図２では、感情の要素を座標軸とする座標系が示されている。横軸を「快（Pleasant）－不快（Unpleasant）」という感情価（Valence）とし、縦軸を覚醒度（Arousal）とする二次元の座標系が示されている。感情の要素が円環状に配置されている。例えば「幸せ（happy）」と「満足（contented）」のような類似した感情は円環上の近接する位置に配置されている。一方で、例えば「幸せ（happy）」と「悲しみ（sad）」のような非類似の感情は円環上の対向する位置に配置されている。
　記憶部１２は、この座標系を保有する。この座標系は、従来、ラッセルの円環モデルと呼ばれている。感情情報及びコンテンツ情報の関連付けに、このラッセルの円環モデルが用いられることができる。感情情報及びコンテンツ情報の関連付けに、ラッセルの円環モデルではない座標系が用いられてもよい。例えばミレンソンの３次元モデルなどが、感情情報及びコンテンツ情報の関連付けに用いられてもよい。
　ユーザに関する感情情報は、この２軸を基準として特定の座標にマッピングされることができる。ユーザに関する感情の強さは、この２軸の交点Ｘから前記特定の座標までの距離で示されることができる。これにより、ユーザに関する感情が定量的に評価できる。
　感情情報及びコンテンツ情報には、座標情報が関連付けられている。これにより、感情情報及びコンテンツ情報が関連付けられることができる。感情情報に関する座標が選択されるとき、この座標に関するコンテンツ情報が選択される。
［（３）フローチャート］
　コンテンツ提示システム１００の手順について図３を参照しつつ説明する。図３は、本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。
　図３に示されるとおり、まず、ステップＳ１１において、機械学習モデル１３は、得られる感情情報に関連付けられるコンテンツ情報を複数選択する。この複数のコンテンツ情報は、例えば感情情報に応じて順位付けされていてよい。
　ステップＳ１２において、操作インタフェース部１１は、選択された複数のコンテンツ情報をユーザに提示する。操作インタフェース部１１は、この複数のコンテンツ情報の中から特定のコンテンツ情報を選択することをユーザに促す。
　ステップＳ１３において、機械学習モデル１３は、ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中からユーザに選択されるコンテンツ情報と、に基づいて、感情情報に対して適切なコンテンツ情報を提示するように機械学習する。
　具体例を用いて説明する。ユーザが希求する感情情報に関する座標が（０，－１０）であるとする。機械学習モデル１３は、この座標又はこの座標の近傍の座標に関連付けられている複数のコンテンツ情報を選択する（ステップＳ１１）。操作インタフェース部１１は、この複数のコンテンツ情報をユーザに提示して、選択を促す（ステップＳ１２）。この複数のコンテンツ情報の中から選択されたコンテンツ情報に関連する座標が（０，－１５）であるとき、機械学習モデル１３は、このコンテンツ情報に関連する座標を（０，－１０）に補正する（ステップＳ１３）。
［（４）ハードウェア構成］
　コンピュータ装置１のハードウェア構成について図４を参照しつつ説明する。図４は、本技術の一実施形態に係るコンピュータ装置１のハードウェア構成を示すブロック図である。図４に示されるとおり、コンピュータ装置１は、構成要素として、ＣＰＵ１０１、ストレージ１０２、ＲＡＭ（Random Access Memory）１０３、通信インタフェース１０４、及びタッチパネル１０５を備えることができる。それぞれの構成要素は、例えばデータの伝送路としてのバスで接続されている。
　ＣＰＵ１０１は、例えばマイクロコンピュータにより実現され、コンピュータ装置１のそれぞれの構成要素を制御する。ＣＰＵ１０１は、例えば、制御部１４や機械学習モデル１３などとして機能することができる。この機械学習モデル１３は、例えばプログラムにより実現されうる。このプログラムをＣＰＵ１０１が読み込むことによって機能する。
　ストレージ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ストレージ１０２は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等を利用することにより実現されうる。ストレージ１０２は、例えば記憶部１２として機能することができる。
　ＲＡＭ１０３は、例えば、ＣＰＵ１０１により実行されるプログラム等を一時的に記憶する。
　通信インタフェース１０４は、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）等の通信技術を利用して、情報通信ネットワーク３を介して通信する機能を有する。
　タッチパネル１０５は、タッチ操作によりユーザに対して操作を促す。タッチパネル１０５は、例えば操作インタフェース部１１として機能することができる。
　コンピュータ装置１は、例えばスマートフォン端末であってもよいし、タブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ：Head Mounted Display、メガネ型ＨＭＤ、時計型端末、バンド型端末等）であってもよい。
　機械学習モデル１３などを実現するプログラムは、コンテンツ提示システム１００のほかのコンピュータ装置又はコンピュータシステムに格納されてもよい。この場合、コンテンツ提示システム１００は、このプログラムが有する機能を提供するクラウドサービスを利用することができる。このクラウドサービスとして、例えばＳａａＳ（Software as a Service）、ＩａａＳ（Infrastructure as a Service）、ＰａａＳ（Platform as a Service）等が挙げられる。
　さらにこのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、上記プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、上記プログラムをコンピュータに供給できる。
　なお、本実施形態において用いられる技術は、後述する他の実施形態においても用いられることができる。他の実施形態においても同様である。
［２．本技術の第２の実施形態（コンテンツ提示システムの例２）］
　本技術の一実施形態に係るコンテンツ提示システム１００は、ユーザの現在の感情を推定するために、生体センサなどを含むことができる。このことについて図５を参照しつつ説明する。図５は、本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。
　図５に示されるとおり、本技術の一実施形態に係るコンテンツ提示システム１００は、さらに生体センサ２及び感情推定部１５を含むことができる。感情推定部１５は、コンピュータ装置１に含まれる。生体センサ２及びコンピュータ装置１は、情報通信ネットワーク３を介して接続されている。
　生体センサは、ユーザに関する生体情報を取得できる。生体情報には、例えば、心拍数、体温、血圧、血中酸素濃度、呼吸、水分、血糖、心電図、脳波などが含まれる。
　従来、例えば画像認識により顔の動きをコード化する技術（ＦＡＣＳ：Facial Action Coding Systemなど）や、嘘発見器などのように、生体情報に基づいて感情を推定するアフェクティブコンピューティングという技術が利用されている。感情推定部１５も同様に、生体センサ２が検知するセンシング情報から得られる生体情報に基づいて、ユーザの現在の感情を示す現在感情情報を推定する。
　感情推定部１５の処理の一例について図６を参照しつつ説明する。図６は、本技術の一実施形態に係る感情推定部１５の手順の一例を示すフローチャートである。
　図６に示されるとおり、まずステップＳ２１において、感情推定部１５は、生体センサ２が検知するセンシング情報に対して前処理を行う。例えば、感情推定部１５は、センシング情報の分解、あるいはノイズなどの不要な情報の除去などを行う。
　ステップＳ２２において、感情推定部１５は、センシング情報に含まれる特徴を抽出して生体情報を得る。この特徴は、あらかじめ定義されていてもよいし、例えばディープラーニングにより自動的に抽出されてもよい。
　ステップＳ２３において、感情推定部１５は、前記生体情報に基づいて、感情情報を推定する。
　感情推定部１５は、この感情情報の推定にあたり、生体情報に基づいて、前記生体情報に対して適切な感情情報を推定するように機械学習することができる。感情推定部１５は、例えば教師あり学習が行われたニューラルネットワークが用いられることにより実現できる。この教師あり学習は、例えば入力を生体情報とし、出力を感情情報とすることにより行われることができる。
　ユーザの生体情報はユーザに応じて特性があるが、本技術によれば、その特性が取り入れられて適切な感情情報が推定されることができる。
　感情推定部１５は、ユーザがコンテンツを視聴などしているときの生体情報に基づいて、前記生体情報に対して適切な感情情報を推定するように機械学習してもよい。これにより、感情情報及びコンテンツ情報の関連の度合いがより強くなり、感情情報に対してより適切なコンテンツ情報が提示されるようになる。
　そのほか、感情推定部１５は、例えばロジスティック回帰、サポートベクトルマシン、ベイズ推定、決定木、ランダムフォレスト、ｋ近傍法、主成分分析、ｋ平均法などが用いられてもよい。
　感情推定部１５が推定した現在感情情報は、図２に示される感情モデルに提示される。これにより、ユーザは、自己の現在の感情を客観的に把握できる。その結果、ユーザは、希求する感情の選択が容易になる。例えば、仕事中であるにもかかわらず、現在の感情が無気力に近い感情であるとき、ユーザは、より集中力を高めるような感情を選択しうる。
　コンテンツ提示システム１００の手順について図７を参照しつつ説明する。図７は、本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。
　図７に示されるとおり、まず、ステップＳ３１において、生体センサ２が、ユーザからのセンシング情報を検知して、生体情報を取得する。
　ステップＳ３２において、感情推定部１５が、生体情報に基づいて、ユーザに関する現在感情情報を推定する。
　ステップＳ３３において、操作インタフェース部１１が、前記現在感情情報をユーザに提示する。
　ステップＳ３４において、操作インタフェース部１１が、ユーザが希求する感情情報の入力を促す。
　ステップＳ３５～Ｓ３７の手順は、図３におけるステップＳ１１～Ｓ１３と同様の手順であるため、詳細な説明を省略する。
［３．本技術の第３の実施形態（コンテンツ提示システムの例３）］
　第２の実施形態において得られる生体情報は、ユーザの状況に応じて特徴が異なることがある。例えばユーザが座っているときの心拍数と、ユーザが立っているときの心拍数を比較すると、立っているときの心拍数が多くなる傾向にある。そのため、ユーザが座っているときの生体情報に基づいて感情推定部１５が生成された場合、立っているときの感情が「緊張している」と誤って推定されるおそれがある。そのため、生体情報は、ユーザの状況に応じて補正されることが好ましい。
　本技術の一実施形態に係るコンテンツ提示システム１００は、ユーザの現在の状況を推定するために、コンテキストセンサなどを含むことができる。コンテキストセンサは、ユーザの姿勢や存在位置などの状況に関連する情報を示すコンテキスト情報を得る。コンテキスト情報は、例えば、ユーザが屋内にいるか、屋外にいるか、友人に会っているときか、ショッピングしているときか、歩いているときか、走っているときか、などのコンテキスト情報を得る。
　コンテキストセンサは、例えば角速度センサ、加速度センサ、慣性センサ（ＩＭＵ：Inertial Measurement Unit）、ＧＰＳ（Global Positioning System）測位部、マイクロフォン、環境光センサ、スケジュール管理アプリケーションなどが用いられることにより実現できる。例えば角速度センサ、加速度センサ、慣性センサなどが用いられることにより、ユーザが歩いているときか、歩いているときか、などのコンテキスト情報が得られる。例えばＧＰＳ測位部、マイクロフォン、環境光センサなどが用いられることにより、ユーザが屋内にいるか、屋外にいるか、などのコンテキスト情報が得られる。例えばスケジュール管理アプリケーションなどが用いられることにより、例えばユーザが友人に会っているときか、などのコンテキスト情報が得られる。
　本技術の一実施形態に係るコンテンツ提示システム１００の構成について図８を参照しつつ説明する。図８は、本技術の一実施形態に係るコンテンツ提示システム１００の構成を示すブロック図である。
　図８に示されるとおり、本技術の一実施形態に係るコンテンツ提示システム１００は、さらにコンテキストセンサ４及びコンテキスト推定部１６を含むことができる。コンテキスト推定部１６は、コンピュータ装置１に含まれる。コンテキストセンサ４及びコンピュータ装置１は、情報通信ネットワーク３を介して接続されている。
　コンテキスト推定部１６は、コンテキストセンサ４が検知するセンシング情報に基づいて、コンテキスト情報を推定する。
　コンテキスト推定部１６は、例えば教師あり学習が行われたニューラルネットワークが用いられることにより実現できる。この教師あり学習は、例えば入力をセンシング情報とし、出力をコンテキスト情報とすることにより行われることができる。
　感情推定部１５は、コンテキスト情報に基づいて、現在感情情報を補正することができる。上述した心拍数の例を用いると、ユーザが立っているため心拍数が高い場合、感情推定部１５は、心拍数を減算してよい。又は、感情推定部１５が生成されるときに、減算された心拍数を説明変数として感情推定部１５が生成されてもよい。
　あるいは、感情推定部１５は、コンテキスト情報に基づいて、例えば図２に示される座標系の交点Ｘを補正してよい。これにより、例えば感情の強さなどが補正される。
　あるいは、この座標系とコンテキスト情報とが関連付けられていてもよい。例えばユーザが座っているときの座標系と、ユーザが立っているときの座標系が、異なっていてもよい。
　あるいは、補正前の生体情報がｍ次元（例えば心拍数、発汗量、呼吸の３次元）ベクトルであり、コンテキスト情報がｎ次元ベクトルであるとき、補正後の生体情報はｍ×ｎ次元ベクトルであってよい。
　さらに、感情推定部１５は、感情情報の推定にあたり、生体情報に加えてコンテンツ情報に基づいて、前記生体情報に対して適切な感情情報を推定するように機械学習することができる。感情推定部１５は、例えば教師あり学習が行われたニューラルネットワークが用いられることにより実現できる。この教師あり学習は、例えば入力を生体情報及びコンテンツ情報とし、出力を感情情報とすることにより行われることができる。
　あるいは、感情推定部１５は、コンテキストごとの感情情報及びコンテンツ情報が関連付けられたデータセットに基づいて、機械学習してもよい。
　ユーザの生体情報はユーザの状況に応じて誤差が生じるが、本技術によれば、その状況が取り入れられて適切な感情情報が推定されることができる。
　コンテンツ提示システム１００の手順について図９を参照しつつ説明する。図９は、本技術の一実施形態に係るコンテンツ提示システム１００の手順の一例を示すフローチャートである。
　図９に示されるとおり、まず、ステップＳ４１において、生体センサ２が、ユーザからのセンシング情報を検知して、生体情報を取得する。
　ステップＳ４２において、感情推定部１５が、生体情報に基づいて、ユーザに関する現在感情情報を推定する。
　ステップＳ４３において、コンテキスト推定部１６が、コンテキストセンサ４が検知したセンシング情報に基づいてコンテキスト情報を推定する。
　ステップＳ４４において、感情推定部１５は、コンテキスト情報に基づいて、現在感情情報を補正する。
　ステップＳ４５～Ｓ４９の手順は、図７におけるステップＳ３３～Ｓ３７と同様の手順であるため、詳細な説明を省略する。
［４．本技術の第４の実施形態（コンテンツ提示システムの例４）］
　ユーザに対して希求感情情報の入力を促す操作インタフェース部１１は、例えばマイクロフォンが用いられてもよいし、カメラが用いられてもよいが、ここでは一実施形態としてディスプレイが用いられるときの操作インタフェース部１１について説明する。
　操作インタフェース部１１を介した操作方法について図１０を参照しつつ説明する。図１０は、本技術の一実施形態に係る操作インタフェース部１１に表示される画面の例を示す図である。図２と同様に、感情の要素を座標軸とする座標系が示されている。
　図１０に示されるとおり、ユーザの現在の感情を示す現在感情情報が、第１のポイントＰ１に表示される。
　この第１のポイントＰ１により、現在の自己の感情を客観的に認識したユーザは、第１のポイントＰ１を、希求感情情報を示す第２のポイントＰ２に移動させることができる。この操作は、操作インタフェース部１１がタッチパネルを備えていればタッチ操作により行われることができる。あるいは、マウスが用いられることによりこの操作が行われてもよい。あるいは、ＨＭＤ（Head Mounted Display）が操作インタフェース部１１を備えるとき、例えばこのＨＭＤが備える角速度センサなどがユーザの頭部の角度を検知することによりこの操作が行われてもよいし、操作インタフェース部１１がユーザの視線を検知することによりこの操作が行われてもよい。
　機械学習モデル１３は、第２のポイントＰ２に対応する複数のコンテンツ情報を選択する。
　操作インタフェース部１１は、機械学習モデル１３により選択された、第２のポイントＰ２に対応する複数のコンテンツ情報をユーザに提示する。さらに、操作インタフェース部１１は、前記複数のコンテンツ情報の中から特定のコンテンツ情報の選択を促す。
　ここで、選択されるコンテンツ情報が複数であることについて説明する。希求感情情報を示す第２のポイントＰ２は、ユーザの直感によりミリ単位で選択される。そのため、第２のポイントＰ２の位置にばらつきが生じる。そのため、複数のコンテンツ情報を提示することにより、このばらつきによる影響を低減している。
　なお、この第２のポイントＰ２は複数選択されてもよい。このとき、操作インタフェース部１１は、複数の第２のポイントのそれぞれに対応する複数のコンテンツ情報をユーザに提示する。
［５．本技術の第５の実施形態（コンテンツ提示システムの例５）］
　引き続き、一実施形態としてディスプレイが用いられるときの操作インタフェース部１１について説明する。
　希求感情情報の入力を促すとき、操作インタフェース部１１は、１つの座標の入力を促してもよいが、複数の座標の連続的又は段階的な入力を促してもよい。
　操作インタフェース部１１を介した操作方法について図１１を参照しつつ説明する。図１１は、本技術の一実施形態に係る操作インタフェース部１１に表示される画面の例を示す図である。
　図１１に示されるとおり、第４の実施形態と同様に、第１のポイントＰ１が表示される。
　この第１のポイントＰ１により、現在の自己の感情を客観的に認識したユーザは、第１のポイントＰ１を移動させることにより、希求感情情報を示す経路Ｒを入力する。この経路Ｒは、複数の座標の連続的又は段階的な入力により形成される。ユーザは、第１の経由ポイントＶ１及び第２の経由ポイントＶ２を経由して、第１のポイントＰ１を第２のポイントＰ２に移動させることができる。この操作は、第４の実施形態と同様にタッチ操作などにより行われることができる。
　なお、経由ポイントの数は２つに限られない。
　機械学習モデル１３は、この経路Ｒに含まれる１つ又は複数の経由ポイントに対応する複数のコンテンツ情報を選択する。図１１に示される実施例では、第１の経由ポイントＶ１に対応する複数のコンテンツ情報と、第２の経由ポイントＶ２に対応する複数のコンテンツ情報を選択する。
　操作インタフェース部１１は、機械学習モデル１３により選択された、第１の経由ポイントＶ１に対応する複数のコンテンツ情報と、第２の経由ポイントＶ２に対応する複数のコンテンツ情報をユーザに提示する。さらに、操作インタフェース部１１は、前記複数のコンテンツ情報の中から特定のコンテンツ情報の選択を促す。
　機械学習モデル１３は、経路Ｒにおける所定の希求感情情報（本実施例では第１の経由ポイントＶ１及び第２の経由ポイントＶ２）に対応してユーザに提示される複数のコンテンツ情報と、複数のコンテンツ情報の中からユーザに選択されるコンテンツ情報と、に基づいて、希求感情情報に対して適切なコンテンツ情報を提示するように機械学習する。
　第４の実施形態では、ユーザは、第１のポイントＰ１から第２のポイントＰ２にストレートに移動させることができる。第４の実施形態は、例えばユーザが第２のポイントＰ２に示される感情に即座になりたい場合などに用いられる。
　一方、この第５の実施形態では、ユーザは、第１のポイントＰ１から第２のポイントＰ２に迂回しながら移動させることができる。第５の実施形態は、例えばユーザが種々の感情になりながら、最終的な感情になりたい場合などに用いられる。具体例を用いて説明すると、緊張しているユーザが自己のパフォーマンスを発揮したいと考えたとき、くつろぎが感じられるコンテンツを視聴してから、興奮が感じられるコンテンツを視聴した方が、興奮が感じられるコンテンツを即座に視聴するよりも、パフォーマンスが発揮できるときがある。本技術によれば、ユーザの特性に応じて柔軟にコンテンツ情報を提示できる。
　さらに、機械学習モデル１３は、経路Ｒの形状及び第２のポイントＰ２に対応する複数のコンテンツ情報を選択してもよい。機械学習モデル１３は、例えばこの形状が含む曲線の度合いに対応した複数のコンテンツ情報を選択することができる。
　操作インタフェース部１１は、機械学習モデル１３により選択された、経路Ｒの形状及び第２のポイントＰ２に対応する複数のコンテンツ情報をユーザに提示する。さらに、操作インタフェース部１１は、前記複数のコンテンツ情報の中から特定のコンテンツ情報の選択を促す。
　機械学習モデル１３は、経路Ｒの形状及び第２のポイントＰ２に対応してユーザに提示される複数のコンテンツ情報と、複数のコンテンツ情報の中からユーザに選択されるコンテンツ情報と、に基づいて、希求感情情報に対して適切なコンテンツ情報を提示するように機械学習する。
　本実施形態によれば、第１のポイントＰ１から第２のポイントＰ２にストレートに移動させた場合と、第１のポイントＰ１から第２のポイントＰ２に迂回しながら移動させた場合とを比べて、第２のポイントＰ２に対応して提示される複数のコンテンツ情報が異なる。これにより、ユーザの感情の変化の過程が考慮されたコンテンツ情報がユーザに提示される。
［６．本技術の第６の実施形態（コンテンツ提示装置）］
　本技術の第一実施形態に係るコンテンツ提示装置の構成について図１２を参照しつつ説明する。図１２は、本技術の一実施形態に係るコンテンツ提示装置２００の構成を示すブロック図である。
　図１２に示されるとおり、本技術の一実施形態に係るコンテンツ提示装置２００は、例えば、操作インタフェース部１１と、記憶部１２と、機械学習モデル１３と、制御部１４と、を含むことができる。
　機械学習モデル１３は、感情情報に対して適切なコンテンツ情報を提示するように機械学習する。より詳しく説明すると、機械学習モデル１３は、感情情報に対応してユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中からユーザに選択されるコンテンツ情報と、に基づいて、感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する。
　コンテンツ提示装置２００は、上述したコンテンツ提示システム１００に係る技術を利用してもよい。よって、操作インタフェース部１１、記憶部１２、機械学習モデル１３、及び制御部１４についての再度の説明を省略する。
［７．本技術の第７の実施形態（コンテンツ提示方法）］
　本技術の一実施形態に係るコンテンツ提示方法は、ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含む。
　本技術の一実施形態に係るコンテンツ提示方法の手順について図１３を参照しつつ説明する。図１３は、本技術の一実施形態に係るコンテンツ提示方法の手順の一例を示すフローチャートである。
　図１３に示されるとおり、本実施形態に係るコンテンツ提示方法は、前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習すること（ステップＳ１）を少なくとも含む。
　本実施形態に係るコンテンツ提示方法は、上述した他の実施形態に係る技術を利用してもよい。そのため、上記の実施形態において説明した技術については、再度の説明を省略する。
　本実施形態に係るコンテンツ提示方法は、ソフトウェア及びハードウェアを利用することにより実現できる。具体的に説明すると、例えばハードウェアが備えるＣＰＵが、本実施形態に係るコンテンツ提示方法を実現するためのプログラムを読み込むことにより、本実施形態に係るコンテンツ提示方法が実現できる。
　これ以外にも、本技術の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりできる。
　なお、本明細書中に記載した効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　なお、本技術は、以下のような構成をとることもできる。
［１］
　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、
　前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示システム。
［２］
　前記感情の要素を座標軸とする座標系に基づいて、前記感情情報及び前記コンテンツ情報が関連付けられている、
　［１］に記載のコンテンツ提示システム。
［３］
　前記座標系が、ラッセルの円環モデルである、
　［２］に記載のコンテンツ提示システム。
［４］
　前記ユーザの現在の前記感情を示す現在感情情報が、生体センサが検知するセンシング情報から得られる生体情報に基づいて推定される、
　［１］～［３］のいずれか一つに記載のコンテンツ提示システム。
［５］
　前記現在感情情報が、コンテキストセンサが検知するセンシング情報から得られる前記ユーザの状況に関連するコンテキスト情報に基づいて補正される、
　［４］に記載のコンテンツ提示システム。
［６］
　感情推定部をさらに含んでおり、
　前記感情推定部が、前記生体情報に基づいて、前記生体情報に対して適切な前記感情情報を推定するように機械学習する、
　［４］又は［５］に記載のコンテンツ提示システム。
［７］
　操作インタフェース部をさらに含んでおり、
　前記操作インタフェース部が、前記希求感情情報の入力を促す、
　［１］～［６］のいずれか一つに記載のコンテンツ提示システム。
［８］
　前記操作インタフェース部が、前記希求感情情報に対応する前記コンテンツ情報を提示し、及び／又は、前記コンテンツ情報の選択を促す、
　［７］に記載のコンテンツ提示システム。
［９］
　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、
　前記機械学習モデルが、前記入力により形成される経路における所定の前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する、
　［７］又は［８］に記載のコンテンツ提示システム。
［１０］
　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、
　前記機械学習モデルが、前記入力により形成される経路の形状及び前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する、
　［７］～［９］のいずれか一つに記載のコンテンツ提示システム。
［１１］
　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有し、
　前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示装置。
［１２］
　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、
　前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習することを少なくとも含む、コンテンツ提示方法。
１００　コンテンツ提示システム
１　　　コンピュータ装置
１１　　操作インタフェース部
１２　　記憶部
１３　　機械学習モデル
１４　　制御部
１５　　感情推定部
１６　　コンテキスト推定部
２　　　生体センサ
３　　　情報通信ネットワーク
４　　　コンテキストセンサ
Ｐ１　　第１のポイント
Ｐ２　　第２のポイント
Ｒ　　　経路
Ｖ１　　第１の経由ポイント
Ｖ２　　第２の経由ポイント
２００　コンテンツ提示装置
Ｓ１　　機械学習すること

Claims (12)

  1. 　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、
    　前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示システム。
  2. 　前記感情の要素を座標軸とする座標系に基づいて、前記感情情報及び前記コンテンツ情報が関連付けられている、
    　請求項１に記載のコンテンツ提示システム。
  3. 　前記座標系が、ラッセルの円環モデルである、
    　請求項２に記載のコンテンツ提示システム。
  4. 　前記ユーザの現在の前記感情を示す現在感情情報が、生体センサが検知するセンシング情報から得られる生体情報に基づいて推定される、
    　請求項１に記載のコンテンツ提示システム。
  5. 　前記現在感情情報が、コンテキストセンサが検知するセンシング情報から得られる前記ユーザの状況に関連するコンテキスト情報に基づいて補正される、
    　請求項４に記載のコンテンツ提示システム。
  6. 　感情推定部をさらに含んでおり、
    　前記感情推定部が、前記生体情報に基づいて、前記生体情報に対して適切な前記感情情報を推定するように機械学習する、
    　請求項４に記載のコンテンツ提示システム。
  7. 　操作インタフェース部をさらに含んでおり、
    　前記操作インタフェース部が、前記希求感情情報の入力を促す、
    　請求項１に記載のコンテンツ提示システム。
  8. 　前記操作インタフェース部が、前記希求感情情報に対応する前記コンテンツ情報を提示し、及び／又は、前記コンテンツ情報の選択を促す、
    　請求項７に記載のコンテンツ提示システム。
  9. 　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、
    　前記機械学習モデルが、前記入力により形成される経路における所定の前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する、
    　請求項７に記載のコンテンツ提示システム。
  10. 　前記操作インタフェース部が、前記希求感情情報の連続的又は段階的な入力を促し、
    　前記機械学習モデルが、前記入力により形成される経路の形状及び前記希求感情情報に対応して前記ユーザに提示される複数の前記コンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記希求感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する、
    　請求項７に記載のコンテンツ提示システム。
  11. 　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有し、
    　前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習する機械学習モデルを少なくとも含む、コンテンツ提示装置。
  12. 　ユーザの感情を示す感情情報と関連付けられるコンテンツ情報を保有するコンピュータ装置を含み、
    　前記コンピュータ装置が、前記ユーザが希求する感情情報を示す希求感情情報に対応して前記ユーザに提示される複数のコンテンツ情報と、前記複数のコンテンツ情報の中から前記ユーザに選択されるコンテンツ情報と、に基づいて、前記感情情報に対して適切な前記コンテンツ情報を提示するように機械学習することを少なくとも含む、コンテンツ提示方法。
PCT/JP2021/018923 2020-06-25 2021-05-19 コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法 WO2021261123A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21828712.6A EP4163924A4 (en) 2020-06-25 2021-05-19 CONTENT PRESENTATION SYSTEM, CONTENT PRESENTATION DEVICE AND CONTENT PRESENTATION METHOD
US18/001,760 US11983305B2 (en) 2020-06-25 2021-05-19 Content presentation system, content presentation device, and content presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-109359 2020-06-25
JP2020109359 2020-06-25

Publications (1)

Publication Number Publication Date
WO2021261123A1 true WO2021261123A1 (ja) 2021-12-30

Family

ID=79282469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018923 WO2021261123A1 (ja) 2020-06-25 2021-05-19 コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法

Country Status (3)

Country Link
US (1) US11983305B2 (ja)
EP (1) EP4163924A4 (ja)
WO (1) WO2021261123A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328464A (ja) 2006-06-06 2007-12-20 Sharp Corp 購買活動管理装置、制御方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2008204193A (ja) * 2007-02-20 2008-09-04 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
JP2014219937A (ja) 2013-05-10 2014-11-20 パナソニック株式会社 嗜好判断システム
JP2018195043A (ja) * 2017-05-17 2018-12-06 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
JP2019208576A (ja) * 2018-05-31 2019-12-12 株式会社デンソー 感情データ取得装置および感情操作装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107405120B (zh) * 2015-04-23 2021-10-29 索尼公司 信息处理装置、控制方法和程序
WO2019017124A1 (ja) * 2017-07-19 2019-01-24 パナソニックＩｐマネジメント株式会社 眠気推定装置及び覚醒誘導装置
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328464A (ja) 2006-06-06 2007-12-20 Sharp Corp 購買活動管理装置、制御方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2008204193A (ja) * 2007-02-20 2008-09-04 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
JP2014219937A (ja) 2013-05-10 2014-11-20 パナソニック株式会社 嗜好判断システム
JP2018195043A (ja) * 2017-05-17 2018-12-06 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
JP2019208576A (ja) * 2018-05-31 2019-12-12 株式会社デンソー 感情データ取得装置および感情操作装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAWASHIMA, TAKASHI; KAWAMOTO, SYUNYO; TSUMITA, DAISUKE; SHIMOYAMA, SYO; MUNEMASA, ISSHU; TOMOMATSU, YUTA; HAYASHI, KUNIOKI; TAKAGI: "1E2-01 Deep reinforcement learning for recommendation system", PROCEEDING OF THE 32RD NATIONAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE (JSAI) 2018; JUNE 5-8, 2018, vol. 32, 6 July 2018 (2018-07-06) - 8 June 2018 (2018-06-08), pages 1 - 4, XP009540861, DOI: 10.11517/pjsai.JSAI2018.0_1E201 *
See also references of EP4163924A4

Also Published As

Publication number Publication date
EP4163924A4 (en) 2023-11-29
US11983305B2 (en) 2024-05-14
US20230244297A1 (en) 2023-08-03
EP4163924A1 (en) 2023-04-12

Similar Documents

Publication Publication Date Title
CN108334583B (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
US10261947B2 (en) Determining a cause of inaccuracy in predicted affective response
CN107807947B (zh) 基于情绪状态检测在电子设备上提供推荐的系统和方法
US20180101776A1 (en) Extracting An Emotional State From Device Data
JP6636792B2 (ja) 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
US20160302711A1 (en) Notifying a user about a cause of emotional imbalance
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
CN107209807B (zh) 疼痛管理可穿戴设备
CN111459290A (zh) 交互意图确定方法及装置、计算机设备及存储介质
US20170068994A1 (en) System and Method for Personalized Preference Optimization
US10504379B2 (en) System and method for generating an adaptive embodied conversational agent configured to provide interactive virtual coaching to a subject
US20160203729A1 (en) Dynamic interaction system and method
KR20210004951A (ko) 신경 생리학적 상태의 검출을 위한 센서 데이터를 사용하는 컨텐츠 생성 및 제어
US20180268821A1 (en) Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
US11914784B1 (en) Detecting emotions from micro-expressive free-form movements
Medjden et al. Adaptive user interface design and analysis using emotion recognition through facial expressions and body posture from an RGB-D sensor
WO2022190686A1 (ja) コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース
WO2021261123A1 (ja) コンテンツ提示システム、コンテンツ提示装置、及びコンテンツ提示方法
WO2020178411A1 (en) Virtual agent team
US20230129746A1 (en) Cognitive load predictor and decision aid
JP2022147506A (ja) 人とコミュニケーションを行うシステム及びそのためのプログラム
CN113795860A (zh) 信息处理设备、信息处理方法和信息处理程序
KR20200068057A (ko) 인공지능 학습을 통해 자기 계발을 도와주는 방법 및 장치
KR20200068058A (ko) 인공지능 학습을 통해 자기 계발을 도와주는 방법 및 장치
US20230317246A1 (en) System and method for facilitating mental health assessment and enhancing mental health via facial recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828712

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021828712

Country of ref document: EP

Effective date: 20230104

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP