JP7188601B2 - 学習装置、推定装置、それらの方法、およびプログラム - Google Patents

学習装置、推定装置、それらの方法、およびプログラム Download PDF

Info

Publication number
JP7188601B2
JP7188601B2 JP2021538581A JP2021538581A JP7188601B2 JP 7188601 B2 JP7188601 B2 JP 7188601B2 JP 2021538581 A JP2021538581 A JP 2021538581A JP 2021538581 A JP2021538581 A JP 2021538581A JP 7188601 B2 JP7188601 B2 JP 7188601B2
Authority
JP
Japan
Prior art keywords
learning
time
mood
person
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021538581A
Other languages
English (en)
Other versions
JPWO2021024372A5 (ja
JPWO2021024372A1 (ja
Inventor
淳司 渡邊
藍子 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021024372A1 publication Critical patent/JPWO2021024372A1/ja
Publication of JPWO2021024372A5 publication Critical patent/JPWO2021024372A5/ja
Application granted granted Critical
Publication of JP7188601B2 publication Critical patent/JP7188601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Marketing (AREA)
  • Fuzzy Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)

Description

本発明は、オノマトペを含む心理状態感性表現語から気分を推定する技術に関する。
非特許文献１では、オノマトペを構成する子音・母音の種類、濁音の有無などの音韻上の要素からオノマトペの印象を予測するモデルによって、オノマトペ全体の印象を定量化する。
清水祐一郎,土斐崎龍一,坂本真樹、「オノマトペごとの微細な印象を推定するシステム」、人工知能学会論文誌、29巻、1号、p.41-52、2014年.
従来技術では、オノマトペが喚起する印象を推定するが、オノマトペを使用する使用者の気分を推定するものではない。仮に、オノマトペの印象とオノマトペの使用者の気分とが一致すると想定した場合、使用したオノマトペからオノマトペを使用したときの気分を推定することができる。しかしながら、この場合であっても、オノマトペを使用した後の未来の気分を推定することはできない。
本発明は、現在までの心理状態感性表現語に基づき、未来の気分を推定する推定装置、気分を推定する際に用いるモデルを学習する学習装置、それらの方法、およびプログラムを提供することを目的とする。
なお、心理状態感性表現語は、ある時点における対象者の心理状態を表すものであり、例えば、オノマトペと感嘆詞の少なくとも何れかにカテゴライズされる語の総称である。また、オノマトペは、例えば、擬音語、擬態語、擬情語の少なくとも何れかにカテゴライズされる語の総称である。ここで、擬音語は実際の音を言語音で表現したものであり、擬態語は音ではない感覚を言語音で表現したものであり、擬情語は心理状態を言語音で表現したものである。なお、感嘆詞は感動詞と呼ばれることもある。以下では、心理状態感性表現語がオノマトペである場合について説明するが、感嘆詞である場合についても同様に処理可能である。
また、ここでの「気分」は、"mood"であり、「元気（気力）がある・元気（気力）がない」、「快・不快」、「緊張・リラックス」、「安心・不安」、「ポジティブ・ネガティブ」、「満足・不満」、「冷静・焦燥」、喜び、悲しみ、怒り等で表される、感情の状態を意味する。
上記の課題を解決するために、本発明の一態様によれば、学習装置は、学習用の心理状態感性表現語と、学習用の当該心理状態感性表現語を発したときの気分を示す学習用の気分情報とを少なくとも記憶する記憶部と、時刻time(t)までの2つ以上の心理状態感性表現語による時系列と、時刻time(t)よりも後の気分を示す学習用の気分情報とを少なくとも含む組合せを1つの学習データとして、複数の学習データを用いて、ある時刻までの2つ以上の心理状態感性表現語による時系列を少なくとも入力とし、当該ある時刻よりも後の気分を推定する推定モデルを学習する学習部とを含む。
上記の課題を解決するために、本発明の他の態様によれば、推定装置は、ある時刻までの2つ以上の心理状態感性表現語の時系列を少なくとも入力とし、当該ある時刻よりも後の気分を推定する推定モデルを用いて、入力された2つ以上の対象者の心理状態感性表現語とその入力順序とに少なくとも基づいて、対象者の未来の気分を推定する推定部を含む。
本発明によれば、現在までの心理状態感性表現語に基づき、未来の気分を推定できるという効果を奏する。
第一実施形態に係る第一実施形態に係る推定システムの構成例を示す図。 推定モデルを説明するための図。 第一実施形態に係る学習装置の機能ブロック図。 第一実施形態に係る学習装置の処理フローの例を示す図。 記憶部に格納されたデータの例を示す図。 第一実施形態に係る推定装置の機能ブロック図。 第一実施形態に係る推定装置の処理フローの例を示す図。 記憶部に格納されたデータの例を示す図。 学習装置、推定装置として機能するコンピュータの構成例を示す図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態＞
図１は第一実施形態に係る推定システムの構成例を示す。
本実施形態の推定システムは、学習装置１００と推定装置２００とを含む。
学習装置１００は、学習用の心理状態感性表現語WL(t1),WL(t2),…と、学習用の気分情報ML(t1),ML(t2),…とを入力とし、推定モデルを学習して、学習済みの推定モデルを出力する。
推定装置２００は、推定に先立ち、学習装置１００が出力した学習済みの推定モデルを受け取っておく。推定装置２００は、推定対象の心理状態感性表現語の時系列W(t1),W(t2),…を入力とし、推定モデルを用いて、未来の気分を推定し、推定結果を出力する。なお、t1,t2,…は入力順序を示すインデックスであり、例えばW(ti)はi番目に入力された心理状態感性表現語を意味する。
本実施形態は、気分は関連性をもちながら時間変化するものであり、かつ、ある時点で発せられた心理状態感性表現語とその時点の気分とには関連性があるため、これらの関連性を利用することで、ある時刻までに入力された心理状態感性表現語の時系列からその時刻よりも後の気分を推定することができる、という仮定に基づいている。例えば、図２のようにあるt-1番目のオノマトペが「ぬふぅ」であり、t番目のオノマトペが「あうー」であった場合、ある気分情報の数値が減少傾向にあり、t+1番目の気分情報の数値がt番目の気分情報の数値よりも小さい値となると推定する。なお、図２は例であり、実際の推定モデルでは大きい値となると推定することもある。なお、気分情報については後述する。
学習装置および推定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。学習装置および推定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。学習装置および推定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。学習装置および推定装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。学習装置および推定装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも学習装置および推定装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、学習装置および推定装置の外部に備える構成としてもよい。
まず、学習装置について説明する。
＜学習装置１００＞
図３は第一実施形態に係る学習装置１００の機能ブロック図を、図４はその処理フローを示す。
学習装置１００は、学習部１１０と、心理状態感性表現語・気分情報取得部１２０と、記憶部１３０とを含む。
＜心理状態感性表現語・気分情報取得部１２０および記憶部１３０＞
心理状態感性表現語・気分情報取得部１２０は、ユーザ（データ取得の対象者）から入力時のユーザ自身の状態を表現するオノマトペの文字列(学習用の心理状態感性表現語)WL(t1),WL(t2),…と、そのときの気分を示す気分情報（学習用の気分情報）ML(t1),ML(t2),…との入力を受け付け（Ｓ１２０）、記憶部１３０に格納する。よって、記憶部１３０には、学習用の心理状態感性表現語WL(t1),WL(t2),…と、学習用の気分情報ML(t1),ML(t2),…とが記憶される。図５は、記憶部１３０に格納されたデータの例を示す。なお、データはユーザからの入力順（すなわち、ユーザが入力した時刻順）に格納されるものとする。別の言い方をすると、データは、心理状態感性表現語・気分情報取得部１２０が受け付けた順に格納されるものとする。図５の例では、ユーザからの入力順序(心理状態感性表現語・気分情報取得部１２０の受付順序)を示すインデックスtiが一緒に記憶されているが、記憶される配置等からユーザからの入力順序(心理状態感性表現語・気分情報取得部１２０の受付順序)が分かる場合にはインデックスtiを記憶しなくともよい。
気分情報とは、例えば、
（１）快である状態を４とし、不快である状態を－４とする９段階で気分の快・不快度合いを表したもの
（２）怒っている状態を４とし、怒っていない状態を０とする５段階で怒り度合いを表したもの
（３）やる気に溢れている状態を４とし、やる気が出ない状態を０とする５段階で気力度合いを表したもの
等、予め設定した尺度を複数の段階（上述の例では９段階や５段階）で表現したものである。
気分情報は１つ（例えば上記（１）～（３）の何れか）であっても良いし、複数（例えば上記（１）と（３）等）としてもよい。
例えば、携帯端末やタブレット端末等のディスプレイにオノマトペの文字列の入力欄と、気分情報の入力欄を表示し、タッチパネル等の入力部を介して、ユーザがオノマトペの文字列と気分情報とを入力する。
なお、入力欄は、所定の種類のオノマトペの文字列や予め設定した複数の段階で表された気分情報を表示して選択する構成としてもよいし、自由にユーザが入力する構成としてもよい。
学習用のデータの入力のタイミングは、例えば、所定時間毎にタッチパネル等の表示部を介して、ユーザに対して、オノマトペの文字列と気分情報との入力を促すメッセージを表示して、そのメッセージに従ってユーザが入力してもよいし、ユーザが任意のタイミングでオノマトペの文字列と気分情報との入力を受け付けるアプリケーションを開き、入力してもよい。
＜学習部１１０＞
学習部１１０は、記憶部１３０に学習するために十分な量の学習用の心理状態感性表現語とそれに対応する学習用の気分情報とが蓄積されると（Ｓ１１０－１）、記憶部１３０から学習用の心理状態感性表現語と、それに対応する学習用の気分情報とを取り出し、推定モデルを学習し（Ｓ１１０）、学習済みの推定モデルを出力する。
なお、前述の通り、推定モデルは、時刻time(t)までの時刻順の2つ以上の心理状態感性表現語を入力とし、時刻time(t)よりも後の気分を推定するモデルである。なお、時刻time(t)はt番目の心理状態感性表現語が入力された時刻を表す。本実施形態では、入力時刻(受付時刻)を取得しないが、入力順序(受付順序)が特定されるため、t番目の心理状態感性表現語が入力された時刻time(t)までに入力された心理状態感性表現語か否か、時刻time(t)よりも後の気分情報か否かを特定することができる。
例えば、推定モデルは、図２の場合、t-1番目の心理状態感性表現語W(t-1)「ぬふぅ」、t番目の心理状態感性表現語W(t)「あうー」を入力とし、t+1番目の気分情報M(t+1)を推定するモデルである。そこで、学習装置１００は、時刻time(t)までの時刻順の2つ以上の心理状態感性表現語と、時刻time(t)よりも後の気分を示す学習用の気分情報との組合せを1組の学習用データとし（例えば、図５の破線で囲んだ部分）、大量の学習用データを用いて推定モデルを学習する。
なお、気分の時間変化における関連性は、同一のユーザにおいて成り立つ。そのため、あるユーザu1がt-1番目の心理状態感性表現語W(t-1)「ぬふぅ」を入力し、他のユーザu2がt番目の心理状態感性表現語W(t)「あうー」を入力したとしても、t+1番目において、どのユーザがどのような気分になるかを推定することはできない。よって、推定モデルは、時刻time(t)までのあるユーザが発した時刻順の2つ以上の心理状態感性表現語を入力とし、時刻time(t)よりも後のそのユーザの気分を推定する。そのため、心理状態感性表現語・気分情報取得部１２０において、複数のユーザから心理状態感性表現語と気分情報を取得する場合には、それぞれのユーザから取得した心理状態感性表現語と気分情報をユーザ毎の識別子と一緒に記憶部１３０に記憶し、学習時には、ユーザ毎の心理状態感性表現語と気分情報の時系列を利用して学習を行う。なお、心理状態感性表現語を「発する」とは、心理状態感性表現語を何からの手段で外部に表すことを意味し、タッチパネル等の入力部を介して心理状態感性表現語を「入力する」ことや、心理状態感性表現語を「発話する」ことなどを含む概念である。なお、心理状態感性表現語を「発話する」場合の処理に関しては、後述する。
なお、学習用データは一人のユーザから取得してもよい。しかし、不特定多数の対象者を推定対象とする場合には、不特定多数の対象者に対応できるように、かつ、十分な量の学習用データを取得するために、複数のユーザから学習用データを取得することが望ましい。つまり、複数のユーザの心理状態感性表現語とその心理状態感性表現語を発したときの気分情報の組合せを大量に準備し、ユーザ毎の心理状態感性表現語と気分情報の時系列とし、学習用データとするとよい。このような学習用データを用いて学習した推定モデルを第一推定モデルともいう。さらに、推定装置２００の推定対象となる対象者を新たなユーザ（データ取得の対象者）とし、新たなユーザから取得した学習用データを用いて第一推定モデルを再学習し、再学習後の推定モデルを推定装置２００で用いるモデルとして出力してもよい。このような構成とすることで、十分な量の学習用データを取得しつつ、推定対象の特徴を考慮した推定モデルを学習することができる。
図５は、学習データからなるテーブルの例を示す。この例では、気力、喜び、怒り、悲しみは、０～４の５段階の数値で表しており、それぞれの度合いが高いほど大きな数値として評価されたものである。快不快は－４～４の９段階の数値で表しており、「快」の度合いが強いほどプラスの値、「不快」の度合いが強いほどマイナスの値を示すものとして評価されたものである。
（推定モデルの例１）
ある時刻までの時刻順の2つ以上のオノマトペ（文字列）とその時刻よりも後の気分情報とを対応付けたもの（例えば、テーブルやリスト）を推定モデルとして用いる。テーブルやリスト中の各気分情報は、例えば、学習用データ中のあるオノマトペに対して各人が付与した気分情報の代表値（平均値や中央値等）を用いる。
（推定モデルの例２）
この例では、推定モデルは、学習用のある時刻までの時刻順の2つ以上のオノマトペとその時刻よりも後の学習用の気分情報とに基づきニューラルネットワーク等の機械学習により学習されたモデルである。例えば、ある時刻までの時刻順の2つ以上のオノマトペ（文字列）を入力とし、その時刻よりも後の気分情報を出力するようなニューラルネットワークを推定モデルとして用いる。この場合は、予め適当な初期値を設定したニューラルネットワークに、学習用データ中のある時刻までの時刻順の2つ以上のオノマトペ（文字列）を入力して得られる気分情報の推定結果が、学習用データ中のその時刻よりも後の気分情報に近づくように、ニューラルネットワークのパラメータを繰り返し更新することにより、推定モデルを学習させる。なお、１つのオノマトペに対して複数の気分情報を入力した学習用データを用いる場合は、推定モデルの出力も複数の気分情報のリスト（組）として、学習をさせてもよい。
このようにして、推定モデルを学習する。次に、推定装置について説明する。
＜推定装置２００＞
図６は第一実施形態に係る推定装置２００の機能ブロック図を、図７はその処理フローを示す。
推定装置２００は、推定部２１０と、推定モデル記憶部２１１と、心理状態感性表現語取得部２２０と、一時記憶部２３０とを含む。
＜心理状態感性表現語取得部２２０と一時記憶部２３０＞
心理状態感性表現語取得部２２０は、推定装置２００の利用者から複数の時刻time(t'1), time(t'2),…の対象者の状態を表現するオノマトペの文字列(心理状態感性表現語)W(t'1),W(t'2),…の入力を受け付け（Ｓ２２０）、一時記憶部２３０に格納する。なお、推定装置２００の利用者（気分を推定するもの）と、対象者（気分を推定されるもの）とは、同じ人物であってもよいし（自分で自分の気分を推定する）、異なる人物であってもよい。一時記憶部２３０は心理状態感性表現語を記憶し、図８は一時記憶部２３０に格納されたデータの例を示す。図８Ａは2つの時刻の心理状態感性表現語W(t'1),W(t'2)の入力を受け付けた場合の例であり、図８Ｂは5つの時刻の心理状態感性表現語W(t'1),…,W(t'5)の入力を受け付けた場合の例である。なお、データは利用者からの入力順、すなわち、心理状態感性表現語取得部２２０が受け付けた順に格納されるものとする。なお、図８の例では、入力順序(受付順序)を示すインデックスt'iが一緒に記憶されているが、記憶される配置等から入力順序(受付順序)が分かる場合にはインデックスt'iを記憶しなくともよい。
＜推定部２１０，推定モデル記憶部２１１＞
推定モデル記憶部２１１には、学習装置１００が出力した学習済みの推定モデルを予め記憶しておく。推定部２１０は、一時記憶部２３０から2つ以上の心理状態感性表現語を取り出し、推定モデル記憶部２１１に予め記憶した学習済みの推定モデルを用いて、2つ以上の対象者の心理状態感性表現語とその入力順序(受付順序)とから対象者の未来の気分を推定し（Ｓ２１０）、推定結果を出力する。なお、推定部２１０は、推定モデルにおいて未来の気分を推定するために必要な心理状態感性表現語を一時記憶部２３０から取り出せばよく、必要な心理状態感性表現語は推定モデルの学習方法によって特定される。
また、推定部２１０は、どの気分情報を推定したいかという目的次第で、必要な推定モデルを使う構成としてもよい。例えば、(i)「気力」を推定する学習済みの推定モデル、(ii)「快・不快」を推定する学習済みの推定モデル、(iii)「気力」と「快・不快」の２つを推定する学習済みの推定モデル、などを推定モデル記憶部２１１に用意しておき、推定部２１０は、目的に応じて必要な推定モデルを選択してもよい。
なお、推定装置２００は、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語を入力とし、時刻time(t')よりも後の気分を推定するものであればよく、学習装置１００が学習して推定装置２００の推定モデル記憶部２１１に記憶しておく推定モデルは、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語を入力とし、時刻time(t')よりも後の気分を推定するモデルであればよい。例えば、推定装置２００が用いる時刻time(t')までの時刻順の心理状態感性表現語は、必ずしも2つでなくてもよく、2つ以上であればよく、また、対象者が発した順番が連続している必要はなく、同様に、学習装置１００が用いる時刻timeL(t)までの時刻順の心理状態感性表現語は、必ずしも2つでなくてもよく、2つ以上であればよく、また、ユーザが発した順番が連続している必要はない。例えば、推定装置２００は、t'-3番目,t'-1番目,t'番目の心理状態感性表現語を用いて、時刻time(t')よりも後の気分を推定してもよく、この場合には、学習装置１００が学習する推定モデルは、t-3番目,t-1番目,t番目の心理状態感性表現語を用いて、時刻time(t)よりも後の気分を推定するモデルであればよい。また、推定装置２００が推定する気分はt'番目の心理状態感性表現語に対応する時刻time(t')よりも後の気分であればよく、例えば、学習装置１００が学習する推定モデルは、t+2番目以降の心理状態感性表現語に対応する気分を推定するモデルであってもよい。また、推定装置２００は、時刻time(t')よりも後の2つ以上の気分を推定してもよく、この場合には、学習装置１００が学習する推定モデルは、時刻time(t)よりも後の2つ以上の気分を推定するモデルであればよい。例えば、推定装置２００は、t'-1番目,t'番目の心理状態感性表現語を用いて、t'+1番目、t'+2番目の気分を推定してもよく、この場合には、学習装置１００が学習する推定モデルは、t-1番目,t番目の心理状態感性表現語を用いて、t+1番目、t+2番目の気分を推定するモデルであればよい。これらの推定モデルは学習次第で実現可能であり、推定装置２００の利用目的やコストや推定精度を考慮して推定モデルの入力と出力とを設定すればよい。
＜効果＞
このような構成により、現在までの心理状態感性表現語に基づき、未来の気分を推定できる。
＜変形例１:時刻＞
第一実施形態と異なる部分を中心に説明する。
本変形例は、気分は関連性をもちながら時間変化するものであり、かつ、ある時点で発せられた心理状態感性表現語とその時点の気分とには関連性があるため、これらの関連性を利用することで、ある時刻までに時間情報を伴って入力された心理状態感性表現語の時系列からその時刻よりも後のある時刻の気分を推定することができる、という仮定に基づいている。例えば、図２において、時刻time(t-1)と時刻time(t)との間隔が1分の場合と1時間の場合と1日の場合では、時刻time(t+1)における気分情報M(t+1)は異なることが想定される。言い換えると、「ぬふぅ」と入力された1分後に「あうー」と入力したのか、1時間後に入力したのか、1日後に入力したのかで、時刻time(t+1)における気分情報M(t+1)は異なることが想定される。そこで、本変形例では、2つ以上の心理状態感性表現語に対応する時刻を入力として利用して推定モデルを学習し、この学習で得た推定モデルを用いて、2つ以上の心理状態感性表現語に対応する時刻を入力として利用して未来の気分を推定する。
＜心理状態感性表現語・気分情報取得部１２０，記憶部１３０＞
学習装置１００の心理状態感性表現語・気分情報取得部１２０は、ユーザから入力時のユーザ自身の状態を表現するオノマトペの文字列(学習用の心理状態感性表現語)WL(t1),WL(t2),…と、そのときの気分を示す気分情報（学習用の気分情報）ML(t1),ML(t2),…との入力を受け付け（Ｓ１２０）、対応する時刻timeL(t1),timeL(t2),…を取得し、これらの組合せを記憶部１３０に格納する（図３参照）。なお、対応する時刻から入力順序が分かるため、入力順序を示すインデックスtiを記憶部１３０に記憶しないが、入力順序を示すインデックスtiを記憶部１３０に記憶してもよい。
対応する時刻は、ユーザがタッチパネル等の入力部を介してオノマトペの文字列と気分情報とを入力した時刻(入力時刻)であってもよいし、心理状態感性表現語・気分情報取得部１２０がオノマトペの文字列と気分情報とを受け付けた時刻(受付時刻)であってもよい。入力時刻の場合にはタッチパネル等の入力部が内蔵時計やNTPサーバ等から時刻を取得して心理状態感性表現語・気分情報取得部１２０に出力する構成とし、受付時刻の場合には例えば内蔵時計やNTPサーバ等から心理状態感性表現語・気分情報取得部１２０が受付時刻を取得する構成としてもよい。
なお、心理状態感性表現語・気分情報取得部１２０は、予め定めた時刻timeL(t1),timeL(t2),…にタッチパネル等の表示部がオノマトペの文字列と気分情報との入力を促すメッセージを表示して、表示したときそれぞれで、オノマトペの文字列WL(t1)とそのときの気分情報ML(t1)の入力を受け付けて対応する時刻timeL(t1)との組合せを記憶部１３０に格納する、オノマトペの文字列WL(t2)とそのときの気分情報ML(t2)の入力を受け付けて対応する時刻timeL(t2)との組合せを記憶部１３０に格納する、…という構成としてもよい。
＜学習部１１０＞
学習装置１００の学習部１１０は、記憶部１３０に学習するために十分な量の学習用の心理状態感性表現語とそれに対応する学習用の気分情報と対応する時刻とが蓄積されると（Ｓ１１０－１）、記憶部１３０から学習用の心理状態感性表現語と、学習用の心理状態感性表現語に対応する時刻と、対応する学習用の気分情報とを取り出し、推定モデルを学習し（Ｓ１１０）、学習済みの推定モデルを出力する。なお、対応する時刻timeL(t1),timeL(t2),…をそのまま用いて推定モデルを学習してもよい。また、時刻timeL(t1),timeL(t2),…から前の心理状態感性表現語が発されてからの経過時間(例えば、timeL(t2)-timeL(t1),timeL(t3)-timeL(t2),…)を求め、前の心理状態感性表現語が入力されてからの経過時間を用いて推定モデルを学習してもよい。
（推定モデルの学習例１）
例えば、学習装置１００は、ある時刻timeL(t)までの2つ以上の心理状態感性表現語WL(t),WL(t-1),…と、対応する時刻timeL(t),timeL(t-1),…またはその差(timeL(t)-timeL(t-1)),…と、時刻timeL(t)よりも後の気分情報ML(t+1)との組合せを1組の学習用データとし、大量の学習用データを用いて、推定モデルを学習する。
本変形例の学習例１の推定モデルは、推定装置２００で、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語に対応する時刻またはそれらの時刻差と、を入力とし、時刻time(t')よりも後の気分を推定するときに用いるモデルである。
（推定モデルの学習例２）
または例えば、学習装置１００は、ある時刻timeL(t)までの2つ以上の心理状態感性表現語WL(t),WL(t-1),…と、入力順序（受付順序）t,t-1,…と、時間間隔|timeL(t)-timeL(t-1)|,…と、時刻timeL(t)よりも後の気分情報ML(t+1)との組合せを1組の学習用データとし、大量の学習用データを用いて、推定モデルを学習する。
本変形例の学習例２の推定モデルは、推定装置２００で、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語の入力順序（受付順序）と、それらの心理状態感性表現語に対応する時刻の間隔（時間間隔）と、を入力とし、時刻time(t')よりも後の気分を推定するときに用いるモデルである。
＜心理状態感性表現語取得部２２０，一時記憶部２３０＞
推定装置２００の心理状態感性表現語取得部２２０は、複数の時刻の対象者の状態を表現するオノマトペの文字列(心理状態感性表現語)W(t'1),W(t'2),…の入力を受け付け（Ｓ２２０）、対応する時刻time(t'1),time(t'2),…を取得し、これらの組合せを一時記憶部２３０に格納する。よって、一時記憶部２３０には、心理状態感性表現語と対応する時刻time(t'1),time(t'2),…とが記憶される。なお、対応する時刻から入力順序(受付順序)が分かるため、入力順序(受付順序)を示すインデックスt'iを一時記憶部２３０に記憶しないが、入力順序を示すインデックスt'iを一時記憶部２３０に記憶してもよい。
＜推定部２１０，推定モデル記憶部２１１＞
推定モデル記憶部２１１には、本変形例の学習装置１００が出力した学習済みの推定モデルを予め記憶しておく。推定装置２００の推定部２１０は、一時記憶部２３０から2つ以上の心理状態感性表現語と、心理状態感性表現語に対応する時刻を取り出す。
（上述の学習例１の推定モデルを用いる場合の推定例）
本変形例の学習例１の推定モデルを用いる場合には、推定装置２００の推定部２１０は、必要に応じて対応する時刻から時刻差を求め、推定モデル記憶部２１１に予め記憶した学習済みの学習例１の推定モデルを用いて、2つ以上の対象者の心理状態感性表現語と、それぞれの心理状態感性表現語に対応する時刻またはそれらの時刻差とから、対象者の未来の気分を推定し（Ｓ２１０）、推定結果を出力する。
（上述の学習例２の推定モデルを用いる場合の推定例）
本変形例の学習例２の推定モデルを用いる場合には、推定装置２００の推定部２１０は、対応する時刻から入力順序（受付順序）と時間間隔とを求め、推定モデル記憶部２１１に予め記憶した学習済みの学習例２の推定モデルを用いて、2つ以上の対象者の心理状態感性表現語と、それぞれの心理状態感性表現語の入力順序（受付順序）とそれらの心理状態感性表現語に対応する時刻の時間間隔とから、対象者の未来の気分を推定し（Ｓ２１０）、推定結果を出力する。
なお、入力順序（受付順序）を示すインデックスt'iが一時記憶部２３０に記憶されている場合には、時刻から入力順序（受付順序）を求めずに、一時記憶部２３０に記憶されている入力順序（受付順序）を示すインデックスt'iをそのまま用いればよい。
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、時刻を考慮することでより正確に気分を推定できる。
＜変形例２:時刻＞
変形例１と異なる部分を中心に説明する。
本変形例は、気分に対応する時刻も用いて推定モデルの学習を行い、この学習をした推定モデルを用いることで、推定した未来の気分がどの程度後のものであるかも推定したり、指定した未来の時刻の気分を推定したりするものである。
＜学習部１１０＞
学習装置１００の学習部１１０は、記憶部１３０に学習するために十分な量の学習用の心理状態感性表現語とそれに対応する学習用の気分情報と対応する時刻とが蓄積されると（Ｓ１１０－１）、記憶部１３０から学習用の心理状態感性表現語と、学習用の心理状態感性表現語に対応する学習用の気分情報と、学習用の心理状態感性表現語に対応する時刻と学習用の気分情報に対応する時刻とを取り出し、推定モデルを学習し（Ｓ１１０）、学習済みの推定モデルを出力する。例えば、学習装置１００は、時刻timeL(t)までの時刻順の2つ以上の心理状態感性表現語と、時刻timeL(t)よりも後の時刻である時刻timeL(t+1)の気分と、時刻timeL(t)と時刻timeL(t+1)またはその差timeL(t+1)-timeL(t)との組合せを1組の学習用データとし、大量の学習用データを用いて、推定モデルを学習する。
なお、本変形例の推定モデルは、推定装置２００が、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語を入力とし、時刻time(t')よりも後の気分とその後の気分に対応する時刻を推定するときに用いるモデル、または、推定装置２００が、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、未来の時刻と、を入力とし、未来の時刻における気分を推定するときに用いるモデル、である。
＜推定部２１０，推定モデル記憶部２１１＞
推定モデル記憶部２１１には、本変形例の学習装置１００が出力した学習済みの推定モデルを予め記憶しておく。推定装置２００の推定部２１０は、一時記憶部２３０から2つ以上の心理状態感性表現語W(t'),W(t'-1),…と、対応する時刻time(t')を取り出し、推定モデル記憶部２１１に予め記憶した学習済みの推定モデルを用いて、2つ以上の対象者の心理状態感性表現語から対象者の未来の気分とその気分に対応する時刻を推定し（Ｓ２１０）、推定結果を出力する。すなわち、どの程度未来の気分であるかを、気分の推定結果と合わせて出力する。または、推定部２１０に図示しない入力手段を備えて、未来の時刻の入力、すなわち、どの程度未来の気分の推定結果を得たいかの指定を受け付けるようにして、推定装置２００がどの程度未来の気分の推定結果を得るかを推定装置２００の利用者が指定して、推定部２１０が指定内容に合う未来の気分を推定してもよい。
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、心理状態感性表現語W(t')に対応する時刻time(t')からどの程度未来の気分かを考慮することができる。
なお、本変形例と変形例１とを組合せてもよい。本変形例と変形例１との組合せの推定モデルは、例えば以下のようなモデルとなる。
（組合せ例１）
推定モデルは、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語に対応する時刻またはそれらの時間差と、を入力とし、時刻time(t')よりも後の気分とその後の気分に対応する時刻を推定するモデルである。
（組合せ例２）
推定モデルは、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語に対応する時刻またはそれらの時間差と、未来の時刻と、を入力とし、未来の時刻における気分を推定するモデル、である。
（組合せ例３）
推定モデルは、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語の入力順序（受付順序）と、それらの心理状態感性表現語に対応する時刻の間隔（時間間隔）と、を入力とし、時刻time(t')よりも後の気分とその後の気分に対応する時刻を推定するモデルである。
（組合せ例４）
推定モデルは、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、それらの心理状態感性表現語の入力順序（受付順序）と、それらの心理状態感性表現語に対応する時刻の間隔（時間間隔）と、未来の時刻と、を入力とし、未来の時刻における気分を推定するモデル、である。
本変形例と変形例１との組合せの推定装置２００は、これらのうちの何れかの推定モデルを推定モデル記憶部２１１に予め記憶しておき、推定部２１０が、対象者の未来の気分とその気分に対応する時刻、または、指定された未来の時刻の対象者の気分、を推定結果として得て出力する。
＜変形例３:他の情報＞
ある時刻までの2つ以上の心理状態感性表現語に加えて、ある時刻までの他の情報を考慮することで、ある時刻よりも後の気分の推定精度を高めることができる。例えば、他の情報として、固定周囲環境情報、不定周囲環境情報、位置情報、体験情報、コミュニケーション情報、生体情報、その他の後の気分に影響を与える情報が考えられる。2つ以上の心理状態感性表現語と気分情報に加えて、これらの情報を与えて推定モデルを学習し、この学習で得た推定モデルを用いて、2つ以上の心理状態感性表現語にこれらの情報を与えて気分を推定する。
＜学習装置１００＞
学習装置１００は、学習部１１０と、心理状態感性表現語・気分情報取得部１２０と、記憶部１３０に加えて、固定周囲環境取得部１４１と、不定周囲環境取得部１４２と、位置情報取得部１４３と、体験情報取得部１５０と、コミュニケーション情報取得部１６０と、生体情報取得部１７０との少なくとも何れかを含む(図３参照)。
＜推定装置２００＞
推定装置２００は、推定部２１０と、心理状態感性表現語取得部２２０と、一時記憶部２３０に加えて、固定周囲環境取得部２４１と、不定周囲環境取得部２４２と、位置情報取得部２４３と、体験情報取得部２５０と、コミュニケーション情報取得部２６０と、生体情報取得部２７０との少なくとも何れかを含む(図６参照)。
＜固定周囲環境取得部１４１，２４１＞
固定周囲環境取得部１４１は、場所に紐づけられた固定の周囲環境に関連する情報pL(t)を取得し（Ｓ１４１）、記憶部１３０に格納する。
同様に、固定周囲環境取得部２４１は、場所に紐づけられた固定の周囲環境に関連する情報p(t')を取得し（Ｓ２４１）、一時記憶部２３０に格納する。
例えば、場所に紐づけられた固定の周囲環境に関連する情報とは、「飲食施設」「遊戯施設」等のカテゴリであってもよいし、「○○遊園地」「××動物園」等のさらに下位の固有名称等であってもよい。例えば、時刻time(t-1)から時刻time(t)までに周囲環境が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)の周囲環境と時刻time(t)の周囲環境との違いが時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、この学習で得た推定モデルを用いて気分を推定する。例えば、とある施設に入る前後に入力されたオノマトペとその施設内にいるか否かを示す2つの固定の周囲環境に関連する情報からその後の気分を推定する。
例えば、固定周囲環境取得部１４１，２４１は、GPS機能と、位置情報と固定の周囲環境とを紐付けたデータベースとを備え、GPS機能により位置情報を得、データベースから位置情報に紐づけられた固定の周囲環境に関連する情報を取得する。また、心理状態感性表現語・気分情報取得部１２０，心理状態感性表現語取得部２２０と同様に、学習装置１００のユーザ、推定装置２００の利用者が入力してもよい。
＜不定周囲環境取得部１４２，２４２＞
不定周囲環境取得部１４２は、場所に紐づけられない、固定ではない周囲環境に関連する情報qL(t)を取得し（Ｓ１４２）、記憶部１３０に格納する。
同様に、不定周囲環境取得部２４２は、場所に紐づけられない、固定ではない周囲環境に関連する情報q(t')を取得し（Ｓ２４２）、一時記憶部２３０に格納する。
例えば、場所に紐づけられない、固定ではない周囲環境に関連する情報とは、気温や、湿度、雨量等の気象情報等が考えられる。例えば、時刻time(t-1)から時刻time(t)までに周囲環境が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)の周囲環境と時刻time(t)の周囲環境との違いが時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、この学習で得た推定モデルを用いて気分を推定する。例えば、降水の前後に入力されたオノマトペと、降水の有無を示す2つの不定の周囲環境に関連する情報(雨量等)からその後の気分を推定する。
例えば、不定周囲環境取得部１４２，２４２は、GPS機能と、情報収集機能とを備え、GPS機能により位置情報を得、情報収集機能により位置情報に対応する気象情報等を例えば気象台等から取得する。また、不定周囲環境取得部１４２，２４２は、気温等の気象情報等を取得するセンサを含み、気象情報等を取得してもよい。また、心理状態感性表現語・気分情報取得部１２０，心理状態感性表現語取得部２２０と同様に、学習装置１００のユーザ、推定装置２００の利用者が入力してもよい。
＜位置情報取得部１４３，２４３＞
位置情報取得部１４３は、位置情報LocL(t)そのものを取得し（Ｓ１４３）、記憶部１３０に格納する。
同様に、位置情報取得部２４３は、位置情報Loc(t')そのものを取得し（Ｓ２４３）、一時記憶部２３０に格納する。
例えば、時刻time(t-1)から時刻time(t)までに場所が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)の場所と時刻time(t)の場所との違いや異なり度合い(例えば、移動距離)が時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、この学習で得た推定モデルを用いて気分を推定する。例えば、移動前後に入力されたオノマトペと、移動の有無や移動距離を示す2つの位置情報からその後の気分を推定する。
例えば、位置情報取得部１４３，２４３は、GPS機能を備え、位置情報を取得する。また、心理状態感性表現語・気分情報取得部１２０，心理状態感性表現語取得部２２０と同様に、学習装置１００のユーザ、推定装置２００の利用者が入力してもよい。
＜体験情報取得部１５０，２５０＞
体験情報取得部１５０は、ユーザの体験に関連する体験情報EL(t)を取得し（Ｓ１５０）、記憶部１３０に格納する。
同様に、体験情報取得部２５０は、対象者の体験に関連する体験情報E(t')を取得し（Ｓ２５０）、一時記憶部２３０に格納する。
例えば、体験情報とは、ある食べ物を食べた体験や、ある音楽を聴いた体験、あるゲームをやった体験の有無を示す情報等が考えられる。例えば、時刻time(t-1)から時刻time(t)までに体験情報が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)の体験情報と時刻time(t)の体験情報との違いが時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、この学習で得た推定モデルを用いて気分を推定する。例えば、音楽ライブ前後に入力されたオノマトペと、ライブ体験の有無を示す2つの体験情報からその後の気分を推定する。
例えば、体験情報取得部１５０，２５０は、GPS機能と、位置情報と所定の体験を提供する施設(レストランやライブ会場、アトラクション施設等)とを紐付けたデータベースとを備え、GPS機能により位置情報を得、データベースから位置情報に紐づけられた施設で提供する所定の体験を示す情報を取得する。また、心理状態感性表現語・気分情報取得部１２０，心理状態感性表現語取得部２２０と同様に、学習装置１００のユーザ、推定装置２００の利用者が入力してもよい。
＜コミュニケーション情報取得部１６０，２６０＞
コミュニケーション情報取得部１６０は、ユーザのコミュニケーションに関連するコミュニケーション情報CL(t)を取得し（Ｓ１６０）、記憶部１３０に格納する。
同様に、コミュニケーション情報取得部２６０は、対象者のコミュニケーションに関連するコミュニケーション情報C(t')を取得し（Ｓ２６０）、一時記憶部２３０に格納する。
例えば、コミュニケーション情報とは、誰と会ったか、自分の表情、あった人の表情を示す情報等が考えられる。例えば、時刻time(t-1)から時刻time(t)までにコミュニケーション情報が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)のコミュニケーション情報と時刻time(t)のコミュニケーション情報との違いが時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、この学習で得た推定モデルを用いて気分を推定する。例えば、友人に会う前後に入力されたオノマトペと、自分の表情を示す2つのコミュニケーション情報からその後の気分を推定する。
例えば、コミュニケーション情報取得部１６０，２６０は、撮影機能と、顔認証機能と、表情検知機能とを備え、撮影機能により、撮影した人物の顔認証を行い、会っている人物を示す情報を得たり、会っている人物または対象者に対して表情検知機能により表情を検知し、表情を示す情報を得る。また、対象者と対象者の会った人物とが相互に身元を示す情報をやり取りできる機能等を備える場合には、その機能を使って、会っている人物を示す情報を得てもよい。また、心理状態感性表現語・気分情報取得部１２０，心理状態感性表現語取得部２２０と同様に、学習装置１００のユーザ、推定装置２００の利用者が入力してもよい。
＜生体情報取得部１７０，２７０＞
生体情報取得部１７０は、ユーザの生体情報BL(t)を取得し（Ｓ１７０）、記憶部１３０に格納する。
同様に生体情報取得部２７０は、対象者の生体情報B(t')を取得し（Ｓ２７０）、一時記憶部２３０に格納する。
例えば、生体情報とは、心拍、呼吸、表情を示す情報等が考えられる。例えば、時刻time(t-1)から時刻time(t)までに生体情報が変わった場合に時刻time(t+1)の気分に影響を与える、または、時刻time(t-1)の生体情報と時刻time(t)の生体情報との違いが時刻time(t+1)の気分に影響を与えるという仮定に基づき、推定モデルを学習し、気分を推定する。例えば、心拍、呼吸の変化から気分を推定する。また、「ドキドキ」する等がオノマトペが得られているが、心拍、呼吸には変化がない場合または変化がある場合に、時刻time(t+1)の気分にどのような影響を与えるか等を学習し、気分を推定する。
例えば、生体情報取得部１７０，２７０は、生体情報を取得する機能を備え、生体情報を取得する。生体情報取得部１７０，２７０は、例えば、hitoe(登録商標)等のウェアラブルディバイスと対応するアプリケーションとを備え、対象者の生体情報を取得する。
＜学習部１１０＞
学習部１１０は、記憶部１３０に学習するために十分な量の学習用の心理状態感性表現語とそれに対応する学習用の気分情報と、以下の(i)～(vi)とが蓄積されると（Ｓ１１０－１）、記憶部１３０から学習用の心理状態感性表現語と、それに対応する学習用の気分情報と、(i)～(vi)とを取り出し、推定モデルを学習し（Ｓ１１０）、学習済みの推定モデルを出力する。
(i)心理状態感性表現語の入力時の入力者の、場所に紐づけられた固定の周囲環境に関連する情報
(ii)心理状態感性表現語の入力時の入力者の、場所に紐づけられない、固定ではない周囲環境に関連する情報
(iii)心理状態感性表現語の入力時の入力者の位置情報
(iv)心理状態感性表現語の入力時の入力者の体験に関連する体験情報
(v)心理状態感性表現語の入力時の入力者のコミュニケーションに関連するコミュニケーション情報
(vi)心理状態感性表現語の入力時の入力者の生体情報
なお、(i)～(vi)の全てを用いて学習する必要はなく、推定に必要な情報を取得し、記憶し、それに基づき学習すればよい。(i)～(vi)の少なくとも1つ以上の時系列を用いればよい。
本変形例の推定モデルは、推定装置２００が、時刻time(t')までの時刻順の2つ以上の心理状態感性表現語と、その心理状態感性表現語に対応する(i)～(vi)の少なくとも1つ以上の時系列とを入力として、時刻time(t')よりも後の気分を推定するときに用いるモデルである。
＜推定部２１０，推定モデル記憶部２１１＞
推定モデル記憶部２１１には、本変形例の学習装置１００が出力した学習済みの推定モデルを予め記憶しておく。推定部２１０は、一時記憶部２３０から2つ以上の心理状態感性表現語と、上述の学習部１１０で学習に利用した(i)～(vi)の少なくとも1つ以上と、を取り出し、推定モデル記憶部２１１に予め記憶した学習済みの推定モデルを用いて、2つ以上の心理状態感性表現語と(i)～(vi)の少なくとも１つ以上とから未来の気分を推定し（Ｓ２１０）、推定結果を出力する。
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、(i)～(vi)の少なくとも１つ以上を考慮することでより正確に気分を推定できる。なお、本変形例と変形例１，２とを組合せてもよい。
なお、本変形例では、固定周囲環境取得部、不定周囲環境取得部、位置情報取得部、体験情報取得部、コミュニケーション情報取得部、生体情報取得部において各情報を取得するタイミングを、心理状態感性表現語取得部において心理状態感性表現語を取得するタイミングと同じものとして説明したが、各取得部毎に異なるタイミングであってもよい。心理状態感性表現語を取得するタイミングに最も近いタイミングの各情報を用いたり、不足した情報を補完してもよいし、過剰な情報を間引いてもよい。
＜変形例４＞
第一実施形態では、学習装置１００のユーザ、推定装置２００の利用者がオノマトペの文字列を入力することとして説明をしたが、文字列そのものを入力することに限られるものではない。
例えば、オノマトペに１対１で対応付けられたイラストや画像等を入力することとしても良い。この場合、オノマトペとイラストや画像等とを対応付けたデータベースを備え、イラストや画像等を入力とし、それに対応するオノマトペの文字列をデータベースから取り出してもよい。
また、例えば、対象者の発話を音声認識した結果に含まれるオノマトペの文字列を自動抽出することで、オノマトペの文字列の入力を受け付けても良い。例えば、オノマトペの文字列に代えて、音声信号を入力とし、図示しない音声認識部で音声認識処理を行い、音声認識結果を得、その中からオノマトペの文字列を抽出し、出力してもよい。例えば、対象とするオノマトペの文字列を記憶したデータベースを備え、このデータベースを参照して、音声認識結果からオノマトペの文字列を抽出する。
さらに、推定フェーズでは、例えば、対象者がメールを作成したり、webへ投稿するコメントを作成したりする際に入力したテキスト文字列中からオノマトペの文字列を自動抽出したものを入力として用いたり、対象者が携帯電話等で話をする際の対象者の声を音声認識した結果からオノマトペの文字列を自動抽出したものを入力として用いてもよい。
さらに、学習フェーズでは、対象者であるかどうかに限らず、同じ人から発せられた時系列のもの（メールを作成したり、webへ投稿するコメントを作成したりする際に入力したテキスト文字列、音声認識結果）であって、オノマトペと気分の言葉とが両方でてくるものが時系列的に行われていれば、これを使って学習することができる。その際には、研究や別途行った学習などによって事前に得た「気分の言葉」と気分情報との一般的な対応付けを予め持っておき、気分の言葉の文字列をオノマトペの場合と同様に自動抽出して、抽出した気分の言葉を上述した対応付けに基づいて気分情報に変換したものを入力として用いればよい。
なお、本変形例と変形例１～３とを組合せてもよい。
＜変形例５＞
本実施形態では、学習装置１００の心理状態感性表現語・気分情報取得部１２０は、学習用の心理状態感性表現語WL(t1),WL(t2),…と、学習用の気分情報ML(t1),ML(t2),…とを入力とするが、学習用の心理状態感性表現語WL(t1),WL(t2),…のみを入力とし、非特許文献１の方法を用いて、心理状態感性表現語WL(t1),WL(t2),…に対応する学習用の気分情報ML(t1),ML(t2),…を取得する構成としてもよい。
なお、本変形例と変形例１～４とを組合せてもよい。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
上述の各種の処理は、図９に示すコンピュータの記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (11)

  1. ユーザが各時刻に発したオノマトペである学習用のオノマトペと、前記ユーザが前記学習用のオノマトペを発した前記各時刻の前記ユーザの気分の評価値である学習用の気分情報とを少なくとも含む学習データを記憶する記憶部と、
    前記学習データを用いて、ある時刻までの2つ以上のオノマトペによる時系列を少なくとも入力とし、前記ある時刻よりも後の気分を推定する推定モデルを学習する学習部とを含み、
    撮影機能と、顔認証機能と、表情検知機能とを備えるコミュニケーション情報取得部を更に含み、
    前記コミュニケーション情報取得部は、
    前記オノマトペを発した各時刻について、
    前記撮影機能で撮影した人物の顔認証を行って前記ユーザが会っている人物を示す情報を得て、
    前記表情検知機能により、前記ユーザの表情を示す情報、前記会っている人物の表情を示す情報、を得て、
    得た前記情報を前記学習データに含めて前記記憶部に記憶し、
    前記学習部は、
    対象者が会っている人物を示す情報、対象者の表情を示す情報、対象者が会っている人物の表情を示す情報、も入力として、前記ある時刻よりも後の気分を推定する推定モデルを学習する、
    学習装置。
  2. 請求項１に記載の学習装置であって、
    前記記憶部に記憶する学習データには前記各オノマトペを発した時刻も含まれ、
    前記学習部は、
    前記ある時刻までの2つ以上のオノマトペに対応する時刻またはそれらの時刻差も入力として、または、前記ある時刻までの2つ以上のオノマトペの受付順序とそれらのオノマトペに対応する時刻の時間間隔も入力として、前記ある時刻よりも後の気分を推定するモデル推定モデルを学習する、
    学習装置。
  3. 請求項１に記載の学習装置で学習された推定モデルを記憶した推定モデル記憶部と、
    撮影機能と、顔認証機能と、表情検知機能とを備え、
    前記撮影機能で撮影した人物の顔認証を行って対象者が会っている人物を示す情報を得て、
    前記表情検知機能により、前記対象者の表情を示す情報、前記会っている人物の表情を示す情報、を得る
    コミュニケーション情報取得部と、
    前記推定モデルを用いて、入力された2つ以上の前記対象者のオノマトペとその入力順序と、当該各オノマトペを発したときに前記コミュニケーション情報取得部が得た前記情報と、に少なくとも基づいて、前記対象者の未来の気分を推定する推定部と、を含む、
    推定装置。
  4. 請求項２に記載の学習装置で学習された推定モデルを記憶した推定モデル記憶部と、
    撮影機能と、顔認証機能と、表情検知機能とを備え、
    前記撮影機能で撮影した人物の顔認証を行って対象者が会っている人物を示す情報を得て、
    前記表情検知機能により、前記対象者の表情を示す情報、前記会っている人物の表情を示す情報、を得る
    コミュニケーション情報取得部と、
    前記推定モデルを用いて、入力された2つ以上の前記対象者のオノマトペと、当該各オノマトペを発したときに前記コミュニケーション情報取得部が得た前記情報と、入力された前記各オノマトペに対応する時刻またはそれらの時刻差、または、入力された前記各オノマトペの受付順序とそれらのオノマトペに対応する時刻の時間間隔と、に少なくとも基づいて、前記対象者の未来の気分を推定する推定部と、を含む、
    推定装置。
  5. オノマトペと感嘆詞の少なくとも何れかにカテゴライズされる語が心理状態感性表現語であるとして、
    ユーザが各時刻に発した心理状態感性表現語である学習用の心理状態感性表現語と、前記ユーザが前記学習用の心理状態感性表現語を発した前記各時刻の前記ユーザの気分の評価値である学習用の気分情報とを少なくとも含む学習データを記憶する記憶部と、
    前記学習データを用いて、ある時刻までの2つ以上の心理状態感性表現語による時系列を少なくとも入力とし、前記ある時刻よりも後の気分を推定する推定モデルを学習する学習部とを含み、
    撮影機能と、顔認証機能と、表情検知機能とを備えるコミュニケーション情報取得部を更に含み、
    前記コミュニケーション情報取得部は、
    前記心理状態感性表現語を発した各時刻について、
    前記撮影機能で撮影した人物の顔認証を行って前記ユーザが会っている人物を示す情報を得て、
    前記表情検知機能により、前記ユーザの表情を示す情報、前記会っている人物の表情を示す情報、を得て、
    得た前記情報を前記学習データに含めて前記記憶部に記憶し、
    前記学習部は、
    対象者が会っている人物を示す情報、対象者の表情を示す情報、対象者が会っている人物の表情を示す情報、も入力として、前記ある時刻よりも後の気分を推定する推定モデルを学習する、
    学習装置。
  6. 請求項５に記載の学習装置であって、
    前記記憶部に記憶する学習データには前記各心理状態感性表現語を発した時刻も含まれ、
    前記学習部は、
    前記ある時刻までの2つ以上の心理状態感性表現語に対応する時刻またはそれらの時刻差も入力として、または、前記ある時刻までの2つ以上の心理状態感性表現語の受付順序とそれらの心理状態感性表現語に対応する時刻の時間間隔も入力として、前記ある時刻よりも後の気分を推定するモデル推定モデルを学習する、
    学習装置。
  7. 請求項５に記載の学習装置で学習された推定モデルを記憶した推定モデル記憶部と、
    撮影機能と、顔認証機能と、表情検知機能とを備え、
    前記撮影機能で撮影した人物の顔認証を行って対象者が会っている人物を示す情報を得て、
    前記表情検知機能により、前記対象者の表情を示す情報、前記会っている人物の表情を示す情報、を得る
    コミュニケーション情報取得部と、
    前記推定モデルを用いて、入力された2つ以上の前記対象者の心理状態感性表現語とその入力順序と、当該各心理状態感性表現語を発したときに前記コミュニケーション情報取得部が得た前記情報と、に少なくとも基づいて、前記対象者の未来の気分を推定する推定部と、を含む、
    推定装置。
  8. 請求項６に記載の学習装置で学習された推定モデルを記憶した推定モデル記憶部と、
    撮影機能と、顔認証機能と、表情検知機能とを備え、
    前記撮影機能で撮影した人物の顔認証を行って対象者が会っている人物を示す情報を得て、
    前記表情検知機能により、前記対象者の表情を示す情報、前記会っている人物の表情を示す情報、を得る
    コミュニケーション情報取得部と、
    前記推定モデルを用いて、入力された2つ以上の前記対象者の心理状態感性表現語と、当該各心理状態感性表現語を発したときに前記コミュニケーション情報取得部が得た前記情報と、入力された前記各心理状態感性表現語に対応する時刻またはそれらの時刻差、または、入力された前記各心理状態感性表現語の受付順序とそれらの心理状態感性表現語に対応する時刻の時間間隔と、に少なくとも基づいて、前記対象者の未来の気分を推定する推定部と、を含む、
    推定装置。
  9. オノマトペと感嘆詞の少なくとも何れかにカテゴライズされる語が心理状態感性表現語であるとして、
    記憶部には、ユーザが各時刻に発した心理状態感性表現語である学習用の心理状態感性表現語と、前記ユーザが前記学習用の心理状態感性表現語を発した前記各時刻の前記ユーザの気分の評価値である学習用の気分情報とを少なくとも含む学習データが記憶されるものとし、
    前記学習データを用いて、ある時刻までの2つ以上の心理状態感性表現語による時系列を少なくとも入力とし、前記ある時刻よりも後の気分を推定する推定モデルを学習する学習ステップとを含み、
    撮影機能と、顔認証機能と、表情検知機能とを用いるコミュニケーション情報取得ステップを更に含み、
    前記コミュニケーション情報取得ステップにおいて、
    前記心理状態感性表現語を発した各時刻について、
    前記撮影機能で撮影した人物の顔認証を行って前記ユーザが会っている人物を示す情報を得て、
    前記表情検知機能により、前記ユーザの表情を示す情報、前記会っている人物の表情を示す情報、を得て、
    得た前記情報を前記学習データに含めて前記記憶部に記憶し、
    前記学習ステップにおいて、
    対象者が会っている人物を示す情報、対象者の表情を示す情報、対象者が会っている人物の表情を示す情報、も入力として、前記ある時刻よりも後の気分を推定する推定モデルを学習する、
    学習方法。
  10. 請求項９に記載の学習方法で学習された推定モデルが推定モデル記憶部に記憶されるものとし、
    撮影機能と、顔認証機能と、表情検知機能とを用いて、
    前記撮影機能で撮影した人物の顔認証を行って対象者が会っている人物を示す情報を得て、
    前記表情検知機能により、前記対象者の表情を示す情報、前記会っている人物の表情を示す情報、を得る
    コミュニケーション情報取得ステップと、
    前記推定モデルを用いて、入力された2つ以上の前記対象者の心理状態感性表現語とその入力順序と、当該各心理状態感性表現語を発したときに前記コミュニケーション情報取得部が得た前記情報と、に少なくとも基づいて、前記対象者の未来の気分を推定する推定ステップと、
    を含む、推定方法。
  11. 請求項１、２、５および６の何れかの学習装置、または、請求項３、４、７および８の何れかの推定装置としてコンピュータを機能させるためのプログラム。
JP2021538581A 2019-08-06 2019-08-06 学習装置、推定装置、それらの方法、およびプログラム Active JP7188601B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/030864 WO2021024372A1 (ja) 2019-08-06 2019-08-06 学習装置、推定装置、それらの方法、およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021024372A1 JPWO2021024372A1 (ja) 2021-02-11
JPWO2021024372A5 JPWO2021024372A5 (ja) 2022-04-06
JP7188601B2 true JP7188601B2 (ja) 2022-12-13

Family

ID=74502856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538581A Active JP7188601B2 (ja) 2019-08-06 2019-08-06 学習装置、推定装置、それらの方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220301580A1 (ja)
JP (1) JP7188601B2 (ja)
WO (1) WO2021024372A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275352A1 (en) 2012-04-17 2013-10-17 The Mitre Corporation Identifying and Forecasting Shifts in the Mood of Social Media Users
WO2014192457A1 (ja) 2013-05-30 2014-12-04 ソニー株式会社 クライアント装置、制御方法、システム、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015168606A1 (en) * 2014-05-02 2015-11-05 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
JP6926825B2 (ja) * 2017-08-25 2021-08-25 沖電気工業株式会社 通信装置、プログラムおよびオペレータ選択方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275352A1 (en) 2012-04-17 2013-10-17 The Mitre Corporation Identifying and Forecasting Shifts in the Mood of Social Media Users
WO2014192457A1 (ja) 2013-05-30 2014-12-04 ソニー株式会社 クライアント装置、制御方法、システム、およびプログラム

Also Published As

Publication number Publication date
US20220301580A1 (en) 2022-09-22
WO2021024372A1 (ja) 2021-02-11
JPWO2021024372A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
US10762892B2 (en) Rapid deployment of dialogue system
CN110326041B (zh) 用于智能助理的自然语言交互
Schuller et al. The interspeech 2017 computational paralinguistics challenge: Addressee, cold & snoring
EP3803846B1 (en) Autonomous generation of melody
JP6803333B2 (ja) 対話型ダイアログシステムのための感情タイプの分類
CN118471216A (zh) 适应多个年龄组和/或词汇水平的自动助理
KR20190125153A (ko) 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법
Al-Dujaili et al. Speech emotion recognition: a comprehensive survey
CN111696559B (zh) 提供情绪管理辅助
US10559305B2 (en) Information processing system, and information processing method
US10902735B2 (en) Education reward system and method
KR20200036680A (ko) 감정 정보 획득을 위한 전자 장치 및 방법
CN106951433A (zh) 一种检索方法及装置
CN113241178B (zh) 一种确定被测者的抑郁症严重程度的装置
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
JP7188601B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
KR20220133665A (ko) 성격 정보 제공 서비스 장치 및 방법
JP2017102490A (ja) 情報処理機器、プログラム
JP7310901B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
CN114048395B (zh) 基于时间感知与关键信息抽取的用户转发预测方法和系统
JP7540581B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
JP7300929B2 (ja) 認知機能促進支援システム、学習システム、推定システム、及び認知機能促進支援方法
KR20200075256A (ko) 라이프로그 빅데이터 기반의 지능형 캐릭터 저작 장치 및 방법
JP2020038448A (ja) 情報処理装置、情報処理方法及びプログラム
JP7456503B2 (ja) 心理状態分析方法、心理状態分析装置及びプログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20211125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7188601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150