JP7327161B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7327161B2
JP7327161B2 JP2019521168A JP2019521168A JP7327161B2 JP 7327161 B2 JP7327161 B2 JP 7327161B2 JP 2019521168 A JP2019521168 A JP 2019521168A JP 2019521168 A JP2019521168 A JP 2019521168A JP 7327161 B2 JP7327161 B2 JP 7327161B2
Authority
JP
Japan
Prior art keywords
user
sensing
users
response
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521168A
Other languages
English (en)
Other versions
JPWO2019087779A1 (ja
Inventor
沙也 菅野
幸徳 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019087779A1 publication Critical patent/JPWO2019087779A1/ja
Application granted granted Critical
Publication of JP7327161B2 publication Critical patent/JP7327161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数人のユーザが皆満足できる空間を提供することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
近年、ユーザからの指示やユーザの状態などに応じて、そのユーザに対して適切な応答を出力する家庭用の音声アシスタントデバイス（ホームエージェント機器）が提供されている。このようなホームエージェント機器の中には、ユーザによる楽曲の再生回数、ユーザの好きなアーティストやジャンルの他、時間帯や季節、位置情報など、楽曲とは直接関係のない情報を用いて楽曲推薦を行うものもある。
例えば、特許文献１には、ユーザのそのときの感情に基づいて、楽曲の推薦を行う楽曲推薦システムが開示されている。
特開２０１６－１９４６１４号公報
しかしながら、ホームエージェント機器による応答の出力は、１人のユーザを対象として行われていた。そのため、複数人のユーザが存在する環境において、複数人のユーザが皆満足するような応答を出力することはできなかった。
本技術は、このような状況に鑑みてなされたものであり、複数人のユーザが皆満足できる空間を提供することができるようにするものである。
本技術の情報処理装置は、複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定する分析部と、推定された前記ユーザの状態に対応した応答を生成する応答生成部とを備え、前記応答生成部は、前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する。
本技術の情報処理方法は、情報処理装置が、複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、推定された前記ユーザの状態に対応した応答を生成し、前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する情報処理方法である。
本技術のプログラムは、コンピュータに、複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、推定された前記ユーザの状態に対応した応答を生成し、前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する処理を実行させるプログラムである。
本技術においては、複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報が分析されることで、前記環境における複数人の前記ユーザの状態が推定され、推定された前記ユーザの状態に対応した応答が生成され、前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声が生成される。
本技術によれば、複数人のユーザが皆満足できる空間を提供することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した応答システムの概要について説明する図である。 エージェント装置のハードウェア構成例を示すブロック図である。 エージェント装置の機能構成例を示すブロック図である。 応答出力処理について説明するフローチャートである。 クラスタに対応して生成される応答の例を示す図である。 応答システムの第１の利用例について説明する図である。 第１の利用例におけるセンシング情報と応答生成の例を示す図である。 応答システムの第２の利用例について説明する図である。 第２の利用例におけるセンシング情報と応答生成の例を示す図である。 応答システムの第３の利用例について説明する図である。 第３の利用例におけるセンシング情報と応答生成の例を示す図である。 応答システムの第４の利用例について説明する図である。 第４の利用例におけるセンシング情報の例を示す図である。 ニューラルネットワークの構成例を示す図である。 本技術を適用したサーバの機能構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．応答システムの概要
２．エージェント装置の構成と動作
３．応答システムの第１の利用例（団欒モード）
４．応答システムの第２の利用例（別々行動モード）
５．応答システムの第３の利用例（邪魔者乱入モード）
６．応答システムの第４の利用例（パーティーモード）
７．ニューラルネットワークへの適用
８．クラウドコンピューティングへの適用
９．その他
＜１．応答システムの概要＞
図１は、本技術を適用した応答システムの概要を示している。
図１には、３人のユーザ１０Ａ，１０Ｂ，１０Ｃと、ユーザ１０Ａ，１０Ｂ，１０Ｃに対して応答を出力する、本技術を適用したエージェント装置２０が示されている。エージェント装置２０は、家庭用の音声アシスタントデバイスとして構成される。
エージェント装置２０は、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれの状態をセンシングすることで得られるセンシング情報ＳＤ１，ＳＤ２，ＳＤ３を分析し、それらの分析結果に応じた応答Ｒｅｓを出力する。
エージェント装置２０によって分析されるセンシング情報は、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれの状態をセンシングして得られるものに限らず、ユーザ１０Ａ，１０Ｂ，１０Ｃが存在する環境におけるセンシングにより得られるものを含む。
例えば、センシング情報は、ユーザ１０Ａ，１０Ｂ，１０Ｃが存在する環境を撮像した画像や、その環境における音声、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれの位置や動作を示す情報などを含む。
エージェント装置２０によって出力される応答Ｒｅｓは、ユーザ１０Ａ，１０Ｂ，１０Ｃが皆満足できる空間を作り上げるような応答とされる。応答Ｒｅｓは、ユーザ１０Ａ，１０Ｂ，１０Ｃ全てに対する応答であってもよいし、そのいずれかに対する応答であってもよい。応答Ｒｅｓは、センシング情報の分析結果に応じて、楽曲として出力されたり、発話音声として出力されたりする。
＜２．エージェント装置の構成と動作＞
（エージェント装置の構成例）
図２は、本技術を適用したエージェント装置２０のハードウェア構成例を示すブロック図である。
ＣＰＵ(Central Processing Unit)５１、ＲＯＭ(Read Only Memory)５２、ＲＡＭ(Random Access Memory)５３は、バス５４により相互に接続される。
バス５４には、マイク５５、センサ５６、スピーカ５７、ディスプレイ５８、入力部５９、記憶部６０、および通信部６１が接続される。
マイク５５は、ユーザが存在する環境における音声を検出する。
センサ５６は、カメラや照度センサなどの各種のセンサにより構成される。例えば、センサ５６は、撮影により得られた画像を出力する。また、センサ５６は、その場の照度を表す情報を出力する。
スピーカ５７は、音声（合成音声）や楽曲を出力する。
ディスプレイ５８は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成される。
入力部５９は、ディスプレイ５８に重ねて設けられたタッチパネルや、エージェント装置２０の筐体に設けられた各種のボタンにより構成される。入力部５９は、ユーザによる操作を検出し、操作の内容を表す情報を出力する。
記憶部６０は、不揮発性のメモリなどにより構成される。記憶部６０は、ＣＰＵ５１が実行するプログラムの他に、楽曲データや音声合成用のデータなどの各種のデータを記憶する。
通信部６１は、ネットワークインタフェースなどにより構成される。通信部６１は、無線や有線による通信を外部の装置との間で行う。
図３は、エージェント装置２０の機能構成例を示すブロック図である。
図３に示されるエージェント装置２０の機能ブロックのうちの少なくとも一部は、図２のＣＰＵ５１により所定のプログラムが実行されることによって実現される。
エージェント装置２０は、センシング部７１、分析部７２、クラスタリング部７３、応答生成部７４、記憶部７５、および出力部７６から構成される。
センシング部７１は、図２のマイク５５やセンサ５６に対応し、複数人のユーザが存在する環境においてセンシングを行う。センシング部７１は、エージェント装置２０の外部に設けられていてもよい。センシング部７１によって行われ得るセンシング技術の詳細については後述する。センシングにより得られたセンシング情報は、分析部７２と応答生成部７４に供給される。
分析部７２は、センシング部７１からのセンシング情報を分析することで、複数人のユーザが存在する環境におけるユーザの状態を推定する。具体的には、分析部７２は、センシング情報を分析することで、その環境におけるユーザ同士の関係性や、ユーザそれぞれが１つの目的を共有しているか否かなどを推定する。センシング情報の分析結果（推定されたユーザの状態）は、クラスタリング部７３に供給される。
クラスタリング部７３は、分析部７２による分析結果をクラスタリングする。具体的には、クラスタリング部７３は、ユーザの状態が分類されるクラスタを決定する。決定されたクラスタを表す情報は、応答生成部７４に供給される。
応答生成部７４は、クラスタリング部７３からの情報で表されるクラスタに対応した応答を生成する。このとき、応答生成部７４は、センシング部７１からのセンシング情報を用いたり、記憶部７５に記憶されているデータを用いたりして、クラスタに対応した応答を生成する。
記憶部７５は、図２の記憶部６０に対応し、ユーザ個人の嗜好や経験を示すプロファイルデータ８１や、種々の楽曲を表す楽曲データ８２を記憶する。応答生成部７４は、プロファイルデータ８１で示されるユーザの嗜好や経験に基づいて、クラスタに対応した応答を生成したり、クラスタに対応した応答を、楽曲データ８２で示される楽曲に基づいて生成する。
応答生成部７４によって生成された応答は、出力部７６に供給される。
出力部７６は、図２のスピーカ５７に対応し、応答生成部７４からの応答を、発話音声や楽曲として出力する。
（センシング技術の詳細）
ここで、センシング情報を得るのに必要なセンシング技術の詳細について説明する。
センシング部７１によって行われ得るセンシング技術として、以下のような技術を用いることができる。
（ａ）ＧＰＳ（Global Positioning System）機能
スマートフォンやウェアラブル機器など、ユーザが携帯可能なデバイスが有するＧＰＳ機能によって、センシング情報として、位置情報を取得することができる。位置情報は、ユーザの嗜好（どのような楽曲を好んで選ぶかの傾向）と紐づけることができる。蓄積された位置情報により、ユーザの現在位置が、日頃よく行く場所であるか、ユーザにとって非日常的な場所であるか、などを判定することも可能となる。
（ｂ）加速度センシング
スマートフォンやウェアラブル機器など、ユーザが携帯可能なデバイスが有する加速度センサによって、センシング情報として、ユーザの動作を表す動作情報を取得することができる。動作情報は、ユーザの嗜好と紐づけることができる。
（ｃ）照度センシング
ユーザが存在する環境に設けられた照度センサによって、センシング情報として、その場の照度を取得したり、光源推定を行うことができる。照度や光源推定結果は、ユーザの嗜好と紐づけることができる。
（ｄ）音源方向推定
ユーザが存在する環境において、センシング情報として、マイクによって検出された音声を取得することで、その場の“うるささ”の判定や、音源方向推定を行うことができる。音源方向推定の結果により、例えば、子供が走り回っているのか、大人同士の会話が盛り上がっているのか、テレビの音声が流れているのか、などといった、音源の種類を特定することもできる。
さらに、話者認識機能を用いることにより、誰が発話したのか、などを判定することもできる。
（ｅ）顔認識／動作認識
センシング情報として、カメラによって撮像された画像（動画像）を取得し、リアルタイムで解析することで、顔認識と動作認識を行うことができる。顔認識や動作認識の結果として得られる、その環境に誰がいるのか、何をしているのか、などの情報を、センシング情報として取得するようにしてもよい。
（ｆ）視線検出
視線検出が可能なメガネ型のウェアラブル機器をユーザが装着したり、視線検出機能を有するカメラがユーザを撮像することで、センシング情報として、ユーザの視線位置を示す視線情報を取得することができる。
（ｇ）心拍の変動検知
心拍の変動検知が可能なリストバンド型のウェアラブル機器をユーザが装着することで、センシング情報として、ユーザの心拍の変動を示す心拍情報を取得することができる。ここでは、心拍情報が取得されるものとするが、これ以外にも、心電図、血圧、体温などの生体情報が取得されるようにしてもよい。
（ｈ）表情認識
センシング情報として、カメラによって撮像された画像（動画像）を取得し、リアルタイムで解析することで、ユーザの発話時の表情を認識することができる。
（ｉ）感情推定
センシング情報として、マイクによって検出されたユーザの発話時の音声を取得し、その特徴量を解析することで、そのユーザの感情を推定することができる。
（ｊ）ユーザの予定情報
センシング情報として、ユーザのカレンダ情報やＴｏＤｏリストなどから、例えばその日のユーザの予定や過去の行動を示す予定情報を取得することができる。ユーザの予定情報をモデル化することで、ユーザの置かれている状況を推定することもできる。このとき、「デート」や「ライブ」などの短期的な予定を示す予定情報と、「資格試験」などの長期的な予定を示す予定情報とを区別してモデル化してもよい。さらに、ユーザ固有の習慣を考慮して、ユーザの予定情報をモデル化してもよい。
（ｋ）楽曲の評価・再生回数
センシング情報として、動画投稿サイトでの他者による動画像の評価を取得することができる。さらに、投稿ユーザ情報やタグ情報を取得することで、その動画像が楽曲中心の動画像であるか否かを推定することができる。
また、センシング情報として、音楽配信サービスでの他者による楽曲の評価を取得することもできる。さらに、他者のプレイリストを参照することで、他者が、どのようなタイミングでどのようなジャンルの楽曲を聴く傾向にあるのかなどを推定することもできる。
さらに、センシング情報として、音楽配信サービスでの楽曲再生や、オフライン状態での楽曲再生によってカウントされる再生回数を取得することもできる。
（ｌ）発話履歴
センシング情報として、ユーザによる発話履歴を取得することができる。発話履歴は、複数人のユーザ同士の会話の内容を示すものであってもよいし、エージェント装置２０に対する依頼のための発話の内容を示すものであってもよい。
（ｍ）デバイス情報
センシング情報として、エージェント装置２０以外で楽曲を出力可能なデバイスを示すデバイス情報を取得することができる。デバイス情報は、例えばクラウド上に蓄積されるようにする。これにより、複数人のユーザが存在する環境にあるオーディオ機器、ユーザ個人が所有するスマートフォンや携帯音楽プレーヤなどから、選択的に応答を出力することができる。
（ｎ）家の中での位置情報
エージェント装置２０のカメラによって撮像された画像を解析することで、センシング情報として、家の中でのユーザの位置情報を取得することができる。
また、サーモグラフィカメラや人感センサなどを設置し、得られたサーモグラフィ画像やセンサ出力を解析することで、センシング情報として、カメラの撮像範囲外にいる人物の位置情報を取得することもできる。これにより、エージェント装置２０を設置しにくい浴室などにおいても人がいることを認識することができるようになる。なお、家の中であるので、カメラの撮像範囲外にいる人物（家族）が誰であるのかを特定することも可能である。
（ｏ）ＯＮ／ＯＦＦ状況
センシング情報として、家の中の家電製品（冷暖房器具や照明器具）のＯＮ／ＯＦＦ状況を取得することで、家の中でのユーザの位置情報を取得することができる。
以上のようなセンシング技術により、種々のセンシング情報を取得することができる。
（エージェント装置の動作例）
次に、図３のフローチャートを参照して、エージェント装置２０によって実行される応答出力処理の流れについて説明する。
ステップＳ１において、センシング部７１は、複数人のユーザが存在する環境においてセンシングを行うことで、センシング情報を取得する。
ステップＳ２において、分析部７２は、センシング部７１により得られたセンシング情報を分析することで、複数人のユーザが存在する環境におけるユーザの状態を推定する。
ステップＳ３において、クラスタリング部７３は、分析部７２による分析結果をクラスタリングすることでユーザの状態を分類し、その状態が分類されるクラスタを決定する。
ステップＳ４において、応答生成部７４は、センシング部７１からのセンシング情報を用いたり、記憶部７５に記憶されているプロファイルデータ８１を用いたりして、決定されたクラスタに対応した応答を生成する。
なお、複数人のユーザの中には、プロファイルデータ８１のないユーザが存在する場合が考えられる。この場合、応答生成部７４は、そのユーザの属性（性別や年齢など）に応じて一般化されたプロファイルデータ（一般化プロファイル）を用いて、クラスタに対応した応答を生成することができる。
ここで、図５を参照して、決定されたクラスタに対応して生成される応答の例について説明する。
図５においては、クラスタとして、複数人のユーザの状態を分類する４つのモード（団欒モード、別々行動モード、邪魔者乱入モード、パーティーモード）と、それぞれのモードに対応する応答の例が示されている。
団欒モードは、複数人のユーザが互いに楽しく会話を交わしているような状態に該当するクラスタである。ユーザの状態が団欒モードに分類された場合、応答として、例えば、ユーザ同士の会話（団欒）を邪魔しないようなＢＧＭ（Back Ground Music）（楽曲）が選出される。
別々行動モードは、複数人のユーザが会話もなく別々の作業を行っているような状態に該当するクラスタである。ユーザの状態が別々行動モードに分類された場合、応答として、例えば、ユーザ同士の会話を発生させるような話題（発話音声）が生成される。
邪魔者乱入モードは、数人のユーザが１つの作業を行っている中で、例えば他の１人のユーザがその作業の邪魔になるような行動をとっているような状態に該当するクラスタである。ユーザの状態が邪魔者乱入モードに分類された場合、応答として、例えば、邪魔者と判断された人物に対する話題（発話音声）が生成される。
パーティー（超多人数）モードは、超多人数のユーザがパーティー会場などで盛り上がっている（大きな声で会話したり、動き回ったりしている）ような状態に該当するクラスタである。ユーザの状態がパーティーモードに分類された場合、応答として、例えば、パーティー（盛り上がり）を邪魔しないようなＢＧＭ（楽曲）が選出される。
このようにして、複数人のユーザの状態に応じた応答が生成されるようになる。
さて、図４のフローチャートに戻り、ステップＳ５において、出力部７６は、応答生成部７４によって生成された応答を出力する。
以上の処理によれば、複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報の分析結果に応じて、複数人のユーザの状態に応じた応答が出力されるので、複数人のユーザが皆満足できる空間を提供することが可能となる。
以下においては、上述した応答システムの利用例について説明する。
＜３．応答システムの第１の利用例＞
図６は、本技術を適用した応答システムの第１の利用例について説明する図である。
図６は、エージェント装置２０が設置されているある家のリビングで、３人のユーザ１０Ａ，１０Ｂ，１０Ｃが、お互いに顔を合わせながら会話を交わして盛り上がっている様子を示している。
ユーザ１０Ａは、心拍の変動検知が可能なリストバンド型のウェアラブル機器を装着しており、ユーザ１０Ａの心拍情報は、センシング情報として、エージェント装置２０によってリアルタイムに取得されている。
ユーザ１０Ｂは、視線検出が可能なメガネ型のウェアラブル機器を装着しており、ユーザ１０Ｂの視線情報は、センシング情報として、エージェント装置２０によってリアルタイムに取得されている。
エージェント装置２０には、プロファイルデータ８１として、ユーザ１０Ａ，１０Ｂのプロファイルデータが記憶されており、ユーザ１０Ｃのプロファイルデータは存在しない。例えば、ユーザ１０Ｃは、普段この家にいない客人などとされる。
図６の例において、分析部７２は、各種のセンシング情報を分析することで、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態を推定する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｄ）音源方向推定、（ｅ）顔認識／動作認識、（ｆ）視線検出、（ｇ）心拍の変動検知、および、（ｈ）表情認識が用いられることで得られたセンシング情報とされる。
これらのセンシング情報に基づいて、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、複数人のユーザが互いに楽しく会話を交わしているような状態であると推定され、クラスタとして団欒モードに分類される。
応答生成部７４は、各種のセンシング情報と、ユーザ１０Ａ，１０Ｂのプロファイルデータを用いて、団欒モードに対応した応答を生成する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｃ）照度センシング、（ｈ）表情認識、（ｉ）感情推定、（ｊ）ユーザの予定情報、（ｋ）楽曲の評価・再生回数、および、（ｌ）発話履歴が用いられることで得られたセンシング情報とされる。
これにより、団欒モードに対応する応答として、ユーザ同士の会話を邪魔しないようなＢＧＭが選出される。
図７は、図６に示される環境において得られるセンシング情報と、エージェント装置２０による応答生成の例について説明する図である。
図７においては、時刻ｔ１１乃至ｔ１３の間に得られた、ユーザ１０Ａ，１０Ｂ，１０Ｃについてのセンシング情報が示されている。
図７のＡには、ユーザ１０Ａの音信号（実線）、動作信号（点線）、および心拍情報（破線）を表す波形が示されている。図７のＢには、ユーザ１０Ｂの音信号、動作信号、および視線情報（一点鎖線）を表す波形が示されている。図７のＣには、ユーザ１０Ｃの音信号と動作信号を表す波形が示されている。
各ユーザの音信号は、マイクにより検出された音声を表す信号であり、各ユーザの動作信号は、カメラによって撮像された画像や加速度センサのセンサ出力に基づいて得られる信号である。
図７の例において、時刻ｔ１１乃至ｔ１２の間では、３人のユーザ１０Ａ，１０Ｂ，１０Ｃは、子供の卒業式の話で盛り上がっている状態にある。
この間、センシング情報において、３人のユーザ１０Ａ，１０Ｂ，１０Ｃの音信号がそれぞれ異なるタイミングで大きくなっている。このことから、３人のユーザ１０Ａ，１０Ｂ，１０Ｃがそれぞれ交互にテンポよく会話していることが推定される。また、各ユーザの音信号が増大すると動作信号も増幅することから、各ユーザは、身振り手振りで会話していることが推定される。
すなわち、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、複数人のユーザが互いに楽しく会話を交わしているような状態であると推定され、クラスタとして団欒モードに分類される。
この場合、団欒モードに対応する応答としては、センシング情報として得られる会話の内容（（ｌ）発話履歴）から「卒業ソング」がＢＧＭとして選出される。
次いで、時刻ｔ１２乃至ｔ１３の間では、ユーザ１０Ａが中心となってイギリス旅行の話をしている状態にある。
この間、センシング情報において、ユーザ１０Ａの音信号がずっと大きく、その間にユーザ１０Ｂ，１０Ｃの音信号がたまに大きくなっている。このことから、ユーザ１０Ａが中心となって発話し、それを聞いているユーザ１０Ｂ，１０Ｃが相づちを打っていることが推定される。
ここでも、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、複数人のユーザが互いに楽しく会話を交わしているような状態であると推定され、クラスタとして団欒モードに分類される。
この場合、団欒モードに対応する応答としては、センシング情報として得られるユーザ１０Ａの発話の内容（（ｌ）発話履歴）とスケジュール検索（（ｊ）ユーザの予定情報）に基づいて、ユーザ１０Ａが旅行したイギリスの楽曲が抽出される。
さらに、センシング情報として得られるユーザ１０Ａの楽しげな声色（（ｉ）感情推定）に基づいて、抽出されたイギリスの楽曲の中から「楽しげな曲」がＢＧＭとして選出される。
このようにして、複数人のユーザがお互いに顔を合わせながら会話を交わして盛り上がっている場合にも、ユーザが皆満足できる空間が提供されるようになる。
＜４．応答システムの第２の利用例＞
図８は、本技術を適用した応答システムの第２の利用例について説明する図である。
図８は、エージェント装置２０が設置されているある家のリビングで、３人のユーザ１０Ａ，１０Ｂ，１０Ｃが、例えば、本を読んだり、スマートフォンを操作するなどして、別々の作業を行っている様子を示している。
図８の例においても、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれについて得られるセンシング情報と、記憶されているプロファイルデータは、図６の例と同様とする。
図８の例において、分析部７２は、各種のセンシング情報を分析することで、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態を推定する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｄ）音源方向推定、（ｅ）顔認識／動作認識、（ｆ）視線検出、（ｇ）心拍の変動検知、および、（ｈ）表情認識が用いられることで得られたセンシング情報とされる。
これらのセンシング情報に基づいて、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、複数人のユーザが会話もなく別々の作業を行っているような状態であると推定され、クラスタとして別々行動モードに分類される。
応答生成部７４は、各種のセンシング情報と、ユーザ１０Ａ，１０Ｂのプロファイルデータを用いて、別々行動モードに対応した応答を生成する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｃ）照度センシング、（ｊ）ユーザの予定情報、（ｋ）楽曲の評価・再生回数、および、（ｌ）発話履歴が用いられることで得られたセンシング情報とされる。
これにより、別々行動モードに対応する応答として、ユーザ同士の会話を発生させるような話題が生成される。
図９は、図８に示される環境において得られるセンシング情報と、エージェント装置２０による応答生成の例について説明する図である。
図９においては、時刻ｔ２１乃至ｔ２３の間に得られた、ユーザ１０Ａ，１０Ｂ，１０Ｃについてのセンシング情報が示されている。
なお、図９のＡ，Ｂ，Ｃに示される波形が表すセンシング情報は、図７の例と同様である。
図９の例において、時刻ｔ２１乃至ｔ２２の間では、３人のユーザ１０Ａ，１０Ｂ，１０Ｃは、全く別の作業をしている状態にある。
この間、センシング情報において、３人のユーザ１０Ａ，１０Ｂ，１０Ｃのいずれの信号も小さく変動していないことから、３人のユーザ１０Ａ，１０Ｂ，１０Ｃはそれぞれ会話も動きもなく静かにしていることが推定される。
すなわち、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、複数人のユーザが会話もなく別々の作業を行っているような状態であると推定され、クラスタとして別々行動モードに分類される。
この場合、別々行動モードに対応する応答としては、センシング情報として得られる、最近の発話履歴（（ｌ）発話履歴）から映画の話題が生成され、時刻ｔ２２において、ユーザ１０Ａ，１０Ｂ，１０Ｃに対してその話題が提供される。
これにより、時刻ｔ２２乃至ｔ２３の間では、ユーザ１０Ａ，１０Ｂ，１０Ｃ同士で会話が発生した状態になる。すなわち、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれの音信号と動作信号が大きく変動している。
このようにして、複数人のユーザが別々の作業を行っている場合にも、ユーザが皆満足できる空間が提供されるようになる。
＜５．応答システムの第３の利用例＞
図１０は、本技術を適用した応答システムの第３の利用例について説明する図である。
図１０は、エージェント装置２０が設置されているある家のリビングで、２人のユーザ１０Ｂ，１０Ｃが、ものを組み立てるなど１つの作業を行っている状態で、ユーザ１０Ａが外から室内に入ってきて、ユーザ１０Ｂ，１０Ｃに話しかけている様子を示している。
図１０の例においても、ユーザ１０Ａ，１０Ｂ，１０Ｃそれぞれについて得られるセンシング情報と、記憶されているプロファイルデータは、図６の例と同様とする。
図１０の例において、分析部７２は、各種のセンシング情報を分析することで、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態を推定する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｄ）音源方向推定、（ｅ）顔認識／動作認識、（ｆ）視線検出、（ｇ）心拍の変動検知、および、（ｈ）表情認識が用いられることで得られたセンシング情報とされる。
これらのセンシング情報に基づいて、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、数人のユーザが１つの作業を行っている中で、他のユーザがその作業の邪魔になるような行動をとっているような状態であると推定され、クラスタとして邪魔者乱入モードに分類される。
応答生成部７４は、各種のセンシング情報と、ユーザ１０Ａ，１０Ｂのプロファイルデータを用いて、邪魔者乱入モードに対応した応答を生成する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｈ）表情認識、（ｊ）ユーザの予定情報、および、（ｌ）発話履歴が用いられることで得られたセンシング情報とされる。
これにより、邪魔者乱入モードに対応する応答として、邪魔者と判断された人物に対する話題が生成される。
図１１は、図１０に示される環境において得られるセンシング情報と、エージェント装置２０による応答生成の例について説明する図である。
図１１においては、時刻ｔ３１乃至ｔ３４の間に得られた、ユーザ１０Ａ，１０Ｂ，１０Ｃについてのセンシング情報が示されている。
なお、図１１のＡ，Ｂ，Ｃに示される波形が表すセンシング情報は、図７の例と同様である。
図１１の例において、時刻ｔ３１乃至ｔ３２の間では、２人のユーザ１０Ｂ，１０Ｃが、１つの作業をしている状態にある。
この間、センシング情報において、ユーザ１０Ｂ，１０Ｃの音信号の変動は小さく、動作信号の変動が若干大きいことから、２人のユーザ１０Ｂ，１０Ｃはそれぞれ会話をしないで作業のために動いていることが推定される。ユーザ１０Ａは、エージェント装置２０によるセンシング範囲の外にいるため、センシング情報は取得されない。
時刻ｔ３２において、ユーザ１０Ａが部屋に入ってきて、ユーザ１０Ｂ，１０Ｃに話しかけ始める。そして、時刻ｔ３２乃至ｔ３３の間では、ユーザ１０Ａが、ユーザ１０Ｂ，１０Ｃに話しかけることで、ユーザ１０Ｂ，１０Ｃが作業を中断している状態にある。
この間、センシング情報において、ユーザ１０Ａの音信号と動作信号が大きく変動していることから、ユーザ１０Ａが身振り手振りで発話していることが推定される。また、ユーザ１０Ｂ，１０Ｃの音信号の変動は大きくなったものの、動作信号の変動が小さくなったことから、２人のユーザ１０Ｂ，１０Ｃはユーザ１０Ａとの会話のため作業を中断していることが推定される。
すなわち、ユーザ１０Ａ，１０Ｂ，１０Ｃの状態は、数人のユーザが１つの作業を行っている中で、例えば他の１人のユーザがその作業の邪魔になるような行動をとっているような状態され、クラスタとして邪魔者乱入モードに分類される。
この場合、邪魔者乱入モードに対応する応答としては、センシング情報として得られるユーザ１０Ａの行動履歴（（ｊ）ユーザの予定情報）に基づいておすすめスポットの話題が生成され、時刻ｔ３３において、ユーザ１０Ａに対してその話題が提供される。おすすめスポットは、例えば、ユーザ１０Ａの行動履歴から推定される、ユーザ１０Ａが興味を示しそうな街などとされる。
これにより、時刻ｔ３３乃至ｔ３４の間では、ユーザ１０Ａがエージェント装置２０と会話し、ユーザ１０Ｂ，１０Ｃが作業に戻った状態になる。
具体的には、ユーザ１０Ａの音信号が大きく変動し続けている一方、ユーザ１０Ｂ，１０Ｃの音信号の変動は小さく、動作信号の変動が再び若干大きくなっている。
このようにして、２人のユーザが１つの作業を行っている状態で、１人のユーザが外から室内に入ってきて、２人のユーザに話しかけている場合にも、ユーザが皆満足できる空間が提供されるようになる。
＜６．応答システムの第４の利用例＞
図１２は、本技術を適用した応答システムの第４の利用例について説明する図である。
図１２は、エージェント装置２０が設置されているある家のリビングで、多人数のユーザ１０がパーティーに参加している様子を示している。
図１２の例において、分析部７２は、各種のセンシング情報を分析することで、全ユーザ１０の状態、言い換えると、室内全体の状態を推定する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｂ）加速度センシング、（ｄ）音源方向推定、（ｅ）顔認識／動作認識、（ｆ）視線検出、および、（ｇ）心拍の変動検知が用いられることで得られたセンシング情報とされる。
図１３は、図１２に示される環境において得られるセンシング情報について説明する図である。
図１３には、上から順に、室内全体（全ユーザ１０）の音信号（実線）、動作信号（点線）、および心拍情報（破線）を表す波形が示されている。心拍情報は、心拍の変動検知が可能なリストバンド型のウェアラブル機器を装着しているユーザ１０についてのみ取得される。
図１３においては、室内全体の音信号、動作信号、および心拍情報が、それぞれ高いレベルを取りながら変動している。このことから、各ユーザ１０の状態（室内全体の状態）は、超多人数のユーザがパーティー会場などで盛り上がっているような状態であると推定され、クラスタとしてパーティーモードに分類される。
応答生成部７４は、各種のセンシング情報を用いて、パーティーモードに対応した応答を生成する。ここで用いられるセンシング情報は、例えば、センシング技術として（ｃ）照度センシング、（ｊ）ユーザの予定情報、（ｋ）楽曲の評価・再生回数、および、（ｎ）家の中での位置情報が用いられることで得られたセンシング情報とされる。
これにより、パーティーモードに対応する応答として、パーティーを邪魔しないようなＢＧＭが選出される。
このようにして、多人数のユーザがパーティーに参加している場合にも、ユーザが皆満足できる空間が提供されるようになる。
なお、以上においては、本技術を、音声アシスタントデバイスとして構成されるエージェント装置２０に適用した例について説明したが、例えば、スマートフォンなどの携帯端末に適用することも可能である。
＜７．ニューラルネットワークへの適用＞
本技術は、ニューラルネットワークへ適用することができる。
図１４は、ニューラルネットワークの構成例を示す図である。
図１４のニューラルネットワークは、入力層１０１、中間層１０２、および出力層１０３で構成される階層型ニューラルネットワークである。
入力層１０１には、上述したセンシング情報や、センシング情報を解析することで得られる特徴量などが入力される。
中間層１０２においては、各ニューロンにおいて、入力層１０１に入力されたセンシング情報や特徴量などの分析、分析結果のクラスタリング、クラスタに対応した応答の生成などの演算が行われる。
出力層１０３には、中間層１０２における演算の結果として、ユーザの状態が分類されたクラスタや、そのクラスタに対応して生成された応答が出力される。
このようにして、本技術は、階層型ニューラルネットワークに適用することができる。
＜８．クラウドコンピューティングへの適用＞
本技術は、クラウドコンピューティングへ適用することもできる。
例えば、図１５に示されるように、エージェント装置２１０は、複数人のユーザが存在する環境においてセンシングを行い、得られたセンシング情報を、ネットワークＮＷを介して接続されるサーバ２２０に送信する。さらに、エージェント装置２１０は、サーバ２２０からネットワークＮＷを介して送信されてくる、ユーザに対する応答を、発話音声や楽曲として出力する。
サーバ１２０は、通信部２３１、分析部２３２、クラスタリング部２３３、応答生成部２３４、および記憶部２３５を備えている。
通信部２３１は、エージェント装置２１０からネットワークＮＷを介して送信されてくるセンシング情報を受信する。また、通信部２３１は、応答生成部２３４によって生成された応答を、ネットワークＮＷを介してエージェント装置２１０に送信する。
分析部２３２は、図３の分析部７２と同一の機能を有し、通信部２３１からのセンシング情報を分析することで、複数人のユーザが存在する環境におけるユーザの状態を推定する。
クラスタリング部２３３は、図３のクラスタリング部７３と同一の機能を有し、ユーザの状態が分類されるクラスタを決定する。
応答生成部２３４は、図３の応答生成部７４と同一の機能を有し、分類されたクラスタに対応した応答を生成し、通信部２３１に供給する。
記憶部２３５は、図３の記憶部７５と同一の機能を有し、ユーザ個人の嗜好や経験を示すプロファイルデータや、種々の楽曲を表す楽曲データを記憶する。
このような構成においても、複数人のユーザが皆満足できる空間を提供することが可能となる。
＜９．その他＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
上述したエージェント装置２０およびサーバ２２０は、図１６に示す構成を有するコンピュータにより実現される。
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は以下のような構成をとることができる。
（１）
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析する分析部と、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する応答生成部と
を備える情報処理装置。
（２）
前記分析部は、前記センシング情報を分析することで、前記環境における前記ユーザの状態を推定し、
前記応答生成部は、推定された前記ユーザの状態に対応した前記応答を生成する
（１）に記載の情報処理装置。
（３）
前記ユーザの状態をクラスタリングすることで、前記ユーザの状態が分類されるクラスタを決定するクラスタリング部をさらに備え、
前記応答生成部は、決定された前記クラスタに対応した前記応答を生成する
（２）に記載の情報処理装置。
（４）
前記応答生成部は、前記センシング情報を用いて、前記クラスタに対応した前記応答を生成する
（３）に記載の情報処理装置。
（５）
前記応答生成部は、前記ユーザそれぞれのプロファイルを用いて、前記クラスタに対応した前記応答を生成する
（３）または（４）に記載の情報処理装置。
（６）
前記応答生成部は、前記複数人のユーザの中に、前記プロファイルのない前記ユーザが存在する場合、前記プロファイルのない前記ユーザの属性に応じた一般化プロファイルを用いて、前記クラスタに対応した前記応答を生成する
（５）に記載の情報処理装置。
（７）
前記応答は、楽曲である
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記応答は、発話音声である
（１）乃至（６）のいずれかに記載の情報処理装置。
（９）
前記センシング情報は、前記環境を撮像した画像を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記センシング情報は、前記環境において検出された音声を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１１）
前記センシング情報は、前記ユーザの視線情報を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１２）
前記センシング情報は、前記ユーザの生体情報を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１３）
前記センシング情報は、前記ユーザの位置情報を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１４）
前記センシング情報は、前記ユーザの動作情報を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１５）
前記センシング情報は、前記環境における照度を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１６）
前記センシング情報は、前記ユーザの予定情報を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１７）
前記センシング情報は、前記ユーザの発話履歴を含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１８）
前記環境においてセンシングを行うセンシング部をさらに備える
（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
前記応答生成部は、前記ユーザの状態が、複数人の前記ユーザが互いに楽しく会話を交わしているような状態であると推定された場合、前記ユーザ同士の会話を邪魔しないような前記応答を生成する
（２）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
前記応答生成部は、前記ユーザの状態が、複数人の前記ユーザが別々の作業を行っているような状態であると推定された場合、前記ユーザ同士の会話を発生させるような前記応答を生成する
（２）乃至（１８）のいずれかに記載の情報処理装置。
（２１）
前記応答生成部は、前記ユーザの状態が、第１のユーザが第２のユーザが行っている作業の邪魔になるような行動をとっているような状態であると推定された場合、前記第１のユーザに対する前記応答を生成する
（２）乃至（１８）のいずれかに記載の情報処理装置。
（２２）
前記応答生成部は、前記ユーザの状態が、超多人数で盛り上がっている状態であると推定された場合、その盛り上がりを邪魔しないような前記応答を生成する
（２）乃至（１８）のいずれかに記載の情報処理装置。
（２３）
情報処理装置が、
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析し、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する
情報処理方法。
（２４）
コンピュータに、
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析し、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する
処理を実行させるプログラム。
２０ エージェント装置， ７１ センシング部， ７２ 分析部， ７３ クラスタリング部， ７４ 応答生成部， ７５ 記憶部， ７６ 出力部， ２１０ エージェント装置， ２２０ サーバ， ２３１ 通信部， ２３２ 分析部， ２３３ クラスタリング部， ２３４ 応答生成部， ２３５ 記憶部

Claims (8)

  1. 複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定する分析部と、
    推定された前記ユーザの状態に対応した応答を生成する応答生成部と
    を備え、
    前記応答生成部は、前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する
    情報処理装置。
  2. 複数人の前記ユーザの状態を分類する複数の行動モードから、推定された前記ユーザの状態が分類される前記行動モードを決定する分類部をさらに備え、
    前記応答生成部は、決定された前記行動モードに対応した前記応答を生成する
    請求項１に記載の情報処理装置。
  3. 前記応答生成部は、前記ユーザそれぞれのプロファイルを用いて、前記行動モードに対応した前記応答を生成する
    請求項２に記載の情報処理装置。
  4. 前記応答生成部は、前記複数人のユーザの中に、前記プロファイルのない前記ユーザが存在する場合、前記プロファイルのない前記ユーザの属性に応じた一般化プロファイルを用いて、前記行動モードに対応した前記応答を生成する
    請求項３に記載の情報処理装置。
  5. 前記第１のセンシング情報は、前記環境を撮像した画像、前記環境において検出された音声、前記ユーザの視線情報、および、前記ユーザの生体情報を含み、
    前記第２のセンシング情報は、前記環境を撮像した画像、前記ユーザの予定情報、および、前記ユーザの発話履歴を含む
    請求項１乃至４のいずれかに記載の情報処理装置。
  6. 前記環境においてセンシングを行うセンシング部をさらに備える
    請求項１乃至５のいずれかに記載の情報処理装置。
  7. 情報処理装置が、
    複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、
    推定された前記ユーザの状態に対応した応答を生成し、
    前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する
    情報処理方法。
  8. コンピュータに、
    複数人のユーザが存在する環境におけるセンシングにより得られた第１のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、
    推定された前記ユーザの状態に対応した応答を生成し、
    前記ユーザの状態として、第１のユーザが第２のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第２のセンシング情報を用いて、前記第１のユーザに対する発話音声を生成する
    処理を実行させるプログラム。
JP2019521168A 2017-10-31 2018-10-17 情報処理装置、情報処理方法、およびプログラム Active JP7327161B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017210011 2017-10-31
JP2017210011 2017-10-31
PCT/JP2018/038608 WO2019087779A1 (ja) 2017-10-31 2018-10-17 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019087779A1 JPWO2019087779A1 (ja) 2020-09-24
JP7327161B2 true JP7327161B2 (ja) 2023-08-16

Family

ID=66332586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521168A Active JP7327161B2 (ja) 2017-10-31 2018-10-17 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210110846A1 (ja)
EP (1) EP3575978A4 (ja)
JP (1) JP7327161B2 (ja)
WO (1) WO2019087779A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366166A (ja) 2001-06-11 2002-12-20 Pioneer Electronic Corp コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム
JP2008263274A (ja) 2007-04-10 2008-10-30 Sony Corp 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム
JP2013120473A (ja) 2011-12-07 2013-06-17 Nikon Corp 電子機器、情報処理方法およびプログラム
JP2014130467A (ja) 2012-12-28 2014-07-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
WO2016136104A1 (ja) 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3437617B2 (ja) * 1993-06-03 2003-08-18 株式会社東芝 時系列データ記録再生装置
JP6535497B2 (ja) 2015-03-31 2019-06-26 株式会社エクシング 楽曲推薦システム、プログラム及び楽曲推薦方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366166A (ja) 2001-06-11 2002-12-20 Pioneer Electronic Corp コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム
JP2008263274A (ja) 2007-04-10 2008-10-30 Sony Corp 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム
JP2013120473A (ja) 2011-12-07 2013-06-17 Nikon Corp 電子機器、情報処理方法およびプログラム
JP2014130467A (ja) 2012-12-28 2014-07-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
WO2016136104A1 (ja) 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
澤田 竜一，顔画像を用いた対話者の年齢・性別推定とロボットからの話題提供への応用，第７８回（平成２８年）全国大会講演論文集（２） 人工知能と認知科学，一般社団法人情報処理学会，2016年03月10日，pp.2-117～2-118，3M-02

Also Published As

Publication number Publication date
EP3575978A4 (en) 2020-04-01
EP3575978A1 (en) 2019-12-04
JPWO2019087779A1 (ja) 2020-09-24
WO2019087779A1 (ja) 2019-05-09
US20210110846A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US10276188B2 (en) Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices
US9626695B2 (en) Automatically presenting different user experiences, such as customized voices in automated communication systems
US10498673B2 (en) Device and method for providing user-customized content
US11074905B2 (en) System and method for personalization in speech recognition
US20180101776A1 (en) Extracting An Emotional State From Device Data
JP2019207720A (ja) 情報処理装置、情報処理方法及びプログラム
US7660825B2 (en) Audio/visual content providing system and audio/visual content providing method
US11314475B2 (en) Customizing content delivery through cognitive analysis
US20180054688A1 (en) Personal Audio Lifestyle Analytics and Behavior Modification Feedback
JP7230804B2 (ja) 情報処理装置、及び情報処理方法
KR20190033719A (ko) 개인방송 컨텐츠 추천방법
JP2017064853A (ja) ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム
Wyatt et al. A Privacy-Sensitive Approach to Modeling Multi-Person Conversations.
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11393462B1 (en) System to characterize vocal presentation
US20160357498A1 (en) Gamified Adaptive Digital Disc Jockey
JP7327161B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019244455A1 (ja) 情報処理装置及び情報処理方法
WO2020066154A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに対話システム
Cao Objective sociability measures from multi-modal smartphone data and unconstrained day-long audio streams
US20220217442A1 (en) Method and device to generate suggested actions based on passive audio
de Andrade et al. Edge emotion recognition: applying fast Fourier transform on speech Mel spectrograms to classify emotion on a Raspberry Pi for near real-time analytics
Flutura et al. Mobilessi-a multi-modal framework for social signal interpretation on mobile devices
Vildjiounaite et al. Requirements and software framework for adaptive multimodal affect recognition
JP2020064425A (ja) 情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151