JP6992800B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP6992800B2
JP6992800B2 JP2019506947A JP2019506947A JP6992800B2 JP 6992800 B2 JP6992800 B2 JP 6992800B2 JP 2019506947 A JP2019506947 A JP 2019506947A JP 2019506947 A JP2019506947 A JP 2019506947A JP 6992800 B2 JP6992800 B2 JP 6992800B2
Authority
JP
Japan
Prior art keywords
information processing
user
attention
control unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506947A
Other languages
English (en)
Other versions
JPWO2018173404A1 (ja
Inventor
広 岩瀬
真里 斎藤
真一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018173404A1 publication Critical patent/JPWO2018173404A1/ja
Application granted granted Critical
Publication of JP6992800B2 publication Critical patent/JP6992800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047Architecture of speech synthesisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Description

本開示は、情報処理装置および情報処理方法に関する。
近年、ユーザに対し情報通知などを行う種々のエージェント装置が普及している。また、上記のようなエージェント装置による情報通知の利便性や精度を向上させる技術が開発されている。例えば、特許文献1には、予め設定される優先度に基づいて情報通知に係る発話の出力順番を制御する技術が開示されている。
特開2015-227951号公報
しかし、特許文献1に記載の技術では、情報通知を行う際のユーザの状況が考慮されていない。このため、特許文献1に記載の技術では、ユーザの注意が向いていない状況で優先度の高い通知内容を出力することも想定され、ユーザが重要な情報を見逃す可能性もある。
そこで、本開示では、ユーザに通知内容をより効果的に把握させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
本開示によれば、通知内容に基づくユーザへの情報通知を制御する制御部、を備え、前記制御部は、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、通知内容に基づくユーザへの情報通知を制御すること、を含み、前記制御することは、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定すること、をさらに含む、情報処理方法が提供される。
以上説明したように本開示によれば、ユーザに通知内容をより効果的に把握させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るユーザのアテンションと通知内容の理解との関係を示す図である。 同実施形態に係る情報処理システムのシステム構成図の一例である。 同実施形態に係る情報処理端末の機能ブロック図の一例である。 同実施形態に係る外部装置の機能ブロック図の一例である。 同実施形態に係る情報処理サーバの機能ブロック図の一例である。 同実施形態に係る発話制御部による情報通知の基本概念について説明するための図である。 同実施形態に係る発話制御部による主題の出力位置の決定の流れを示すフローチャートである。 同実施形態に係る発話制御部による主題の抽出について説明するための図である。 同実施形態に係るアテンション獲得難易度に基づいて決定される主題の出力位置の例を示す図である。 同実施形態に係る発話制御部による通知内容の出力制御の流れを示すフローチャートである。 同実施形態に係るアテンション獲得難易度がレベル3である場合における通知内容の出力制御の具体例を示す図である。 同実施形態に係る情報処理サーバの動作の流れを示すフローチャートである。 本開示の一実施形態に係るハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.実施形態の概要
1.2.システム構成例
1.3.情報処理端末10の機能構成例
1.4.外部装置20の機能構成例
1.5.情報処理サーバ30の機能構成例
1.6.主題の出力位置決定の詳細
1.7.情報処理サーバ30の動作の流れ
2.ハードウェア構成例
3.まとめ
<1.実施形態>
<<1.1.実施形態の概要>>
まず、本開示の一実施形態の概要について説明する。上述したように、近年では、種々のエージェントが開発されている。上記のようなエージェントは、例えば、人工音声を用いた発話により、ユーザに様々な情報を提示することができる。
この際、エージェントが行う情報提示は、主に応答と通知の二つに大別される。ここで、上記の応答とは、ユーザからの問い合わせに応答してエージェントが情報を提示することを指す。例えば、ユーザから、「今日の私のスケジュールは?」、と問い合わせがあった際に、エージェントが当該問い合わせに応答して、「今夜は、ディナーの予定が入っています」、と出力する場合などが上記の応答に該当する。
一方、上記の通知とは、エージェントからユーザに対し情報を発信することを指す。例えば、エージェントが、メールを受信したことに基づいて、「Aさんからメールを受信しました。内容は以下のとおりです・・・」、などの出力を行う場合が上記の通知に該当する。
ここで、上記の応答と通知との主な違いには、ユーザの注意度(以下、アテンション、とも称する)が挙げられる。応答の場合、ユーザからの問い合わせを前提とするため、エージェントが情報を出力する際には、ユーザのアテンションがエージェントに向いていることが想定される。このため、応答の場合、ユーザが出力される情報を把握できる可能性が高いといえる。
一方、通知の場合、エージェント発信の情報出力となるため、情報の出力時にユーザのアテンションを直ぐに得ることができるとは限らない。また、ユーザのアテンションがエージェントに向いている場合であっても、アテンションは時間経過と共に徐々に低下していくことが想定される。
図1は、ユーザのアテンションと通知内容の理解との関係を示す図である。例えば、図1の上段に示すように、テレビジョン装置から音声出力が行われるなど騒音レベルが高い状況において、情報処理端末10から情報通知SO1が出力された場合、ユーザU1aのアテンションが得られるまでには時間を要することが想定される。このため、ユーザU1aは、アテンションが向いていなかった情報通知SO1の前半部分については、内容を把握することが困難な場合がある。
一方、図1の下段に示すように、騒音レベルが低い状況において、情報処理端末10から情報通知SO1が出力された場合、ユーザU1bのアテンションを得ることは比較的容易であるものの、人工音声による発話は一般に抑揚が単調であるなどの理由から、ユーザU1bのアテンションは時間経過と共に徐々に低下することが想定される。このため、ユーザU1bは、アテンションの低下した情報通知SO1の後半部分については、内容を把握し損ねる可能性がある。
本実施形態に係る情報処理装置および情報処理方法は、上記の点に着目して発想されたものであり、ユーザのアテンション状況に応じた適切な情報通知を実現する。このために、本実施形態に係る情報処理装置および情報処理方法は、ユーザのアテンションの取りづらさの指標であるアテンション獲得難易度に基づいて通知内容における主題の出力位置を決定し、当該出力位置に則した情報通知を情報処理端末に行わせることを特徴の一つとする。
より具体的には、例えば、図1に示す一例の場合、本実施形態に係る情報処理装置は、騒音レベルが高い状況においては、ユーザU1aに係るアテンション獲得難易度が高いと判定し、主題の出力位置を通知内容の後半に設定してよい。また、例えば、騒音レベルが低い状況においては、情報処理装置は、ユーザU1bに係るアテンション獲得難易度が低いと判定し、主題の出力位置を通知内容の前半に設定してよい。本実施形態に係る情報処理装置および情報処理方法によれば、ユーザが通知内容の主題を把握し損ねる可能性を大幅に低減し、より利便性の高い情報通知を実現することが可能となる。
<<1.2.システム構成例>>
次に、本実施形態に係る情報処理システムのシステム構成例について説明する。図2は、本実施形態に係る情報処理システムのシステム構成図の一例である。図2を参照すると、本実施形態に係る情報処理システムは、情報処理端末10、外部装置20、および情報処理サーバ30を備える。また、情報処理端末10と情報処理サーバ30、外部装置20と情報処理サーバ30は、ネットワーク40を介して互いに通信が行えるように接続される。
(情報処理端末10)
本実施形態に係る情報処理端末10は、情報処理サーバ30による制御に基づいて、ユーザに対し種々の情報通知を行う情報処理装置である。特に、本実施形態に係る情報処理端末10は、情報処理サーバ30が決定した主題の出力位置に基づいて通知内容の音声出力を行うことができる。本実施形態に係る情報処理端末10は、例えば、据え置き型、組み込み型、または自律移動型の専用装置であってもよい。また、本実施形態に係る情報処理端末10は、携帯電話、スマートフォン、PC(Personal Computer)、タブレット、または各種のウェアラブル装置であってもよい。本実施形態に係る情報処理端末10は、音声による情報通知機能を有する種々の装置として定義される。
また、本実施形態に係る情報処理端末10は、ユーザの発話や周囲における音を収集し、情報処理サーバ30に送信する機能を有してよい。また、本実施形態に係る情報処理端末10は、ユーザの画像を撮像し、情報処理サーバ30に送信してもよい。情報処理端末10により収集される種々の情報は、後述する情報処理サーバ30によるアテンション獲得難易度の算出やアテンション行動の検出に用いられ得る。
(外部装置20)
本実施形態に係る外部装置20は、装置の稼働状況や取集したセンサ情報を情報処理サーバ30に送信する情報処理装置である。上記の稼働状況やセンサ情報は、情報処理サーバ30によるアテンション獲得難易度の算出に用いられ得る。例えば、ある外部装置20が稼働中である場合、ユーザが当該外部装置20の操作に集中していることが想定されるため、アテンションが獲得しづらい状況が推定される。このように、本実施形態に係るアテンション獲得難易度は、騒音のほか、ユーザの状況を加味して算出され得る。
このため、本実施形態に係る外部装置20は、ユーザにより操作、あるいは利用される種々の装置であってよい。なお、図2の一例では、外部装置20がゲーム機器である場合が示されているが、本実施形態に係る外部装置20は、係る例に限定されない。本実施形態に係る外部装置20は、例えば、携帯電話、スマートフォン、PC、タブレット、ウェアラブル装置などであってもよい。また、本実施形態に係る外部装置20は、種々の家電機器、オフィス機器、照明を含む屋内設備などであってもよい。
(情報処理サーバ30)
本実施形態に係る情報処理サーバ30は、情報処理端末10によるユーザへの情報通知を制御する情報処理装置である。この際、本実施形態に係る情報処理サーバ30は、ユーザに係るアテンション獲得難易度に基づいて通知内容における主題の出力位置を決定し、当該出力位置に則した通知内容の音声出力を情報処理端末10に行わせることができる。
上述したとおり、上記のアテンション獲得難易度とは、ユーザのアテンションの取りづらさを示す指標であってよい。本実施形態に係る情報処理サーバ30は、情報処理端末10や外部装置20により収集された各種の情報に基づいて、アテンション獲得難易度を算出することができる。
(ネットワーク40)
ネットワーク40は、情報処理端末10と情報処理サーバ30、外部装置20と情報処理サーバ30を接続する機能を有する。ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク40は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
以上、本実施形態に係る情報処理システムのシステム構成例について説明した。なお、図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末10および情報処理サーバ30が有する機能は、単一の装置により実現されてもよい。また、本実施形態に係る情報処理サーバ30が有する機能は、複数の装置により分散して実現することも可能である。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形され得る。
<<1.3.情報処理端末10の機能構成例>>
次に、本実施形態に係る情報処理端末10の機能構成例について説明する。図3は、本実施形態に係る情報処理端末10の機能ブロック図の一例である。図3を参照すると、本実施形態に係る情報処理端末10は、音声収集部110、センサ部120、出力部130、および通信部140を備える。
(音声収集部110)
音声収集部110は、ユーザの音声や周囲の環境音を収集する機能を有する。音声収集部110は、例えば、本実施形態に係る音声収集部110は、ユーザの音声や環境音を電気信号に変換するマイクロフォンにより実現される。
(センサ部120)
センサ部120は、ユーザの画像を撮像する機能を有する。このために、本実施形態に係るセンサ部120は、撮像センサを備える。また、センサ部120は、ユーザの状況の推定に用いられる種々のセンサ情報を収集してよい。このため、センサ部120は、例えば、赤外線センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、圧力センサ、GNSS(Global Navigation Satellite System)信号受信機などを備える。
(出力部130)
出力部130は、情報処理サーバ30による制御に基づいて通知内容の出力を行う機能を有する。この際、出力部130は、情報処理サーバ30により合成された人工音声に基づく音声出力を行ってよい。このために、本実施形態に係る出力部130は、スピーカやアンプを備える。
また、出力部130は、情報処理サーバ30による制御に基づいて視覚情報を出力してもよい。この場合、出力部130は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置などの表示装置を備える。
(通信部140)
通信部140は、ネットワーク40を介して、情報処理サーバ30との情報通信を行う機能を有する。具体的には、通信部140は、音声収集部110により収集された音情報やセンサ部120により収集された画像情報、センサ情報を情報処理サーバ30に送信する。また、通信部140は、通知内容に係る人工音声情報や、通知内容に係るテキスト情報などを情報処理サーバ30から受信する。
以上、本実施形態に係る情報処理端末10の機能構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末10の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末10は、図2に示す以外の構成をさらに備えてもよい。情報処理端末10は、例えば、ユーザによる入力操作を検出する入力部などを備え得る。本実施形態に係る情報処理端末10の機能構成は、柔軟に変形され得る。
<<1.4.外部装置20の機能構成例>>
次に、本実施形態に係る外部装置20の機能構成例について説明する。図4は、本実施形態に係る外部装置20の機能ブロック図の一例である。図4を参照すると、本実施形態に係る外部装置20は、稼働状況取得部210、センサ部220、および通信部230を備える。
(稼働状況取得部210)
稼働状況取得部210は、装置の稼働状況を取得する機能を有する。稼働状況取得部210により取得された外部装置20の稼働状況は、情報処理サーバ30によるアテンション獲得難易度の算出に用いられ得る。例えば、外部装置20がPCやスマートフォンなどである場合、稼働状況取得部210は、キーボードやマウス、タッチパネルなどがユーザにより操作されていることを検出してもよい。また、例えば、外部装置20がゲーム機器である場合、稼働状況取得部210は、コントローラなどがユーザなどにより操作されていることを検出してもよい。
また、例えば、外部装置20が通話機能を有する電話機などの装置である場合、稼働状況取得部210は、通話が行われていることを検出してもよい。また、例えば、外部装置20が家電機器である場合、稼働状況取得部210は、冷蔵庫のドアが開いていること、炊飯器の保温機能が動作しており蓋が開いていること、または掃除機の吸引動作が行われていること、などを検出してよい。また、例えば、外部装置20がテレビジョン装置である場合、稼働状況取得部210は、映像または音声の出力が行われており、かつ周囲に人が存在すること、などを検出してよい。この際、稼働状況取得部210は、例えば、人感センサにより収集されたセンサ情報に基づいて、周囲に人がいることを検出することができる。このように、本実施形態に係る稼働状況取得部210は、センサ部220により収集された種々のセンサ情報に基づいて外部装置20の稼働状況を取得することも可能である。
さらには、稼働状況取得部210は、他の外部装置20の稼働状況を取得してもよいし、複数の外部装置20の稼働状況を取得してもよい。本実施形態に係る稼働状況取得部210は、センサ部220により収集された他の外部装置20に係るセンサ情報に基づいて、当該外部装置20の稼働状況を推定することが可能である。
(センサ部220)
センサ部220は、外部装置20に係る種々のセンサ情報を収集する機能を有する。センサ部220が収集したセンサ情報は、稼働状況取得部210による稼働状況の取得に用いられてもよい。また、センサ部220は、ユーザや周囲の状況に係るセンサ情報を収集してもよい。センサ部220は、例えば、ユーザの発話やユーザの画像などを取得することが可能である。このために、本実施形態に係るセンサ部220は、種々のセンサ装置を備えてよい。センサ部220は、例えば、マイクロフォン、撮像センサ、熱センサ、振動センサ、照度センサ、人感センサ、加速度センサ、ジャイロセンサ、地磁気センサなどを備える。
(通信部230)
通信部230は、ネットワーク40を介して、情報処理サーバ30との情報通信を行う機能を有する。具体的には、通信部230は、稼働状況取得部210により取得された外部装置20の稼働状況を情報処理サーバ30に送信する。また、通信部230は、センサ部220により収集されたセンサ情報を情報処理サーバ30に送信してもよい。
以上、本実施形態に係る外部装置20の機能構成例について説明した。なお、図4を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る外部装置20の機能構成は係る例に限定されない。本実施形態に係る外部装置20は、上記の構成に加え、外部装置20の特性に応じた種々の構成を備え得る。
<<1.5.情報処理サーバ30の機能構成例>>
次に、本実施形態に係る情報処理サーバ30の機能構成例について説明する。図5は、本実施形態に係る情報処理サーバ30の機能ブロック図の一例である。図5を参照すると、情報処理サーバ30は、音響解析部310、画像解析部320、状況推定部330、自然言語処理部340、ユーザ情報DB350、発話制御部360、音声合成部370、および通信部380を備える。
(音響解析部310)
音響解析部310は、情報処理端末10や外部装置20から送信される音情報に基づいて音の大きさを認識する機能を有する。より具体的には、本実施形態に係る音響解析部310は、周囲の騒音レベルを認識してよい。この際、本実施形態に係る音響解析部310は、例えば、単位時間における音響信号の振幅値の二乗平均平方根(実効値またはRMSとも称する)に基づいて騒音レベルを算出することができる。なお、上記の単位時間は、例えば、情報処理端末10により撮像される1画像のフレーム時間が用いられてもよい。本実施形態に係る音響解析部310により算出される騒音レベルは、後述する状況推定部330によるアテンション獲得難易度の算出に用いられる。
また、音響解析部310は、情報処理端末10や外部装置20から送信される音情報に基づいて音の種別を認識する機能を有する。本実施形態に係る音響解析部310は、特に、ユーザの行動に伴い生じる作業音を認識してよい。上記の作業音には、例えば、ユーザがPCのキーボードを打つ動作に伴い生じる音、ユーザによる掃除機などの家電機器の操作に伴い生じる音などが含まれる。また、上記の作業音には、例えば、ユーザがキッチンで行う洗い物、食材の処理、加工などの動作に伴い生じる音が含まれる。さらには、上記の作業音には、ユーザや他者の発話などが含まれてよい。本実施形態に係る音響解析部310により認識される作業音は、後述する状況推定部330によるアテンション獲得難易度の算出において、ユーザの行動状況の一指標として用いられる。
(画像解析部320)
画像解析部320は、情報処理端末10や外部装置20から送信される画像情報やセンサ情報に基づいてユーザの状況を認識する機能を有する。本実施形態に係る画像解析部320は、特に、ユーザのアテンションに係る状況を認識する。画像解析部320は、例えば、情報処理端末10からユーザまでの距離を認識してよい。この際、画像解析部320は、例えば、画像中におけるユーザの顔領域の大きさや、深度センサなどにより収集された情報に基づいて、上記の距離を認識することが可能である。本実施形態に係る画像解析部320により認識されるユーザの状況は、後述する状況推定部330によるアテンション獲得難易度の算出やアテンション行動の検出に用いられる。
また、画像解析部320は、ユーザの顔の向きや視線を認識してもよい。より具体的には、画像解析部320は、ユーザの顔の向きや視線が情報処理端末10の方向とどれだけ乖離しているかを認識することができる。
さらに、画像解析部320により認識されるユーザの状況には、行動状況も含まれる。本実施形態に係る画像解析部320は、情報処理端末10や外部装置20から送信される画像情報やセンサ情報に基づいてユーザの行動状況を認識してよい。画像解析部320は、例えば、画像情報に基づいて、ユーザが本を読んでいることや勉強などの集中していることを認識してもよい。また、例えば、画像解析部320は、画像情報、加速度情報、角速度情報などに基づいて、ユーザが運動を行っていることを認識してもよい。本実施形態に係る画像解析部320により認識されるユーザの行動状況は、後述する状況推定部330によるアテンション獲得難易度の算出に用いられる。
(状況推定部330)
本実施形態に係る状況推定部330は、ユーザのアテンションの取りづらさの指標であるアテンション獲得難易度を算出する機能を有する。この際、本実施形態に係る状況推定部330は、騒音レベルやユーザの状況に基づいてアテンション獲得難易度を算出することができる。より具体的には、状況推定部330は、音響解析部310により認識された騒音レベルや、画像解析部320により認識されたユーザの顔や視線の向き、ユーザと情報処理端末10との距離などに基づいてアテンション獲得難易度を算出してよい。
また、上述したとおり、上記のユーザの状況には、ユーザの行動状況が含まれる。すなわち、本実施形態に係る状況推定部330は、音響解析部310により認識された作業音や外部装置20から送信される外部装置20の稼働状況、画像解析部320により認識されたユーザの行動状況にさらに基づいて、アテンション獲得難易度を算出してよい。
このように、本実施形態に係る状況推定部330は、騒音レベル以外にも種々の要因を考慮し、総合的にユーザのアテンションの取りづらさを算出することができる。この際、本実施形態に係る状況推定部330は、例えば、下記の数式(1)に示すように、各要因の重み付けを線形結合し、アテンション獲得難易度Aを算出してもよい。
Figure 0006992800000001
ここで、上記の数式(1)におけるKは各要因の重み係数を示し、要因ごとにそれぞれ設定される値で値であってよい。また、上記の数式(1)におけるFは、各要因の検出値を示す。
例えば、要因が騒音レベルである場合、検出値Fには、音響解析部310により認識された音の大きさ(dB)や当該音の大きさに応じたレベル値(例えば、1~10、など)が入力されてもよい。すなわち、状況推定部330は、騒音レベルが高いほどユーザのアテンションが取りづらいと推定する。
また、例えば、要因がユーザの行動状況である場合、検出値Fには、該当する行動の検出有無を示す値(例えば、未検出:0、検出:1)が入力されてよい。上述したように、ユーザの行動状況には、音響解析部310により認識された作業音や画像解析部320により認識されたユーザの行動状況、または外部装置20の稼働状況から推定されるユーザの行動状況が含まれる。すなわち、状況推定部330は、ユーザが他の行動を行っている場合には、ユーザのアテンションが取りづらいと推定する。
また、例えば、要因がユーザまでの距離である場合、検出値Fには、画像解析部320により認識された距離の値(cmなど)や当該距離に応じたレベル値(例えば、1~10、など)が入力されてもよい。すなわち、状況推定部330は、情報処理端末10からユーザが離れているほど、ユーザのアテンションが取りづらいと推定する。
また、例えば、要因がユーザの顔や視線の方向である場合、検出値Fには、顔や視線が情報処理端末に向いているか否かを示す値(例えば、向いている:0、向いていない:1)や、情報処理端末10の方向と顔や視線の向きの方向との乖離度(°)などが入力されてもよい。すなわち、状況推定部330は、ユーザの視界に情報処理端末10が入っていない場合には、ユーザのアテンションが取りづらいと推定する。
以上、本実施形態に係る状況推定部330によるアテンション獲得難易度の算出例について説明した。なお、上記の算出方法はあくまで一例であり、本実施形態に係る状況推定部330は、他の数式や手法を用いてアテンション獲得難易度を算出してもよい。また、本実施形態に係る状況推定部330は、算出したアテンション獲得難易度と実際のユーザの反応とを学習することで、アテンション獲得難易度の算出に利用する要因や重み係数の値を最適化することも可能である。
また、本実施形態に係る状況推定部330は、ユーザのアテンション行動を検出する機能を有する。ここで、上記のアテンション行動とは、情報処理端末10から出力される通知内容に対し、ユーザが反応を示す行動を指す。この際、状況推定部330は、画像解析部320により認識されたユーザの状況に基づいてアテンション行動を検出してよい。状況推定部330は、例えば、ユーザが情報処理端末10に近づいてきたこと、ユーザの顔や視線が情報処理端末10の方向に向いたこと、などに基づいてアテンション行動を検出することができる。
また、状況推定部330は、音響解析部310により認識されたユーザの発話に基づいてアテンション行動を検出することも可能である。状況推定部330は、例えば、ユーザが、「なに?」や「え?」などの発話を行ったことに基づいて、アテンション行動を検出することができる。
(自然言語処理部340)
自然言語処理部340は、通知内容に係るテキスト情報に基づいて、形態素解析や係り受け構造解析、意味概念の付与などの自然言語処理を行う機能を有する。なお、上記の通知内容に係るテキスト情報は、予め情報処理サーバ30に保持されていてもよいし、通信部380やネットワーク40を介して取得されてもよい。
(ユーザ情報DB350)
ユーザ情報DB350は、ユーザに係る種々の情報を記憶するデータベースである。ユーザ情報DB350は、ユーザの名前やIDのほか、例えば、年齢、性別、使用言語、出身地などの属性情報を記憶する。本実施形態に係るユーザ情報DB350に記憶される属性情報は、後述する発話制御部360による通知内容の成形に用いられる。また、本実施形態に係るユーザ情報DB350には、ユーザの画像情報や音声特徴などが記憶されてもよい。この場合、音響解析部310や画像解析部320は、ユーザ情報DB350に記憶される上記の情報に基づいて、ユーザを識別することも可能である。また、ユーザ情報DB350は、ユーザの趣味嗜好やスケジュールなどを記憶してもよい。
(発話制御部360)
発話制御部360は、通知内容に基づくユーザへの情報通知を制御する機能を有する。より具体的には、本実施形態に係る発話制御部360は、自然言語処理部340による自然言語処理の結果に基づいて、通知内容から主題を抽出する機能と、状況推定部330により算出されたアテンション獲得難易度に基づいて、通知内容における主題の出力位置を決定する機能と、を有する。また、本実施形態に係る発話制御部360は、決定した出力位置に則した通知内容を情報処理端末10に音声出力させる。なお、発話制御部360は、情報処理端末10に通知内容を視覚情報として出力させてもよい。
ここで、本実施形態に係る発話制御部360による情報通知制御の基本概念について説明する。図6は、本実施形態に係る発話制御部360による情報通知の基本概念について説明するための図である。図6の上段には、状況推定部330により算出されるアテンション獲得難易度Aの強度がレベル1~3で示されており、中段および下段には、各レベルにおけるユーザのアテンションの推移、および発話制御部360により決定される主題の出力位置がそれぞれ示されている。
例えば、アテンション獲得難易度Aがレベル1である場合、すなわちユーザのアテンションが比較的取り易い状況である場合、ユーザのアテンションは、曲線C1に示すように、情報通知の開始直後が最も高く、その後、時刻tの経過と共に下降していくことが予測される。この場合、本実施形態に係る発話制御部360は、主題SPの出力位置を通知内容の前半、特に冒頭に配置してもよい。
また、例えば、アテンション獲得難易度Aがレベル2である場合、すなわちユーザのアテンションの取りづらさが中程度である場合、ユーザのアテンションは、曲線C2に示すように、時刻tの経過と共に上昇し、その後、下降していくことが予測される。この場合、本実施形態に係る発話制御部360は、主題SPの出力位置を通知内容の中央付近に配置してもよい。
また、例えば、アテンション獲得難易度Aがレベル3である場合、すなわちユーザのアテンションが比較的取りづらい状況である場合、ユーザのアテンションは、曲線C3に示すように、情報通知の開始直後に最も低く、その後、時刻tの経過と共に上昇していくことが予測される。この場合、本実施形態に係る発話制御部360は、主題SPの出力位置を通知内容の後半、特に末尾に配置してもよい。
このように、本実施形態に係る発話制御部360は、アテンション獲得難易度に応じたユーザのアテンションの推移に対し、ユーザのアテンションが最も高くなると予想されるタイミングで主題を出力させることができる。本実施形態に係る発話制御部360による上記の制御によれば、ユーザの状況に応じて通知内容の主題の出力位置を動的に変更することができ、より効果的なタイミングでユーザに通知内容の主題を通知することが可能となる。
(音声合成部370)
音声合成部370は、発話制御部360により成形された通知内容に基づく人工音声を生成する機能を有する。音声合成部370が生成する人口音声は、通信部380およびネットワーク40を介して情報処理端末10に送信され、出力部130により音声出力される。
(通信部380)
通信部380は、ネットワーク40を介して、情報処理端末10および外部装置20との情報通信を行う機能を有する。具体的には、通信部380は、情報処理端末10から、音情報や画像情報、センサ情報を受信する。また、通信部380は、外部装置20から、外部装置20の稼働状況やセンサ情報を受信する。また、通信部380は、発話制御部360により主題の出力位置が指定された通知内容に係る人工音声やテキスト情報を情報処理端末10に送信する。
以上、本実施形態に係る情報処理サーバ30の機能構成例について詳細に説明した。なお、図5を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ30の機能構成は係る例に限定されない。例えば、情報処理サーバ30が有する各機能は、複数の装置により分散して実現することも可能である。また、上述したとおり、情報処理サーバ30は、情報処理端末10が有する機能をさらに備えてもよい。この場合、情報処理サーバ30は、決定した主題の出力位置に則した通知内容の音声出力などを行うことができる。本実施形態に係る情報処理サーバ30の機能構成は、仕様や運用に応じて適宜変形され得る。
<<1.6.主題の出力位置決定の詳細>>
次に、本実施形態に係る主題の出力位置決定について詳細に述べる。図7は、本実施形態に係る発話制御部360による主題の出力位置の決定の流れを示すフローチャートである。
図7を参照すると、発話制御部360は、まず、自然言語処理部340による自然言語処理の結果に基づいて、通知内容から主題を抽出する(S1101)。
図8は、本実施形態に係る発話制御部360による主題の抽出について説明するための図である。図8の上段には、通知内容OSが示されており、また、中段には、自然言語処理部340により区切られた各文節が示されている。また、各文節には、自然言語処理部340により句の種類や意味概念が付与されていてよい。
この際、発話制御部360は、各文節の中から、「依頼」、「提案」、「願望」、または「意見」などの意味概念を有する文言を有する文節を検出する。例えば、発話制御部360は、図8に示すように、“I recommend”を検出してよい。次に、発話制御部360は、検出した“I recommend”の対象となる格を有する文節、“bringing an umbrella.”を検出し、主題“I recommend
bringing an umbrella.”を抽出することができる。
一方で、発話制御部360は、固有名詞や数値が含まれる文節と、当該文節の係り先となる述語節を主題として抽出してもよい。また、メールやSNS(Social Networking Service)などで受信したメッセージを通知内容の一部とする場合には、発話制御部360は、当該メッセージの内容を主題としてもよい。なお、この際、発話制御部360は、メッセージの送信日時や送信者のメールアドレス、URL、メッセージの属性情報など、音声による理解が困難あるいは冗長である情報については通知内容から削除することも可能である。
また、発話制御部360が情報処理端末10による視覚情報の出力を制御する場合においては、発話制御部360は、音声発話に係る主題として、モニタなどに表示される視覚情報の確認を依頼する文章を設定し、通知内容の詳細を情報処理端末10の出力部130に出力させてもよい。
再び、図7を参照し、発話制御部360による主題の出力位置の決定の流れについて説明を続ける。ステップS1101における主題の抽出が完了すると、続いて、発話制御部360は、抽出した主題をユーザの属性情報に基づいて成形する(S1102)。
例えば、主題が、“I recommend bringing an umbrella.”であり、対象ユーザが子供である場合、発話制御部360は、より直接的な表現を用いて、主題を、“You should take an umbrella.”としてもよい。
また、例えば、通知内容に用いられる言語が日本語のように、語順の入れ替えが比較的容易である場合には、発話制御部360は、子供のユーザに対しては、動詞句を主題の先頭に配置してもよい。一方、ユーザが大人である場合には、発話制御部360は、対象の名詞句を主題の先頭に配置することもできる。
このように、本実施形態に係る発話制御部360は、ユーザDB350に記憶されるユーザの属性情報や用いられる言語の特性に応じて、ユーザにとってより把握の容易い主題を成形することができる。
なお、発話制御部360は、主題の成形に関し、ユーザが日常において使用している様式を採用してもよい。発話制御部360は、例えば、ユーザの日常における発話を収集することで、ユーザが好んで用いる語順や単語を学習することが可能である。また、発話制御部360は、ユーザが日常において聞き馴染んでいる様式に主題を成形してもよい。例えば、ユーザが子供である場合、発話制御部360は、母親などが当該ユーザに対して日常的に使用する語順や単語を採用して主題を成形することができる。
ステップS1102における主題の成形が完了すると、続いて、発話制御部360は、状況推定部330により算出されたアテンション獲得難易度に基づいて主題の出力位置を決定する。
この際、発話制御部360は、まず、アテンション獲得難易度が第1の閾値以下であるか否かを判定してよい(S1103)。すなわち、発話制御部360は、アテンション獲得難易度が、比較的アテンションの取り易いレベル1に相当するか否かを判定する。
ここで、アテンション獲得難易度が第1の閾値以下である場合(S1103:Yes)、発話制御部360は、ステップS1102において成形した主題の出力位置を、図9に示すように、通知内容の前半に設定する(S1104)。図9は、本実施形態に係るアテンション獲得難易度に基づいて決定される主題の出力位置の例を示す図である。なお、図9の最上段には、主題SPとその他の文章OPを含む元の通知内容OSが示されている。図9を参照すると、アテンション獲得難易度Aがレベル1である場合、発話制御部360が元の通知内容OSから主題の出力位置を冒頭に変更した新たな通知内容CS-1を生成していることがわかる。なお、この際、発話制御部360は、通知内容CS-1をテキストファイルとして保存してもよい。
一方、アテンション獲得難易度が第1の閾値を上回る場合(S1103:No)、すなわち、アテンション獲得難易度がレベル2以上である場合、発話制御部360は、主題の出力位置を通知内容の後半に設定する(S1105)。より具体的には、発話制御部360は、図9に示すように、主題SPの出力位置を末尾に位置した新たな通知内容CS-2を生成する。
次に、発話制御部360は、ステップS1105で生成した通知内容CS-2における冒頭から主題SPまでの長さを計測し、当該長さに基づいて、レベル2およびレベル3の境界となる第2の閾値を決定する(S1106)。この際、発話制御部360は、その他の文章OPの文字数をカウントすることで上記の長さを計測してもよい。また、発話制御部360は、上記の長さに比例して値が大きくなるように第2の閾値を決定する。その他の文章OPが長いほど、後述する付加情報を付加せずとも、その他の文章OPの出力中にユーザのアテンションが取れる可能性が高くなる。一方で、その他の文章OPが短い場合には、その他の文章OPの出力中にユーザのアテンションを得ることが困難となるため、レベル3へ分岐しやすくなるよう、発話制御部360は、第2の閾値の値を低く設定してよい。
次に、発話制御部360は、アテンション獲得難易度がステップS1106において決定した第2の閾値以下であるか否かを判定する(S1107)。すなわち、発話制御部360は、アテンション獲得難易度がレベル2に相当するか否かを判定する。
ここで、アテンション獲得難易度が第2の閾値を上回る場合(S1107:No)、すなわち、アテンション獲得難易度がレベル3である場合、発話制御部360は、図9に示すように、通知内容CS-2の冒頭に付加情報APを付加した通知内容CS-3を生成する(S1108)。
この際、発話制御部360は、アテンション獲得難易度Aの高さに応じて付加情報APの長さを決定してよい。発話制御部360は、例えば、アテンション獲得難易度Aから第2の閾値を引いた値に比例した長さの付加情報APを付加してもよい。
また、発話制御部360は、元の通知内容OSに関連する関連話題を付加情報APとして付加してよい。この際、発話制御部360は、ユーザDB350に記憶されるユーザの名前や、ユーザのスケジュール、趣味嗜好などを取得し、これらの情報を用いた関連話題を生成することで、いわゆるカクテルパーティー効果を誘発し、ユーザのアテンションを得るきっかけとしてもよい。また、発話制御部360は、音声合成部370に、元の通知内容OPに由来する文章(主題SPおよびその他の文章OP)と関連話題とを異なる人工音声で合成させることで、ユーザに出力が関連話題であることを明示的に示してもよい。
なお、本実施形態に係る付加情報APは、上記のような関連話題に限定されず、種々の情報であり得る。例えば、付加情報APは、音楽やラジオプログラムなどであってもよい。発話制御部360は、ユーザの嗜好に応じた音楽やラジオプログラムを冒頭に再生させることで、ユーザのアテンションが取得できる可能性を向上させることができる。
以上、本実施形態に係る発話制御部360による主題の出力位置の決定の流れについて説明した。発話制御部360は、上記のようにアテンション獲得難易度のレベルに応じて主題の出力位置を決定し、当該出力位置に則した通知内容を情報処理端末10に出力させることができる。本実施形態に係る発話制御部360が有する上記の機能によれば、ユーザのアテンションが最も高まると推定されるタイミングで通知内容の主題を提示することが可能となり、ユーザにより効果的な情報通知を行うことが可能となる。
なお、図7および図9を用いて説明した主題の出力位置はあくまで一例であり、本実施形態に係る発話制御部360により決定される主題の出力位置は係る例に限定されない。例えば、元の通知内容OPが十分に長い場合にあっては、発話制御部360は、主題の成形後に、アテンション獲得難易度に係る第2の閾値を先に決定してもよい。この場合、発話制御部360は、レベル1~3の判定を一度に行うことが可能である。また、この際、アテンション獲得難易度がレベル2に相当する場合には、発話制御部360は、主題の出力位置を通知内容の中央付近に配置してもよい。本実施形態に係る発話制御部360による主題の出力位置の決定機能は、元の通知内容OPや用いられる言語に応じて柔軟に変形され得る。
続いて、本実施形態に係る発話制御部360による通知内容の出力中における主題の出力位置の変更機能について説明する。本実施形態に係る発話制御部360は、通知内容の出力中にユーザのアテンション行動を検出した場合、主題の出力位置を変更する制御を行ってもよい。
より具体的には、本実施形態に係る発話制御部360は、通知内容の冒頭に付加した付加情報の出力中にアテンション行動を検出したことに基づいて、主題の出力位置を変更することができる。
図10は、本実施形態に係る発話制御部360による通知内容の出力制御の流れを示すフローチャートである。
図10を参照すると、発話制御部360は、まず、アテンション獲得難易度がどのレベルに相当するかを判定する(S1201)。
ここで、アテンション獲得難易度がレベル1である場合(S1201:レベル1)、発話制御部360は、レベル1において設定した主題の出力位置(通知内容CS-1)で、情報処理端末10による通知内容の出力開始を制御し(S1202)、そのまま通知内容を最後まで出力させる。
一方、アテンション獲得難易度がレベル2である場合(S1201:レベル2)、発話制御部360は、レベル2において設定した主題の出力位置(通知内容CS-2)で、情報処理端末10による通知内容の出力開始を制御し(S1203)、そのまま通知内容を最後まで出力させる。
他方、アテンション獲得難易度がレベル3である場合(S1201:レベル3)、発話制御部360は、レベル3において設定した主題の出力位置(通知内容CS-3)で、情報処理端末10による通知内容の出力開始を制御する(S1204)。
レベル3に対応した通知内容CS-3の出力開始を制御した場合、続いて、発話制御部360は、出力中にアテンション行動の検出判定を継続して実行する(S1205)。
ここで、アテンション行動を検出した場合(S1205:Yes)、続いて、発話制御部360は、付加情報の出力中であるか否かを判定する(S1206)。
ここで、付加情報の出力中である場合(S1206:Yes)、すなわち、付加情報の出力中にアテンション行動を検出した場合、発話制御部360は、情報処理端末10による付加情報の出力を終了させ(S1207)、レベル1で設定した主題の出力位置による通知内容の出力を開始させる。この際、発話制御部360は、例えば、通知内容に係る文字列情報を動的に変更してもよい。また、発話制御部360は、予めレベル1およびレベル3に係る2つの通知内容に対応するテキストを生成しておき、アテンション行動を検出したことに基づいて、レベル1の通知内容に対応するテキストに切り替えを行うことも可能である。
図11は、本実施形態に係るアテンション獲得難易度がレベル3である場合における通知内容の出力制御の具体例を示す図である。図11の上段には、アテンション獲得難易度がレベル3である場合に設定される通知内容CS-3が示されている。この際、通知内容CS-3の冒頭には、上述したとおり、付加情報APが付加され、また、通知内容CS-3の末尾には主題SPが配置される。
ここで、付加情報APの出力中にユーザのアテンション行動ABを検出した場合、発話制御部360は、図11の下段に示すように、付加情報APの出力を途中で終了させ、主題SPの出力位置を付加情報APの直後に変更する。この際、発話制御部360は、例えば、出力中の文章が最後まで出力されたタイミングで、付加情報APの出力を終了させてもよい。また、発話制御部360は、付加情報APと主題SPと繋ぐ発話を行わせることで、切り替えの違和感を軽減させることも可能である。また、付加情報APが音楽やラジオプログラムである場合、発話制御部360は、音量を徐々に下げさせることで、出力の切り替えがより自然となるよう制御を行ってもよい。
一方、その他の文章OPの出力中にユーザのアテンション行動ABを検出した場合、発話制御部360は、図11の中段に示すように、その他の文章OPおよび主題SPをそのまま出力させ発話制御に係る処理を終了してよい。
以上、本実施形態に係る発話制御部360による通知内容の出力制御について説明した。上述したように、本実施形態に係る発話制御部360によれば、ユーザの状態に応じて通知内容における主題の出力位置を柔軟に制御することができ、より効果的な情報通知を行うことが可能となる。
なお、図10および図11を用いた上記の説明では、発話制御部360がユーザのアテンション行動を検出した場合に主題の出力位置を変更する場合について述べたが、本実施形態に主題の出力位置の変更制御は係る例に限定されない。本実施形態に係る発話制御部360は、通知内容の出力中にユーザのアテンション獲得難易度の変化を検出したことに基づいて、主題の出力位置を変更することも可能である。
発話制御部360は、例えば、図11に示す通知内容CS-3の付加情報を出力中に、ユーザのアテンション獲得難易度がレベル1またはレベル2に変化したことを検出し、図中下段に示すような出力制御を行うことも可能である。また、発話制御部360は、例えば、アテンション獲得難易度がレベル2である場合において、その他の文章OPの出力中にアテンション獲得難易度がレベル3に変化したことに基づいて、主題の出力位置の前に付加情報APを挿入してもよい。
さらには、発話制御部360は、アテンション獲得難易度の変化に基づいて、通知内容の再出力を制御することも可能である。例えば、アテンション獲得難易度がレベル2またはレベル3である場合において、ユーザのアテンション行動が検出できなかった際、発話制御部360は、ユーザのアテンション獲得難易度の低下したタイミングで、通知内容を再出力させてもよい。
また、通知内容の再出力は、ユーザの発話などによる要求に基づいて行われてもよい。この場合、主題の出力時にユーザのアテンションが取れていなかったことが予想されるため、発話制御部360は、上記の要求回数を記憶し、次回の通知内容の出力においては、当該要求回数に応じて主題の出力位置をより遅らせるようにアテンション獲得難易度を高めに算出してもよい。
一方、付加情報APの出力時にアテンション行動を検出した場合、発話制御部360は、ユーザごとに上記の検出回数を記憶し、次回の通知内容の出力においては、当該当該検出回数に応じて主題の出力位置をより早めるようにアテンション獲得難易度を低めに算出してもよい。
<<1.7.情報処理サーバ30の動作の流れ>>
次に、本実施形態に係る情報処理サーバ30の全体の動作の流れについて説明する。図12は、本実施形態に係る情報処理サーバ30の動作の流れを示すフローチャートである。
図12を参照すると、情報処理サーバ30の通信部380は、まず、情報処理端末10や外部装置20からセンサ情報や稼働状況を受信する(S1301)。ここで、上記のセンサ情報には、音情報や画像情報が含まれる。
次に、音響解析部310は、ステップS1301において受信された音情報に基づく音響解析を実施する(S1302)。この際、音響解析部310は、騒音レベルや作業音に係る解析を行ってよい。
また、画像解析部320は、ステップS1302において受信された画像情報に基づく画像解析を実施する(S1302)。この際、画像解析部320は、ユーザの状況に係る解析を行ってよい。
次に、状況推定部330は、ステップS1301において受信した外部装置20の稼働状況や、ステップS1302やS1303において解析された情報に基づいて、ユーザのアテンション獲得難易度を算出する(S1304)。
次に、発話制御部360は、通知内容から主題の抽出を行う(S1305)。
続いて、発話制御部360は、ステップS1304において算出されたアテンション獲得難易度に基づいて、ステップS1305において抽出した主題の出力位置を設定する(S1306)。
続いて、発話制御部360は、ステップS1306において設定した主題の出力位置に基づく発話制御を行う(S1307)。
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理端末10および情報処理サーバ30に共通するハードウェア構成例について説明する。図13は、本開示の一実施形態に係る情報処理端末10および情報処理サーバ30のハードウェア構成例を示すブロック図である。図13を参照すると、情報処理端末10および情報処理サーバ30は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理サーバ30は、ユーザのアテンションの取りづらさの指標であるアテンション獲得難易度に基づいて通知内容における主題の出力位置を決定し、当該出力位置に則した情報通知を情報処理端末に行わせることを特徴の一つとする。係る構成によれば、ユーザに通知内容をより効果的に把握させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理サーバ30が、決定した主題の出力位置に基づく通知内容の音声出力を制御する場合について主に説明したが、情報処理サーバ30は、主題の出力位置に基づく視覚情報の出力を制御してもよい。例えば、情報処理サーバ30は、情報処理端末10が備える表示装置において、通知内容に係るテキストスクロールなどを制御することができる。この際、情報処理サーバ30は、ユーザのアテンション獲得難易度に基づいて、上記のテキストスクロールにおける主題の出力位置を制御してよい。
また、本明細書の情報処理サーバ30の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ30の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
通知内容に基づくユーザへの情報通知を制御する制御部、
を備え、
前記制御部は、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定する、
情報処理装置。
(2)
前記制御部は、前記出力位置に則した前記通知内容の音声出力を制御する、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記アテンション獲得難易度が第1の閾値以下であることに基づいて、前記主題の前記出力位置を前記通知内容の前半に設定する、
前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、前記アテンション獲得難易度が第1の閾値を上回ることに基づいて、前記主題の前記出力位置を前記通知内容の後半に設定する、
前記(1)~(3)のいずれかに記載の情報処理装置。
(5)
前記制御部は、前記アテンション獲得難易度が第2の閾値を上回ることに基づいて、前記通知内容の冒頭に付加情報を付加し、前記付加情報を含む前記通知内容を出力させる、前記(1)~(4)のいずれかに記載の情報処理装置。
(6)
前記制御部は、前記通知内容の出力中に前記ユーザのアテンション行動が検出されたことに基づいて、前記主題の前記出力位置を変更する、
前記(1)~(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、前記通知内容の冒頭に含まれる付加情報の出力中に前記アテンション行動が検出されたことに基づいて、前記主題の前記出力位置を変更する、
前記(6)に記載の情報処理装置。
(8)
前記制御部は、前記付加情報の出力中に前記アテンション行動が検出されたことに基づいて、前記付加情報の出力を終了させ、前記主題の前記出力位置を前記付加情報の直後に変更する、
前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記通知内容の出力中における前記アテンション獲得難易度の変化に基づいて、前記主題の前記出力位置を変更する、
前記(1)~(8)のいずれかに記載の情報処理装置。
(10)
前記付加情報は、前記通知内容に関連する関連話題である、
前記(5)、7、または8のいずれかに記載の情報処理装置。
(11)
前記制御部は、自然言語処理の結果に基づいて前記通知内容から前記主題を抽出する、前記(1)~(10)のいずれかに記載の情報処理装置。
(12)
前記アテンション獲得難易度は、騒音レベルまたは前記ユーザの状況のうち少なくともいずれかに基づいて算出される、
前記(1)~(11)のいずれかに記載の情報処理装置。
(13)
前記ユーザの状況は、前記ユーザの行動状況を含み、
前記アテンション獲得難易度は、少なくとも前記ユーザの行動状況に基づいて算出される、
前記(12)に記載の情報処理装置。
(14)
前記ユーザの行動状況は、少なくとも前記ユーザの行動に伴い生じる作業音に基づいて推定される、
前記(13)に記載の情報処理装置。
(15)
前記ユーザの行動状況は、少なくとも外部装置の稼働状況に基づいて推定される、
前記(13)または(14)に記載の情報処理装置。
(16)
前記ユーザの行動状況は、少なくとも前記ユーザの画像に基づいて推定される、
前記(13)~(15)のいずれかに記載の情報処理装置。
(17)
前記アテンション獲得難易度を算出する状況推定部、
をさらに備える、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
前記状況推定部は、前記ユーザのアテンション行動を検出する、
前記(17)に記載の情報処理装置。
(19)
前記制御部による制御に基づいて前記通知内容を出力する出力部、
をさらに備える、
前記(1)~(18)のいずれかに記載の情報処理装置。
(20)
プロセッサが、通知内容に基づくユーザへの情報通知を制御すること、
を含み、
前記制御することは、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定すること、
をさらに含む、
情報処理方法。
10 情報処理端末
110 音声収集部
120 センサ部
130 出力部
140 通信部
20 外部装置
210 稼働状況取得部
220 センサ部
230 通信部
30 情報処理サーバ
310 音響解析部
320 画像解析部
330 状況推定部
340 自然言語処理部
350 ユーザ情報DB
360 発話制御部
370 音声合成部
380 通信部

Claims (19)

  1. 通知内容に基づくユーザへの情報通知を制御する制御部、
    を備え、
    前記制御部は、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定するとともに前記通知内容の出力中に前記ユーザのアテンション行動が検出されたことに基づいて、前記主題の前記出力位置を変更する、
    情報処理装置。
  2. 前記制御部は、前記出力位置に則した前記通知内容の音声出力を制御する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記アテンション獲得難易度が第1の閾値以下であることに基づいて、前記主題の前記出力位置を前記通知内容の前半に設定する、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、前記アテンション獲得難易度が第1の閾値を上回ることに基づいて、前記主題の前記出力位置を前記通知内容の後半に設定する、
    請求項1に記載の情報処理装置。
  5. 前記制御部は、前記アテンション獲得難易度が第2の閾値を上回ることに基づいて、前記通知内容の冒頭に付加情報を付加し、前記付加情報を含む前記通知内容を出力させる、
    請求項1に記載の情報処理装置。
  6. 前記制御部は、前記通知内容の冒頭に含まれる付加情報の出力中に前記アテンション行動が検出されたことに基づいて、前記主題の前記出力位置を変更する、
    請求項に記載の情報処理装置。
  7. 前記制御部は、前記付加情報の出力中に前記アテンション行動が検出されたことに基づいて、前記付加情報の出力を終了させ、前記主題の前記出力位置を前記付加情報の直後に変更する、
    請求項に記載の情報処理装置。
  8. 前記制御部は、前記通知内容の出力中における前記アテンション獲得難易度の変化に基づいて、前記主題の前記出力位置を変更する、
    請求項1に記載の情報処理装置。
  9. 前記付加情報は、前記通知内容に関連する関連話題である、
    請求項5に記載の情報処理装置。
  10. 前記制御部は、自然言語処理の結果に基づいて前記通知内容から前記主題を抽出する、
    請求項1に記載の情報処理装置。
  11. 前記アテンション獲得難易度は、騒音レベルまたは前記ユーザの状況のうち少なくともいずれかに基づいて算出される、
    請求項1に記載の情報処理装置。
  12. 前記ユーザの状況は、前記ユーザの行動状況を含み、
    前記アテンション獲得難易度は、少なくとも前記ユーザの行動状況に基づいて算出される、
    請求項11に記載の情報処理装置。
  13. 前記ユーザの行動状況は、少なくとも前記ユーザの行動に伴い生じる作業音に基づいて推定される、
    請求項12に記載の情報処理装置。
  14. 前記ユーザの行動状況は、少なくとも外部装置の稼働状況に基づいて推定される、
    請求項12に記載の情報処理装置。
  15. 前記ユーザの行動状況は、少なくとも前記ユーザの画像に基づいて推定される、
    請求項12に記載の情報処理装置。
  16. 前記アテンション獲得難易度を算出する状況推定部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  17. 前記状況推定部は、前記ユーザのアテンション行動を検出する、
    請求項16に記載の情報処理装置。
  18. 前記制御部による制御に基づいて前記通知内容を出力する出力部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  19. プロセッサが、通知内容に基づくユーザへの情報通知を制御すること、
    を含み、
    前記制御することは、算出された前記ユーザに係るアテンション獲得難易度に基づいて、前記通知内容における主題の出力位置を決定するとともに、前記通知内容の出力中に前記ユーザのアテンション行動が検出されたことに基づいて、前記主題の前記出力位置を変更すること、
    をさらに含む、
    情報処理方法。
JP2019506947A 2017-03-24 2017-12-25 情報処理装置および情報処理方法 Active JP6992800B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017059448 2017-03-24
JP2017059448 2017-03-24
PCT/JP2017/046493 WO2018173404A1 (ja) 2017-03-24 2017-12-25 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2018173404A1 JPWO2018173404A1 (ja) 2020-01-23
JP6992800B2 true JP6992800B2 (ja) 2022-01-13

Family

ID=63584264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506947A Active JP6992800B2 (ja) 2017-03-24 2017-12-25 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US11183167B2 (ja)
EP (1) EP3599549A4 (ja)
JP (1) JP6992800B2 (ja)
WO (1) WO2018173404A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116002A1 (ja) * 2018-12-04 2020-06-11 ソニー株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057887A (ja) 2011-09-09 2013-03-28 Hitachi Ltd 音声出力装置、音声出力方法および音声出力プログラム
JP2015132878A (ja) 2014-01-09 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300759A1 (en) * 2012-05-08 2013-11-14 Nokia Corporation Method and apparatus for modifying the presentation of information based on the attentiveness level of a user
US9196248B2 (en) * 2013-02-13 2015-11-24 Bayerische Motoren Werke Aktiengesellschaft Voice-interfaced in-vehicle assistance
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
US9575971B2 (en) * 2013-06-28 2017-02-21 Harman International Industries, Incorporated Intelligent multimedia system
EP3067782B1 (en) 2013-11-08 2021-05-05 Sony Corporation Information processing apparatus, control method, and program
US9308920B2 (en) * 2014-02-05 2016-04-12 GM Global Technology Operations LLC Systems and methods of automating driver actions in a vehicle
US9639231B2 (en) 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US20150302718A1 (en) * 2014-04-22 2015-10-22 GM Global Technology Operations LLC Systems and methods for interpreting driver physiological data based on vehicle events
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
JP6355974B2 (ja) 2014-05-30 2018-07-11 シャープ株式会社 発話装置、発話制御装置、発話制御システム、発話装置の制御方法、発話制御装置の制御方法、および制御プログラム
EP3264258A4 (en) 2015-02-27 2018-08-15 Sony Corporation Information processing device, information processing method, and program
US20160288708A1 (en) * 2015-03-30 2016-10-06 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Intelligent caring user interface
KR20170100175A (ko) * 2016-02-25 2017-09-04 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US10170111B2 (en) * 2017-01-19 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057887A (ja) 2011-09-09 2013-03-28 Hitachi Ltd 音声出力装置、音声出力方法および音声出力プログラム
JP2015132878A (ja) 2014-01-09 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US11183167B2 (en) 2021-11-23
WO2018173404A1 (ja) 2018-09-27
EP3599549A1 (en) 2020-01-29
EP3599549A4 (en) 2020-03-25
US20200193963A1 (en) 2020-06-18
JPWO2018173404A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6738445B2 (ja) デジタルアシスタントサービスの遠距離拡張
US11810562B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
EP3192072B1 (en) Dynamic thresholds for always listening speech trigger
JP6229287B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019207720A (ja) 情報処理装置、情報処理方法及びプログラム
KR20200039030A (ko) 디지털 어시스턴트 서비스의 원거리 확장
JP2014203207A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JPWO2016103988A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2017168936A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014203208A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20200143813A1 (en) Information processing device, information processing method, and computer program
JP6772839B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20210225363A1 (en) Information processing device and information processing method
JP6992800B2 (ja) 情報処理装置および情報処理方法
CN112262432A (zh) 语音处理装置、语音处理方法以及记录介质
JP7230803B2 (ja) 情報処理装置および情報処理方法
JPWO2019073668A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R151 Written notification of patent or utility model registration

Ref document number: 6992800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151