JP7420075B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP7420075B2
JP7420075B2 JP2020538216A JP2020538216A JP7420075B2 JP 7420075 B2 JP7420075 B2 JP 7420075B2 JP 2020538216 A JP2020538216 A JP 2020538216A JP 2020538216 A JP2020538216 A JP 2020538216A JP 7420075 B2 JP7420075 B2 JP 7420075B2
Authority
JP
Japan
Prior art keywords
information
message
information processing
change
macro data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538216A
Other languages
English (en)
Other versions
JPWO2020039754A1 (ja
Inventor
祐平 滝
広 岩瀬
邦仁 澤井
昌毅 高瀬
朗 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020039754A1 publication Critical patent/JPWO2020039754A1/ja
Application granted granted Critical
Publication of JP7420075B2 publication Critical patent/JP7420075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本開示は、情報処理装置及び情報処理方法に関する。
近年、発話による操作が可能な機器が広く普及している。また、上記のような機器を利用するユーザの利便性を高める技術も多く提案されている。例えば、特許文献1には、ユーザが所望する任意の操作を音声によって実行させることが可能な音声マクロ処理装置が開示されている。
特開2002-259113号公報
しかしながら、上記の従来技術では、マクロの操作シーケンスがユーザの期待通りに登録されていない場合、当該マクロが利用されない可能性がある。このため、従来の技術では、登録済みのマクロを有効利用することが望まれている。
そこで、本開示では、ユーザ発話によって登録済みのマクロを有効利用することができる情報処理装置及び情報処理方法を提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出する抽出部と、前記抽出部が抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定する推定部と、前記推定部が推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する変更部と、を備える。
また、本開示に係る一形態の情報処理方法は、コンピュータが、実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出し、抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定し、推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する。
本開示の実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理の手順の一例を示すシーケンス図である。 実施形態に係るマクロデータの一例を示す図である。 実施形態に係る情報処理システムの情報処理の一例を示す図である。 実施形態に係る情報処理システムの情報処理の他の一例を示す図である。 実施形態の変形例(1)に係る情報処理システムの動作の一例を示す図である。 実施形態の変形例(2)に係る情報処理システムの情報処理の一例を示す図である。 実施形態の変形例(2)に係るマクロデータの変更例を示す図である。 実施形態の変形例(3)に係る情報処理システムの情報処理の一例を示す図である。 情報処理サーバの機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
(実施形態)
[実施形態に係る情報処理装置の概要]
図1は、本開示の実施形態に係る情報処理の概要を示す図である。本開示の実施形態に係る情報処理は、図1に示す情報処理システム1によって実行される。図1に示すように、情報処理システム1は、スマートスピーカー10と、情報処理サーバ100とを含む。情報処理システム1は、本開示に係る情報処理装置の一例である。スマートスピーカー10と情報処理サーバ100とは、例えば、ネットワークを介して通信したり、ネットワークを介さずに直に通信したりすることが可能な構成となっている。
スマートスピーカー10は、いわゆるIoT(Internet of Things)機器であり、情報処理サーバ100と連携して、種々の情報処理を行う。スマートスピーカー10は、ユーザ端末の一例である。スマートスピーカー10は、例えばエージェント(Agent)機器と称される場合がある。また、スマートスピーカー10が実行する音声認識及び音声による応答処理等は、エージェント機能と称される場合がある。エージェント機能を有するエージェント機器は、スマートスピーカー10に限らず、スマートフォン、タブレット端末、ゲーム機器等であってもよい。この場合、スマートフォンやタブレット端末は、スマートスピーカー10と同様の機能を有するプログラム(アプリケーション)を実行することによって、上記のエージェント機能を発揮する。
実施形態において、スマートスピーカー10は、集音した音声に対する情報処理を実行する。例えば、スマートスピーカー10は、ユーザの発話を認識し、当該発話に対する情報処理を実行する。なお、図1の例では、スマートスピーカー10は、スマートスピーカー10を利用するユーザの一例であるユーザUが居住する自宅に設置されているものとする。
なお、スマートスピーカー10は、例えば、自宅内で生じた音を集音するのみならず、その他の各種情報を取得するための各種センサを有していてもよい。例えば、スマートスピーカー10は、マイクロフォンの他に、空間上を取得するためのカメラや、照度を検知する照度センサや、傾きを検知するジャイロセンサや、物体を検知する赤外線センサ等を有していてもよい。
スマートスピーカー10は、ユーザUの発話を認識して、ユーザ発話に基づく情報処理を行う。例えば、スマートスピーカー10は、ユーザ発話に応じて外部機器の制御を実行できる。外部機器は、スマートスピーカー10と通信可能な電子機器である。外部機器は、例えば、ゲーム機器、テレビジョン、エアコンディショナー、照明装置、音響機器等を含む。スマートスピーカー10は、外部機器に対して制御信号を無線通信によって出力して、外部機器の制御を実行可能な構成となっている。
図1に示す情報処理サーバ100は、いわゆるクラウドサーバ(Cloud Server)であり、スマートスピーカー10と連携して情報処理を実行するサーバ装置である。情報処理サーバ100は、スマートスピーカー10が集音したユーザ発話を取得し、取得したユーザ発話を解析し、解析したユーザ発話に応じた情報処理の制御を実行する。そして、情報処理サーバ100は、情報処理の実行をスマートスピーカー10に要求できる。例えば、情報処理サーバ100は、ユーザ発話に対応したマクロを実行したり、当該マクロの実行をスマートスピーカー10に要求したりする。なお、マクロは、例えば、1又は複数の機能実行指示が登録され、マクロが呼び出されることで、当該機能を実行可能とする技術である。マクロは、例えば、アプリケーション、電子機器等に対する任意の機能、操作等を音声によって行わせることが可能な音声マクロを含む。
情報処理サーバ100は、ユーザUに係るマクロを示すマクロデータMを管理している。マクロデータMは、実行する機能を示すデータを含む。マクロデータMは、実行する複数の機能と実行する順序とを示す構成となっている。例えば、マクロデータMは、マクロの名称とインテント(意図)情報とエンティティ(実体)情報とを紐付けている。インテント情報は、例えば、機能を示す情報を含む。インテント情報は、第1情報の一例である。エンティティ情報は、紐付けられたインテント情報の実施で指定可能な情報(例えば、パラメータ等)、インテント情報の有効化するか無効化するかを示す情報等を含む。エンティティ情報は、第2情報の一例である。マクロデータMは、1つのマクロの名称と複数のインテント情報とを紐付けてもよい。マクロデータMは、1つの意図情報と複数のエンティティ情報とを紐付けてもよい。
図1に示す例では、情報処理サーバ100は、マクロ名が“GAME Friend Invitation”というマクロデータMを管理している。マクロ名は、マクロデータMの実行の契機となっている。マクロデータMは、GAMEに招待する友人のパーティを生成する機能を実行するマクロを示すデータである。マクロデータMは、インテント情報M11、インテント情報M12及びインテント情報M13を示している。インテント情報M11は、友人を選択する機能(FriendSelect)を示している。インテント情報M12は、メッセージを生成する機能(CreatMessage)を示している。インテント情報M13は、パーティを生成する機能(CreatParty)を示している。マクロデータMは、インテント情報M11、インテント情報M12、インテント情報M13の順序で機能を実行することを示している。
マクロデータMは、インテント情報M11とエンティティ情報M21とを紐付けている。エンティティ情報M21は、友人の名前を示す情報(FriendName)を示している。例えば、エンティティ情報M21は、友人の名前として、“Jhon”、“Carter”、“Ben”、“Joe”が設定されている。そして、マクロデータMは、インテント情報M12とエンティティ情報M22とを紐付けている。エンティティ情報M22は、メッセージ本体を示す情報(MessageBody)を示している。例えば、エンティティ情報M22は、メッセージ本体として、“Good Morning”が設定されている。そして、マクロデータMは、インテント情報M13とエンティティ情報M23とを紐付けている。エンティティ情報M23は、パーティの名前を示す情報(PartyName)を示している。例えば、エンティティ情報M23は、パーティの名前として、“GAME Party”が設定されている。
例えば、マクロデータMが示すマクロの実行がユーザUによって要求された場合、情報処理サーバ100は、スマートスピーカー10にマクロデータMを実行させる。この場合、スマートスピーカー10は、まず、インテント情報M11の友人を選択する機能(FriendSelect)を実行する。その結果、情報処理サーバ100は、エンティティ情報M21の“Jhon”、“Carter”、“Ben”、“Joe”を友人として選択する。次に、スマートスピーカー10は、インテント情報M12のメッセージを生成する機能(CreatMessage)を実行する。その結果、スマートスピーカー10は、エンティティ情報M22の“Good Morning”をメッセージ本体とするメッセージを生成する。次に、スマートスピーカー10は、インテント情報M13のパーティを生成する機能(CreatParty)を実行する。その結果、スマートスピーカー10は、エンティティ情報M23の“GAME Party”の名前のパーティを生成して“GAME”を開始させる。
次に、図1に示す例では、ユーザUは、“GAME Friend Invitation”のマクロデータMを変更しながら実行するために、ユーザ発話UO1を行っている。ユーザ発話UO1は、例えば、「“GAME Friend Invitation” with Let‘s play now」を示している。すなわち、ユーザ発話UO1は、マクロ名と変更するメッセージとを含んでいる。
スマートスピーカー10は、ユーザ発話UO1を集音すると、集音したユーザ発話UO1を示す発話データDを情報処理サーバ100に送信する。この場合、スマートスピーカー10は、ユーザUを識別するデータも情報処理サーバ100に送信する。
情報処理サーバ100は、発話データDを受信すると、発話データDを解析する。例えば、情報処理サーバ100は、ユーザ発話UO1に基づく自動音声認識(ASR:Automatic Speech Recognition)処理と自然言語理解(NLU:Natural Language Understanding)処理を行い、発話データDを理解する。この場合、情報処理サーバ100は、発話データDからマクロ名を示す第1メッセージと、当該マクロデータMの変更に関する第2メッセージとを抽出する。第2メッセージは、変更メッセージの一例である。この場合、情報処理サーバ100は、発話データDから“GAME Friend Invitation”を第1メッセージとして抽出する。そして、情報処理サーバ100は、発話データDから“Let‘s play now”を第2メッセージとして抽出する。なお、第2メッセージの抽出方法の一例については、後述する。
情報処理サーバ100は、発話データDからマクロ名の第1メッセージを抽出すると、当該マクロ名のマクロデータMを取得する。情報処理サーバ100は、発話データDから抽出した第2メッセージと推定テーブルとに基づいて、マクロデータMの編集対象を推定する。推定テーブルは、例えば、マクロデータMのインテント情報とエンティティ情報とを推定するためのメッセージ、単語、類義語等の情報を有する。この場合、情報処理サーバ100は、第2メッセージがメッセージ本体である可能性があるので、マクロデータMの変更対象をエンティティ情報M22と推定する。そして、情報処理サーバ100は、推定したマクロデータMの編集対象であるエンティティ情報M22を第2メッセージに基づいて変更する。この場合、情報処理サーバ100は、エンティティ情報M22に設定された“Good Morning”を“Let‘s play now”に変更する。情報処理サーバ100は、変更したマクロデータM’が示すマクロの実行をスマートスピーカー10に要求する。そして、スマートスピーカー10は、変更後のマクロデータM‘を実行する。
例えば、スマートスピーカー10は、マクロデータM’のインテント情報M11の友人を選択する機能(FriendSelect)を実行する。その結果、スマートスピーカー10は、エンティティ情報M21の“Jhon”、“Carter”、“Ben”、“Joe”を友人として選択する。次に、スマートスピーカー10は、インテント情報M12のメッセージを生成する機能(CreatMessage)を実行する。その結果、スマートスピーカー10は、変更したエンティティ情報M22の“Let‘s play now”をメッセージ本体とするメッセージを生成する。次に、スマートスピーカー10は、インテント情報M13のパーティを生成する機能(CreatParty)を実行する。その結果、スマートスピーカー10は、エンティティ情報M23の“GAME Party”の名前のパーティを生成して“GAME”を開始させる。
このように、実施形態に係る情報処理サーバ100は、ユーザUの発話によってマクロを実行する場合、マクロデータMの実行の契機となる第1メッセージとは異なる第2メッセージに基づいてマクロデータMを変更する。これにより、情報処理サーバ100は、登録済みのマクロデータM3をユーザ発話に基づいて変更し、変更したマクロデータM3を実行することができる。また、ユーザは、マクロデータMの実行の契機となる発話とともに、変更内容を発話すればよいので、マクロデータMの変更を容易に実行できる。その結果、情報処理サーバ100は、ユーザ発話によって登録済みのマクロデータMを有効利用させることができるので、ユーザUの利便性を向上させることができる。
例えば、登録済みのマクロデータMは、ユーザUの期待通りにマクロ化されていない場合、マクロのステップ数の増加、マクロが実行する機能の不足等により、マクロの効果が小さくなる可能性がある。マクロデータMは、余計な機能が含まれていたり、期待する機能が含まれていなかったりした場合、ユーザUによって利用されなくなる場合がある。本実施形態に係る情報処理サーバ100は、ユーザ発話に基づいて、登録済みのマクロデータMを修正しながら実行させることができるので、マクロデータMを有効利用させることができる。その結果、ユーザUは、希望する機能を実行させるマクロデータを新たに登録する必要がなくなる。
[実施形態に係る情報処理システムの構成例]
次に、実施形態に係る情報処理装置の一例として、スマートスピーカー10、及び、情報処理サーバ100を含む情報処理システム1の構成について説明する。図2は、実施形態に係る情報処理システム1の構成例を示す図である。図2に示すように、情報処理システム1は、スマートスピーカー10と、情報処理サーバ100とを含む。
[スマートスピーカー10]
図2に示すように、スマートスピーカー10は、集音部12と、制御部13といった各処理部を有する。制御部13は、スマートスピーカー10の動作を制御する。制御部13は、送信部14と、受信部15と、実行部16とを含む。各処理部は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、スマートスピーカー10内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
集音部12は、スマートスピーカー10が備えるセンサ11を制御することにより、音声を集音する。センサ11は、例えばマイクロフォンである。なお、センサ11は、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する機能が含まれてもよい。すなわち、センサ11は、ユーザや周辺環境を撮像するカメラであったり、ユーザUの存在を感知する赤外線センサであったりしてもよい。センサ11は、ユーザUの発話時の状況情報(コンテキスト)を検出してもよい。
集音部12は、音声を集音するとともに、集音した音声を記憶部20に記憶する。集音部12は、収集部の一例である。記憶部20は、集音した音声を一時的に記憶できる。記憶部20は、例えば、RAM、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等によって実現される。記憶部20は、例えば、ユーザUを識別可能な情報を記憶してもよい。
制御部13は、集音部12によって発話が集音された場合に、発話を示す発話データDを情報処理サーバ100に送信する制御を行う。制御部13は、情報処理サーバ100から要求されたマクロデータMを実行する制御を行う。図2に示す例では、制御部13は、送信部14、受信部15及び実行部16の各処理部が実行する処理に基づき、各種機能を提供できる。
送信部14は、有線又は無線ネットワーク等を介して各種情報を送信する。例えば、送信部14は、発話が集音された場合に、発話データDを情報処理サーバ100に送信する。なお、送信部14は、発話データDのみならず、ユーザUを識別するための識別データ等を情報処理サーバ100に送信してもよい。
受信部15は、情報処理サーバ100によって生成された要求を受信する。例えば、受信部15は、送信部14によって送信された発話データDにマクロ実行の契機となるメッセージが含まれていた場合、マクロ実行の要求を情報処理サーバ100から受信する。受信部15は、情報処理サーバ100から音声データを受信してもよいし、テキストデータを受信してもよい。
実行部16は、受信部15によって受信された要求を実行するための制御を行う。例えば、実行部16は、音声出力機能を有する出力部17(例えばスピーカー等)から音声出力するよう制御する。なお、出力部17がディスプレイである場合、実行部16は、マクロ実行に応じたテキスト、画像等のデータをディスプレイに表示する制御処理を行ってもよい。実行部16は、情報処理サーバ100から要求されたマクロを実行する。
[情報処理サーバ100]
次に、情報処理サーバ100の構成の一例について説明する。図2に示すように、情報処理サーバ100は、記憶部120と、制御部130と、を備える。制御部130は、取得部131と、音声認識部132と、抽出部133と、推定部134と、変更部135と、送信部136といった各処理部を有する。
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、スマートスピーカー10から取得した発話データD等を記憶する。記憶部120は、マクロデータMを記憶する。記憶部120は、ユーザUに紐付けたマクロデータMを記憶する。記憶部120は、推定テーブル121と、履歴データ122とを記憶する。推定テーブル121は、マクロデータMのインテント情報とエンティティ情報とを推定するための文字列、単語、類義語等の情報を有し、マクロデータMに紐付けられている。例えば、推定テーブル121は、インテント情報が示す機能に対応する単語、文字列、数値等の機能情報と、当該機能状態に類似する類義語等の類似情報と、を含む。そして、推定テーブル121は、エンティティ情報に対応するインテント情報が受け付ける単語、文字列、値等を示す情報を含む。履歴データ122は、ユーザUの発話によって実行されたマクロデータMの実行履歴を示す情報を含む。履歴データ122は、例えば、実行履歴として、実行したユーザUを識別する情報、マクロデータMを実行した状況を示すコンテキスト等を含む。
本実施形態では、情報処理サーバ100は、マクロデータMをユーザUに紐付けて記憶部120に記憶する場合について説明するが、これに限定されない。例えば、情報処理サーバ100は、他の記憶装置等に記憶したマクロデータMを取得し、当該マクロデータMを記憶部120に一時的に記憶してもよい。
制御部130の各処理部は、例えば、CPUやMPU等によって、情報処理サーバ100内部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。また、制御部130の各処理部は、例えば、ASICやFPGA等の集積回路により実現されてもよい。
取得部131は、有線又は無線ネットワーク等を介して、スマートスピーカー10から送信される発話データDを取得する。例えば、取得部131は、スマートスピーカー10によって発話データDが送信された場合に、発話データDを取得して記憶部120に記憶する。
音声認識部132は、取得部131によって取得された発話データDを文字列に変換する。例えば、音声認識部132は、自動音声認識(ASR)処理等を用いることができる。音声認識部132は、変換した文字列を記憶部120に記憶する。
抽出部133は、音声認識部132によって認識された文字列から、マクロデータMの実行の契機となる第1メッセージとマクロデータMの変更に関する第2メッセージとを抽出する。例えば、抽出部133は、自然言語理解(NLU)処理等を用いて、音声認識部132によって認識された文字列を解析する。具体的には、抽出部133は、文字列の中にマクロデータMのマクロ名が含まれているかを解析する。そして、抽出部133は、マクロ名を検出した場合、当該マクロ名を示す文字列を第1メッセージとして抽出し、当該文字列の中にマクロデータMの変更に関する文字列が含まれているかを解析する。具体的には、抽出部133は、マクロ名に対応する推定テーブル121が示す文字列、単語、類義語等が含まれているかを解析する。そして、抽出部133は、変更に関する文字列、単語、数字等のメッセージを検出した場合、当該メッセージを第2メッセージとして抽出する。抽出部133は、変更に関するメッセージを検出できなかった場合、第2メッセージを抽出しない。また、抽出部133は、マクロ名に対応する文字列を第1メッセージとして抽出できた場合に、他の文字列を解析不能であった場合、その旨を推定部134に出力してもよい。
例えば、記憶部120は、マクロ名が「朝のニュースチェック」のマクロデータMを記憶しているとする。そして、ユーザUは、「朝のニュースチェックを1分で」と発話したとする。この場合、抽出部133は、マクロ名の「朝のニュースチェック」の文字列を第1メッセージ、「1分で」の文字列を第2メッセージとして抽出する。また、ユーザUは、「朝のニュースチェックを午後で」と発話したとする。この場合、抽出部133は、マクロ名の「朝のニュースチェック」の文字列を第1メッセージ、「午後で」の文字列を第2メッセージとして抽出する。このように、抽出部133は、ユーザ発話から第1メッセージと第2メッセージとを抽出することで、ユーザUのマクロデータMの変更意思があるか否かを判定可能とすることができる。また、抽出部133は、第1メッセージを含むユーザ発話から第2メッセージを抽出することで、第2メッセージを抽出する精度を向上させることができる。
本実施形態では、抽出部133は、音声認識部132によって認識された文字列を解析する場合について説明するが、これに限定されない。例えば、抽出部133は、文字列を解析せずに、他の文字解析装置等が解析した文字列の解析結果を取得する構成としてもよい。
推定部134は、抽出部133が抽出した第2メッセージに基づいてマクロデータMの変更対象を推定する。推定部134は、第2メッセージで変更可能なマクロデータMの変更対象を推定する。例えば、推定部134は、第2メッセージとマクロ名に対応する推定テーブル121とを比較し、比較結果に基づいてマクロデータMの変更対象を推定してもよい。そして、推定部134は、第2メッセージがマクロデータMのエンティティ情報に関するメッセージである場合、マクロデータMのエンティティ情報を変更対象と推定する。推定部134は、第2メッセージがマクロデータMのインテント情報に関するメッセージである場合、マクロデータMのインテント情報を変更対象と推定する。そして、推定部134は、第2メッセージと推定テーブル121とに基づいて、第2メッセージがマクロデータMへのインテント情報の追加であるか、マクロデータMのインテント情報の削除のメッセージであるかを推定する。
例えば、抽出部133によって第1メッセージが抽出されてから第1時間が経過するまでに、抽出部133によって前記第1メッセージを含まない新たなユーザ発話から第2メッセージが抽出される場合がある。第1時間は、例えば、2分から3分を含む。この場合、推定部134は、第2メッセージが抽出される直線の第1メッセージに対応するマクロデータMの変更対象を当該第2メッセージに基づいて推定する。これにより、ユーザUは、マクロ名を発話してから第1時間が経過するまでの間は、マクロデータMを発話によって変更することができる。
変更部135は、推定部134が推定したマクロデータMの変更対象を第2メッセージに基づいて変更する。変更部135は、推定部134が推定したエンティティ情報を第2メッセージに基づいて変更する。例えば、変更部135は、推定部が推定したエンティティ情報の設定情報を第2メッセージに基づいて変更する。具体的には、変更部135は、設定情報を追加、削除することで、マクロデータMのエンティティ情報を示す機能を変更したり、機能を有効化、無効化したりする。変更部135は、推定部134が推定した複数のエンティティ情報の変更を確認する処理を実行できる。変更部135は、ユーザUに変更を確認する音声データ等をスマートスピーカー10に出力させることで、ユーザUに変更内容等を確認できる。
変更部135は、推定部134が推定したインテント情報を第2メッセージに基づいて変更する。変更部135は、推定部134によって第2メッセージがマクロデータMへのインテント情報の追加のメッセージと推定された場合、当該インテント情報をマクロデータに追加する。変更部135は、推定部134によって第2メッセージがマクロデータMのインテント情報の削除のメッセージと推定された場合、当該インテント情報をマクロデータMから削除する、あるいは無効化する。
変更部135は、第2メッセージと履歴データ122とに基づいてマクロデータMを変更する機能を有する。変更部135は、抽出部133によって第1メッセージが抽出されたタイミングと履歴データ122とに基づいてマクロデータMを変更する機能を有する。例えば、履歴データ122は、マクロデータMを平日の朝に変更することを示している。この場合、変更部135は、ユーザUから当該マクロデータMの実行が要求された場合に、履歴データ122の変更内容に基づいてマクロデータMを変更する。
変更部135は、記憶部120に記憶しているマクロデータMを、変更後のマクロデータへ変更する機能を有する。例えば、マクロデータMを変更した場合、マクロデータMを変更する確率が判定閾値を超えていることを履歴データ122が示している場合、変更部135は、記憶部120に記憶しているマクロデータMを変更後のマクロデータMに置き換える。そして、変更部135は、マクロデータMを置き換えたことをユーザUに通知する。これにより、ユーザUは、マクロデータMを実行させる場合に、第2メッセージを発話する必要がなくなったことを理解できる。
送信部136は、有線又は無線ネットワーク等を介して、変更部135が変更したマクロデータM、実行要求等をスマートスピーカー10に送信する。また、送信部136は、ユーザUがマクロデータMの実行の契機となる第1メッセージのみを発した場合、記憶部120のマクロデータM、実行要求等をスマートスピーカー10に送信する。
[実施形態に係る情報処理の手順]
次に、図3を用いて、実施形態に係る情報処理の手順について説明する。図3は、実施形態に係る情報処理の手順の一例を示すシーケンス図である。図3に示す処理手順は、スマートスピーカー10及び情報処理サーバ100がプログラムを実行することによって実現される。
図3に示すように、スマートスピーカー10は、集音部12によってユーザUの音声を収集する(ステップS101)。そして、スマートスピーカー10は、集音した音声を示す発話データDを情報処理サーバ100に送信する(ステップS102)。
情報処理サーバ100は、スマートスピーカー10から発話データを取得する(ステップS201)。情報処理サーバ100は、音声認識部132によって発話データを文字列に変換する(ステップS202)。情報処理サーバ100は、抽出部133によって文字列からメッセージを抽出する(ステップS203)。例えば、発話データがマクロ名と当該マクロ名に付随するメッセージを含む場合、情報処理サーバ100は、マクロ名を示す第1メッセージとその他を示す第2メッセージとを抽出する。例えば、発話データがマクロ名のみを含む場合、情報処理サーバ100は、第1メッセージを抽出する。
情報処理サーバ100は、発話データからマクロ名を抽出したか否かを判定する(ステップS204)。例えば、情報処理サーバ100は、抽出部133によって第1メッセージが抽出されている場合に、マクロ名を抽出したと判定する。そして、情報処理サーバ100は、マクロ名を抽出していないと判定した場合(ステップS204でNo)、図3に示す処理手順を終了させる。また、情報処理サーバ100は、マクロ名を抽出したと判定した場合(ステップS204でYes)、処理をステップS205に進める。
情報処理サーバ100は、記憶部120からマクロデータMを取得する(ステップS205)。例えば、情報処理サーバ100は、抽出した第1メッセージが示すマクロ名のマクロデータMを取得する。そして、情報処理サーバ100は、発話データから第2メッセージを抽出したか否かを判定する(ステップS206)。例えば、情報処理サーバ100は、抽出部133によって第2メッセージが抽出されている場合に、第2メッセージを抽出したと判定する。
情報処理サーバ100は、第2メッセージを抽出していないと判定した場合(ステップS206でNo)、第1メッセージのみであるので、処理をステップS207に進める。情報処理サーバ100は、マクロデータMの実行をスマートスピーカー10に要求する(ステップS207)。例えば、情報処理サーバ100は、送信部136を介して、マクロデータMを含む要求をスマートスピーカー10に送信する。情報処理サーバ100は、履歴データ122を更新する(ステップS208)。例えば、情報処理サーバ100は、マクロデータMを識別する情報、マクロデータMを実行した日時、マクロデータMを変更していないこと、マクロデータMを実行したユーザU等を履歴データ122に記憶する。その後、情報処理サーバ100は、待機状態になる。
スマートスピーカー10は、受信部15を介してマクロデータMの要求を受信すると、実行部16によってマクロデータMを実行する(ステップS110)。その結果、スマートスピーカー10は、登録されているマクロデータMが示す機能をそのまま実行することになる。
また、情報処理サーバ100は、第2メッセージを抽出したと判定した場合(ステップS206でYes)、処理をステップS210に進める。情報処理サーバ100は、推定部134によって第2メッセージに基づいてマクロデータMの変更対象を推定する(ステップS210)。情報処理サーバ100は、第2メッセージに基づいてマクロデータMを変更する(ステップS211)。換言すると、情報処理サーバ100は、マクロデータMの変更対象を第2メッセージで変更する。情報処理サーバ100は、マクロデータMを変更すると、処理をステップS212に進める。
情報処理サーバ100は、変更したマクロデータMの実行をスマートスピーカー10に要求する(ステップS212)。例えば、情報処理サーバ100は、送信部136を介して、変更したマクロデータMを含む要求をスマートスピーカー10に送信する。情報処理サーバ100は、履歴データ122を更新する(ステップS213)。例えば、情報処理サーバ100は、マクロデータMを識別する情報、マクロデータMを実行した日時、マクロデータMを変更したこと、マクロデータMの変更内容、マクロデータMを実行したユーザU等を履歴データ122に記憶する。
スマートスピーカー10は、受信部15を介して、変更されたマクロデータMの要求を受信すると、実行部16によって当該変更されたマクロデータMを実行する(ステップS120)。その結果、スマートスピーカー10は、変更されたマクロデータMが示す機能を実行することになる。
また、情報処理サーバ100は、履歴データ122の更新が終了すると、マクロデータMが頻繁に変更されているか否かを判定する(ステップS214)。例えば、情報処理サーバ100は、履歴データ122を参照し、マクロデータMを変更した頻度が判定閾値を超えている場合、頻繁に変更されていると判定する。そして、情報処理サーバ100は、頻繁に変更されていないと判定した場合(ステップS214でNo)、図3に示す処理手順を終了させる。換言すると、情報処理サーバ100は、記憶部120に記憶しているマクロデータMを変更しない。
また、情報処理サーバ100は、頻繁に変更されていると判定した場合(ステップS214でYes)、処理をステップS215に進める。情報処理サーバ100は、マクロデータ更新処理を実行する(ステップS215)。例えば、情報処理サーバ100は、マクロデータ変更処理を実行することで、記憶部120に記憶しているマクロデータMを変更後のマクロデータMに置き換える。その後、情報処理サーバ100は、待機状態となる。なお、マクロデータ変更処理は、マクロデータMの変更をユーザUに確認し、ユーザUが了承した場合に、記憶部120に記憶しているマクロデータMを更新する処理としてもよい。
[実施形態に係る情報処理システムの情報処理]
次に、図4乃至図6を用いて、実施形態に係る情報処理システム1の情報処理の一例について説明する。図4は、実施形態に係るマクロデータMの一例を示す図である。図5は、実施形態に係る情報処理システム1の情報処理の一例を示す図である。図6は、実施形態に係る情報処理システム1の情報処理の他の一例を示す図である。
図4に示す一例では、情報処理サーバ100は、マクロ名が“朝のニュースチェック”というマクロデータMを管理している。マクロデータMは、インテント情報M11として、CHECK_WEATHERが設定されている。CHECK_WEATHERは、天気をチェックするモジュール(機能)の名称を示している。マクロデータMは、インテント情報M11のエンティティ情報M21として、[AREA:Tokyo]、[Town:--]が設定されている。エンティティ情報M21は、例えば、AREA、Town等の設定項目情報と、当該設定項目情報の設定情報とを含んでいる。[AREA:Tokyo]は、CHECK_WEATHERのパラメータであり、チェックするエリアが東京であることを示している。[Town:--]は、CHECK_WEATHERのパラメータであり、チェックするタウンが設定されていないことを示している。すなわち、インテント情報M11のCHECK_WEATHERは、[AREA:Tokyo]、[Town:--]が変更可能であることを意味している。
マクロデータMは、インテント情報M11の次のインテント情報M12として、CHECK_NEWSが設定されている。CHECK_NEWSは、ニュースをチェックするモジュールの名称を示している。マクロデータMは、インテント情報M12のエンティティ情報M22として、[SRC:NEWS]、[TIME:5min]が設定されている。エンティティ情報M22は、例えば、SRC、TIME等の設定項目情報と、当該設定項目情報の設定情報とを含んでいる。[SRC:NEWS]は、CHECK_NEWSのパラメータであり、サーチする項目がニュースであることを示している。[TIME:5min]は、CHECK_NEWSのパラメータであり、5分版のニュースであることを示している。すなわち、インテント情報M12のCHECK_NEWSは、[SRC:NEWS]、[TIME:5min]が変更可能であることを意味している。
マクロデータMは、インテント情報M12の次のインテント情報M13として、CHECK_SCHEDULEが設定されている。CHECK_SCHEDULEは、ユーザUのスケジュールをチェックするモジュールの名称を示している。マクロデータMは、インテント情報M13のエンティティ情報M23として、[TIME:all]が設定されている。エンティティ情報M23は、例えば、TIME等の設定項目情報と、当該設定項目情報の設定情報とを含んでいる。[TIME:all]は、CHECK_SCHEDULEのパラメータであり、今日の予定の全てを読み上げることを示している。すなわち、インテント情報M13のCHECK_SCHEDULEは、[TIME:all]が変更可能であることを意味している。
図5に示す場面SC11では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックを1分で」と言うユーザ発話UO11を発している。この場合、スマートスピーカー10は、ユーザ発話UO11を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO11から第1メッセージと第2メッセージとを抽出する。状態R111に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「1分で」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、第2メッセージが時間であるので、マクロデータMのエンティティ情報M22の[TIME:5min]を変更対象と推定する。状態R112に示すように、情報処理サーバ100は、マクロデータMのエンティティ情報M22の[TIME:5min]を[TIME:1min]に変更する。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、東京の天気情報と1分版のニュースと今日の予定とをチェックしてユーザUに通知する。
図5に示す場面SC12では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックを東京の大崎で」と言うユーザ発話UO12を発している。この場合、スマートスピーカー10は、ユーザ発話UO12を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO12から第1メッセージと第2メッセージとを抽出する。状態R121に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「東京の大崎で」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、第2メッセージが地名であるので、マクロデータMのエンティティ情報M21の[Town:--]を変更対象と推定する。状態R122に示すように、情報処理サーバ100は、マクロデータMのエンティティ情報M21の[Town:--]を[Town:Osaki]に変更する。換言すると、情報処理サーバ100は、マクロデータMのエンティティ情報M21に[Town:Osaki]の設定を追加する。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、東京の大崎の天気情報と5分版のニュースと今日の予定とをチェックしてユーザUに通知する。
図5に示す場面SC13では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックをニュースの時間帯指定なしで」と言うユーザ発話UO13を発している。この場合、スマートスピーカー10は、ユーザ発話UO13を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO13から第1メッセージと第2メッセージとを抽出する。状態R131に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「ニュースの時間指定なしで」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、第2メッセージがニュースの時間指定に関するので、マクロデータMのエンティティ情報M22の[TIME:5min]を変更対象と推定する。状態R132に示すように、情報処理サーバ100は、マクロデータMのエンティティ情報M22の[TIME:5min]を[TIME:--]に変更する。換言すると、情報処理サーバ100は、マクロデータMのエンティティ情報M22の[TIME:5min]の設定を削除する。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、東京の天気情報と1分版のニュースと今日の予定とをチェックしてユーザUに通知する。
以上のように、実施形態に係る情報処理サーバ100は、第2メッセージがマクロデータMのエンティティ情報に関するメッセージを含む場合、当該第2メッセージで変更可能なエンティティ情報を変更する。これにより、情報処理サーバ100は、第1メッセージとともに発せられた第2メッセージでマクロデータMのエンティティ情報を変更することができる。その結果、情報処理サーバ100は、マクロデータMの機能の一部を音声で変更できるので、ユーザUの利便性をさらに向上させることができる。
また、情報処理サーバ100は、エンティティ情報M21,M22,M23が設定項目情報とその設定情報とを含み、設定情報を変更する。これにより、情報処理サーバ100は、設定項目に着目して第2メッセージの変更対象を推定できる。その結果、情報処理サーバ100は、マクロデータMのエンティティ情報の変更、追加、削除を行うことができるので、マクロデータMを有効利用させることができる。
例えば、第2メッセージは、マクロデータMの複数のエンティティ情報M21,M22,M23に関するメッセージに関し、1つのエンティティ情報を推定できない場合がある。この場合、情報処理サーバ100は、当該第2メッセージで変更可能な複数の前記第2情報を変更対象と推定し、当該変更対象を変更するかをユーザUに確認すればよい。その結果、情報処理サーバ100は、変更対象のエンティティ情報をユーザUに確認し、当該エンティティ情報を変更できるので、マクロデータMを変更する精度を向上させることができる。
図6に示す場面SC21では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックを天気じゃなくて音楽再生で」と言うユーザ発話UO21を発している。この場合、スマートスピーカー10は、ユーザ発話UO21を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO21から第1メッセージと第2メッセージとを抽出する。状態R211に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「天気じゃなくて音楽再生で」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、第2メッセージが天気の変更を示唆しているので、インテント情報M11のCHECK_WEATHERを変更対象と推定する。情報処理サーバ100は、例えば、音楽再生機能のモジュール、マクロデータM等を検索し、PLAY_MUSICのモジュールを検出している。そして、状態R212に示すように、情報処理サーバ100は、インテント情報M11のCHECK_WEATHERをPLAY_MUSICに変更する。なお、情報処理サーバ100は、インテント情報M11をPLAY_MUSICに変更する場合、エンティティ情報M21の変更が必要な場合は、エンティティ情報M21の設定も変更する。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、音楽を再生するとともに、チェックした5分版のニュースと今日の予定とをユーザUに通知する。
図6に示す場面SC22では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックと音楽再生」と言うユーザ発話UO22を発している。この場合、スマートスピーカー10は、ユーザ発話UO22を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO22から第1メッセージと第2メッセージとを抽出する。状態R221に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「と音楽再生」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、第2メッセージがマクロデータMへの音楽再生(インテント情報)の追加を示唆しているので、マクロデータMを変更対象とする。情報処理サーバ100は、例えば、音楽再生機能のモジュール、マクロデータM等を検索し、PLAY_MUSICのインテント情報を検出している。そして、状態R222に示すように、情報処理サーバ100は、音楽再生のインテント情報を取得し、マクロデータMにPLAY_MUSICのインテント情報を追加する。なお、情報処理サーバ100は、マクロデータMに新たなインテント情報を追加する場合、当該インテント情報に紐付けられたエンティティ情報を合わせて追加してもよい。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。そして、状態R223に示すように、情報処理サーバ100は、例えば、「今度から音楽再生も一緒に実行します」との音声をスマートスピーカー10に出力させる。そして、情報処理サーバ100は、記憶部120に記憶しているマクロデータMを変更したマクロデータMで更新する。その結果、スマートスピーカー10は、チェックした天気と5分版のニュースと予定とをユーザUに通知するとともに、音楽を再生する。その後、ユーザUが「朝のニュースチェック」を発話すると、スマートスピーカー10は、チェックした天気と5分版のニュースと予定とをユーザUに通知するとともに、音楽を再生するようになる。
図6に示す場面SC23では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックを予定なしで」と言うユーザ発話UO23を発している。この場合、スマートスピーカー10は、ユーザ発話UO23を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO23から第1メッセージと第2メッセージとを抽出する。状態R221に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「を予定なしで」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、マクロデータMのインテント情報M13の省略であるので、当該インテント情報M13を変更対象とする。そして、状態R232に示すように、情報処理サーバ100は、インテント情報M13のCHECK_SCHEDULEを省略するように変更する。例えば、情報処理サーバ100は、インテント情報M13を削除してもよいし、エンティティ情報M23の設定情報をなしにしてインテント情報M13をマスクしてもよい。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、チェックした天気と5分版のニュースとをユーザUに通知する。
また、状態R233に示すように、情報処理サーバ100は、例えば、「次から省きますか」との音声をスマートスピーカー10に出力させることで、ユーザUに登録済みのマクロデータMを変更するかを確認している。例えば、ユーザUが変更を希望した場合、情報処理サーバ100は、記憶部120に記憶しているマクロデータMを変更したマクロデータMで更新する。例えば、ユーザUが変更を希望しない場合、情報処理サーバ100は、記憶部120に記憶しているマクロデータMを変更しない。
以上のように、実施形態に係る情報処理サーバ100は、第2メッセージがマクロデータMのインテント情報(第1情報)の変更に関するメッセージを含む場合、当該第2メッセージで変更可能なインテント情報を変更する。これにより、情報処理サーバ100は、第1メッセージとともに発せられた第2メッセージでマクロデータMのインテント情報を変更することができる。その結果、情報処理サーバ100は、マクロデータMの機能の追加、削除を音声で変更できるので、ユーザUの利便性をさらに向上させることができる。
また、情報処理サーバ100は、第2メッセージがマクロデータMへのインテント情報の追加のメッセージと推定した場合、当該エンティティ情報をマクロデータMに追加する。情報処理サーバ100は、第2メッセージがマクロデータMのインテント情報の削除のメッセージと推定した場合、当該インテント情報をマクロデータMから削除する。その結果、情報処理サーバ100は、マクロデータMが示す機能をユーザ発話によって追加、削除することができるので、ユーザUの期待に応じた機能をスマートスピーカー10に実行させることができる。その結果、情報処理サーバ100は、ユーザ発話に基づいて基本のマクロデータMから容易に動的な機能の変更を実現することができる。
[実施形態の変形例(1)]
次に、上記の図4及び図7を用いて、実施形態に係る情報処理システム1の情報処理の一例について説明する。図7は、実施形態の変形例(1)に係る情報処理システム1の動作の一例を示す図である。
図7に示す場面SC31では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックと音楽」と言うユーザ発話UO31を発している。この場合、スマートスピーカー10は、ユーザ発話UO31を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO31から第1メッセージと第2メッセージとを抽出する。状態R311に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「と音楽」を示す第2メッセージとを抽出する。そして、情報処理サーバ100は、第2メッセージと推定テーブル121とに基づいて、マクロデータMの変更対象を推定する。この場合、情報処理サーバ100は、マクロデータMへのインテント情報の追加であるが、音楽の再生なのか否かを推定することが困難であるとする。状態R312に示すように、情報処理サーバ100は、「朝のニュースチェック」に関連する「音楽」を履歴データ122から検索し、PLAY_MUSICの追加と推定する。そして、状態R313に示すように、情報処理サーバ100は、音楽再生のインテント情報を取得し、マクロデータMにPLAY_MUSICのインテント情報を追加する。なお、情報処理サーバ100は、マクロデータMに新たなインテント情報を追加する場合、当該インテント情報に紐付けられたエンティティ情報を合わせて追加してもよい。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。その結果、スマートスピーカー10は、チェックした天気と5分版のニュースと予定とをユーザUに通知するとともに、音楽を再生する。また、状態R314に示すように、情報処理サーバ100は、「朝のニュースチェックと音楽」の発話の頻度が判定閾値を超えている場合、登録済みの記憶部120のマクロデータMにPLAY_MUSICのインテント情報を追加することで、記憶部120のマクロデータMを変更する。
以上のように、実施形態の変形例(1)に係る情報処理サーバ100は、第2メッセージの推定が困難である場合、第2メッセージと履歴データ122とに基づいてマクロデータMを変更する。これにより、情報処理サーバ100は、例えば、ユーザUが発話を短縮したり、第2メッセージを収集できなかったりしても、マクロデータMを実行した履歴に基づいて当該マクロデータMを変更することができる。その結果、情報処理サーバ100は、マクロデータMの機能の変更する場合のユーザUの利便性をさらに向上させることができる。
また、実施形態の変形例(1)に係る情報処理システム1は、マクロデータMに新たなインテント情報を履歴データ122の頻度に基づいて追加する場合について説明したが、これに限定されない。例えば、情報処理システム1は、履歴データ122に基づいて、マクロデータMのエンティティ情報を変更してもよい。具体的には、情報処理システム1は、図4に示すマクロデータMのCHECK_NEWSの1分版への変更が頻繁である場合、エンティティ情報M22を[TIME:1min]に変更してもよい。
[実施形態の変形例(2)]
次に、上記の図4、図8及び図9を用いて、実施形態の変形例(2)に係る情報処理システム1の情報処理について説明する。図8は、実施形態の変形例(2)に係る情報処理システム1の情報処理の一例を示す図である。図9は、実施形態の変形例(2)に係るマクロデータMの変更例を示す図である。
図8に示す場面SC41では、ユーザUは、図4に示すマクロデータMを変更しながら実行させるために、「朝のニュースチェックと音楽再生」と言うユーザ発話UO41を発している。この場合、スマートスピーカー10は、ユーザ発話UO41を示す発話データDを情報処理サーバ100に送信するとともに、ユーザUの発話時のコンテキストCを送信する。コンテキストCは、ユーザ発話UO41の発話時間、日時、曜日等の情報を含む。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO41から第1メッセージと第2メッセージとを抽出する。情報処理サーバ100は、受信したコンテキストCを解析し、ユーザ発話UO41が平日に発せられたことを特定する。状態R411に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージと、「と音楽再生」を示す第2メッセージとを抽出し、コンテキストCから「平日」を特定する。そして、情報処理サーバ100は、状態R412に示すように、情報処理サーバ100は、音楽再生のインテント情報を取得し、マクロデータMにPLAY_MUSICのインテント情報を追加する。なお、情報処理サーバ100は、マクロデータMに新たなインテント情報を追加する場合、当該インテント情報に紐付けられたエンティティ情報を合わせて追加してもよい。そして、情報処理サーバ100は、変更したマクロデータMをスマートスピーカー10に実行させる。
また、情報処理サーバ100は、履歴データ122を参照し、平日における「朝のニュースチェックと音楽再生」の発生頻度を求める。状態R413に示すように、情報処理サーバ100は、「朝のニュースチェック」と「音楽再生」との実行頻度が高い場合、マクロデータMのPLAY_MUSICに「平日には」の条件を示すエンティティ情報を付加する。そして、状態R414に示すように、情報処理サーバ100は、登録済みのマクロデータMを更新する。その結果、「朝のニュースチェック」のマクロデータMは、図9に示すように、インテント情報M14とエンティティ情報M24とが追加される。マクロデータMは、インテント情報M14として、PLAY_MUSICが設定されている。PLAY_MUSICは、音楽を再生するモジュール名である。マクロデータMは、インテント情報M14のエンティティ情報M24として、[DAY:usual]が設定されている。[DAY:usual]は、PLAY_MUSICの条件であり、条件が平日であることを示している。
実施形態の変形例(2)では、情報処理サーバ100は、登録済みのマクロデータMに新たなインテント情報M14及びエンティティ情報M24を追加する場合について説明するが、これに限定されない。例えば、情報処理サーバ100は、登録済みのマクロデータMのインテント情報のエンティティ情報として条件を示すエンティティ情報を追加してもよい。
以上のように、実施形態の変形例(2)に係る情報処理サーバ100は、ユーザ発話から第1メッセージが抽出されたタイミングと履歴データ122とに基づいてマクロデータを変更する。これにより、情報処理サーバ100は、マクロデータMを実行するタイミングとマクロデータMの変更履歴とに基づいて、ユーザUの習慣に応じた条件をマクロデータMに付加することができる。その結果、情報処理サーバ100は、ユーザUが期待するマクロデータMに変更することができるので、マクロデータMの有効利用に貢献することができる。
また、実施形態の変形例(2)に係る情報処理システム1は、マクロデータMに新たなインテント情報を追加する場合、種々異なる条件を付加することができる。例えば、情報処理システム1は、新たなインテント情報の条件として、ユーザUに確認を条件としてもよい。この場合、情報処理システム1は、新たなインテント情報を追加した後、ユーザUが「朝のニューステック」を発話した場合に、「音楽も聞きますか?」等の確認メッセージを通知してもよい。
また、実施形態の変形例(2)に係る情報処理システム1は、マクロデータMに新たなインテント情報を追加する場合、複数の条件を組み合わせて付加することができる。例えば、ユーザUが「朝のニュースチェックを1分で」を週末によく発話しているとする。この場合、情報処理システム1は、図4に示すマクロデータMのエンティティ情報M22の[TIME:5min]を[TIME:1min]に変更するとともに、「週末は」を示す条件を追加すればよい。
[実施形態の変形例(3)]
次に、上記の図4及び図10を用いて、実施形態の変形例(3)に係る情報処理システム1の情報処理について説明する。図10は、実施形態の変形例(3)に係る情報処理システム1の情報処理の一例を示す図である。
図10に示す場面SC51では、ユーザUは、図4に示すマクロデータMを実行させるために、「朝のニュースチェック」と言うユーザ発話UO51を発している。この場合、スマートスピーカー10は、ユーザ発話UO51を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO51から第1メッセージと第2メッセージとを抽出する処理を行う。この場合、状態R511に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージのみを抽出する。そして、状態R512に示すように、情報処理サーバ100は、「朝のニュースチェック」のマクロデータMの実行をスマートスピーカー10に要求する。その結果、スマートスピーカー10は、チェックした天気、ニュース、今日の予定をユーザUに通知する。
ユーザUは、ユーザ発話UO51を発してから第2時間経過した後に、「音楽再生」と言うユーザ発話UO52を発している。例えば、第2時間は、第1時間(例えば、2,3分)よりも短い時間である。この場合、スマートスピーカー10は、ユーザ発話UO52を示す発話データDを情報処理サーバ100に送信する。情報処理サーバ100は、受信した発話データDを解析し、ユーザ発話UO52から第1メッセージと第2メッセージとを抽出する処理を行う。状態R521に示すように、情報処理サーバ100は、第1メッセージを抽出せずに、「音楽再生」を示す第2メッセージを抽出する。そして、情報処理サーバ100は、第2メッセージが抽出される直前の第1メッセージに対するマクロデータMの変更対象を推定する。その結果、状態R522に示すように、情報処理サーバ100は、「朝のニュースチェック」を示す第1メッセージ、「音楽再生」を示す第2メッセージとして抽出する。そして、状態R523に示すように、情報処理サーバ100は、音楽再生のインテント情報を取得し、マクロデータMにPLAY_MUSICのインテント情報を追加する。この場合、「朝のニュースチェック」のマクロデータMは、スマートスピーカー10によって実行されている。よって、状態R524に示すように、情報処理サーバ100は、PLAY_MUSICの実行をスマートスピーカー10に要求する。その結果、スマートスピーカー10は、チェックした天気、ニュース、今日の予定をユーザUに通知することに加え、音楽を再生する。
以上のように、実施形態の変形例(3)に係る情報処理サーバ100は、第1メッセージが抽出されてから第1時間が経過するまでに、他のユーザ発話から第2メッセージと抽出した場合、直線の第1メッセージに対応するマクロデータの変更対象を当該第2メッセージに基づいて推定する。これにより、情報処理サーバ100は、ユーザ発話に時間差が生じても、1つのマクロデータMを変更することができる。その結果、情報処理サーバ100は、ユーザUが一度に全ての発話を行わなくても、ユーザUが期待するマクロデータMに変更することができるので、マクロデータMの有効利用に貢献することができる。
[ハードウェア構成]
上述してきた実施形態に係る情報処理サーバ100、スマートスピーカー10等の情報機器は、例えば図11に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る情報処理サーバ100を例に挙げて説明する。図11は、情報処理サーバ100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理サーバ100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、取得部131、音声認識部132、抽出部133、推定部134、変更部135、送信部136等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
上記の本実施形態では、情報処理サーバ100は、複数のユーザUが共通のマクロデータMを利用する場合に、ユーザUごとにマクロデータMを変更することができる。その結果、情報処理サーバ100は、共通のマクロデータMを複数のユーザUの各々が期待に応じて変更できるので、共通のマクロデータMを有効利用することができる。
上記の本実施形態では、スマートスピーカー10と情報処理サーバ100とを備える情報処理システム1によって情報処理装置を実現する場合について説明したが、これに限定されない。例えば、情報処理装置は、スマートスピーカー10で実現し、当該スマートスピーカー10が情報処理サーバ100の機能を備える構成としてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理サーバ100が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書の情報処理サーバ100の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ100の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出する抽出部と、
前記抽出部が抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定する推定部と、
前記推定部が推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する変更部と、
を備える情報処理装置。
(2)
前記推定部は、前記変更メッセージが前記マクロデータの前記第2情報に関するメッセージを含む場合、当該変更メッセージで変更可能な前記第2情報を前記変更対象と推定し、
前記変更部は、前記推定部が推定した前記第2情報を前記変更メッセージに基づいて変更する
前記(1)に記載の情報処理装置。
(3)
前記第2情報は、紐付けられた前記第1情報の設定項目情報と、当該設定項目情報の設定情報と、を含み、
前記変更部は、前記推定部が推定した前記第2情報の前記設定情報を前記変更メッセージに基づいて変更する
前記(1)または(2)に記載の情報処理装置。
(4)
前記推定部は、前記変更メッセージが前記マクロデータの複数の前記第2情報に関するメッセージである場合、当該変更メッセージで変更可能な複数の前記第2情報を前記変更対象と推定し、
前記変更部は、前記推定部が推定した複数の前記第2情報の変更を確認する処理を実行する
前記(2)または(3)に記載の情報処理装置。
(5)
前記推定部は、前記変更メッセージが前記マクロデータの前記第1情報の変更に関するメッセージを含む場合、前記第1情報を前記変更対象と推定し、
前記変更部は、前記推定部が推定した前記第1情報を前記変更メッセージに基づいて変更する
前記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記推定部は、前記変更メッセージが前記マクロデータへの前記第1情報の追加であるか、前記マクロデータの前記第1情報の削除のメッセージであるかを推定し、
前記変更部は、
前記推定部によって前記変更メッセージが前記マクロデータへの前記第1情報の追加のメッセージと推定された場合、当該第1情報を前記マクロデータに追加し、
前記推定部によって前記変更メッセージが前記マクロデータの前記第1情報の削除のメッセージと推定された場合、当該第1情報を前記マクロデータから削除する
前記(5)に記載の情報処理装置。
(7)
前記変更部よって前記マクロデータを変更した履歴を示す履歴データを記憶する記憶部をさらに備え、
前記変更部は、前記変更メッセージと前記履歴データとに基づいて前記マクロデータを変更する
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記抽出部は、前記マクロデータの実行の契機となる第1メッセージを前記ユーザ発話から抽出し、
前記変更部は、前記抽出部によって前記第1メッセージが抽出されたタイミングと前記履歴データとに基づいて前記マクロデータの機能に条件を付加する
前記(7)に記載の情報処理装置。
(9)
前記ユーザ発話を収集する収集部をさらに備え、
前記抽出部は、前記収集部が収集した前記ユーザ発話から、前記第1メッセージと前記変更メッセージとを抽出する
前記(8)に記載の情報処理装置。
(10)
前記抽出部は、前記第1メッセージを含む前記ユーザ発話から前記変更メッセージを抽出する
前記(8)または(9)に記載の情報処理装置。
(11)
前記抽出部によって前記第1メッセージが抽出されてから第1時間が経過するまでに、前記抽出部によって前記第1メッセージを含まない他の前記ユーザ発話から前記変更メッセージが抽出された場合、
前記推定部は、前記変更メッセージが抽出される直線の前記第1メッセージに対応する前記マクロデータの変更対象を当該変更メッセージに基づいて推定する
前記(8)から(10)のいずれかに記載の情報処理装置。
(12)
前記変更部は、前記マクロデータの変更内容をユーザに通知する
前記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記マクロデータを記憶する記憶部をさらに備え、
前記変更部は、前記記憶部に記憶している前記マクロデータを、変更後の前記マクロデータへ変更する制御を行う
前記(1)から(12)のいずれかに記載の情報処理装置。
(14)
前記変更部によって変更された前記マクロデータを実行する実行部をさらに備える
前記(1)から(13)のいずれかに記載の情報処理装置。
(15)
前記抽出部は、前記マクロデータの実行の契機となる第1メッセージを抽出し、
前記実行部は、前記抽出部によって前記第1メッセージが抽出され、前記変更メッセージが抽出されない場合、前記第1メッセージを契機として前記マクロデータを実行する
前記(14)に記載の情報処理装置。
(16)
コンピュータが、
実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出し、
抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定し、
推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する
情報処理方法。
(17)
ユーザ端末と、前記ユーザ端末と通信可能な情報処理サーバとを備え、
前記ユーザ端末は、
前記ユーザ発話を収集する収集部を備え、
前記情報処理サーバは、
実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出する抽出部と、
前記抽出部が抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定する推定部と、
前記推定部が推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する変更部と、
を備える情報処理システム。
1 情報処理システム
10 スマートスピーカー
11 センサ
12 集音部
13 制御部
14 送信部
15 受信部
16 実行部
17 出力部
100 情報処理サーバ
120 記憶部
121 推定テーブル
122 履歴データ
131 取得部
132 音声認識部
133 抽出部
134 推定部
135 変更部
136 送信部
M マクロデータ

Claims (14)

  1. 実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出する抽出部と、
    前記抽出部が抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定する推定部と、
    前記推定部が推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更する変更部と、
    を備え
    前記推定部は、前記変更メッセージが前記マクロデータの前記第2情報に関するメッセージを含む場合、当該変更メッセージで変更可能な前記第2情報を前記変更対象と推定し、
    前記変更部は、前記推定部が推定した前記第2情報を前記変更メッセージに基づいて変更し、
    前記第2情報は、紐付けられた前記第1情報の設定項目情報と、当該設定項目情報の設定情報と、を含み、
    前記変更部は、前記推定部が推定した前記第2情報の前記設定情報を前記変更メッセージに基づいて変更する、
    情報処理装置。
  2. 前記推定部は、前記変更メッセージが前記マクロデータの複数の前記第2情報に関するメッセージである場合、当該変更メッセージで変更可能な複数の前記第2情報を前記変更対象と推定し、
    前記変更部は、前記推定部が推定した複数の前記第2情報の変更を確認する処理を実行する
    請求項に記載の情報処理装置。
  3. 前記推定部は、前記変更メッセージが前記マクロデータの前記第1情報の変更に関するメッセージを含む場合、前記第1情報を前記変更対象と推定し、
    前記変更部は、前記推定部が推定した前記第1情報を前記変更メッセージに基づいて変更する
    請求項1に記載の情報処理装置。
  4. 前記推定部は、前記変更メッセージが前記マクロデータへの前記第1情報の追加であるか、前記マクロデータの前記第1情報の削除のメッセージであるかを推定し、
    前記変更部は、
    前記推定部によって前記変更メッセージが前記マクロデータへの前記第1情報の追加のメッセージと推定された場合、当該第1情報を前記マクロデータに追加し、
    前記推定部によって前記変更メッセージが前記マクロデータの前記第1情報の削除のメッセージと推定された場合、当該第1情報を前記マクロデータから削除する
    請求項に記載の情報処理装置。
  5. 前記変更部よって前記マクロデータを変更した履歴を示す履歴データを記憶する記憶部をさらに備え、
    前記変更部は、前記変更メッセージと前記履歴データとに基づいて前記マクロデータを変更する
    請求項1に記載の情報処理装置。
  6. 前記抽出部は、前記マクロデータの実行の契機となる第1メッセージを前記ユーザ発話から抽出し、
    前記変更部は、前記抽出部によって前記第1メッセージが抽出されたタイミングと前記履歴データとに基づいて前記マクロデータの機能に条件を付加する
    請求項に記載の情報処理装置。
  7. 前記ユーザ発話を収集する収集部をさらに備え、
    前記抽出部は、前記収集部が収集した前記ユーザ発話から、前記第1メッセージと前記変更メッセージとを抽出する
    請求項に記載の情報処理装置。
  8. 前記抽出部は、前記第1メッセージを含む前記ユーザ発話から前記変更メッセージを抽出する
    請求項に記載の情報処理装置。
  9. 前記抽出部によって前記第1メッセージが抽出されてから第1時間が経過するまでに、前記抽出部によって前記第1メッセージを含まない他の前記ユーザ発話から前記変更メッセージが抽出された場合、
    前記推定部は、前記変更メッセージが抽出される直線の前記第1メッセージに対応する前記マクロデータの変更対象を当該変更メッセージに基づいて推定する
    請求項に記載の情報処理装置。
  10. 前記変更部は、前記マクロデータの変更内容をユーザに通知する
    請求項1に記載の情報処理装置。
  11. 前記マクロデータを記憶する記憶部をさらに備え、
    前記変更部は、前記記憶部に記憶している前記マクロデータを、変更後の前記マクロデータへ変更する制御を行う
    請求項1に記載の情報処理装置。
  12. 前記変更部によって変更された前記マクロデータを実行する実行部をさらに備える
    請求項1に記載の情報処理装置。
  13. 前記抽出部は、前記マクロデータの実行の契機となる第1メッセージを抽出し、
    前記実行部は、前記抽出部によって前記第1メッセージが抽出され、前記変更メッセージが抽出されない場合、前記第1メッセージを契機として前記マクロデータを実行する
    請求項12に記載の情報処理装置。
  14. コンピュータが、
    実行する機能を示す少なくとも1つの第1情報と前記第1情報に紐付けられた第2情報とを含むマクロデータの変更に関する変更メッセージをユーザ発話から抽出し、
    抽出した前記変更メッセージに基づいて前記マクロデータの変更対象を推定し、
    推定した前記マクロデータの前記変更対象を前記変更メッセージに基づいて変更し、
    前記マクロデータの変更対象の推定処理は、前記変更メッセージが前記マクロデータの前記第2情報に関するメッセージを含む場合、当該変更メッセージで変更可能な前記第2情報を前記変更対象と推定し、
    前記マクロデータの前記変更対象の変更処理は、前記推定処理が推定した前記第2情報を前記変更メッセージに基づいて変更し、
    前記第2情報は、紐付けられた前記第1情報の設定項目情報と、当該設定項目情報の設定情報と、を含み、
    前記マクロデータの前記変更対象の変更処理は、前記推定処理が推定した前記第2情報の前記設定情報を前記変更メッセージに基づいて変更する、
    情報処理方法。
JP2020538216A 2018-08-22 2019-07-01 情報処理装置及び情報処理方法 Active JP7420075B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018155258 2018-08-22
JP2018155258 2018-08-22
PCT/JP2019/026192 WO2020039754A1 (ja) 2018-08-22 2019-07-01 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2020039754A1 JPWO2020039754A1 (ja) 2021-08-26
JP7420075B2 true JP7420075B2 (ja) 2024-01-23

Family

ID=69592558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538216A Active JP7420075B2 (ja) 2018-08-22 2019-07-01 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US11869499B2 (ja)
JP (1) JP7420075B2 (ja)
WO (1) WO2020039754A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259113A (ja) 2001-03-02 2002-09-13 Sharp Corp 音声マクロ処理装置、その方法、そのコンピュータ・プログラムおよびそのプログラムを記録した記録媒体
WO2003060881A1 (en) 2002-01-03 2003-07-24 Avaya Technology Corporation My voice voice agent for use with voice portails and related products
JP2006263858A (ja) 2005-03-24 2006-10-05 Advanced Telecommunication Research Institute International コミュニケーションロボット
US20080046251A1 (en) 2006-08-15 2008-02-21 International Business Machines Corporation Enhancing environment voice macros via save/restore state of object within an environment controlled by voice comands

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873064A (en) * 1996-11-08 1999-02-16 International Business Machines Corporation Multi-action voice macro method
JPH10254488A (ja) * 1997-03-14 1998-09-25 Meidensha Corp 音声応答システムの制御情報処理作成方法
JP4164481B2 (ja) * 2004-08-06 2008-10-15 キヤノン株式会社 画像形成装置、操作設定方法、画像形成システムおよび情報処理装置
JP4570933B2 (ja) * 2004-11-01 2010-10-27 富士通セミコンダクター株式会社 マクロ提供システム
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
JP5368924B2 (ja) * 2009-09-18 2013-12-18 ヤフー株式会社 自然言語ユーザインタフェースを漸進的に開発する装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259113A (ja) 2001-03-02 2002-09-13 Sharp Corp 音声マクロ処理装置、その方法、そのコンピュータ・プログラムおよびそのプログラムを記録した記録媒体
WO2003060881A1 (en) 2002-01-03 2003-07-24 Avaya Technology Corporation My voice voice agent for use with voice portails and related products
JP2006263858A (ja) 2005-03-24 2006-10-05 Advanced Telecommunication Research Institute International コミュニケーションロボット
US20080046251A1 (en) 2006-08-15 2008-02-21 International Business Machines Corporation Enhancing environment voice macros via save/restore state of object within an environment controlled by voice comands

Also Published As

Publication number Publication date
US11869499B2 (en) 2024-01-09
JPWO2020039754A1 (ja) 2021-08-26
US20210319792A1 (en) 2021-10-14
WO2020039754A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
KR102571011B1 (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
JP2019117623A (ja) 音声対話方法、装置、デバイス及び記憶媒体
JP6510117B2 (ja) 音声制御装置、音声制御装置の動作方法、コンピュータプログラム及び記録媒体
KR102225404B1 (ko) 디바이스 정보를 이용하는 음성인식 방법 및 장치
US11457061B2 (en) Creating a cinematic storytelling experience using network-addressable devices
KR20140089863A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
WO2017084185A1 (zh) 基于语义分析的智能终端控制方法、系统及智能终端
CN103165131A (zh) 语音处理系统及语音处理方法
US20210233556A1 (en) Voice processing device, voice processing method, and recording medium
KR20160106075A (ko) 오디오 스트림에서 음악 작품을 식별하기 위한 방법 및 디바이스
JP7347217B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2020003785A1 (ja) 音声処理装置、音声処理方法及び記録媒体
US11948564B2 (en) Information processing device and information processing method
US10693944B1 (en) Media-player initialization optimization
JP7420075B2 (ja) 情報処理装置及び情報処理方法
CN111240634A (zh) 音箱工作模式调整方法和装置
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
JP7527127B2 (ja) 情報処理装置、プログラム、および情報処理方法
CN111816183B (zh) 基于音视频录制的语音识别方法、装置、设备及存储介质
US11011174B2 (en) Method and system for determining speaker-user of voice-controllable device
JP2005181459A (ja) 音声認識装置および方法
JP2020042071A (ja) 情報処理装置、情報処理方法
KR20180048510A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR20170055466A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
JP2007079607A (ja) 時系列情報制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R151 Written notification of patent or utility model registration

Ref document number: 7420075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151