JP7010073B2 - 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム - Google Patents

出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム Download PDF

Info

Publication number
JP7010073B2
JP7010073B2 JP2018044598A JP2018044598A JP7010073B2 JP 7010073 B2 JP7010073 B2 JP 7010073B2 JP 2018044598 A JP2018044598 A JP 2018044598A JP 2018044598 A JP2018044598 A JP 2018044598A JP 7010073 B2 JP7010073 B2 JP 7010073B2
Authority
JP
Japan
Prior art keywords
information
voice
output
word
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018044598A
Other languages
English (en)
Other versions
JP2019159060A (ja
Inventor
立巳 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018044598A priority Critical patent/JP7010073B2/ja
Priority to CN201910168326.8A priority patent/CN110265005B/zh
Priority to US16/295,034 priority patent/US11244675B2/en
Publication of JP2019159060A publication Critical patent/JP2019159060A/ja
Application granted granted Critical
Publication of JP7010073B2 publication Critical patent/JP7010073B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Description

本発明は、出力内容制御装置、出力内容制御方法、及び出力内容制御プログラムに関する。
例えば特許文献1に示すように、検出したユーザの音声を解析して、ユーザの意図に応じた処理を行う音声制御装置が提案されている。また、ユーザの意図した処理を行ったことを音声で出力したり、ユーザの問い合わせ内容を音声で出力したりする音声制御装置も提案されている。
特公平7-109560号公報
ここで、音声を出力する音声処理装置を用いる場合、ユーザの問い合わせ内容に対する音声制御装置からの通知が、ユーザ以外の周囲にいる人にも聞こえてしまう場合がある。この場合、音声制御装置からの通知をユーザ以外に知られたくない場合でも、ユーザ以外にも知られてしまうおそれがある。従って、ユーザの問い合わせ内容を通知する場合に、その通知の内容をユーザ以外に理解させ難くすることが求められている。
本発明は、上記課題を鑑み、ユーザの問い合わせ内容を通知する場合に、その通知の内容をユーザ以外に理解させ難くする出力内容制御装置、出力内容制御方法、及び出力内容制御プログラムを提供することを目的とする。
本発明の一態様にかかる出力内容制御装置は、音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類部と、前記音声取得部が取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を検出する意図解析部と、前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得部と、前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成部と、を有し、前記出力内容生成部は、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成する。
本発明の一態様にかかる出力内容制御方法は、音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力文章生成ステップと、を有し、前記出力文章生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成する。
本発明の一態様にかかる出力内容制御プログラムは、音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力文章生成ステップと、をコンピュータに実行させ、前記出力文章生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成する。
本発明によれば、ユーザの問い合わせ内容を通知する場合に、その通知の内容をユーザ以外に理解させ難くすることができる。
図1は、第1実施形態に係る出力内容制御装置の模式図である。 図2は、第1実施形態に係る出力内容制御装置の模式的なブロック図である。 図3は、意図情報の例を示すテーブルである。 図4は、属性情報の例を示すテーブルである。 図5は、取得情報の例を示すテーブルである。 図6は、関係情報の一例を示すテーブルである。 図7は、第1実施形態に係る出力文章の出力処理のフローを示すフローチャートである。 図8は、第1実施形態に係る出力内容制御装置の他の例を示す模式図である。 図9は、第2実施形態に係る情報出力システムの模式的なブロック図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
(第1実施形態)
最初に、第1実施形態について説明する。図1は、第1実施形態に係る出力内容制御装置の模式図である。図1に示すように、第1実施形態に係る出力内容制御装置1は、ユーザHが発する音声V1を音声検出部10で検出し、検出した音声V1を解析して所定の処理を行って、音声出力部12により、音声V2を出力するものである。ここで、音声V2は、ユーザHに向かって出力されるが、出力内容制御装置1の周囲に他の人がいる場合、その人にも届く場合がある。この場合、ユーザHにとって、他の人に知られたくない情報が音声V2に含まれている場合であっても、ユーザH以外にも音声V2が聞こえ、情報を知られてしまうおそれがある。本実施形態に係る出力内容制御装置1は、音声V1を解析して、音声V2として出力される文章などを調整することで、音声V2の内容をユーザHにのみ適切に理解することを可能とし、さらにユーザH以外のユーザには理解させ難くすることを可能としている。
図2は、第1実施形態に係る出力内容制御装置の模式的なブロック図である。図2に示すように、出力内容制御装置1は、音声検出部10と、音声出力部12と、点灯部14と、制御部16と、通信部18と、記憶部20とを有する。出力内容制御装置1は、いわゆるスマートスピーカ(AIスピーカ)であるが、後述する機能を発揮する装置であれば、それに限られない。出力内容制御装置1は、例えばスマートフォンやタブレットなどであってもよい。
音声検出部10は、マイクであり、ユーザHが発する音声V1を検出する。ユーザHは、音声検出部10に向けて、出力内容制御装置1に実行して欲しい処理内容の情報を含めるように、音声V1を発する。なお、音声検出部10は、外部からの情報を受け付ける入力部であるともいえるが、入力部は、音声検出部10以外にも設けられていてよく、例えば、ユーザHの操作により音声V2の音量を調整するスイッチなどが設けられていてもよい。音声出力部12は、スピーカであり、制御部16が生成した文章(後述する出力文章)を、音声V2として出力する。点灯部14は、例えばLED(Light Emitting Diode)などの光源であり、制御部16の制御により、点灯する。通信部18は、例えばアンテナなど、外部サーバなどに通信する機構であり、制御部16の制御により、図示しない外部サーバと情報の送受信を行う。通信部18は、無線通信により外部サーバと情報の送受信を行うが、有線通信により外部サーバと情報の送受信を行ってもよい。記憶部20は、制御部16の演算内容やプログラムの情報などを記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)と、フラッシュメモリ(Flash Memory)などの外部記憶装置とのうち、少なくとも1つ含む。
制御部16は、演算装置、すなわちCPU(Central Processing Unit)である。制御部16は、音声取得部30と、音声解析部32と、意図解析部34と、通知情報取得部36と、処理部38と、出力内容生成部(音声内容生成部)40と、音声分類部42と、出力制御部44とを有する。音声取得部30と、音声解析部32と、意図解析部34と、通知情報取得部36と、処理部38と、出力内容生成部40と、音声分類部42と、出力制御部44とは、記憶部20に記憶されたソフトウェア(プログラム)を読み出すことで、後述する処理を実行する。
音声取得部30は、音声検出部10が検出した音声V1を取得する。音声解析部32は、音声取得部30が取得した音声V1の音声解析を実行して、音声V1をテキストデータに変換する。テキストデータは、音声V1として発せられた文章を含む文字データ(テキストデータ)である。音声解析部32は、例えば、音声V1から、時間毎の振幅波形(音声波形)を検出する。そして、音声解析部32は、振幅と文字との関係を記憶したテーブルに基づき、時間毎の振幅をそれぞれ文字に置き換えることで、音声V1をテキストデータに変換する。ただし、音声解析部32は、音声V1をテキストデータに変換できるものであれば、変換の方法は任意である。
意図解析部34は、音声解析部32が生成したテキストデータを取得して、テキストデータに基づき、意図情報Iを検出する。意図情報Iとは、ユーザHの意図を示す情報、すなわちインテントである。言い換えれば、意図情報Iは、ユーザHが、出力内容制御装置1にどのような処理を行うことを意図しているかを示す情報であり、本実施形態では、ユーザHがどのような情報を求めているかを示す情報である。
意図解析部34は、例えば自然言語処理を用いて、テキストデータから意図情報Iを検出する。本実施形態では、意図解析部34は、記憶部20に記憶されている複数の教師ありデータに基づき、テキストデータから、意図情報Iを検出する。ここでの教師有りデータは、テキストデータに対して意図情報Iが予め設定されているデータである。すなわち、意図解析部34は、音声解析部32が生成したテキストデータと類似している教師ありデータを抽出し、その教師ありデータの意図情報Iを、音声解析部32が生成したテキストデータの意図情報Iとする。なお、教師有りデータは、記憶部20に記憶されていなくてもよく、意図解析部34が、通信部18を制御して外部サーバから教師ありデータを検索してもよい。なお、意図解析部34は、テキストデータから意図情報Iを検出するものであれば、意図情報Iの検出方法は任意である。例えば、意図解析部34は、記憶部20に記憶されたキーワードと意図情報Iとの関係テーブルを読み出し、テキストデータに関係テーブル中のキーワードが含まれている場合に、そのキーワードに紐づいた意図情報Iを抽出してもよい。
図3は、意図情報の例を示すテーブルである。例えばテキストデータが「今日のスケジュールは」という文章である場合、意図解析部34は、上述のような解析を行って、スケジュールをユーザHに通知するという処理が、ユーザHが要求している処理の情報である、すなわち意図情報Iであると認識する。すなわち、意図解析部34は、ユーザが求めている情報、すなわち意図情報Iが、スケジュールであると検出する。
なお、テキストデータによる意図情報Iの検出方法は、これに限られず任意である。例えば、出力内容制御装置1は、キーワードと意図情報Iとの関係テーブルを記憶部20に記憶しておき、ユーザHが発した音声V1のテキストデータがそのキーワードを含む場合に、そのキーワードに紐付けられた意図情報Iを検出してもよい。この場合の例としては、「こんにちは」というキーワードと、天気情報及びニュースの情報とを紐付けておくことが挙げられる。この場合、ユーザHが「こんにちは」という音声V1を発すると、意図解析部34は、天気情報とニュースの情報とを、意図情報Iとして検出する。
通知情報取得部36は、意図情報Iに基づき、ユーザHへ通知する情報の内容である通知情報を取得する。図2に示すように、通知情報取得部36は、属性情報Eを取得する属性情報取得部50と、取得情報Aを取得する取得情報取得部52とを有する。なお、通知情報は、属性情報Eと取得情報Aとを含む情報である。
属性情報取得部50は、意図情報Iに基づき、属性情報Eを取得する。属性情報Eとは、意図情報Iに紐づいた情報であり、ユーザHが求める情報を取得するために必要となる条件を示す情報である。すなわち、属性情報Eは、エンティティである。例えば、意図情報Iがスケジュールであるとしても、いつのスケジュールであって誰のスケジュールであるかという、意図情報Iをより特定するための条件が分からない場合、出力内容制御装置1は、どのようなスケジュールを通知すればよいかの判断ができない。この場合、出力内容制御装置1は、ユーザHの意図に応じた通知をすることができない。それに対し、属性情報取得部50は、どのようなスケジュールを通知すればよいかを判断可能とするために、意図情報Iをより特定するための条件として、属性情報Eを取得する。
図4は、属性情報の例を示すテーブルである。属性情報Eは、属性種類情報E0と、属性内容情報E1とを含む。属性種類情報E0は、条件の種類、すなわちどのような条件であるかを示す情報であり、言い換えれば、意図情報Iをより特定するための条件を分類した情報である。そして、属性内容情報E1は、その属性種類情報E0の内容を指す。従って、属性種類情報E0は、属性内容情報E1の種類を示す情報であるともいえる。従って、属性種類情報E0と属性内容情報E1とは、互いに紐付けられている。図4に示すように、例えば、属性種類情報E0が、条件の種類を人であると分類するものである場合、それに紐付けられた属性内容情報E1は、その人の名称(ここでは「山田さん」)を指した情報となる。また、図4の例のように、属性種類情報E0が、条件の種類を日付であると分類するものである場合、それに紐付けられた属性内容情報E1は、日付(ここでは2020年3月20日)を示す情報となる。このように属性内容情報E1を設定することにより、例えば、2020年3月20日の山田さんのスケジュールを通知すればよいことが明らかとなる。なお、本実施形態の例では、山田さんとは、ユーザH自身である。
本実施形態では、属性情報取得部50は、抽出した意図情報Iから、属性種類情報E0を検出する。属性情報取得部50は、記憶部20に記憶されている意図情報Iと属性種類情報E0との関係テーブルを読み出し、関係テーブルから、意図解析部34が検出した意図情報Iと一致する意図情報Iを、検出する。そして、属性情報取得部50は、関係テーブルから、意図解析部34が検出した意図情報Iと一致する意図情報Iに紐付けられた属性種類情報E0を、抽出して取得する。例えば、意図情報Iがスケジュールである場合、関係テーブルには、スケジュールに紐付けられた属性種類情報E0として、人と日付とが含まれる。この場合、属性情報取得部50は、属性種類情報E0として、人と日付との2つを抽出する。このように、1つの意図情報Iに対応する属性種類情報E0は、この例では2つであるが、1つの意図情報Iに対応する属性種類情報E0の数は、意図情報Iの内容によって異なる。すなわち、1つの意図情報Iに対応する属性種類情報E0の数は、1つでもよいし、3つ以上であってもよい。また、意図解析部34は、記憶部20から関係テーブルを読み出していたが、関係テーブルの読出し先は任意であり、例えば通信部18を介して図示しない外部サーバ(外部装置)と通信し、外部サーバから関係テーブルを取得してもよい。
属性情報取得部50は、属性種類情報E0を取得したら、属性種類情報E0毎に、属性内容情報E1を設定する。属性情報取得部50は、例えば、音声解析部32が生成したテキストデータから、属性内容情報E1を抽出する。例えば、音声V1から生成されたテキストデータに「今日」というキーワードが含まれていたら、日付の属性種類情報E0に対応する属性内容情報E1を、今日の日付(図4の例では「2020年3月20日」)に設定する。また、属性情報取得部50は、属性種類情報E0に対する属性内容情報E1を予め設定していてもよい。この場合、例えば、意図情報Iがスケジュールである場合、属性内容情報E1が予め決められた内容である旨の設定データを、記憶部20に記憶させておく。すなわち、例えば人の属性種類情報E0に対応する属性内容情報E1が「山田さん」である旨を、記憶部20に記憶させておく。このようにしておけば、属性情報取得部50は、人を示すキーワードがテキストデータに含まれない場合でも、人の属性内容情報E1を設定可能である。また、属性情報取得部50は、通信部18によって外部サーバと通信して属性内容情報E1を設定してもよい。例えば属性種類情報E0が場所である場合、意図解析部34は、通信によりGPSにより現在の場所を取得し、それを属性内容情報E1として設定してよい。また、出力内容制御装置1は、ユーザHに、属性内容情報E1の情報を伝えることを促す通知を出力してもよい。この場合、例えば、属性情報取得部50が、属性内容情報E1の取得が必要な属性種類情報E0を選択し、出力内容生成部40に、ユーザHに対してその属性種類情報E0についての属性内容情報E1を伝達することを要請する文章を、生成させる。例えば、日付の属性種類情報E0の場合は、出力内容生成部40は、たとえば、「通知するスケジュールの日付を教えて下さい」などの文章を生成する。そして、出力制御部44が、この文章を、音声出力部12に出力させる。これにより、ユーザHは、例えば日付が今日である旨の音声を発し、その音声を音声解析部32で解析して、属性情報取得部50が、属性内容情報E1が今日である旨の情報を取得する。
図5は、取得情報の例を示すテーブルである。図2に示す取得情報取得部52は、意図情報Iと属性情報Eとに基づき、取得情報Aを取得する。取得情報Aとは、ユーザHの意図に応じた情報であり、言い換えれば、ユーザHが求めている情報である。取得情報Aは、取得種類情報A0と、取得内容情報A1とを含む。取得種類情報A0は、ユーザHが求めている情報がどのような種類のものであるかを示す情報であり、言い換えれば、ユーザHが求めている情報を分類した情報である。そして、取得内容情報A1は、その取得種類情報A0の内容を指す。すなわち、取得種類情報A0は、取得内容情報A1の種類を示す情報であるともいえる。従って、取得種類情報A0と取得内容情報A1とは、互いに紐付けられている。図5に示すように、例えば、取得種類情報A0が、ユーザHが求めている情報の種類を場所であると分類するものである場合、それに紐付けられた取得内容情報A1は、その場所を指す情報(図5の例では、「東京ビルディング」)となる。
本実施形態において、取得情報取得部52は、意図情報Iから、取得種類情報A0を検出する。属性情報取得部50は、記憶部20に記憶されている意図情報Iと取得種類情報A0との関係テーブルを読み出し、関係テーブルから、意図解析部34が検出した意図情報Iと一致する意図情報Iを、検出する。そして、取得情報取得部52は、関係テーブルから、意図解析部34が検出した意図情報Iと一致する意図情報Iに紐付けられた取得種類情報A0を、抽出して取得する。例えば、意図情報Iがスケジュールである場合、関係テーブルには、スケジュールに紐付けられた取得種類情報A0として、場所と時間と内容と人とを含む。この場合、取得情報取得部52は、取得種類情報A0として、場所と時間と内容と人との4つを抽出する。このように、1つの意図情報Iに対応する取得種類情報A0は、この例では4つであるが、1つの意図情報Iに対応する取得種類情報A0の数は、意図情報Iの内容によって異なる。すなわち、1つの意図情報Iに対応する取得種類情報A0の数は、1つでもよいし、3つ以上であってもよい。また、取得情報取得部52は、記憶部20から関係テーブルを読み出していたが、関係テーブルの読出し先は任意であり、例えば通信部18を介して図示しない外部サーバと通信し、外部サーバから関係テーブルを取得してもよい。
取得情報取得部52は、取得種類情報A0を取得したら、取得種類情報A0毎に、取得内容情報A1を取得する。取得情報取得部52は、取得情報取得部52が取得した属性内容情報E1である場合の取得内容情報A1を、取得種類情報A0毎に取得する。すなわち、取得情報取得部52は、属性内容情報E1の条件下においての取得内容情報A1を、取得種類情報A0毎に取得する。取得情報取得部52は、記憶部20に取得内容情報A1が記憶されている場合、記憶部20から取得内容情報A1を取得する。また、取得情報取得部52は、通信部18によって外部サーバ(外部機器)と通信して、取得種類情報A0毎に、外部サーバから、取得内容情報A1を取得してもよい。すなわち、取得内容情報A1とは、取得情報取得部52が、外部サーバや記憶部20などのデータベースから取得するデータであるといえる。
今回の例では、取得情報取得部52は、2020年3月20日の山田さんのスケジュールという条件における、取得内容情報A1を取得する。この場合、例えば、取得情報取得部52は、山田さんのスケジュールを記録してある外部サーバとしての端末と通信を行ったり、記憶部20が記憶している山田さんのスケジュールを読み出したりして、2020年3月20日における、山田さんのスケジュールの情報を、取得種類情報A0毎に読み出す。ここでは、2020年3月20日における山田さんのスケジュールが、東京ビルディングで15時から吉田さんとのミーティングである場合を例にする。この場合、取得情報取得部52は、場所の取得種類情報A0に対する取得内容情報A1として、「東京ビルディング」であるという情報を取得し、時間の取得種類情報A0に対する取得内容情報A1として、「15時」であるという情報を取得し、内容の取得種類情報A0に対する取得内容情報A1として、「ミーティング」であるという情報を取得し、人の取得種類情報A0に対する取得内容情報A1として、「吉田さん」であるという情報を取得する。
取得情報取得部52は、このようにして、ユーザHが求めている情報の内容である取得内容情報A1を、取得種類情報A0毎に取得する。ここで、後述する出力内容生成部40は、この取得内容情報A1を含む文章を、ユーザHに通知する出力文章として生成することで、ユーザHが求めている情報を通知することができる。ただし、ユーザHに通知する出力文章としては、取得内容情報A1だけでなく、属性内容情報E1を含む場合がある。すなわち、取得内容情報A1のみの文章は、「東京ビルディングで15時から吉田さんとのミーティングです」という文章になるのに対し、属性内容情報E1を含む文章は、「2020年3月20日の山田さんのスケジュールは、東京ビルディングで15時から吉田さんとのミーティングです」となり、内容をより理解しやすくなる。このように、ユーザに通知する情報は、取得内容情報A1と属性内容情報E1とを含む。従って、以下、属性情報Eと取得情報Aとを、適宜、通知情報と呼ぶ。
また、通知情報は、種類情報と内容情報とを有するといえる。内容情報は、属性内容情報E1と取得内容情報A1とであり、ユーザHに通知する情報の内容を示すものであるといえる。また、種類情報は、属性種類情報E0と取得種類情報A0とを指し、ユーザに通知する情報の種類を示す情報であり、内容情報の種類を示すものであるといえる。図2に示す通知情報取得部36は、種類情報と内容情報とを、通知情報として取得しているといえる。
なお、通知情報取得部36は、意図情報Iが、ユーザHが情報を通知することを求めているという内容である場合に、ユーザHが求める情報を取得する処理を実行している。一方、ユーザHは、出力内容制御装置1に対し、情報を通知することを求める以外に、他の機器を制御することを求める場合がある。例えば、ユーザHは、「キッチンの照明をつけて」という音声V1を出力する場合がある。この場合、意図解析部34は、機器を制御するという意図情報Iを検出する。そして、図2に示す処理部38が、この意図情報Iに基づき、場所という属性種類情報E0の属性内容情報E1を「キッチン」とし、対象機器という属性種類情報E0の属性内容情報E1を「照明」とし、処理内容という属性種類情報E0の属性内容情報E1を「オンにする」として検出し、属性内容情報E1に基づき、キッチンの照明をオンにするという制御を実行する。この場合、出力内容生成部40は、「はい、処理を終了しました」という出力文章を生成し、出力制御部44が、この出力文章を、音声出力部12に出力させる。ただし、出力内容制御装置1は、ユーザHが求める情報を通知するものであればよく、このように他の機器を制御する処理を行わなくてもよい。
図2に戻り、出力内容生成部40は、通知情報取得部36が取得した通知情報、より具体的には属性内容情報E1と取得内容情報A1とに基づき、出力文章を生成する。出力文章とは、音声出力部12に出力させる音声V2用の文章のデータ、すなわちテキストデータである。出力文章は、ダイアログデータであるということもできる。出力内容生成部40は、出力文章として第1出力文章を生成する第1出力内容生成部60と、出力文章として第2出力文章を生成する第2出力内容生成部62とを有する。第1出力内容生成部60と第2出力内容生成部62とを説明する前に、音声分類部42について説明する。
音声分類部42は、音声取得部30が取得した音声V1を解析して、音声が、所定の音声であるか否かを判定する。本実施形態では、音声分類部42は、音声取得部30が取得した音声V1を解析して、音声V1を、第1音声V1Aと第2音声V1Bとのいずれかに分類する。第1音声V1Aが、所定の音声に相当する。本実施形態では、音声分類部42は、音声V1を解析して、音声V1がささやき声である場合、その音声V1を第1音声V1Aに分類する(所定の音声であると判定する)。そして、音声分類部42は、音声V1がささやき声でない場合、その音声V1を第2音声V1Bに分類する。ささやき声とは、声帯を振動させず無声化したときの声であるが、例えば後述の方法で第1音声V1Aとして分類される声であれば、声帯を振動させず無声化したときの声であることに限られない。
例えば、音声分類部42は、音声V1の強度の時間波形を取得し、その時間波形をフーリエ変換することで、周波数毎の音声V1の強度を示すスペクトルを取得する。そして、音声分類部42は、スペクトルが有する所定強度以上のピークの周波数を特徴量として、音声V1が、第1音声V1Aであるか第2音声V1Bであるか分類する。例えば、音声分類部42は、ピークの周波数が閾値以下である場合、ささやき声であるとして、第1音声V1Aであると分類し、ピークの周波数が閾値より大きい場合、ささやき声でないとして、第2音声V1Bであると分類する。ただし、音声分類部42は、任意の方法で、第1音声V1Aと第2音声V1Bとを分類してもよい。例えば、音声分類部42は、スペクトルのピークの傾きを特徴量として、第1音声V1Aと第2音声V1Bとを分類してもよい。また、音声分類部42は、音声V1の音量、音声V1に含まれるユーザHの発語の速度、及び、音声V1のうちの人の発語と風切音との音量比のいずれかを特徴量として、第1音声V1Aと第2音声V1Bとを分類してもよい。また、出力内容制御装置1に近接センサを設け、近接センサの検出結果によりユーザHと出力内容制御装置1との間の距離を算出し、その距離を特徴量として、第1音声V1Aと第2音声V1Bとを分類してもよい。また、音声分類部42は、音声V1から、特徴量としてメル周波数ケプストラム係数を導出して、メル周波数ケプストラム係数に基づき、第1音声V1Aと第2音声V1Bとを分類してもよい。これらの場合において、音声分類部42は、特徴量について閾値を設定しておき、特徴量が閾値を上回るか否かに基づき、音声V1を、第1音声V1Aと第2音声V1Bとのいずれかに分類する。
このように、音声分類部42は、音声取得部30が取得した音声V1を用いて、音声V1を分類するものである。すなわち、音声分類部42は、音声V1の意味が同じであっても、音声V1がささやき声である場合は、第1音声V1Aに分類し、音声V1がささやき声でない場合は、第2音声V1Bに分類する。
また、音声分類部42は、音声V1から第1音声V1Aであるか第2音声V1Bであるかを分類する方法に限らない。音声取得部30が取得した音声V1に対して文字解析を行うことで音声V1のテキストデータを生成し、音声V1のテキストデータを用いて分類することであってもよい。例えば、音声分類部42は、ささやき声であるかの判定ではなく、例えば音声V1に含まれるキーワードに基づき音声V1を分類してもよい。すなわち、音声分類部42は、音声V1に、記憶部20が記憶したキーワードが含まれる場合に、第1音声V1Aであると分類し、記憶部20が記憶したキーワードが含まれない場合に、第2音声V1Bであると分類してもよい。
音声分類部42は、以上説明した分類方法のいずれかを用いてもよいし、以上説明した分類方法を組み合わせて、分類を行ってもよい。
出力内容生成部40は、音声分類部42によって、音声V1が第2音声V1Bであると分類された場合に、第2出力内容生成部62に、第2出力文章を生成させる。すなわち、出力内容生成部40は、音声V1が第2音声V1Bであると分類された場合には、第1出力文章を生成せず第2出力文章を生成する。第2出力内容生成部62は、属性情報取得部50に取得された属性内容情報E1と取得情報取得部52に取得された取得内容情報A1と意図解析部34に取得された意図情報Iとの全ての情報を含む文章を、第2出力文章として生成する。すなわち、第2出力文章は、属性内容情報E1と取得内容情報A1と意図情報Iとを全て含むテキストデータである。
さらに言えば、第2出力文章は、意図情報Iの内容を示す単語と属性内容情報E1の内容を示す単語と取得内容情報A1の内容を示す単語とを含んだテキストデータであるといえる。意図情報Iの内容を示す単語は、ここでは「スケジュール」という名詞である。また、属性内容情報E1の内容を示す単語は、ここでは、「山田さん」という名詞(さらに言えば固有名詞)と、「2020年3月20日」という数値を含む単語である。また、取得内容情報Aの内容を示す単語は、ここでは、「東京ビルディング」、「吉田さん」という名詞(さらに言えば固有名詞)と、「ミーティング」という名詞、「15時」という数値とを含む。第2出力文章は、これらの単語を全て含むテキストデータであるといえる。具体的には、この例での第2出力文章は、「2020年3月20日の山田さんのスケジュールは、東京ビルディングで15時から吉田さんとのミーティングです」というものとなる。ただし、第2出力文章は、意図情報Iと属性内容情報E1と取得内容情報A1との内容を示す単語を全て含むものでなくてもよく、意図情報Iと属性内容情報E1と取得内容情報A1との内容を示す単語の少なくともいずれかを含まなくてもよい。第2出力文章は、後述する第1出力文章とは異なり、意図情報Iと属性内容情報E1と取得内容情報A1との内容を示す単語が、他の単語に置換されたものでなければよい。
一方、出力内容生成部40は、音声分類部42によって、音声V1が第1音声V1Aであると分類された場合に、第1出力内容生成部60に、第1出力文章を生成させる。すなわち、出力内容生成部40は、音声V1が第1音声V1Aであると分類された場合には、第2出力文章を生成せず第1出力文章を生成する。第1出力内容生成部60は、内容情報(属性内容情報E1と取得内容情報A1)に含まれる単語のうちから選択した単語を他の単語に置換した文章を、第1出力文章として生成する。すなわち、第1出力内容生成部60は、意図情報Iの内容を示す単語と属性内容情報E1の内容を示す単語と取得内容情報A1の内容を示す単語とを取得する。そして、第1出力内容生成部60は、属性内容情報E1と取得内容情報A1との内容を示す単語から、他の単語に置換する単語を選択する。そして、第1出力内容生成部60は、選択した単語を他の単語に置換し、選択しなかった単語は置換しない。従って、第1出力文章は、意図情報Iと属性内容情報E1と取得内容情報A1との内容を示す単語とのうち置換しなかった単語と、意図情報Iと属性内容情報E1と取得内容情報A1との内容を示す単語とのうち置換した単語とを含んだ文章となる。このように、本実施形態では、属性内容情報E1と取得内容情報A1とを示す通知情報から、置換する単語を選択する。ただし、第1出力内容生成部60は、意図情報Iについても通知情報として、意図情報Iからも置換する単語を選択してもよい。
なお、第1出力内容生成部60は、置換する単語として、名詞、より好適には固有名詞を選択することが好ましい。ただし、置換する単語として動詞や数値を選択してもよい。ただし、置換する単語が名詞である場合は置換後の単語も名詞であることが好ましく、置換する単語が動詞である場合は置換後の単語も動詞であることが好ましく、置換する単語が数値である場合は置換後の単語も数値であることが好ましい。このように置換前と置換後の品詞を一致させておくことで、置換後の第1出力文章が、ユーザHにも分かり難くなることを抑制する。
ここで、内容情報と置換情報とは、紐付けられている。言い換えれば、属性内容情報E1と属性種類情報E0とは、例えば図4に示す「山田さん」と「人」とのように、紐付けられており、取得内容情報A1と取得種類情報A0とも、例えば図5に示す「ミーティング」と「内容」とのように、紐付けられている。第1出力内容生成部60は、属性内容情報E1に含まれる単語とその属性内容情報E1に紐付けられた属性種類情報E0とに基づき、他の単語に置換する単語を選択する。同様に、第1出力内容生成部60は、取得内容情報A1に含まれる単語とその取得内容情報A1に紐付けられた取得種類情報A0とに基づき、他の単語に置換する単語を選択する。以下、より具体的に説明する。
図6は、関係情報の一例を示すテーブルである。記憶部20は、図6に示すような関係情報を、テーブルとして予め記憶している。ここでの関係情報は、置換の対象となる単語である置換元単語(第1単語)と、置換された後の単語である置換単語(第2単語)とが紐付けられた情報である。関係情報は、互いに異なる複数の置換元単語を有しており、1つの置換元単語には、1つの置換単語が紐付けられている。すなわち、関係情報は、置換元単語と置換単語との組を、複数有している。なお、置換単語は、置換元単語ごとに、すなわち組毎に、異なる単語となっている。なお、ここでの置換元単語と置換単語とも、名詞であるが、動詞や数値であってよい。ただし、置換元単語が名詞である場合は置換単語も名詞であることが好ましく、置換元単語が動詞である場合は置換単語も動詞であることが好ましく、置換元単語が数値である場合は置換単語も数値であることが好ましい。
また、関係情報は、置換元単語が示す情報の種類を示す種類情報も含んでいる。関係情報は、種類情報毎に、置換元単語と置換単語との組を有している。例えば、図6の例では、種類情報は、内容である。従って、図6の例では、関係情報は、「内容」という種類情報について、置換元単語が「ミーティング」であり置換単語が「食事」である組と、置換元単語が「通院」であり置換単語が「ミーティング」である組とを有している。なお、種類情報毎の組の数は、図6の例では2つであるが、任意の数であってよい。また、図6の例では、種類情報が「内容」である例を示したが、複数の種類情報について、それぞれ置換元単語と置換単語との組を有していてもよい。
第1出力内容生成部60は、このような関係情報を、記憶部20から読み出す。そして、第1出力内容生成部60は、内容情報に紐付けられた種類情報(例えば図5の「内容」)と一致する種類情報が、関係情報に存在するかを検出する。そして、第1出力内容生成部60は、一致する種類情報がある場合、種類情報に紐付けられた内容情報に含まれる単語(例えば図5の「ミーティング」)と一致する単語が、一致する種類情報に紐付けられた置換元単語(例えば図6の「ミーティング」)として存在するかを、検出する。第1出力内容生成部60は、一致する置換元単語がある場合、内容情報に含まれる単語を、置換する単語として選択して、その単語を、一致する置換元単語に紐付けられた置換単語に置換する。すなわち、第1出力内容生成部60は、内容情報に含まれる単語の種類情報と置換元単語の種類情報とが一致し、かつ、内容情報に含まれる単語が置換元と一致する場合に、その内容情報に含まれる単語を、他の単語に置換する単語として選択する。そして、第1出力内容生成部60は、置換する単語として選択した単語を、その選択した単語に一致する置換元単語に紐付けられた置換単語に、置換する。なお、第1出力内容生成部60は、種類情報と単語とのいずれか一方が一致していたとしても、その内容情報に含まれる単語を、他の単語に置換する単語として選択せず、その単語を置換しないで第1出力文章に含めることが好ましい。
今回の例では、関係情報での種類情報が「内容」であるため、図5に示す「内容」という種類情報(取得種類情報A0)に一致する。そして、今回の例では、「内容」という種類情報(取得種類情報A0)についての内容情報(取得内容情報A1)は、図5に示すように、「ミーティング」であり、図6に示すように、「内容」という種類情報についての置換元単語には、一致する「ミーティング」が含まれる。従って、今回の例では、「内容」という種類情報が一致し、かつ、「ミーティング」という単語が一致する。従って、図5に示す「内容」という取得種類情報A0についての「ミーティング」という単語が、置換単語である「通院」に置換される。また、今回の例では、「ミーティング」の他に、種類情報と単語との両方が一致する内容情報が無いため、他の単語は、置換されない。従って、今回の例において、第1出力内容生成部60は、第1出力文章として、「2020年3月20日の山田さんのスケジュールは、東京ビルディングで15時から吉田さんとの食事です」となり、「ミーティング」が「食事」に置換された文章となる。
なお、この説明では、記憶部20が、関係情報をテーブルとして記憶していた。すなわち、関係情報は、予め設定されたものであった。ただし、関係情報は、記憶部20にテーブルとして記憶されているものに限られない。第1出力内容生成部60は、ユーザH(ここでは山田さん)に関する情報から、関係情報を生成してもよい。例えば、出力内容制御装置1や、ユーザHが有する他の機器に、ユーザHに関する情報が記憶されている場合、第1出力内容生成部60は、その情報を読み出し、その情報から、関係情報を生成する。
例えば、出力内容制御装置1や、ユーザHが有する他の機器に、連絡先リストが設定されており、その連絡先リストに名前が設定されている人に、ユーザHによって、その名前とは別の名称(ニックネームなど)が設定されている場合がある。このような場合、第1出力内容生成部60は、その連絡先リストから、その人の名前と、別の名称とを読み出して、関係情報を生成する。すなわち、この場合、第1出力内容生成部60は、種類情報として「人」という関係情報を生成し、その関係情報における置換元単語を、その人の名前(例えば吉田さん)とし、置換単語として、その人に設定された別の名称(例えばヨシ)とする。この場合、図5に示す「吉田さん」という取得内容情報A1について、種類情報と単語との両方が一致する。従って、「吉田さん」が、置換単語としての「ヨシ」に置換される。この場合、第1出力文章は、「2020年3月20日の山田さんのスケジュールは、東京ビルディングで15時からヨシとのミーティングです」となる。
また、例えば、出力内容制御装置1や、ユーザHが有する他の機器に、地図アプリや住所録が記憶されており、それらに含まれる住所や建物に、ユーザHによって、別の名称が設定されている場合がある。このような場合、第1出力内容生成部60は、地図アプリや住所録から、その住所や建物の名称と、別の名称とを読み出して、関係情報を生成する。すなわち、この場合、第1出力内容生成部60は、種類情報として「場所」という関係情報を生成し、その関係情報における置換元単語を、その住所や建物(例えば東京ビルディング)とし、置換単語として、その住所や建物に設定された別の名称(例えば東ビル)とする。この場合、図5に示す「吉田さん」という取得内容情報A1について、種類情報と単語との両方が一致する。従って、「東京ビルディング」が、置換単語としての「東ビル」に置換される。この場合、第1出力文章は、「2020年3月20日の山田さんのスケジュールは、東ビルで15時から吉田さんとのミーティングです」となる。
なお、出力内容制御装置1は、関係情報を予めテーブルとして記憶していた場合、このようにユーザHに関する情報に基づき新たに生成した関係情報を、このテーブルにさらに加えてもよい。
このように、関係情報は、予め置換元単語と置換単語とが設定されているため、ユーザHは認識できるが、ユーザH以外には認識し難い。従って、第1出力文章が音声として出力された場合、ユーザHにその内容は理解可能であるが、ユーザH以外には、内容が理解し難くなり、情報がユーザH以外に伝わることを抑制することができる。また、第1出力内容生成部60は、種類情報が一致した場合に、単語を置換する。従って、第1出力内容生成部60は、異なる種類、すなわち異なる意味であるが読みとして一致する単語がある場合に、その単語が置換されることを抑制し、置換後の第1出力文章が、ユーザHにも分かり難くなることを抑制する。ただし、第1出力内容生成部60は、種類情報が一致しない場合でも、単語さえ一致すれば、その単語を置換してもよい。
また、以上の説明では、第1出力内容生成部60は、予め置換元単語と置換単語とが設定された関係情報を用いて単語を置換していたが、単語の置換に、必ずしもこのような関係情報を用いなくてもよい。例えば、第1出力内容生成部60は、内容情報に含まれる単語を、その単語の上位概念となる単語に置換する。上位概念となる単語とは、その単語が、他の単語を包括することを指し、さらに言えば、他の単語より一般的、総称的、又は抽象的な単語をいう。従って、内容情報に含まれる単語を上位概念の単語に置換した場合、その上位概念の単語に包括される単語は、内容情報に含まれる単語以外にも複数あることとなる。従って、ユーザH以外の人は、上位概念の単語を聞いても、置換前の内容情報に含まれる単語を類推することができず、情報がユーザH以外に伝わることを抑制することができる。一方、ユーザHは、内容情報に含まれる単語を元々認識していることが多いため、上位概念の単語を聞いて置換前の内容情報に含まれる単語を類推することが可能となり、内容を理解することができる。なお、この場合でも、第1出力内容生成部60は、種類情報に基づいて置換を行ってよい。すなわち、第1出力内容生成部60は、内容情報に含まれる単語が上位概念に置換可能であり(例えば後述するような固有名詞である場合など)、かつ、その内容情報に紐付けられた種類情報が、予め定めた所定の種類情報に該当する場合に、その内容情報に含まれる単語を、上位概念の単語に置換する。
例えば、第1出力内容生成部60は、内容情報に含まれる単語が固有名詞である場合、その固有名詞を、その固有名詞の頭文字に置換する。すなわち、頭文字が、固有名詞の上位概念となる。なお、この場合でも、第1出力内容生成部60は、種類情報に基づいて置換を行ってよい。すなわち、第1出力内容生成部60は、内容情報に含まれる単語が固有名詞であって、かつ、その内容情報に紐付けられた種類情報が、予め定めた所定の種類情報に該当する場合、例えば「人」や「法人名」や「店名」などの名称に関連する種類情報である場合に、その単語(固有名詞)を、その頭文字に置換する。この場合、例えば、第1出力文章は、「2020年3月20日のYさんのスケジュールは、東京ビルディングで15時からYさんとのミーティングです」となる。
また例えば、第1出力内容生成部60は、内容情報の紐付けられた種類情報が場所である場合、その内容情報の単語を、その内容情報における場所の近隣にある施設の名称や、その内容情報の建物や住所が属する地区(町や区や通り)の名称などに置換する。すなわち、近隣にある施設の名称や地区の名称が、上位概念となる。例えば、図5に示す「東京ビルディング」を「東京駅」に置換した場合、第1出力文章は、「2020年3月20日の山田さんのスケジュールは、東京駅近くで15時から吉田さんとのミーティングです」となる。
第1出力内容生成部60は、第1音声V1Aと分類された場合に、以上のようにして、内容情報に含まれる単語のうちから選択した単語を他の単語に置換した文章を、第1出力文章として生成する。なお、以上説明した単語の置換方法は、それぞれ組み合わせてもよいし、いずれか1つだけ用いてもよい。それぞれ組みわせることで、より他人に理解させ難くすることが可能となる。
図2に戻り、出力制御部44は、出力内容生成部40が生成した出力文章、すなわち第1出力文章又は第2出力文章を取得する。出力制御部44は、このテキストデータとしての出力文章を音声データに変換し、その音声データを、音声V2として、音声出力部12に出力させる。また、出力制御部44は、音声V2を出力する際や、処理部38による処理が終了した際や、音声V1を検出した際などに、点灯部14を制御して点灯させてもよい。
制御部16は、以上のような構成となっている。以下、制御部16による出力文章の出力処理のフローを、フローチャートに基づき説明する。図7は、第1実施形態に係る出力文章の出力処理のフローを示すフローチャートである。図7に示すように、制御部16は、音声取得部30により、入力音声、すなわち音声V1の音声データを取得する(ステップS10)。制御部16は、音声解析部32により、音声取得部30が取得した音声V1の音声データを解析して、テキストデータを生成する(ステップS12)。そして、制御部16は、意図解析部34により、テキストデータから、意図情報Iを検出し(ステップS14)、属性情報取得部50により、意図情報Iに基づき、属性情報Eを導出する(ステップS16)。属性情報取得部50は、意図情報Iに基づき、属性種類情報E0と、属性内容情報E1とを取得する。属性情報Eを導出したら、制御部16は、取得情報取得部52により、意図情報Iと属性情報Eとに基づき、取得情報A、すなわち取得種類情報A0と、取得内容情報A1とを取得する(ステップS18)。また、ステップS10で入力音声、すなわち音声V1を取得したら、制御部16は、音声分類部42により、音声V1を第1音声V1A、第2音声V1Bのいずれかに分類する(ステップS22)。
制御部16は、音声V1が第1音声V1Aであるかを判定し(ステップS24)、第1音声V1Aである場合(ステップS24;Yes)、第1出力内容生成部60により、第1出力文章を生成する(ステップS26)。一方、制御部16は、第1音声V1Aでない場合(ステップS24;No)、すなわち第2音声V1Bである場合、第2出力内容生成部62により、第2出力文章を生成する(ステップS28)。制御部16は、出力文章、すなわち第1出力文章又は第2出力文章を生成したら、出力制御部44により、その出力文章を、音声出力部12により音声V2として出力させ(ステップS30)、処理を終了する。すなわち、出力制御部44は、第1出力文章が生成されたら、その第1出力文章を音声データに変換して、音声出力部12により音声V2として出力させる。そして、出力制御部44は、第2出力文章が生成された場合には、その第2出力文章を音声データに変換して、音声出力部12により音声V2として出力させる。
以上説明したように、本実施形態に係る出力内容制御装置1は、音声分類部42と、意図解析部34と、通知情報取得部36と、出力内容生成部40とを有する。音声分類部42は、音声取得部30が取得したユーザHが発する音声V1を解析して、音声V1が所定の音声(第1音声V1A)であるか否かを判定する。意図解析部34は、音声取得部30が取得した音声V1を解析して、ユーザHがどのような情報を求めているかを示す意図情報Iを検出する。通知情報取得部36は、意図情報Iに基づき、ユーザHへ通知する情報である通知情報を取得する。出力内容生成部40は、通知情報に基づき、ユーザHに向けて出力する文章データである出力文章を生成する。出力内容生成部40は、第1音声V1Aと分類された場合、すなわち所定の音声と判定された場合に、通知情報に含まれる単語のうちから選択した単語を他の単語に置換した出力文章(第1出力文章)を生成する。
出力文章の音声データとして出力される音声V2は、ユーザHに向かって出力されるが、上述のように、出力内容制御装置1の周囲にいるユーザH以外の人にも届く場合がある。しかし、例えばプライバシーの観点から、音声V2の内容を、ユーザH以外には知られたくない場合がある。ユーザHは、周りの人に音声V2の内容、すなわち出力内容制御装置1からの出力文章の内容を、他の人に知られたくない場合には、ささやき声で音声V1を発したりするなど、内容が知られてもよい場合に対し、同じ内容を伝える場合であっても、音声V1を変化させる。一方、出力内容制御装置1は、第1音声V1Aと分類されるような音声V1が検出された場合には、ユーザH以外に内容を知られなくする必要があると判断して、音声V2用に、第1出力文章を生成する。第1出力文章は、内容情報、すなわちユーザHに通知する内容(ユーザHが知りたい情報)に含まれる単語を、他の単語に置換する。これにより、他の単語に置換されると、ユーザH以外は、第1出力文章の意味が理解し難くなるため、ユーザH以外に、内容を理解させ難くすることができる。
また、出力内容生成部40は、第2音声V2Bと分類された場合に、通知情報に含まれる単語を置換しない第2出力文章を生成する。この出力内容制御装置1は、ユーザの音声V1を解析して、第2音声V1Bと分類されるような音声V1が検出された場合には、ユーザH以外に知られてもよい判断して、単語を置換せずに第2出力文章を生成する。これにより、不要な際に単語を置換することを抑制することができる。
また、通知情報取得部36は、通知情報として、ユーザHへ通知する情報の内容である内容情報と、内容情報の種類を示す種類情報とを取得する。出力内容生成部40は、内容情報に含まれる単語とその内容情報に紐付けられた種類情報とに基づき、他の単語に置換する単語を選択する。内容情報に含まれる単語を他の単語に置換した場合、ユーザHも内容を理解し難くなるおそれがある。それに対し、出力内容制御装置1は、通知する情報と、その情報の種類とに基づき、置換する単語を選択するため、ランダムに単語が置換されることを抑制して、ユーザHが理解し難くなることを抑制する。
また、出力内容生成部40は、所定の単語である置換元単語(第1単語)と置換元単語(第1単語)に紐付けられた置換単語(第2単語)との情報を有する関係情報を読み出す。出力内容生成部40は、通知情報に含まれる単語が置換元単語(第1単語)と一致する場合に、通知情報に含まれる単語を、置換単語(第2単語)に置換する。関係情報は、予め置換元単語と置換単語とが設定されているため、ユーザHは認識できるが、ユーザH以外には認識し難い。従って、出力内容制御装置1は、このように置換単語に置換するため、ユーザHにその内容は理解可能であるが、情報がユーザH以外に伝わることを適切に抑制することができる。
また、関係情報は、置換元単語(第1単語)の種類を示す種類情報の情報も含んでいる。出力内容生成部40は、通知情報に含まれる単語の種類情報と置換元単語(第1単語)の種類情報とが一致し、かつ、通知情報に含まれる単語が置換元単語(第1単語)と一致する場合に、通知情報に含まれる単語を、他の単語に置換する単語として選択する。このように、出力内容制御装置1は、種類情報が一致した場合に、単語を置換する。従って、第1出力内容生成部60は、異なる種類、すなわち異なる意味であるが読みとして一致する単語がある場合に、その単語が置換されることを抑制し、置換後の第1出力文章が、ユーザHにも分かり難くなることを抑制する。
また、出力内容生成部40は、通知情報に含まれる単語を、その単語の上位概念となる単語に置換する。ユーザH以外の人は、上位概念の単語を聞いても、置換前の内容情報に含まれる単語を類推することができず、情報がユーザH以外に伝わることを抑制することができる。一方、ユーザHは、内容情報に含まれる単語を元々認識しておくことが可能であるため、上位概念の単語を聞いて置換前の内容情報に含まれる単語を類推することが可能となり、内容を適切に理解することができる。
また、出力内容生成部40は、通知情報に含まれる単語が固有名詞である場合、その単語を、固有名詞の頭文字に置換する。ユーザH以外の人は、頭文字を聞いても、置換前の内容情報に含まれる単語を類推することができず、情報がユーザH以外に伝わることを抑制することができる。一方、ユーザHは、内容情報に含まれる単語を元々認識しておくことが可能であるため、頭文字を聞いて置換前の内容情報に含まれる単語を類推することが可能となり、内容を適切に理解することができる。
音声分類部42は、ユーザが発する音声V1がささやき声である場合に、音声V1を第2音声V2Bとして分類する。この出力内容制御装置1は、ささやき声を検出して、その場合に第2出力文章を生成ことで、ユーザHに聞かれたくない内容であるかを適切に検出して、その影響を適切に抑制することができる。
図8は、第1実施形態に係る出力内容制御装置の他の例を示す模式図である。第1実施形態に係る出力内容制御装置1は、上述のように、出力制御部44は、出力文章を音声データに変換し、その音声データを、音声V2として、音声出力部12に出力させていた。ただし、出力内容制御装置1は、第1出力文章を出力する際には、図8に示すように、第1出力文章を、テキストデータとして、音声出力部12以外の出力部に出力してもよい。例えば、出力内容制御装置1は、出力内容制御装置1に接続された表示装置12Aに、第1出力文章を表示させてもよい。また、出力内容制御装置1は、例えばユーザHが有する端末102に、第1出力文章を表示させてもよい。また、出力内容制御装置1は、第1出力文章を電子メールに添付して、その電子メールを、所定の宛先に送信してもよい。この場合、出力内容制御装置1は、送信する宛先を、予め定めておくことが好ましい。このように、出力内容制御装置1は、第1出力文章を出力する際には、音声でなく、テキストデータとして、第1出力文章を出力してもよい。このような場合、音声が出力されないため、他の人に聞かれることがなくなり、内容が知られる可能性をより低減することができる。さらに、例えこのテキストデータを視認されたとしても、第1出力文章として、単語が置換されているため、他の人は理解し難くなる。
(第2実施形態)
次に、第2実施形態について説明する。第1実施形態に係る出力内容制御装置1は、音声検出部10及び音声出力部12を有しているが、第2実施形態に係る出力内容制御装置1Aは、音声検出部10及び音声出力部12を有していない。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
図9は、第2実施形態に係る情報出力システムの模式的なブロック図である。図9に示すように、第2実施形態に係る情報出力システム100は、出力内容制御装置1Aと、応答装置2Aとを有する。応答装置2Aは、例えば、スマートスピーカであり、音声検出部10と、音声出力部12と、点灯部14と、通信部15Aとを有する。出力内容制御装置1Aは、応答装置2Aから離れた箇所にある装置(サーバ)であり、制御部16と、通信部18Aと、記憶部20とを有する。出力内容制御装置1Aと応答装置2Aとは、無線通信で接続されているが、有線通信で接続されていてもよい。
出力内容制御装置1Aは、音声検出部10が検出した音声V1を、通信部15Aと通信部18Aとを介した情報通信により、取得する。そして、出力内容制御装置1Aは、第1実施形態と同様の処理を実行して出力文章を生成し、その出力文章を、応答装置2Aに出力する。応答装置2Aは、音声出力部12で、出力文章を音声データに変換して、音声V2として出力する。ただし、出力内容制御装置1Aが、出力文章の音声データを生成し、応答装置2Aに送信してもよい。この場合、音声出力部12は、取得した音声データを、音声V2として出力する。このように、情報出力システム100は、出力内容制御装置1Aと、ユーザHが発する音声V1を検出する音声検出部10と、出力内容生成部40が生成した出力文章を、音声V2として出力する音声出力部12と、を有する。このように、出力内容制御装置1Aは、応答装置2Aと別体であっても、第1実施形態と同様の効果を奏する。すなわち、第1実施形態に係る出力内容制御装置1は、応答装置2Aと一体であるということができ、言い換えれば、情報出力システムであるということもできる。
このように、情報出力システムは、出力内容制御装置と、出力内容生成部40が生成した出力文章を出力する出力部とを有する。出力部は、出力文章を音声として出力する音声出力部12であるが、上述のように、表示装置12Aなどであってもよく、出力文章の出力の方法は、音声であってもよいし、テキストデータであってもよい。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 出力内容制御装置
10 音声検出部
12 音声出力部
16 制御部
30 音声取得部
32 音声解析部
34 意図解析部
36 通知情報取得部
40 出力内容生成部(音声内容生成部)
44 出力制御部
50 属性情報取得部
52 取得情報取得部
A 取得情報
E 属性情報
H ユーザ
I 意図情報
V1、V2 音声
V1A 第1音声
V1B 第2音声

Claims (9)

  1. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類部と、
    前記音声取得部が取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を検出する意図解析部と、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得部と、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成部と、を有し、
    前記出力内容生成部は、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記通知情報取得部は、前記通知情報として、前記ユーザへ通知する情報の内容である
    内容情報と、前記内容情報の種類を示す種類情報とを取得し、
    前記出力内容生成部は、前記内容情報に含まれる単語とその内容情報に紐付けられた前記種類情報とに基づき、他の単語に置換する単語を選択する、
    出力内容制御装置。
  2. 前記出力内容生成部は、所定の単語である第1単語と前記第1単語に紐付けられた第2単語との情報を有する関係情報を読み出し、前記通知情報に含まれる単語が前記第1単語と一致する場合に、前記通知情報に含まれる単語を、前記第2単語に置換する、請求項1に記載の出力内容制御装置。
  3. 前記関係情報は、前記第1単語の種類を示す種類情報の情報も含んでおり、
    前記出力内容生成部は、前記通知情報に含まれる単語の種類情報と前記第1単語の種類情報とが一致し、かつ、前記通知情報に含まれる単語が前記第1単語と一致する場合に、前記通知情報に含まれる単語を、他の単語に置換する単語として選択する、請求項2に記載の出力内容制御装置。
  4. 前記音声分類部は、前記ユーザが発する音声がささやき声である場合に、前記所定の音声として判定する、請求項1から請求項3のいずれか1項に記載の出力内容制御装置。
  5. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類部と、
    前記音声取得部が取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を検出する意図解析部と、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得部と、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成部と、を有し、
    前記出力内容生成部は、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記音声分類部は、前記ユーザが発する音声がささやき声である場合に、前記所定の音声として判定する、
    出力内容制御装置。
  6. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、
    前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成ステップと、を有し、
    前記出力内容生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記通知情報取得ステップにおいて、前記通知情報として、前記ユーザへ通知する情報の内容である内容情報と、前記内容情報の種類を示す種類情報とを取得し、
    前記出力内容生成ステップにおいて、前記内容情報に含まれる単語とその内容情報に紐付けられた前記種類情報とに基づき、他の単語に置換する単語を選択する、
    出力内容制御方法。
  7. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、
    前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成ステップと、をコンピュータに実行させ、
    前記出力内容生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記通知情報取得ステップにおいて、前記通知情報として、前記ユーザへ通知する情報の内容である内容情報と、前記内容情報の種類を示す種類情報とを取得し、
    前記出力内容生成ステップにおいて、前記内容情報に含まれる単語とその内容情報に紐付けられた前記種類情報とに基づき、他の単語に置換する単語を選択する、
    出力内容制御プログラム。
  8. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、
    前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成ステップと、を有し、
    前記出力内容生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記音声分類ステップにおいて、前記ユーザが発する音声がささやき声である場合に、前記所定の音声として判定する、
    出力内容制御方法。
  9. 音声取得部が取得したユーザが発する音声を解析して、前記音声が、所定の音声であるか否かを判定する音声分類ステップと、
    前記音声取得部で取得した音声を解析して、前記ユーザがどのような情報を求めているかを示す意図情報を抽出する意図解析ステップと、
    前記意図情報に基づき、前記ユーザへ通知する情報である通知情報を取得する通知情報取得ステップと、
    前記通知情報に基づき、前記ユーザに向けて出力する文章データである出力文章を生成する出力内容生成ステップと、をコンピュータに実行させ、
    前記出力内容生成ステップにおいて、前記所定の音声と判定された場合に、前記通知情報に含まれる単語のうちから選択した単語を他の単語に置換した前記出力文章を生成し、
    前記音声分類ステップにおいて、前記ユーザが発する音声がささやき声である場合に、前記所定の音声として判定する、
    出力内容制御プログラム。
JP2018044598A 2018-03-12 2018-03-12 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム Active JP7010073B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018044598A JP7010073B2 (ja) 2018-03-12 2018-03-12 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
CN201910168326.8A CN110265005B (zh) 2018-03-12 2019-03-06 输出内容控制装置、输出内容控制方法以及存储介质
US16/295,034 US11244675B2 (en) 2018-03-12 2019-03-07 Word replacement in output generation for detected intent by voice classification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018044598A JP7010073B2 (ja) 2018-03-12 2018-03-12 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム

Publications (2)

Publication Number Publication Date
JP2019159060A JP2019159060A (ja) 2019-09-19
JP7010073B2 true JP7010073B2 (ja) 2022-01-26

Family

ID=67843388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018044598A Active JP7010073B2 (ja) 2018-03-12 2018-03-12 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム

Country Status (3)

Country Link
US (1) US11244675B2 (ja)
JP (1) JP7010073B2 (ja)
CN (1) CN110265005B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Jvcケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
JP7032681B1 (ja) 2020-12-10 2022-03-09 富士通クライアントコンピューティング株式会社 情報処理装置及びプログラム
KR20220149832A (ko) * 2021-04-30 2022-11-09 주식회사 다비다 IoT 스타네트워크를 기반으로 스마트펜과 인공지능 스피커를 이용한 영어 학습 플랫폼 시스템 및 서비스 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136062A1 (ja) 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109560B2 (ja) 1990-11-30 1995-11-22 富士通テン株式会社 音声認識装置
JP3994368B2 (ja) * 2000-01-25 2007-10-17 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
AU2007211838A1 (en) * 2006-02-01 2007-08-09 Icommand Ltd Human-like response emulator
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
WO2008134625A1 (en) * 2007-04-26 2008-11-06 Ford Global Technologies, Llc Emotive advisory system and method
US8401848B2 (en) * 2009-12-15 2013-03-19 At&T Intellectual Property I, L.P. System and method for audible text center subsystem
JP6031761B2 (ja) * 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
KR102129786B1 (ko) * 2013-04-03 2020-07-03 엘지전자 주식회사 단말기 및 이의 제어방법
US9607630B2 (en) * 2013-04-16 2017-03-28 International Business Machines Corporation Prevention of unintended distribution of audio information
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 音声認識機能を用いた情報提供方法および機器の制御方法
US9542929B2 (en) * 2014-09-26 2017-01-10 Intel Corporation Systems and methods for providing non-lexical cues in synthesized speech
CN109313902A (zh) * 2016-06-06 2019-02-05 思睿逻辑国际半导体有限公司 语音用户接口
US9680983B1 (en) * 2016-06-16 2017-06-13 Motorola Mobility Llc Privacy mode detection and response over voice activated interface
JP6655835B2 (ja) * 2016-06-16 2020-02-26 パナソニックIpマネジメント株式会社 対話処理方法、対話処理システム、及びプログラム
US10552781B2 (en) * 2016-10-24 2020-02-04 Accenture Global Solutions Limited Task transformation responsive to confidentiality assessments
US10733989B2 (en) * 2016-11-30 2020-08-04 Dsp Group Ltd. Proximity based voice activation
EP3588494B1 (en) * 2017-02-27 2024-04-03 Sony Group Corporation Information processing device, information processing method, and program
US10460748B2 (en) * 2017-10-04 2019-10-29 The Toronto-Dominion Bank Conversational interface determining lexical personality score for response generation with synonym replacement
US10418023B2 (en) * 2017-10-17 2019-09-17 International Business Machines Corporation Automatic answer rephrasing based on talking style
US10713423B2 (en) * 2017-10-25 2020-07-14 International Business Machines Corporation Content adjustment and display augmentation for communication
US10706846B1 (en) * 2018-01-12 2020-07-07 Amazon Technologies, Inc. Question answering for a voice user interface
JP7000924B2 (ja) * 2018-03-06 2022-01-19 株式会社Jvcケンウッド 音声内容制御装置、音声内容制御方法、及び音声内容制御プログラム
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Jvcケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136062A1 (ja) 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2019159060A (ja) 2019-09-19
US11244675B2 (en) 2022-02-08
CN110265005B (zh) 2023-05-30
CN110265005A (zh) 2019-09-20
US20190279631A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
US11356730B2 (en) Systems and methods for routing content to an associated output device
US11887590B2 (en) Voice enablement and disablement of speech processing functionality
US20240152319A1 (en) Systems and methods for providing supplemental information with a response to a command
EP3676831B1 (en) Natural language user input processing restriction
CN107112013B (zh) 用于创建可定制对话系统引擎的平台
EP3190512B1 (en) Display device and operating method therefor
US20180114531A1 (en) Using voice information to influence importance of search result categories
CN109643548B (zh) 用于将内容路由到相关联输出设备的系统和方法
JP7010073B2 (ja) 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
US10796689B2 (en) Voice processing methods and electronic devices
US20170171121A1 (en) Device and method for providing user-customized content
EP2963644A1 (en) Audio command intent determination system and method
US11574637B1 (en) Spoken language understanding models
US10931999B1 (en) Systems and methods for routing content to an associated output device
TWI638352B (zh) 可調整輸出聲音之電子裝置及調整輸出聲音之方法
US20180068659A1 (en) Voice recognition device and voice recognition method
JP6310796B2 (ja) 制御装置、制御方法および制御プログラム
WO2019073669A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11069337B2 (en) Voice-content control device, voice-content control method, and non-transitory storage medium
US10957313B1 (en) System command processing
US11145295B1 (en) Natural language command routing
US20210241755A1 (en) Information-processing device and information-processing method
KR20220064868A (ko) 음성 비서를 통해 광고를 제공하는 전자 장치 및 그 제어 방법
JP2020184183A (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法
US11881214B1 (en) Sending prompt data related to content output on a voice-controlled device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7010073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150