JP5958475B2 - 音声認識端末装置、音声認識システム、音声認識方法 - Google Patents

音声認識端末装置、音声認識システム、音声認識方法 Download PDF

Info

Publication number
JP5958475B2
JP5958475B2 JP2014006845A JP2014006845A JP5958475B2 JP 5958475 B2 JP5958475 B2 JP 5958475B2 JP 2014006845 A JP2014006845 A JP 2014006845A JP 2014006845 A JP2014006845 A JP 2014006845A JP 5958475 B2 JP5958475 B2 JP 5958475B2
Authority
JP
Japan
Prior art keywords
voice recognition
delay time
voice
speech recognition
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014006845A
Other languages
English (en)
Other versions
JP2015135420A (ja
Inventor
友紀 藤澤
友紀 藤澤
名田 徹
徹 名田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014006845A priority Critical patent/JP5958475B2/ja
Priority to US14/595,379 priority patent/US9349371B2/en
Publication of JP2015135420A publication Critical patent/JP2015135420A/ja
Application granted granted Critical
Publication of JP5958475B2 publication Critical patent/JP5958475B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、音声認識を行う遠隔のサーバと通信して、ユーザの発話に対する音声認識を行う音声認識端末装置、音声認識システム、及び音声認識方法に関する。
従来、いわゆるクラウドコンピューティングを利用したサーバ型音声認識の技術が知られている(例えば、特許文献1参照)。この種のサーバ型音声認識の技術では、端末装置に入力されたユーザの音声コマンドの解析を遠隔の音声認識サーバが行い、端末装置は、音声認識サーバから受信した解析結果に応じた応答動作を行う。
また、特許文献1には、音声認識装置が音声コマンドの解析を音声認識サーバに依頼したときに、待ち受け時間内における通信状況が良好でないと判断した場合、解析結果の待ち受けを中止し、その旨をユーザに通知する旨が記載されている。
特開2012−256001号公報
従来のサーバ型音声認識では、ユーザが音声コマンドを発話してからユーザに対する応答が行われるまでに、多少の時間がかかることがある。その要因としては、端末装置と音声認識サーバとの通信における遅延時間や、音声認識サーバでの処理時間等がある。ユーザが発話してから返答までに時間が空くと、たとえ、音声認識サーバとの通信や解析処理が正常に行われていたとしても、ユーザは音声コマンドが受付けられたか分からず、不安を感じたり、再度音声コマンドを発話してしまうことがある。そのため、使い勝手が悪いとユーザが感じるおそれがある。
特許文献1に記載の技術では、待ち受け時間が経過(タイムアウト)するか、通信状況が良好でないと判明しない限りユーザへの通知が行われず、それまでの間、ユーザは音声コマンドが受付けられたか分からない。
本発明は上記問題を解決するためになされたものであり、ユーザが発話した音声コマンドが音声認識のシステムに受付けられたことを、対話形式でユーザに理解させるための技術を提供することを目的とする。
本発明の音声認識端末装置は、音声認識処理を行う音声認識サーバと通信可能に構成されたものである。本発明の音声認識端末装置は、音声取得手段、要求手段、予測手段、決定手段、発話手段、及び、応答手段を備える。
音声取得手段は、ユーザが発話した音声コマンドを取得する。要求手段は、音声取得手段により取得された音声コマンドについて、音声認識サーバに音声認識処理を要求する。予測手段は、要求手段による要求に係る音声認識処理の結果が音声認識サーバから得られるまでの遅延時間を予測する。決定手段は、予測手段により予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する。
つなぎ発話手段は、決定手段により決定されたつなぎ言葉を、要求手段による要求に係る音声認識処理の結果が音声認識サーバから得られるまでの待ち時間中に音声情報として出力する。応答手段は、音声認識サーバから音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、ユーザに対する応答処理を実行する。
本発明によれば、ユーザが音声コマンドを発話してから、音声コマンドの認識処理を担う遠隔のサーバ等から音声認識結果が得られるまでの待ち時間中に、予測した遅延時間に応じた時間長のつなぎ言葉(フィラー)をユーザに対して発話できる。このようにすることで、ユーザは、自らが発話した音声コマンドがシステムに受付けられたことを認識できる。そのため、音声コマンドに対する音声認識の結果が得られるまでに多少の遅延がある場合であっても、ユーザが、音声コマンドが受付けられたかどうか分からずに不安になったり、音声コマンドを無用に発話し直すことを抑制できる。また、予測した遅延時間に応じた時間長のつなぎ言葉を決定することで、待ち時間に対して適度な長さのつなぎ言葉を出力できる。
また、本発明は、上述の音声認識端末装置と、この音声認識端末装置と通信可能な音声認識サーバとを有する音声認識システムとして実現することもできる。この音声認識システムでは、音声認識端末装置が、音声認識サーバに音声コマンドの音声認識処理を要求し、音声認識サーバが、音声コマンドに対する音声認識処理を行い、その結果を要求元の音声認識端末装置に通知する。
このような音声認識システムによれば、ユーザが音声コマンドを発話してから、音声認識サーバから音声認識結果が得られるまでの待ち時間を予測し、その待ち時間を埋め合わせるつなぎ言葉をユーザに対して発話できる。このようにすることで、ユーザは、自らが発話した音声コマンドがシステムに受付けられたことを認識できるので、音声コマンドが受付けられたかどうか分からずに不安になったり、音声コマンドを無用に発話し直すことを抑制できる。
また、本発明は、音声認識を行うコンピュータシステムにおける音声認識方法として実現することもできる。本発明の音声認識方法は、音声取得手順、要求手順、予測手順、決定手順、つなぎ発話手順、及び、応答手順を有する。
音声取得手順では、ユーザが発話した音声コマンドを取得する。要求手順では、音声取得手順において取得された音声コマンドについて、所定の音声認識サーバに音声認識処理を要求する。予測手順では、要求手順における要求に係る音声認識処理の結果が音声認識サーバから得られるまでの遅延時間を予測する。決定手順では、予測手順において予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する。つなぎ発話手順では、決定手順において決定されたつなぎ言葉を、要求手順における要求に係る音声認識処理の結果が音声認識サーバから得られるまでの待ち時間中に音声情報として出力する。応答手順では、音声認識サーバから音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、ユーザに対する応答処理を実行する。このような音声認識方法によれば、本発明の音声認識端末装置について記載した上述の効果と同様の効果が得られる。
音声認識システムの構成を表すブロック図。 音声認識システムにおける処理手順を表すシーケンス図。 つなぎ言葉の発話タイミングを表すタイミングチャート。 つなぎ発話処理の手順を表すフローチャート。 応答出力処理の手順を表すフローチャート。 延長時におけるつなぎ言葉の発話タイミングを表すタイミングチャート。
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
[音声認識システムの構成の説明]
図1に示すように、実施形態の音声認識システム1は、音声認識端末装置10と、この音声認識端末装置10と通信可能な遠隔の音声認識サーバ20及び応答遅延時間サーバ30とを含んで構成される。音声認識端末装置10は、例えば、音声認識機能を備えた車載ナビゲーション装置等の車載システムで具現化される。あるいは、車載システムに限らず、いわゆるスマートフォン等の携帯端末装置に実装されるものであってもよい。
音声認識端末装置10は、マイク11、通信部12、入力部13、記憶部14、制御部15、出力部17、スピーカ18、及びディスプレイ19を備える。マイク11は、ユーザが発話する音声コマンドを入力するための入力装置である。通信部12は、所定の通信経路を介して遠隔の音声認識サーバ20や応答遅延時間サーバ30との間でデータの送受信を行う通信装置である。入力部13は、制御部15にデータを入力するための入力インタフェースである。この入力部13は、マイク11を介して入力された音声コマンドを制御部15に入力すると共に、通信部12を介して音声認識サーバ20に送信する。入力部13は、入力された音声コマンドを、例えば所定のファイル形式の音声圧縮データ等に変換して音声認識サーバ20に送信する。入力部13は、送信された音声コマンドに基づき音声認識サーバ20において情報処理が行われた結果を表す応答メッセージを受信し、その受信した応答メッセージを制御部15に入力する。
記憶部14は、各種情報を記憶する記憶装置である。この記憶部14には、例えば、制御部15により実行されるプログラムや、その実行時に用いられるデータが記憶される。また、記憶部14には、音声認識サーバ20から応答メッセージを受信するまでの待ち時間に発話するつなぎ言葉を表す既製のデータを収録した辞書が記憶されている。つなぎ言葉の辞書には、発話に要する時間長が異なる複数種類の既製のつなぎ言葉と、それぞれのつなぎ言葉の発話に要する時間とが登録されている。
制御部15は、図示しないCPU,ROM,RAM等を中心に構成された情報処理装置(例えば、マイクロコンピュータ)である。制御部15は、プログラムを実行することにより音声認識端末装置10の動作を制御する。応答遅延時間予測部16は、ユーザの音声コマンドの入力を受付けてから、その音声コマンドに対する音声認識サーバ20からの応答メッセージを受信するまでにかかる待ち時間(以下、この待ち時間を応答遅延時間と称する)を予測する機能的構成である。なお、応答遅延時間を予測する具体的な方法については後述する。出力部17は、制御部15からの制御に応じてスピーカ18から音声を出力し、また、ディスプレイ19に画像を表示させる出力インタフェースである。
音声認識サーバ20は、音声認識サービスを提供するサーバであり、例えば、インターネット等のコンピュータネットワーク上に構築されたサーバ装置等により具現化される。音声認識サーバ20は、音声認識端末装置10から音声コマンドのデータを受信して、その音声コマンドの内容を音声認識により解析する。そして、解析した音声コマンドの内容に基づく情報処理の結果を表す応答メッセージを作成し、音声コマンドの送信元である音声認識端末装置10に送信する。例えば、ユーザの質問に対する回答を表す応答メッセージを返答したり、音声コマンドに含まれるキーワードに基づきWebサービス等を利用して有用な情報を検索し、その検索結果を表す応答メッセージを返答するといったサービス形態が挙げられる。あるいは、解析した音声コマンドの内容を表すテキストメッセージや、音声認識端末装置10が実行可能な制御コマンドを返答するものであってもよい。
応答遅延時間サーバ30は、例えば、複数の車両に搭載された音声認識端末装置10と音声認識サーバ20との間における音声認識にかかった応答遅延時間を表す情報を蓄積し、その情報を各音声認識端末装置10に提供するサーバである。この応答遅延時間サーバ30は、例えば、インターネット等のコンピュータネットワーク上に構築されたサーバ装置等により具現化される。応答遅延時間サーバ30は、各車両に搭載された音声認識端末装置10から収集される応答遅延時間の情報を、音声認識に係る通信が行われた場所や時刻等の情報と対応付けて記憶する。
音声認識端末装置10の制御部15は、音声認識サーバ20から受信した応答メッセージに基づく出力処理を実行する。例えば、受信した応答メッセージに含まれる情報を、音声で読み上げたり画像として表示する。あるいは、応答メッセージの内容に従って車載設備等の機器を操作するものであってもよい。
[音声認識システムにおける音声コマンド処理の説明]
音声認識システム1において実行される音声コマンド処理の手順について、図2のシーケンス図に基づいて説明する。
まず、音声認識端末装置10が、ユーザからの音声コマンドの入力を受付けると(S10)、入力された音声コマンドのデータを音声認識サーバ20に送信する(S12)。音声認識サーバ20は、音声認識端末装置10から受信した音声コマンドのデータに対する音声認識処理を行い、音声コマンドの内容を解析する(S20)。そして、解析した音声コマンドの内容に応じた応答メッセージを作成する(S22)。音声認識サーバ20は、作成した応答メッセージを音声認識端末装置10に送信する(S24)。
一方、ユーザが音声コマンドを入力してから、音声認識サーバ20から応答メッセージが得られるまでに、ある程度の応答遅延時間が生じる。この応答遅延時間は、音声認識端末装置10と音声認識サーバ20との間の通信における遅延時間や、音声認識サーバ20での処理に要する時間等に起因する。そこで、音声認識端末装置10は、応答遅延時間を埋め合わせるためのつなぎ言葉を発話する(S14)。そして、音声認識サーバ20から応答メッセージを受信すると、受信した応答メッセージに基づく音声出力や表示出力等の出力処理を実行する(S16)。
上述の音声コマンド処理において、音声認識端末装置10がつなぎ言葉を発話する際のタイミングについて、図3のタイミングチャートに基づいて説明する。まず、ユーザが、「明日の天気は?」という内容の音声コマンドを発話したものとする。音声認識端末装置10は、音声コマンドの終話を検知すると、この音声コマンドに対する応答メッセージを受信するまでの応答遅延時間を予測する。そして、予測した応答遅延時間に応じた時間長のつなぎ言葉の内容を決定し、決定した内容のつなぎ言葉を応答遅延時間の間に発話する。図3の事例では、応答遅延時間内に発話できる時間長の「えっとねー。」というつなぎ言葉をスピーカ18から音声出力したものとする。
その後、ユーザからの音声コマンドに対する音声認識サーバ20からの応答メッセージが得られた場合、その応答メッセージの内容をスピーカ18から音声出力する。図3の事例では、明日の天気を問う趣旨の音声コマンドに対する回答として、「明日の天気は○○です。」という内容の応答メッセージを出力したとする。
なお、つなぎ言葉の発話中に、音声認識サーバ20から応答メッセージを受信した場合、つなぎ言葉の発話が完了するのを待ってから応答メッセージを出力してもよいし、その時点でつなぎ言葉の発話を中断し、すぐに応答メッセージを出力してもよい。
[つなぎ発話処理の説明]
音声認識端末装置10の制御部15が実行する「つなぎ発話処理」の手順について、図4のフローチャートを参照しながら説明する。この処理は、ユーザによる音声コマンドの始話を検知したときに実行される処理である。
S100では、制御部15は、マイク11を介しての音声コマンドの入力を開始する。S102では、制御部15は、マイク11を介しての音声コマンドの入力と並行して、音声認識サーバ20への音声コマンドの送信を開始する。ここでは、入力された音声コマンドを所定のファイル形式の音声圧縮データに変換して音声認識サーバ20に送信する。次のS104では、制御部15は、今回の音声認識にかかる応答遅延時間を予測する。具体的には、次の(1)〜(3)に記載のような手法で応答遅延時間を予測する。
(1)過去に音声認識サーバ20に音声認識を要求したときに要した実際の応答遅延時間を予め記憶しておき、過去の応答遅延時間に基づいて今回の応答遅延時間を予測する。このケースでは、例えば、現時点から最も近い過去の応答遅延時間を、今回の応答遅延時間の予測値とする。あるいは、現時点から直近のある期間における複数の過去の応答遅延時間の平均値を、今回の応答遅延時間の予測値としてもよい。また、過去の応答遅延時間を音声認識サーバ20と通信をした位置の情報と対応付けて記憶しておき、現在地から直近の所定の地理範囲内における応答遅延時間を、今回の応答遅延時間の予測値としてもよい。
(2)音声認識サーバ20に対してダミーデータを送信して、そのダミーデータに対する応答メッセージを受信する試験通信を定期的に行い、その試験通信においてかかった応答遅延時間を予め記憶しておく。そして、試験通信によって得られた応答遅延時間に基づいて今回の応答遅延時間を予測する。このケースでは、例えば、現時点から最も近い過去の試験通信における応答遅延時間を、今回の応答遅延時間の予測値とする。あるいは、現時点から直近のある期間における複数回の試験通信における応答遅延時間の平均値を、今回の応答遅延時間の予測値としてもよい。また、試験通信を行った位置と応答遅延時間とを対応付けて記憶しておき、現在地から直近の所定の地理範囲内における応答遅延時間を今回の応答遅延時間の予測値としてもよい。
(3)複数の音声認識端末装置10と音声認識サーバ20との間で行われた音声認識に要した実際の応答遅延時間を表す情報を、通信部12を介して応答遅延時間サーバ30から取得し、予め記憶部14に記憶しておく。そして、応答遅延時間サーバ30から取得した応答遅延時間の情報に基づいて今回の応答遅延時間を予測する。なお、応答遅延時間サーバ30から提供される応答遅延時間の情報には、音声認識に係る通信が行われた場所や時刻等の情報が含まれているものとする。このケースでは、例えば、現在地から直近の所定の地理範囲内における過去の応答遅延時間を、今回の応答遅延時間の予測値とする。また、応答遅延時間サーバ30から受信した複数の応答遅延時間の中から、現時点から近い時期に計測された応答遅延時間を優先的に採用して、今回の応答遅延時間の予測値を予測してもよい。
なお、S104では、上述の(1)〜(3)に記載の予測方法を単独で用いてもよいし、複数組合せて用いてもよい。複数の予測方法を用いる場合、予測時間が一番長い最悪値を今回の応答遅延時間として採用する。あるいは、複数の予測時間の平均値を今回の応答遅延時間として採用する。
次のS106では、制御部15は、S104で予測した応答遅延時間の長さに応じた時間長のつなぎ言葉を決定する。具体的には、記憶部14に記憶されている既製のつなぎ言葉の辞書の中から、予測した応答遅延時間の範囲内で発話が可能な時間長のつなぎ言葉を
選択する。一例として、「えーっとねー。」、「ちょっと待ってね。」等といった、辞書に予め収録されている複数種類のつなぎ言葉の中から、ランダムに選択するといった構成が考えられる。その際、前回使用したつなぎ言葉と同じつなぎ言葉を連続して使用しないように、前回使用したつなぎ言葉とは異なるつなぎ言葉を選択するように構成してもよい。また、複数のつなぎ言葉をつなぎ合わせたり同じつなぎ言葉を繰返すことで、予測した応答遅延時間に合う時間長のつなぎ言葉を作成してもよい。S108では、制御部15は、S106で決定したつなぎ言葉をスピーカ18から音声出力する。S108の後、制御部15は本処理を終了する。
[応答出力処理の説明]
音声認識端末装置10の制御部15が実行する「応答出力処理」の手順について、図5のフローチャートを参照しながら説明する。この処理は、音声コマンドを音声認識サーバ20に送信したときに実行される処理である。
S200では、制御部15は、上述のつなぎ発話処理(図4参照)のS102で送信した音声コマンドに対する応答メッセージを、音声認識サーバ20から受信したか否かを判定する。応答メッセージを受信した場合(S200:YES)、制御部15はS210に進む。一方、応答メッセージを受信していない場合(S200:NO)、制御部15はS202に進む。
S202では、制御部15は、上述のつなぎ発話処理(図4参照)のS104又は後述のS204の何れかにおいて、前回に予測した応答遅延時間が経過したか否かを判定する。応答遅延時間を経過していない場合(S202:NO)、制御部15はS200に戻る。一方、応答遅延時間を経過した場合(S202:YES)、制御部15はS204に進む。S204では、制御部15は、延長分の応答遅延時間を決定する。具体的には、次の(1),(2)に記載のような手法で延長分の応答遅延時間を決定する。
(1)つなぎ発話処理(図4参照)のS104において、単一の手法で応答遅延時間を予測した場合、又は、複数の手法で応答遅延時間を予測したうちの最悪値を応答遅延時間に採用した場合、予め定められている時間を延長分の応答遅延時間として決定する。
(2)複数の手法で応答遅延時間を予測した結果の平均値を応答遅延時間に採用した場合、最悪値と平均値との差分を延長分の応答遅延時間として決定する。ただし、最悪値と平均値との差分が所定の閾値以下の場合、延長分のつなぎ言葉を発話しない。なお、2回目以降の延長分の応答遅延時間については、予め定められている時間を延長分の応答遅延時間として決定する。
次のS206では、制御部15は、S204で決定した延長分の応答遅延時間の長さに応じた時間長のつなぎ言葉を決定する。ここでは、上述のつなぎ発話処理(図4参照)のS106と同様の方法でつなぎ言葉を決定する。そして、S208では、制御部15は、S206で決定したつなぎ言葉をスピーカ18から音声出力する。S208の後、制御部15はS200に戻る。
図6は、延長分の応答遅延時間につなぎ言葉を発話する場合のタイミングチャートである。前回に予測した応答遅延時間:Tが経過した時点で、音声認識サーバ20から応答メッセージを受信していない場合、音声認識端末装置10は、延長分の応答遅延時間:T´を決定する。そして、この応答遅延時間:T´に収まる時間長のつなぎ言葉を決定し、決定した内容のつなぎ言葉を応答遅延時間:T´の間に発話する。
図5のフローチャートの説明に戻る。S200において音声認識サーバ20から応答メ
ッセージを受信したと判定した場合に進むS210では、音声コマンドの入力を受付けてから応答メッセージを受信するまでに要した実際の応答遅延時間を記録する。応答遅延時間の履歴を保存する場所については、音声認識端末装置10の記憶部14であってもよいし、応答遅延時間サーバ30であってもよい。また、応答遅延時間の履歴は、音声認識サーバ20と通信をした位置や時刻の情報と対応付けて記録することが考えられる。音声認識サーバ20と通信をした位置については、車両等に装備されたGPS受信機(図示なし)等を利用して特定することが考えられる。
S212では、制御部15は、音声認識サーバ20から受信した応答メッセージに基づく出力処理を実行する。ここでは、受信した応答メッセージの内容を音声で読み上げたり画像として表示したり、応答メッセージの内容に従って車載設備等の機器を操作する。S212の後、制御部15は本処理を終了する。
[変形例]
上述の実施形態では、音声認識サーバ20がインターネット上に構築された遠隔のサーバ等で実現される事例について説明した。これに限らず、音声認識端末装置10と音声認識サーバ20とがローカルエリアネットワーク(LAN)に接続されるような構成であってもよい。
[効果]
実施形態の音声認識システム1によれば、以下の効果を奏する。
ユーザが音声コマンドを発話してから、音声コマンドの音声認識サーバ20から応答メッセージが得られるまでの待ち時間中に、予測した応答遅延時間に応じた時間長のつなぎ言葉をユーザに対して発話できる。このようにすることで、ユーザは、自らが発話した音声コマンドがシステムに受付けられたことを認識できる。そのため、音声コマンドに対する応答メッセージが得られるまでに多少の遅延がある場合であっても、ユーザが、音声コマンドが受付けられたかどうか分からずに不安になったり、音声コマンドを無用に発話し直すことを抑制できる。また、予測した応答遅延時間に応じた時間長のつなぎ言葉を決定することで、待ち時間に対して適度な長さのつなぎ言葉を出力できる。
また、音声認識端末装置10が、音声認識サーバ20との間で音声認識や試験通信を行ったときの実際の応答遅延時間の履歴に基づいて、応答遅延時間を予測できる。また、他の車両に搭載された音声認識端末装置10が過去に音声認識サーバ20との間で音声認識をしたときの実際の応答遅延時間の履歴に基づいて、応答遅延時間を予測することができる。また、過去の応答遅延時間の履歴を利用する際、通信が行われた時期や地理範囲を考慮して、応答遅延時間を予測することができる。このようにすることで、応答遅延時間を精度よく予測することができ、適切な長さのつなぎ言葉を出力できる。
1…音声認識システム、10…音声認識端末装置、11…マイク、12…通信部、13…入力部、14…記憶部、15…制御部、16…応答遅延時間予測部、17…出力部、18…スピーカ、19…ディスプレイ、20…音声認識サーバ、30…応答遅延時間サーバ。

Claims (15)

  1. 音声認識処理を行う音声認識サーバ(20)と通信可能に構成された音声認識端末装置(10)であって、
    ユーザが発話した音声コマンドを取得する音声取得手段(11,13)と、
    前記音声取得手段により取得された音声コマンドについて、前記音声認識サーバに音声認識処理を要求する要求手段(15,S102)と、
    前記要求手段による要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測する予測手段(15,S104)と、
    前記予測手段により予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する決定手段(15,S106)と、
    前記決定手段により決定されたつなぎ言葉を、前記要求手段による要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力するつなぎ発話手段(15,S108)と、
    前記予測手段により予測された遅延時間が経過したときに、前記音声認識サーバから前記音声認識処理の結果をまだ取得できていない場合、前記音声認識処理の結果が得られるまでの延長時間を予測する延長予測手段(15,S204)と、
    前記延長予測手段により予測された延長時間に応じた時間長で構成される延長つなぎ言葉を決定する延長決定手段(15,S206)と、
    前記延長決定手段により決定された延長つなぎ言葉を、前記音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力する延長つなぎ発話手段(15,S208)と、
    前記音声認識サーバから前記音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、前記ユーザに対する応答処理を実行する応答手段(15,S212)と、
    を備えることを特徴とする音声認識端末装置。
  2. 請求項1に記載の音声認識端末装置において、
    過去に前記音声認識サーバとの間で通信を行ったときの遅延時間を表す時間情報を取得する取得手段(15)を備え、
    前記予測手段は、前記取得手段によって取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識端末装置。
  3. 請求項2に記載の音声認識端末装置において、
    前記取得手段は、前記要求手段により前記音声認識サーバに音声認識処理が要求され、その要求に係る音声認識処理の結果が前記音声認識サーバから得られたときの遅延時間を表す時間情報を取得すること、
    を特徴とする音声認識端末装置。
  4. 請求項2に記載の音声認識端末装置において、
    前記取得手段は、前記音声認識サーバとの間で、通信に係る遅延時間を測定するための試験通信を行うことで計測された遅延時間を表す時間情報を取得すること、
    を特徴とする音声認識端末装置。
  5. 請求項1に記載の音声認識端末装置において、
    前記音声認識サーバが過去に音声認識端末装置と通信したときの遅延時間表す時間情報を外部装置(30)から取得する取得手段(12,13)を備え、
    前記予測手段は、前記取得手段によって前記外部装置から取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識端末装置。
  6. 請求項2ないし請求項5の何れか1項に記載の音声認識端末装置において、
    前記取得手段により取得される時間情報は、通信した時刻に対応付けられており、
    前記予測手段は、現時点から直前又は直近のある期間に行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから
    得られるまでの遅延時間を予測すること、
    を特徴とする音声認識端末装置。
  7. 請求項2ないし請求項5の何れか1項に記載の音声認識端末装置において、
    前記取得手段により取得される時間情報は、通信した位置に対応付けられており、
    前記予測手段は、現在地を基準とする所定の地理的範囲内において行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識端末装置。
  8. 請求項1ないし請求項7の何れか1項に記載の音声認識端末装置(10)と、前記音声認識端末装置と通信可能な音声認識サーバ(20)とを有する音声認識システム(1)であって、
    前記音声認識サーバは、
    前記音声認識端末装置から音声コマンドに対する音声認識処理の要求を受付け、その受付けた要求に係る音声コマンドに対する音声認識処理を行う認識処理手段(S20,S22)と、
    前記認識処理手段による音声認識処理の結果を要求元の前記音声認識端末装置に通知する通知手段(S24)と、
    を備えること、
    を特徴とする音声認識システム。
  9. 音声認識を行うコンピュータシステムにおける音声認識方法であって、
    ユーザが発話した音声コマンドを取得する音声取得手順(S100)と、
    前記音声取得手順において取得された音声コマンドについて、音声認識処理を行う音声認識サーバに音声認識処理を要求する要求手順(S102)と、
    前記要求手順における要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測する予測手順(S104)と、
    前記予測手順において予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する決定手順(S106)と、
    前記決定手順において決定されたつなぎ言葉を、前記要求手順における要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力するつなぎ発話手順(S108)と、
    前記予測手順において予測された遅延時間を経過したときに、前記音声認識サーバから前記音声認識処理の結果をまだ取得できていない場合、前記音声認識処理の結果が得られるまでの延長時間を予測する延長予測手順(S204)と、
    前記延長予測手順において予測された延長時間に応じた時間長で構成される延長つなぎ言葉を決定する延長決定手順(S206)と、
    前記延長決定手順において決定された延長つなぎ言葉を、前記音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力する延長つなぎ発話手順(S208)と、
    前記音声認識サーバから前記音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、前記ユーザに対する応答処理を実行する応答手順(S212)と、
    を有することを特徴とする音声認識方法。
  10. 請求項9に記載の音声認識方法において、
    過去に前記音声認識サーバとの間で通信を行ったときの遅延時間を表す時間情報を取得
    する取得手順(S210)を有し、
    前記予測手順は、前記取得手順において取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識方法。
  11. 請求項10に記載の音声認識方法において、
    前記取得手順では、前記要求手順において前記音声認識サーバに音声認識処理が要求され、その要求に係る音声認識処理の結果が前記音声認識サーバから得られたときの遅延時間を表す時間情報を取得すること、
    を特徴とする音声認識方法。
  12. 請求項10に記載の音声認識方法において、
    前記取得手順では、前記音声認識サーバとの間で、通信に係る遅延時間を測定するための試験通信を行うことで計測された遅延時間を表す時間情報を取得すること、
    を特徴とする音声認識方法。
  13. 請求項に記載の音声認識方法において、
    前記音声認識サーバが過去に遠隔の音声認識端末装置と通信したときの遅延時間表す情報として前記音声認識サーバに記憶されている時間情報を取得する取得手順を備え、
    前記予測手順では、前記取得手順において前記音声認識サーバから取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識方法。
  14. 請求項10ないし請求項13の何れか1項に記載の音声認識方法において、
    前記取得手順において取得される時間情報は、通信した時刻に対応付けられており、
    前記予測手順では、現時点から直前又は直近のある期間に行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識方法。
  15. 請求項10ないし請求項13の何れか1項に記載の音声認識方法において、
    前記取得手順において取得される時間情報は、通信した位置に対応付けられており、
    前記予測手順では、現在地を基準とする所定の地理的範囲内において行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
    を特徴とする音声認識方法。
JP2014006845A 2014-01-17 2014-01-17 音声認識端末装置、音声認識システム、音声認識方法 Expired - Fee Related JP5958475B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014006845A JP5958475B2 (ja) 2014-01-17 2014-01-17 音声認識端末装置、音声認識システム、音声認識方法
US14/595,379 US9349371B2 (en) 2014-01-17 2015-01-13 Speech recognition terminal device, speech recognition system, and speech recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014006845A JP5958475B2 (ja) 2014-01-17 2014-01-17 音声認識端末装置、音声認識システム、音声認識方法

Publications (2)

Publication Number Publication Date
JP2015135420A JP2015135420A (ja) 2015-07-27
JP5958475B2 true JP5958475B2 (ja) 2016-08-02

Family

ID=53545340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014006845A Expired - Fee Related JP5958475B2 (ja) 2014-01-17 2014-01-17 音声認識端末装置、音声認識システム、音声認識方法

Country Status (2)

Country Link
US (1) US9349371B2 (ja)
JP (1) JP5958475B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6495014B2 (ja) * 2015-01-08 2019-04-03 シャープ株式会社 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置
JP2017021125A (ja) * 2015-07-09 2017-01-26 ヤマハ株式会社 音声対話装置
JP6636303B2 (ja) * 2015-10-29 2020-01-29 シャープ株式会社 対話装置、対話機器、対話装置の制御方法、制御プログラム、および記録媒体
WO2017085992A1 (ja) * 2015-11-17 2017-05-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP6633008B2 (ja) * 2017-02-01 2020-01-22 ファーハット ロボティクス エービー 音声対話装置及び音声対話方法
JP6696923B2 (ja) * 2017-03-03 2020-05-20 国立大学法人京都大学 音声対話装置、その処理方法及びプログラム
US10258295B2 (en) * 2017-05-09 2019-04-16 LifePod Solutions, Inc. Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication
JP6664359B2 (ja) * 2017-09-07 2020-03-13 日本電信電話株式会社 音声処理装置、方法およびプログラム
JP6904225B2 (ja) * 2017-11-15 2021-07-14 トヨタ自動車株式会社 情報処理装置
WO2019138477A1 (ja) * 2018-01-10 2019-07-18 株式会社ウフル スマートスピーカー、スマートスピーカーの制御方法、及びプログラム
JP6984480B2 (ja) * 2018-02-20 2021-12-22 トヨタ自動車株式会社 情報処理装置および情報処理方法
EP3871213A4 (en) 2018-10-25 2022-06-15 Microsoft Technology Licensing, LLC MULTI-SENTENCE RESPONSE IN A FULL-DUPLEX VOICE CONVERSATION
WO2020217318A1 (ja) * 2019-04-23 2020-10-29 三菱電機株式会社 機器制御装置、および、機器制御方法
JP7229847B2 (ja) 2019-05-13 2023-02-28 株式会社日立製作所 対話装置、対話方法、及び対話コンピュータプログラム
CN110415696A (zh) * 2019-07-26 2019-11-05 广东美的制冷设备有限公司 语音控制方法、电器控制装置、电器及电器控制系统
US20230262283A1 (en) * 2020-06-16 2023-08-17 Nippon Telegraph And Telephone Corporation Transmission apparatus, communication method and program
CN113973073A (zh) * 2020-07-21 2022-01-25 阿里巴巴集团控股有限公司 物联网性能测试系统、方法和相应设备
US11763813B2 (en) * 2021-04-28 2023-09-19 Google Llc Methods and systems for reducing latency in automated assistant interactions
CN114039890B (zh) * 2021-11-04 2023-01-31 国家工业信息安全发展研究中心 一种语音识别时延测试方法、系统及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930751A (en) * 1997-05-30 1999-07-27 Lucent Technologies Inc. Method of implicit confirmation for automatic speech recognition
US7102485B2 (en) * 2001-05-08 2006-09-05 Gene Williams Motion activated communication device
US6985865B1 (en) * 2001-09-26 2006-01-10 Sprint Spectrum L.P. Method and system for enhanced response to voice commands in a voice command platform
US7026957B2 (en) * 2001-10-01 2006-04-11 Advanced Public Safety, Inc. Apparatus for communicating with a vehicle during remote vehicle operations, program product, and associated methods
JP4116955B2 (ja) * 2003-09-02 2008-07-09 日本電信電話株式会社 音声品質客観評価装置および音声品質客観評価方法
TWI270850B (en) * 2005-06-14 2007-01-11 Universal Scient Ind Co Ltd Voice-controlled vehicle control method and system with restricted condition for assisting recognition
JP4271224B2 (ja) * 2006-09-27 2009-06-03 株式会社東芝 音声翻訳装置、音声翻訳方法、音声翻訳プログラムおよびシステム
JP2012256001A (ja) 2011-06-10 2012-12-27 Alpine Electronics Inc 移動体における音声認識装置および方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
JP6078964B2 (ja) * 2012-03-26 2017-02-15 富士通株式会社 音声対話システム及びプログラム
US9384736B2 (en) * 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input
JP5753869B2 (ja) * 2013-03-26 2015-07-22 富士ソフト株式会社 音声認識端末およびコンピュータ端末を用いる音声認識方法

Also Published As

Publication number Publication date
JP2015135420A (ja) 2015-07-27
US20150206531A1 (en) 2015-07-23
US9349371B2 (en) 2016-05-24

Similar Documents

Publication Publication Date Title
JP5958475B2 (ja) 音声認識端末装置、音声認識システム、音声認識方法
US11869487B1 (en) Allocation of local and remote resources for speech processing
JP6024675B2 (ja) 音声認識端末装置、音声認識システム、音声認識方法
JP6571118B2 (ja) 音声認識処理のための方法、車載システム及び不揮発性記憶媒体
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US20240038219A1 (en) Learning offline voice commands based on usage of online voice commands
KR101828273B1 (ko) 결합기반의 음성명령 인식 장치 및 그 방법
KR20190046623A (ko) 자기-학습 자연 언어 이해를 갖는 다이얼로그 시스템
US20130132084A1 (en) System and method for performing dual mode speech recognition
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US11763819B1 (en) Audio encryption
CN109285541B (zh) 语音识别系统及语音识别方法
US10535337B2 (en) Method for correcting false recognition contained in recognition result of speech of user
CN110956955B (zh) 一种语音交互的方法和装置
KR20200098079A (ko) 대화 시스템 및 대화 처리 방법
JP2018045202A (ja) 音声対話システムおよび音声対話方法
JP7004955B2 (ja) サービス提供装置、サービス提供プログラム及び音声認識によるサービスを提供する方法
JP6954821B2 (ja) 対話管理装置及びプログラム
JP5376072B1 (ja) 車載情報システムおよび音声認識適応方法
US11195535B2 (en) Voice recognition device, voice recognition method, and voice recognition program
JP2017181667A (ja) 音声認識装置および音声認識方法
KR20200095636A (ko) 대화 시스템이 구비된 차량 및 그 제어 방법
KR102364935B1 (ko) 5g 기반의 음성인식 반응속도 개선을 위한 데이터 전송 방법 및 장치
CN116895275A (zh) 对话系统及其控制方法
JP2021043913A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R151 Written notification of patent or utility model registration

Ref document number: 5958475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees