JP6284104B2 - 情報通信端末、対話提供方法 - Google Patents

情報通信端末、対話提供方法 Download PDF

Info

Publication number
JP6284104B2
JP6284104B2 JP2015505283A JP2015505283A JP6284104B2 JP 6284104 B2 JP6284104 B2 JP 6284104B2 JP 2015505283 A JP2015505283 A JP 2015505283A JP 2015505283 A JP2015505283 A JP 2015505283A JP 6284104 B2 JP6284104 B2 JP 6284104B2
Authority
JP
Japan
Prior art keywords
information
unit
communication
dialogue
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015505283A
Other languages
English (en)
Other versions
JPWO2014141676A1 (ja
Inventor
田中 彰
彰 田中
森 俊也
俊也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014141676A1 publication Critical patent/JPWO2014141676A1/ja
Application granted granted Critical
Publication of JP6284104B2 publication Critical patent/JP6284104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Description

本発明は、情報通信端末に関し、特にユーザと対話を行う情報通信端末等に関するものである。
従来、ユーザと対話を行うことができる情報通信端末が知られている。このような情報通信端末は、サービス事業者が管理するサーバと通信を行い、ユーザの発話に対する応答をサーバから取得してユーザに提示する(例えば、特許文献1参照)。
特開2005−250379号公報 特開2006−99296号公報
このような情報通信端末は、当該情報通信端末とサーバとの通信が切断された場合、当該通信が復帰するまでの間、ユーザの発話に対して応答することができない。すなわち、情報通信端末とサーバとの通信が切断されている間、ユーザが戸惑いを感じてしまうことが課題である。
そこで、本発明は、対話中に通信が切断されても、通信が切断されている間にユーザの発話に応答することが可能な情報通信端末等を提供する。
本発明の一態様に係る情報通信端末は、サーバに記憶された複数の提示情報の提示順序を示す対話シナリオにしたがって、ユーザと対話を行う情報通信端末であって、前記対話における前記ユーザの入力を受け付ける入力受付部と、前記入力受付部が前記ユーザの入力を受け付けるごとに、前記対話シナリオにしたがって当該ユーザの入力に応じた提示情報を前記サーバから取得する通信部と、前記対話における前記情報通信端末の前記ユーザへの応答として、前記通信部が取得した提示情報を前記ユーザに提示する対話処理部と、前記通信部と前記サーバとの通信状態を判定する通信状態判定部とを備え、前記対話処理部は、前記対話の途中に前記通信状態判定部が前記通信状態の悪化を示す第1判定をした場合、前記第1判定がされたときに前記ユーザに提示されている提示情報よりも前記対話シナリオにおける提示順序が後の提示情報である提示候補情報を少なくとも1つ前記通信部に取得させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、サーバと情報通信端末との通信が切断されている間も、対話を続行することができ、ユーザが感じる戸惑いを低減することができる。
図1は、実施の形態1に係る音声対話システムの構成を示すブロック図である。 図2は、対話シナリオを説明するための図である。 図3は、対話シナリオのデータ構造を示す図である。 図4は、実施の形態1に係る音声対話システムの音声対話処理を示すフローチャートである。 図5は、通信状態が良好である場合の音声対話処理を説明するための模式図である。 図6は、対話中に通信状態が悪化する場合の音声対話処理を説明するための図である。 図7は、提示候補情報を説明するための図である。 図8は、使用頻度に応じて選択される提示候補情報を説明するための図である。 図9は、通信状態判定部の通信状態の判定方法を説明するための図である。 図10は、最小構成の情報通信端末を示すブロック図である。 図11は、情報通信端末の適用例を示す図である。
(本発明の基礎となった知見)
背景技術で説明したように、ユーザと対話を行うことができる情報通信端末が知られている。
ところで、このような情報通信端末では、ユーザと情報通信端末との対話中に、当該情報通信端末とサーバとの通信が通信状態の劣化によって切断されることがある。そこで、特許文献1には、通信が切断された後、通信が復帰した際に、通信が切断されたときの対話の中断された位置をサーバに通知することで、対話を切断された位置から再開することができる音声対話システムが開示されている。
しかしながら、特許文献1に開示された技術では、情報通信端末とサーバとの通信が復帰するまでの間、情報通信端末は、ユーザの発話に対して応答することができない。すなわち、情報通信端末とサーバとの通信が切断されている間、ユーザが戸惑いを感じてしまうという課題がある。
また、特許文献2には、通信状態を示す情報を用いて、翻訳処理を情報通信端末が行うか、サーバが行うかを決定する技術が開示されている。
しかしながら、特許文献2に開示された技術では、情報通信端末に予め組み込まれた機能の範囲内において翻訳処理を行うことができる。したがって、特許文献2のような技術を上述のような対話処理に用いた場合、ユーザの応答に応じてフレキシブルに対話を継続することは難しい。
上記の課題を解決するために、本発明の一態様に係る情報通信端末は、サーバに記憶された複数の提示情報の提示順序を示す対話シナリオにしたがって、ユーザと対話を行う情報通信端末であって、前記対話における前記ユーザの入力を受け付ける入力受付部と、前記入力受付部が前記ユーザの入力を受け付けるごとに、前記対話シナリオにしたがって当該ユーザの入力に応じた提示情報を前記サーバから取得する通信部と、前記対話における前記情報通信端末の前記ユーザへの応答として、前記通信部が取得した提示情報を前記ユーザに提示する対話処理部と、前記通信部と前記サーバとの通信状態を判定する通信状態判定部とを備え、前記対話処理部は、前記対話の途中に前記通信状態判定部が前記通信状態の悪化を示す第1判定をした場合、前記第1判定がされたときに前記ユーザに提示されている提示情報よりも前記対話シナリオにおける提示順序が後の提示情報である提示候補情報を少なくとも1つ前記通信部に取得させる。
このように、通信状態の悪化時に提示候補情報を取得しておくことで、その後通信不可能な状態になった場合にも提示候補情報を用いて対話を続行することができる。すなわち、サーバと情報通信端末との通信が切断されている間にユーザが感じる戸惑いを低減することができる。
また、前記対話の途中において、前記通信部が前記提示候補情報を取得した後に前記入力受付部が前記ユーザの第1の入力を受け付けたときに、(1)前記通信状態判定部が前記通信状態が通信不可能な状態であると判定した場合、前記対話処理部は、前記第1の入力に対応する、前記通信部が取得した前記提示候補情報を前記ユーザに提示し、(2)前記通信状態判定部が前記通信状態が通信可能な状態であると判定した場合、前記通信部は、前記サーバから前記第1の入力に応じた提示情報を取得し、前記対話処理部は、前記通信部が取得した、前記第1の入力に応じた提示情報を前記ユーザに提示してもよい。
また、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記第1判定時に用いる提示情報と提示順序が近いものから順に所定数の前記提示候補情報を選択し、選択した前記提示候補情報を前記通信部に取得してもよい。
このように、提示候補情報を提示順序が近いものから順に選択することで、対話が中断する可能性をより低減することができる。
また、前記サーバには、当該サーバに記憶された前記複数の提示情報それぞれの使用頻度を示す履歴情報が記憶され、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記履歴情報に基づいて使用頻度の高いものから順に所定数の前記提示候補情報を選択し、選択した前記提示候補情報を前記通信部に取得してもよい。
このように、提示候補情報を使用頻度が高いものから順に選択することで、対話が中断する可能性をより低減することができる。
また、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、データサイズの小さいものから順に所定数の前記提示候補情報を選択し、選択した前記提示候補情報を前記通信部に取得してもよい。
このように、提示候補情報をデータサイズが小さいものから順に選択することで、対話が中断する可能性をより低減することができる。
また、前記情報通信端末は、さらに、前記情報通信端末の現在の位置を示す位置情報を取得する位置取得部を備え、前記サーバには、当該サーバに記憶された前記複数の提示情報の使用頻度を当該提示情報が使用された地域ごとに示す地域別履歴情報が記憶され、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記地域別履歴情報に基づいて、前記位置情報が示す位置が属する地域における使用頻度の高いものから順に所定数の前記提示候補情報を選択し、選択した前記提示候補情報を前記通信部に取得してもよい。
これにより、より多くの対話ユニットを取得することができるため、対話が中断する可能性をより低減することができる。
また、前記情報通信端末は、移動体に搭載され、さらに、当該移動体の移動速度を前記情報通信端末の移動速度として取得する速度取得部を備え、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記移動速度が遅いほど、数多くの前記提示候補情報を前記通信部に取得してもよい。
一般に、移動速度が速い場合、通信状態の回復も早いと考えられ、対話を継続させるために必要となる提示候補情報の数も少ない。したがって、このような構成により、効率的に提示候補情報を取得するとともに、音声対話が中断する可能性をより低減することができる。
また、さらに、前記通信部が取得した前記提示候補情報が記憶される記憶部を備え、前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記記憶部の空き容量が大きいほど、数多くの前記提示候補情報を前記通信部に取得してもよい。
これにより、記憶部の空き容量に応じて効率的に提示候補情報を取得するとともに、音声対話が中断する可能性をより低減することができる。
また、前記通信状態判定部は、前記通信部と前記サーバとの通信における信号のBER(Bit Error Rate)が第1閾値よりも大きくなった場合に、前記第1判定を行ってもよい。
また、前記通信状態判定部は、前記BERが所定の時間変化量よりも小さい時間変化量で変化して前記第1閾値よりも大きくなった場合に、前記第1判定を行ってもよい。
また、さらに、前記情報通信端末の現在の位置を示す位置情報を取得する位置取得部と、前記情報通信端末の位置と、当該位置における前記通信状態とを対応付けた通信状態情報が記憶される記憶部を備え、前記通信状態判定部は、前記位置情報と、前記通信状態情報とに基づいて前記第1判定を行ってもよい。
また、前記通信状態情報は、過去における、前記位置取得部が取得した前記位置情報が示す位置と、当該位置における前記通信状態判定部の前記通信状態の判定結果とを対応付けた前記通信状態の履歴であってもよい。
また、さらに、音を出力する音声出力部を備え、前記対話処理部は、前記音声出力部に音を出力させることによって前記通信部が取得した提示情報を前記ユーザに提示してもよい。
また、さらに、映像を表示する表示部を備え、前記対話処理部は、前記表示部に映像を表示させることによって前記通信部が取得した提示情報を前記ユーザに提示してもよい。
また、前記入力受付部は、前記ユーザの音声を前記ユーザの入力として取得する音声取得部と、前記音声取得部が取得した前記ユーザの音声を認識する音声認識部とを有し、前記通信部は、前記音声認識部が前記ユーザの音声を認識するごとに、前記対話シナリオにしたがって前記ユーザの音声の認識結果に応じた提示情報を前記サーバから取得してもよい。
また、本発明の一態様に係る対話提供方法は、複数の提示情報の提示順序を示す対話シナリオにしたがって、ユーザが操作する情報通信端末から情報取得要求を受信するごとに、前記情報取得要求に応じた提示情報を前記情報通信端末に送信する、サーバの対話提供方法であって、前記サーバと前記情報通信端末との通信状態が悪化したことを示す通信悪化情報を含む前記情報取得要求を受信したときに、前記情報通信端末に送信済みの提示情報よりも前記対話シナリオにおける提示順序が後の提示情報である提示候補情報を少なくとも1つ前記情報通信端末に送信する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
以下、実施の形態1に係る音声対話システムについて説明する。
図1は、実施の形態1に係る音声対話システムの構成を示すブロック図である。
音声対話システム10は、情報通信端末100と、サーバ200と、情報通信端末100およびサーバ200を接続する無線通信回線300とから構成される。実施の形態1では、情報通信端末100は、移動体(車両)に搭載されるカーナビゲーション装置であり、ユーザ20の音声を認識して応答する音声対話を行う。なお、情報通信端末100は、車両に固定的に搭載された車載装置でもよく、また、車外へ持ち出し可能な通信端末でもよい。
ここで、音声対話の概要を説明する。音声対話は、あらかじめ用意された対話シナリオにしたがって実行される。以下、一例として、レストラン検索についての対話シナリオについて説明する。
レストラン検索の対話シナリオでは、まず、ユーザ20は、音声(発話)によりレストランの検索を情報通信端末100に依頼する。これに対し、情報通信端末100は、まず、ユーザ20の音声を取得および認識する。音声の認識結果に基づき、サーバ200からサーバ200が備える対話シナリオデータベース202に予め記憶された提示情報(ユーザ20への問いかけ)を取得し、取得した提示情報に対応する「料理の種類は?」という音声を出力する。なお、実施の形態1では、1つの対話シナリオに基づいて1つの音声対話が実行され、1つの音声対話は、複数の対話ユニットにより構成されるものとして説明する。対話ユニットとは、少なくとも提示情報を含む対話の構成単位である。
続いて、このような情報通信端末100の問いかけに対して、ユーザ20が「イタリア料理」という音声によって応答したとする。これに対し、情報通信端末100は、同様に、ユーザ20の応答に対応する対話ユニットを取得し、取得した対話ユニットに対応する音声を出力する。
以下、情報通信端末100は、対話シナリオにしたがって、レストランを検索するエリアや食事の予算などをユーザ20に問いかけ、ユーザ20は、これらの問いかけに順次応答する。最終的には、ユーザ20の応答に基づいて選択されたレストランが検索結果としてユーザ20に提示され、音声対話は終了する。
次に、図1を用いて、音声対話システム10の具体的な構成について説明する。
まず、情報通信端末100について説明する。
音声対話システム10を構成する情報通信端末100は、入力受付部101a(音声取得部101、および音声認識部102)と、通信部103と、対話処理部104と、通信状態判定部106とを備える。また、情報通信端末100は、位置取得部105と、記憶部108と、速度取得部109と、音声出力部110と、音声合成部111とを備える。
音声取得部101は、音声対話におけるユーザ20の音声を取得し、デジタル音声信号を生成する。音声取得部101は、具体的には、例えば、マイクロフォンとA/D変換器とで構成される。
音声認識部102は、音声取得部101で生成したデジタル音声信号を認識する。音声認識部102は、既存の音声認識技術によってユーザ20の音声を認識し、テキスト形式の音声データを生成する。生成された音声データは、対話処理部104を介して通信部103に送信される。
通信部103は、音声認識部102が生成した音声データを、無線通信回線300を通じてサーバ200に送信し、対話シナリオにしたがって、当該音声データに対応する提示情報をサーバ200から取得する。すなわち、通信部103は、音声認識部102が音声を認識するごとに認識結果に応じた提示情報をサーバ200から取得する。通信部103は、例えば、3G、4G、Wi−Fi(登録商標)、Zigbee(登録商標)などの回線を利用して無線通信が可能な無線モジュールである。
対話処理部104は、音声対話における情報通信端末100の制御を行う。対話処理部104は、通信部103が取得した音声ユニットに対応する音声データを音声合成部に出力し、対話処理部104が出力した当該音声データは、音声合成部111によってデジタル音声信号に変換されて音声出力部110から出力される。すなわち、対話処理部104は、対話における情報通信端末100のユーザ20への応答として、通信部103が取得した提示情報(対話ユニット)をユーザ20に提示する。
また、対話処理部104は、対話の途中において、通信状態判定部106が通信状態の悪化を示す判定をした場合、提示候補情報をキャッシュして音声対話を継続する。音声対話(音声対話処理)の詳細については後述する。
なお、対話処理部104は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。また、対話処理部104は、プロセッサや、マイコンなどでも実現できる。
位置取得部105は、情報通信端末100の現在の位置を示す位置情報を取得する。位置取得部105は、具体的には、GPS(Global Positioning System)モジュールであるが、情報通信端末100の位置情報を取得できるものであればよい。
通信状態判定部106は、通信部103とサーバ200との通信状態を判定する。具体的には、通信状態判定部106は、通信部103が受信する信号のビット誤り率(BER:Bit Error Rate)を監視する。通信状態判定部106は、BERが第1閾値よりも大きい場合は通信状態が悪化した状態であると判定する。通信状態判定部106は、さらに、BERが、第1閾値よりも大きい閾値である第2閾値よりも大きい場合は通信状態が通信不可能な状態であると判定する。通信状態判定部106は、BERが所定の第1閾値以下の場合は、通信状態が通信可能な状態であると判定する。
なお、通信状態判定部106は、通信部103(無線モジュール)の電波強度によって、通信状態の判定を行ってもよいし、通信部103の通信速度によって通信状態の判定を行ってもよい。また、通信状態判定部106は、後述する通信状態情報に基づいて通信状態の判定を行ってもよい。
記憶部108には、提示候補情報、および通信状態情報が記憶される。
提示候補情報とは、対話処理部104が通信不可能な状態においてユーザ20に提示するために、通信状態が悪化した状態において事前に取得される提示情報である。例えば、第1の対話シナリオにしたがって行われる第1の音声対話の途中に通信状態判定部106が通信状態の悪化を示す第1判定をした場合、提示候補情報は、第1の対話シナリオに基づいて定められる、第1判定以降にユーザ20に提示する可能性のある提示情報である。言い換えれば、提示候補情報は、第1判定がされたときにユーザに提示されている提示情報よりも対話シナリオにおける提示順序が後の提示情報である。
なお、第1判定が行われたときに第1の対話シナリオに基づく第1の音声対話が実行されている場合、第1判定以降にユーザ20に提示する可能性のある提示情報とは、第1の音声対話において、第1判定以降、第1の音声対話が終了する前にユーザ20に提示する可能性のある提示情報を意味する。すなわち、第1判定以降に行われる第1の対話シナリオとは異なる対話シナリオに基づく音声対話に用いられる提示情報は含まれない。
また、第1の音声対話の途中とは、対話処理部104が提示情報を提示している途中、およびユーザ20が応答している途中の両方を意味する。すなわち、第1の音声対話の途中とは、実施の形態1では、対話シナリオの実行中を意味する。
通信状態情報とは、情報通信端末100の位置と、当該位置における通信状態とを対応付けた情報である。実施の形態1では、通信状態情報は、例えば、情報通信端末100が搭載される移動体の走行時に、通信部103の通信状態と、位置取得部105が取得する位置情報とをリアルタイムで記憶しておくことによって実現可能である。すなわち、この場合、通信状態情報は、過去における、位置取得部105が取得した位置情報が示す位置と、当該位置における通信状態判定部106の通信状態の判定結果とを対応付けた通信状態の履歴である。
このような通信状態情報を用いれば、待ち時間算出部107は、位置取得部105が取得する現在の位置情報と、通信状態情報を照らし合わせることで、通信状態が悪化するタイミングを推定することができる。
なお、通信状態情報は、例えば、無線通信サービスを提供するサービス事業者が提供する、通信状態と、位置情報とが対応付けられた通信状態のマップ情報であってもよい。また、通信状態情報は、カーナビゲーション装置が備える地図情報における建物等の情報であってもよい。この場合、例えばトンネル内や、高層ビルの近くなど電波状況の悪い位置が、通信部103とサーバ200との通信状態が悪化する位置として取り扱われる。
記憶部108は、具体的には、例えば、半導体メモリや、HDD(Hard Disc Drive)などである。なお、実施の形態1では、情報通信端末100が記憶部108を備える構成としているが、記憶部108は、情報通信端末100とは別個に設けられてもよい。すなわち、記憶部108は、USBメモリや、外付けのHDDとして実現されてもよい。すなわち、記憶部108は、必須の構成要素ではない。
また、実施の形態1では、提示候補情報および通信状態情報が1つの記憶部108に記憶されるが、提示候補情報および通信状態情報がそれぞれ別の記憶部に記憶されてもよい。
速度取得部109は、情報通信端末100(≒ユーザ20、移動体)の移動速度(速さおよび移動方向)を取得する。実施の形態1では、移動体からCAN(Controller Area Network)を通じて、移動体の速度を取得する。なお、速度については、位置取得部105の位置情報の変化(変位)を用いて算出することも可能である。すなわち、速度取得部109は、必須の構成要素ではない。つまり、情報通信端末100の速度取得部109の速度の取得方法は、移動体の速度を取得する方法に限定されず、どのような方法であってもよい。
音声合成部111は、音声データをデジタル音声信号に変換して、音声出力部110に出力する。
音声出力部110は、デジタル音声信号を音として出力する。本実施の形態では、情報通信端末100は、カーナビゲーション装置として実現されるため、情報通信端末100により再生される再生音(音楽、ラジオ放送、ナビゲーション音など)と、ユーザ20に提示する情報として音声合成部111が出力するデジタル音声信号とを合成して音として出力する。
次に、無線通信回線300について説明する。
音声対話システム10を構成する無線通信回線300は、例えば3G、4G、Wi−Fi(登録商標)、Zigbee(登録商標)などの回線である。無線通信回線300は、典型的には、無線通信サービスを提供するサービス事業者(通信事業者)が提供する回線である。なお、図1では、情報通信端末100と、無線通信回線300とは直接接続されるが、情報通信端末100は、スマートフォンや無線ルータなどの中継機器を介して無線通信回線300に接続されてもよい。
次に、サーバ200について説明する。
音声対話システム10を構成するサーバ200は、サーバ通信部203と、サーバ対話処理部204と、対話シナリオデータベース202とを備える。
サーバ通信部203は、通信部103が送信する音声データを受信し、当該音声データに対応する対話ユニットを通信部103に送信する。サーバ通信部203は、例えば、無線モジュールである。
サーバ対話処理部204は、サーバ通信部203が受信した音声データに対応する対話ユニットを対話シナリオデータベース202から選択し、選択した対話ユニットをサーバ通信部203を介して通信部103に送信する。サーバ対話処理部204は、プロセッサや、マイコンなどで実現できる。
対話シナリオデータベース202は、複数の対話ユニットからなる対話シナリオが記憶される記憶部である。対話シナリオデータベース202は、具体的には、半導体メモリや、HDD(Hard Disc Drive)などである。
図2は、対話シナリオを説明するための図である。
図3は、対話シナリオのデータ構造を示す図である。
図2に示されるように、実施の形態1における対話シナリオは、情報通信端末100の問いかけの手順(順序)をツリー状に列記したものであり、対話の1つの単位をここでは対話ユニットと規定する。
実施の形態1では、図3示されるように、対話シナリオは、対話ユニットIDと、情報通信端末100がユーザ20に提示する提示情報(メッセージ)と、当該メッセージについて想定されるユーザ20の回答およびこれに対する分岐情報(次の対話ユニットID)とが対応付けられたデータ構造を有する情報である。
なお、対話シナリオは、提示情報の提示順序を示すものであれば、どのような構成であってもよい。例えば、対話シナリオは、提示情報を含まず、提示情報の順序のみを示すような情報であって、情報通信端末100の記憶部108に記憶される情報であってもよい。
次に、上記のように構成される実施の形態1に係る音声対話システム10の音声対話処理について説明する。通信状態が良好である場合の音声対話処処理においては、ユーザ20の音声の認識を契機に音声認識結果に対応した提示情報の取得が行われる。これに対し、通信状態が悪化した場合は、通信状態判定部106の通信状態の悪化を示す判定を契機に提示候補情報の取得が行われる点において異なる。すなわち、音声対話システム10の音声対話処理は、音声対話中に通信状態が悪化したときに、音声対話の状況に無関係に提示候補情報を取得(キャッシュ)することが特徴である。
提示候補情報のキャッシュは、音声対話中に通信状態が悪化したときのみ行われる。これにより、記憶部108において提示候補情報が記憶される領域を小さくすることができる。実施の形態1のように、カーナビゲーション装置等では、記憶部108の容量は、ある程度制限されるため、音声対話中に通信状態が悪化したときのみ提示候補情報のキャッシュを行うことは有用である。
図4は、音声対話システム10の音声対話処理を示すフローチャートである。
まず、対話処理部104は、現在音声対話中であるか否かを判断する(S101)。音声対話中である場合(S101でYes)、通信状態判定部106は、通信部103とサーバ200との通信状態の悪化を判定する(S102)。通信部103とサーバ200との通信状態が、悪化していない場合(S102でNo)、および音声対話中でない場合(S101でNo)は、現在音声対話中であるか否かの判断処理(S101)に戻る。
通信状態判定部106が通信部103とサーバ200との通信状態が悪化していると判定した場合(S102でYes)、対話処理部104は、通信部103に提示候補情報を少なくとも1つ取得させる。実施の形態1では、対話処理部104は、提示順序が近いものから順に所定数の提示候補情報を選択し、通信部103に取得させる。通信部103は、対話処理部104が選択した提示候補情報を取得する(S103)。なお、取得した提示候補情報は、記憶部108に記憶される。
通信部103が提示候補情報を取得した後、音声認識部102が、対話におけるユーザ20の応答である、ユーザ20の音声の認識を完了したとき(S104)、通信状態判定部106は、再度、通信状態の判定を行う(S105)。このとき、通信可能な状態である場合(S105でNo)、通信部103(対話処理部104)は、対話シナリオにしたがって、ユーザ20の音声の認識結果に応じた提示情報をサーバ200から取得し(S106)、対話処理部104は、取得した提示情報をユーザ20に提示する(S107)。
一方、ステップS105において、通信不可能な状態である場合(S105でYes)、対話処理部104は、ステップS103において取得した提示候補情報の中からユーザ20の音声の認識結果に応じた提示候補情報を選択してユーザ20に提示する(S108)。
次に、上記のような音声対話処理の詳細について説明する。なお、以下の説明では、「提示情報を取得する」ことを「対話ユニットを取得する」と記載する場合がある。
図5は、通信状態が良好である場合の音声対話処理を説明するための模式図である。
図5では、通信状態判定部106の通信状態は1−BERで表される。すなわち、図5の1−BERのグラフでは、縦軸の上側はBERが小さく通信状態が良好であることを示し、縦軸の下側はBERが大きく通信状態が悪いことを示す。
また、図5の(a)は、音声対話中に提示される情報の種類を示し、図5の(b)は、各対話ユニットの実行期間を示す。また、図5の(c)は、通信部103が通信を行っている期間を示す。
図5では、グラフで示される期間中、通信状態は良好である。したがって、図5の(a)に示されるように、グラフで示される期間中は、対話ユニットのキャッシュは行われない。対話処理部104は、ユーザ20が応答するごとに通信部103にサーバ200から対話ユニット(提示情報)を取得させ、当該対話ユニットに含まれる提示情報を提示する。言い換えれば、サーバ200が実行権を握った状態で音声対話処理が進行する。
具体的には、図5の(b)および(c)に示されるように、通信部103は、各対話ユニットの実行開始時の期間301、302、303、および304においては、当該対話ユニットをサーバ200から取得する。また、各対話ユニットの実行終了時の期間311、312、313、および314においては、ユーザ20の応答(音声データ)をサーバ200に送信する。
これに対し、図6は、対話中に通信状態が悪化する場合の音声対話処理を説明するための図である。なお、図6は、図5と同様の事項を示す図である。図6における通信状態を表すグラフでは、第1閾値400aおよび第2閾値400が図示されている。
図6において、期間T1およびT5は、1−BERが第1閾値400aよりも大きい、すなわちBERが第1閾値400a以下の期間である。よって、期間T1およびT5は、通信状態判定部106が通信状態が良好である(通信可能な状態である)と判定する期間である。
また、期間T2およびT4は、1−BERが第1閾値400a以下であり、かつ第2閾値400よりも大きい期間である。すなわち、期間T2およびT4は、BERが第1閾値400aよりも大きく、かつ第2閾値400以下となる期間である。よって、期間T2およびT4は、通信状態判定部106が通信状態が悪化しているが、通信自体は可能であると判定する期間である。
期間T3は、1−BERが第2閾値400以下、すなわちBERが第2閾値400よりも大きい期間である。したがって、期間T3は、通信状態判定部106が通信不可能であると判定する期間である。
音声対話開始直後の期間T1では、上述のように、通信状態は良好である。したがって、図6の(a)に示されるように、対話処理部104は、通信部103にサーバ200から対話ユニットを取得させ、これを提示する。具体的には、図6の(b)および(c)に示されるように、通信部103は、各対話ユニットの実行開始時の期間305においては、当該対話ユニットをサーバ200から取得する。
しかしながら、対話ユニットを実行中のタイミングt1(期間T2の開始時点)において、BERが第1閾値400aよりも大きくなる。このため、対話処理部104は、タイミングt1直後の期間321において、対話ユニット(提示候補情報)を通信部103に取得させる。
期間T2においては、通信状態は悪化しているが、通信自体は可能である。したがって、このような期間においては、対話処理部104は、通信部103にサーバ200から対話ユニットを取得させ、これを提示する。サーバ200からの応答が一定時間なく、対話ユニットが取得できない場合には、対話処理部104は、「しばらくお待ちください」のメッセージを再生する。
なお、期間T2のように通信状態は悪化しているが、通信自体は可能な期間において、対話処理部104は、提示候補情報としてキャッシュした対話ユニットを提示してもよい。
タイミングt1の後のタイミングt2では、BERが第2閾値400よりも大きくなり、タイミングt2以降の期間T3は、通信不可能な期間である。よって、期間T3において実行(開始)される対話ユニットは、図6の(a)および(b)に示されるように、期間321で提示候補情報としてキャッシュした対話ユニットである。言い換えれば、期間T3においては、情報通信端末100が実行権を握った状態で音声対話処理が進行する。
なお、ユーザ20の応答に対応する対話ユニット(提示候補情報)がキャッシュされていない場合、対話処理部104は、「しばらくお待ちください」等、音声対話の続行ができない旨のメッセージを再生する。このようなメッセージの再生は、例えば、通信不可能な時間が長時間に及ぶような場合に行われる。
タイミングt3(期間T3の終了時点)においては、BERが第2閾値400以下となる。また、さらに、続くタイミングt4では、BERが第1閾値400a以下となる。したがって、図6の(c)に示されるように、対話処理部104(通信部103)は、BERが第1閾値400a以下となったタイミングt4において実行していた対話ユニットの実行終了後の期間322において、次に実行すべき対話ユニットのIDをサーバ200に送信する。言い換えれば、期間322において、音声対話処理の実行権は、情報通信端末100からサーバ200に移ることとなる。
続く、期間306では、通信部103は、対話ユニットをサーバ200から取得し、対話処理部104は、取得した対話ユニットに含まれる提示情報をユーザ20に提示する。そして、対話ユニットの実行終了時の期間316においては、ユーザ20の応答をサーバ200に送信する。
以上説明したように、情報通信端末100によれば、対話ユニットのキャッシュを行うことによって、サーバ200と通信不可能な状態においても、キャッシュした対話ユニットに含まれる提示候補情報を用いて音声対話を続行することができる。
次に、提示候補情報について詳細に説明する。
図7は、提示候補情報を説明するための図である。
図7に示される対話ユニット380は、通信状態判定部106が通信状態の悪化を判定したときに実行中の対話ユニットである。この場合、上記判定以降にユーザ20の応答に対して実行される可能性のある対話ユニット、すなわち、提示候補情報を含む対話ユニットは、図7では、対話ユニット391〜397である。
実施の形態1では、対話処理部104は、対話ユニット391〜397の中から、対話ユニット380と提示順序が近いものから順に所定数の対話ユニット(提示候補情報)を選択し、選択した対話ユニットを通信部103に取得させる。
ここで、図7の例では、対話ユニット380に最も提示順序が近い対話ユニットは、対話ユニット391〜393であり、次に提示順序が近い対話ユニットは、対話ユニット394および395である。これらの次に対話ユニット380に提示順序が近い対話ユニットは、対話ユニット396および397である。
したがって、対話処理部104が選択する対話ユニットの数が5つである場合、図7において破線で囲まれた対話ユニット391〜395が選択される。
なお、対話ユニットの選択方法は、上記の方法に限定されない。
例えば、対話処理部104は、データサイズの小さいものから順に所定数の対話ユニット(提示候補情報)を選択し、選択した対話ユニットを通信部103に取得させてもよい。
上述のように、カーナビゲーション装置などでは、記憶リソースに制限があるため、キャッシュできる対話ユニットの数が制限される。このような場合、データサイズの小さいものから順に対話ユニットを選択することで、対話処理部104は、より多くの対話ユニットを記憶部108に記憶することができる。これにより、キャッシュする対話ユニットの数を増やすことができる。よって、通信不可能な期間において、音声対話の中断が生じにくいという利点がある。ここで、音声対話の中断とは、ユーザ20の応答に対応する対話ユニットが、記憶部108に記憶されていないために、当該対話ユニットをユーザ20に提示できないことを意味する。
また、例えば、対話処理部104は、使用頻度の高いものから順に所定数の対話ユニット(提示候補情報)を選択し、選択した対話ユニットを通信部103に取得させてもよい。
図8は、使用頻度に応じて選択される提示候補情報を説明するための図である。図8では、図7と同様に、対話ユニット380は、実行中の対話ユニットであり、提示候補情報を含む対話ユニットは、対話ユニット391〜397である。
図8では、使用頻度を示す情報として、対話ユニットのそれぞれについて、対話ユニットのIDと、当該対話ユニットが過去に通信部103によって取得された回数(使用頻度)とが対応付けられた履歴情報がサーバ200の対話シナリオデータベース202内に記憶されている。
例えば、対話ユニットが使用頻度の高さに応じて3つのクラスに分かれているとすると、使用頻度が最も多いクラスに属する対話ユニットは、対話ユニット393、394、および396である。また、次に使用頻度が高いクラスに属する対話ユニットは、対話ユニット392および397である。また、最も使用頻度が低いクラスに属する対話ユニットは、対話ユニット391および395である。
したがって、対話処理部104が選択する対話ユニットの数が3つである場合、図8において破線で囲まれた対話ユニット393、394、および396が選択される。
このように、履歴情報に応じてキャッシュする対話ユニットを選択することで、音声対話が中断する可能性をより低減することができる。
なお、履歴情報は、ユーザ20の個別の使用頻度を表す情報であってもよいし、履歴情報は、他のユーザや、他の情報通信端末が取得した回数等を含む情報であって、サーバ200を用いた音声対話において行われる複数のユーザの一般的な使用頻度を示す情報であってもよい。
また、例えば、対話処理部104は、位置取得部105が取得する位置情報が示す位置が属する地域における使用頻度の高いものから順に所定数の対話ユニット(提示候補情報)を選択し、選択した対話ユニットを通信部103に取得させてもよい。
この場合、サーバ200には、サーバ200に記憶された複数の提示情報の使用頻度を、当該提示情報が使用された地域ごとに示す地域別履歴情報が記憶される。対話処理部104は、上記地域別履歴情報と、位置取得部105が取得する位置情報とに基づいて、対話ユニット(提示候補情報)をキャッシュする。
例えば、観光地などでは、その土地の有名なレストランや、お土産などに対する検索等が情報通信端末100に指示される可能性が高い。よって、対話処理部104は、これに対する提示情報を要求される可能性が高く、このような提示情報は、上記地域別履歴情報に基づいて提示候補情報としてキャッシュされる。
このような構成により、対話処理部104は、音声対話が中断する可能性をより低減することができる。
なお、上記地域別履歴情報における使用頻度は、ユーザ20とは異なる他のユーザを含めた提示情報の使用頻度であって、サーバ200を用いて行われる音声対話における複数のユーザの一般的な使用頻度を意味する。しかしながら、上記地域別履歴情報における使用頻度は、ユーザ20の個別の使用頻度であってもよい。
なお、上記の履歴情報および地域別履歴情報は、情報通信端末100内に記憶されていてもよいし、サーバ200とは別の記憶装置であって、情報通信端末100が有線または無線で接続可能な記憶装置に記憶されていてもよい。
また、上記使用頻度、データサイズ等を組み合わせて、選択する対話ユニット(提示候補情報)を決定してもよい。例えば、対話処理部104は、提示候補情報ごとに、当該提示候補情報の使用頻度が高いほど大きい値となる第1評価値と、当該提示候補情報のデータ量が小さいほど大きい値となる第2評価値とを算出し、第1評価値と第2評価値の和が大きい順に所定数の提示候補情報を選択してもよい。
なお、実施の形態1では、情報通信端末100は、上述のように移動体に搭載されるカーナビゲーション装置として実現される。このため、対話処理部104は、選択する提示候補情報の数を移動体の速度に応じて変更してもよい。
具体的には、対話処理部104は、移動体の移動速度が遅いほど、数多くの提示候補情報を通信部103に取得させてもよい。
移動体の移動速度が遅い場合、通信部103が通信不可能な状態から通信可能な状態に復帰するまでの時間(例えば、移動体がトンネルに入ってから抜け出すまでの時間)は、長いと推定される。すなわち、対話処理部104は、多くの提示候補情報をキャッシュし、ユーザの応答に備えるほうがよい。一方、移動体の移動速度が速い場合、通信部103が通信不可能な状態から通信可能な状態に復帰するまでの時間は、短いと推定される。よって、対話処理部104がキャッシュする提示候補情報の数は、移動体の移動速度が遅い場合よりは少なくてよい。したがって、上記のような構成により、対話処理部104は、効率的に提示候補情報を取得するとともに、音声対話が中断する可能性をより低減することができる。
また、例えば、対話処理部104は、記憶部108の空き容量が大きいほど、数多くの提示候補情報を通信部103に取得させてもよい。これにより、対話処理部104は、記憶部108の空き容量に応じて効率的に提示候補情報を取得するとともに、音声対話が中断する可能性をより低減することができる。
以上説明したように、実施の形態1に係る音声対話システム10(情報通信端末100)によれば、通信状態が悪化したときに提示候補情報をキャッシュすることにより、その後、通信不可能な状態になったとしても対話を継続することができる。したがって、対話が中断されることによって、ユーザが感じるストレスや、戸惑いを低減できる。
なお、実施の形態1では、対話処理部104は、音声対話の途中に通信状態判定部106が通信状態の悪化を判定した場合、所定数の提示候補情報を通信部103に取得させたが、対話処理部104は、少なくとも1つ通信部103に取得させればよい。
(その他の実施の形態)
本発明は、上記の実施の形態1に限定されない。以下のような場合も本発明に含まれる。
例えば、通信状態判定部106は、BERが所定の時間変化量よりも小さい時間変化量で変化して第1閾値400aよりも大きくなった場合に、通信部103とサーバ200との通信が悪化したと判定してもよい。同様に、通信状態判定部106は、BERが所定の時間変化量よりも小さい時間変化量で変化して第2閾値400よりも大きくなった場合に、通信部103とサーバ200との通信が不可能な状態であると判定してもよい。ここで時間変化量とは、BERの時間変化の傾きの絶対値である。
図9は、通信状態判定部106の通信状態の判定方法を説明するための図である。なお、図9において縦軸は、1−BERを表す。
BERが急激に上昇して第1閾値400aを越える場合、通信状態の悪化は一時的なものである可能性が高い。このようなときに通信状態判定部106が、通信部103とサーバ200との通信が悪化した状態であると判定しないように、BERが所定の時間変化量よりも小さい時間変化量で変化して第1閾値400aよりも大きくなった場合のみ、通信が悪化した状態であると判定する構成としてもよい。
例えば、図9に示される期間402aでは、1−BERが急激に低下して第1閾値400a以下となっている。すなわち、BERが急激に上昇して第1閾値400aを越えており、BERが所定の時間変化量以上の時間変化量で変化して第1閾値400aよりも大きくなっている。よって、通信状態判定部106は、期間402aを通信部103とサーバ200との通信が可能な状態であると判定する。つまり、通信状態判定部106は、期間402aを通信部103とサーバ200との通信が悪化した状態であるとは判定しない。
一方、図9に示される期間403aでは、1−BERがゆるやかに低下して第1閾値400a以下となっている。すなわち、BERがゆるやかに上昇して第1閾値400aを越えており、BERが所定の時間変化量よりも小さい時間変化量で変化して第1閾値400aよりも大きくなっている。よって、通信状態判定部106は、期間403aを通信部103とサーバ200との通信が悪化した状態(期間403については、通信が不可能な状態)であると判定する。
同様に、通信状態判定部106は、BERが所定の時間変化量以上の時間変化量で変化して第2閾値400よりも大きくなったかどうかによって、通信状態判定部106の通信が不可能な状態であるか否かの判定を行ってもよい。具体的には、図9では、通信状態判定部106は、期間402を通信部103とサーバ200との通信が可能な状態であると判定し、期間403を、通信部103とサーバ200との通信が不可能な状態であると判定する。
このような構成により、通信状態が誤判定される可能性が低減される。
なお、通信状態判定部106は、通信状態情報を用いて、事前に通信状態を判定することも可能である。すなわち、通信状態判定部106の「通信状態の悪化を示す第1判定をした場合」には、現在または未来の通信状態を判定することが含まれる。また、「通信状態の悪化を示す第1判定をした場合」には、通信状態判定部106が事前に第1タイミングを特定している場合が含まれる。
上記のように通信状態判定部106が通信状態情報を用いて通信状態の悪化を判定する場合、情報通信端末100は、情報通信端末100の現在の位置および移動速度から通信状態が悪化するまでの時間を推定し、通信状態が悪化するまでの時間が所定の閾値以下になった場合に、提示候補情報を通信部103に取得させてもよい。
また、情報通信端末100は、最小の構成ではない。
図10は、最小構成の情報通信端末を示すブロック図である。
図10に示されるように、最小構成の情報通信端末100aは、入力受付部101aと、通信部103と、対話処理部104と、通信状態判定部106とを備える。
また、実施の形態1では、対話処理部および簡易対話処理部は、音声による情報提示を行ったが、ユーザへの情報提示の方法はこのような方法に限定されない。例えば、情報通信端末は、さらに、映像を表示する表示部を備え、対話処理部は、表示部に映像を表示させることによってユーザに情報を提示し、簡易対話処理部は、表示部に映像を表示させることによって所定の第1情報をユーザに提示してもよい。
この場合の表示部は、例えば、液晶ディスプレイ、プラズマディスプレイ、または有機EL(Electro Luminescence)ディスプレイ等である。また、実施の形態1のように情報通信端末がカーナビゲーション装置として実現される場合は、車両のフロントガラスを用いたヘッドアップディスプレイ(HUD:Head Up Display)が表示部として用いられてもよい。
このような場合、対話処理部および簡易対話処理部によって提示される情報は、静止画のみであってもよい。すなわちユーザと情報通信端末との対話は、音声対話でなくてもよい。また、対話処理部および簡易対話処理部によって提示される情報は、音と映像とを組み合わせた動画像であってもよい。
また、実施の形態1では、情報通信端末は、ユーザの音声を取得したが、ユーザの情報通信端末への入力は、音声でなくてもよい。すなわち、情報通信端末は、入力受付部を備え、ユーザの入力に基づく対話処理を行えばよい。この場合の入力受付部は、実施の形態1で説明した、音声取得部および音声認識部であってもよいし、ユーザのタッチ操作を受け付けるタッチパネルや、ハードスイッチ等、ユーザの入力を受付けるものであればよい。
また、実施の形態1では、情報通信端末は、図11に示されるようにカーナビゲーション装置として実現されたが、情報通信端末は、スマートフォンやタブレット端末として実現されてもよい。
なお、本発明は、提示情報(対話ユニット)を提供するサーバ200として実現されてもよい。すなわち、対話処理部104の機能の一部または全部は、サーバ200(サーバ対話処理部204)の機能として実現されてもよい。
サーバ200は、通常の対話処理時においては、対話シナリオにしたがって、ユーザ20が操作する情報通信端末100から情報取得要求を受信するごとに、情報取得要求に応じた提示情報を情報通信端末100に送信する。言い換えれば、受信した情報取得要求および対話シナリオにしたがって提示情報を送信する。
ここで、情報通信端末の100の対話処理部104は、通信状態判定部106が通信状態の悪化を示す判定をした場合、通信悪化情報を含む情報取得要求を通信部103を介してサーバ200(サーバ通信部203)に送信する。通信悪化情報とは、サーバ200と情報通信端末100との通信状態が悪化したことを示す情報である。
サーバ200は、通信悪化情報を含む情報取得要求を受信したときには、情報通信端末100に送信済みの提示情報よりも対話シナリオにおける提示順序が後の提示情報である提示候補情報を少なくとも1つ情報通信端末100に送信する。
このような構成では、サーバ200が、通信悪化情報をトリガとして提示候補情報を選択することができる。すなわち、上述の情報通信端末100の提示候補情報の選択方法は、サーバ200にも適用可能である。
例えば、サーバ200は、通信悪化情報を含む情報取得要求を受信したときに、通信悪化情報を含む情報取得要求を受信する直前に通信部103に送信した提示情報と提示順序が近いものから順に所定数の提示候補情報を選択し、選択した提示候補情報を通信部103に送信してもよい。
また、例えば、サーバ200には、サーバ200に記憶された複数の提示情報それぞれの使用頻度を示す履歴情報が記憶され、サーバ200は、通信悪化情報を含む情報取得要求を受信したときに、履歴情報に基づいて使用頻度の高いものから順に所定数の提示候補情報を選択し、選択した提示候補情報を通信部103に送信してもよい。
このように、サーバ200が提示候補情報を選択することにより、情報通信端末100は、情報取得要求および通信悪化情報を送信するだけでよいため、情報通信端末100側の処理が簡素化できるという利点がある。
また、通信状態の判定をサーバ200が行ってもよい。すなわち、サーバ200が通信状態の悪化を判定した場合に、提示候補情報を選択し、通信部103に送信してもよい。これにより、情報通信端末100側の処理をさらに簡素化できるという利点がある。
さらに、以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ROMからRAMにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールには、上記の超多機能LSIが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有してもよい。
(4)本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態をそれぞれ組み合わせるとしてもよい。
以上、一つまたは複数の態様に係る情報通信端末について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、カーナビゲーション装置に用いられる情報通信端末として有用である。
10 音声対話システム
20 ユーザ
100、100a 情報通信端末
101 音声取得部
101a 入力受付部
102 音声認識部
103 通信部
104 対話処理部
105 位置取得部
106 通信状態判定部
108 記憶部
109 速度取得部
110 音声出力部
111 音声合成部
200 サーバ
202 対話シナリオデータベース
203 サーバ通信部
204 サーバ対話処理部
300 無線通信回線
301〜305、311〜316、321、322、401a、402、402a、403a、403、404a 期間
380、391〜397 対話ユニット
400 第2閾値
400a 第1閾値

Claims (10)

  1. 複数の提示情報の提示順序を示す対話シナリオ、および、前記複数の提示情報それぞれの使用頻度を示す履歴情報を記憶するサーバと通信ネットワークを介して通信し、前記対話シナリオに基づいてユーザと対話を行う情報通信端末であって、
    前記対話における前記ユーザの入力を受け付ける入力受付部と、
    前記入力受付部が前記ユーザの入力を受け付けるごとに、前記対話シナリオにしたがって当該ユーザの入力に応じた提示情報を前記通信ネットワークを介して前記サーバから取得する通信部と、
    前記対話における前記情報通信端末の前記ユーザへの応答として、前記通信部が取得した提示情報を前記ユーザに提示する対話処理部と、
    前記通信部と前記サーバとの通信状態を判定する通信状態判定部と、
    を備え、
    前記対話処理部は、前記対話の途中に前記通信状態判定部が前記通信状態の悪化を示す第1判定をした場合、前記第1判定がされたときに前記ユーザに提示されている提示情報よりも前記対話シナリオにおける提示順序が後の提示情報である提示候補情報を、前記履歴情報に基づいて使用頻度の高いものから順に所定数だけ前記通信部に取得させる、
    情報通信端末。
  2. 前記情報通信端末は、移動体に搭載され、さらに、当該移動体の移動速度を前記情報通信端末の移動速度として取得する速度取得部を備え、
    前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記移動速度が遅いほど、数多くの前記提示候補情報を前記通信部に取得させる、
    請求項1に記載の情報通信端末。
  3. さらに、前記通信部が取得した前記提示候補情報が記憶される記憶部を備え、
    前記対話の途中に前記通信状態判定部が前記第1判定をした場合、前記対話処理部は、前記記憶部の空き容量が大きいほど、数多くの前記提示候補情報を前記通信部に取得させる、
    請求項1に記載の情報通信端末。
  4. 前記通信状態判定部は、前記通信部と前記サーバとの通信における信号のBER(Bit Error Rate)が第1閾値よりも大きくなった場合に、前記第1判定を行う、
    請求項1に記載の情報通信端末。
  5. 前記通信状態判定部は、前記BERが所定の時間変化量よりも小さい時間変化量で変化して前記第1閾値よりも大きくなった場合に、前記第1判定を行う、
    請求項4に記載の情報通信端末。
  6. さらに、
    前記情報通信端末の現在の位置を示す位置情報を取得する位置取得部と、
    前記情報通信端末の位置と、当該位置における前記通信状態とを対応付けた通信状態情報が記憶される記憶部を備え、
    前記通信状態判定部は、前記位置情報と、前記通信状態情報とに基づいて前記第1判定を行う、
    請求項1に記載の情報通信端末。
  7. 前記通信状態情報は、過去における、前記位置取得部が取得した前記位置情報が示す位置と、当該位置における前記通信状態判定部の前記通信状態の判定結果とを対応付けた前記通信状態の履歴である、
    請求項6に記載の情報通信端末。
  8. さらに、音を出力する音声出力部を備え、
    前記対話処理部は、前記音声出力部に音を出力させることによって前記通信部が取得した提示情報を前記ユーザに提示する、
    請求項1に記載の情報通信端末。
  9. さらに、映像を表示する表示部を備え、
    前記対話処理部は、前記表示部に映像を表示させることによって前記通信部が取得した提示情報を前記ユーザに提示する、
    請求項1に記載の情報通信端末。
  10. 前記入力受付部は、
    前記ユーザの音声を前記ユーザの入力として取得する音声取得部と、
    前記音声取得部が取得した前記ユーザの音声を認識する音声認識部とを有し、
    前記通信部は、前記音声認識部が前記ユーザの音声を認識するごとに、前記対話シナリオにしたがって前記ユーザの音声の認識結果に応じた提示情報を前記サーバから取得する、
    請求項1に記載の情報通信端末。
JP2015505283A 2013-03-12 2014-03-10 情報通信端末、対話提供方法 Active JP6284104B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013049735 2013-03-12
JP2013049735 2013-03-12
PCT/JP2014/001333 WO2014141676A1 (ja) 2013-03-12 2014-03-10 情報通信端末、対話提供方法

Publications (2)

Publication Number Publication Date
JPWO2014141676A1 JPWO2014141676A1 (ja) 2017-02-16
JP6284104B2 true JP6284104B2 (ja) 2018-02-28

Family

ID=51536355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015505283A Active JP6284104B2 (ja) 2013-03-12 2014-03-10 情報通信端末、対話提供方法

Country Status (3)

Country Link
US (1) US9405504B2 (ja)
JP (1) JP6284104B2 (ja)
WO (1) WO2014141676A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014002543A1 (de) * 2014-02-22 2015-08-27 Audi Ag Verfahren zur Erfassung wenigstens zweier zu erfassender Informationen mit zu verknüpfendem Informationsgehalt durch eine Sprachdialogeinrichtung, Sprachdialogeinrichtung und Kraftfahrzeug
JP6604542B2 (ja) * 2015-04-02 2019-11-13 パナソニックIpマネジメント株式会社 対話方法、対話プログラム及び対話システム
JP6621593B2 (ja) * 2015-04-15 2019-12-18 シャープ株式会社 対話装置、対話システム、及び対話装置の制御方法
JP6636303B2 (ja) * 2015-10-29 2020-01-29 シャープ株式会社 対話装置、対話機器、対話装置の制御方法、制御プログラム、および記録媒体
JP7197272B2 (ja) * 2018-01-11 2022-12-27 トヨタ自動車株式会社 音声出力システム、音声出力方法、及びプログラム
EP3828883A4 (en) * 2018-07-24 2022-05-04 Faurecia Clarion Electronics Co., Ltd. INFORMATION COLLECTION DEVICE AND CONTROL METHOD
JP7274903B2 (ja) * 2019-03-25 2023-05-17 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4514872B2 (ja) 2000-01-26 2010-07-28 シャープ株式会社 情報取得装置および情報取得方法、ならびに情報取得プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2002079896A2 (en) * 2001-03-30 2002-10-10 British Telecommunications Public Limited Company Multi-modal interface
US7287227B2 (en) * 2001-06-29 2007-10-23 Ve Enterprises Llc System and method for editing web pages in a client/server architecture
JP2003167895A (ja) * 2001-11-30 2003-06-13 Denso Corp 情報検索システム、サーバおよび車載端末
AU2002951244A0 (en) * 2002-09-06 2002-09-19 Telstra New Wave Pty Ltd A development system for a dialog system
JP4451166B2 (ja) 2004-03-08 2010-04-14 三菱電機株式会社 音声対話システム
JP2006099296A (ja) 2004-09-29 2006-04-13 Nec Corp 翻訳システム、翻訳通信システム、機械翻訳方法、および、プログラム
US7853453B2 (en) * 2005-06-30 2010-12-14 Microsoft Corporation Analyzing dialog between a user and an interactive application
US8117303B2 (en) * 2007-06-29 2012-02-14 Nokia Corporation Systems, methods, devices, and computer program products for downloading content for offline browsing
JP2009053866A (ja) * 2007-08-24 2009-03-12 Ntt Docomo Inc データ転送装置およびデータ転送システム
JP4998886B2 (ja) * 2007-11-12 2012-08-15 Necカシオモバイルコミュニケーションズ株式会社 通信装置、および、プログラム
JP2009153078A (ja) * 2007-12-21 2009-07-09 Sony Ericsson Mobilecommunications Japan Inc 情報通信端末、情報通信システム、情報通信端末の制御方法及び制御プログラム
JP2009237786A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 情報提示装置及びコンピュータプログラム、並びに情報提示方法
WO2012011490A1 (ja) 2010-07-20 2012-01-26 シャープ株式会社 コンテンツ取得装置、コンテンツ送信装置、コンテンツ送受信システム、データ構造、制御方法、制御プログラム、及び記録媒体
JP5768346B2 (ja) * 2010-08-26 2015-08-26 沖電気工業株式会社 通信システム、並びに、通信端末及び通信プログラム
US9578495B2 (en) * 2011-12-19 2017-02-21 Qualcomm Incorporated Handling impaired wireless connection in a communication system
US20140164476A1 (en) * 2012-12-06 2014-06-12 At&T Intellectual Property I, Lp Apparatus and method for providing a virtual assistant

Also Published As

Publication number Publication date
US9405504B2 (en) 2016-08-02
JPWO2014141676A1 (ja) 2017-02-16
US20150378672A1 (en) 2015-12-31
WO2014141676A1 (ja) 2014-09-18

Similar Documents

Publication Publication Date Title
JP6284104B2 (ja) 情報通信端末、対話提供方法
JP6052610B2 (ja) 情報通信端末、およびその対話方法
JP6218201B2 (ja) メニュー画面表示方法、車載装置
KR20170099903A (ko) 장치들에 걸쳐 디지털 개인 비서 에이전트를 스케일링하기 위한 기법
JP6058654B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法
JP5584603B2 (ja) 情報提供システムおよび情報提供装置
WO2013183765A1 (ja) 表示装置
WO2016109122A2 (en) Discovering capabilities of third-party voice-enabled resources
JP2013143151A (ja) 音声認識を使用してユーザ機能を行う方法及び装置
US20170337036A1 (en) Dialogue support apparatus, method and terminal
JP5494318B2 (ja) 携帯端末および通信システム
WO2018070385A1 (ja) ユーザインタフェースを制御する方法、プログラム及び装置
JP2021082311A (ja) 携帯端末装置、情報処理装置、連携システム及び表示制御方法
US9230529B2 (en) Music reproducing apparatus
JP6105321B2 (ja) 通信装置、通信システム、通信方法、及び、プログラム
US20150089370A1 (en) Method and device for playing media data on a terminal
JP6397530B2 (ja) 表示装置
JP6325231B2 (ja) 情報表示システム、情報表示システムの制御方法およびプログラム
JP2018105930A (ja) 携帯端末装置、連携システム及び表示制御方法
CN115733703A (zh) 一种多设备同步播放方法及装置
JP2018107524A (ja) 携帯端末装置、情報処理装置、連携システム及び表示制御方法
JP2011237852A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018063706A (ja) 情報処理方法、プログラム及び情報処理装置
JP2013242733A (ja) 出力装置及びその方法、並びに出力するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R151 Written notification of patent or utility model registration

Ref document number: 6284104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03