JP3720329B2

JP3720329B2 - Mobile terminal device and information center

Info

Publication number: JP3720329B2
Application number: JP2003039796A
Authority: JP
Inventors: 伸一富山; 昌史里村; 陽一北野; 真之高橋; 典彦前田
Original assignee: Honda Motor Co Ltd; Nippon Telegraph and Telephone Corp
Current assignee: Honda Motor Co Ltd; Nippon Telegraph and Telephone Corp
Priority date: 2003-02-18
Filing date: 2003-02-18
Publication date: 2005-11-24
Anticipated expiration: 2023-02-18
Also published as: JP2004253895A

Description

【０００１】
【発明の属する技術分野】
本発明は、通信網を介して、対話システムにより通信を行う移動体端末装置及び情報センタに関する。
【０００２】
【従来の技術】
従来、音声入力を用いて動作を制御する音声対話装置には、音声対話が中断した場合でも、その後に円滑な音声対話を継続することができるものがある。
例えば、このような装置は、車載用のナビゲーション装置を音声入力を用いて操作するような場合に使用され、音声対話装置の指示に従ってユーザが音声入力を行うことにより、例えば目的地等の情報を装置に認識させることができる。しかし、何等かの理由で音声対話が中断し、ユーザが対話の内容を忘れてしまう場合があるので、この装置では、入力音声と応答内容とを対話履歴として記憶するメモリを備え、対話の中断を検出した後に対話の再開が検出された場合には、中断前の対話内容を示す音声を出力する（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１１−１２６０８９号公報
【０００４】
【発明が解決しようとする課題】
ところで、特許文献１に記載されているような従来の装置では、今まで進めてきたシナリオをそのまま継続させるように、中断した時点から音声対話を再開することができるものの、情報センタと車両側とを無線通信により接続し、情報センタと車両側との間で音声対話による入力を行うような場合、通信の頻繁な切断により音声対話の中断が発生すると、通信の再接続のたびに、車両側では必要がない情報を入手してしまい、通信の効率が悪くなるという問題があった。一方、最初から音声対話をやり直す場合、今まで入力した情報が無駄になるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、通信を介して音声対話を行う際に、中断した音声対話を適切な段階から復帰することが可能な移動体端末装置及び情報センタを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る移動体端末装置は、移動体に備えられると共に、通信網を介して情報センタに備えられた対話システムと対話を行う移動体端末装置であって、前記移動体の位置を検出する位置検出手段（例えば実施の形態の自車位置検出部２１）と、前記情報センタとの通信の中断を判定する通信中断判定手段（例えば実施の形態のステップＳ７）と、通信が中断した際に、前記移動体の位置を判定する通信中断位置判定手段（例えば実施の形態のステップＳ５）と、前記情報センタとの通信の復帰を判定する通信復帰判定手段（例えば実施の形態のステップＳ１０）と、通信が復帰した際に、前記移動体の位置を判定する通信復帰位置判定手段（例えば実施の形態のステップＳ１３、及びステップＳ１６）と、通信が中断した際の前記移動体の位置と、通信が復帰した際の前記移動体の位置とに基づいて、対話の再開を制御する対話再開制御手段（例えば実施の形態のステップＳ１４、ステップＳ１７、ステップＳ１８、及びステップＳ１９）とを備えたことを特徴とする。
【０００７】
以上の構成を備えた移動体端末装置は、通信中断判定手段が情報センタとの通信の中断を判定すると、位置検出手段が検出する移動体の位置に基づいて、通信中断位置判定手段が、情報センタとの通信が中断した際の移動体の位置を判定する。一方、通信復帰判定手段が情報センタとの通信の復帰を判定すると、位置検出手段が検出する移動体の位置に基づいて、通信復帰位置判定手段が、情報センタとの通信が復帰した際の移動体の位置を判定する。これにより、対話再開制御手段は、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
【０００８】
請求項２の発明に係る情報センタは、通信網を介して移動体に備えられた移動体端末装置と対話を行う対話システムを備えた情報センタであって、前記移動体端末装置から該移動体の位置を取得する位置取得手段と、前記移動体端末装置との通信の中断を判定する通信中断判定手段と、通信が中断した際に、前記移動体の位置を判定する通信中断位置判定手段と、前記移動体端末装置との通信の復帰を判定する通信復帰判定手段と、通信が復帰した際に、前記移動体の位置を判定する通信復帰位置判定手段と、通信が中断した際の前記移動体の位置と、通信が復帰した際の前記移動体の位置とに基づいて、対話の再開を制御する対話再開制御手段とを備えたことを特徴とする。
【０００９】
以上の構成を備えた情報センタは、通信中断判定手段が移動体端末装置との通信の中断を判定すると、位置取得手段が移動体端末装置から取得する移動体の位置に基づいて、通信中断位置判定手段が、移動体端末装置との通信が中断した際の移動体の位置を判定する。一方、通信復帰判定手段が移動体端末装置との通信の復帰を判定すると、位置取得手段が移動体端末装置から取得する移動体の位置に基づいて、通信復帰位置判定手段が、移動体端末装置との通信が復帰した際の移動体の位置を判定する。これにより、対話再開制御手段は、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
図１において、符号１は本実施の形態の移動体端末装置であって、対話システムを備えた情報センタ２と無線通信による回線網３を介して接続される。
【００１１】
まず、移動体端末装置１について詳細を説明すると、ユーザの音声を入力するマイク１１から入力された音声信号は、エンコード部１２においてデジタル符号化されて圧縮される。
また、デコード部１３は、情報センタから送られる圧縮音声データを音声信号に変換する処理部であって、デコード部１３により圧縮音声データから変換された音声は、スピーカ１４から再生される。
【００１２】
一方、通信制御部１５では、移動体通信装置２０を用いた情報センタ２との間の音声データのストリーミング送受信とコマンド送受信の制御を行い、制御部１６では、移動体端末装置１と情報センタ２との間の通信制御と、ユーザに対して通信内容や操作内容を表示するディスプレイ１７の表示制御と、ユーザからの入力を受け付ける操作部１８の制御と、更には音声の制御を行い、移動体端末装置１側でのユーザとの対話処理を行う。
【００１３】
また、制御部１６に接続された継続判定部１９では、車両地点情報と時間情報とにより、中断した音声対話をどの段階から継続させるかの判定を行う。
なお、移動体通信装置２０は、携帯電話などの移動体用通信機器であって、情報センタ２と無線通信により回線を接続できるものであれば、何を用いても良い。
また、移動体端末装置１は、ＧＰＳ（Global Positioning System ）等を用いた自車位置検出部２１を備え、制御部１６ではいつでも自車両の位置が把握できる。
また、車両から送信される音声データは、音声認識装置（図示しない）を車両に搭載しマイク１１から入力された音声信号を音声認識したテキストデータにて送信するようにしてもよい。
【００１４】
次に、情報センタ２について詳細を説明すると、情報センタ２では、移動体端末装置１のマイク１１から入力された音声と、移動体端末装置１の操作部１８での入力とを回線網３を介して受信し、対話システムによる音声と表示を、移動体端末装置１へ回線網３を介して送信し、移動体端末装置１のスピーカ１４とディスプレイ１７に出力する制御を行う。
【００１５】
移動体端末装置１からの圧縮音声データ入力は、通信装置３１、通信制御部３２を経由してデコード部３３で復調され、音声認識部３４により音声認識される。ここで、通信装置３１は、移動体端末装置１の移動体通信装置２０と、無線通信により回線を接続できる通信装置である。また、通信制御部３２では、通信装置３１を用いた移動体端末装置１との間の音声データのストリーミング送受信とコマンド送受信の制御を行う。
【００１６】
一方、移動体端末装置１への音声出力は、合成音声・録音音声出力部３５で作成した、音声合成された合成音声または生の録音音声の音声波形を、エンコード部３６においてデジタル化及び圧縮することにより、データ化して端末に送信する。なお、送信された音声は、移動体端末装置１側ではリアルタイムにデコードして音声再生される。また、高音質化の為に、音声信号をエンコード・デコード処理する手法を用いることが好ましいが、音声合成の手法でテキストデータを送信するようにしても良い。
【００１７】
また、対話制御部３７は、音声対話の順序を記憶したシナリオ３８を用いて、移動体端末装置１を操作するユーザとの音声対話を制御すると共に、音声認識部３４、通信制御部３２、合成音声・録音音声出力部３５を制御する。
またシナリオ３８について詳細に説明すると、シナリオ３８は、音声対話に用いるシナリオコード列やシナリオ情報を記憶した記憶部であって、一例としてレストラン検索のシナリオコード列の例を表１に、交通情報検索のシナリオコード列の例を表２に示す。
【００１８】
【表１】

【００１９】
【表２】

【００２０】
次に、本実施の形態の移動体端末装置１における通信処理の動作について、図面を参照して説明する。図２及び図３は、本実施の形態の移動体端末装置１における通信処理の動作を示すフローチャートである。
図２において、まず移動体端末装置１の制御部１６は、通信制御部１５を制御し、移動体通信装置２０を用いて情報センタ２に回線を接続する（ステップＳ１）。
次に、制御部１６が、情報センタ２へ、音声対話の開始シナリオは、シナリオのトップであることを送信し（ステップＳ２）、ユーザと情報センタ２の対話システムとの対話通信処理を行う（ステップＳ３）と共に、音声対話に伴う画面表示の更新を行う（ステップＳ４）。
【００２１】
また、制御部１６は音声対話を実行しながら、自車位置検出部２１から取得した現在地に基づく車両地点情報（例えば現在地情報、ルート情報、現在地の１ｋｍ先の周辺エリア情報等）を情報センタ２に送信すると共に、継続判定部１９は送信した車両地点情報とその時の時間情報とを記憶する（ステップＳ５）。
更に、制御部１６は音声対話を実行しながら、ユーザまたは情報センタ２による対話終了が発生したか否かを判定し（ステップＳ６）、対話終了が発生していない場合（ステップＳ６のＮＯ）、通信が中断したか否かを判定する（ステップＳ７）。
【００２２】
もし、ステップＳ７において、通信の中断が発生していない場合（ステップＳ７のＮＯ）、ステップＳ３へ戻り、上述の動作を繰り返す。
また、ステップＳ７において、通信の中断が発生している場合（ステップＳ７のＹＥＳ）、制御部１６は、まず現在の音声対話のシナリオ情報を記憶（対話シナリオの段階情報として、シナリオの進捗に対応した、表１，２の分類レベル、内容、例示の段階が記憶される。）し（ステップＳ８）、次に情報センタ２への回線の再接続を開始する（ステップＳ９）。
そして、図３のステップＳ１０へ進み、情報センタ２へ回線を接続できたか否かを判定し（ステップＳ１０）、回線を接続できない場合（ステップＳ１０のＮＯ）、制御部１６は、ユーザによる再接続中止操作が入力されたか否かを判定する（ステップＳ１１）。
【００２３】
ステップＳ１１において、ユーザによる再接続中止操作が入力されていない場合（ステップＳ１１のＮＯ）、制御部１６は、通信が中断している時間が長いか否かを判定する（ステップＳ１２）。
ステップＳ１２において、通信が中断している時間が短い場合（ステップＳ１２のＮＯ）、継続判定部１９は、記憶している車両地点情報と現在の車両地点情報とを比較し、通信の再接続を中止するか否かを判定する（ステップＳ１３）。
ステップＳ１３において、通信の再接続を中止しない場合（ステップＳ１３のＮＯ）、ステップＳ１０へ戻り、上述の動作を繰り返す。
【００２４】
一方、ステップＳ１１において、ユーザによる再接続中止操作が入力されている場合（ステップＳ１１のＹＥＳ）、あるいはステップＳ１２において、通信が中断している時間が長い場合（ステップＳ１２のＹＥＳ）、あるいはステップＳ１３において、通信の再接続を中止する場合（ステップＳ１３のＹＥＳ）、更には前述のステップＳ６において、ユーザまたは情報センタ２による対話終了が発生した場合（ステップＳ６のＹＥＳ）のいずれかの場合、制御部１６は、情報センタ２との接続を終了し（ステップＳ１４）、移動体端末装置１における通信処理の動作を終了する。
【００２５】
また、ステップＳ１０において、情報センタ２へ回線を接続できたか否かを判定し、回線を接続できた場合（ステップＳ１０のＹＥＳ）、制御部１６は情報センタ２へ車両情報を送信すると共に、継続判定部１９は、通信中断前の音声対話のシナリオが車両地点情報を使用していたか否かを判定する（ステップＳ１５）。なお、通信の中断復帰時に移動体端末装置１から情報センタ２へ送信される車両情報には、例えば車両ＩＤや位置座標、音声対話の状態番号、音声対話における入力済みの内容、正常終了後の接続または異常終了後の接続か、前回接続時の時間、入力手法が音声または操作部か、入力されたボタン位置、更には入力音声等が含まれる。
【００２６】
もし、ステップＳ１５において、通信中断前の音声対話のシナリオが車両地点情報を使用していた場合（ステップＳ１５のＹＥＳ）、制御部１６が現在の車両地点情報を自車位置検出部２１から取得すると共に、継続判定部１９は、記憶している車両地点情報と現在の車両地点情報とを比較し（ステップＳ１６）、両者の間の距離が設定値よりも離れているか否かを判定する（ステップＳ１７）。
また、ステップＳ１７において、記憶している車両地点情報と現在の車両地点情報との間の距離は、設定値よりも離れていると判定した場合（ステップＳ１７のＹＥＳ）、継続判定部１９は、制御部１６に音声対話のシナリオの修正コマンド、現在地での車両地点情報、現在のシナリオ情報を情報センタ２へ送信させる（ステップＳ１８）。そして、図２のステップＳ３へ戻り、上述の動作を繰り返す。
この結果、音声対話のシナリオは、中断した時点とは異なる状態で復帰した時点で適切な状態（分類レベル、内容などにより適切な状態まで遡った状態）から再開される。
【００２７】
一方、もしステップＳ１５において、通信中断前の音声対話のシナリオが車両地点情報を使用していない場合（ステップＳ１５のＮＯ）、あるいはステップＳ１７において、継続判定部１９が、記憶している車両地点情報と現在の車両地点情報との間の距離は、設定値よりも離れていないと判定した場合（ステップＳ１７のＮＯ）のいずれかの場合、制御部１６は、現在のシナリオ情報を情報センタ２へ送信する（ステップＳ１９）。そして、図２のステップＳ３へ戻り、上述の動作を繰り返す。
この結果、音声対話のシナリオは、中断した直前の時点から再開される。
【００２８】
なお、本実施の形態では、移動体端末装置１の制御部１６及び継続判定部１９が、通信中断判定手段と、通信中断位置判定手段と、通信復帰判定手段と、通信復帰位置判定手段と、対話再開制御手段とを含んでいる。
より具体的には、図２のステップＳ７が通信中断判定手段に相当し、図２のステップＳ５が通信中断位置判定手段に相当する。また、図３のステップＳ１０が通信復帰判定手段に相当し、図３のステップＳ１３及びステップＳ１６が通信復帰位置判定手段に相当し、図３のステップＳ１４、ステップＳ１７、ステップＳ１８、及びステップＳ１９が対話再開制御手段に相当する。
【００２９】
以上説明したように、本実施の形態の移動体端末装置１は、制御部１６の通信中断判定手段が情報センタ２との通信の中断を判定すると、自車位置検出部２１が検出する車両の位置に基づいて、継続判定部１９の通信中断位置判定手段が、情報センタ２との通信が中断した際の車両地点情報を判定する。一方、制御部１６の通信復帰判定手段が情報センタ２との通信の復帰を判定すると、自車位置検出部２１が検出する車両の位置に基づいて、継続判定部１９の通信復帰位置判定手段が、情報センタ２との通信が復帰した際の車両の位置を判定する。これにより、継続判定部１９の対話再開制御手段は、通信が中断した際の車両の位置と通信が復帰した際の車両の位置とに基づいて、対話の再開を制御することができる。
【００３０】
従って、通信を介して音声対話を行う際に、移動体端末装置１は、不要な情報を情報センタ２から何度も受信せずに、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の移動体端末装置及び情報センタについて説明する。第２の実施の形態は、第１の実施の形態が移動体端末装置において音声対話の再開制御を実行していたのに対し、音声対話の再開制御を情報センタ２側で行う場合である。
図４は、本実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
図４において、図１と同一の符号を付与した構成要素は、第１の実施の形態で説明した構成要素と同一の動作を行う構成要素であるので、ここでは説明を省略する。
【００３２】
図４において、図１に示した移動体端末装置１の継続判定部１９は、音声対話の再開制御を情報センタ２側で行うので削除される。
また、情報センタ２の対話制御部３７に接続された継続判定部３９は、音声対話の再開制御を情報センタ２側で行う場合の処理部であって、回線が中断した際の再接続時には、新しい現在地に基づいて求めた車両地点情報を移動体端末装置１から受信し、継続判定部３９で記憶している古い車両地点情報と、移動体端末装置１から受信した回線復帰時の現在地に基づいて求めた車両地点情報とを比較することにより、その違いによって対話内容が影響されるか否かを判定する。
【００３３】
次に、本実施の形態の情報センタ２における通信処理の動作について説明すると、本実施の形態の場合、移動体端末装置１と情報センタ２との間の通信が中断したか否か、あるいは中断した通信が復帰したか否かについては、対話制御部３７の通信中断判定手段と通信復帰判定手段とが判定する。
情報センタ２では、移動体端末装置１から受信した車両地点情報を、継続判定部３９が常に保存しながら、対話制御部３７の通信中断判定手段が、移動体端末装置１との通信の中断の有無を判定する。一方、対話制御部３７の通信中断判定手段が、移動体端末装置１との通信の中断を判定すると、回線の再接続が開始されるので、対話制御部３７の通信復帰判定手段において回線が再接続され、通信が復帰したと判定されたら、継続判定部３９の通信復帰位置判定手段が、移動体端末装置１との通信が復帰した際の車両の位置を判定する。
【００３４】
もし、通信中断前の音声対話のシナリオが車両地点情報を使用している場合、継続判定部３９の対話再開制御手段が、通信が中断した際の車両地点情報と通信が復帰した際の車両地点情報とを比較し、両者の間の距離が設定値よりも離れているか否かを判定する。
そして、記憶している車両地点情報と現在の車両地点情報との間の距離が、設定値よりも離れていると判定された場合、継続判定部３９の対話再開制御手段は、通信制御部３２を介して、移動体端末装置１に音声対話のシナリオの修正コマンド、現在地での車両地点情報、現在のシナリオ情報を情報センタ２へ送信させる。なお、この場合、情報センタ２から移動体端末装置１に、音声対話のシナリオの修正コマンドを送信しても良い。
【００３５】
以上説明したように、本実施の形態の情報センタ２は、対話制御部３７の通信中断判定手段が移動体端末装置１との通信の中断を判定すると、通信制御部３２が移動体端末装置１から受信した車両の位置に基づいて、継続判定部３９の通信中断位置判定手段が、移動体端末装置１との通信が中断した際の車両地点情報を判定する。一方、対話制御部３７の通信復帰判定手段が移動体端末装置１との通信の復帰を判定すると、通信制御部３２が移動体端末装置１から受信した車両の位置に基づいて、継続判定部３９の通信復帰位置判定手段が、移動体端末装置１との通信が復帰した際の車両の位置を判定する。これにより、継続判定部３９の対話再開制御手段は、通信が中断した際の車両の位置と通信が復帰した際の車両の位置とに基づいて、対話の再開を制御することができる。
【００３６】
従って、通信を介して音声対話を行う際に、情報センタ２は、移動体端末装置１に負担をかけずに音声対話の中断を判断し、不要な情報を何度も移動体端末装置１へ送信することなく、移動体端末装置１において、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３７】
【発明の効果】
以上の如く、請求項１に記載の移動体端末装置によれば、移動体端末装置において、情報センタとの通信が中断した際の移動体の位置と、情報センタとの通信が復帰した際の移動体の位置とを判定し、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
従って、移動体端末装置は、不要な情報を情報センタから何度も受信せずに、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３８】
請求項２に記載の情報センタによれば、情報センタにおいて、移動体端末装置との通信が中断した際の移動体の位置と、情報センタとの通信が復帰した際の移動体の位置とを判定し、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
従って、情報センタは、移動体端末装置に負担をかけずに音声対話の中断を判断し、不要な情報を何度も移動体端末装置へ送信することなく、移動体端末装置において、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
【図２】同実施の形態の移動体端末装置における通信処理の動作を示すフローチャートである。
【図３】同実施の形態の移動体端末装置における通信処理の動作を示すフローチャートである。
【図４】第２の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
【符号の説明】
１移動体端末装置
２情報センタ
３回線網
１１マイク
１２エンコード部
１３デコード部
１４スピーカ
１５通信制御部
１６制御部
１７ディスプレイ
１８操作部
１９継続判定部
２０移動体通信装置
２１自車位置検出部
３１通信装置
３２通信制御部
３３デコード部
３４音声認識部
３５合成音声・録音音声出力部
３６エンコード部
３７対話制御部
３８シナリオ
３９継続判定部
Ｓ５通信中断位置判定手段
Ｓ７通信中断判定手段
Ｓ１０通信復帰判定手段
Ｓ１３、Ｓ１６通信復帰位置判定手段
Ｓ１４、Ｓ１７、Ｓ１８対話再開制御手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mobile terminal device and an information center that communicate with each other via a communication system via a communication network.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, some voice interaction apparatuses that control operations using voice input can continue a smooth voice conversation even after the voice conversation is interrupted.
For example, such a device is used when an in-vehicle navigation device is operated using voice input. When a user performs voice input according to an instruction of a voice interaction device, for example, information such as a destination can be obtained. The device can be recognized. However, since the voice dialogue may be interrupted for some reason and the user forgets the content of the dialogue, this device is equipped with a memory for storing the input voice and the response content as a dialogue history, and the dialogue is interrupted. When the restart of the dialogue is detected after detecting the message, a voice indicating the content of the dialogue before the interruption is output (for example, see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 11-126089
[Problems to be solved by the invention]
By the way, in the conventional apparatus as described in Patent Document 1, the voice conversation can be resumed from the point of interruption so as to continue the scenario that has been advanced so far, but the information center and the vehicle side Are connected by wireless communication, and when voice communication is input between the information center and the vehicle side, if the voice communication is interrupted due to frequent disconnection of communication, the vehicle side However, there is a problem that unnecessary information is obtained and communication efficiency deteriorates. On the other hand, there is a problem that information input up to now is wasted when the voice conversation is started again from the beginning.
[0005]
The present invention has been made in view of the above problems, and provides a mobile terminal device and an information center capable of returning an interrupted voice conversation from an appropriate stage when performing a voice conversation via communication. For the purpose.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, a mobile terminal device according to the invention of claim 1 is provided in a mobile body and is a mobile terminal device that performs a dialog with a dialog system provided in an information center via a communication network. Then, a position detecting means for detecting the position of the moving body (for example, the own vehicle position detecting unit 21 in the embodiment) and a communication interruption determining means for determining interruption of communication with the information center (for example, in the embodiment) Step S7), communication interruption position determination means for determining the position of the mobile body when communication is interrupted (for example, step S5 in the embodiment), and communication return determination for determining return of communication with the information center Means (for example, step S10 of the embodiment) and communication return position determining means for determining the position of the moving body when communication is recovered (for example, step S13 and step S16 of the embodiment) And a dialog resumption control means for controlling resumption of dialogue based on the position of the mobile body when communication is interrupted and the position of the mobile body when communication is restored (for example, step S14 in the embodiment, Step S17, Step S18, and Step S19) are provided.
[0007]
In the mobile terminal device having the above-described configuration, when the communication interruption determination unit determines that communication with the information center is interrupted, the communication interruption position determination unit determines whether the information is detected based on the position of the mobile body detected by the position detection unit. The position of the moving body when communication with the center is interrupted is determined. On the other hand, when the communication return determination means determines the return of communication with the information center, the communication return position determination means moves when the communication with the information center returns based on the position of the moving body detected by the position detection means. Determine the position of the body. Thereby, the dialogue resumption control means can control the resumption of the dialogue based on the position of the moving body when the communication is interrupted and the position of the moving body when the communication is restored.
[0008]
An information center according to a second aspect of the present invention is an information center including a dialog system for performing a dialog with a mobile terminal device provided in a mobile body via a communication network, the mobile terminal device to the mobile body. Position acquisition means for acquiring the position of the communication terminal, communication interruption determination means for determining interruption of communication with the mobile terminal device, communication interruption position determination means for determining the position of the mobile body when communication is interrupted, and A communication return determination means for determining a return of communication with the mobile terminal device, a communication return position determination means for determining a position of the mobile body when the communication is recovered, and the movement when the communication is interrupted. It is characterized by comprising dialogue resumption control means for controlling the resumption of dialogue based on the position of the body and the position of the moving body when communication is restored.
[0009]
In the information center having the above configuration, when the communication interruption determination unit determines the interruption of communication with the mobile terminal device, the communication center determines the communication interruption position based on the position of the moving body acquired by the position acquisition unit from the mobile terminal device. The determination means determines the position of the mobile object when communication with the mobile terminal device is interrupted. On the other hand, when the communication return determination unit determines the return of communication with the mobile terminal device, the communication return position determination unit determines whether the communication return position determination unit acquires the mobile terminal device based on the position of the mobile body acquired from the mobile terminal device. The position of the moving body when the communication with is restored. Thereby, the dialogue resumption control means can control the resumption of the dialogue based on the position of the moving body when the communication is interrupted and the position of the moving body when the communication is restored.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a voice interactive communication system including a mobile terminal device and an information center according to the first embodiment of this invention.
In FIG. 1, reference numeral 1 denotes a mobile terminal device according to the present embodiment, which is connected to an information center 2 equipped with an interactive system via a network 3 by wireless communication.
[0011]
First, the mobile terminal device 1 will be described in detail. The audio signal input from the microphone 11 for inputting the user's voice is digitally encoded and compressed by the encoding unit 12.
The decoding unit 13 is a processing unit that converts the compressed audio data sent from the information center into an audio signal. The audio converted from the compressed audio data by the decoding unit 13 is reproduced from the speaker 14.
[0012]
On the other hand, the communication control unit 15 controls audio data streaming transmission / reception and command transmission / reception with the information center 2 using the mobile communication device 20, and the control unit 16 controls the mobile terminal device 1 and the information center 2. Control of the display 17 that displays communication contents and operation contents to the user, control of the operation unit 18 that accepts input from the user, and voice control. Interactive processing with the user on the terminal device 1 side is performed.
[0013]
Further, the continuation determination unit 19 connected to the control unit 16 determines from which stage the interrupted voice conversation is continued based on the vehicle point information and the time information.
The mobile communication device 20 may be anything as long as it is a mobile communication device such as a mobile phone and can connect a line to the information center 2 by wireless communication.
In addition, the mobile terminal device 1 includes a host vehicle position detection unit 21 using GPS (Global Positioning System) or the like, and the control unit 16 can grasp the position of the host vehicle at any time.
The voice data transmitted from the vehicle may be transmitted as text data in which a voice recognition device (not shown) is mounted on the vehicle and the voice signal input from the microphone 11 is voice-recognized.
[0014]
Next, the details of the information center 2 will be described. In the information center 2, the voice input from the microphone 11 of the mobile terminal device 1 and the input from the operation unit 18 of the mobile terminal device 1 are transmitted through the line network 3. The voice and display by the interactive system are transmitted to the mobile terminal device 1 via the network 3 and output to the speaker 14 and the display 17 of the mobile terminal device 1.
[0015]
The compressed audio data input from the mobile terminal device 1 is demodulated by the decoding unit 33 via the communication device 31 and the communication control unit 32 and is recognized by the voice recognition unit 34. Here, the communication device 31 is a communication device that can connect a line to the mobile communication device 20 of the mobile terminal device 1 by wireless communication. The communication control unit 32 controls streaming transmission / reception of voice data and command transmission / reception with the mobile terminal device 1 using the communication device 31.
[0016]
On the other hand, the voice output to the mobile terminal device 1 is digitized and compressed by the encoding unit 36 with the voice waveform of the synthesized voice or the raw recorded voice synthesized by the synthesized voice / recorded voice output unit 35. Thus, it is converted into data and transmitted to the terminal. The transmitted audio is decoded and reproduced in real time on the mobile terminal device 1 side. In order to improve the sound quality, it is preferable to use a method of encoding / decoding an audio signal, but text data may be transmitted using a method of speech synthesis.
[0017]
In addition, the dialogue control unit 37 controls the voice dialogue with the user who operates the mobile terminal device 1 using the scenario 38 in which the order of the voice dialogue is stored, and also includes the voice recognition unit 34, the communication control unit 32, and the synthesis. The voice / recording voice output unit 35 is controlled.
The scenario 38 will be described in detail. The scenario 38 is a storage unit that stores a scenario code string and scenario information used for voice conversation. As an example, a scenario code string for restaurant search is shown in Table 1 as a traffic information search. Table 2 shows an example of the scenario code string.
[0018]
[Table 1]

[0019]
[Table 2]

[0020]
Next, the communication processing operation in the mobile terminal device 1 of the present embodiment will be described with reference to the drawings. FIG.2 and FIG.3 is a flowchart which shows the operation | movement of the communication process in the mobile terminal device 1 of this Embodiment.
In FIG. 2, first, the control unit 16 of the mobile terminal device 1 controls the communication control unit 15 to connect a line to the information center 2 using the mobile communication device 20 (step S1).
Next, the control unit 16 transmits to the information center 2 that the scenario for starting the voice dialogue is the top of the scenario (step S2), and performs dialogue communication processing between the user and the dialogue system of the information center 2 (step S2). Along with step S3), the screen display associated with the voice dialogue is updated (step S4).
[0021]
In addition, the control unit 16 executes the voice dialogue and obtains vehicle location information (for example, current location information, route information, surrounding area information 1 km ahead of the current location, etc.) based on the current location acquired from the vehicle position detection unit 21 as the information center 2. And the continuation determination unit 19 stores the transmitted vehicle point information and the time information at that time (step S5).
Further, the control unit 16 determines whether or not the dialog end by the user or the information center 2 has occurred while executing the voice dialog (step S6), and if the dialog has not ended (NO in step S6), It is determined whether the communication is interrupted (step S7).
[0022]
If the communication is not interrupted in step S7 (NO in step S7), the process returns to step S3 and the above-described operation is repeated.
In step S7, when communication is interrupted (YES in step S7), the control unit 16 first stores scenario information of the current voice dialogue (corresponding to the progress of the scenario as step information of the dialogue scenario). Then, the classification levels, contents, and exemplary stages in Tables 1 and 2 are stored (step S8), and then reconnection of the line to the information center 2 is started (step S9).
Then, the process proceeds to step S10 in FIG. 3 to determine whether or not the line can be connected to the information center 2 (step S10). When the line cannot be connected (NO in step S10), the control unit 16 reconnects by the user. It is determined whether or not a cancel operation has been input (step S11).
[0023]
In step S11, when the reconnection cancellation operation by the user is not input (NO in step S11), the control unit 16 determines whether or not the communication is interrupted for a long time (step S12).
In step S12, when the time during which communication is interrupted is short (NO in step S12), the continuation determination unit 19 compares the stored vehicle point information with the current vehicle point information, and reconnects the communication. It is determined whether or not to cancel (step S13).
In step S13, when the communication reconnection is not stopped (NO in step S13), the process returns to step S10 and the above-described operation is repeated.
[0024]
On the other hand, if a reconnection cancellation operation by the user is input in step S11 (YES in step S11), or if communication is interrupted for a long time in step S12 (YES in step S12), or step S13 If the communication reconnection is stopped (YES in step S13), or if the user or the information center 2 terminates the conversation in step S6 (YES in step S6), the control is performed. The unit 16 ends the connection with the information center 2 (step S14), and ends the operation of the communication process in the mobile terminal device 1.
[0025]
In step S10, it is determined whether or not the line can be connected to the information center 2. If the line can be connected (YES in step S10), the control unit 16 transmits the vehicle information to the information center 2 and continues. The determination unit 19 determines whether or not the voice conversation scenario before the communication interruption uses the vehicle location information (step S15). The vehicle information transmitted from the mobile terminal device 1 to the information center 2 at the time of communication interruption return includes, for example, the vehicle ID and position coordinates, the state number of the voice dialogue, the content already entered in the voice dialogue, It includes the connection or connection after abnormal termination, the time at the previous connection, whether the input method is a voice or operation unit, the input button position, and the input voice.
[0026]
If, in step S15, the voice conversation scenario before the communication interruption uses the vehicle location information (YES in step S15), the control unit 16 acquires the current vehicle location information from the own vehicle location detection unit 21. At the same time, the continuation determination unit 19 compares the stored vehicle point information with the current vehicle point information (step S16), and determines whether the distance between the two is greater than the set value (step S16). S17).
In Step S17, when it is determined that the distance between the stored vehicle point information and the current vehicle point information is greater than the set value (YES in Step S17), the continuation determination unit 19 The control unit 16 is caused to transmit a voice dialogue scenario correction command, vehicle location information at the current location, and current scenario information to the information center 2 (step S18). And it returns to step S3 of FIG. 2, and repeats the above-mentioned operation | movement.
As a result, the voice conversation scenario is resumed from an appropriate state (a state traced back to an appropriate state depending on the classification level, contents, etc.) when the state is restored in a state different from the point of interruption.
[0027]
On the other hand, if the voice conversation scenario before the interruption of communication does not use the vehicle location information in step S15 (NO in step S15), or the continuation determination unit 19 stores the vehicle location information stored in step S17. If it is determined that the distance between the current vehicle location information and the current vehicle location information is not greater than the set value (NO in step S17), the control unit 16 sends the current scenario information to the information center 2. Transmit (step S19). And it returns to step S3 of FIG. 2, and repeats the above-mentioned operation | movement.
As a result, the voice conversation scenario is resumed from the point immediately before the interruption.
[0028]
In the present embodiment, the control unit 16 and the continuation determination unit 19 of the mobile terminal device 1 include communication interruption determination means, communication interruption position determination means, communication return determination means, communication return position determination means, Dialogue resumption control means.
More specifically, step S7 in FIG. 2 corresponds to communication interruption determination means, and step S5 in FIG. 2 corresponds to communication interruption position determination means. Also, step S10 in FIG. 3 corresponds to communication return determination means, step S13 and step S16 in FIG. 3 correspond to communication return position determination means, and step S14, step S17, step S18, and step S19 in FIG. This corresponds to the dialogue restart control means.
[0029]
As described above, in the mobile terminal device 1 according to the present embodiment, when the communication interruption determination unit of the control unit 16 determines the interruption of communication with the information center 2, the vehicle position detection unit 21 detects the vehicle. Based on the position, the communication interruption position determination means of the continuation determination unit 19 determines vehicle point information when communication with the information center 2 is interrupted. On the other hand, when the communication return determination unit of the control unit 16 determines the return of communication with the information center 2, the communication return position determination unit of the continuation determination unit 19 is based on the position of the vehicle detected by the own vehicle position detection unit 21. The position of the vehicle when communication with the information center 2 is restored is determined. Thereby, the dialog restart control means of the continuation determination unit 19 can control the restart of the dialog based on the position of the vehicle when the communication is interrupted and the position of the vehicle when the communication is restored.
[0030]
Therefore, when performing a voice conversation through communication, the mobile terminal device 1 does not receive unnecessary information many times from the information center 2 and saves the input information, while maintaining effective voice conversation. In addition, it is possible to obtain an effect that the vehicle can be restarted from an appropriate stage while determining the moving distance of the vehicle.
[0031]
(Second Embodiment)
Next, a mobile terminal device and an information center according to the second embodiment of the present invention will be described. The second embodiment is a case where the voice communication restart control is performed on the information center 2 side, whereas the voice communication restart control is executed in the mobile terminal device in the first embodiment.
FIG. 4 is a block diagram showing a voice interactive communication system configured by the mobile terminal device and the information center of the present embodiment.
4, components given the same reference numerals as those in FIG. 1 are components that perform the same operations as the components described in the first embodiment, and thus description thereof is omitted here.
[0032]
In FIG. 4, the continuation determination unit 19 of the mobile terminal device 1 shown in FIG. 1 is deleted because the voice center restart control is performed on the information center 2 side.
The continuation determination unit 39 connected to the dialogue control unit 37 of the information center 2 is a processing unit for performing voice dialogue resumption control on the information center 2 side, and at the time of reconnection when the line is interrupted, The vehicle location information obtained based on the new current location is received from the mobile terminal device 1, and based on the old vehicle location information stored in the continuation determination unit 39 and the current location at the time of line return received from the mobile terminal device 1. By comparing with the vehicle point information obtained in this way, it is determined whether or not the content of the dialogue is affected by the difference.
[0033]
Next, the operation of the communication processing in the information center 2 of this embodiment will be described. In the case of this embodiment, whether or not the communication between the mobile terminal device 1 and the information center 2 has been interrupted, or is interrupted. The communication interruption determination unit and the communication return determination unit of the dialog control unit 37 determine whether or not the communication has been restored.
In the information center 2, while the continuation determination unit 39 always saves the vehicle location information received from the mobile terminal device 1, the communication interruption determination unit of the dialogue control unit 37 interrupts communication with the mobile terminal device 1. Determine presence or absence. On the other hand, when the communication interruption determination unit of the dialog control unit 37 determines that the communication with the mobile terminal device 1 is interrupted, the line reconnection is started. When it is determined that the communication is restored, the communication return position determination unit of the continuation determination unit 39 determines the position of the vehicle when the communication with the mobile terminal device 1 is recovered.
[0034]
If the scenario of the voice conversation before the communication interruption uses the vehicle point information, the dialog resumption control means of the continuation determination unit 39 uses the vehicle point information when the communication is interrupted and the vehicle point when the communication is restored. The information is compared, and it is determined whether or not the distance between the two is greater than the set value.
If it is determined that the distance between the stored vehicle location information and the current vehicle location information is greater than the set value, the dialog resumption control means of the continuation determination unit 39 is the communication control unit 32. Via the above, the mobile terminal device 1 is caused to transmit a voice dialogue scenario correction command, vehicle location information at the current location, and current scenario information to the information center 2. In this case, a voice dialogue scenario correction command may be transmitted from the information center 2 to the mobile terminal device 1.
[0035]
As described above, in the information center 2 according to the present embodiment, when the communication interruption determination unit of the dialogue control unit 37 determines that communication with the mobile terminal device 1 is interrupted, the communication control unit 32 causes the mobile terminal device 1 to stop communication. Based on the position of the vehicle received from, the communication interruption position determination means of the continuation determination unit 39 determines vehicle point information when communication with the mobile terminal device 1 is interrupted. On the other hand, when the communication return determination unit of the dialog control unit 37 determines the return of communication with the mobile terminal device 1, the continuation determination unit 39 is based on the position of the vehicle received from the mobile terminal device 1 by the communication control unit 32. The communication return position determination means determines the position of the vehicle when communication with the mobile terminal device 1 is recovered. Thereby, the dialog restart control means of the continuation determination unit 39 can control the restart of the dialog based on the position of the vehicle when the communication is interrupted and the position of the vehicle when the communication is restored.
[0036]
Accordingly, when performing a voice conversation via communication, the information center 2 determines the interruption of the voice conversation without imposing a burden on the mobile terminal apparatus 1 and sends unnecessary information to the mobile terminal apparatus 1 many times. In the mobile terminal device 1, an effective voice conversation can be resumed from an appropriate stage while determining the moving distance of the vehicle while saving the input information without transmitting the information. .
[0037]
【The invention's effect】
As described above, according to the mobile terminal device of the first aspect, in the mobile terminal device, the position of the mobile body when the communication with the information center is interrupted and the communication with the information center are restored. It is possible to determine the position of the moving body, and to control the restart of the dialog based on the position of the moving body when communication is interrupted and the position of the moving body when communication is restored.
Therefore, the mobile terminal device does not receive unnecessary information from the information center many times, saves the input information, and determines the moving distance of the vehicle for an effective voice conversation, and at an appropriate stage. The effect of being able to resume from is obtained.
[0038]
According to the information center of the second aspect, in the information center, the position of the mobile body when communication with the mobile terminal device is interrupted and the position of the mobile body when communication with the information center is restored. It is possible to control the restart of the dialogue based on the position of the moving body when the communication is interrupted and the position of the moving body when the communication is restored.
Therefore, the information center determines the interruption of the voice conversation without imposing a burden on the mobile terminal device, and the mobile terminal device has already input the unnecessary information without repeatedly transmitting unnecessary information to the mobile terminal device. It is possible to obtain an effect that an effective voice dialogue can be resumed from an appropriate stage while judging the moving distance of an effective voice conversation while saving information.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a voice interactive communication system including a mobile terminal device and an information center according to a first embodiment.
FIG. 2 is a flowchart showing an operation of communication processing in the mobile terminal device of the embodiment.
FIG. 3 is a flowchart showing an operation of communication processing in the mobile terminal device of the embodiment.
FIG. 4 is a block diagram showing a voice interactive communication system including a mobile terminal device and an information center according to a second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Mobile terminal device 2 Information center 3 Line network 11 Microphone 12 Encoding part 13 Decoding part 14 Speaker 15 Communication control part 16 Control part 17 Display 18 Operation part 19 Continuation determination part 20 Mobile communication apparatus 21 Own vehicle position detection part 31 Communication Device 32 Communication control unit 33 Decoding unit 34 Speech recognition unit 35 Synthetic voice / recorded voice output unit 36 Encoding unit 37 Dialog control unit 38 Scenario 39 Continuation determination unit S5 Communication interruption position determination unit S7 Communication interruption determination unit S10 Communication return determination unit S13 , S16 Communication return position determining means S14, S17, S18 Dialog resumption control means

Claims

A mobile terminal device that is provided in a mobile body and that interacts with a dialog system provided in an information center via a communication network,
Position detecting means for detecting the position of the moving body;
Communication interruption determining means for determining interruption of communication with the information center;
Communication interruption position determination means for determining the position of the moving body when communication is interrupted;
Communication return determination means for determining return of communication with the information center;
Communication return position determination means for determining the position of the mobile body when communication is returned;
A moving object comprising: a dialog resumption control means for controlling resumption of a dialogue based on the position of the moving object when communication is interrupted and the position of the moving object when communication is restored Terminal device.

An information center provided with a dialogue system for carrying out dialogue with a mobile terminal device provided in a mobile body via a communication network,
Position acquisition means for acquiring the position of the mobile body from the mobile terminal device;
Communication interruption determining means for determining interruption of communication with the mobile terminal device;
Communication interruption position determination means for determining the position of the moving body when communication is interrupted;
Communication return determination means for determining return of communication with the mobile terminal device;
Communication return position determination means for determining the position of the mobile body when communication is returned;
An information center comprising: a dialog resumption control means for controlling resumption of dialogue based on the position of the mobile body when communication is interrupted and the position of the mobile body when communication is restored .