JP5889542B2 - 無線通信端末及び操作システム - Google Patents

Description

本発明は、アプリケーションを操作する無線通信端末及び操作システムに関する。

従来、携帯電話機等の無線通信端末において、通話中にトンネル等に入り通信が遮断した場合、その後通信可能な環境に移動した際に、先の通信相手に対して自動で発信し、通信の遮断から所定時間通信可能にならないときには発信を行わない端末が知られている（例えば、特許文献１参照）。

特開２００７−２５１６６２号公報

しかしながら、上記従来の構成では、通信復帰後に通話の継続（電話の発信）をするか否かを決定するに過ぎない。
例えば、アプリケーションを音声により操作する無線通信端末では、音声認識をサーバで行う場合、サーバとの通信遮断前のアプリケーションの操作をサーバとの通信復帰後に継続するか否かをアプリケーションに応じて決定したいという要望がある。
本発明は、上述した事情に鑑みてなされたものであり、通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供することを目的とする。

上記目的を達成するために、本発明の無線通信端末は、アプリケーションを操作するための操作内容を入力する入力手段と、前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、アプリケーションの種類毎の、前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かと、アプリケーションが複数の分類を有する場合には前記分類の種類毎の、前記サーバとの通信復帰後に必要な処理と、の少なくとも１つを記憶する記憶部と、前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じた、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かの決定、及び、前記操作対象のアプリケーションが複数の分類を有する場合には、前記操作内容による分類の種類に応じた前記サーバとの通信復帰後に必要な処理の決定の少なくとも１つを実行する制御手段と、を備えたことを特徴とする。

上記構成において、前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索してもよい。

上記構成において、前記操作内容は音声であってもよい。

上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。

また、本発明の操作システムは、所定処理を実行するサーバと、所定処理を実行するサーバと、アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、前記無線通信端末は、アプリケーションの種類毎の、前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かと、アプリケーションが複数の分類を有する場合には前記分類の種類毎の、前記サーバとの通信復帰後に必要な処理と、の少なくとも１つを記憶する記憶部と、前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定し、さらに、前記操作対象のアプリケーションが複数の分類を有する場合には、前記操作内容による分類の種類に応じて前記サーバとの通信復帰後に必要な処理を決定する制御手段とを備えることを特徴とする操作システム。

上記構成において、前記サーバは、アプリケーションの種類毎の、前記無線通信端末が前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かを記憶するサーバ記憶部と、前記無線通信端末から操作内容が入力された後、当該操作内容に対応する前記サーバ処理結果の前記無線通信端末への送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じて、通信遮断前に入力された操作内容による操作が前記無線通信端末で前記サーバとの通信復帰後に継続されるか否かを決定し、当該決定に応じて当該操作内容に対応するサーバ処理結果を保持又は削除するサーバ制御部とを備えてもよい。

上記構成において、前記操作内容は音声であってもよい。

上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。

上記構成において、前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であってもよい。
上記構成において、前記制御装置は、通信が遮断してからの位置変化に基づいて、前記サーバとの通信復帰後の必要な処理を決定してもよい。
上記構成において、前記記憶部は、入力された操作内容を記憶し、前記制御手段は、前記操作内容による操作を通信復帰後に継続すると決定した場合であって、当該操作内容が前記サーバに記憶されていないとき、前記サーバからの要求に応じて、前記記憶部から通信により該操作内容を前記サーバに送信し、前記サーバから所定処理の結果であるサーバ処理結果を受信するように構成されてもよい。
上記構成において、前記無線通信端末は、アプリケーションを操作するための操作内容を入力する入力手段と、入力した操作内容を記憶する記憶部と、前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備え、前記サーバは、前記制御手段が操作内容による操作を通信復帰後に継続すると決定した場合であって、当該操作内容が前記サーバに記憶されていないとき、前記無線通信端末の記憶部から通信により当該操作内容を受信し、所定処理の結果であるサーバ処理結果を前記制御手段に送信するように構成されていてもよい。

本発明によれば、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバとの通信復帰後に継続するか否かを決定できる。

本発明の実施の形態に係る音声操作システムの機能的構成を示すブロック図である。 音声情報管理表を示す図であり、（Ａ）はナビゲーション装置の音声情報管理表を示す図であり、（Ｂ）はサーバの音声情報管理表を示す図である。 サーバでの音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。 継続判断テーブルを示す図であり、（Ａ）は継続条件を含むテーブルを示す図であり、（Ｂ）は施設検索操作アプリケーションの継続後の処理を含むテーブルを示す図である。 通信復帰処理を示すフローチャートである。 通信遮断前の施設検索画面を示す図である。 通信遮断後の施設検索画面を示す図である。 通信遮断後の施設検索画面を示す図である。 情報保持／削除確認処理を示すフローチャートである。 認識結果取得確認処理を示すフローチャートである。 サーバにて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。以下の説明では、無線通信端末として、自動車に搭載される車載型のナビゲーション装置（いわゆる、カーナビゲーション装置）について例示する。また、操作システムとして、音声によりアプリケーションを操作する音声操作システムについて例示する。
図１は、本実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
音声操作システム１は、サーバ１０と、自動車２に搭載されるナビゲーション装置２０とを備えて構成され、サーバ１０とナビゲーション装置２０はインターネット等のネットワーク３を介して相互に通信可能である。

サーバ１０は、サーバ通信部１１と、音声認識部１２と、サーバ記憶部１３と、サーバ制御部１４とを備えている。サーバ通信部１１は、サーバ制御部１４の制御の下、ナビゲーション装置２０から音声データを受信し、サーバ制御部１４に出力する。音声認識部１２は、サーバ制御部１４の制御の下、サーバ通信部１１により受信した音声データに対して音声認識処理（所定処理）を施し、認識結果（サーバ処理結果）をサーバ制御部１４に出力する。サーバ記憶部１３には、サーバ制御部１４の制御の下、ナビゲーション装置２０から受信した音声データ及び音声認識部１２から出力された認識結果等が記憶される。上記サーバ通信部１１は、サーバ制御部１４の制御の下、認識結果をナビゲーション装置２０に送信する。

ナビゲーション装置２０は、位置検出部２１と、車速検出部２２と、制御部（制御手段）２３と、表示部２４と、操作部（入力手段）２５と、記憶部２６と、音声入力部（入力手段）２７と、通信部（通信手段）２８と、音声再生部２９と、スピーカ３０とを備えている。
位置検出部２１は、例えばＧＰＳ（Global Positioning System）を利用して現在位置の絶対位置（経度、緯度）を検出し、ジャイロセンサ等を使って現在位置の相対的な方位を検出する。車速検出部２２は、自動車２より得られる車速パルスを処理して、自動車２の速度を制御部２３に出力する。

制御部２３は、ナビゲーション装置２０の各部の制御や、ナビゲーション機能のための処理、楽曲再生機能のための処理とった各種の処理を実行するものであり、例えばＣＰＵやＲＯＭ、ＲＡＭ等を備えている。
表示部２４は、制御部２３の下、ナビゲーション装置２０の操作画面、ナビゲーションのための地図や現在位置、経路等を示すナビゲーション画面、楽曲再生のための楽曲再生画面等の各種の情報を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescent）ディスプレイ等のディスプレイ装置を備えている。操作部２５は、運転者等のユーザの指示操作を受け付け、ナビゲーション装置２０に配設される複数の操作子や、表示部２４が備えるディスプレイ装置に設けられたタッチパネル（不図示）を備えている。なお、操作部２５は、ナビゲーション装置２０をリモートコントローラ等により遠隔操作可能に構成されてもよい。

記憶部２６は、例えばＣＤ−ＲＯＭドライブやＤＶＤ-ＲＯＭドライブ、ハードディスクドライブ、ＳＤカード、ＳＳＤ（Solid State Drive）といった記憶装置であり、制御部２３の制御の下、ナビゲーションに使用される地図データや、施設の場所を含む施設データ、経路案内等のガイド音声データ、並びに楽曲再生時に再生される楽曲データ等の各種のデータを記憶する。
音声入力部２７は、ユーザの音声を受音する例えばマイクを含んで構成され、ユーザの音声データを制御部２３に出力する。本実施の形態では、操作部２５が備えるトークスイッチ（発話ボタンとも言う）（不図示）が操作された場合に、制御部２３への音声入力が許可される。通信部２８は、制御部２３の制御の下、ネットワーク３を介してサーバ１０と通信し、音声データをサーバ１０に送信するとともに、サーバ１０から音声データの認識結果を受信する。音声再生部２９は、ガイド音声データや楽曲データにデコード処理などの再生に必要な各種処理を施してデジタル音声信号を生成し、生成したデジタル信号をデジタルアナログ変換し、アンプにより増幅してスピーカ３０から音声出力させる。

以上の構成の下、音声入力部２７にユーザの音声が入力されると、制御部２３は、音声入力部２７から入力された音声データにそれぞれ音声ＩＤを振り、音声データとともに音声ＩＤをサーバ１０に送信する。サーバ１０では、入力された音声データに対し音声認識部１２により音声認識処理を施し、認識結果及びその音声ＩＤをナビゲーション装置２０に送信する。したがって、音声データ及びその認識結果は、ナビゲーション装置２０とサーバ１０で共通の音声ＩＤで管理されることとなる。音声データを管理する音声情報管理表３１，３２（図２参照）は、ナビゲーション装置２０の記憶部２６、サーバ１０のサーバ記憶部１３にそれぞれ記憶されている。

図２は音声情報管理表３１，３２を示す図であり、図２（Ａ）はナビゲーション装置２０の音声情報管理表３１を示す図であり、図２（Ｂ）はサーバ１０の音声情報管理表３２を示す図である。
図２（Ａ）に示すように、ナビゲーション装置２０の音声情報管理表３１には、音声ＩＤと、音声入力部２７から入力された音声データ（音声ファイル）と、サーバ１０から受信した音声データの認識結果とがリスト化されて記憶される。
図２（Ｂ）に示すように、サーバ１０の音声情報管理表３２には、ナビゲーション装置２０から受信した音声ＩＤ及び音声データ（音声ファイル）と、音声認識部１２から入力された音声データの認識結果とがリスト化されて記憶される。
図２の例では、音声ＩＤ４，５の音声データについて、ナビゲーション装置２０は認識結果未取得である。

制御部２３は、ナビゲーション装置２０を楽曲再生モード或いはナビゲーションモードで動作させる。
楽曲再生モードの場合には、制御部２３は、楽曲再生操作用の各種画面を表示させ、ユーザ指示に応じて記憶部２６内の楽曲データを再生する。
ナビゲーションモードの場合には、制御部２３は、位置検出部２１により車両の現在地および進行方向を特定し、表示部２４に現在地周辺の地図を表示させる。また、目的地が設定された場合には、目的地までの最適経路を計算し、地図中に表示して目的地まで経路を案内する。

本実施の形態のナビゲーション装置２０は、音声により操作するアプリケーションとして、例えば、楽曲再生モード時に楽曲を検索する楽曲検索操作アプリケーションと、周辺の施設を検索する、或いはナビゲーションモード時に目的地として施設を検索する施設検索（周辺検索）操作アプリケーションと、楽曲検索操作アプリケーション及び施設検索操作アプリケーション以外の場合にナビゲーション装置２０を音声操作する装置操作アプリケーションとを備えている。

本実施の形態のサーバ１０とナビゲーション装置２０との通信は、１回の操作に対して１回の通信で終わる場合に限られるものではなく、１回の操作に対して複数回の通信が発生する場合も想定される。
具体的な通信の流れを、施設検索操作アプリケーションの動作を例に説明する。

図３は、施設名の決定に至るまで、サーバ１０での音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置２０では、制御部２３は、ガイド音声の再生又は画面表示を行い、ユーザに発話を促す（ステップＳ３０１）。ユーザが発話した音声が音声入力部２７から取り込まれると（ステップＳ３０２）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ３０３）。

サーバ１０では、まず、ナビゲーション装置２０から送信された音声データを受信すると（ステップＳ４０１）、サーバ制御部１４は、この音声データに対して音声認識を実行し、文字列へ変換する（ステップＳ４０２）。ここで、音声認識対象とする語彙は、施設名に限定することとする。また、音声認識では認識誤りが発生することがあるため、本実施の形態では、認識結果として複数の施設名候補を得て、その候補の中からユーザに選択させることとする。サーバ制御部１４は、認識結果である施設名候補のリストをナビゲーション装置２０へ送信する（ステップＳ４０３）。

ナビゲーション装置２０では、施設名候補のリストをサーバ１０から受信すると（ステップＳ３０４）、制御部２３は、施設名候補のリストを画面へ表示し（ステップＳ３０５）、ガイド音声を再生し、ユーザに施設名候補のリストから希望する施設名を選択するように促す（ステップＳ３０６）。この選択も、音声認識で行うこととするが、タッチパネル等を用いた手操作で行ってもよい。また、画面にキャンセルボタン等を表示し、ユーザに訂正させる手段を用意してもよい。ユーザが発話した音声が取り込まれると（ステップＳ３０７）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ３０８）。

サーバ１０では、音声データを受信すると（ステップＳ４０４）、サーバ制御部１４は、この音声データに対して音声認識を実行する（ステップＳ４０５）。ここで、音声認識対象とする語彙は、ステップＳ４０３で送信した施設名候捕のリストに限定する。また、施設名リストの番号や、訂正のための言葉（「キャンセル」、「戻る」等)も認識対象としてよい。サーバ制御部１４は、認識結果として得られた施設名をナビゲーション装置２０へ送信する（ステップＳ４０６）。

ナビゲーション装置２０では、施設名を受信すると（ステップＳ３０９）、制御部２３は、この施設名を目的地に設定するように、音声出力（ステップＳ３１０）、画面出力（ステップＳ３１１）、ルート検索（ステップＳ３１２）を実行する。
図３の例では、サーバ１０において２回の音声認識を行っており、通信も２回発生している。本実施の形態では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。

制御部２３は、アプリケーションの操作を完了するまでの間に、サーバ１０との通信が遮断された場合、操作対象のアプリケーションに応じて、通信遮断前の操作をサーバ１０との通信復帰後に継続するか否かを決定する通信復帰処理を実行する。制御部２３は、通信復帰処理において、通信復帰後に継続するか否かをアプリケーション毎に記憶した継続判断テーブルＴＢ（図４参照）を参照する。この継続判断テーブルＴＢは、記憶部２６に記憶されている。

図４は継続判断テーブルＴＢを示す図であり、図４（Ａ）は継続条件を含むテーブルＴＢ１を示す図であり、図４（Ｂ）は施設検索操作アプリケーションの継続後の処理を含むテーブルＴＢ２を示す図である。
装置操作アプリケーションにおいて、制御部２３は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部２３は、通信遮断前の装置操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部２３は、装置操作アプリケーションの操作を中止する。
楽曲検索操作アプリケーションにおいて、制御部２３は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部２３は、通信遮断前の楽曲検索操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部２３は、楽曲検索操作アプリケーションの操作を中止する。

施設検索操作アプリケーションにおいて、制御部２３は、通信の遮断時間に係わらず、施設検索操作アプリケーションの操作を継続する。また、制御部２３は、サーバ１０から受信した認識結果から、検索語を分類する検索語分類手段として機能する。より詳細には、制御部２３は、検索語がラーメン屋やコンビニ等の施設のジャンルを表す場合、検索語に例えば「近くの〜」や「ルート沿いの〜」等の近隣を意図する語が含まれる場合、及び／又は、施設のヒット件数が多い（所定件数以上の）場合に、検索が近隣施設検索であると分類する。
また、制御部２３は、検索語が、例えば国、都道府県、州、市町村等の行政区分に設置される施設（例えば、裁判所や役所等）を表す場合に、その検索が地域限定施設検索であると分類する。
さらに、制御部２３は、施設ヒット件数が少ない（所定件数未満の）場合、及び／又は、施設ヒット件数が特定の地域に集中している場合に、検索が特定施設検索であると分類する。

施設検索の分類方法は、上記の方法に限られるものではない。例えば、施設検索操作アプリケーションにおいて、ユーザが操作できるメニュー画面を用意しておき、このメニュー画面に「施設名で探す」、「周辺の施設で探す」、「ジャンル名で探す」といった項目を用意しておく。そして、ユーザが「施設名で探す」を選んで検索した場合には特定施設検索であると分類し、ユーザが「周辺の施設で探す」を選んで検索した場合には近隣施設検索に分類する方法でもよい。また、ユーザが「ジャンル名で探す」を選択し、その後、ユーザが裁判所や役所等のジャンルを指定して検索したときには、地域限定施設検索であると分類してもよい。

近隣施設検索の場合には、制御部２３は、通信が遮断してからの移動距離が所定距離より長いか否か判別する。移動距離が所定距離より長い場合、制御部２３は、通信復帰後の現在位置で施設を再検索する。移動距離が所定距離以下の場合、制御部２３は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
地域限定施設検索の場合には、制御部２３は、通信が遮断してから現在位置の行政区分が変化したか否か判別する。現在位置の行政区分が変化した場合、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。現在位置の行政区分が同一の場合、制御部２３は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
特定施設検索の場合には、制御部２３は、現在位置に係わらず、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。

次いで、通信復帰処理の手順について説明する。図５は、通信復帰処理を示すフローチャートである。
上述したように、通信復帰処理は、サーバ１０との通信が遮断した際に制御部２３によって実行される。まず、制御部２３は、サーバ１０との通信が復帰したか否か判別する（ステップＳ１）。
通信が復帰していない場合（ステップＳ１：Ｎｏ）、制御部２３は、所定時間待機し（ステップＳ２）、処理をステップＳ１に移行する。
通信が復帰すると（ステップＳ１：Ｙｅｓ）、制御部２３は、通信遮断前の処理情報を読み込む（ステップＳ３）。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。

次いで、制御部２３は、継続判断テーブルＴＢを参照し、アプリケーションの操作を継続する条件を満たすか否か判別する（ステップＳ４）。本実施の形態では、制御部２３は、アプリケーションが装置操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが楽曲検索操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが施設検索操作アプリケーションか否かを判別する。
アプリケーションの操作を継続する条件を満たさない場合（ステップＳ４：Ｎｏ）、制御部２３は、アプリケーションの操作を中止するとともに通信復帰前の処理情報を破棄し（ステップＳ５）、処理を終了する。

アプリケーションの操作を継続する条件を満たす場合（ステップＳ４：Ｙｅｓ）、制御部２３は、通信復帰後に必要な処理があるか否か判別する（ステップＳ６）。本実施の形態では、通信復帰後に必要な処理がある場合とは、施設検索操作アプリケーションにおいて検索の分類が近隣施設検索であって移動距離が所定距離より長い場合、あるいは、検索の分類が地域限定施設検索であって現在位置の行政区分が変化した場合である。

通信復帰後に必要な処理がある場合（ステップＳ６：Ｙｅｓ）、制御部２３は、通信復帰後に必要な処理を実行する（ステップＳ７）。本実施の形態では、近隣施設検索であって通信遮断中の移動距離が所定距離より長い場合には、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。地域限定施設検索であって通信遮断中に現在位置の行政区分が変化した場合には、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。
通信復帰後に必要な処理がない場合（ステップＳ６：Ｎｏ）、制御部２３は、アプリケーション操作の現在の状態を通信遮断前の状態に変更し（ステップＳ８）、処理を終了する。
このように、通信復帰処理により、操作対象のアプリケーションに応じて、通信遮断前に入力された操作をサーバ１０との通信復帰後に継続するか否かを決定できる。

次に、施設検索操作アプリケーションを例にアプリケーションの具体的な動作を説明する。
施設検索操作アプリケーションにおいて、例えば、ユーザから「コンビニ」と音声入力されると、制御部２３は、入力された音声データをサーバ１０に送信し、サーバ１０で音声認識処理された認識結果「コンビニ」を受信する。制御部２３は、当該コンビニを検索するとともに、「コンビニ」が近隣施設検索であると分類し、「近辺にコンビニは××件あります」等と音声出力及び／又は表示する。このときに表示部２４に表示する施設検索画面４０Ａの一例を図６に示す。

図６は、通信遮断前の施設検索画面４０Ａを示す図である。
施設検索画面４０Ａは、例えば２分割され、検索した施設をリストとして示す施設リスト領域５０と、検索した施設を図示する施設図示領域６０とを備えている。施設リスト領域５０には、検索した施設の名称を示す施設名５１が現在位置から近い順に表示される。施設名５１に現在位置から近い順に番号を付してもよい。
施設図示領域６０には地図６１が表示され、この地図６１上に、自動車２（図１）の現在位置６２と、検索した施設の位置を示すアイコン６３と、地図６１の縮尺を示すスケール６４とが表示される。施設名５１に現在位置６２から近い順に番号を付す場合には、アイコン６３に施設名５１の番号と一致する番号を付してもよい。

ここで、例えば自動車２がトンネルに入って通信が遮断した場合には、制御部２３は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び／又は表示する。自動車２がトンネルを出て通信が復帰すると、制御部２３は、「現在地が移動したため、再度コンビニを検索します」等と音声出力及び／又は表示し、通信が復帰した時点での現在位置でコンビニの情報を再検索し、「近辺にコンビニは××件あります」等と音声出力及び／又は表示する。このように、コンビニ等のように近傍であることが優先される施設が入力された場合には、通信復帰後の新しい現在位置にて検索し直すことにより、より行きやすい施設を表示できる。このときの施設検索画面４０Ｂの例を図７及び図８に示す。

図７は、通信遮断後の施設検索画面４０Ｂを示す図である。
施設検索画面４０Ｂは、図６に示す施設検索画面４０Ａと同様に構成されるが、施設検索画面４０Ｂには、通信遮断前の検索結果のアイコン６３Ａと、通信復帰後の検索結果のアイコン６３Ｂは、異なる表示形態（例えば、色、形）で表示される。これにより、視認性を高めることができる。なお、アイコン６３の番号は、通信復帰後の現在位置６２から近い順に付される。

図８は、図７の変形例を示す図である。
施設検索画面４０Ｃも、図６に示す施設検索画面４０Ａと同様に構成されるが、施設検索画面４０Ｃにおいては、通信遮断前の検索結果のアイコン６３Ａと、通信復帰後の検索結果のアイコン６３Ｂのすべて、あるいは、検索結果が多い場合には所定件数のアイコン６３Ａ，６３Ｂを表示できるように、地図６１の縮尺が自動変更される。これにより、視認性を高めることができる。施設検索画面４０Ｃは、検索結果が多く施設リスト領域５０に施設名５１のすべてを表示できない場合には、施設リスト領域５０に表示しきれない施設名５１を異なるページに表示するように構成されており、その場合、施設検索画面４０Ｃには、ページを次のページに送るために操作されるボタン５２が表示される。

また、例えば、施設検索操作アプリケーションにおいて、ユーザから「ＡＢＣ遊園地」と音声入力されると、制御部２３は、入力された音声データをサーバ１０に送信し、サーバ１０で音声認識処理された認識結果「ＡＢＣ遊園地」を受信する。制御部２３は、当該ＡＢＣ遊園地の情報を検索するとともに、「ＡＢＣ遊園地」が特定施設検索であると分類し、「ＡＢＣ遊園地の候補は××件あります」等と音声出力及び／又は表示する。
例えば、ここで、自動車２がトンネルに入って通信が遮断すると、制御部２３は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び／又は表示する。自動車２がトンネルを出て通信が復帰すると、制御部２３は施設検索操作アプリケーションの操作を継続する。例えば、制御部２３は、「目的地に設定しますか？」等と音声出力及び／又は表示する。

図５に示す通信復帰処理において、通信復帰後にアプリケーションの操作を継続する場合、ナビゲーション装置２０は音声データに対する認識結果の取得が完了していない場合がある。そこで、サーバ制御部１４は、通信復帰後に処理情報、すなわち、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果を保持又は削除するかを決定する情報保持／削除処理を実行する。
また、ナビゲーション装置２０の制御部２３は、通信復帰後に認識結果未取得の音声データがないか否かを調べ、認識結果を未取得の場合には認識結果を再取得する認識結果取得確認処理を実行する。

図９は、情報保持／削除確認処理を示すフローチャートである。
情報保持／削除確認処理は、ナビゲーション装置２０への音声データの認識結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された際にサーバ制御部１４によって実行される。なお、サーバ記憶部１３には、少なくとも図４（Ａ）に示すテーブルＴＢ１が記憶されている。
まず、サーバ制御部１４は、ナビゲーション装置２０との通信が復帰したか否か判別する（ステップＳ１１）。
通信が復帰していない場合（ステップＳ１１：Ｎｏ）、サーバ制御部１４は、所定時間待機し（ステップＳ１２）、処理をステップＳ１１に移行する。
通信が復帰すると（ステップＳ１１：Ｙｅｓ）、サーバ制御部１４は、通信遮断前の処理情報を読み込む（ステップＳ１３）。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。なお、通信遮断前に操作対象であったアプリケーションの種類は、音声データとともにナビゲーション装置２０から送信され、サーバ記憶部１３に記憶される。

次いで、サーバ制御部１４は、テーブルＴＢ１を参照し、アプリケーションの操作を継続する条件を満たすか否か、換言すれば、送信が中断した認識結果の音声データが、通信復帰後に継続されるアプリケーションを操作する音声データか否か判別する（ステップＳ１４）。本実施の形態では、サーバ制御部１４は、図５に示すステップ４と同様に判別する。
アプリケーションの操作を継続する条件を満たさない場合（ステップＳ１４：Ｎｏ）、サーバ制御部１４は、通信復帰前の処理情報を削除し（ステップＳ１５）、処理を終了する。
アプリケーションの操作を継続する条件を満たす場合（ステップＳ１４：Ｙｅｓ）、サーバ制御部１４は、通信復帰前の処理情報をサーバ記憶部１３に保持し（ステップＳ１６）、処理を終了する。保持された処理情報は、ナビゲーション装置２０から音声データに対する認識結果の取得が完了した旨の情報を受信した後に、サーバ制御部１４により削除される。

図１０は、認識結果取得確認処理を示すフローチャートである。
認識結果取得確認処理は、通信が復帰した後（図５に示すステップＳ１：Ｙｅｓ）に制御部２３によって実行される。まず、制御部２３は、認識結果未取得の音声データがあるか否か判別し（ステップＳ２１）、認識結果未取得の音声データがない場合（ステップＳ２１：Ｎｏ）、処理を終了する。
認識結果未取得の音声データがある場合（ステップＳ２１：Ｙｅｓ）、制御部２３は、サーバ１０に認識結果未取得の音声ＩＤを送信する（ステップＳ２２）。サーバ１０では、サーバ制御部１４が、ナビゲーション装置２０から受信した音声ＩＤが付された音声データがあるか否か判別し、当該音声データがない場合、ナビゲーション装置２０に当該音声データの再送信を要求する。

ナビゲーション装置２０では、制御部２３は、サーバ１０から音声データの再送信を要求されたか否か判別する（ステップＳ２３）。
サーバ１０から音声データの再送信を要求されない場合（ステップＳ２３：Ｎｏ）、制御部２３は、サーバ１０から音声データの認識結果を受信し（ステップＳ２４）、処理を終了する。例えば、制御部２３が図２に示す音声ＩＤ４をサーバ１０に送信した場合、すでにサーバ１０には音声ＩＤ４の認識結果ができているので、サーバ制御部１４は音声ＩＤ４の認識結果をナビゲーション装置２０に送信する。この場合、音声データを再送信する必要がないため、応答時間が早まり、通信量を低く抑えることができる。

一方、サーバ１０から音声データの再送信を要求された場合（ステップＳ２３：Ｙｅｓ）、制御部２３は、音声データをサーバ１０に送信し（ステップＳ２５）、サーバ１０から音声データの認識結果を受信し（ステップＳ２４）、処理を終了する。例えば、制御部２３が図２に示す音声ＩＤ５をサーバ１０に送信した場合、サーバ１０には音声ＩＤ５の音声データがないので、サーバ制御部１４はナビゲーション装置２０に音声ＩＤ５の音声データの再送信を要求する。制御部２３は音声ＩＤ５の音声データをサーバ１０に送信する。サーバ１０では、受信した音声ＩＤ５の音声データに対し音声認識部１２により音声認識処理を行い、サーバ制御部１４はその認識結果をナビゲーション装置２０に送信する。

以上説明したように、本実施の形態によれば、アプリケーションを操作するための操作内容を入力する音声入力部２７と、音声入力部２７から入力された操作内容をサーバ１０に送信し、サーバ１０による所定処理の結果であるサーバ処理結果を受信する通信部２８と、音声入力部２７から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ１０から受信するまでの間に、サーバ１０との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ１０との通信復帰後に継続するか否かを決定する制御部２３と、を備える構成とする。この構成により、通信遮断前に入力された操作内容による操作を通信復帰後に継続するか否かを、操作内容による操作対象のアプリケーションに応じて決定できる。

また、本実施の形態によれば、アプリケーションが現在位置の周辺検索であり、操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する構成とする。この構成により、通信復帰後の新しい現在位置にて周辺検索できるので、より行きやすい施設を検索できる。

また、本実施の形態によれば、操作内容は音声である構成とする。この構成により、通信遮断前に入力された音声による操作を通信復帰後に継続するか否かを、音声による操作対象のアプリケーションに応じて決定できる。

また、本実施の形態によれば、所定処理は、音声を音声認識する音声認識処理である構成とする。この構成により、音声入力部２７から音声が入力された後、当該音声の認識結果をサーバ１０から受信するまでの間に、サーバ１０との通信が遮断された場合、音声による操作対象のアプリケーションに応じて、通信遮断前に入力された音声による操作をサーバ１０との通信復帰後に継続するか否かを決定できる。

また、本実施の形態によれば、サーバ１０は、ナビゲーション装置２０へのサーバ処理結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された場合、サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する構成とする。この構成により、ナビゲーション装置２０へのサーバ処理結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された場合に、サーバ処理結果を削除してしまうことを防止できるとともに、サーバ１０に必要以上のサーバ処理結果が保持されることを防止できる。

但し、上記実施の形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
例えば、上記実施の形態では、施設検索画面が左右に２分割され、左側に施設リスト領域が、右側に施設図示領域が配置されているが、施設検索画面の分割方向や施設リスト領域及び施設図示領域の配置位置は任意である。また、施設検索画面を分割せずに、地図上に施設名を直接表示してもよい。

上記実施の形態では、音声により操作するアプリケーションを、装置操作アプリケーション、楽曲検索操作アプリケーション、及び施設検索操作アプリケーションとして説明したが、これらに限定されない。図４の継続判断テーブルは一例に過ぎず、アプリケーションの継続条件や、通信復帰後に必要な処理は任意に設定可能である。

また、上記実施の形態では、サーバは、所定処理として音声認識のみを行っていたが、例えば、サーバ記憶部に検索対象となる情報（例えば、楽曲データ、施設データ）をデータベース（例えば、楽曲データベース、施設データベース）として記憶しておき、検索操作アプリケーション（例えば、楽曲検索操作アプリケーション、施設検索操作アプリケーション）において、サーバは、音声認識及びデータベース検索の両方を行い、音声データの認識結果及び認識結果に対応する情報（例えば、楽曲データ、施設データ）をナビゲーション装置に送信してもよい。サーバに施設データを置く場合においては、サーバは、ナビゲーション装置から送信された音声データに対して音声認識処理を行った後、さらに、音声認識結果を検索クエリ（検索要求）として用いて施設検索も行う。そして、サーバは、音声認識結果と音声認識結果に対応する施設検索結果との両方をナビゲーション装置へ送信する。すなわち、サーバとナビゲーション装置との間で通信は、音声認識を目的とした通信に限られるものではなく、サーバにおいてデータベース検索を行い、その結果をナビゲーション装置で使用する場合にも想定される。

図１１は、施設名の決定に至るまで、サーバ１０にて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置２０では、制御部２３がガイド音声の再生又は画面表示を行い、ユーザに発話を促す（ステップＳ５０１）。ユーザが発話した音声が音声入力部(マイク)から取り込まれると（ステップＳ５０２）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ５０３）。

サーバ１０では、ナビゲーション装置２０から送信された音声データを受信すると（ステップＳ６０１）、サーバ制御部１４は、この音声データに対して音声認識を実行し、文字列に変換する（ステップＳ６０２）。ここで、認識対象とする語彙は、施設名の正式名称だけでなく、施設名の部分名称、通称、施設ジャンル語等も含める。例えば、「東京都恩賜上野動物園」という施設に対して、部分名称である「上野動物園」や施設ジャンル語である「動物園」といった語彙も認識対象の語彙に用意しておく。音声認識では認識誤りが発生することがあるため、複数の認識結果候補を得ることとし、ユーザに所望のものを選択させることとする。サーバ制御部１４は、認識結果候補のリストをナビゲーション装置２０へ送信する（ステップＳ６０３）。

ナビゲーション装置２０では、認識結果候補のリストをサーバ１０から受信した（ステップＳ５０４）のち、制御部２３は、認識結果候補のリストを画面へ表示し（ステップＳ５０５）、ガイド音声を再生し、ユーザに認識結果候補のリストから希望するものを選択するように促す（ステップＳ５０６）。ユーザの選択は、音声認識で行ってもよいが、ここではタッチパネル操作により行うこととする。タッチパネル操作を取得すると（ステップＳ５０７）、制御部２３は、選択された認職結果文字列をサーバ１０へ送信する（ステップＳ５０８）。

サーバ１０では、ナビゲーション装置２０から送られた認識結果文字列を受信すると（ステップＳ６０４）、サーバ制御部１４は、その文字列にて、サーバ１０にある施設データベースを検索する（ステップＳ６０５）。施設データベースをサーバ１０に置く長所としては、ナビゲーション装置２０に施設データベースを置くと更新頻度が限定されるのに対して、サーバ１０に施設データベースを置けば、最新の状態を反映することが容易であるため、最新の地図や施設名を対象として検索できることである。ここでは、施設データベースの検索結果として、認識結果の文字列を含む複数の施設名と、その施設名の位置情報を取得する場合を説明する。サーバ制御部１４は、施設データベースの検索結果をナビゲーション装置２０に送信する（ステップＳ６０６）。

ナビゲーション装置２０では、サーバ１０から送信された検索結果を受信すると（ステップ５０９）、制御部２３は、検索結果である施設名と位置を地図に表示する（ステップＳ５１０）。これ以降の後続の操作は説明を省略するが、画面に表示された施設名候補からユーザに希望のものを選択させる動作、ルート検索する動作等が続く。これらの動作は、図３に示した通り、音声認識によってユーザに選択させてもよいし（ステップＳ３０７，Ｓ３０８，Ｓ４０４〜Ｓ４０６）、タッチパネルによって選択させてもよい。
図１１の例では、サーバ１０において、音声認識と施設検索という異なるタスクを実行している。また、施設検索の一連の操作の中で、複数回のサーバ１０・ナビゲーション装置２０間の通信が発生する。

上記図１１の例で示したとおり、ユーザがナビゲーションに関する操作を遂行するまでに、複数回の通信が発生することがある。また、サーバ１０におけるタスクの種類が複数存在し、また、通信も複数の目的で行われる場合がある。上記図１１の例では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。

上記図３及び図１１の例は、施設検索操作アプリケーションを例にとって説明した。しかし、他のアプリケーションにおいても、アプリケーションの操作を遂行するまでの間に、複数回の通信が行われる場合、複数の処理がサーバ１０で動作する場合がある。例えば、楽曲検索操作アプリケーションの場合、（１）ユーザが最初にアーティスト名を発話してサーバ１０で音声認識し、音声認識結果をナビゲーション装置２０へ送信する、（２）ユーザが選択したアーティスト名をサーバ１０へ送信し、サーバ１０において楽曲データベースを検索し、検索された楽曲データをナビゲーション装置２０へ送信する、といった複数の通信が行われる。また例えば、装置操作アプリケーションの一例として、ナビゲーションモード時に目的地として住所を検索する住所検索操作アプリケーションの場合、ユーザが、国名、都道府県名(州名)、市名といった住所の各階層を発話するたびに、音声データのサーバ１０への送信、認識結果のサーバ１０からの受信が発生する。こういったあらゆるアプリケーションにおいても、本発明を適用することができる。

また、上記実施の形態では、ナビゲーション装置からサーバに送信する操作内容は音声データであったが、ナビゲーション装置が音声認識部を備える場合には、ナビゲーション装置からサーバに音声データの認識結果を送信し、サーバでこの認識結果を検索クエリとしてデータベース検索を行ってもよい。

また、上記実施の形態では、アプリケーションを操作するための操作内容は、音声入力部から入力される音声であったが、これに限定されるものではなく、例えば、操作部から入力される文字列等であってもよい。

また、上記実施の形態では、図１に記載したナビゲーション装置の構成を前提にしていたが、図１の構成でなくてもよい。例えば、通信部は、ナビゲーション装置に備わっている必要は無く、携帯電話に備わっていてもよい。携帯電話に通信部を置く場合には、ナビゲーション装置と携帯電話の間の通信を、広く知られているＵＳＢケーブルによる有線での通信や、Bluetooth（登録商標）による無線での通信によって実現し、ナビゲーション装置から携帯電話の通信機能を制御するようにすればよい。
また、携帯電話で実行する機能は、通信部だけではなく、他のナビゲーション装置の構成要素の機能も携帯電話上で実行する構成でもよい。とくに、近年市場に広まっている高機能携帯電話（スマートフォン）を用いる場合には、スマートフォンの高い計算処理性能を生かして、ナビゲーションの機能の一部をスマートフォン上で実行してもよい。

また、上記実施の形態では、無線通信端末として車載型のナビゲーション装置を例示したが、これに限らず、携帯電話やＰＤＡ等の携帯型情報機器や、地図表示装置などの情報処理装置にも本発明を適用可能である。

１ 音声操作システム（操作システム）
１０ サーバ
１２ サーバ記憶部
１３ 音声認識部
１４ サーバ制御部
２０ ナビゲーション装置（無線通信端末）
２３ 制御部（制御手段）
２５ 操作部（入力手段）
２７ 音声入力部（入力手段）
２８ 通信部（通信手段）

Claims (13)

1. アプリケーションを操作するための操作内容を入力する入力手段と、
   前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、
   アプリケーションの種類毎の、前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かと、アプリケーションが複数の分類を有する場合には前記分類の種類毎の、前記サーバとの通信復帰後に必要な処理と、の少なくとも１つを記憶する記憶部と、
   前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じた、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かの決定、及び、前記操作対象のアプリケーションが複数の分類を有する場合には、前記操作内容による分類の種類に応じた前記サーバとの通信復帰後に必要な処理の決定の少なくとも１つを実行する制御手段と、を備えたことを特徴とする無線通信端末。
2. 前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する
   ことを特徴とする請求項１に記載の無線通信端末。
3. 前記操作内容は音声であることを特徴とする請求項１又は２に記載の無線通信端末。
4. 前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項３に記載の無線通信端末。
5. 所定処理を実行するサーバと、
   アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、
   前記無線通信端末は、
   アプリケーションの種類毎の、前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かと、アプリケーションが複数の分類を有する場合には前記分類の種類毎の、前記サーバとの通信復帰後に必要な処理と、の少なくとも１つを記憶する記憶部と、
   前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定し、さらに、前記操作対象のアプリケーションが複数の分類を有する場合には、前記操作内容による分類の種類に応じて前記サーバとの通信復帰後に必要な処理を決定する制御手段とを備える
   ことを特徴とする操作システム。
6. 前記サーバは、
   アプリケーションの種類毎の、前記無線通信端末が前記サーバとの通信復帰後に前記サーバとの通信遮断前の操作を継続するか否かを記憶するサーバ記憶部と、
   前記無線通信端末から操作内容が入力された後、当該操作内容に対応する前記サーバ処理結果の前記無線通信端末への送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ記憶部を参照し、前記操作内容による操作対象の前記アプリケーションの種類に応じて、通信遮断前に入力された操作内容による操作が前記無線通信端末で前記サーバとの通信復帰後に継続されるか否かを決定し、当該決定に応じて当該操作内容に対応するサーバ処理結果を保持又は削除するサーバ制御部とを備えた
   ことを特徴とする請求項５に記載の操作システム。
7. 前記操作内容は音声であることを特徴とする請求項５又は６に記載の操作システム。
8. 前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項７に記載の操作システム。
9. 前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であることを特徴とする請求項５又は６に記載の操作システム。
10. 前記制御手段は、通信が遮断してからの位置変化に基づいて、前記サーバとの通信復帰後の必要な処理を決定することを特徴とする請求項１乃至４のいずれかに記載の無線通信端末。
11. 前記制御手段は、通信が遮断してからの位置変化に基づいて、前記サーバとの通信復帰後の必要な処理を決定することを特徴とする請求項５乃至９のいずれかに記載の操作システム。
12. 前記記憶部は、入力された操作内容を記憶し、
    前記制御手段は、前記操作内容による操作を通信復帰後に継続すると決定した場合であって、当該操作内容が前記サーバに記憶されていないとき、前記サーバからの要求に応じて、前記記憶部から通信により該操作内容を前記サーバに送信し、前記サーバから所定処理の結果であるサーバ処理結果を受信するように構成されたことを特徴とする請求項１乃至４，１０のいずれかに記載の無線通信端末。
13. 前記無線通信端末は、
    アプリケーションを操作するための操作内容を入力する入力手段と、
    入力した操作内容を記憶する記憶部と、
    前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、
    前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備え、
    前記サーバは、前記制御手段が操作内容による操作を通信復帰後に継続すると決定した場合であって、当該操作内容が前記サーバに記憶されていないとき、前記無線通信端末の記憶部から通信により当該操作内容を受信し、所定処理の結果であるサーバ処理結果を前記制御手段に送信するように構成されている、
    ことを特徴とする請求項５乃至９，１１のいずれかに記載の操作システム。

Images