<実施の形態1>
図1は、本発明に係る情報表示システムの構成図である。当該情報表示システムは、情報表示制御装置10と、それに接続される画像表示装置21、音声出力装置22および操作入力装置23と、情報表示制御装置10と連携(リンク)可能な通信端末30とを含んでいる。
情報表示制御装置10は、画像表示装置21に表示させる画像、および音声出力装置22に出力させる音声を制御する。操作入力装置23は、ユーザが、情報表示制御装置10を操作したり、情報表示制御装置10を介して通信端末30をリモート操作したりするためのユーザインターフェイスである。情報表示制御装置10が組み込まれる具体的な製品としては、例えば、カーナビゲーション装置、デジタルテレビ、テレビゲーム機などが考えられる。
本実施の形態では、情報表示制御装置10に、情報表示制御装置10の位置を取得する機能を有する現在位置取得装置24がさらに接続される例を示す。現在位置取得装置24は、情報表示制御装置10が例えばナビゲーション用のアプリケーションを実行する際に用いられる。情報表示制御装置10が、位置情報を必要としないアプリケーションを実行する場合は、基本的に現在位置取得装置24は情報表示制御装置10に接続されている必要はない。
画像表示装置21、音声出力装置22、操作入力装置23および現在位置取得装置24は、情報表示制御装置10に内蔵されていてもよいし、外付けのデバイスであってもよい。画像表示装置21、音声出力装置22、操作入力装置23および現在位置取得装置24が外付けのデバイスの場合、それらと情報表示制御装置10との間の接続(通信)は、それぞれ有線方式でも無線方式でもよい。
画像表示装置21としては、液晶表示装置が代表的であるが、画像表示機能を有する任意の装置(例えば、テレビジョン表示装置、スマートフォン、タブレット端末、車両のインストルメントパネルの表示部、画面付きのゲームコントローラなど)を利用してもよい。音声出力装置22は、スピーカやヘッドフォン等が一般的であるが、これも音声出力機能を有する任意の装置を利用してもよい。
操作入力装置23は、基本的に情報表示制御装置10の操作に用いられるが、情報表示制御装置10が通信端末30とリンクしている状態では、ユーザは、操作入力装置23を介して通信端末30をリモート操作することもできる。操作入力装置23は、操作ボタン、操作スティック、キーボード、トラックパッド等のハードウェアでもよいし、画面に表示されるアイコンを用いたソフトウェアキーでもよい。操作入力装置23としてのソフトウェアキーを画像表示装置21に表示させる場合、画像表示装置21と操作入力装置23は、両者の機能を兼ね備えた1つのタッチパネルとしてもよい。
現在位置取得装置24は、GPS43から発信される信号を受信して絶対的な位置(緯度、経度)の情報を取得するGPS受信機が代表的であるが、相対的な位置(位置の変化)の情報を取得するための速度センサ、方位センサなども含まれる。
情報表示制御装置10は、制御部11、通信部12、画像処理部13、音声処理部15、通信端末情報解析部16、通信端末制御部17および記憶部18を備えている。情報表示制御装置10はコンピュータを用いて構成されており、情報表示制御装置10の各要素は、コンピュータが、記憶部18に記憶されている制御プログラム181に従って動作することにより実現される。なお、記憶部18は、ハードディスク、リムーバブルディスク、メモリなどの記録媒体によって構成される。
制御部11は、制御プログラム181に従って情報表示制御装置10の全体を制御する機能を有する。また、制御部11は、記憶部18に記憶されている情報表示制御装置10用のアプリケーションプログラム182を実行することもできる。情報表示制御装置10の記憶部18に記憶されているアプリケーションプログラム182には、通信端末30で動作するアプリケーションと同様の機能を発揮する「代替アプリケーション」が含まれている。
通信部12は、情報表示制御装置10が通信端末30とリンクするのに必要な通信を行う機能を有し、通信端末30との間で、画像データ、音声データ、制御命令など各種の情報をやりとりする。通信部12と通信端末30との間の通信方式は、例えばUSB(Universal Serial Bus)ケーブルやLAN(Local Area Network)ケーブルなどを用いる有線通信でもよいし、無線LANやBluetooth(登録商標)などの無線通信でもよい。
画像処理部13は、画像表示装置21に画像を表示させるための画像信号を生成する機能を有している。特に、情報表示制御装置10が通信端末30とリンクした状態では、画像処理部13は、通信端末30で動作しているアプリケーションが出力する画像(アプリケーション画像)を、通信部12を介して取得し、画像表示装置21に表示させることができる。
ここで、画像処理部13が通信端末30で動作しているアプリケーションの画像(アプリケーション画像)を画像表示装置21に表示させているときに、通信端末30がそのアプリケーションの動作に用いる特定の情報を取得できない状態になり、アプリケーションの正常な動作を継続できなくなる場合がある。その場合、制御部11は、当該アプリケーションと同様の機能を発揮する代替アプリケーションを実行し、画像処理部13は、通信端末30のアプリケーション画像の代わりに、代替アプリケーションの画像(代替アプリケーション画像)を画像表示装置21に表示させる。
音声処理部15は、音声出力装置22に音声を出力させるための音声信号を生成する機能を有している。特に、情報表示制御装置10が通信端末30とリンクした状態では、音声処理部15は、通信端末30で動作しているアプリケーションが出力する音声を、通信部12を介して取得し、音声出力装置22から出力させることができる。
通信端末情報解析部16は、通信部12を介して通信端末30から取得した情報(データ)に基づき、通信端末30の識別や状態判断を行う。通信端末情報解析部16が通信端末30から取得する情報としては、例えば、通信端末30で実行中のアプリケーションの属性情報(アプリケーションの種別など)や、通信端末30の属性情報(機種名、機能、電話番号、所有者名など)の他、通信端末30が実行中のアプリケーションの動作に用いられる特定の情報を受信可能な状態か否かを示す情報(受信状態情報)が含まれる。
通信端末制御部17は、通信部12を介して通信端末30へ各種の制御命令やデータを送信することにより、通信端末30を制御する機能を有している。情報表示制御装置10が通信端末30とリンクした状態では、ユーザは、操作入力装置23を用いて、画像表示装置21に表示された通信端末30の操作画面(通信端末30で動作しているアプリケーションの操作画面など)の画像に基づく操作を行うことができる。このユーザの操作内容は、通信端末制御部17が通信端末30に伝達し、通信端末30がその操作内容に応じた動作を行う。その結果、操作入力装置23を用いた通信端末30のリモート操作が実現される。
通信端末30は、情報表示制御装置10とリンクするための通信機能を有している。スマートフォンや携帯電話などのように、通信網41(通信端末30が在圏するネットワーク)を介した遠端側通信装置42との通信機能を有してもよい。また、通信端末30は、通信端末30用のアプリケーションを実行することによって、電話機能や、電子メール(Eメール)の送受信機能、インターネットの閲覧機能(ブラウザ機能)、GPS43を利用して経路案内を行うナビゲーション機能などの様々な機能を発揮できてもよい。
通信端末30の構成は、例えば一般的なスマートフォンと同様でよいため詳細な説明は省略するが、図1では、本発明と特に関係する表示部31、操作部32、制御部33および通信部34を図示している。
表示部31には、通信端末30で実行中のアプリケーションの画像が表示される。操作部32は、通信端末30のユーザインターフェイスであり、ユーザは、操作部32を用いてアプリケーションに対する操作を行うことができる。制御部33は、通信端末30用の制御プログラムを実行することで、通信端末30の基本的な機能(通信機能や通話機能など)の制御を行うと共に、各種のアプリケーションを実行することにより、上記した様々な機能を通信端末30に発揮させることができる。通信部34は、情報表示制御装置10とリンクするための通信を行うが、通信網41を介した遠端側通信装置42との通信にも用いられてもよい。
次に、実施の形態1に係る情報表示システムの動作を説明する。以下の説明では、情報表示制御装置10、画像表示装置21、音声出力装置22、操作入力装置23および現在位置取得装置24はいずれも車載装置であり、通信端末30はスマートフォンであると仮定する。また、画像表示装置21と操作入力装置23は、一つのタッチパネル(後述の「タッチパネル装置212」)として構成されているものとする。同様に、通信端末30の表示部31および操作部32も、一つのタッチパネル(後述の「タッチパネル部312」)として構成されているものとする。
以下の説明では、通信端末30で動作するアプリケーションとして、経路案内を行うナビゲーション用アプリケーションを例示するが、本発明は、ナビゲーション用以外のアプリケーション、例えばブラウザなどに適用してもよい。
まず、情報表示制御装置10と通信端末30との連携(リンク)機能の概要を説明する。情報表示制御装置10と通信端末30とが有線または無線により物理接続され、双方の通信によってリンクが確立すると、図2に示すように、情報表示制御装置10に接続したタッチパネル装置212(画像表示装置21)に、通信端末30のタッチパネル部312(表示部31)と同じ画像が表示される。また、情報表示制御装置10に接続した音声出力装置22には、通信端末30が出力するものと同じ音声が出力される。
情報表示制御装置10と通信端末30とがリンクしている間、通信端末30が出力する画像や音声などのデータは情報表示制御装置10へ送信され、情報表示制御装置10は当該データをタッチパネル装置212および音声出力装置22を用いて出力することができる。
さらに、ユーザは、情報表示制御装置10と通信端末30とがリンクしている間、タッチパネル装置212(操作入力装置23)を操作することによって、通信端末30のタッチパネル部312(操作部32)を操作するのと同じ感覚で、通信端末30をリモート操作することができる。なお、リンクが確立している間も通信端末30のタッチパネル部312の操作は禁止されず、通信端末30は、タッチパネル部312からもタッチパネル装置212からも操作可能な状態になる。
例えば、図2に示した状態から、ユーザがタッチパネル装置212に表示された「ナビゲーション」のアイコンにタッチすると、通信端末30のタッチパネル部312を操作したときと同じように、通信端末30でナビゲーション用アプリケーションが起動する。すると、図3のように、通信端末30のタッチパネル部312に当該アプリケーションの画像(ここでは地図)が表示され、それと共に、タッチパネル装置212にも通信端末30のタッチパネル部312と同じ画像が表示される。また、当該アプリケーションが、例えば経路案内のための音声を出力すると、その音声が情報表示制御装置10に接続された音声出力装置22から出力される。
このように、情報表示制御装置10と通信端末30とがリンクした状態では、情報表示制御装置10と通信端末30とが互いに連携した動作を行う。
以下、情報表示制御装置10における通信端末30との連携動作の詳細を説明する。
まず、リンク中の通信端末30からデータを受信した場合における、情報表示制御装置10の動作を説明する。図4はその動作を示すフローチャートである。
情報表示制御装置10の通信部12は、リンク中の通信端末30から送信されたデータを受信すると(ステップS101)、受信したデータの種類を確認する(ステップS102)。
受信したデータが画像のデータであれば(ステップS103でYES)、通信部12は、その画像(データ)を画像処理部13へと送る(ステップS104)。画像処理部13は、当該画像を画像表示装置21に表示させる(ステップS105)。
また、受信したデータが音声のデータであれば(ステップS103でNO、且つ、ステップS106でYES)、その音声(データ)を音声処理部15へと送る(ステップS107)。音声処理部15は、当該音声を音声出力装置22から出力させる(ステップS108)。
一方、受信したデータが画像でも音声でもなく、通信端末30で実行中のアプリケーションの属性情報、通信端末30の属性情報、もしくは、通信端末30が実行中のアプリケーションの動作に用いられる特定の情報を受信可能な状態か否かを示す情報(受信状態情報)などであれば(ステップS103でNO、且つ、ステップS106でNO)、通信部12は、その情報(データ)を通信端末情報解析部16へと送る(ステップS109)。通信端末情報解析部16は、それらの情報を解析し、その結果を制御部11へ送る(ステップS110)。それにより、制御部11は、通信端末30の状況に応じた情報表示制御装置10の制御を行うことができる。
次に、通信端末30とのリンク中にユーザが操作入力装置23を操作した場合における、情報表示制御装置10の動作を説明する。図5は、その動作を示すフローチャートである。
ユーザにより操作入力装置23の操作が行われると、操作入力装置23はその操作を情報表示制御装置10の制御部11に通知し(ステップS201)、制御部11が、その操作の内容を確認する(ステップS202)。
当該操作が、通信端末30の制御が必要となる操作であれば(ステップS203でYES)、制御部11は、その操作に対応する制御命令を通信端末制御部17へと送る(ステップS204)。通信端末制御部17は、その制御命令を通信部12へ渡し(ステップS205)、通信部12は、その制御命令を通信端末30へ送信する(ステップS206)。
また、当該操作が、通信端末30へのデータ送信が必要となる操作であれば(ステップS203でNO、且つ、ステップS207でYES)、制御部11は、通信端末30へ送信するデータを通信端末制御部17へと送る(ステップS208)。通信端末制御部17は、そのデータを通信部12へ渡し(ステップS209)、通信部12は、そのデータを通信端末30へ送信する(ステップS210)。
一方、当該操作が、その他の操作であれば(ステップS203でNO、且つ、ステップS207でNO)、その操作の対象は通信端末30ではなく情報表示制御装置10であるので、制御部11は、当該操作により入力された情報を、制御プログラム181およびアプリケーションプログラム182の処理に利用する(ステップS211)。それにより、情報表示制御装置10は、ユーザの操作に基づく動作を行うこととなる。
次に、通信端末30とのリンク中に、通信端末30が実行中のアプリケーションの動作に用いられる特定の情報を受信できなくなった場合における情報表示制御装置10の動作を説明する。
情報表示制御装置10は、リンク中の通信端末30が実行中のアプリケーションの動作に用いられる特定の情報を受信できない状態になると、通信端末30で動作しているアプリケーションと同様の機能を有する代替アプリケーションを実行し、それまで画像表示装置21に表示させていた通信端末30のアプリケーション画像に代えて、代替アプリケーションの画像(代替アプリケーション画像)を表示させる。
例えば、情報表示制御装置10と通信端末30とがリンクしており、図3に示したように画像表示装置21(タッチパネル装置212)と通信端末30の表示部31(タッチパネル部312)の両方に、通信端末30で動作しているナビゲーション用のアプリケーションの画像(地図)が表示されている状態を仮定する。その状態から、通信端末30が通信網41の圏外(通信圏外)になると、通信端末30は外部のサーバーから地図情報を取得できなくなり、地図の表示を更新することができなくなる。
実施の形態1の情報表示制御装置10は、リンク中の通信端末30が通信圏外になったことを検出すると、通信端末30で動作しているアプリケーションと同様の機能を発揮する代替アプリケーションを起動させる。ここでは、通信端末30でナビゲーション用のアプリケーションが動作しているので、情報表示制御装置10は、代替アプリケーションとして、ナビゲーション用のアプリケーションを起動させる。
本実施の形態では、代替アプリケーションとしてのナビゲーション用のアプリケーションは、通信端末30で動作しているナビゲーション用のアプリケーションよりも簡略化された地図を表示する簡易ナビゲーション用のアプリケーションとする。また、この簡易ナビゲーション用のアプリケーションの動作には、通信端末30が取得した位置情報や地図情報は用いられず、情報表示制御装置10が現在位置取得装置24から取得した位置情報と、記憶部18に記憶されている地図情報とが用いられる。代替アプリケーションとして、簡易ナビゲーション用のアプリケーションを使用することにより、情報表示制御装置10の記憶部18に記憶させる地図情報のデータ量を少なくできるという利点がある。
代替アプリケーションが起動すると、情報表示制御装置10は、図6のように、代替アプリケーション画像(簡易ナビゲーション用の地図)を画像表示装置21に表示させる。簡易ナビゲーション用のアプリケーションの動作には、通信端末30が取得する位置情報や地図情報は必要ないため、通信端末30が通信圏外になった状態でも、簡易ナビゲーション用のアプリケーションは正常に動作できる。従って、ユーザは、画像表示装置21に表示されている簡易ナビゲーション用の地図から現在位置を直感的に把握でき、利便性は維持される。
図7は、リンク中の通信端末30が通信圏内にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図7のフローチャートに示す動作は、通信端末30が通信圏内にあり、図3のように、画像表示装置21に通信端末30から受信したアプリケーション画像が表示された状態のときに行われる。
ここで、情報表示制御装置10と通信端末30とがリンクしている間、通信端末30は、実行中のアプリケーションの動作に用いられる特定の情報を受信可能な状態か否かを示す「受信状態情報」を、情報表示制御装置10に随時送信している。実施の形態1では、通信端末30は、受信状態情報として、自己が通信圏内であること(地図情報を取得できる状態であること)を示す「圏内情報」または自己が通信圏外であること(地図情報を取得できない状態であること)を示す「圏外情報」を、情報表示制御装置10へ送信するものとする。通信端末30が受信状態情報を送信するタイミングは、一定周期でもよいし、受信状態情報の内容(通信圏内または通信圏外)が変化したときでもよい。
図3の状態において、情報表示制御装置10の通信部12が、通信端末30から圏外情報を受信すると(ステップS301)、通信部12はその圏外情報を通信端末情報解析部16へ送る(ステップS302)。そして、通信端末情報解析部16は、制御部11の内部に保存されているフラグ(条件判定処理の結果を保存するためのデータ)である「圏外フラグ」と「圏内情報待ちフラグ」をセットする(ステップS303)。なお、後述する「読み捨てフラグ」は、このときクリアされた状態になっている。また、制御部11には、情報表示制御装置10が通信圏内にあると判断されるときにセットされる「圏内フラグ」も保存されており、ここでは圏内フラグはセットされた状態となっている(圏内フラグは、後述する図8のステップS403でセットされる)。
その後、通信端末情報解析部16は、一定時間待機する(ステップS304)。この待機時間は、ユーザが好みに応じて変更できるようにしてもよい。
通信端末情報解析部16が待機している間(圏内情報待ちフラグがセット状態の間)に通信部12が圏内情報を受信しなかった場合(ステップS305でNO)、通信端末情報解析部16は、圏内情報待ちフラグと圏内フラグをクリアして(ステップS306)、圏外フラグはセット状態に維持する。そして、読み捨てフラグをセットする(ステップS307)。
一方、通信端末情報解析部16が待機している間に通信部12が圏内情報を受信した場合(ステップS305でYES)、通信端末情報解析部16は、圏外フラグと圏内情報待ちフラグをクリアする(ステップS308)。つまり、通信部12が圏外情報を受信しても、その後すぐに圏内情報を受信したときは、圏外情報を受信する前の状態に戻る。よって、通信端末30が通信圏外になった状態が一定時間以上続かなかったときは、それを示す圏外情報は無視され、通信端末30が通信圏外にならなかったとみなされる。通信端末30が短時間だけ通信圏外になった場合にまで画像表示装置21の表示が代替アプリケーション画像に切り替わると、図3の状態と図6の状態とが頻繁に切り替わり、かえって利便性が低下することが考えられるが、この処理によってそれが防止される。
その後、通信端末30からの画像(アプリケーション画像)を通信部12が受信すると(ステップS309)、通信部12は受信した画像を画像処理部13に送り(ステップS310)、制御部11が読み捨てフラグの状態を確認する(ステップS311)。
読み捨てフラグがセット状態の場合(ステップS312でYES)、制御部11は、代替アプリケーションを起動させる(ステップS313)。そして、画像処理部13は、代替アプリケーションの画像を、画像表示装置21に表示させる(ステップS314)。その結果、情報表示制御装置10は図6の状態に移行する。
一方、読み捨てフラグがセットされていない状態(クリア状態)の場合(ステップS312でNO)、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS315)。その結果、情報表示制御装置10は図3の状態に維持される。
なお、代替アプリケーションは、通信端末30が通信圏外になったときに通信端末30で動作していたアプリケーションと同様の機能を発揮するものであるが、さらに、通信端末30が通信圏外になる前後で画像表示装置21の画面表示の継続性を担保できるものであることが望ましい。
例えば、画像表示装置21(タッチパネル装置212)の表示が、通信端末30で動作しているナビゲーション用のアプリケーションの地図(図3)から、代替アプリケーション(簡易ナビゲーション)の地図(図6)に切り替わる場合、代替アプリケーションの地図は、通信端末30のアプリケーションの地図と同じ地域を同じ縮尺・向きで表示することが望ましい。それを実現するためには、通信端末30のアプリケーションがどの地域の地図を、どのような縮尺で、どの方角を上にして表示していたか、といった情報を、情報表示制御装置10が取得する必要がある。
さらに、通信端末30のアプリケーションの地図に現在位置から目的地までの経路が表示されていた場合には、その経路の情報も取得して代替アプリケーションの地図に表示するとよい。あるいは、情報表示制御装置10が目的地の情報を取得し、現在位置から目的地までの経路を代替アプリケーションで再検索して表示させてもよい。
また、代替アプリケーションの起動が遅いと、画像表示装置21の表示を通信端末30のアプリケーション画像から代替アプリケーション画像へ即座に切り替えることができない。例えば、簡易ナビゲーション用のアプリケーションは、起動時に現在位置取得装置24を用いて現在位置を取得する必要があるため、起動にある程度の時間を要する。この問題は、情報表示制御装置10が、事前に現在位置取得装置24を用いて現在位置を取得しておく、あるいは、事前に代替アプリケーションを起動させておく、などの措置により解決できる。
図8は、リンク中の通信端末30が通信圏外にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図8のフローチャートに示す動作は、通信端末30が通信圏外にあり、図6のように、画像表示装置21に代替アプリケーション画像が表示された状態のときに行われる(代替アプリケーションは、図7のステップS313で起動されている)。
図6の状態において、情報表示制御装置10の通信部12が、通信端末30から圏内情報を受信すると(ステップS401)、通信部12はその圏内情報を通信端末情報解析部16へ送る(ステップS402)。通信端末情報解析部16は、制御部11の内部に保存されている「圏内フラグ」と「圏外情報待ちフラグ」をセットする(ステップS403)。なお、圏外フラグは、図7のステップS303でセットされたままになっており、読み捨てフラグは、図7のステップS307でセットされたままになっている。
その後、通信端末情報解析部16は、一定時間待機する(ステップS404)。この待機時間は、ユーザが好みに応じて変更できるようにしてもよい。
制御部11が待機している間(圏外情報待ちフラグがセット状態の間)に、通信部12が圏外情報を受信しなかった場合(ステップS405でNO)、通信端末情報解析部16は、圏外情報待ちフラグと圏外フラグをクリアして(ステップS406)、「圏内フラグ」はセット状態に維持する。そして、読み捨てフラグをクリアする(ステップS407)。
一方、通信端末情報解析部16が待機している間に、通信部12が圏外情報を受信した場合(ステップS405でYES)、通信端末情報解析部16は、圏内フラグと圏外情報待ちフラグをクリアする(ステップS408)。つまり、通信部12が圏内情報を受信しても、その後すぐに圏外情報を受信したときは、圏内情報を受信する前の状態に戻る。よって、通信端末30が通信圏内になった状態が一定時間以上続かなかったときは、それを示す圏内情報は無視され、通信端末30が通信圏内にならなかったとみなされる。通信端末30が短時間だけ通信圏内になった場合にまで、画像表示装置21の表示が通信端末30のアプリケーション画像に切り替わると、図3の状態と図6の状態とが頻繁に切り替わり、かえって利便性が低下することが考えられるが、この処理によってそれが防止される。
その後、通信端末30からの画像を通信部12が受信すると(ステップS409)、通信部12は受信した画像を画像処理部13に送り(ステップS410)、制御部11が読み捨てフラグの状態を確認する(ステップS411)。
読み捨てフラグがクリア状態の場合(ステップS412でNO)、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS413)。また、制御部11は、代替アプリケーションを終了させる(ステップS414)。その結果、情報表示制御装置10は図3の状態に移行する。
一方、読み捨てフラグがセット状態の場合は(ステップS412でYES)、画像処理部13は、代替アプリケーションの画像を、画像表示装置21に表示させる(ステップS415)。その結果、情報表示制御装置10は図6の状態に維持される。
<実施の形態2>
実施の形態1では、情報表示制御装置10が、通信端末30が通信圏外になったときに代替アプリケーションを起動させていたが、実施の形態2では、通信端末30がGPSから位置情報(GPS位置情報)を取得できない状態(GPSから発信される信号を受信できない状態)になったときに代替アプリケーションを起動させる。
本実施の形態でも、図3のように画像表示装置21(タッチパネル装置212)と通信端末30の表示部31(タッチパネル部312)の両方に、通信端末30で動作しているナビゲーション用のアプリケーションの画像(現在位置の地図)が表示されている状態を仮定する。その状態から、通信端末30がGPS位置情報を取得できない状態になると、通信端末30は現在位置を判断できなくなるため、現在位置の地図の表示を正しく更新することができなくなる。
実施の形態2の情報表示制御装置10は、リンク中の通信端末30がGPS位置情報を取得できない状態になったことを検出すると、通信端末30で動作しているアプリケーションと同様の機能を発揮する代替アプリケーションとして、簡易ナビゲーション用のアプリケーションを起動させる。そして、図6のように、代替アプリケーション画像(簡易ナビゲーション用の地図)を画像表示装置21に表示させる。簡易ナビゲーション用のアプリケーションの動作には、通信端末30が取得する位置情報や地図情報は必要ないため、通信端末30がGPS位置情報を取得できない状態になっても、簡易ナビゲーション用のアプリケーションは正常に動作することができる。従って、ユーザは、画像表示装置21に表示されている簡易ナビゲーション用の地図から現在位置を直感的に把握でき、利便性は維持される。
なお、情報表示制御装置10に接続される現在位置取得装置24は、通信端末30とは独立してGPS位置情報を取得できるが、通信端末30がGPS位置情報を取得できない状態のときは、現在位置取得装置24も同様にGPS位置情報を取得できない状態になっている可能性が高い。しかし、現在位置取得装置24は、車載の速度センサや方位センサから取得した相対的な位置に基づいて現在位置を算出でき、そのように算出した位置情報を簡易ナビゲーション用のアプリケーションの動作に用いることができる。
図9は、リンク中の通信端末30がGPS位置情報を取得できる状態にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図9のフローチャートに示す動作は、通信端末30がGPS位置情報を取得できる状態にあり、図3のように、画像表示装置21に通信端末30から受信したアプリケーション画像が表示された状態のときに行われる。
また、実施の形態2では、情報表示制御装置10と通信端末30とがリンクしている間、通信端末30は、受信状態情報として、自己がGPS位置情報を取得できる状態であることを示す「GPS取得可能情報」または自己がGPS位置情報を取得できない状態であることを示す「GPS取得不能情報」を、情報表示制御装置10へ送信するものとする。
図3の状態において、情報表示制御装置10の通信部12が、通信端末30からGPS取得不能情報を受信すると(ステップS501)、通信部12はそのGPS取得不能情報を通信端末情報解析部16へ送る(ステップS502)。そして、通信端末情報解析部16は、制御部11の内部に保存されている「GPS取得不能フラグ」と「GPS取得可能情報待ちフラグ」をセットする(ステップS503)。なお、読み捨てフラグは、このときクリアされた状態になっている。また、制御部11には、情報表示制御装置10がGPS位置情報を取得できる状態にあると判断されるときにセットされる「GPS取得可能フラグ」も保存されており、ここではGPS取得可能フラグはセットされた状態となっている(GPS取得可能フラグは、後述する図10のステップS603でセットされる)。
その後、通信端末情報解析部16は、一定時間待機する(ステップS504)。この待機時間は、ユーザが好みに応じて変更できるようにしてもよい。
通信端末情報解析部16が待機している間(GPS取得可能情報待ちフラグがセット状態の間)に通信部12がGPS取得可能情報を受信しなかった場合(ステップS505でNO)、通信端末情報解析部16は、GPS取得可能情報待ちフラグとGPS取得可能フラグをクリアして(ステップS506)、GPS取得不能フラグはセット状態に維持する。そして、読み捨てフラグをセットする(ステップS507)。
一方、通信端末情報解析部16が待機している間に通信部12がGPS取得可能情報を受信した場合(ステップS505でYES)、通信端末情報解析部16は、GPS取得不能フラグとGPS取得可能情報待ちフラグをクリアする(ステップS508)。つまり、通信部12がGPS取得不能情報を受信しても、その後すぐにGPS取得可能情報を受信したときは、GPS取得不能情報を受信する前の状態に戻る。よって、通信端末30がGPS位置情報を取得できない状態が一定時間以上続かなかったときは、それを示すGPS取得不能情報は無視され、通信端末30がGPS位置情報を取得できない状態にならなかったとみなされる。通信端末30が短時間だけGPS位置情報を取得できない状態になった場合にまで画像表示装置21の表示が代替アプリケーション画像に切り替わると、図3の状態と図6の状態とが頻繁に切り替わり、かえって利便性が低下することが考えられるが、この処理によってそれが防止される。
その後、通信端末30からの画像を通信部12が受信すると(ステップS509)、通信部12は受信した画像を画像処理部13に送り(ステップS510)、制御部11が読み捨てフラグの状態を確認する(ステップS511)。
読み捨てフラグがセット状態の場合(ステップS512でYES)、制御部11は、代替アプリケーションを起動させる(ステップS513)。そして、画像処理部13は、代替アプリケーションの画像を、画像表示装置21に表示させる(ステップS514)。その結果、情報表示制御装置10は図6の状態に移行する。
一方、読み捨てフラグがセットされていない状態(クリア状態)の場合(ステップS512でNO)、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS515)。その結果、情報表示制御装置10は図3の状態に維持される。
図10は、リンク中の通信端末30がGPS位置情報を取得できない状態にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図10のフローチャートに示す動作は、通信端末30がGPS位置情報を取得できない状態にあり、図6のように、画像表示装置21に代替アプリケーション画像が表示された状態のときに行われる(代替アプリケーションは、図9のステップS513で起動されている)。
図6の状態において、情報表示制御装置10の通信部12が、通信端末30からGPS取得可能情報を受信すると(ステップS601)、通信部12はそのGPS取得可能情報を通信端末情報解析部16へ送る(ステップS602)。通信端末情報解析部16は、制御部11の内部に保存されている「GPS取得可能フラグ」と「GPS取得不能情報待ちフラグ」をセットする(ステップS603)。なお、GPS取得不能フラグは、図9のステップS503でセットされたままになっており、読み捨てフラグは、図9のステップS507でセットされたままになっている。
その後、通信端末情報解析部16は、一定時間待機する(ステップS604)。この待機時間は、ユーザが好みに応じて変更できるようにしてもよい。
制御部11が待機している間(GPS取得不能情報待ちフラグがセット状態の間)に、通信部12がGPS取得不能情報を受信しなかった場合(ステップS605でNO)、通信端末情報解析部16は、GPS取得不能情報待ちフラグとGPS取得不能フラグをクリアして(ステップS606)、GPS取得可能フラグはセット状態に維持する。そして、読み捨てフラグをクリアする(ステップS607)。
一方、通信端末情報解析部16が待機している間に、通信部12がGPS取得不能情報を受信した場合(ステップS605でYES)、通信端末情報解析部16は、GPS取得可能フラグとGPS取得不能情報待ちフラグをクリアする(ステップS608)。つまり、通信部12がGPS取得可能情報を受信しても、その後すぐにGPS取得不能情報を受信したときは、GPS取得可能情報を受信する前の状態に戻る。よって、通信端末30がGPS位置情報を取得できる状態が一定時間以上続かなかったときは、それを示すGPS取得可能情報は無視され、通信端末30がGPS位置情報を取得できる状態にならなかったとみなされる。通信端末30が短時間だけGPS位置情報を取得できる状態になった場合にまで、画像表示装置21の表示が通信端末30のアプリケーション画像に切り替わると、図3の状態と図6の状態とが頻繁に切り替わり、かえって利便性が低下することが考えられるが、この処理によってそれが防止される。
その後、通信端末30からの画像を通信部12が受信すると(ステップS609)、通信部12は受信した画像を画像処理部13に送り(ステップS610)、制御部11が読み捨てフラグの状態を確認する(ステップS611)。
読み捨てフラグがクリア状態の場合(ステップS612でNO)、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS613)。また、制御部11は、代替アプリケーションを終了させる(ステップS614)。その結果、情報表示制御装置10は図3の状態に移行する。
一方、読み捨てフラグがセット状態の場合は(ステップS612でYES)、画像処理部13は、代替アプリケーションの画像を、画像表示装置21に表示させる(ステップS615)。その結果、情報表示制御装置10は図6の状態に維持される。
また、通信端末30がGPS位置情報を取得できない状態のときは、現在位置取得装置24も同様にGPS位置情報を取得できない状態になっている可能性が高いという特徴を利用して、通信端末30がGPS位置情報を取得できる状態か否かを判断してもよい。例えば、情報表示制御装置10が、現在位置取得装置24がGPS位置情報を取得できない状態になったときに、通信端末30もGPS位置情報を取得できない状態であるとみなして、代替アプリケーションを起動し、図6のように代替アプリケーション画像を画像表示装置21に表示させるようにしてもよい。すなわち、現在位置取得装置24がGPS位置情報を取得できているときは、情報表示制御装置10が通信端末30からGPS取得可能情報を受信したときと同様に動作し、現在位置取得装置24がGPS位置情報を取得できなくなったときは、情報表示制御装置10が通信端末30からGPS取得不能情報を受信したときと同様に動作するようにしてもよい。
また、実施の形態1と実施の形態2を組み合わせてもよい。すなわち、通信端末30が通信圏内(地図情報を取得できる状態)であり且つGPS位置情報を取得できる状態のときは、図3のように情報表示制御装置10が通信端末30のアプリケーション画像を画像表示装置21に表示させ、通信端末30が地図情報およびGPS位置情報の少なくとも片方を取得できなくなると、情報表示制御装置10が代替アプリケーション(簡易ナビゲーション用のアプリケーション)を起動して、図6のように代替アプリケーション画像を画像表示装置21に表示させるようにしてもよい。
<実施の形態3>
図11は、本発明に係る情報表示システムの構成図である。図11に示す情報表示システムは、図1の構成に対して画像記憶部14を設けた構成となっている。画像記憶部14は、情報表示制御装置10が通信端末30とリンクしている間、通信端末30から取得したアプリケーションの画面(スクリーンショット)を随時記憶する機能を有している。
実施の形態3では、情報表示制御装置10とリンクしている通信端末30が、実行中のアプリケーションの動作に用いられる特定の情報を受信できない状態になった場合に、制御部11の画像変化推定部111が、当該アプリケーションが動作を継続したと仮定したときのアプリケーション画像の変化を推定する。さらに、画像処理部13は、画像記憶部14に記憶されているアプリケーション画像に、画像変化推定部111が推定した変化を加える加工処理を行って、加工処理後のアプリケーション画像を画像表示装置21に表示させる。
つまり、実施の形態3の情報表示制御装置10は、通信端末30が実行中のアプリケーションの動作に用いられる特定の情報を受信できない状態になった場合も、通信端末30のアプリケーションの画像の表示を継続する。但し、通信端末30ではアプリケーション画像の更新がされないため、情報表示制御装置10が画像表示装置21に表示させるアプリケーション画像として、当該アプリケーションが動作を継続したと仮定して推定したアプリケーション画像が用いられる。
例えば、図3に示したように画像表示装置21(タッチパネル装置212)と通信端末30の表示部31(タッチパネル部312)に、通信端末30のナビゲーション用のアプリケーションの画像(地図)が表示されている状態を仮定する。その状態から、通信端末30が通信圏外になると、通信端末30は外部のサーバーから地図情報を取得できなくなるため、地図の表示を更新することができなくなる。
実施の形態3の情報表示制御装置10は、リンク中の通信端末30が通信圏外になったことを検出すると、図12のように、画像表示装置21には、その直前に画像記憶部14に記憶されたアプリケーション画像(地図)を表示させる。これにより、見た目上、画像表示装置21におけるアプリケーション画像の表示は継続される。しかし、地図が更新されなければ、車両が移動したときに、地図上の車両の位置と実際の車両の位置(現在位置)とがずれることになる。
そこで本実施の形態では、制御部11の画像変化推定部111が、現在位置取得装置24から得られる位置情報に基づいて車両の位置変化を算出することにより、通信端末30のアプリケーションが動作を継続したと仮定したときのアプリケーション画像の変化を推定する。具体的には、画像変化推定部111が、算出した車両の位置変化(移動の方向と距離)と、画像表示装置21に表示されている地図の縮尺や向きに基づいて、当該地図上で車両の位置がどの方向にどの程度移動するのかを推定する。
画像処理部13は、画像変化推定部111が推定した地図上の車両の位置変化が反映されるように、画像記憶部14に記憶されている地図(アプリケーション画像)の加工処理を行う。そして画像処理部13は、加工処理後の地図を画像表示装置21に表示させる。
例えば図12の状態では、画像表示装置21の画面中央のやや下側に車両の位置を示すアイコン(白丸と黒三角とを組み合わせたマーク)が表示されている。その状態から車両が前進した場合、通信端末30のアプリケーションが動作を継続していると仮定すると、地図上の車両のアイコンは上方向に移動すると推定される。画像処理部13は、その推定結果に基づき、図13のように車両の位置を示すアイコンを上方向に動かす加工処理を行う。この処理を繰り返すことにより、車両の移動に応じて地図上の車両の位置を示すアイコンが移動することになる。
このように、通信端末30が通信圏外になっている間も画像表示装置21に表示されているアプリケーション画像(地図)が動的に表示されることにより、ユーザはアプリケーション画像から現在位置を直感的に把握でき、利便性は維持される。
図14は、リンク中の通信端末30が通信圏内にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図14のフローチャートに示す動作は、通信端末30が通信圏内にあり、図3のように、画像表示装置21に通信端末30から受信したアプリケーション画像が表示された状態のときに行われる。図14のフローチャートにおいて、ステップS301〜S312は、図7と同様であるので、ここではそれらのステップの説明は省略する。
情報表示制御装置10が通信端末30から圏外情報を受信し、ステップS306で読み捨てフラグがセット状態にされた場合、ステップS312で「YES」と判断される。この場合、制御部11の画像変化推定部111は、現在位置取得装置24から現在位置を取得して現在位置の変化を算出し、通信端末30が通信圏内で地図情報を継続して取得できたと仮定したときのアプリケーション画像の変化を推定する(ステップS323)。続いて、画像処理部13は、画像変化推定部111が推定したアプリケーション画像の変化が反映されるように、画像記憶部14に記憶されているアプリケーション画像の加工処理を行い、加工処理後の画像(推定画像)を画像表示装置21に表示させる(ステップS324)。その結果、情報表示制御装置10は図12および図13の状態に移行する。
一方、情報表示制御装置10が通信端末30から圏外情報を受信したが、その後すぐに圏内情報を受信したことで、読み捨てフラグがセット状態にされなかった場合、ステップS312で「NO」と判断される。この場合、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS325)。その結果、情報表示制御装置10は図3の状態に維持される。
図15は、リンク中の通信端末30が通信圏外にある場合における情報表示制御装置10の画像表示動作を示すフローチャートである。図15のフローチャートに示す動作は、通信端末30が通信圏外にあり、図12および図13のように、画像表示装置21にアプリケーション画像の変化を推定した画像(推定画像)が表示された状態のときに行われる。図15のフローチャートにおいて、ステップS401〜S412は、図8と同様であるので、ここではそれらのステップの説明は省略する。
情報表示制御装置10が通信端末30から圏内情報を受信し、読み捨てフラグがクリアされた場合、ステップS412で「NO」と判断される。この場合、画像処理部13は、通信端末30から受信した画像、すなわちアプリケーション画像を画像表示装置21に表示させる(ステップS425)。その結果、情報表示制御装置10は図3の状態に遷移する。
一方、情報表示制御装置10が通信端末30から圏内情報を受信したが、その後すぐに圏外情報を受信したことで、読み捨てフラグがセット状態に維持された場合、ステップS412で「YES」と判断される。この場合、制御部11の画像変化推定部111は、現在位置取得装置24から現在位置を取得して現在位置の変化を算出し、通信端末30が通信圏内で地図情報を継続して取得できたと仮定したときのアプリケーション画像の変化を推定する(ステップS423)。続いて、画像処理部13は、画像変化推定部111が推定したアプリケーション画像の変化が反映されるように、画像記憶部14に記憶されているアプリケーション画像の加工処理を行い、加工処理後の画像(推定画像)を画像表示装置21に表示させる(ステップS424)。その結果、情報表示制御装置10は図12および図13の状態に維持される。
本実施の形態では、通信端末30が通信圏外になったときに、情報表示制御装置10が画像表示装置21に推定画像を表示させるようにしたが、実施の形態2に適用し、通信端末30がGPSから位置情報(GPS位置情報)を取得できない状態になったときに、推定画像を表示させてもよい。その場合の情報表示制御装置10の動作については、詳細な説明を省略するが、図9のフローチャートのステップS512以降の処理を、図14のステップS323〜S325に置き換え、また図10のフローチャートのステップS612以降の処理を、図14のステップS423〜S425に置き換えることで実現できる。
また、通信端末30が通信圏内(地図情報を取得できる状態)であり且つGPS位置情報を取得できる状態のときは、図3のように情報表示制御装置10が通信端末30のアプリケーション画像を画像表示装置21に表示させ、通信端末30が地図情報およびGPS位置情報の少なくとも片方を取得できなくなると、情報表示制御装置10が図12および図13のように推定画像を画像表示装置21に表示させるようにしてもよい。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。