JPWO2014112095A1 - 情報表示制御装置 - Google Patents

Abstract

情報表示制御装置１０は、通信端末３０で動作しているアプリケーションの画像を表示装置に表示させる画像処理部１３と、画像処理部１３が取得したアプリケーションの画像を記憶する画像記憶部１４と、画像表示装置２１に表示された画像に基づくユーザの操作を通信端末３０へ伝達する通信端末制御部１７とを備える。画像処理部１３は、通信端末３０で所定のイベントが発生すると、通信端末３０からイベントに係る操作画面の画像を取得し、当該操作画面の画像と画像記憶部１４に記憶されているアプリケーションの画像との合成画像を画像表示装置２１に表示させる。

Description

本発明は、情報表示装置の動作を制御する情報表示制御装置に関し、特に、外部の通信端末との連携（リンク）機能を有する情報表示制御装置に関する。

近年、スマートフォンや携帯電話などの通信端末との通信機能を有する情報表示装置が実用化されている。そのような情報表示装置としては、通信端末で動作しているアプリケーションプログラム（以下、単に「アプリケーション」という）が出力する画像や音声を取得し、自己の表示部やスピーカから出力したり、画像や音声に基づくユーザの操作を受け付けて通信端末を制御したりするなど、通信端末との連携動作を可能とするリンク機能（例えばMirrorLink（登録商標）機能）を有するものがある。

一般に、通信端末において、アプリケーションの実行中に電話着信などのイベントが発生すると、当該アプリケーションの実行が中断される。このとき通信端末の画面表示は、アプリケーションが出力する画像（アプリケーション画像）から、イベントの発生を通知する画像に切り替わるのが通常である。そのため、情報表示装置が通信端末とリンクし、通信端末から取得したアプリケーション画像を表示していても、通信端末でイベントが発生すると、通信端末からのアプリケーション画像の送信が中断される。その場合、情報表示装置の表示も、通信端末でのイベントの発生を通知する画像に切り替えられる。

例えば、車載の情報表示装置が、通信端末で動作しているナビゲーション用アプリケーションが出力した地図を表示しているときに、通信端末に電話着信があると、情報表示装置の表示が地図から電話の着信画面に切り替わる。そうなると、運転者は通話が終了するまで地図を見ることができず、利便性が低下する。

例えば下記の特許文献１では、車載の情報表示装置が通信端末のナビゲーション用アプリケーションの地図を表示する際にその地図を随時記憶しておき、通信端末にイベントが発生したときに、情報表示装置がその直前に記憶した地図を表示し続ける技術が提案されている。この技術によれば、通信端末に電話着信があっても、情報表示装置には地図が表示されたままになるため、運転者は継続して地図を見ることができる。

特開２０１１−２５４２９９号公報

特許文献１の情報表示装置は、通信端末にイベントが発生し、直前に記憶した地図を表示するとき、地図上にイベントの発生を示す簡易情報を重ねて表示する。この簡易情報は、例えば文字情報であり、ユーザインターフェイスを有していない。そのため、例えばユーザが電話着信に応答してハンズフリー通話をしたい場合、通信端末を直接操作して通話を開始させなければならず、ハンズフリー通話の利点が損なわれる。

本発明は以上のような課題を解決するためになされたものであり、通信端末のイベント発生による利便性の低下を抑えつつ、当該イベントに対する操作性を確保できる情報表示制御装置を提供することを目的とする。

本発明に係る情報表示制御装置は、通信端末との通信を行う通信部と、通信端末で動作しているアプリケーションの画像を通信部を介して取得し、当該アプリケーションの画像を表示装置に表示させる画像処理部と、画像処理部が取得したアプリケーションの画像を記憶する画像記憶部と、表示装置に表示された画像に基づくユーザの操作を通信部を介して通信端末へ伝達することにより、通信端末を制御する通信端末制御部と、を備え、画像処理部は、通信端末で発生したイベントによりアプリケーションの画像の取得が中断される場合、通信端末からイベントに係る操作画面の画像を取得し、イベントに係る操作画面の画像と画像記憶部に記憶されているアプリケーションの画像との合成画像を表示装置に表示させるものである。

本発明によれば、通信端末でイベントが発生したとき、表示装置には、当該イベントに係る操作画面の画像と画像記憶部に記憶されているアプリケーションの画像との合成画像が表示される。イベントが発生した後もアプリケーションの画像が表示され続けることにより、アプリケーションの利便性を維持できる。また、ユーザは、表示装置に表示されたイベント操作画像に基づく操作を行うことができるため、通信端末で発生したイベントに対する操作性が確保される。例えば、ユーザが通信端末の電話着信に応答してハンズフリー通話を行いたい場合は、通信端末を直接操作する必要がなく、ハンズフリー通話の利点は損なわれない。

この発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

本発明の実施の形態に係る情報表示システムの構成図である。 情報表示制御装置と通信端末との連携動作を説明するための図である。 情報表示制御装置と通信端末との連携動作を説明するための図である。 通信端末からデータを受信したときの情報表示制御装置の動作を示すフローチャートである。 操作入力装置（タッチパネル）が操作されたときの情報表示制御装置の動作を示すフローチャートである。 通信端末でユーザへ通知するイベントが発生したときの、実施の形態１に係る情報表示制御装置の動作を説明するための図である。 通信端末でユーザへの通知が不要なイベントが発生したときの、実施の形態１に係る情報表示制御装置の動作を説明するための図である。 通信端末でイベントが発生したときの、実施の形態１に係る情報表示制御装置の画像表示動作を示すフローチャートである。 通信端末でイベントが発生している状態で操作入力部が操作されたときの、実施の形態１に係る情報表示制御装置の動作を示すフローチャートである。 合成画像の構成例を示す図である。 合成画像の構成例を示す図である。 合成画像の構成例を示す図である。 合成画像の構成例を示す図である。 合成画像の構成例を示す図である。 実施の形態２に係る情報表示制御装置の動作を説明するための図である。 実施の形態２に係る情報表示制御装置の動作を説明するための図である。 実施の形態２に係る情報表示制御装置の動作を示すフローチャートである。

＜実施の形態１＞
図１は、本発明に係る情報表示システムの構成図である。当該情報表示システムは、情報表示制御装置１０と、それに接続される画像表示装置２１、音声出力装置２２および操作入力装置２３と、情報表示制御装置１０と連携（リンク）可能な通信端末３０とを含んでいる。

情報表示制御装置１０は、画像表示装置２１に表示させる画像および音声出力装置２２に出力させる音声を制御する。操作入力装置２３は、ユーザが情報表示制御装置１０に対する操作、もしくは情報表示制御装置１０を介して通信端末３０をリモート操作するためのユーザインターフェイスである。情報表示制御装置１０が組み込まれる具体的な製品としては、例えば、カーナビゲーション装置、デジタルテレビ、テレビゲーム機などが考えられる。

画像表示装置２１、音声出力装置２２、操作入力装置２３は、情報表示制御装置１０に内蔵されていてもよいし、外付けのデバイスであってもよい。画像表示装置２１、音声出力装置２２および操作入力装置２３が外付けのデバイスの場合、それらと情報表示制御装置１０との間の接続（通信）は、それぞれ有線方式でも無線方式でもよい。

画像表示装置２１としては、液晶表示装置が代表的であるが、画像表示機能を有する任意の装置（例えば、テレビジョン表示装置、スマートフォン、タブレット端末、車両のインストルメントパネルの表示部、画面付きのゲームコントローラなど）を利用してもよい。音声出力装置２２は、スピーカやヘッドフォン等が一般的であるが、これも音声出力機能を有する任意の装置を利用してもよい。

操作入力装置２３は、基本的に情報表示制御装置１０の操作に用いられるが、情報表示制御装置１０が通信端末３０とリンクしている状態では、ユーザは、操作入力装置２３を介して通信端末３０をリモート操作することもできる。操作入力装置２３は、操作ボタン、操作スティック、キーボード、トラックパッド等のハードウェアでもよいし、画面に表示されるアイコンを用いたソフトウェアキーでもよい。操作入力装置２３としてのソフトウェアキーを画像表示装置２１に表示させる場合、画像表示装置２１と操作入力装置２３は、両者の機能を兼ね備えた１つのタッチパネルとしてもよい。

情報表示制御装置１０は、制御部１１、通信部１２、画像処理部１３、画像記憶部１４、音声処理部１５、通信端末情報解析部１６、通信端末制御部１７および記憶部１８を備えている。情報表示制御装置１０はコンピュータを用いて構成されており、情報表示制御装置１０の各要素は、コンピュータが、記憶部１８に記憶されている制御プログラム１８１に従って動作することにより実現される。なお、記憶部１８は、ハードディスク、リムーバブルディスク、メモリなどの記録媒体によって構成される。

制御部１１は、制御プログラム１８１に従って情報表示制御装置１０の全体を制御する機能を有する。また、制御部１１は、記憶部１８に記憶されている情報表示制御装置１０用のアプリケーションプログラム１８２を実行することもできる。

通信部１２は、情報表示制御装置１０が通信端末３０とリンクするのに必要な通信を行う機能を有し、通信端末３０との間で、画像データ、音声データ、制御命令など各種の情報をやりとりする。通信部１２と通信端末３０との間の通信方式は、例えばＵＳＢ（Universal Serial Bus）ケーブルやＬＡＮ（Local Area Network）ケーブルなどを用いる有線通信でもよいし、無線ＬＡＮやBluetooth（登録商標）などの無線通信でもよい。

画像処理部１３は、画像表示装置２１に画像を表示させるための画像信号を生成する機能を有している。特に、情報表示制御装置１０が通信端末３０とリンクした状態では、画像処理部１３は、通信端末３０で動作しているアプリケーションが出力する画像（アプリケーション画像）を、通信部１２を介して取得し、画像表示装置２１に表示させることができる。

画像記憶部１４は、情報表示制御装置１０が通信端末３０とリンクしている間、画像処理部１３が通信端末３０から取得したアプリケーション画像（スクリーンショット）を随時記憶する機能を有している。

また、画像処理部１３は、情報表示制御装置１０とリンクしている通信端末３０で所定のイベントが発生し、それによりアプリケーション画像の取得が中断される場合、画像処理部１３は、通信端末３０から当該イベントに係る操作画面の画像（イベント操作画像）を取得し、そのイベント操作画像と画像記憶部１４に記憶されているイベント発生直前のアプリケーション画像とを合成した合成画像を作成して、当該合成画像を画像表示装置２１に表示させる。

音声処理部１５は、音声出力装置２２に音声を出力させるための音声信号を生成する機能を有している。特に、情報表示制御装置１０が通信端末３０とリンクした状態では、音声処理部１５は、通信端末３０で動作しているアプリケーションが出力する音声を、通信部１２を介して取得し、音声出力装置２２から出力させることができる。さらに、通信端末３０で所定のイベントが発生した場合、音声処理部１５は、そのイベントの発生をユーザに通知する音声を音声出力装置２２から出力させることもできる。

通信端末情報解析部１６は、通信部１２を介して通信端末３０から取得した情報（データ）に基づき、通信端末３０の識別や状態判断を行う。通信端末情報解析部１６が通信端末３０から取得する情報としては、例えば、通信端末３０で実行中のアプリケーションの属性情報（アプリケーションの種別など）や、通信端末３０の属性情報（機種名、機能、電話番号、所有者名など）、各イベント（電話着信、メール着信、電池切れ、通信不可など）の発生情報等が挙げられる。

通信端末制御部１７は、通信部１２を介して通信端末３０へ各種の制御命令やデータを送信することにより、通信端末３０を制御する機能を有している。情報表示制御装置１０が通信端末３０とリンクした状態では、ユーザは、操作入力装置２３を用いて、画像表示装置２１に表示された通信端末３０の操作画面（通信端末３０で動作しているアプリケーションの操作画面や、通信端末３０で発生したイベントに対する操作画面）の画像に基づく操作を行うことができる。このユーザの操作内容は、通信端末制御部１７が通信端末３０に伝達し、通信端末３０がその操作内容に応じた動作を行う。その結果、操作入力装置２３を用いた通信端末３０のリモート操作が実現される。

通信端末３０は、情報表示制御装置１０とリンクするための通信機能を有している。スマートフォンや携帯電話などのように、通信網４１（通信端末３０が在圏するネットワーク）を介した遠端側通信装置４２との通信機能を有しても良い。また、通信端末３０は、通信端末３０用のアプリケーションを実行することによって、電話機能や、電子メール（Ｅメール）の送受信機能、インターネットの閲覧機能（ブラウザ機能）、ＧＰＳ（Global Positioning System）４３を利用して経路案内を行うナビゲーション機能などの様々な機能を発揮できてもよい。

通信端末３０の構成は、例えば一般的なスマートフォンと同様でよいため詳細な説明は省略するが、図１では、本発明と特に関係する表示部３１、操作部３２、制御部３３および通信部３４を図示している。

表示部３１は、通信端末３０で実行中のアプリケーションの画像を表示したり、イベント発生時には当該イベントの通知画面や操作画面の画像を表示したりする。操作部３２は、通信端末３０のユーザインターフェイスであり、ユーザは、操作部３２を用いてアプリケーションやイベントに対する操作を行うことができる。制御部３３は、通信端末３０用の制御プログラムを実行することで、通信端末３０の基本的な機能（通信機能や通話機能など）の制御を行うと共に、各種のアプリケーションを実行することにより、上記した様々な機能を通信端末３０に発揮させることができる。通信部３４は、情報表示制御装置１０とリンクするための通信を行うが、通信網４１を介した遠端側通信装置４２との通信にも用いられてもよい。

次に、実施の形態１に係る情報表示システムの動作を説明する。以下の説明では、情報表示制御装置１０、画像表示装置２１、音声出力装置２２および操作入力装置２３はいずれも車載装置であり、通信端末３０はスマートフォンであると仮定する。また、画像表示装置２１と操作入力装置２３は、一つのタッチパネル（後述の「タッチパネル装置２１２」）として構成されているものとする。同様に、通信端末３０の表示部３１および操作部３２も、一つのタッチパネル（後述の「タッチパネル部３１２」）として構成されているものとする。

また、以下の説明では、通信端末３０用アプリケーションとして、経路案内を行うナビゲーション用アプリケーションを例示し、通信端末３０に発生するイベントとして、電話着信を例示する。但し、本発明の適用は、そのアプリケーションとイベントの組み合わせに限定されるものではない。例えば、通信端末３０用アプリケーションは、ブラウザや画像ビューワや動画再生アプリケーションなどでもよく、通信端末３０に発生するイベントとしては、Ｅメール着信などでもよい。

まず、情報表示制御装置１０と通信端末３０との連携（リンク）機能の概要を説明する。情報表示制御装置１０と通信端末３０とが有線または無線により物理接続され、双方の通信によってリンクが確立すると、図２に示すように、情報表示制御装置１０に接続したタッチパネル装置２１２（画像表示装置２１）に、通信端末３０のタッチパネル部３１２（表示部３１）と同じ画像が表示される。また、情報表示制御装置１０に接続した音声出力装置２２には、通信端末３０が出力するものと同じ音声が出力される。

情報表示制御装置１０と通信端末３０とがリンクしている間、通信端末３０が出力する画像や音声などのデータは情報表示制御装置１０へ送信され、情報表示制御装置１０は当該データをタッチパネル装置２１２および音声出力装置２２を用いて出力することができる。

さらに、ユーザは、情報表示制御装置１０と通信端末３０とがリンクしている間、タッチパネル装置２１２（操作入力装置２３）を操作することによって、通信端末３０のタッチパネル部３１２（操作部３２）を操作するのと同じ感覚で、通信端末３０をリモート操作することができる。なお、リンクが確立している間も通信端末３０のタッチパネル部３１２の操作は禁止されず、通信端末３０は、タッチパネル部３１２からもタッチパネル装置２１２からも操作可能な状態になる。

例えば、図２に示した状態から、ユーザがタッチパネル装置２１２に表示された「ナビゲーション」のアイコンにタッチすると、通信端末３０のタッチパネル部３１２を操作したときと同じように、通信端末３０でナビゲーション用アプリケーションが起動する。すると、図３のように、通信端末３０のタッチパネル部３１２に当該アプリケーションの画像（ここでは地図）が表示され、それと共に、タッチパネル装置２１２にも通信端末３０のタッチパネル部３１２と同じ画像が表示される。また、当該アプリケーションが、例えば経路案内のための音声を出力すると、その音声が情報表示制御装置１０に接続された音声出力装置２２から出力される。

このように、情報表示制御装置１０と通信端末３０とがリンクした状態では、情報表示制御装置１０と通信端末３０とが互いに連携した動作を行う。

以下では、情報表示制御装置１０における通信端末３０との連携動作の詳細を説明する。

まず、リンク中の通信端末３０からデータを受信した場合における、情報表示制御装置１０の動作を説明する。図４はその動作を示すフローチャートである。

情報表示制御装置１０の通信部１２は、リンク中の通信端末３０から送信されたデータを受信すると（ステップＳ１０１）、受信したデータの種類を確認する（ステップＳ１０２）。

受信したデータが画像のデータであれば（ステップＳ１０３でＹＥＳ）、通信部１２は、その画像（データ）を画像処理部１３へと送る（ステップＳ１０４）。画像処理部１３は、当該画像を画像記憶部１４に記憶させると共に（ステップＳ１０５）、その画像を画像表示装置２１としてのタッチパネル装置２１２に表示させる（ステップＳ１０６）。

また、受信したデータが音声のデータであれば（ステップＳ１０３でＮＯ、且つ、ステップＳ１０７でＹＥＳ）、その音声（データ）を音声処理部１５へと送る（ステップＳ１０８）。音声処理部１５は、当該音声を音声出力装置２２から出力させる（ステップＳ１０９）。

一方、受信したデータが画像でも音声でもなく、通信端末３０で実行中のアプリケーションの属性情報、通信端末３０の属性情報、通信端末３０の各イベントの発生情報などであれば（ステップＳ１０３でＮＯ、且つ、ステップＳ１０７でＮＯ）、通信部１２は、その情報（データ）を通信端末情報解析部１６へと送る（ステップＳ１１０）。通信端末情報解析部１６は、それらの情報を解析し、その結果を制御部１１へ送る（ステップＳ１１１）。それにより、制御部１１は、通信端末３０の状況に応じた情報表示制御装置１０の制御を行うことができる。

次に、通信端末３０とのリンク中にユーザが操作入力装置２３を操作した場合における、情報表示制御装置１０の動作を説明する。図５は、その動作を示すフローチャートである。

ユーザにより操作入力装置２３の操作が行われると、操作入力装置２３はその操作を情報表示制御装置１０の制御部１１に通知し（ステップＳ２０１）、制御部１１がその操作の内容を確認する（ステップＳ２０２）。

当該操作が、通信端末３０の制御が必要となる操作であれば（ステップＳ２０３でＹＥＳ）、制御部１１は、その操作に対応する制御命令を通信端末制御部１７へと送る（ステップＳ２０４）。通信端末制御部１７は、その制御命令を、通信端末３０が認識可能なフォーマットに変換して通信部１２へ渡す（ステップＳ２０５）。通信部１２は、フォーマット変換された制御命令を通信端末３０へ送信する（ステップＳ２０６）。

また、当該操作が、通信端末３０へのデータ送信が必要となる操作であれば（ステップＳ２０３でＮＯ、且つ、ステップＳ２０７でＹＥＳ）、制御部１１は、通信端末３０へ送信するデータを通信端末制御部１７へと送る（ステップＳ２０８）。通信端末制御部１７は、そのデータを、通信端末３０が認識可能なフォーマットに変換して通信部１２へ渡す（ステップＳ２０９）。通信部１２は、フォーマット変換されたデータを通信端末３０へ送信する（ステップＳ２１０）。

一方、当該操作が、その他の操作であれば（ステップＳ２０３でＮＯ、且つ、ステップＳ２０７でＮＯ）、その操作の対象は通信端末３０ではなく情報表示制御装置１０であるので、制御部１１は、当該操作により入力された情報を、制御プログラム１８１およびアプリケーションプログラム１８２の処理に利用する（ステップＳ２１１）。それにより、情報表示制御装置１０は、ユーザの操作に基づく動作を行うこととなる。

次に、通信端末３０とのリンク中に、通信端末３０で所定のイベントが発生した場合における情報表示制御装置１０の動作を説明する。

情報表示制御装置１０は、リンク中の通信端末３０で所定のイベントが発生すると、通信端末３０で動作しているアプリケーションの画像の表示を継続しつつ、当該イベントに係る操作画面の画像（イベント操作画像）をタッチパネル装置２１２に表示させる。つまり、通信端末３０のアプリケーション画像とイベント操作画像とを合成した合成画像を、タッチパネル装置２１２に表示させる。

例えば、情報表示制御装置１０と通信端末３０とがリンクしており、図３に示したようにタッチパネル装置２１２と通信端末３０のタッチパネル部３１２に、通信端末３０のアプリケーションの画像（地図）が表示されている状態を仮定する。

その状態から、通信端末３０で電話着信のイベントが発生すると、図６のように、通信端末３０のタッチパネル部３１２には、電話着信に係る操作画面（着信画面）の画像が表示される。ここでは、着信画面の画像として、発信者の名前および電話番号を表す文字と「通話開始」および「保留」の操作ボタン（アイコン）とからなる画像を例示している。

通信端末３０に電話着信があると、情報表示制御装置１０は、通信端末３０からイベント操作画像（着信画面の画像）を取得し、図６のように、アプリケーション画像とイベント操作画像とを合成して、タッチパネル装置２１２に表示させる。但し、通信端末３０からのアプリケーション画像の送信は電話着信により中断されるため、合成画像に含ませるアプリケーション画像には、電話着信の直前に通信端末３０から通信部１２が受信して画像記憶部１４に記憶されたアプリケーション画像（スクリーンショット）を用いる。図６では、タッチパネル装置２１２の画面に、アプリケーション画像（地図）とイベント操作画像（着信画面の画像）とが左右に並べて表示される例を示している。

ユーザは、タッチパネル装置２１２に表示されているイベント操作画像にタッチすることにより、通信端末３０のリモート操作が可能である。例えば図６の状態で、ユーザがタッチパネル装置２１２に表示されたイベント操作画像の「通話開始」ボタンにタッチすると、通信端末３０を用いたハンズフリー通話を開始させることができる。

このように、タッチパネル装置２１２に通信端末３０のイベントに係る操作画面の画像と同じ画像を表示させ、情報表示制御装置１０がそのイベント操作画像に対する操作を受け付けることで、タッチパネル装置２１２の画面からアプリケーション画像を消さずタッチパネル装置２１２を介した通信端末３０の操作性をイベント開始前（図３の状態）と同様に確保できる。

ところで、通信端末３０で発生するイベントの中には、ユーザへの通知が不要なものもある。例えば、アプリケーションのアップデート情報の受信など、緊急性の低いものはユーザに通知する必要性も低い。また電話着信のイベントの中にも、特定の発信者からの電話着信や、発信者番号非通知の電話着信は、ユーザが通知の拒否を希望することが考えられる。

そこで、実施の形態１では、ユーザへの通知が不要なものとして予め定められた特定のイベントが発生した場合には、情報表示制御装置１０がそのイベントに係るイベント操作画像は表示させないように構成されている。

例えば図３の状態から、ユーザへの通知が不要と予め定められた発信者番号非通知の電話着信が発生した場合、情報表示制御装置１０は、図７のように、通信端末３０のタッチパネル部３１２に表示されたイベント操作画像（着信画面の画像）をタッチパネル装置２１２には表示させず、タッチパネル装置２１２にはアプリケーション画像を継続して表示させる。この場合も、通信端末３０からのアプリケーション画像の送信は、電話着信により中断されるため、タッチパネル装置２１２には、電話着信の直前に通信端末３０から通信部１２が受信したアプリケーション画像を表示させる。これにより、ユーザへの通知が不要なイベントの発生によって、タッチパネル装置２１２の画面からアプリケーション画像の全部または一部が消えることが防止され、利便性の低下が抑えられる。

なお、どのイベントの通知を必要とするか（又は、どのイベントの通知を必要としないか）は、ユーザが任意に設定できるようにするとよい。

図８は、通信端末３０とのリンク中に、通信端末３０でイベントが発生した場合における情報表示制御装置１０の画像表示動作を示すフローチャートである。

情報表示制御装置１０と通信端末３０とがリンクしているときに、通信端末３０でイベントが発生すると、そのイベントの発生情報（以下「イベント情報」）が通信端末３０から情報表示制御装置１０へと送信される。通信端末３０が送信するイベント情報には、イベントの発生時に送信される開始通知と、イベントの終了時に送信される終了通知とが含まれる。

情報表示制御装置１０の通信部１２がイベント情報を受信すると（ステップＳ３０１）、通信部１２はそのイベント情報を通信端末情報解析部１６へ送る（ステップＳ３０２）。通信端末情報解析部１６は、制御部１１の内部に保存されているイベントに関するフラグ（条件判定処理の結果を保存するためのデータ）をクリアし（ステップＳ３０３）、そのイベント情報を解析する（ステップＳ３０４）。

解析の結果、イベント情報が、ユーザに通知するイベントの開始通知であった場合（ステップＳ３０５でＹＥＳ）、通信端末情報解析部１６は、制御部１１内部に保存されているイベントフラグをセットする（ステップＳ３０６）。イベント情報が、イベントの終了通知であった場合（ステップＳ３０５でＮＯ、且つ、ステップＳ３０７でＹＥＳ）、フラグはセットされない。イベント情報が、ユーザに通知するイベントの開始通知でもイベントの終了通知でもなかった場合（ステップＳ３０５でＮＯ、且つ、ステップＳ３０７でＮＯ）、通信端末情報解析部１６は、制御部１１に保存されている読み捨てフラグをセットする（ステップＳ３０８）。

その後、通信端末３０からの画像（データ）を通信部１２が受信すると（ステップＳ３０９）、通信部１２は受信した画像を画像処理部１３に送り（ステップＳ３１０）、制御部１１がイベントフラグおよび読み捨てフラグの状態を確認する（ステップＳ３１１）。そして、画像処理部１３が、イベントフラグおよび読み捨てフラグの状態に応じて、取得した画像を利用して画像表示装置２１（タッチパネル装置２１２）に表示させる画像を生成する。

通信端末３０から受信したイベント情報が、ユーザに通知するイベントの開始通知であった場合、すなわち、イベントフラグがセット状態の場合は（ステップＳ３１２でＹＥＳ）、画像処理部１３は、画像記憶部１４に記憶されている画像（記憶画像）の加工処理（ステップＳ３１３）と、通信部１２から受信した画像（受信画像）の加工処理（ステップＳ３１４）とを行い、加工処理後の記憶画像と受信画像とを合成した合成画像を生成する（ステップＳ３１５）。このケースは、イベント発生中の状態なので、受信画像はイベント操作画像である。また、記憶画像はイベント発生直前における通信端末３０のアプリケーション画像である。画像処理部１３は、生成した合成画像を、画像表示装置２１に表示させて（ステップＳ３１６）、処理を終了する。その結果、画像表示装置２１（タッチパネル装置２１２）には、図６のようにアプリケーション画像とイベント操作画像の両方が表示される。

図６のように記憶画像（アプリケーション画像）と受信画像（イベント操作画像）を並べて表示させる場合、記憶画像の加工処理（ステップＳ３１３）および受信画像の加工処理（ステップＳ３１４）では、アプリケーション画像およびイベント操作画像に、サイズ調整（拡大または縮小）やトリミングなどが必要に応じて行われる。また、合成画像の生成処理（ステップＳ３１５）では、加工処理後の記憶画像と受信画像とを左右または上下に並べた合成画像が生成される。

一方、通信端末３０から受信したイベント情報が、ユーザに通知するイベントの開始通知でもイベントの終了通知でもなかった場合、すなわち、読み捨てフラグがセット状態の場合は（ステップＳ３１２でＮＯ、ステップＳ３１７でＹＥＳ）、ユーザに通知しないイベントが発生中の状態なので、画像処理部１３は、画像表示装置２１（タッチパネル装置２１２）に現在表示中の画像（イベント発生直前における通信端末３０のアプリケーション画像）を表示させたまま処理を終了する。このとき画像処理部１３は、イベント発生直前のアプリケーション画像の表示を維持するために、画像記憶部１４に記憶されている記憶画像（アプリケーション画像）を画像表示装置２１に表示させてもよい。その結果、画像表示装置２１としてのタッチパネル装置２１２には、図７のように、通信端末３０の表示部３１に表示されているイベント操作画像を含まない、アプリケーション画像が継続して表示される。

通信端末３０から受信したイベント情報が、イベントの終了通知であった場合、すなわち、イベントフラグも読み捨てフラグもセットされていない場合は（ステップＳ３１２でＮＯ、且つ、ステップＳ３１７でＮＯ）、受信画像を画像表示装置２１に表示させて（ステップＳ３１８）、処理を終了する。このケースは、イベントの終了後の状態なので、受信画像は通信部１２を介して取得した通信端末３０のアプリケーション画像である。その結果、画像表示装置２１（タッチパネル装置２１２）の表示は、図３のように、通信端末３０の表示部３１（タッチパネル部３１２）と同じアプリケーション画像となる。

図９は、通信端末３０でのイベント発生により、画像表示装置２１に通信端末３０のイベント操作画像とアプリケーション画像との合成画像が表示されているときに、ユーザが操作入力装置２３（タッチパネル装置２１２）を用いてイベント操作画像に基づく操作をした場合における、情報表示制御装置１０の動作を示すフローチャートである。

図９のフローチャートは、ステップＳ２１１が省略されていることを除いて、図５と同じである。イベント操作画像に対する操作は、原則として通信端末３０に対する操作であるので、当該操作が、通信端末３０の制御が必要となる操作でもなく、通信端末３０へのデータ送信が必要となる操作でもない場合（ステップＳ２０３でＮＯ、且つ、ステップＳ２０７でＮＯ）は、何も行わずに処理を終了する。それ以外の処理については、図５と同じであるので説明は省略する。なお、操作の対象がイベント操作画像以外の場合には、図５の処理が行われる。

所定のイベント発生時に画像表示装置２１（タッチパネル装置２１２）に表示させる画像の例として、図６ではアプリケーション画像（記憶画像）とイベント操作画像（受信画像）とを左右に並べた合成画像を示したが、合成画像の構成はこれに限定されるものではない。以下では、合成画像の幾つかの構成例を示す。

例えば、図１０のように、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示させてもよい。この場合、受信画像の加工処理（ステップＳ３１４）でイベント操作画像のサイズ調整やトリミングが必要に応じて行われるが、記憶画像の加工処理（ステップＳ３１３）は省略してもよい。合成画像の生成処理（ステップＳ３１５）では、アプリケーション画像の一部にイベント操作画像を重ねた合成画像が生成される。この場合、イベント操作画像の表示領域以外の全てがアプリケーション画像の表示領域となるので、両者を並べて配置する場合よりもアプリケーション画像の表示領域が広くなり、アプリケーション画像が見やすくなる。

また、図１１のように、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示する際に、イベント操作画像を回転させてもよい。この場合、受信画像の加工処理（ステップＳ３１４）では、イベント操作画像のサイズ調整、トリミングおよび回転処理が必要に応じて行われるが、記憶画像の加工処理（ステップＳ３１３）は省略してもよい。合成画像の生成処理（ステップＳ３１５）では、アプリケーション画像の一部に回転処理されたイベント操作画像を重ねた合成画像が生成される。例えば横長のイベント操作画像を図１１のように９０度回転させると、イベント操作画像の文字が横向きになるが、イベント操作画像を合成画像の端に寄せることができ、アプリケーション画像が見やすくなる。図６のようにアプリケーション画像とイベント操作画像とを並べて合成画像を生成する場合にも、イベント操作画像に回転処理を行ってもよい。

また、図１２のように、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示する際に、イベント操作画像を立体化（３Ｄ化）してもよい。この場合、受信画像の加工処理（ステップＳ３１４）では、イベント操作画像のサイズ調整、トリミングおよび３Ｄ化処理が必要に応じて行われるが、記憶画像の加工処理（ステップＳ３１３）は省略してもよい。合成画像の生成処理（ステップＳ３１５）では、アプリケーション画像の一部に３Ｄ化されたイベント操作画像を重ねた合成画像が生成される。イベント操作画像を３Ｄ化することで、イベント操作画像の表示を目立たせることができ、イベント操作画像を縮小化した場合でも、その視認性を確保できる。アプリケーション画像とイベント操作画像とを並べて合成画像を生成する場合にも、イベント操作画像を３Ｄ化してもよい。

また、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示する際に、イベント操作画像を透過加工してもよい。この場合、受信画像の加工処理（ステップＳ３１４）では、イベント操作画像のサイズ調整、トリミングおよび透過処理が必要に応じて行われるが、記憶画像の加工処理（ステップＳ３１３）は省略してもよい。合成画像の生成処理（ステップＳ３１５）では、アプリケーション画像の一部に透過処理されたイベント操作画像を重ねた合成画像が生成される。この場合、イベント操作画像が重なった部分のアプリケーション画像も見えるため、アプリケーション画像の視認性を向上できる。

また、図１３のように、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示する際に、イベント操作画像の構成（例えばスタイルやレイアウト）を変更してもよい。この場合、受信画像の加工処理（ステップＳ３１４）では、受信画像の解析を行って、それに含まれる文字やボタン（アイコン）の位置、大きさ、スタイル（文字のフォントを含む）等を抽出し、それらに変更を加える処理が行われる。記憶画像の加工処理（ステップＳ３１３）は省略してもよい。合成画像の生成処理（ステップＳ３１５）では、アプリケーション画像の一部に構成が変更されたイベント操作画像を重ねた合成画像が生成される。

イベント操作画像の構成を変更することによって、イベント操作画像の表示を目立たせることができる他、イベント操作画像の操作性を向上させることもできる。例えば、図１３の例では、使用頻度の高い「通話開始」ボタンを大きくし、使用頻度の低い「保留」ボタンを小さくしている。また、「通話開始」および「保留」ボタンを３Ｄ化して目立たせている。さらに、横長のイベント操作画像を縦長に加工して、アプリケーション画像を見やすくしている。アプリケーション画像とイベント操作画像とを並べて合成画像を生成する場合にも、イベント操作画像の構成を変更してもよい。

また、アプリケーション画像（記憶画像）の一部にイベント操作画像（受信画像）を重ねて表示する際に、アプリケーション画像の方を加工処理してもよい。例えば図１４のように、アプリケーション画像を暗くする（明るさを下げる）ことで、相対的にイベント操作画像を目立たせることができる。この場合、記憶画像の加工処理（ステップＳ３１３）でアプリケーション画像の明るさ調整が行われる。

受信画像の加工処理（ステップＳ３１４）では、イベント操作画像のサイズ調整、トリミングの他、上記した３Ｄ化処理、回転処理、透過処理、構成の変更処理などが行われてもよい。また、イベント操作画像の明るさを高めることでも、アプリケーション画像を暗くするのと同様に、相対的にイベント操作画像を目立たせることができる。

アプリケーション画像とイベント操作画像とを並べて合成画像を生成する場合にも、加工処理したアプリケーション画像を使用してもよい。また、アプリケーション画像の加工処理は、明るさ調整に限らず、サイズ調整、トリミング、３Ｄ化処理、回転処理、透過処理、構成の変更処理などでもよい。

＜実施の形態２＞
実施の形態２では、タッチパネル装置２１２に表示中のイベント操作画像（受信画像）のサイズおよび位置（レイアウト）を、ユーザの操作により変更可能にする。つまり、ユーザが、表示中のイベント操作画像の縮小・拡大・移動をできるようにする。

例えば、通信端末３０で所定のイベント（電話着信）が発生し、図１５のようにアプリケーション画像にイベント操作画像を重ねた合成画像が表示されている状態を仮定する。この状態で、ユーザがイベント操作画像を指で触れ、所定のジェスチャーを行うことで、図１６のようにイベント操作画像のサイズや表示位置を変更することができる。

ユーザが、イベント操作画像のサイズと位置を変更することで、アプリケーション画像をより見やすくできる。例えば図１５の状態では、アプリケーション画像である地図の中央に表示されている現在位置が、イベント操作画像で隠れているが、図１６のようにイベント操作画像を縮小・移動させることで、現在位置を視認できるようになる。

図１７は、実施の形態２に係る情報表示制御装置の動作を示すフローチャートである。具体的には、タッチパネル装置２１２にアプリケーション画像（記憶画像）と通信端末３０のイベント操作画像（受信画像）との合成画像が表示されているときに、ユーザがタッチパネル装置２１２を用いてイベント操作画像を操作した場合における、情報表示制御装置１０の動作を示している。すなわち、図１７は、実施の形態１における図９のフローチャートに対応している。

図１７のフローチャートのステップＳ２０１〜Ｓ２１０は、図９と同じであるので説明は省略する。

実施の形態２では、ユーザによるイベント操作画像の操作が、通信端末３０の制御が必要となる操作でもなく、通信端末３０へのデータ送信が必要となる操作でもない場合（ステップＳ２０３でＮＯ、且つ、ステップＳ２０７でＮＯ）、制御部１１がイベントフラグおよび読み捨てフラグを確認し（ステップＳ２２０）、画像処理部１３は、イベントフラグおよび読み捨てフラグの状態に応じて以下の処理を行う。

イベントフラグがセット状態の場合（ステップＳ２２１でＹＥＳ）、情報表示制御装置１０は、タッチパネル装置２１２に表示中のイベント操作画像のサイズおよび位置を変更する操作が行われたと判断する。この場合、画像処理部１３は、ユーザのジェスチャーに基づいて受信画像（イベント操作画像）の新たな位置およびサイズを決定し（ステップＳ２２２）、イベント操作画像を決定したサイズにする加工処理を行う（ステップＳ２２３）。そして、記憶画像（アプリケーション画像）と加工処理後の受信画像（イベント操作画像）とを合成して合成画像を生成し（ステップＳ２２４）、それをタッチパネル装置２１２（画像表示装置２１）に表示させる（ステップＳ２２５）。

読み捨てフラグがセット状態の場合は（ステップＳ２２１でＮＯ、ステップＳ２２６でＹＥＳ）、ユーザに通知しないイベントの発生中であり、記憶画像であるアプリケーション画像が表示された状態であるので、タッチパネル装置２１２に現在表示中のアプリケーション画像を表示させたまま処理を終了する。

イベントフラグも読み捨てフラグもセットされていない場合は（ステップＳ２２１でＮＯ、且つ、ステップＳ２２６でＮＯ）、イベント操作画像が表示されておらず、且つ、通信端末３０からアプリケーション画像を受信可能な状態なので、受信画像（アプリケーション画像）をタッチパネル装置２１２に表示させて処理を終了する（ステップＳ２２７）。

本実施の形態では、イベント操作画像のサイズおよびレイアウトを変更する例を示したが、アプリケーション画像のサイズおよびレイアウトも、同様にユーザのジェスチャーにより変更できるようにしてもよい。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 情報表示制御装置、１１ 制御部、１２ 通信部、１３ 画像処理部、１４ 画像記憶部、１５ 音声処理部、１６ 通信端末情報解析部、１７ 通信端末制御部、１８ 記憶部、２１ 画像表示装置、２２ 音声出力装置、２３ 操作入力装置、３０ 通信端末、３１ 表示部、３２ 操作部、３３ 制御部、４１ 通信網、４２ 遠端側通信装置、４３ ＧＰＳ、１８１ 制御プログラム、１８２ アプリケーションプログラム、２１２ タッチパネル装置、３１２ タッチパネル部。

本発明に係る情報表示制御装置は、通信端末との通信を行う通信部と、通信端末で動作しているアプリケーションの画像を通信部を介して取得し、当該アプリケーションの画像を表示装置に表示させる画像処理部と、画像処理部が取得したアプリケーションの画像を記憶する画像記憶部と、表示装置に表示された画像に基づくユーザの操作を通信部を介して通信端末へ伝達することにより、通信端末を制御する通信端末制御部と、を備え、画像処理部は、通信端末で発生したイベントによりアプリケーションの画像の取得が中断される場合、通信端末からイベントに係る操作画面の画像を取得し、イベントに係る操作画面の画像と画像記憶部に記憶されているアプリケーションの画像との合成画像を表示装置に表示させ、画像処理部は、合成画像を生成する際、イベントに係る操作画面の画像を縮小する加工処理を施して、合成画像の一部分にイベントに係る操作画面を配置するものである。

Claims (11)

1. 通信端末との通信を行う通信部と、
   前記通信端末で動作しているアプリケーションの画像を前記通信部を介して取得し、当該アプリケーションの画像を表示装置に表示させる画像処理部と、
   前記画像処理部が取得した前記アプリケーションの画像を記憶する画像記憶部と、
   前記表示装置に表示された画像に基づくユーザの操作を前記通信部を介して前記通信端末へ伝達することにより、前記通信端末を制御する通信端末制御部と、
   を備え、
   前記画像処理部は、前記通信端末で発生したイベントにより前記アプリケーションの画像の取得が中断される場合、前記通信端末から前記イベントに係る操作画面の画像を取得し、前記イベントに係る操作画面の画像と前記画像記憶部に記憶されている前記アプリケーションの画像との合成画像を前記表示装置に表示させる
   ことを特徴とする情報表示制御装置。
2. 前記合成画像は、前記イベントに係る操作画面の画像と前記アプリケーションの画像とを並べて配置した画像である
   請求項１記載の情報表示制御装置。
3. 前記合成画像は、前記イベントに係る操作画面の画像と前記アプリケーションの画像とを重ねて配置した画像である
   請求項１記載の情報表示制御装置。
4. 前記画像処理部は、前記合成画像を生成する際、前記イベントに係る操作画面の画像および前記アプリケーションの画像の少なくとも片方に、表示態様を変更する加工処理を施す
   請求項１記載の情報表示制御装置。
5. 前記加工処理は、拡大、縮小、トリミング、回転、透過、３Ｄ化、明るさ変更のいずれか１以上の処理を含む
   請求項４記載の情報表示制御装置。
6. 前記画像処理部は、前記合成画像を生成する際、前記イベントに係る操作画面の画像に、当該操作画面の構成を変更する加工処理を施す
   請求項１記載の情報表示制御装置。
7. 前記加工処理は、前記イベントに係る操作画面に含まれる文字およびアイコンのスタイルおよびレイアウトを変更する処理を含む
   請求項６記載の情報表示制御装置。
8. 前記画像処理部は、ユーザの操作に応じて、表示中の前記合成画像における前記イベントに係る操作画面の画像および前記アプリケーションの画像のサイズおよびレイアウトを変更する
   請求項１記載の情報表示制御装置。
9. 前記画像処理部は、予め定められた特定のイベントが発生したことによって前記アプリケーションの画像の取得が中断される場合は、当該イベントの発生を示す画像を含まない前記画像記憶部に記憶されている前記アプリケーションの画像を前記表示装置に表示させる
   請求項１記載の情報表示制御装置。
10. 前記通信端末は電話機能または電子メール送受信機能を有し、
    前記合成画像に含ませる前記操作画面の画像に対応する前記イベントは、前記通信端末への電話着信または電子メール着信を含む
    請求項１記載の情報表示制御装置。
11. 前記アプリケーションは、経路案内を行うナビゲーション用のアプリケーションを含む
    請求項１記載の情報表示制御装置。

Images