JP6289038B2 - 表示制御装置、方法及びプログラム - Google Patents

Description

本発明は、表示制御装置、方法及びプログラムに関し、より具体的には、外部表示装置に画像を送信し、表示画像上の任意の位置／範囲を指示する手段を提供する表示制御装置、方法及びプログラムに関する。

プロジェクタを利用したプレゼンテーションでは、パーソナルコンピュータ（ＰＣ）上の画像をプロジェクタに送信して表示させることが一般的であった。しかし、スマートフォンやタブレット端末に代表される携帯端末の性能向上と多機能化に伴い、携帯端末からプロジェクタに画像を送信して画像をスクリーンに投影させるプレゼンテーションが増えてきた。

プレゼンテーションの場合、発表者は、表示画像の任意の位置又は範囲を注目箇所として聴衆に指し示したいときがあり、そのための手段として、例えば、レーザポインタがある。

ＰＣを使用する場合、発表者とＰＣのスライド表示画面を変更する作業者が別であることが多かった。そのため、発表者は画面と視聴者に注目しながら、プレゼンテーションにおいて発表者が最も説明したいポイントとなるところをレーザーポインタなどで指し示すことで、適切な説明を行うことができた。ただし、発表者は、スライドを送るタイミングをＰＣの作業者に適切に伝達する必要がある。

他方、手持ちできる程の携帯端末を使用する場合、発表者が自分で携帯端末を持ちながらプレゼンテーションを行うことが可能となる。特に、タッチパネル及び表示部を有する携帯端末を使用する場合、発表者は手元の携帯端末の表示部に表示される画像で投影画像を視覚的に確認でき、タッチパネルの操作で投影画像を変更できる。発表者自身が任意のタイミングでプレゼンテーション表示のタイミングを制御できるので、より効果的なプレゼンテーションが期待できる。

特許文献１には、小型携帯端末を用いたプレゼンテーションシステムにおいて、ユーザの指示に応じて、ポインティングカーソルをオン／オフすることが記載されている。つまり、プレゼンテーション時に、ポインティングカーソルをオン設定することで、発表者は、投影画像の注目点をポインティングカーソルによって参加者に指し示すことができる。

特許第４０４４２５５号公報

不要なカーソルを投影画像上に表示したままにするのは、見映え上好ましくない。特許文献１に記載の技術では、発表者自身は、カーソル表示のオン／オフを切り替え操作しなければならない。タッチパネルの場合、メニュー内にポインティングカーソルのオン／オフの設定を準備することになるが、携帯端末の画面上の位置を視覚的に確認して操作する必要があり、スムーズな発表を妨げる。

レーザポインタを使うにしても、携帯端末を手に持った状態で更にレーザポインタを手に持って所望の部分を指し示すのは、両手に物を持つことになり、色々な操作が難しく、面倒になる。ある程度以上のサイズのタブレット端末の場合、困難さが増す。

注目部分を指し示すようにした画像を予め用意しておく方法もあるが、発表の場で投影画像の任意箇所を注目させたい場合がありうる。

携帯端末の場合、携帯端末自体で表示される画像が一般にかなり小さいことから、タッチパネルへの指等の操作でカーソルを移動操作することで希望範囲を適切に指し示すことが難しい。

本発明は、このような操作性の問題を改善する表示制御装置、方法及びプログラム並びに記録媒体を提示することを目的とする。

本発明に係る表示制御装置は、外部表示装置と通信する通信手段と、画像生成手段と、前記画像生成手段によって生成される画像を表示する表示手段及びユーザ操作を受け付けるタッチパネルを具備するタッチパネル表示部と、複数の操作釦を含む操作用ＧＵＩを生成するＧＵＩ生成手段と、前記画像生成手段によって生成される画像の、ユーザが指定する位置に重畳すべきポインタを生成する生成手段と、前記タッチパネルへのユーザ操作を受け付けたことに応じて、前記画像生成手段によって生成される画像に前記操作用ＧＵＩを重畳して表示し、前記操作用ＧＵＩが表示されている状態での前記タッチパネルへのユーザ操作に応じて前記操作用ＧＵＩへのタッチであるか否かを判別し、前記操作用ＧＵＩへのタッチである場合に、当該操作用ＧＵＩに含まれる操作釦に対応した制御を行い、前記操作用ＧＵＩへのタッチでない場合に、前記画像生成手段によって生成される画像に前記ポインタを重畳した合成画像を前記外部表示装置に送信するように前記通信手段を制御するとともに、前記タッチパネル表示部には、前記ポインタを重畳することなく前記画像生成手段によって生成された画像を表示するように制御し、前記制御手段は、前記操作用ＧＵＩが表示された後、前記タッチパネルへの操作が最後にされた時間からの所定の時間が経過した場合には、前記操作用ＧＵＩの表示を停止するする制御手段とを具備することを特徴とする。

本発明によれば、携帯端末を利用したプレゼンテーションシステムにおいて、発表者が聴衆に対して注目してほしい情報を容易に提示又は指示する機能を実現できる。

本発明の一実施例の概略構成図である。 本実施例を構成する携帯端末とプロジェクタいの概略構成ブロック図である。 本実施例の動作フローチャートである。 ＶＲＡＭ上のフレームバッファ構成図である。 表示画像と送信画像の模式図である。 本実施例の別の動作フローチャートである。 図６に示す動作での表示画像例である。 本実施例の更に別の動作フローチャートである。 図８に示す動作での表示画像例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、携帯端末から投影装置に画像を送信するシステムの本発明の一実施例の概略構成ブロック図を示し、図２は、図１に示すシステムの投影装置及び携帯端末の概略構成ブロック図を示す。

図１では、携帯端末１００が、通信ネットワーク１５０および無線ＬＡＮアクセスポイント１６０からなるＬＡＮを経由してプロジェクタ２００に画像データを送信する。プロジェクタ２００は、携帯端末１００から送信された画像データの画像をスクリーンに投影する。通信ネットワーク１５０は、ＩＥＥＥ８０２．３で規定されるイーサーネット（登録商標）ケーブルを利用したＩＰネットワークである。プロジェクタ２００は、携帯端末１００が画像情報を送信する相手となる外部表示装置の一例である。

通信ネットワーク１５０は具体的には、ＩＥＥＥ８０２．３で規定されるイーサーネットケーブルとＩＥＥＥ８０２．１１系で規定されるワイヤレスネットワークからなってもよく、これら以外であっても良い。

携帯端末１００の構成と主要な機能を説明する。ＣＰＵ１０８は、携帯端末１００の全体を制御する。ＣＰＵ１０８は、ＲＯＭ１０４に記録されたブートプログラムに従って動作し、不揮発記録媒体１０５に記録されているＯＳ（オペレーティングシステム）をＲＡＭ１０３に展開して起動する。ＣＰＵ１０８上で動作するＯＳは、グラフィックアクセラレータ１０７によって、タッチパネル表示部１０１に表示すべき画像の画像データをＶＲＡＭ１０６に展開する。この点で、ＣＰＵ１０８又はＯＳは、画像生成手段を構成する。ＶＲＡＭ１０６とＲＡＭ１０３は、速度が十分に速ければ同じハードウエアを共用する構成であっても良い。

表示制御部１０２は、ＶＲＡＭ１０６に展開された画像データを読み出し、タッチパネル表示部１０１のモニタ画面に対応する画像を表示する。

操作部１０９は、ユーザからの入力を受け付けるキーボードやマウスである。操作部１０９からの入力はＣＰＵ１０８上で動作するＯＳに通知され、ＯＳは通知内容に従って処理を行う。例えば、不揮発記録媒体１０５にはＯＳ以外に複数のプログラムが格納されており、ＯＳは、通知内容に従う処理に必要なプログラムを起動する。起動されたプログラムは、ＯＳが表示する画像とは別に個別のウインドウ画像の画像データなどをＯＳを介してＶＲＡＭ１０６に展開する。表示制御部１０２は、このようにしてＶＲＡＭ１０６に展開された画像データも同じように読み出して、タッチパネル表示部１０１のモニタ画面に対応する画像を表示する。

通信部１１０は、通信ネットワーク１５０を介して外部の機器、具体的にはプロジェクタ２００と通信可能である。

携帯端末１００の基本的な動作としては、ユーザの指定する画像の画像データを指定のタイミングでプロジェクタ２００に送信できる。具体的には、ＣＰＵ１０８（上で動作するプログラム又はＯＳ）は、タッチパネル表示部１０１に表示される画像の所望部分の画像データをプロジェクタ２００が認識可能な所定フォーマットに変換する。そして、ＣＰＵ１０８は、変換後の画像データを通信部１１０を介してプロジェクタ２００に送信し、プロジェクタ２００は、受信した画像データの画像をスクリーンに投影する。以下の説明では、ＣＰＵ１０８上で動作するプログラムが、携帯端末１００からプロジェクタ２００への画像データの送信処理を実行するものとする。

プロジェクタ２００の構成と基本動作を説明する。プロジェクタ２００は、携帯端末１００と通信し、携帯端末１００から送信される画像データを通信部２０１で受信する。ＣＰＵ２０７は、プロジェクタ２００の全体を制御する。ＣＰＵ２０７は、ＲＯＭ２０３に記録されたプログラムに従って起動し、ＲＯＭ２０３に記録されたプログラムをＲＡＭ２０２に展開して実行する。操作部２０６は、プロジェクタ２００をユーザが制御するためのリモコン及び筺体に付随する操作ボタンからなる。ＣＰＵ２０７は、操作部２０６の操作入力に従いプロジェクタ２００を制御する。

通信部２０１は、携帯端末１００から受信した圧縮画像データをＲＡＭ２０２に格納する。デコーダ２０４は、ＲＡＭ２０２に格納された圧縮画像データをデコードして画像データを復元し、デコードした画像データをＶＲＡＭ２０５に展開する。画像処理部２０８は、ＶＲＡＭ２０５に格納される画像データに所定の画像処理を施す。投影制御部２０９は、ＶＲＡＭ２０５上の画像処理後の画像データを読み出して、投影部２１０に転送する。投影部２１０は、投影制御部２０９から供給される画像データが示す光学画像をスクリーンに投影する。

以上の仕組みによって、携帯端末１００とプロジェクタ２００で構成するネットワーク投射システムが実現される。

さらにプロジェクタ２００は、ＨＤＭＩ（登録商標）、ＤＶＩ及びＶＧＡといった複数の映像入力を持つ映像入力部２１２を具備する。入力検出部２１１は、映像入力部２１２のいずれかの入力信号、及び、通信部２０１によるネットワーク映像入力のいずれが選択されているかを検出する。

この明細書では、携帯端末１００から無線ＬＡＮアクセスポイント１６０および通信ネットワーク１５０を介してプロジェクタ２００に画像データを送信しているが、他の経路を介しても良いことは、言うまもない。

本実施例の主要な機能は、ＣＰＵ１０８上で実行されるプログラムによって実現される。図３は、その動作フローチャートを示す。

ＣＰＵ１０８上で動作するプレゼンテーションプログラムが、上述したように、携帯端末１００からプロジェクタ２００へのプレゼンテーション用画像データの送信を担当する。携帯端末１００の以下に説明する機能は、このプレゼンテーションプログラムとは別のプログラムで実現しても良いが、ここでは、説明の簡単化のため一つの表示制御プログラムに組み込まれているとする。

ＣＰＵ１０８上で動作する表示制御プログラム（以下、ＣＰＵ１０８と略す。）は、通信部１１０を介して、外部の表示機器、ここではプロジェクタ２００を探索する。探索は、ネットワーク上にブロードキャストパケットを送信し、その応答を受信することで実現する。また、予めプロジェクタ２００のＩＰアドレスが判明している場合には、そのＩＰアドレスをユーザが設定することで探索しても良い。

プロジェクタ２００が検出されると、ＣＰＵ１０８は、グラフィックアクセラレータ１０７にプロジェクタ２００と接続可能であることを示すＧＵＩを生成させる。ＣＰＵ１０８は、生成されたＧＵＩを、表示制御部１０２を介してタッチパネル表示部１０１の表示部に表示する。表示されているＧＵＩに対してユーザが操作部１０９を操作することで、プロジェクタ２００との接続を行うことを設定すると、携帯端末１００とプロジェクタ２００との間の接続が確立する。このタイミングで、ＣＰＵ１０８は、図３に示すフローチャートを開始する。さらに、ユーザが映像出力を指示することで、ＣＰＵ１０８は、上述したように、携帯端末１００からプロジェクタ２００へのプレゼンテーション用画像データの送信を開始する。

ステップＳ３０１において、ＣＰＵ１０８は、外部装置に画像データを出力しているかどうかを判定する。ＲＡＭ１０３には、ＶＲＡＭ１０６に展開される画像データが通信部１１０を介して外部に送信されているかどうかを示す外部出力状態変数が格納されており、この判定は、この外部出力状態変数を参照することで実現される。ＣＰＵ１０８は、外部に画像データを送信していると判断した場合、ステップＳ３０２に遷移し、そうでない場合、外部画像出力が実行されるまで、ステップＳ３０１の処理を定期的に実行する。

ステップＳ３０２において、ＣＰＵ１０８は、タッチパネル表示部１０１に対するポインティング操作の有無を判定し、ポインティング操作に対してＳ３０４に遷移し、それ以外ではＳ３０３に遷移する。ステップＳ３０２の判定は、例えば、タッチパネル表示部１０１の表示が更新されるタイミング（６０Ｈｚ表示の場合、１０００／６０ｍｓ毎）で実行される。プレゼンテーションでは、表示画像に対するポインティングだけでなく、スライド送りなどの動作を制御する必要があるので、ステップＳ３０２では、スライド送り操作の有無も判定する。

タッチパネル表示部１０１に対するユーザの操作がダブルタップ（連続２度押し）であった場合、ＣＰＵ１０８は、スライド送りと判断し、プレゼンテーションプログラムにスライド送りのイベントを送信する。プレゼンテーションプログラムは、このスライド送りイベントに応じて、プレゼンテーションのスライド送りを実行し、ＣＰＵ１０８は、ステップＳＳ３０３に遷移する。

プレゼンテーションの操作には、スライド送り以外にも、スライド戻しや、必要なスライドへのジャンプ機能なども考えられる。タップ３回等、それぞれを識別可能な操作体系を用意することで、識別できることは明らかである。ここでは詳細は省略するが、ＣＰＵ１０８は、これらの操作もポインティング操作ではないと判断して、ステップＳＳ３０３に遷移する。

また、ステップＳ３０２でタッチパネル表示部１０１に対して操作が発生していない場合にも、ＣＰＵ１０８は、ステップＳ３０３に遷移する。

ステップＳ３０２で、ＣＰＵ１０８は、タッチパネル表示部１０１に対してユーザがポイント＆ドラッグしたことを検出すると、その操作をポインティング操作が行われたと判定し、ステップＳ３０４に遷移する。ユーザがタッチパネル表示部１０１の画面上に１回触れて離した場合、あるいは、１回触れて、そのままタッチパネル表示部１０１の画面上で触れている場所を移動させている状態であれば、ＣＰＵ１０８は、ポイント＆ドラッグと判定する。この判定処理基準は、ここでの説明用であり、ポインティング操作か否かの判定には、他の基準を用いても良い。

ステップＳ３０４において、ＣＰＵ１０８は、ポインティングカーソルの重畳を実施する。ここで、図４に示す通り、ＶＲＡＭ１０６上には、表示制御部１０２を介してタッチパネル表示部１０１に表示される画像データが展開されているとする。ＶＲＡＭ１０６には、複数の表示用フレームバッファ４０１，４０２，４０３と、同数の送信用フレームバッファ４０４，４０５，４０６が確保されている。タッチパネル表示部１０１のモニタに表示する画像の画像データは、表示用フレームバッファ４０１，４０２，４０３に格納される。通信部１１０を介して外部装置（ここではプロジェクタ２００）に送信される画像データは、送信用フレームバッファ４０４，４０５，４０６に格納される。送信用フレームバッファ４０４に格納される画像データは表示用フレームバッファ４０１に格納される画像データと同じである。同様に、送信用フレームバッファ４０５，４０６に格納される画像データは、それぞれ、表示用フレームバッファ４０２，４０３に格納される画像データと同じである。

フレームバッファ４０１〜４０３，４０４〜４０６はリングバッファとして使用され、ＣＰＵ１０８は、表示画像と送信画像が常に同期するように様に各部を制御する。例えば、表示用フレームバッファ４０１の画像データをタッチパネル表示部１０１のモニタに表示するとき、送信用フレームバッファ４０４の画像データが通信部１１０によりプロジェクタ２００に送信される。

ＣＰＵ１０８は、グラフィックアクセラレータ１０７を制御することで、送信画像上に所望のグラフィック（ここでは、ポインティングカーソル）を重畳できる。ポインティングカーソルを重畳（表示）する位置は、ステップＳ３０３で、ユーザがタッチパネル表示部１０１に対してポイント＆ドラッグした最後の位置である。即ち、ユーザがタッチパネル表示部１０１に触れたままの状態（ポイント）である場合、その触れた位置にポインティングカーソルが表示され、触れたまま動かしている状態（ドラッグ）である場合、その動きに追従した位置にポインティングカーソルが表示される。

図５において、画像５０１は、表示用フレームバッファ４０１に展開された画像データに対応し、画像５０２は、送信用フレームバッファ４０４に展開された画像データに対応する。図５に示す例では、画像５０２は、送信用フレームバッファ４０４に展開された画像データ（図５の画像５０１）上にポインタカーソル５０３が重畳、即ち合成された合成画像（図５の画像５０２）である。このように、本実施例では、外部に送信する画像にのみポインタカーソルを重畳する。

ステップＳ３０６において、ＣＰＵ１０８は、画像５０２の画像データをプロジェクタ２００が認識できる所定のフォーマットに変換し、変換後の画像データを通信部１１０によりプロジェクタ２００に送信する。

ステップＳ３０３において、ＣＰＵ１０８は、ステップＳ３０２でポインティング操作が最後にされた時間からの経過時間を測定し、所定時間を経過しているかどうかを判定する。所定時間経過していると判定された場合、ＣＰＵ１０８は、ステップＳ３０５に遷移する。所定時間経過していない場合、ＣＰＵ１０８は、ステップＳ３０４に遷移して、送信画像にポインタカーソルを重畳描画する。

ステップＳ３０５において、ＣＰＵ１０８は、ステップＳ３０４で実施しているポインタカーソルの送信画像に対する重畳描画を停止する。

プロジェクタ２００が携帯端末１００からの画像の投影表示している状態で、ユーザが携帯端末１００のタッチパネルにポインティング操作をすると、プロジェクタ２００による表示画像のポインティング操作位置にカーソルを重畳表示できる。これにより、発表者は、プレゼンテーション画像において発表者が最も注目してほしい所望の位置を発表の閲覧者が視覚的に確認可能な形態で容易に指示することができる。さらに、所定時間、ポインティングが無い場合に自動でカーソルを非表示とすることで、発表者の負担を軽減でき、好適なプレゼンテーションを実現できる。

カーソル表示のオン／オフをプロジェクタ２００側で操作してもよい。図６は、その動作フローチャートを示す。

ステップＳ６０１において、ＣＰＵ１０８は、プロジェクタ２００に外部からの指示によってポインタカーソルを表示する機能があるかどうかを問い合わせる。具体的には、ＣＰＵ１０８は、通信部１１０を介して、プロジェクタ２００がＨＩＤ（Human Interface Device）の制御機能を持つかどうかを問い合わせる。プロジェクタ２００がＨＩＤの制御機能を持っていない場合、ＣＰＵ１０８は、図３に示す制御フローを起動し、送信側の画像にポインタカーソルの表示を行う処理を実施する。プロジェクタ２００がＨＩＤの制御機能を持っている場合、ＣＰＵ１０８は、ステップＳ６０２に遷移する。

ステップＳ６０２において、ＣＰＵ１０８は、外部に画像データを出力しているかどうかを判定する。この判定処理は、図３に示すフローチャートのステップＳ３０１と同様である。

ステップＳ６０３において、ＣＰＵ１０８は、グラフィックアクセラレータ１０７を制御することで、図７に示すモード切替え釦７０２を生成し、表示画像に重畳する。図７に示す画面７０１を抗せする画像データが、ＶＲＡＭ１０６の表示用フレームバッファ（図４）に展開されており、表示制御部１０２が、画面７０１をタッチパネル表示部１０１に表示する。モード切替え釦７０２は、ＶＲＡＭ１０６の表示用フレームバッファに展開された画像データに重畳されることでタッチパネル表示部１０１に表示される。なお、表示画面が隠れてしまうことを防ぐために、モード切替え釦７０２を一定時間経過したら透明表示にし、ユーザ入力があった時点で再表示する様にしても良い。

ステップＳ６０４において、ＣＰＵ１０８は、タッチパネル表示部１０１に対する操作を、タッチパネル表示部１０１の表示が更新されるタイミングで判定する。この判定処理は、基本的には図３に示すフローチャートのステップＳ３０２と同じであり、ＣＰＵ１０８が、タッチパネル表示部１０１に対してユーザが操作を行っているかどうかを検出する。ただし、ステップＳ３０２とは異なり、タッチパネル表示部１０１に対する操作がポインティング操作か、プレゼンテーション制御操作かといった、操作の種類の判断は行わない。ＣＰＵ１０８は、操作が発生していなければステップＳ６０９に遷移し、発生していればステップＳ６０５に遷移する。

ステップＳ６０５において、ＣＰＵ１０８は、タッチパネル表示部１０１に対する操作がステップＳ６０３で表示されたモード切替え釦７０２に対する操作かどうかを判定する。ステップＳ６０３で表示されたモード切替え釦７０２は、タッチパネル表示部１０１の特定の座標上に表示されているので、ＣＰＵ１０８は、タッチパネル表示部１０１の当該特定座標の位置へのユーザ操作を判定する。モード切替え釦７０２に対する押下操作であると判定した場合、ＣＰＵ１０８は、ステップＳ６０６に遷移する。それ以外の操作であると判定した場合、ＣＰＵ１０８はステップＳ６０７に遷移する。

ステップＳ６０６において、ＣＰＵ１０８は、モード切り替えを実施する。携帯端末１００は、携帯端末１００に対する通常の操作を行える通常モードと、プロジェクタ２００のＨＩＤデバイスとして携帯端末１００が動作する状態になるＨＩＤモードとを具備する。これらの動作モードは、ＲＡＭ１０３上に保持されるモード変数によって管理され、モード切替え釦７０２によって交互に切り替えられる。

ステップＳ６０７において、ＣＰＵ１０８は、ステップＳ６０６で設定されたモード変数を参照することで、現在の動作モードを判定する。ＣＰＵ１０８は、ＨＩＤモードと判定した場合にはステップＳ６１０に遷移する。通常モードと判定した場合、ＣＰＵ１０８は、ステップＳ６０８に遷移し、ユーザのタッチパネル表示部１０１に対する操作を携帯端末１００に対する通常の操作として認識する。

ステップＳ６１０において、ＣＰＵ１０８は、通信部１１０を介して、ポインタカーソルを表示するための座標位置情報をプロジェクタ２００に送信する。ＵＳＢやＢｌｕｅＴｏｏｔｈ（登録商標）などのＨＩＤは現在のポインタ位置からの相対位置情報を送信することが一般的であるが、ここでは、説明の簡略化のため絶対位置情報を送るものとする。プロジェクタ２００のＣＰＵ２０７は、携帯端末１００からの座標位置情報を通信部２０１を介して受信すると、画像処理部２０８にポインタカーソルを生成させる。ＶＲＡＭ２０５には携帯端末１００から送信された画像データが展開されており、ＣＰＵ２０７は、ＶＲＡＭ２０５の画像データの、携帯端末１００からの座標位置情報が示す位置に、ポインタカーソルを重畳する。投影制御部２０９は、ＶＲＡＭ上の画像データを、重畳されたポインタカーソルと共に投影部２１０により投影する。

ステップＳ６１３において、ＣＰＵ１０８は、送信用フレームバッファ４０４に展開された画像データをプロジェクタ２００が認識できる所定のフォーマットに変換した後で通信部１１０を介して送信する。

一方、ステップＳ６０９において、ＣＰＵ１０８は、ステップＳ６０７でポインティング操作が最後にされた時間からの経過時間を測定し、所定時間経過しているかどうかを判定する。所定時間経過している場合、ＣＰＵ１０８は、ステップＳ６１２に遷移する。経過していない場合、ＣＰＵ１０８は、ステップＳ６０７に遷移する。

ステップＳ６１２において、ＣＰＵ１０８は、通信部１１０を介してポインタカーソルの非表示指示をプロジェクタ２００に送信する。プロジェクタ２００のＣＰＵ２０７は、携帯端末１００からのカーソル非表示指示を通信部２０１を介して受信すると、ポインタカーソルを非表示とするように画像処理部２０８を制御する。

本実施例では、携帯端末１００をプロジェクタ２００のユーザインターフェースとして使用し、携帯端末１００でのタッチパネル操作位置に応じた位置にプロジェクタ２００がカーソルを表示する。カーソルを表示すべき位置情報を携帯端末１００からプロジェクタ２００に送信すれば良いので、カーソル表示のための携帯端末１００とプロジェクタ２００間の通信負荷が軽くなる。

プロジェクタ２００で重畳表示するモード切替え釦を、携帯端末１００からプロジェクタ２００に送信する画像に重畳して、プロジェクタ２００に送信するようにしてもよい。この場合、タッチパネル表示部１０１へのモード切替え釦への操作により通常モード／ＨＩＤモードを切り替えることになる。通常モードでは、携帯端末１００に対するタッチパネル表示部１０１を介した操作が有効となり、プレゼンテーションの操作が可能なる。ＨＩＤモードでは、ユーザがタッチパネル表示部１０１に触れた位置に応じた位置にポインタカーソルを送信用フレームバッファの画像データに重畳してプロジェクタ２００に送信する。そして、携帯端末１００に対するタッチパネル表示部１０１を使った一般的な操作は無効となり、プレゼンテーション画像に対するポインティング操作のみが有効となる。

携帯端末１００をプロジェクタ２００の操作手段としてプロジェクタ２００に接続することにより、携帯端且つ１００のタッチパネル表示部１０１で直接、プロジェクタを操作できる。例えば、プロジェクタ２００のメニューに対する操作も可能である。これにより、プレゼンテーションにおける操作の自由度を上げることが期待できる。

実施例１は携帯端末１００のみで実現できるので、システムコストを考えると実施例１の方が安価に提供できる。一方で、実施例２はプロジェクタ２００として携帯端末１００を外部操作手段として使用可能である必要があり、その分、実現しにくくなるが、ユーザの操作感上は、実施例１よりも優れている。

モード切替え操作無しでプレゼンテーション操作とポインティング操作を行える実施例を説明する。図８は、その動作フローチャートを示す。図８のフローチャートで示す動作は、ＣＰＵ１０８上で実行されるプログラムによって実現される。

ステップＳ８０１において、ＣＰＵ１０８は、外部に画像データを出力しているかどうかを判定する。この判定処理は、図３に示すフローチャートのステップＳ３０１と同様である。

ステップＳ８０２において、ＣＰＵ１０８は、タッチパネル表示部１０１に対して操作が発生したかどうかを、タッチパネル表示部１０１の表示が更新されるタイミングで判定する。この判定処理は、基本的には図３のフローチャートのステップＳ３０２と同じである。ＣＰＵ１０８は、操作が発生していなければ、ステップＳ８０３に遷移し、発生していればステップＳ８０４に遷移する。

ステップＳ８０４において、ＣＰＵ１０８は、図９に示される操作用ＧＵＩを、グラフィックアクセラレータ１０７を制御することによって生成する。すなわち、ＣＰＵ１０８とグラフィックアクセラレータ１０７は、操作用ＧＵＩを生成するＧＵＩ生成手段を構成する。ＣＰＵ１０８は次に、ＶＲＡＭ１０６に展開された画像データ（画像９０１）上に、生成したＧＵＩを重畳し、表示制御部１０２によりタッチパネル表示部１０１の表示部に表示させる。

図９に示す操作用ＧＵＩは、ピンチインアウト釦９０２、フリック釦９０３、タップ釦９０４、及び必要なリンク釦９０５で構成される。ピンチインアウト釦９０２は、その操作により、画像の拡大縮をＣＰＵ１０８に指示する。フリック釦９０３は、画面上をなでる操作によりページ送りをＣＰＵ１０８に指示する。リンク釦９０５は、その操作により、画面上に別のデータへのリンクがある場合にそこへの移動をＣＰＵ１０８に指示する。無論、これら以外の機能を提供する釦を配置しても良い。ただし、このＧＵＩは、表示用フレームバッファには書き込まれるが、送信用フレームバッファには書き込まれない。従って、プロジェクタ２００の投影画面上には表示されない。

ステップＳ８０６において、ＣＰＵ１０８は、ステップＳ８０２で検出されたタッチパネル表示部１０１に対する操作が、ステップＳ８０４で表示された操作用ＧＵＩ（図９）に対する操作かどうかを判定する。具体的には、ＣＰＵ１０８は、ユーザによって触れられた（タップされた）タッチパネル表示部１０１上の画面の位置が、操作用ＧＵＩ９０１〜９０５の表示位置の何れかと一致しるかどうかを調べる。一致している場合、ＣＰＵ１０８は、操作用ＧＵＩ９０１〜９０５に対する操作と判断し、ステップＳ８０７に遷移する。一致していない場合、ＣＰＵ１０８は、ステップＳ８０８に遷移する。

ステップＳ８０７において、ＣＰＵ１０８は、押下された操作用ＧＵＩに対応した制御処理を行う。例えば、発表者は、スライド送り／戻しをしたい場合には、フリック釦９０３を押下する。ＣＰＵ１０８は、フリック釦９０３の押下を検出すると、プレゼンテーションプログラムに対してフリックイベントを送信し、プレゼンテーションのスライド送りを実行させる。またプレゼンテーション画像内にリンクがある場合にユーザがリンク釦９０５を押下すると、ＣＰＵ１０８は、リンク先への移動を実行する。同一画面内に複数リンクがある場合には、リンク先をリスト表示し、ユーザに選択させる。

ステップＳ８０８において、ＣＰＵ１０８は、ステップＳ３０４と同様に送信用フレームバッファの画像データにポインタカーソルを重畳する。

ステップＳ８０９において、ＣＰＵ１０８は、送信用フレームバッファに展開された画像データとポインタカーソルをプロジェクタ２００が認識できる所定のフォーマットに変換し、変換後のデータをプロジェクタ２００に送信する。

一方、ステップＳ８０３において、ＣＰＵ１０８は、ステップＳ８０２でタッチパネル表示部１０１に対する操作が最後にされた時間からの経過時間を測定し、所定時間経過しているかどうかを判定する。所定時間経過している場合、ＣＰＵ１０８は、ステップＳ８０５に遷移する。経過していない場合、ＣＰＵ１０８は、ステップＳ８０４に遷移する。

ステップＳ８０５において、ＣＰＵ１０８は、ステップＳ８０６で表示した操作用ＧＵＩ（図９）の表示用フレームバッファへの書き込みを停止し、送信用フレームバッファへのポインタカーソルの書き込みを停止する。

本実施例では、プレゼンテーション画像上に重畳表示するＧＵＩによってプレゼンテーションの操作が可能となり、タッチパネル表示部１０１上へのタッチ等によるポインティング操作も可能となる。

図９に示す操作用ＧＵＩの表示／非表示の操作釦を別途設けても良い。これにより、必要時に操作用ＧＵＩを有効化しプレゼンテーションを操作することができる。すなわち、自由度の高い操作を提供できる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード又はＲＯＭ等を用いることができる。

上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれ、前述した実施形態の機能が実現される場合も含まれる。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

本発明の好ましい実施例を説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (4)

1. 外部表示装置と通信する通信手段と、
   画像生成手段と、
   前記画像生成手段によって生成される画像を表示する表示手段及びユーザ操作を受け付けるタッチパネルを具備するタッチパネル表示部と、
   複数の操作釦を含む操作用ＧＵＩを生成するＧＵＩ生成手段と、
   前記画像生成手段によって生成される画像の、ユーザが指定する位置に重畳すべきポインタを生成する生成手段と、
   前記タッチパネルへのユーザ操作を受け付けたことに応じて、前記画像生成手段によって生成される画像に前記操作用ＧＵＩを重畳して表示し、前記操作用ＧＵＩが表示されている状態での前記タッチパネルへのユーザ操作に応じて前記操作用ＧＵＩへのタッチであるか否かを判別し、前記操作用ＧＵＩへのタッチである場合に、当該操作用ＧＵＩに含まれる操作釦に対応した制御を行い、前記操作用ＧＵＩへのタッチでない場合に、前記画像生成手段によって生成される画像に前記ポインタを重畳した合成画像を前記外部表示装置に送信するように前記通信手段を制御するとともに、前記タッチパネル表示部には、前記ポインタを重畳することなく前記画像生成手段によって生成された画像を表示するように制御し、前記操作用ＧＵＩが表示された後、前記タッチパネルへの操作が最後にされた時間からの所定の時間が経過した場合には、前記操作用ＧＵＩの表示を停止する制御手段
   とを具備することを特徴とする表示制御装置。
2. 前記操作用ＧＵＩへのタッチでない場合に、前記制御手段は、前記ユーザ操作から一定時間、前記合成画像を前記外部表示装置に送信するように前記通信手段を制御することを特徴とする請求項１に記載の表示制御装置。
3. 外部表示装置と通信する通信手段と、
   画像生成手段と、
   前記画像生成手段によって生成される画像を表示する表示手段及びユーザ操作を受け付けるタッチパネルを具備するタッチパネル表示部と、
   複数の操作釦を含む操作用ＧＵＩを生成するＧＵＩ生成手段と、
   前記画像生成手段によって生成される画像の、ユーザが指定する位置に重畳すべきポインタを生成する生成手段
   とを有し、前記外部表示装置に画像情報を送信して画像を表示させる表示制御装置の制御方法であって、
   前記タッチパネルへのユーザ操作を受け付けたことに応じて、前記画像生成手段によって生成される画像に前記操作用ＧＵＩを重畳して表示するステップと、
   前記操作用ＧＵＩが表示されている状態での前記タッチパネルへのユーザ操作に応じて前記操作用ＧＵＩへのタッチであるか否かを判別し、前記操作用ＧＵＩへのタッチである場合に、当該操作用ＧＵＩに含まれる操作釦に対応した制御を行い、前記操作用ＧＵＩへのタッチでない場合に、前記画像生成手段によって生成される画像に前記ポインタを重畳した合成画像を前記外部表示装置に送信するように前記通信手段を制御するとともに、前記タッチパネル表示部には、前記ポインタを重畳することなく前記画像生成手段によって生成された画像を表示するように制御するステップと、
   前記操作用ＧＵＩが表示された後、前記タッチパネルへの操作が最後にされた時間からの所定の時間が経過した場合には、前記操作用ＧＵＩの表示を停止するステップ
   とを有することを特徴とする表示制御装置の制御方法。
4. 携帯端末を請求項１または２に記載される表示制御装置として機能させるための表示制御プログラム。

Images