JP5906984B2

JP5906984B2 - 表示端末装置及びプログラム

Info

Publication number: JP5906984B2
Application number: JP2012168700A
Authority: JP
Inventors: 廣谷孝幸
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-07-30
Filing date: 2012-07-30
Publication date: 2016-04-20
Anticipated expiration: 2032-07-30
Also published as: JP2014026602A; CN103577140B; KR20140016194A; US20140028719A1; KR101493603B1; US9582903B2; CN103577140A

Description

本発明は、表示画面上の任意に位置をタッチ操作可能な表示端末装置及びプログラムに関する。

一般に、会議などのプレゼンテーション時において表示画面上にタッチパネルを備えた携帯端末装置などの表示端末装置に、例えば、プロジェクタ（外部表示装置）を接続してその端末画面の表示内容をスクリーン上に投影させる場合、端末画面の表示内容を単に投影させるだけであるために、タッチ操作と表示内容との関係、つまり、その端末画面上でどのようなタッチ操作が行われると、表示内容がどのように変化するのかという関係を、スクリーンを見ているプレゼンテーション参加者などに知らせることは難しい。そこで、端末画面上のタッチ操作をデモンストレーションするためにそのタッチ操作の様子をカメラで撮影してその撮影画像をスクリーンに投影することも考えられるが、タッチ操作時に表示画面の一部が指や掌によって隠れてしまうことが多くなり、投影内容が非常に見づらいものとなってしまう。

従来、このようにタッチ操作のデモンストレーションに対応するために表示端末装置に外部表示装置を接続している状態において、表示端末側でタッチ操作が行われると、そのタッチ位置を示すマークをその端末画面及び外部表示装置の対応位置に共に表示するようにした技術が提案されている（特許文献１参照）。

特開２００７−３１０９０３号公報

しかしながら、上述の特許文献の技術にあっては、外部表示装置にタッチ位置を示すマークが表示されるために、その視聴者にとってはタッチ操作の状態を知ることはできるが、端末側での操作者にあっては、いつもと異なった表示内容により操作しづらくなるほか、タッチ位置近傍の表示内容が見づらくなる可能性があった。

本発明の課題は、表示端末装置側と外部表示装置側とで操作性を損なわずに表示の見易さを維持できるようにすることである。

請求項１は、表示画面上の任意の位置をタッチ操作可能な表示端末装置であって、前記表示画面用の表示情報を当該表示画面に表示すると共に、その表示情報を取得して外部表示装置へ送信するよう制御する制御手段と、を具備し、前記制御手段は、前記表示情報の表示される表示画面上における任意のタッチ操作を検出した際は、前記表示画面上における前記タッチ操作の位置を検出すると共に、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別かを判別することで、その判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像を選択し、その選択された操作イメージ画像を、前記表示情報の上記タッチ操作の検出位置近傍に合成し、その合成された表示情報を、当該表示画面上における表示情報の表示内容を変更することなく、前記外部表示装置へ送信するよう制御する、ことを特徴とする。

請求項２は、表示画面上の任意の位置をタッチ操作可能な表示端末装置であって、前記表示画面上に所定の表示情報を表示すると共に、当該表示情報と同様の表示情報が外部表示装置で表示されるように前記表示情報を送信する表示制御手段と、前記表示画面上における任意のタッチ操作を検出した際は、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別の操作内容かを判別することで、前記外部表示装置で表示される表示内容が、当該表示端末装置に表示される表示内容と異なり、前記判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像が前記外部表示装置側で表示される表示情報内において合成された表示内容となるようにした第２表示情報を、前記外部表示装置へ送信する制御手段と、を具備したことを特徴とする。

本発明によれば、表示端末装置側と外部表示装置側とで操作性を損なわずに表示の見易さを維持することができる。

表示端末装置として適用した携帯端末装置（スマートフォン）の基本的な構成要素を示したブロック図。表示端末装置（携帯端末装置）１１に表示されている表示内容を外部表示装置（プロジェクタ）１２に送信してスクリーン１３上に投影させた状態を示した図。携帯端末装置１１に表示されている表示内容の変更を指示するタッチ操作（ジェスチャ操作）が行われた場合を例示した図。タッチ操作テーブルＴ１を説明するための図。携帯端末装置１１の全体動作のうち、本実施形態の特徴部分の動作概要（携帯端末装置１１と外部表示装置１２との間での表示連動）を示したフローチャート。図５の動作に続くフローチャート。第２実施形態において、図５に代わる動作を示したフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施形態１）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
本実施形態は、表示端末装置として携帯端末装置（例えば、多機能型携帯電話機：スマートフォン）に適用したもので、図１は、携帯端末装置の基本的な構成要素を示したブロック図である。
携帯端末装置（表示端末装置）は、その基本機能として通話機能、タッチ入力機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）などを備え、ＣＰＵ１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯端末装置の全体動作を制御する。

記憶部３は、後述する図５及び図６のフローチャートに示すプログラムなど各種のプログラムを記憶するプログラム領域、この携帯端末装置で必要とされる各種のデータを記憶するデータ領域、一時記憶用のワーク領域を有する構成で、このデータ領域には、後述するタッチ操作テーブルＴ１が記憶されている。なお、記憶部３は、ＳＤカードなどの記録メディアを含む構成であってもよく、所定のサーバ装置（図示省略）側の記憶領域を含むものであってもよい。無線通信部４は、通話機能、電子メール機能、インターネット接続機能などの動作時に、音声やデータを変調してアンテナ部ＡＴから無線電波を送信すると共に、無線電波をアンテナＡＴを介して受信して音声やデータに復調することで通話やデータ通信を行うようにしている。

操作部５は、電源ボタンなどの押しボタン式の各種のキーを有している。外部接続部６は、外部機器接続用のコネクタ部で、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）を有し、外部機器との間で双方向通信が可能となっている。ＣＰＵ１は、この外部接続部６をアクセスすることによって外部機器が接続されているかをチェックしたり、外部機器からの応答信号に基づいて接続機器の種類を判別したりするようにしている。タッチ表示部７は、表示パネル７ａにタッチパネル７ｂを積層配設した構成で、表示パネル７ａは、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、ソフトウェアキー（ソフトキー）としての機能名を表示したり、各種のアイコンなどを表示したりする。

タッチ表示部７のタッチパネル７ｂは、撮影者の指など（指のほかにペンなどの操作子を含む）でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、その他の方式であってもよい。なお、タッチ操作とは、指やペンなどでタッチパネル７ｂ上を接触したり、接触移動したりする接触操作に限らず、その接触操作に近似する操作として、例えば、指やペンの接近や接近移動による静電容量変化や明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、接触型タッチパネル上での接触操作の場合を例示している。ＣＰＵ１は、タッチ表示部７へのタッチ操作を検出すると、そのタッチ操作の内容（種類）として、タッチ表示部７の表示画面（端末画面）内の位置を指示するタッチ操作が行われたのか、表示画面（端末画面）に表示されている表示内容の変更を指示するタッチ操作が行われたのか、コマンドあるいはデータの入力を指示するタッチ操作が行われたのかを判別する。

ここで、タッチ表示部７の表示画面（端末画面）内の位置を指示するタッチ操作とは、例えば、ソフトキーが表示されている位置でのシングルタッチ操作（カーソル移動操作を含む）、複数本の指で複数の表示位置を同時にタッチするマルチタッチ操作などである。また、表示画面に表示されている表示内容の変更を指示するタッチ操作とは、例えば、表示スクロールを指示するジェスチャ操作（フリック操作）、表示内容の拡大を指示するジェスチャ操作（ピンチアウト操作）、表示内容の縮小を指示するジェスチャ操作（ピンチイン操作）などである。また、コマンドあるいはデータの入力を指示するタッチ操作とは、ジェスチャに対応したコマンド（アプリケーションの切り換えなど）やデータ（数字、文字などのデータ）の入力を指示するジェスチャ操作である。

図２は、携帯端末装置１１の表示内容を外部表示装置（プロジェクタ）１２に送信してスクリーン（例えば、ホワイトボード）１３上に投影させた状態を示した図である。
携帯端末装置１１は、その外部接続部６に装着されたケーブル１４を介して外部表示装置（外部機器：例えば、プロジェクタ）１２に接続可能なもので、この携帯端末装置１１と外部表示装置１２との間では表示の連動が可能となっている。なお、携帯端末装置１１と外部表示装置１２とをケーブル１４を介して有線接続する場合に限らず、無線ＬＡＮ（Local Area Network）、赤外線通信などを介して無線接続するようにしてもよい。ここで、プレゼンテーションの進行者は、携帯端末装置１１の表示画面（端末画面）に表示中の表示内容を外部表示装置（プロジェクタ）１２に投影しながら携帯端末装置１１の操作手順や操作方法などを説明するようにしているが、その際、タッチ操作に関する情報を外部表示装置（プロジェクタ）１２に送信してスクリーン１３上に投影表示させるようにしている。

すなわち、携帯端末装置１１は、その実行可能な各種の処理内容を会議などのプレゼンテーションの場で発表する場合に、その発表者にあっては、どのようなタッチ操作を行うと、どのような処理結果が得られるかの様子をスクリーン１３上に投影表示させながらプレゼンテーションを進行するようにしている。ここで、携帯端末装置１１は、その表示画面（端末画面）に表示中の表示内容を外部表示装置１２に送信する外部送信モード（動作モード：デモンストレーションモード）が設定されているか否かを判別する。この外部送信モードは、ユーザ操作によって任意に切り換え設定可能なもので、携帯端末装置１１は、この外部送信モードに設定されている状態において、タッチ表示部７へのタッチ操作を検出すると、表示画面（端末画面）に表示されている表示内容にそのタッチ操作の内容を示す操作情報（操作アイコン又はアニメーション画像）１４を合成した合成画面内容を生成し、この合成画面内容を外部表示装置１２に送信することによって外部表示装置１２側の表示内容（スクリーン１３上の表示内容）を変更するようにしている。

図示の例は、タッチ表示部７に多数の処理アイコンが一覧表示されているメニュー画面が表示されている状態において、そのメニュー画面の中から所望の処理を指定するためにその処理アイコンの表示位置を人差し指でシングルタッチ操作した場合を示している。このようにメニュー画面内の位置を指示するタッチ操作（例えば、シングルタッチ操作）が行われると、携帯端末装置１１は、メニュー画面の表示内容に、そのタッチ操作内容及びタッチ位置を示す操作情報１４として操作アイコンを合成した合成画面内容を生成し、この合成画面内容を外部表示装置１２に送信するようにしている。これによってスクリーン１３上の表示内容は、図示の如くとなり、メニュー画面内にはタッチ位置を示す操作情報１４として、人差し指でタッチしている様子を図案化したアイコンが表示される。

この場合、携帯端末装置１１の表示画面（端末画面）側では、タッチされた処理アイコンが操作指によって隠れてしまい見づらい状態となっているが、スクリーン１３上では、タッチされた処理アイコンに接近して、操作情報（操作アイコン）１４を配置表示するようにしているために、処理アイコンと操作アイコンとは位置的にずれたものとなる。なお、表示画面内の位置を指示するタッチ操作としては、上述のシングルタッチ操作に限らず、ソフトキーを操作するキー操作、カーソル移動操作、複数の指によるマルチタッチ操作などであってもよい。この場合、タッチ位置に接近してそのタッチ操作の内容を示す操作アイコンを配置表示させるが、操作アイコンとしてはタッチ操作されたキーの種類を図案化したり、カーソルの移動方向を図案化したり、複数の指でタッチしている様子を図案化したりしたアイコンなどである。

図３は、携帯端末装置１１側において、端末画面に表示されている表示内容の変更を指示するタッチ操作（ジェスチャ表示操作）が行われた場合を例示した図である。
図示の例は、表示内容の拡大を指示するために親指及び人差し指の間を外側に徐々に広げるピンチアウト操作（ジェスチャ表示操作）した場合を示している。このように端末画面に表示されている表示内容の変更を指示するジェスチャ表示操作（例えば、ピンチアウト操作）が行われると、端末内容にそのタッチ操作の内容を示す操作情報（アニメーション画像）１４を合成した合成画面内容を生成し、この合成画面内容を外部表示装置１２に送信するようにしている。

これによってスクリーン１３上の表示内容は、図示の如くとなり、親指及び人差し指の間を外側に徐々に広げるアニメーション画像が表示される。なお、端末画面に表示されている表示内容の変更を指示するタッチ操作（ジェスチャ表示操作）としては、ピンチアウト操作に限らず、親指及び人差し指の間を内側に徐々に狭めるピンチイン操作、表示内容のスクロールを指示するスクロール操作などであってもよい。この場合、タッチ操作の内容を示すアニメーション画像を配置表示させるが、アニメーション画像としては、タッチ操作（ジェスチャ表示操作）を表現したものであればよい。

図４は、タッチ操作テーブルＴ１を説明するための図である。
タッチ操作テーブルＴ１は、「タッチ操作内容」に対応してそのタッチ操作の内容を示す「操作情報」を記憶するテーブルで、予めユーザ操作により任意に設定可能となっている。この「タッチ操作内容」の項目には、“画面内の位置を指示するタッチ操作（位置指示操作）”、“画面に表示されている表示内容の変更を指示するタッチ操作（ジェスチャ表示操作）”、“コマンドあるいはデータの入力を指示するタッチ操作（ジェスチャ入力操作）”を有し、更に、“位置指示操作”には、“キータッチ操作”、“カーソル移動操作”、“マルチタッチ操作”などが記憶されている。そして、この“キータッチ操作”、“カーソル移動操作”、“マルチタッチ操作”に対応する「操作情報」としては、“Ａアイコン”、“Ｂアイコン”、“Ｃアイコン”などが記憶されている。

また、“ジェスチャ表示操作”の項目には、“フリック操作”、“ピンチイン操作”、“ピンチアウト操作”などが記憶され、それらに対応する「操作情報」としては、“Ａアニメーション画像”、“Ｂアニメーション画像”、“Ｃアニメーション画像”などが記憶されている。また、“ジェスチャ入力操作”の項目には、“コマンドＷの入力操作”、“コマンドＥの入力操作”、“数値１の入力操作”などが記憶され、それらに対応する「操作情報」としては、“Ｘアニメーション画像”、“Ｙアニメーション画像”、“Ｚアニメーション画像”などが記憶されている。なお、“コマンドＷの入力操作”とは、文章作成アプリケーションを起動させるコマンドＷを入力するタッチ操作である。“コマンドＥの入力操作”とは、表計算アプリケーションを起動させるコマンドＥを入力するタッチ操作である。

次に、第１実施形態における携帯端末装置１１の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図５及び図６は、携帯端末装置１１の全体動作のうち、本実施形態の特徴部分の動作概要（携帯端末装置１１と外部表示装置１２との間での表示の連動）を示したフローチャートであり、電源投入に応じて実行開始される。
先ず、ＣＰＵ１は、タッチ表示部（端末画面）７に初期画面（例えば、初期メニュー画面）を表示させると共に、所定のメモリをクリアするなどの初期化処理（図５のステップＳ１）を行った後、タッチ表示部（端末画面）７に表示中の表示内容を外部表示装置１２に送信する外部送信モード（動作モード：デモンストレーションモード）が設定されているかを判別する（ステップＳ２）。

ここで、外部送信モードに設定されていなければ（ステップＳ２でＮＯ）、その他の処理の実行に移り、例えば、外部送信モードに切り換え設定する処理を行ったり、電話発信処理を行ったり、電子メール送信処理を行ったり、プレゼンテーション資料を作成編集したりするなど、外部送信モード以外の処理を行う（ステップＳ３）。いま、携帯端末装置１１の操作手順や操作方法などを外部表示装置（プロジェクタ）１２を使用して説明する場合には、モード切り換えキー（図示省略）を操作して外部送信モードに切り換え設定する。このように外部送信モードに設定されたときには（ステップＳ２でＹＥＳ）、外部接続部６をアクセスして外部表示装置（プロジェクタ）１２が接続されているかを調べる（ステップＳ４）。ここで、外部送信モードに設定されていても外部表示装置１２が接続されていなければ（ステップＳ４でＮＯ）、外部表示装置１２の接続を促すためにその旨のメッセージを表示（ステップＳ５）させた後、上述のステップＳ２に戻る。

いま、外部送信モードに設定され（ステップＳ２でＹＥＳ）、かつ、外部表示装置１２が接続されているときには（ステップＳ４でＹＥＳ）、タッチ表示部７に表示中の表示内容を読み出し取得し（ステップＳ６）、この画面内容を外部接続部６から外部表示装置１２に送信する（ステップＳ７）。この場合、タッチ表示部７に初期メニュー画面が表示されていれば、この初期メニュー画面が外部表示装置１２に送信されるため、スクリーン１３上にはそのメニュー画面が投影表示される。この状態において、タッチ表示部７へのタッチ操作の有無を調べたり（ステップＳ８）、後述する５秒タイマ（図示省略）がタイムアウトになったかを調べたり（ステップＳ９）、外部送信モードが解除されたかを調べたり（ステップＳ１０）、外部表示装置１２が接続されているかを調べたりする（ステップＳ１１）。

上述の５秒タイマは、端末画面に表示されている表示内容にそのタッチ操作内容を示す操作情報（操作アイコン又はアニメーション画像）１４を合成した画面内容を外部表示装置１２に送信してからの経過時間を計測するタイマで、その送信を行ってから５秒経過したときにタイムアウトとなる。いま、タイムアウト前において（ステップＳ９でＮＯ）、外部送信モードが解除されたとき（ステップＳ１０でＹＥＳ）あるいは外部表示装置１２の接続が解除されたときには（ステップＳ１１でＮＯ）、上述のステップＳ２に戻る。また、タイムアウト前において（ステップＳ９でＮＯ）、外部送信モードが解除されず（ステップＳ１０でＮＯ）、かつ、外部表示装置１２が接続されていれば（ステップＳ１１でＹＥＳ）、上述のステップＳ２に戻り、タッチ操作待ち及びタイムアウト待ちとなる。

いま、タッチ操作を検出したときには（ステップＳ８でＹＥＳ）、図６のフローに移り、そのタッチ位置座標を検出すると共に（ステップＳ１２）、タッチ操作の内容を判別する（ステップＳ１３）。すなわち、タッチ操作の内容として、タッチ表示部７の表示画面内の位置を指示するタッチ操作が行われたのか、表示画面に表示されている表示内容の変更を指示するタッチ操作が行われたのか、コマンドあるいはデータの入力を指示するタッチ操作が行われたのかを判別する。これによって判別したタッチ操作の内容に基づいてタッチ操作テーブルＴ１を参照し、対応する「操作情報」を読み出し取得する（ステップＳ１４）。

そして、取得した操作情報（操作アイコン／アニメーション画像）を表示画面に表示されている表示内容に合成する（ステップＳ１５）。この場合、表示画面内のタッチ位置あるいはその近傍に操作情報（操作アイコン／アニメーション画像）を合成するようにしているが、例えば、タッチ位置が処理アイコン上であれば、その処理アイコンの近傍に操作情報を合成するようにしている。そして、この生成した合成画面内容を外部表示装置１２に送信することによって外部表示装置１２側の表示内容（スクリーン１３上の表示内容）を変更する（ステップＳ１６）。その後、この合成画面内容の送信タイミングに合わせて上述の５秒タイマの計測動作を開始（ステップＳ１７）させた後、タッチ操作に応じた処理を実行する（ステップＳ１８）。

例えば、処理アイコンがタッチ操作されたときには、そのアプリケーションを起動してそのアプリケーション画面をタッチ表示部７に表示させ、そのアプリケーション画面上で、例えば、ジェスチャ操作としてピンチイン操作、ピンチアウト操作が行われたときには、その操作で指定された表示部分（例えば、表やグラフ）を縮小したり、拡大したりし、また、ジェスチャ操作としてフリック操作が行われたときには表示内容をその操作方向にスクロール表示させるなど、タッチ操作に応じた処理を行う。その後、タッチ表示部７の表示画面をその処理結果に応じた画面に切り換え表示させる（ステップＳ１９）。

以下、図５のステップＳ８に戻り、タッチ操作が行われる毎に（ステップＳ８でＹＥＳ）、上述の動作（図６のステップＳ１２〜ステップＳ１９）を繰り返す。ここで、タイムアウトを検出したときには（ステップＳ９でＹＥＳ）、上述のステップＳ６に戻り、現在、端末画面に表示されている表示内容を外部表示装置１２に送信することにより外部表示装置１２側の表示内容（スクリーン１３上の表示内容）を変更する（ステップＳ７）。これによって外部表示装置１２側の表示内容（スクリーン１３上の表示内容）は、上述の合成画面内容に代わって、現在の端末画面の内容、つまり、前回のタッチ操作に応じた処理結果の画面内容に切り換えられる（図６のステップＳ１８、Ｓ１９）。また、タイムアウトの前に次のタッチ操作が行われたときには（ステップＳ８でＹＥＳ）、そのタッチ操作内容を示す操作情報を合成表示する画面に切り換えられる（図６のステップＳ１２〜Ｓ１６）。

以上のように、第１実施形態の携帯端末装置１１は、外部送信モードに設定されている状態において、タッチ操作を検出した場合に、表示画面（端末画面）に表示されている表示内容にそのタッチ操作の内容を示す操作情報（操作アイコンあるいはアニメーション画像）１４を合成した合成画面内容を生成し、この合成画面内容を外部表示装置１２に送信して該外部表示装置１２側の表示内容（スクリーン１３上の表示内容）を変更するようにしたので、表示端末装置１１の表示画面にタッチ操作の内容を示す操作情報が表示されることはなく、タッチ位置近傍の表示内容が見づらくなる可能性がなくなり、端末側の操作性を損なわずに表示の見易さを維持することができ、操作性と見易さの両方を満たすことが可能となり、実用性に富んだものとなる。

携帯端末装置１１は、外部送信モードに設定され、かつ、外部表示装置１２が接続されていることを条件に、端末画面に表示されている表示内容を外部表示装置１２に送信するようにしたので、外部表示装置１２側への不用意な表示を防ぐことができるほか、携帯端末装置１１側で送信開始を指示する操作も不要となる。

携帯端末装置１１は、操作情報を合成した合成画面内容を外部表示装置１２に送信してからの経過時間を計測する５秒タイマがタイムアウトになった際に、端末画面に表示中の表示内容を外部表示装置１２に送信するようにしたので、次のタッチ操作が行われなければ、スクリーン１３上の操作情報を５秒間継続して投影表示させることができ、プレゼンテーションの参加者にあっては、操作内容の目視確認が容易となり、どのような操作が行われたかを容易に理解することが可能となる。

携帯端末装置１１は、端末画面内の位置を指示するタッチ操作、端末画面に表示されている表示内容の変更を指示するタッチ操作、コマンドあるいはデータの入力を指示するタッチ操作のうち、少なくともそのいずれかのタッチ操作を検出するようにしたので、多種のタッチ操作に対応可能としたり、特定種類のタッチ操作に絞って対応可能としたりすることができる。

携帯端末装置１１は、タッチ操作内容として、端末画面内の位置を指示するタッチ操作が行われた場合にはその位置を示すアイコンを、また、端末画面に表示されている表示内容の変更を指示するタッチ操作が行われた場合にはその変更の種類を示すアニメーション画像を、また、コマンドあるいはデータの入力を指示するタッチ操作が行われた場合にはその入力の種類を示すアニメーション画像を、端末画面に表示されている表示内容に合成するようにしたので、プレゼンテーションの参加者にあっては、操作内容を直感的に分かり易くなり、どのような操作が行われたかを容易に理解することが可能となる。

なお、上述した第１実施形態においては、外部送信モード（デモンストレーションモード）をユーザ操作に応じて任意に切り換え設定可能としたが、ユーザ操作による設定に限らず、例えば、外部表示装置１２の接続に応じてこの外部送信モードを自動設定するようにしてもよい。

（第２実施形態）
以下、この発明の第２実施形態について図７を参照して説明する。
なお、上述した第１実施形態においては、操作情報１４を合成した合成画面内容を送信する条件として、外部送信モードに設定されている状態でタッチ操作が行われたことを条件としたが、この第２実施形態においては、携帯端末装置１１に外部表示装置１２が接続されている状態でタッチ操作が行われたことを条件とするようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図７は、第２実施形態において、図５のフローに代わる動作を示したフローチャートであり、それに続く動作は、図６のフローと同様である。
先ず、ＣＰＵ１は、タッチ表示部（端末画面）７に初期画面（例えば、初期メニュー画面）を表示させると共に、所定のメモリをクリアするなどの初期化処理（ステップＳ２０）を行った後、外部接続部６をアクセスして外部表示装置（プロジェクタ）１２が接続されているか否かを調べ（ステップＳ２１）、外部表示装置１２が接続されていなければ（ステップＳ２１でＮＯ）、その他の処理の実行に移り、例えば、電話発信処理を行ったり、電子メール送信処理を行ったりする（ステップＳ２２）。

外部表示装置１２が接続されていれば（ステップＳ２１でＹＥＳ）、その外部表示装置１２との間でのやり取りに応じて接続装置はプロジェクタであるかを調べ（ステップＳ２３）、接続装置がプロジェクタでなければ（ステップＳ２３でＮＯ）、その接続装置対応の外部表示装置１２に対する表示処理に移るが（ステップＳ２４）、接続装置がプロジェクタであれば（ステップＳ２３でＹＥＳ）、タッチ表示部７に表示中の表示内容を読み出し取得し（ステップＳ２５）、この画面内容を外部接続部６から外部表示装置１２に送信する（ステップＳ２６）。

この状態において、タッチ表示部７へのタッチ操作の有無を調べたり（ステップＳ２７）、上述の５秒タイマ（図示省略）がタイムアウトになったかを調べたり（ステップＳ２８）、外部表示装置（プロジェクタ）１２が接続されているかを調べたりする（ステップＳ２９）。いま、タイムアウト前において（ステップＳ２８でＮＯ）、外部表示装置（プロジェクタ）１２の接続が解除されたときには（ステップＳＡ２９でＮＯ）、上述のステップＳ２１に戻るが、タイムアウト前において（ステップＳ２７でＮＯ）、外部表示装置（プロジェクタ）１２が接続されていれば（ステップＳ２９でＹＥＳ）、上述のステップＳ２７に戻り、タッチ操作待ち及びタイムアウト待ちとなる。

いま、タッチ操作を検出したときには（ステップＳ２７でＹＥＳ）、図６のフローに移り、以下、第１実施形態と同様の処理（ステップＳ１１〜１９）に移る。すなわち、タッチ位置座標を検出して（ステップＳ１２）、タッチ操作内容を判別し（ステップＳ１３）、タッチ操作内容に基づいてタッチ操作テーブルＴ１から対応する「操作情報」を取得する（ステップＳ１４）。そして、この操作情報を表示画面に表示されている表示内容に合成し（ステップＳ１５）、この生成した合成画面内容を外部表示装置１２に送信する（ステップＳ１６）。その後、上述の５秒タイマの計測動作を開始（ステップＳ１７）させた後、タッチ操作に応じた処理を実行し（ステップＳ１８）、その処理結果に応じた画面に切り換え表示させる（ステップＳ１９）。以下、図７のステップＳ２７に戻り、タッチ操作が行われる毎に（ステップＳ２７でＹＥＳ）、上述の動作（図６のステップＳ１２〜ステップＳ１９）を繰り返す。

以上のように、第２実施形態の携帯端末装置１１は、外部表示装置１２が接続されている状態において、タッチ操作を検出した場合に、表示画面（端末画面）に表示されている表示内容にそのタッチ操作の内容を示す操作情報（操作アイコンあるいはアニメーション画像）を合成した合成画面内容を生成し、この合成画面内容を外部表示装置１２に送信して該外部表示装置１２側の表示内容（スクリーン１３上の表示内容）を変更するようにしたので、第１実施形態と同様の効果を有する。すなわち、携帯端末装置１１の表示画面（端末画面）にタッチ操作の内容を示す操作情報が表示されることはなく、タッチ位置近傍の表示内容が見づらくなる可能性がなくなり、端末側の操作性を損なわずに表示の見易さを維持することができ、操作性と見易さの両方を満たすことが可能となる。

携帯端末装置１１は、外部表示装置１２が接続され、かつその接続装置が所定の装置（プロジェクタ）であることを条件に、端末画面に表示されている表示内容を外部表示装置１２に送信するようにしたので、外部表示装置１２側への不用意な表示を防ぐことができるほか、携帯端末装置１１側で送信開始を指示する操作も不要となる。

その他、第２実施形態においても、上述した第１実施形態と同様な効果を有する。すなわち、５秒タイマがタイムアウトになった際に、端末画面に表示中の表示内容を外部表示装置１２に送信するようにしたので、次のタッチ操作が行われなければ、スクリーン１３上の操作情報を５秒間継続して投影表示させることができる。また、端末画面内の位置を指示するタッチ操作、端末画面に表示されている表示内容の変更を指示するタッチ操作、コマンドあるいはデータの入力を指示するタッチ操作のうち、少なくともそのいずれかのタッチ操作を検出するようにしたので、多種のタッチ操作に対応可能としたり、特定種類のタッチ操作に絞って対応可能としたりすることができる。更に、操作情報としてアイコンあるいはアニメーション画像を、端末画面に表示されている表示内容に合成するようにしたので、操作内容を直感的に分かり易くなり、どのような操作が行われたかを容易に理解することが可能となる。

なお、上述した各実施形態においては、タッチ操作内容を示す操作情報として、アイコン、アニメーション画像を示したが、操作情報は、例えば、文字情報、静止画像、動画像などであってもよく、又はそれらの組み合わせであってもよく、更にユーザ操作により任意に選択指定した操作情報を表示するようにしてもよい。

また、上述した各実施形態においては、表示端末装置１１として携帯電話機に適用した場合を例示したが、これに限らず、表示端末装置１１は、パーソナルコンピュータ、タブレット端末などのＰＤＡ（個人向け携帯型情報通信機器）、デジタルカメラなどであってもよい。また、外部表示装置１２としてプロジェクタを例示したが、これに限らず、外部表示装置１２は、パーソナルコンピュータ、タブレット端末、テレビ受像機、携帯端末装置などの表示装置であってもよい。例えば、表示端末装置１１を電子腕時計とし、外部表示装置１２をタブレット端末とした場合に、電子腕時計の画面に比べてタブレット端末の画面は大型であるため、ユーザにあっては腕時計上での操作状況を大型画面（タブレット端末画面）で確認しながら処理結果を見ることができ、操作性と見易さの両方を満たすことが可能となる。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
外部表示装置が接続可能な表示端末装置であって、
表示画面上でのタッチ操作を検出する検出手段と、
前記表示画面に表示中の表示内容を前記外部表示装置に送信する外部送信モードが設定されているか否かを判別する判別手段と、
前記判別手段により外部送信モードに設定されていると判別されている状態において、前記検出手段によってタッチ操作が検出された場合に、前記表示画面に表示されている表示内容にそのタッチ操作の内容を示す操作情報を合成した合成画面内容を生成する合成手段と、
前記合成手段によって生成された合成画面内容を前記外部表示装置に送信して該外部表示装置側の表示内容を変更する表示制御手段と、
を備えたことを特徴とする表示端末装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の表示端末装置において、
前記判別手段により外部送信モードに設定されていると判別された際に、外部表示装置が接続されていることを条件に、前記表示画面に表示されている表示内容を前記外部表示装置に送信する送信手段を更に備える、
ようにしたことを特徴とする表示端末装置である。
（請求項３）
請求項３に記載の発明は、
外部表示装置が接続可能な表示端末装置であって、
表示画面上でのタッチ操作を検出する検出手段と、
前記外部表示装置が接続されているか否かを判別する判別手段と、
前記判別手段により前記外部表示装置が接続されていると判別されている状態において、前記検出手段によってタッチ操作が検出された場合に、前記表示画面に表示されている表示内容にそのタッチ操作内容を合成した合成画面内容を生成する合成手段と、
前記合成手段によって生成された合成画面内容を前記外部表示装置に送信することによって該外部表示装置側の表示内容を変更する表示制御手段と、
を備えたことを特徴とする表示端末装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の表示端末装置において、
前記判別手段により外部表示装置が接続されていると判別された場合に、接続されている外部表示装置が所定の装置であることを条件に、前記表示画面に表示されている表示内容を前記外部表示装置に送信する送信手段を更に備える、
ようにしたことを特徴とする表示端末装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の表示端末装置において、
前記合成手段によって生成された合成画面内容を前記外部表示装置に送信してからの経過時間を計測する時間計測手段を更に備え、
前記表示制御手段は、前記時間計測手段によって所定時間の経過が検出された際に、前記表示画面に表示中の表示内容を前記外部表示装置に送信する、
ようにしたことを特徴とする表示端末装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の表示端末装置において、
前記検出手段は、前記表示画面内の位置を指示するタッチ操作、前記表示画面に表示されている表示内容の変更を指示するタッチ操作、コマンドあるいはデータの入力を指示するタッチ操作のうち、少なくともそのいずれかのタッチ操作を検出する、
ようにしたことを特徴とする表示端末装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の表示端末装置において、
前記合成手段は、タッチ操作内容として、前記表示画面内の位置を指示するタッチ操作が行われた場合にはその位置を示すアイコン、前記表示画面に表示されている表示内容の変更を指示するタッチ操作が行われた場合にはその変更の種類を示すアニメーション画像、コマンドあるいはデータの入力を指示するタッチ操作が行われた場合にはその入力の種類を示すアニメーション画像を、前記表示画面に表示されている表示内容に合成する、
ようにしたことを特徴とする表示端末装置である。
（請求項８）
請求項８に記載の発明は、
コンピュータに対して、
表示画面上でのタッチ操作を検出する機能と、
前記表示画面に表示中の表示内容を外部表示装置に送信する外部送信モードが設定されているか否かを判別する機能と、
前記外部送信モードに設定されていると判別されている状態において、前記タッチ操作が検出された場合に、前記表示画面に表示されている表示内容にそのタッチ操作内容を合成した合成画面内容を生成する機能と、
前記合成生成された合成画面内容を前記外部表示装置に送信することによって該外部表示装置側の表示内容を変更する機能と、
を実現させるためのプログラムである。
（請求項９）
請求項９に記載の発明は、
コンピュータに対して、
表示画面上でのタッチ操作を検出する機能と、
外部表示装置が接続されているか否かを判別する機能と、
前記外部表示装置が接続されていると判別されている状態において、前記タッチ操作が検出された場合に、前記表示画面に表示されている表示内容にそのタッチ操作内容を合成した合成画面内容を生成する機能と、
前記合成生成された合成画面内容を前記外部表示装置に送信することによって該外部表示装置側の表示内容を変更する機能と、
を実現させるためのプログラムである。

１ＣＰＵ
３記憶部
６外部接続部
７タッチ表示部
１１携帯電話機
１２外部表示装置
１３スクリーン
１４操作情報

Claims

表示画面上の任意の位置をタッチ操作可能な表示端末装置であって、
前記表示画面用の表示情報を当該表示画面に表示すると共に、その表示情報を取得して外部表示装置へ送信するよう制御する制御手段と、
を具備し、
前記制御手段は、前記表示情報の表示される表示画面上における任意のタッチ操作を検出した際は、前記表示画面上における前記タッチ操作の位置を検出すると共に、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別かを判別することで、その判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像を選択し、その選択された操作イメージ画像を、前記表示情報の上記タッチ操作の検出位置近傍に合成し、その合成された表示情報を、当該表示画面上における表示情報の表示内容を変更することなく、前記外部表示装置へ送信するよう制御する、
ことを特徴とする表示端末装置。
表示画面上の任意の位置をタッチ操作可能な表示端末装置であって、
前記表示画面上に所定の表示情報を表示すると共に、当該表示情報と同様の表示情報が外部表示装置で表示されるように前記表示情報を送信する表示制御手段と、
前記表示画面上における任意のタッチ操作を検出した際は、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別の操作内容かを判別することで、前記外部表示装置で表示される表示内容が、当該表示端末装置に表示される表示内容と異なり、前記判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像が前記外部表示装置側で表示される表示情報内において合成された表示内容となるようにした第２表示情報を、前記外部表示装置へ送信する制御手段と、
を具備したことを特徴とする表示端末装置。
前記複数のタッチ操作の操作種別毎に、それぞれ異なるジェスチャイメージの操作アニメーション画像を前記操作イメージ画像として対応付けて記憶手段に記憶し、
前記制御手段は、前記表示画面上における前記タッチ操作の操作内容の操作種別を判別し、その判別した操作種別に対応して記憶された操作アニメーション画像を前記表示情報に合成する、
ことを特徴とする請求項１又は２に記載の表示端末装置。
前記制御手段は、当該表示端末装置に前記外部表示装置が接続されている場合に、前記生成された表示情報を取得して、その接続された外部表示装置へ送信するよう制御する、
ことを特徴とする請求項１〜３の何れかに記載の表示端末装置。
前記制御手段は、当該表示端末装置に接続される前記外部表示装置が、予め特定された特定外部装置か否かを判別し、特定外部装置が接続されている場合に、前記生成された表示情報を取得して、その接続された外部表示装置へ送信するよう制御する、
ことを特徴とする請求項４に記載の表示端末装置。
前記制御手段は、当該表示端末装置が外部送信モードに設定されている場合に、前記生成された表示情報を取得して、その接続された外部表示装置へ送信するよう制御する、
ことを特徴とする請求項１〜３の何れかに記載の表示端末装置。
前記制御手段は、前記タッチ操作の検出後の所定時間経過後にあっては前記外部表示装置で表示される表示内容が当該表示端末装置の前記表示画面に表示される表示内容と同様の表示内容になるように前記外部表示装置を制御する、
ことを特徴とする請求項１〜６の何れかに記載の表示端末装置。
表示画面上の任意の位置をタッチ操作可能な表示端末装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記表示画面用の表示情報を当該表示画面に表示すると共に、その表示情報を取得して外部表示装置へ送信するよう制御する制御手段、として機能させ、
前記制御手段は、前記表示情報の表示される表示画面上における任意のタッチ操作を検出した際は、前記表示画面上における前記タッチ操作の位置を検出すると共に、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別かを判別することで、その判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像を選択し、その選択された操作イメージ画像を、前記表示情報の上記タッチ操作の検出位置近傍に合成し、その合成された表示情報を、当該表示画面上における表示情報の表示内容を変更することなく、前記外部表示装置へ送信するよう制御する、
ことを特徴とするプログラム。
表示画面上の任意の位置をタッチ操作可能な表示端末装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記表示画面上に所定の表示情報を表示すると共に、当該表示情報と同様の表示情報が外部表示装置で表示されるように前記表示情報を送信する表示制御手段と、
前記表示画面上における任意のタッチ操作を検出した際は、そのタッチ操作の操作内容の操作種別が予め用意された複数の操作種別の内の何れの操作種別の操作内容かを判別することで、前記外部表示装置で表示される表示内容が、当該表示端末装置に表示される表示内容と異なり、前記判別された当該操作種別を、手の指によるジェスチャイメージで示す操作イメージ画像が前記外部表示装置側で表示される表示情報内において合成された表示内容となるようにした第２表示情報を、前記外部表示装置へ送信する制御手段、
として機能させるようにしたプログラム。