JP4244075B2

JP4244075B2 - Image display device

Info

Publication number: JP4244075B2
Application number: JP07860198A
Authority: JP
Inventors: 克之大村; 俊之古田; 貴史北口; 智彦別府; 隆夫井上
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-03-12
Filing date: 1998-03-12
Publication date: 2009-03-25
Anticipated expiration: 2018-03-12
Also published as: JPH11259237A

Description

【０００１】
【発明の属する技術分野】
この発明は、手指または筆記器具等によって指示した座標を入力するタッチパネルを有する画像表示装置、特に、多数の人を前にプレゼンテーションを行う場合に、大画面の画像表示装置に表示された画像の任意の位置を有効に指示することに関するものである。
【０００２】
【従来の技術】
近年、大画面の表示装置を用いてコンピュータ画像などによる画像を表示して、効果的なプレゼンテーションを行う例が増加している。このようなプレゼンテーションでは、画像を表示するためのパソコンに接続されたマウスなどのポインティング機器を発表者が操作して指示動作を行うことが多い。一方で、このようなプレゼンテーションでは、表示された画面を直接指し示して説明すると効果的であることがよく知られている。このためマウスなどのポインティング機器があるにもかかわらず、発表者が画面を手指で指し示したり、物理的な指示棒やレーザーポインタで指し示すことがよく行なわれている。しかしながら手指や指示棒あるいはレーザーポインタ等で画面を指し示した場合、発表者が指し示した画面の座標をコンピュータに取り込むことは不可能であり、コンピュータ画像によるプレゼンテーションの利点を活かすことができない。これを解決する手段として例えば特開平５−80925号公報に示すように、ポインティング装置に水平方向と垂直方向の傾きを検出するジャイロを設け、ポインティング装置が特定の方向に向けられると、その角度を検出して画像表示装置にデータを送り、画像表示装置の画面上のカーソルを移動させるようにして、発表者が画面に触れなくとも所望の座標を指示できるようにしている。また、より直接的な方法として、例えば特開平９−44304号公報等に示されているように、タッチパネルを表示装置の表面に設け、表示された画像に発表者が直接さわることによって、表示画像の指示動作を与えることができる方法も多く提案されている。
【０００３】
【発明が解決しようとする課題】
上記ポインティング装置にジャイロを設けてポインティング装置の角度から画面上のカーソルを移動させる方法は、発表者が画面方向を指し示すものの、直接画面を指し示すものではないとともにジャイロのドリフトの影響を受けやすく、指示動作が不安定になりやすい。また、タッチパネルを用いた方法は発表者が画像に直接触れる必要があるため、画面が大きくなった場合、画面全体にわたって指示動作をするためには、発表者が表示画面の前を横切る必要が生じたり、上端部の画像には手が届かないなどの不都合が生じる。
【０００４】
この発明はかかる短所を解消し、大画面に表示された画像を発表者が指示動作する場合に、発表者が自然な姿勢で画面に表示された画像を聴衆に向かって指示動作することができるタッチパネルを用いた画像表示装置を得ることを目的とするものである。
【０００５】
【課題を解決するための手段】
この発明に係る画像表示装置は、画像表示手段と接して配置された透明座標入力手段を有し、透明座標入力手段の表面に手指又は筆記手段を接触させた位置に相当する透明座標入力手段の座標データを入力する画像表示装置において、表示された画像の所望の部分をポイントするため画像表示面に表示された画像を縮小して表示するポイント操作領域を、使用者が指示した位置に、かつ各座標を画像表示面全領域内の各座標と対応させて表示し、表示したポイント操作領域のいずれかの位置が手指又は筆記手段でポイントされると、画像表示面に表示された画像の対応する位置にポインタを移動し、ポインタを移動後、ポイント操作領域内のその位置を手指又は筆記手段でたたくと画像表示面に表示されたポインタはポイント状態に移行し、当該ポイント状態に応じてポイント操作領域の表示色を変えることを特徴とする。
【０００６】
この発明に係る第２の画像表示装置は、画像表示手段と接して配置された透明座標入力手段を有し、透明座標入力手段の表面に手指又は筆記手段を接触させた位置に相当する透明座標入力手段の座標データを入力する画像表示装置において、表示された画像の所望の部分をポイントするため画像表示面に表示された画像を縮小して表示するポイント操作領域を、使用者が指示した位置に、かつ各座標を画像表示面全領域内の各座標と対応させて表示し、表示したポイント操作領域に手指又は筆記手段を接触しながら移動して画像表示面に表示された画像のいずれかのオブジェクトまでポインタを移動後、ポイント操作領域内のその位置を手指又は筆記手段でたたくと画像表示面に表示された画像の対応するオブジェクトのポイント状態に移行し、当該ポイント状態に応じてポイント操作領域の表示色を変えることを特徴とする。
【０００７】
この発明に係る第３の画像表示装置は、画像表示手段と接して配置された透明座標入力手段を有し、透明座標入力手段の表面に手指又は筆記手段を接触させた位置に相当する透明座標入力手段の座標データを入力する画像表示装置において、表示された画像の所望の部分をポイントするため画像表示面に表示された画像を縮小して表示するポイント操作領域を、使用者が指示した位置に、かつ各座標を画像表示面全領域内の各座標と対応させて表示し、表示したポイント操作領域のいずれかの位置に手指又は筆記手段を移動後、その位置を手指又は筆記手段でたたくと、画像表示面に表示された画像の対応する位置のポイント状態に移行し、当該ポイント状態に応じてポイント操作領域の表示色を変えることを特徴とする。
【０００８】
この発明に係る第４の画像表示装置は、画像表示手段と接して配置された透明座標入力手段を有し、透明座標入力手段の表面に手指又は筆記手段を接触させた位置に相当する透明座標入力手段の座標データを入力する画像表示装置において、表示された画像の所望の部分をポイントするため画像表示面に表示された画像を縮小して表示するポイント操作領域を、使用者が指示した位置に、かつ各座標を画像表示面全領域内の各座標と対応させて表示し、表示したポイント操作領域のいずれかの位置に手指又は筆記手段を移動後、その位置を手指又は筆記手段で複数回たたくと、画像表示面に表示された画像の対応する位置を、たたく回数に応じたいずれかのポイント状態とし、当該ポイント状態に応じてポイント操作領域の表示色を変えることを特徴とする。
【００１０】
【発明の実施の形態】
この発明の画像表示装置は、画像表示手段と画像表示手段の表面に設けられたタッチパネルを有する。この画像表示装置の制御部は、ＣＰＵとＲＯＭとＲＡＭと送信部と受信部とポインタ領域作成部とポインタ移動部及びポイント指示部を有する。
【００１１】
上記のように構成された画像表示装置の画像表示手段の表示画面の大きさが、例えば対角で100インチ程度の大きさの場合、画面の向かって左端に立った発表者が右端上方の表示点を直接ポイントするのは困難である。そこで、ＣＰＵは画像表示手段の画面のすみに例えば押しボタンなどのアイコンでポイント操作領域作成を選択するアイコンを表示しておく。このアイコンにより発表者がポイント操作領域の作成を選択し、ポイント操作領域を作成する位置を指示すると、ポインタ領域作成部は、画像表示手段とタッチパネルを指示された大きさに縮小し、画像表示手段の指示された位置に矩形のポイント操作領域を作成して表示する。この表示されたポイント操作領域を確認した発表者は表示画面上の表示点を直接ポイントする代わりにポイント操作領域内の表示画面上の表示点に対応する位置をポイントする。発表者がポイント操作領域内の表示画面上の表示点に対応する位置をポイントすると、ポインタ移動部は表示画面上のポインタを表示点に移動して表示点を指示する。このようにして大画面上の発表者の手が届かない表示点を簡単かつ正確にポイントすることができる。
【００１２】
【実施例】
図１はこの発明の一実施例の外観図である。図に示すように画像表示装置１は画像表示手段２及び画像表示手段２の表面に設けられ例えば超音波表面弾性波を用いたタッチパネル３を有する大画面ディスプレイ装置からなる。画像表示装置１の制御部４は、図２のブロック図に示すように、ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３と送信部４４と受信部４５と増幅器４６と検波器４７とＡ／Ｄ変換器４８とポインタ領域作成部４９とポインタ移動部５０及びポイント指示部５１を有する。ＣＰＵ４１は装置全体を管理する。送信部４４はバースト波を電気的に発生し、発生した電気振動をタッチパネル３に送る。タッチパネル３上のトランスデューサ３１は送られた電気振動を機械振動に変換しタッチパネル３上に表面弾性波を送出する。この送出された表面弾性波は直進性を持ち、ほぼ直進的に進行する。直進的に進行する表面弾性波はタッチパネル３上の第一の反射素子３２により一部は90度反射され一部は透過する。透過した表面弾性波は次の第一の反射素子３２により同様な作用を受ける。このようにして反射作用を受けた表面弾性波はタッチパネル３の垂直軸に対して平行である時間差を持って進行する。この時間差を持った表面弾性波は第二の反射素子により再度90度反射を受ける。再度反射を受けた表面弾性波は一つの経路を通り、タッチパネル３の中央部に対して線対称に配置されたトランスデューサ３１に受信される。この受信用のトランスデューサ３１で機械振動を再度電気振動に変換して受信部４５へ送る。この受信部４５で受信した電気振動は非常に小さいため、増幅器４６で増幅したのち検波器４７によって整流され、図３及び図４に示すような波形に変換される。この波形をＡ／Ｄ変換器４８でディジタル化しＲＡＭ４３に格納する。ここで図３に示した波形はタッチパネル３に指先等が非接触時の受信波形であり、時間軸に対して示される受信波形はタッチパネル３上の送受信部分から反射素子３２に沿った位置に対応する。図４に示した波形はタッチパネル３に指先等が接触したときの受信波形である。指先等が接触したタッチパネル３上を通過する表面弾性波は接触により減衰を受けるため、その位置に対応する受信信号レベルは小さくなる。この非接触時の受信波形をＲＡＭ４３に格納し、接触時の受信波形と比較することにより指先等が接触した位置を確定することができる。すなわち、接触位置は減衰の個所が最大になる部分で、その位置を細かく観察し求めるか、受信波形を微分してゼロクロスする位置を接触位置としている。この接触位置検出をＸ方向とＹ方向で行うことによりタッチパネル３上の接触位置を検出できる。
【００１３】
上記のように構成された画像表示装置１で、例えば図１に示すように、画像表示手段２の表示画面上の点Ａを指示する場合の動作を図５の表示図と図６のフローチャートを参照して説明する。通常の動作状態では画像表示装置１を使用している発表者が指先で画面２１上の点Ａに触れたときに、発表者が点Ａを指示したと見なしてポインタ６を点Ａに移動する。この画像表示手段２の表示画面の大きさが、例えば対角で100インチ程度の大きさの場合、画面の向かって左端に立った発表者が右端上方の点Ａを直接ポイントするのは困難である。そこで、ＣＰＵ４１は画像表示手段２の画面のすみに例えば押しボタンなどのアイコンでポイント操作領域作成を選択するアイコンを表示しておく。このアイコンにより発表者がポイント操作領域の作成を選択し、ポイント操作領域を作成する位置を指示すると（ステップＳ１，Ｓ２）、ポインタ領域作成部４９は、図５に示すように、画像表示手段２とタッチパネル３を指示された大きさに縮小し、矩形のポイント操作領域７を作成して画像表示手段３に表示する（ステップＳ３）。このポイント操作領域７を確認した発表者は表示画面２１上の点Ａを直接ポイントする代わりにポイント操作領域７内の点Ａに対応する点Ｂをポイントすると（ステップＳ４）、ポインタ移動部５０はポインタ６を表示画面２１上の点Ａに移動して点Ａを指示する（ステップＳ５）。このようにして大画面上の手が届かない点Ａを直接的にポイントすることができる。
【００１４】
上記図１に示した通常の動作状態の画像表示手段２の表示画面２１に、図５に示すようにポインタ領域作成部４９でポイント操作領域７を表示し、表示したポイント操作領域７を消去するときの動作を図７の処理工程図と図８のフローチャートを参照して詳細に説明する。図７（ａ）に示すように、通常の動作状態の画像表示手段２の画面２１で発表者が、あらかじめ定義されている幾何学的特徴をもつループ状の軌跡、例えば長方形に近い軌跡２２を描くと、ＣＰＵ４１は発表者の指先５がタッチパネル３に触ったことを判断し、その時点から指先５がタッチパネル３から離れるまでのタッチ座標と時刻をＲＡＭ４３に連続的に記録する（ステップＳ１１〜Ｓ１３）。ポインタ領域作成部４９はＲＡＭ４３に記録された座標と時刻のデータ列から発表者が線画を描画したのかタッチパネル３に触って点をポイント指示したのかを判断する（ステップＳ１４）。ポインタ領域作成部４９は図７（ａ）に示すように線画を描画したものと判断すると、描かれた線画２２による描画パターンの重心計算を行ない（ステップＳ１５）、パターンの種別を識別し（ステップＳ１６）、識別したパターンが例えば長方形と判断した場合、描画パターンの重心位置を基準にして、図７（ｂ）に示すようにポイント操作領域７を作成して画面２１に表示する（ステップＳ１７）。この状態で発表者がタッチパネル３に触って画面２１上の点Ａに対応する点Ｂをポイント指示すると、ポインタ領域作成部４９はポイント指示がされたと判定する（ステップＳ１１〜Ｓ１４）。ポインタ移動部５０はポインタ領域作成部４９でポイント指示がされたと判定すると、画面２１上のポインタ６をポイント指示された点Ｂと対応する画面２１の点Ａに移動して表示する（ステップＳ１８）。この状態で発表者により、図７（ｃ）に示すように非ループ状の軌跡２３がポイント操作領域７に描画され、軌跡２３のタッチ座標と時刻がＲＡＭ４３に記憶されると、ポインタ領域作成部４９は描画された軌跡２３を抹消図形と判断して画面２１からポイント操作領域７を消去する（ステップＳ１９，Ｓ２０）。このポイント操作領域７を消去するときにポイント操作領域７の重心に対して軌跡２３の重心とが、あらかじめ設定された値より近い距離にあったときに、軌跡２３を抹消図形と判断することにより動作の冗長性を抑えることができる。
【００１５】
次に、上記のようにポイント操作領域７内の点Ｂをポイント指示したときに、指示された点Ｂの座標を画面２１の点Ａの座標に座標変換するときの処理を説明する。ポイント操作領域７が画像表示手段２とタッチパネル３を一定の縮小率で縮小して表示されている場合、図５に示すように画面２１の例えば左下端部を原点Ｏ１として画面２１の各点をＸ−Ｙ座標で表わし、原点Ｏ１と対角の点Ｃ１の座標を（ｘ１ｅ，ｙ１ｅ）とし、原点Ｏ１に対応するポイント操作領域７の左下端部をポイント操作領域７の原点Ｏ２とし、点Ｃ１に対応するポイント操作領域７の点Ｃ２の座標を（ｘ２ｅ，ｙ２ｅ）とすると、ポイント操作領域７の各点の座標（ｘ２，ｙ２）は画面２１の各点の座標（ｘ１，ｙ１）に対して座標（ｘ１ｅ，ｙ１ｅ）と座標（ｘ２ｅ，ｙ２ｅ）で定まる係数ｋを介して一対一で対応する。したがってポインタ移動部５０はポイント操作領域７でポイントされた点Ｂの座標（ｘ２ｂ，ｙ２ｂ）から画面２１の点Ａの座標（ｘ１ａ，ｙ１ａ）に変換することができ、ポインタ６を確実に点Ａに移動することができる。
【００１６】
この場合、ポイント操作領域７内の各点が画面２１上の各点に一対一で対応するから、ポイント操作領域７は利用者に対して画面２１全体の縮小画面と等価に認識される。そこでポイント操作領域７を表示するときに、図９に示すように、画面２１全体に表示されている文字や図形などのオブジェクト２４を縮小した相似の縮小オブジェクト２５をポイント操作領域７上に表示することができる。
【００１７】
上記指示された点Ｂの座標を画面２１の点Ａの座標に座標変換する処理はポイント操作領域７でポイントされた点Ｂの座標（ｘ２ｂ，ｙ２ｂ）から画面２１の点Ａの座標（ｘ１ａ，ｙ１ａ）に変換する場合について示したが、画面２１上のポインタ６を直接移動することもできる。この場合の処理を図１０を参照して説明する。ポイント操作領域７内の座標移動の相対値は画面２１上のポインタ６の移動の相対値に対して上記係数ｋを介して対応する。したがって発表者がポイント操作領域７内のタッチパネル３上の任意の点Ｄ（ｘ２１，ｙ２１）に触れながら点Ｅ（ｘ２２，ｙ２２）に移動して画面２１上のポインタ６の表示位置Ｆ（ｘ１１，ｙ１１）の移動を指示すると、ポイント操作領域７内で指示された座標データ列がＸ２−Ｙ２座標で入力される。この入力された座標データ列を微分または差分演算することにより入力された座標の変化（ｄｘ２，ｄｙ２）が適当な時間間隔で演算される。このポイント操作領域７内でのタッチ座標の時間変化と上記係数ｋを乗算した座標の変化（ｄｘ１，ｄｙ１）により画面２１上のポインタ６の座標（ｘ１１，ｙ１１）を変化させて表示することができる。この場合ポイント操作領域７内の点Ｄは画面２１のポインタ６の表示位置Ｆに一対一で対応しなくても良く、座標の変化分（ｄｘ２，ｄｙ２）を係数ｋを介して画面２１上の点Ｆの座標変化に対応させることができ、マウスを操作するのと同じ感覚で画面２１上のポインタ６を操作することができる。
【００１８】
このマウスを操作するのと同じ感覚で画面２１上のポインタ６を操作する処理とポイント操作領域７でポイントされた点Ｂの座標を使用した処理を利用者が必要に応じて切り換えて使用すると、マウスエミュレーションと絶対座標によるポイント指示動作をそのときの状況に応じて使い分けることができる。
【００１９】
上記画像表示装置１はコンピュータによって生成された画像を表示することを前提にしている。表示された画像中のオブジェクトを移動したり、オペレーティングシステムのアイコンやウィンドウを移動させる際に、通常のマウス操作ではアイコンをオブジェクトの上に移動させ、ボタンを押し下げ（ポイント動作）そのまま希望の位置まで移動させる動作を行う。これは通常、ドラッグという動作として知られている。そこで画像表示装置１で画面２１上にポイント操作領域７を表示し、その内部の座標をポイントすることで、画面２１全体にわたってポインタを動かすときのドラッグ動作を行う場合の動作について説明する。画像表示装置１はタッチパネル３に触ったことと、その座標変化からポインタを動かすので、通常のマウスにあるようなボタン機構を持たない。そこで通常のマウスに代わる動作を実現する方法として、ポイント操作領域７内で目的の座標までカーソルを持ってゆき、その場所で指によりオブジェクト表示面をたたく動作を行う。例えば図１１は指先５のタッチパネル３への接触状態の時間変化を示している。時間Ｔ１でタッチパネル３のポイント操作領域７に指先５を接触させて移動し、画面２１の所望のオブジェクトまでポインタ６を移動する。時間Ｔ２で所望のオブジェクトまでポインタ６を移動したら、指先５をタッチパネル３から一旦離して、時間Ｔ３でその場所のオブジェクトを指先でたたく。この動作が終了した時点Ｔ４からポイント指示部５１は所望のオブジェクトを選択しマウスボタンを押し下げた状態（ポイント状態）に移行する。この判断は、例えば適当な時間間隔以内でタッチパネル３のポイント操作領域７に対する接触と非接触状態が切り替わったことによって判断できる。また、ポイント指示部５１はポイント操作領域７の表示色を非ポイント状態での第一色から第二色に変える。この表示色の変化により機械的なボタンがない場合でも、利用者はポイント状態に変わったことを確実に認識することができる。この状態でポイント操作領域７に指先５を再度接触させてポイントしたオブジェクトを移動して時間Ｔ５で離すことにより、オブジェクトの移動が完了するとともにオブジェクトのポイント状態が解除される。
【００２０】
上記実施例ではポイント状態に移行するときに、時間Ｔ３でポイント操作領域７を一回のたたく動作を行った場合について説明したが、複数回たたく場合のたたく回数によってポイント指示部５１でいくつかの状態を選択的に指定するようにしても良い。さらに、ポイント操作領域７をたたいて状態を変える状態遷移過程のとき、ポイント操作領域７の表示色を第三色に切り替えることにより、利用者は現在の状態が状態遷移過程にあることを認識でき、誤動作を軽減することができる。
【００２１】
【発明の効果】
この発明は以上説明したように、表示された画像の表示点をポイントするためのポインタ操作領域を使用者の指示により所望の位置に表示し、ポイント操作領域内の表示画面上の表示点に対応する位置をポイントして表示画面上のポインタを表示点に移動して指示するようにしたから、大画面上の発表者の手が届かない表示点を簡単かつ正確にポイントすることができる。
【００２２】
また、ポイント状態に移行したとき、そのポイント状態に応じてポイント操作領域の表示色を変えるから、ポイント動作時の誤動作や誤操作を軽減することができる。
【００２７】
さらに、ポイント操作領域内を１回若しくは複数回たたくことにより、たたく回数に応じたいずれかのポイント状態を得ることができるから、大型画面のポイント動作を簡単に行なうことができる。この複数のポイント状態を得たとき、ポイント状態に応じてポイント操作領域の表示色を変えることにより、ポイント動作時の誤動作や誤操作を軽減することができる。
【図面の簡単な説明】
【図１】この発明の実施例の外観図である。
【図２】上記実施例の制御部の構成を示すブロック図である。
【図３】タッチパネルに非接触時の波形図である。
【図４】タッチパネルに接触時の波形図である。
【図５】ポイント操作領域を表示した画面の表示図である。
【図６】ポイント操作の動作を示すフローチャートである。
【図７】ポイント操作領域の表示と消去を示す処理工程図である。
【図８】ポイント操作領域の表示と消去の処理を示すフローチャートである。
【図９】表示画面の表示内容をポイント操作領域に表示した表示図である。
【図１０】座標の変化分によるポインタの移動動作を示す説明図である。
【図１１】ポイント操作領域の操作によるドラッグ動作を示すタイムチャートである。
【符号の説明】
１画像表示装置
２画像表示手段
３タッチパネル
４制御部
６ポインタ
７ポイント操作領域
２１画面
４１ＣＰＵ
４２ＲＯＭ
４３ＲＡＭ
４４送信部
４５受信部
４９ポインタ領域作成部
５０ポインタ移動部
５１ポイント指示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display device having a touch panel for inputting coordinates designated by a finger or a writing instrument, and in particular, an arbitrary image displayed on a large-screen image display device when a presentation is made in front of a large number of people. It is related to effectively indicating the position of.
[0002]
[Prior art]
In recent years, there have been increasing examples in which an effective presentation is performed by displaying an image such as a computer image using a large-screen display device. In such a presentation, a presenter often operates a pointing device such as a mouse connected to a personal computer for displaying an image to perform an instruction operation. On the other hand, in such a presentation, it is well known that it is effective to point and explain the displayed screen directly. For this reason, even though there is a pointing device such as a mouse, the presenter often points the screen with a finger, or with a physical pointing rod or a laser pointer. However, when the screen is pointed with a finger, a pointing stick, a laser pointer, or the like, it is impossible to capture the coordinates of the screen pointed to by the presenter into the computer, and it is not possible to take advantage of the presentation by the computer image. As means for solving this, for example, as shown in Japanese Patent Laid-Open No. 5-80925, a gyro for detecting the inclination in the horizontal direction and the vertical direction is provided in the pointing device, and when the pointing device is directed in a specific direction, the angle is changed. The data is detected and sent to the image display device, and the cursor on the screen of the image display device is moved so that the presenter can designate the desired coordinates without touching the screen. Further, as a more direct method, for example, as shown in Japanese Patent Application Laid-Open No. 9-44304, a touch panel is provided on the surface of the display device, and the presenter directly touches the displayed image so that the displayed image is displayed. Many methods have been proposed that can provide the instruction operation.
[0003]
[Problems to be solved by the invention]
The pointing device has a gyro and moves the cursor on the screen from the pointing device's angle. Although the presenter points to the screen direction, the presenter does not point directly to the screen and is easily affected by gyro drift. Operation is likely to be unstable. In addition, the method using the touch panel requires the presenter to touch the image directly. Therefore, when the screen becomes large, the presenter needs to cross the front of the display screen in order to perform an instruction operation over the entire screen. Or inconvenience occurs such that the upper end image is out of reach.
[0004]
The present invention eliminates such disadvantages, and when the presenter instructs and operates the image displayed on the large screen, the presenter can direct and operate the image displayed on the screen in a natural posture toward the audience. The object is to obtain an image display device using a touch panel.
[0005]
[Means for Solving the Problems]
The image display device according to the present invention has transparent coordinate input means arranged in contact with the image display means, and is a transparent coordinate input means corresponding to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means. In the image display device for inputting coordinate data, a point operation area for displaying a reduced image displayed on the image display surface in order to point to a desired portion of the displayed image is at a position designated by the user, and Each coordinate is displayed in correspondence with each coordinate in the entire area of the image display surface, and if any position of the displayed point operation area is pointed with a finger or writing means, the correspondence of the image displayed on the image display surface move the pointer to a position, after moving the pointer, the pointer displayed on the image display surface when hit by finger or writing means the position of the point operating region shifts to point state, And wherein the changing the display color of point manipulation region in response to the point state.
[0006]
The second image display device according to the present invention has transparent coordinate input means arranged in contact with the image display means, and corresponds to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means. In the image display device for inputting the coordinate data of the input means, the position instructed by the user for the point operation area for displaying the image displayed on the image display screen in a reduced size in order to point to a desired portion of the displayed image Any one of the images displayed on the image display surface by displaying each coordinate in correspondence with each coordinate in the entire area of the image display surface and moving the displayed point operation region while touching a finger or writing means. after moving the pointer to the object, it shifts the position of the point operating region to the point state of the corresponding objects striking the image displayed on the image display surface in fingers or writing means Characterized by changing the display color of point operating area in accordance with the point state.
[0007]
A third image display device according to the present invention has transparent coordinate input means arranged in contact with the image display means, and corresponds to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means. In the image display device for inputting the coordinate data of the input means, the position instructed by the user for the point operation area for displaying the image displayed on the image display screen in a reduced size in order to point to a desired portion of the displayed image In addition, each coordinate is displayed in correspondence with each coordinate in the entire area of the image display surface, the finger or writing means is moved to any position in the displayed point operation area, and then the position is tapped with the finger or writing means. And a point state at a corresponding position of the image displayed on the image display surface, and the display color of the point operation area is changed according to the point state.
[0008]
A fourth image display device according to the present invention has transparent coordinate input means arranged in contact with the image display means, and corresponds to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means. In the image display device for inputting the coordinate data of the input means, the position instructed by the user for the point operation area for displaying the image displayed on the image display screen in a reduced size in order to point to a desired portion of the displayed image In addition, each coordinate is displayed in correspondence with each coordinate in the entire area of the image display surface, and the finger or writing means is moved to any position in the displayed point operation area, and then the position is pluralized by the finger or writing means. tapping times, the corresponding position of the image displayed on the image display surface, either as point state according to the number of times the clap, changing the display color of point operating area in accordance with the point state this The features.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The image display device of the present invention has an image display means and a touch panel provided on the surface of the image display means. The control unit of the image display apparatus includes a CPU, a ROM, a RAM, a transmission unit, a reception unit, a pointer area creation unit, a pointer movement unit, and a point instruction unit.
[0011]
When the size of the display screen of the image display means of the image display apparatus configured as described above is, for example, about 100 inches diagonally, the presenter standing at the left end of the screen displays the upper right end. It is difficult to point a point directly. Therefore, the CPU displays an icon for selecting the point operation area creation with an icon such as a push button at the end of the screen of the image display means. When the presenter selects creation of the point operation area by this icon and designates the position to create the point operation area, the pointer area creation unit reduces the image display means and the touch panel to the designated size, and the image display means. A rectangular point operation area is created and displayed at the indicated position. The presenter who has confirmed the displayed point operation area points to a position corresponding to the display point on the display screen in the point operation area instead of directly pointing to the display point on the display screen. When the presenter points to a position corresponding to a display point on the display screen in the point operation area, the pointer moving unit moves the pointer on the display screen to the display point and designates the display point. In this way, it is possible to easily and accurately point to a display point on the large screen that cannot be reached by the presenter.
[0012]
【Example】
FIG. 1 is an external view of an embodiment of the present invention. As shown in the figure, the image display device 1 includes an image display means 2 and a large screen display device having a touch panel 3 using, for example, ultrasonic surface acoustic waves, provided on the surface of the image display means 2. As shown in the block diagram of FIG. 2, the control unit 4 of the image display apparatus 1 includes a CPU 41, a ROM 42, a RAM 43, a transmission unit 44, a reception unit 45, an amplifier 46, a detector 47, an A / D converter 48, and a pointer area. A creation unit 49, a pointer moving unit 50, and a point instruction unit 51 are included. The CPU 41 manages the entire apparatus. The transmission unit 44 electrically generates a burst wave and sends the generated electric vibration to the touch panel 3. The transducer 31 on the touch panel 3 converts the transmitted electrical vibration into mechanical vibration and sends a surface acoustic wave onto the touch panel 3. The transmitted surface acoustic wave has straightness and travels almost straight. A part of the surface acoustic wave that travels in a straight line is reflected by the first reflecting element 32 on the touch panel 3 by 90 degrees and partly transmitted. The transmitted surface acoustic wave is subjected to the same action by the next first reflecting element 32. The surface acoustic wave thus subjected to the reflection action travels with a time difference parallel to the vertical axis of the touch panel 3. The surface acoustic wave having this time difference is again reflected by 90 degrees by the second reflecting element. The surface acoustic wave that has been reflected again passes through one path and is received by the transducer 31 that is arranged line-symmetrically with respect to the central portion of the touch panel 3. This receiving transducer 31 converts the mechanical vibration into electric vibration again and sends it to the receiving unit 45. Since the electrical vibration received by the receiving unit 45 is very small, it is amplified by the amplifier 46, rectified by the detector 47, and converted into waveforms as shown in FIGS. This waveform is digitized by the A / D converter 48 and stored in the RAM 43. Here, the waveform shown in FIG. 3 is a reception waveform when a fingertip or the like is not in contact with the touch panel 3, and the reception waveform shown with respect to the time axis corresponds to a position along the reflective element 32 from the transmission / reception portion on the touch panel 3. To do. The waveform shown in FIG. 4 is a received waveform when a fingertip or the like touches the touch panel 3. Since the surface acoustic wave passing through the touch panel 3 touched by the fingertip or the like is attenuated by the contact, the received signal level corresponding to the position becomes small. The received waveform at the time of non-contact is stored in the RAM 43, and the position touched by the fingertip or the like can be determined by comparing with the received waveform at the time of contact. That is, the contact position is a portion where the attenuation is maximized, and the position is determined by observing the position in detail, or the position where the received waveform is differentiated and zero-crossed is set as the contact position. By performing the contact position detection in the X direction and the Y direction, the contact position on the touch panel 3 can be detected.
[0013]
In the image display device 1 configured as described above, for example, as shown in FIG. 1, the operation when the point A on the display screen of the image display means 2 is indicated is shown in the display diagram of FIG. 5 and the flowchart of FIG. The description will be given with reference. In a normal operation state, when the presenter using the image display apparatus 1 touches the point A on the screen 21 with the fingertip, the presenter assumes that the presenter has indicated the point A and moves the pointer 6 to the point A. . When the size of the display screen of the image display means 2 is, for example, about 100 inches diagonally, it is difficult for a presenter standing at the left end of the screen to point directly at the point A above the right end. is there. Therefore, the CPU 41 displays an icon for selecting point operation area creation with an icon such as a push button at the end of the screen of the image display means 2. When the presenter selects creation of the point operation area by this icon and indicates a position for creating the point operation area (steps S1 and S2), the pointer area creation unit 49, as shown in FIG. The touch panel 3 is reduced to the instructed size, and a rectangular point operation area 7 is created and displayed on the image display means 3 (step S3). When the presenter confirming the point operation area 7 points to the point B corresponding to the point A in the point operation area 7 instead of directly pointing to the point A on the display screen 21 (step S4), the pointer moving unit 50 The pointer 6 is moved to the point A on the display screen 21 to indicate the point A (step S5). In this way, the point A that cannot be reached on the large screen can be pointed directly.
[0014]
As shown in FIG. 5, the pointer operation area 7 is displayed on the display screen 21 of the image display means 2 in the normal operation state shown in FIG. 1, and the displayed point operation area 7 is erased. The operation at that time will be described in detail with reference to the processing step diagram of FIG. 7 and the flowchart of FIG. As shown in FIG. 7A, the presenter displays a loop-like trajectory having a predefined geometric feature, for example, a trajectory 22 close to a rectangle, on the screen 21 of the image display means 2 in a normal operation state. After drawing, the CPU 41 determines that the presenter's fingertip 5 has touched the touch panel 3, and continuously records the touch coordinates and time until the fingertip 5 leaves the touch panel 3 in the RAM 43 (steps S 11 to S 13). ). The pointer area creation unit 49 determines whether the presenter has drawn a line drawing or touched the touch panel 3 and pointed a point from the coordinate and time data sequence recorded in the RAM 43 (step S14). If the pointer area creation unit 49 determines that a line drawing has been drawn as shown in FIG. 7A, it calculates the center of gravity of the drawing pattern based on the drawn line drawing 22 (step S15), and identifies the pattern type (step S15). S16) When it is determined that the identified pattern is, for example, a rectangle, the point operation area 7 is created and displayed on the screen 21 as shown in FIG. 7B based on the barycentric position of the drawing pattern (step S17). . In this state, when the presenter touches the touch panel 3 and points the point B corresponding to the point A on the screen 21, the pointer area creating unit 49 determines that the point instruction is given (steps S11 to S14). When the pointer moving unit 50 determines that the point instruction is given by the pointer area creating unit 49, the pointer 6 on the screen 21 is moved to the point A on the screen 21 corresponding to the point B pointed to and displayed (step S18). . In this state, when the presenter draws a non-loop-like locus 23 in the point operation area 7 and stores the touch coordinates and time of the locus 23 in the RAM 43 as shown in FIG. 49 determines that the drawn locus 23 is an erased figure, and deletes the point operation area 7 from the screen 21 (steps S19 and S20). When the point operation area 7 is deleted, when the center of gravity of the locus 23 is closer to the center of gravity of the point operation area 7 than a preset value, the locus 23 is determined to be an erased figure. Operation redundancy can be suppressed.
[0015]
Next, a process when the coordinate of the designated point B is converted into the coordinate of the point A on the screen 21 when the point B is pointed in the point operation area 7 as described above will be described. When the point operation area 7 is displayed with the image display means 2 and the touch panel 3 reduced at a constant reduction rate, as shown in FIG. 5, each point on the screen 21 is set with the lower left end of the screen 21 as the origin O1, for example. Expressed in XY coordinates, the coordinates of the point C1 diagonal to the origin O1 are (x1e, y1e), the lower left corner of the point operation area 7 corresponding to the origin O1 is the origin O2 of the point operation area 7, and the point C1 If the coordinates of the point C2 of the point operation area 7 corresponding to is (x2e, y2e), the coordinates (x2, y2) of each point of the point operation area 7 are relative to the coordinates (x1, y1) of each point on the screen 21. The coordinates (x1e, y1e) and the coefficient k determined by the coordinates (x2e, y2e) correspond one-to-one. Therefore, the pointer moving unit 50 can convert the coordinates (x2b, y2b) of the point B pointed in the point operation area 7 to the coordinates (x1a, y1a) of the point A on the screen 21, and the pointer 6 can be surely converted to the point A. Can be moved to.
[0016]
In this case, since each point in the point operation area 7 corresponds to each point on the screen 21 on a one-to-one basis , the point operation area 7 is recognized equivalent to a reduced screen of the entire screen 21 by the user. Therefore, when the point operation area 7 is displayed, as shown in FIG. 9, a similar reduced object 25 obtained by reducing the object 24 such as characters and figures displayed on the entire screen 21 is displayed on the point operation area 7. be able to.
[0017]
The process of converting the coordinates of the designated point B into the coordinates of the point A on the screen 21 is performed from the coordinates (x2b, y2b) of the point B pointed in the point operation area 7 to the coordinates (x1a, Although the case of conversion to y1a) has been shown, the pointer 6 on the screen 21 can also be moved directly. Processing in this case will be described with reference to FIG. The relative value of the coordinate movement in the point operation area 7 corresponds to the relative value of the movement of the pointer 6 on the screen 21 via the coefficient k. Therefore, the presenter moves to a point E (x22, y22) while touching an arbitrary point D (x21, y21) on the touch panel 3 in the point operation area 7 to display the display position F (x11, y) of the pointer 6 on the screen 21. When the movement of y11) is instructed, the coordinate data string instructed in the point operation area 7 is input in X2-Y2 coordinates. A change (dx2, dy2) of the input coordinates is calculated at an appropriate time interval by differentiating or calculating a difference of the input coordinate data string. The coordinate (x11, y11) of the pointer 6 on the screen 21 can be changed and displayed by the change (dx1, dy1) of the coordinate obtained by multiplying the touch coordinate in the point operation area 7 by the time and the coefficient k. it can. In this case, the point D in the point operation area 7 may not correspond to the display position F of the pointer 6 on the screen 21 on a one-to-one basis, and the coordinate change (dx2, dy2) is displayed on the screen 21 via the coefficient k. The coordinate change of the point F can be handled, and the pointer 6 on the screen 21 can be operated with the same feeling as operating the mouse.
[0018]
When the user switches between the process of operating the pointer 6 on the screen 21 and the process using the coordinates of the point B pointed in the point operation area 7 as if operating the mouse, You can use mouse emulation and point indication operation by absolute coordinates according to the situation at that time.
[0019]
The image display device 1 is premised on displaying an image generated by a computer. When moving an object in the displayed image or moving an operating system icon or window, with normal mouse operation, the icon is moved over the object and the button is pressed down (point operation) to the desired position. Perform the movement. This is usually known as a drag operation. Therefore, an operation in the case of performing a drag operation when the pointer is moved over the entire screen 21 by displaying the point operation area 7 on the screen 21 by the image display device 1 and pointing the coordinates inside thereof will be described. The image display device 1 does not have a button mechanism as in a normal mouse because the pointer is moved by touching the touch panel 3 and the coordinate change. Therefore, as a method for realizing an operation in place of a normal mouse, the user moves the cursor to the target coordinates in the point operation area 7 and performs an operation of hitting the object display surface with a finger at that position. For example, FIG. 11 shows a temporal change in the contact state of the fingertip 5 with the touch panel 3. At time T1, the fingertip 5 is brought into contact with the point operation area 7 of the touch panel 3 and moved, and the pointer 6 is moved to a desired object on the screen 21. When the pointer 6 is moved to a desired object at time T2, the fingertip 5 is once released from the touch panel 3, and the object at that location is hit with the fingertip at time T3. From time T4 when this operation is completed, the point instruction unit 51 selects a desired object and shifts to a state where the mouse button is pressed (point state). This determination can be made, for example, by switching between the contact with the point operation area 7 of the touch panel 3 and the non-contact state within an appropriate time interval. Further, the point instruction unit 51 changes the display color of the point operation area 7 from the first color in the non-point state to the second color. Even when there is no mechanical button due to the change in the display color, the user can surely recognize the change to the point state. In this state, the fingertip 5 is brought into contact with the point operation area 7 again to move the pointed object and release at time T5, whereby the movement of the object is completed and the point state of the object is released.
[0020]
In the above embodiment, the case where the point operation area 7 is struck once at the time T3 when shifting to the point state has been described. The state may be selectively designated. Further, in the state transition process in which the state is changed by hitting the point operation area 7, the user recognizes that the current state is in the state transition process by switching the display color of the point operation area 7 to the third color. And malfunction can be reduced.
[0021]
【The invention's effect】
As described above, the present invention displays the pointer operation area for pointing the display point of the displayed image at a desired position according to the user's instruction, and corresponds to the display point on the display screen in the point operation area. Since the point on the display screen is pointed and the pointer on the display screen is moved to the display point, the display point on the large screen that cannot be reached by the presenter can be pointed easily and accurately.
[0022]
In addition, since the display color of the point operation area is changed according to the point state when the point state is entered, it is possible to reduce malfunctions and erroneous operations during the point operation.
[0027]
Moreover, by tapping one or more times a point operation region, since it is possible to obtain any point state according to the number of times tapping can be performed easily point operations of a large screen. When the plurality of point states are obtained, it is possible to reduce malfunctions and erroneous operations during the point operation by changing the display color of the point operation area according to the point states.
[Brief description of the drawings]
FIG. 1 is an external view of an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a control unit according to the embodiment.
FIG. 3 is a waveform diagram when the touch panel is not contacted.
FIG. 4 is a waveform diagram when touching a touch panel.
FIG. 5 is a display diagram of a screen displaying a point operation area.
FIG. 6 is a flowchart showing a point operation.
FIG. 7 is a process chart showing display and deletion of a point operation area.
FIG. 8 is a flowchart showing processing for displaying and deleting a point operation area.
FIG. 9 is a display diagram in which display contents of a display screen are displayed in a point operation area.
FIG. 10 is an explanatory diagram illustrating a pointer movement operation based on a change in coordinates.
FIG. 11 is a time chart showing a drag operation by an operation in a point operation area.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image display apparatus 2 Image display means 3 Touch panel 4 Control part 6 Pointer 7 Point operation area 21 Screen 41 CPU
42 ROM
43 RAM
44 Transmission unit 45 Reception unit 49 Pointer area creation unit 50 Pointer movement unit 51 Point indication unit

Claims

In an image display device having transparent coordinate input means arranged in contact with an image display means, and inputting coordinate data of the transparent coordinate input means corresponding to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means ,
In order to point to a desired portion of the displayed image, a point operation area for reducing and displaying the image displayed on the image display surface is set at a position designated by the user, and each coordinate is within the entire area of the image display surface. Display corresponding to each coordinate,
When any position of the displayed point operation area is pointed by a finger or writing means, the pointer is moved to the corresponding position of the image displayed on the image display surface, and after moving the pointer, the position in the point operation area An image display device characterized in that when the position is tapped with a finger or writing means, the pointer displayed on the image display surface shifts to a point state, and the display color of the point operation area is changed according to the point state.

In an image display device having transparent coordinate input means arranged in contact with an image display means, and inputting coordinate data of the transparent coordinate input means corresponding to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means ,
In order to point to a desired portion of the displayed image, a point operation area for reducing and displaying the image displayed on the image display surface is set at a position designated by the user, and each coordinate is within the entire area of the image display surface. Display corresponding to each coordinate,
After moving the pointer while touching the displayed point operation area with a finger or writing means and moving the pointer to any object on the image displayed on the image display surface, tap the position in the point operation area with the finger or writing means. And an image display device, wherein the display state of the point operation area is changed in accordance with the point state of the object corresponding to the image displayed on the image display surface.

In an image display device having transparent coordinate input means arranged in contact with an image display means, and inputting coordinate data of the transparent coordinate input means corresponding to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means ,
In order to point to a desired portion of the displayed image, a point operation area for reducing and displaying the image displayed on the image display surface is set at a position designated by the user, and each coordinate is within the entire area of the image display surface. Display corresponding to each coordinate,
After moving the finger or writing means to any position in the displayed point operation area, when the position is tapped with the finger or writing means, the state shifts to the point state of the corresponding position of the image displayed on the image display surface. An image display device characterized by changing a display color of a point operation area according to a point state.

In an image display device having transparent coordinate input means arranged in contact with an image display means, and inputting coordinate data of the transparent coordinate input means corresponding to a position where a finger or writing means is brought into contact with the surface of the transparent coordinate input means ,
In order to point to a desired portion of the displayed image, a point operation area for reducing and displaying the image displayed on the image display surface is set at a position designated by the user, and each coordinate is within the entire area of the image display surface. Display corresponding to each coordinate,
After moving your finger or writing means to any position in the displayed point operation area, tap that position multiple times with your finger or writing means, and the corresponding position of the image displayed on the image display surface will depend on how many times you tap An image display device characterized in that one of the point states is set, and the display color of the point operation area is changed according to the point state.