JPWO2010032354A1 - 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム - Google Patents

画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム Download PDF

Info

Publication number
JPWO2010032354A1
JPWO2010032354A1 JP2010529581A JP2010529581A JPWO2010032354A1 JP WO2010032354 A1 JPWO2010032354 A1 JP WO2010032354A1 JP 2010529581 A JP2010529581 A JP 2010529581A JP 2010529581 A JP2010529581 A JP 2010529581A JP WO2010032354 A1 JPWO2010032354 A1 JP WO2010032354A1
Authority
JP
Japan
Prior art keywords
image object
outside
touch position
cursor
contact body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010529581A
Other languages
English (en)
Inventor
仙田 修司
修司 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2010032354A1 publication Critical patent/JPWO2010032354A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Abstract

内外判定手段71は、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する。信号生成手段72は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する。

Description

本発明は、ペンまたは指によってタッチセンサ上での操作が行われたときに、表示されている画像オブジェクトを制御する画像オブジェクト制御システム、画像オブジェクト制御方法および画像オブジェクト制御プログラムに関する。
ペン(スタイラス)や指で表示画面上の位置を直接指示可能なポインティングデバイスを用いることにより、表示パネル上に表示されたGUI(Graphical User Interface)を直感的に分かりやすく操作することができる。例えば、表示されているGUI部品がペンや指でタッチされると、ボタン押下としたり、GUI部品として表示されたスライダがドラッグされるとスライダ値を変更したりすることができる。
また、特許文献1には、指等のポインタでカーソル位置を移動させることができるカーソル位置のタッチ制御方法が記載されている。特許文献1に記載されたカーソル位置のタッチ制御方法では、指等のポインタがスクリーンにタッチされると、表示スクリーン上の接触点とカーソルとが一致したかどうかを判定する。そして、カーソルと接触点とが一致し、ポインタをスクリーンに接触させたまま移動させると、ポインタの接触点に対応する位置にカーソル位置を更新する。特許文献1に記載された方法により、カーソルを移動させる操作を直感的に行えるようにすることができる。
また、マウスと同様の操作を指で実現するためのタッチパッドと呼ばれるデバイスも知られている。ノート型のパーソナルコンピュータは、タッチパッドを備えていることが多い。表示パネルとは別の位置に設けられたタッチパッド上で指をスライドさせると、スライド量に応じてカーソルを動かすことができ、マウスでの相対的な座標移動と同様の移動を行うことができる。
特開平7−191807号公報(段落0006−0012)
しかしながら、特許文献1に記載された方法のように指等によって表示パネル上の位置を指定する操作では、マウス等の相対的な動きでカーソルの動きを規定する場合に比べて、ユーザが所望の位置を正確に指定することが困難であった。この理由として、以下のような理由が挙げられる。
ペンや指で位置を指定することが可能なタッチパネル等は、例えば、液晶表示パネル等の表示パネル上にタッチセンサを設けて、表示パネルとタッチセンサとを一体化した構成となっている。従って、例えばカーソル等の画像オブジェクトは表示パネルに表示されるが、ペンや指はその上層のタッチセンサに接触する。そのため、表示パネル表面とタッチセンサ表面との視差により、ユーザは所望の位置を正確に指定することが困難であった。一方、予めキャリブレーションと呼ばれる補正操作を行うことで、ユーザが指定しようとする位置とペン等のタッチ位置とのずれを少なくすることができるが、上記の視差や、タッチセンサの安定性の問題により、ずれを完全になくすことはできない。
また、特に、指で操作を行う場合には、指が太いために接触面積が大きくなり、どの位置を指し示しているのかが曖昧になってしまい、正確な位置指定や位置判定が困難となる。
さらに、ペンや指で操作を行う場合、そのペンや指が邪魔になって表示パネルに表示された画像オブジェクトが見えにくくなり、操作がしにくくなってしまう。
このように、ペンや指では、ユーザが所望の位置を正確に指定することが困難となっていた。そのため、例えば、表示パネルに表示されたウィンドウの角を指定してドラッグすることでウィンドウの大きさを変える等の操作を行う場合に、指やペンでウィンドウの角を指定する操作が行いにくくなってしまう。ここでは、ウィンドウの角を指定する操作を例に挙げたが、他の操作を行う場合にも、所望の位置を正確に指定することが困難であるという問題が生じる。
また、どうしても正確な操作が要求される状況では、指ではなくペンを使うことで操作しやすくすることができるが、その場合にでも、視差によるずれが生じてしまっていた。
このような問題を防ぐために、GUI部品を大きく表示して所望の位置をタッチしやすくしたりする必要があったが、表示領域が制限されている場合には、GUI部品を大きく表示することが困難である。
そこで、本発明は、画像オブジェクトに対する正確な操作をペンまたは指等の接触体で行うことができる画像オブジェクト制御システム、画像オブジェクト制御方法および画像オブジェクト制御プログラムを提供することを目的とする。
本発明による画像オブジェクト制御システムは、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定手段と、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する信号生成手段と、を備えることを特徴とする。
本発明による画像オブジェクト制御方法は、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する、ことを特徴とする。
本発明による画像オブジェクト制御プログラムは、コンピュータに、画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号を生成する信号生成処理を実行させることを特徴とする。
本発明によれば、画像オブジェクトに対する正確な操作をペンまたは指等の接触体で行
うことができる。
本発明の画像オブジェクト制御システムの構成例を示すブロック図である。 画像オブジェクト制御システムの処理状態の遷移を示す説明図である。 本実施形態の処理経過の例を示すフローチャートである。 相対ムーブ/絶対ムーブ判定処理の例を示すフローチャートである。 クリック/ドラッグ判定処理の例を示すフローチャートである。 相対ムーブの例を示す説明図である。 絶対ムーブの例を示す説明図である。 カーソルのドラッグの例を示す説明図である。 クリックの種類が2種類である場合のクリック/ドラッグ判定の例を示すフローチャートである。 カーソルの外周に囲まれた領域の画像を拡大表示した例を示す説明図である。 カーソルの外縁と内外判定領域の外縁とが一致していない場合の例を示す説明図である。 外縁が囲まれていない図形をカーソルとする場合の例を示す説明図である。 画像オブジェクト制御システムがサーバと端末とを備える場合の構成例を示す説明図である。 サーバおよびシンクライアントが表示する画像の例を示す説明図である。 本発明の概要を示すブロック図である。
以下、本発明の実施形態を、図面を参照して説明する。以下の説明では、画像オブジェクトとしてカーソルを表示し、接触体を用いてカーソルに対する正確な操作を実現する画像オブジェクト制御システムを例にして説明する。また、以下の説明では、操作時に用いられる接触体の例として、ペンや指を例示して説明するが、ペンや指以外の接触体が用いられてもよい。
<実施形態1>
図1は、本発明の実施形態1における画像オブジェクト制御システムの構成例を示すブロック図である。本発明の画像オブジェクト制御システム1は、イベント生成手段11と、カーソル内外判定手段12と、カーソル描画手段13と、状態記憶手段14と、タッチセンサ15と、表示パネル16とを備える。
また、画像オブジェクト制御システム1とともに、アプリケーションプログラム(以下、単にアプリケーションと記す。)に従って処理を行うアプリケーション実行手段17が設けられる。アプリケーションの処理内容は特に限定されない。
表示パネル16は、アプリケーションの実行に伴って表示すべき画像や、カーソル等を表示する表示装置である。
タッチセンサ15は、表示パネル16の上面に配置され、ペンや指でタッチされたときにそのタッチ位置の座標をカーソル内外判定手段12およびイベント生成手段11に出力する装置である。タッチセンサ15は透明であり、タッチセンサ15が表示パネル16の上面に配置されても、表示パネル16に表示されたカーソル等の位置をユーザは視認できる。
カーソル描画手段13は、カーソルを表示パネル16に表示させるとともに、そのカーソルの表示位置に応じた内外判定対象領域を定める。内外判定対象領域は、画像オブジェクト(本実施形態ではカーソル)の表示位置に対して定められる領域であって、ペンや指のタッチ位置の内外判定の対象となる領域である。本実施形態では、カーソルが、外縁を視認可能に表示される大きさのあるカーソルである場合を例に説明する。例えば、カーソル描画手段13は、一定の大きさの円としてカーソルを表示してもよい。また、本実施形態では、そのカーソルの外縁に囲まれた領域を内外判定対象領域とする場合を例にして説明する。カーソルの外縁を視認可能に表示し、その外縁に囲まれた領域を内外判定対象領域とするということは、内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示することを意味する。ただし、カーソルの外縁と内外判定領域の外縁とが一致していなくてもよい。また、カーソル描画手段13は、本実施形態のように、外縁を視認可能に表示される図形をカーソルとして表示パネル16に表示させる場合、外縁の内側にある他の画像オブジェクトを視認可能となるようにカーソルを表示させる。例えば、外縁のみを表示したり、外縁で囲まれる領域を半透過として表示したりすればよい。
カーソル内外判定手段12は、ペンや指がタッチセンサ15にタッチされ、タッチセンサ15からそのタッチ位置の情報(座標)が出力されると、そのタッチ位置が内外判定対象領域(本実施形態ではカーソルの外縁に囲まれた領域)の外側に位置するのか内側に位置するのかを判定する。内外判定対象領域に対するペンや指のタッチ位置の内外判定結果を以下、単に内外判定結果と記す。
イベント生成手段11は、タッチ位置が内外判定対象領域の外側であるか内側であるかによって、異なるイベントを生成する。より具体的には、イベント生成手段11は、カーソル内外判定手段12によって判定された内外判定結果と、表示されたカーソルに対してペンや指で行われる操作の状態とに応じて、イベントを生成する。イベントとは、画像オブジェクト(本実施形態ではカーソル)の操作を表す信号であり、アプリケーション実行手段17に出力される。イベント(信号)が生成されると、アプリケーション実行手段17は、そのイベントに応じた処理を実行する。
また、イベント生成手段11は、画像オブジェクト制御システム1の処理状態を状態記憶手段14に記憶させる。画像オブジェクト制御システム1の処理状態の例として、ペンや指によるタッチが行われていない初期状態、内外判定結果と表示されたカーソルに対して行われる操作とに応じてイベントを判定する各種状態、カーソルを移動させていることを表す各種状態(後述の、「ドラッグ」状態や「相対ムーブ」状態)が挙げられる。
状態記憶手段14は、画像オブジェクト制御システム1の処理状態を記憶する記憶装置である。
カーソル描画手段13、カーソル内外判定手段12およびイベント生成手段11は、例えば、プログラム(画像オブジェクト制御プログラム)に従って動作するCPUによって実現される。
また、アプリケーション実行手段17も、アプリケーションに従って動作するCPUによって実現される。
例えば、画像オブジェクト制御プログラムおよびアプリケーションが、画像オブジェクト制御システム1が備えるプログラム記憶装置(図示せず)に記憶されていてもよい。そして、CPUがその画像オブジェクト制御プログラムおよびアプリケーションを読み込み、画像オブジェクト制御プログラムに従ってカーソル描画手段13、カーソル内外判定手段12およびイベント生成手段11として動作し、アプリケーションに従ってアプリケーション実行手段17として動作してもよい。
次に、動作について説明する。なお、以下の説明では、ペンをタッチセンサ15にタッチさせて操作を行う場合を例にして説明するが、指をタッチセンサ15にタッチさせる場合の動作も同様である。
図2は、画像オブジェクト制御システム1の処理状態の遷移を示す説明図である。図2において四角形のブロックで示した各状態21〜25は、それぞれ画像オブジェクト制御システム1の処理状態を表している。また、図2中に図示した各楕円は、それぞれイベント(信号)を表している。また、図3は、本実施形態の処理経過の例を示すフローチャートである。図4は、図3に示すステップS2(相対ムーブ/絶対ムーブ判定処理)の例を示すフローチャートである。図5は、図3に示すステップS3(クリック/ドラッグ判定処理)の例を示すフローチャートである。
図2に示す初期状態21は、カーソル描画手段13が表示パネル16にカーソルを表示させて、ペンがタッチセンサ15にタッチされるのを待っている状態である。なお、初期状態21である場合、イベント生成手段11は、初期状態21である旨を状態記憶手段14に記憶させる。
初期状態においてペンがタッチセンサ15にタッチされると、タッチセンサ15は、そのタッチ位置の座標をイベント生成手段11およびカーソル内外判定手段12に出力する。そして、カーソル内外判定手段12は、状態記憶手段14に記憶された状態が初期状態21である場合、タッチセンサ15からのタッチ位置の座標の入力を待ち、ペンのタッチ位置の座標が入力されると、ペンのタッチ位置がカーソルの内外判定対象領域の外側と内側のどちらに位置しているかを判定する(ステップS1、図3参照)。なお、内外判定対象領域は、カーソル描画手段13がカーソルを表示させるときに、カーソル描画手段13によって決められている。本例では、カーソル描画手段13がカーソルとして円の外周を表示させ、その外周に囲まれた円形の領域を内外判定対象領域としているものとする。
カーソル内外判定手段12が内外判定を行うと、イベント生成手段11は内外判定結果を参照し、タッチ位置が内外判定対象領域の外側である場合、相対ムーブ/絶対ムーブ判定状態22(図2参照)である旨を状態記憶手段14に記憶させ、相対ムーブ/絶対ムーブ判定処理(ステップS2、図3参照)を実行する。この結果、図2に示す初期状態21から相対ムーブ/絶対ムーブ判定状態22に移行することになる。
相対ムーブ/絶対ムーブ判定処理は、カーソルの移動態様を相対ムーブとするか絶対ムーブとするかを判定する処理である。また、相対ムーブは、内外判定対象領域の外側におけるペンのタッチ位置の移動(換言すればペンの移動)に応じて、カーソルを移動させる移動態様である。すなわち、ペンタッチ開始時のタッチ位置を起点とするタッチ位置の変化と同様に、初期状態21におけるカーソルの表示位置を起点として、その起点からカーソルを移動させる移動態様である。また、タッチ位置の移動に応じてカーソルを移動させるときに、タッチ位置の移動の加速度に応じてカーソル移動量を変化させてもよい。図6は、相対ムーブの例を示す説明図である。例えば、図6に示すようにカーソル41が表示され、タッチセンサ15において、カーソル41の外側(内外判定対象領域の外側)にペン42がタッチされたとする。相対ムーブでは、初期状態でのカーソル41の表示位置を起点として、ペン42のタッチ位置の移動の軌跡43と同様の軌跡44に沿って、カーソル41を移動させる。また、上記のように、タッチ位置の移動の加速度に応じてカーソル41の移動量を変化させてもよい。また、絶対ムーブは、カーソルの位置をペンのタッチ位置に移動させる移動態様である。図7は、絶対ムーブの例を示す説明図である。例えば、図7において位置40は、初期状態におけるカーソルの表示位置である。図7に示すように、絶対ムーブでは、初期状態におけるカーソルの位置40から、ペン42のタッチ位置までカーソル41を移動させる。
図4を参照して相対ムーブ/絶対ムーブ判定処理の例を説明する。相対ムーブ/絶対ムーブ判定処理に移行した場合、ペンのタッチ位置は内外判定対象領域の外側である。イベント生成手段11は、ペンのタッチ状態が解除となったか否かを判定する(ステップS21)。すなわち、ペンがタッチセンサ15から離れたか否かを判定する。イベント生成手段11は、例えば、ペンがタッチしていないことを示す情報がタッチセンサ15から入力されたならば、ペンがタッチセンサ15から離れた(すなわちタッチ状態解除になった)と判定し、タッチセンサ15からペンのタッチ位置の座標が入力されているならば、ペンが未だ離れていないと判定すればよい。
ペンがタッチセンサ15から離れていない場合(ステップS21におけるNo)、イベント生成手段11は、ペンのタッチ開始時におけるタッチ位置からのタッチ位置の移動量が所定量以上であるか否かを判定する(ステップS22)。タッチ位置の移動量が所定量以上であるならば(ステップS22におけるYes)、イベント生成手段11は、相対ムーブであると判定し、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する(ステップS23)。また、イベント生成手段11は、相対ムーブ実行状態23(図2参照)である旨を表す情報を状態記憶手段14に記憶させる。相対ムーブ実行状態23である場合、タッチ位置の移動が継続している間、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する動作を継続する。このイベントに応じて、アプリケーション実行手段17はカーソル移動に伴う処理を行い、カーソル描画手段13は、ペンのタッチ位置の移動に合わせてカーソルを移動させる。ステップS24において、ペンがタッチセンサ15から離れると、初期状態である旨を状態記憶手段14に記憶させ、初期状態に戻る。
タッチ位置の移動量が所定量未満であるならば(ステップS22におけるNo)、イベント生成手段11は、ペンのタッチ開始時から所定時間経過しているか否かを判定する(ステップS24)。タッチ開始時から所定時間経過しているならば(ステップS24におけるYes)、イベント生成手段11は、絶対ムーブを行うと判定し、タッチ位置にカーソルを移動させることを指示するイベントを生成する(ステップS25)。このイベントに応じて、アプリケーション実行手段17はカーソル移動に伴う処理を行い、カーソル描画手段13はペンのタッチ位置にカーソルを移動させる。そして、イベント生成手段11は、初期状態である旨を状態記憶手段14に記憶させ、初期状態に戻る。
ペンのタッチ開始時から所定時間経過していない場合(ステップS24におけるNo)、イベント生成手段11は、ステップS21以降の処理を繰り返す。タッチ位置の移動量が所定量未満のままであり、ペンのタッチ開始時から所定時間経過する前に、ペンがタッチセンサ15から離れた場合(ステップS21におけるYes)、イベント生成手段11は、相対ムーブ/絶対ムーブ判定処理を終了する。そして、イベント生成手段11は、初期状態である旨を状態記憶手段14に記憶させて、初期状態に戻る。
上記の所定量は、相対ムーブ/絶対ムーブ判定用の移動量に関する閾値であるということができる。また、上記の所定時間は、相対ムーブ/絶対ムーブ判定用の時間に関する閾値であるということができる。上記の所定量および所定時間(相対ムーブ/絶対ムーブ判定用の移動量、時間に関する閾値)は、固定値ではなく可変であってもよい。例えば、アプリケーション実行手段17が実行するアプリケーションや、付近の画像オブジェクトに応じて値が変更されてもよい。
また、ステップS1においてタッチ位置が内外判定対象領域の内側である場合、クリック/ドラッグ判定状態24(図2参照)である旨を状態記憶手段14に記憶させ、クリック/ドラッグ判定処理(ステップS3、図3参照)を実行する。この結果、図2に示す初期状態21からクリック/ドラック判定状態24に移行することになる。
クリック/ドラッグ判定処理は、カーソルに対する操作がドラッグ操作であるか、クリック操作であるかを判定する処理である。ドラッグは、操作対象である画像オブジェクトを特定の状態(以下、特定状態と記す。)としながら画像オブジェクトを移動することである。特定状態は、単なるカーソルの移動ではないことを表す状態であればよい。カーソルのドラッグにより、例えば、タッチセンサ15上の範囲を指定することができ、このような指定等のためにカーソルを移動させる場合に、ユーザはカーソルをドラッグする。ただし、範囲指定は一例であり、範囲指定以外の目的のためにカーソルをドラッグしてもよい。なお、特定状態は、例えば、一般的なボタン付きのマウスでドラッグ操作を行う場合におけるボタンをクリックした状態に相当する。本発明では、このようなボタン操作なしで、タッチ位置とそのタッチ位置の動きから、ドラッグ操作となるかを判定する。
図5を参照して、クリック/ドラック判定処理の例を説明する。クリック/ドラック判定処理に移行した場合、ペンのタッチ位置は内外判定対象領域の内側である。イベント生成手段11は、まず、ペンのタッチ状態が解除となったか否かを判定する(ステップS31)。この判定は、ステップS21(図4参照)と同様に行えばよい。
ステップS31においてペンがタッチセンサ15から離れたと判定した場合(ステップS31におけるYes)、イベント生成手段11は、カーソル位置におけるクリックを表すイベントを生成する(ステップS32)。このイベントに応じて、アプリケーション実行手段17はカーソル位置におけるクリックに伴う処理を実行し、カーソル描画手段13は、同じ位置におけるカーソルの描画を継続する。また、イベント生成手段11は、初期状態である旨を状態記憶手段14に記憶させ、初期状態に戻る。
ペンがタッチセンサ15から離れていない場合(ステップS31におけるNo)、イベント生成手段11は、タッチセンサ15から入力されるペンのタッチ位置の座標の変化を参照して、ペンのタッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動しているか否かを判定する(ステップS33)。タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動している場合(ステップS33におけるYes)、イベント生成手段11は、ドラッグ実行状態25(図2参照)であると判定し、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する(ステップS34)。また、イベント生成手段11は、ドラッグ実行状態25である旨を状態記憶手段14に記憶させる。ドラッグ実行状態25である場合、タッチ位置の移動が継続している間、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する動作を継続する。このイベントに応じて、アプリケーション実行手段17はカーソルのドラッグに伴う処理を行い、カーソル描画手段13は、ペンのタッチ位置の移動に合わせてカーソルを移動させる。
図8は、カーソルのドラッグの例を示す説明図である。図8(a)に示すように、カーソル41の外周の範囲内(すなわち、内外判定対象領域の内部)にペン42がタッチされ、ステップS33に移行したとする。この場合、図8(b)に示すように、タッチ位置が内外判定領域の外周に達するまでは、イベント生成手段11は、ドラッグ操作でのカーソルの移動を指示するイベントを生成しない。その後、タッチ位置が内外判定領域の外側に移動すると、イベント生成手段11は、ドラッグ操作でのカーソルの移動を指示するイベントを生成し、その結果、図8(c)に示すように、タッチ位置の移動に合わせてカーソル41も移動する。
ステップS34において、ペンがタッチセンサ15から離れると、イベント生成手段11は、初期状態である旨を状態記憶手段14に記憶させ、初期状態に戻る。
また、ステップS33においてタッチ位置が内外判定対象領域の外側まで移動していない場合(ステップS33におけるNo)、ステップS31に戻り、イベント生成手段11は、ステップS31以降の処理を繰り返す。
上記のクリック/ドラック判定処理により、内外判定対象領域の内側にペンがタッチされ、タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動したならば、ドラッグを指示するイベントを生成する。一方、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ15から離れたならば、クリックを表すイベントを生成する。
本実施形態によれば、内外判定対象領域(例えば、カーソルの外周に囲まれた領域)の外側にペンがタッチされ、ペンのタッチ位置の移動量が所定量(相対ムーブ/絶対ムーブ判定用の移動量に関する閾値)以上となった場合、イベント生成手段11が、タッチ位置の移動に合わせて、カーソルの移動を指示するイベントを生成する。例えば、カーソルの現在の表示位置を起点として、タッチ位置の移動と同一の軌跡で、カーソルを移動させることを指示するイベントを生成する。従って、内外判定対象領域の外側でのペンの動きに応じて、カーソルを移動させることができる。従って、ユーザは、カーソルから離れた広い領域でのペン操作によってカーソルを移動させることができるので、移動量を適切に調整しやすくなる。その結果、カーソルに対する操作(本例ではカーソルを移動させる操作)を正確に行うことができる。また、カーソルから離れた場所でのペン操作を行ってカーソルを動かすことができるので、ユーザの注目領域であるカーソルの近辺がペンによって見えにくくなるということがなく、ユーザの操作性が向上する。
また、内外判定対象領域の外側にペンがタッチされ、ペンのタッチ位置の移動量が所定量未満のまま、所定時間が経過した場合、イベント生成手段11は、ペンのタッチ位置にカーソルを移動させることを指示するイベントを生成する。従って、離れた位置にカーソルを移動させる操作を、所望の位置にペンをタッチしてそのまま所定時間の経過を待つ(すなわち、所望の位置でペンを長押しする)という簡単な操作だけで実現することができ、離れた位置にカーソルを移動させる際のストレスを解消することができる。また、所望の位置にカーソルを移動させるという操作の直感性を向上させることができる。
また、内外判定対象領域の内側にペンがタッチされ、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ15から離れた場合、イベント生成手段11は、カーソル位置におけるクリックを表すイベントを生成する。イベント生成手段11は、内外判定対象領域の内側であればタッチ位置がどの位置であっても同様に、このイベントを生成する。従って、ユーザは、クリック操作を行いたい場合、内外判定対象領域の内側にペンをタッチさせて離せばよい。このように、ある限られた極狭い一点のみを正確にタッチしなければならない等の制約がなく、ユーザの操作性を向上させることができる。また、内外判定対象領域の範囲内にペンをタッチさせて離すという直感的な操作でクリックを実現することができ、操作が分かり易い。
また、内外判定対象領域の内側にペンがタッチされ、タッチ位置が内外判定対象領域の外縁まで移動し、さらに内外判定対象領域の外側まで移動している場合、イベント生成手段11は、タッチ位置の移動に合わせて、ドラッグを指示するイベントを生成する。従って、カーソルをドラッグする操作と、ユーザの直感とを一致させることができる。また、タッチ位置が内外判定対象領域の外縁まで移動した後に、ドラッグ操作でのカーソル移動を開始するので、言わばカーソルの内側と外側の境界を引っ張るような操作となり、カーソル直上にペンがあることによるカーソル近辺の見えにくさを軽減することができる。
タッチパッドと本実施形態の画像オブジェクト制御システムとを比較すると、タッチパッドでは、クリックやドラッグを行うために、別途ボタンを操作するか、特殊なジェスチャを行わなければならないため、直感的な操作とは言えなかった。それに対し、本実施形態によれば、上記のように、直感的な操作でクリックやドラッグを行うことができる。
以上のように本実施形態では、相対ムーブでカーソルを正確に操作することができる。また、直感的な分かりやすい操作で、クリック、移動、ドラッグ等を実現することができる。このように、操作の精度(正確性)と分かりやすさを両立することができる。
次に、本実施形態の変形例を説明する。上述したシステムにおいて、ドラッグを維持したまま、絶対ムーブおよび相対ムーブを行えるようにしてもよい。すなわち、ペンをタッチパネルから離しても、そのカーソルを特定状態のままとし、そのまま絶対ムーブや相対ムーブを可能としてもよい。以下、ペンや指をタッチパネルから離しても、ドラッグできることをドラッグロックと記す。
ドラッグロックを行うには、上述した図5のステップS34に移行してイベント生成手段11がドラッグを指示する信号を生成してドラッグ実行状態となったときに、当該イベント生成手段11は、さらにドラッグを維持する信号を生成して、ドラッグロックフラグをオンとして、上述のステップS34の動作を行えばよい。イベント生成手段11は、ドラッグロックフラグがオンの状態でペンがタッチセンサから離れた場合にでも、ドラッグロックフラグをオンのままにし、ドラッグ状態を維持する。
ドラッグロックフラグがオフであるときにおけるステップS21(図4参照)以降の動作は、既に説明した動作と同様である。
ドラッグロックフラグがオンのまま初期状態となり、その後、内外判定対象領域の外側にペンタッチが行われ、ステップS21(図4参照)以降の処理によって、相対ムーブを行うと判定した場合、タッチ位置の移動に合わせて、特定状態のカーソルの移動を指示するイベントを生成すればよい(図4のステップS23)。また、絶対ムーブを行うと判定した場合、特定状態のカーソルをタッチ位置に移動するイベントを生成すればよい(図4のステップS25)。これにより、カーソルのドラッグ状態を維持したまま、内外判定対象領域の外側でのペンの軌跡に沿ってカーソルを移動させたり(相対ムーブ)、内外判定対象領域の外側でのペンのタッチ位置にカーソルを移動させることができる(絶対ムーブ)。
また、ドラッグロックフラグがオンであるときに、ステップS32(図5参照)に移行した場合、イベント生成手段11は、カーソルがクリックされたことを表すイベントを生成する代わりに、イベント生成手段11は、ドラッグロックフラグをオフに変更する。つまり、イベント生成手段11は、カーソルのドラッグ状態が維持されているときに、内外判定対象領域の内側にペンがタッチされ、ペンのタッチ位置が内外判定対象領域の外側まで移動することなくペンがタッチセンサ15から離れた場合、カーソルのドラッグ状態を解除する。従って、ユーザは、カーソルのドラッグ状態を解除したい場合には、内外判定対象領域の内側にペンをタッチさせて離せばよい。
ドラッグロックフラグがオンである場合、カーソル描画手段13は、カーソルの色を変える等してカーソルの表示態様を変更することが好ましい。その場合、ユーザは、ペン等をタッチセンサから離しているときでも、カーソルの表示状態によって、カーソルがドラッグされている状態か否かを識別できる。
このような構成では、ドラッグロックを実現することができる。すなわち、ユーザはドラッグ操作していたカーソルからペン等を離しても、そのドラッグ操作されているカーソルに対して相対ムーブや絶対ムーブを行うことができる。また、ドラッグロックを解除する場合には、カーソルの内外判定対象領域の内部をクリックすればよい。
また、上記では、イベント生成手段11は、ペンタッチ開始時のタッチ位置からのタッチ位置の移動量が所定量未満であり、かつ、ペンがタッチセンサ15にタッチして所定時間が経過した場合に(ステップS22におけるYes)、タッチ位置にカーソルを移動させること(絶対ムーブ)を指示するイベントを生成する(ステップS23)。この判定において、絶対ムーブとするためのタッチ位置の移動量に関する条件を、「タッチ位置の移動量が0であること」としてもよい。この場合、イベント生成手段11は、ステップS22において、タッチ位置の移動量が0を超えているか否かを判定し、タッチ位置の移動量が0を超えていればステップS23に移行すればよい。そして、タッチ位置の移動量が0であれば、タッチ開始時から所定時間が経過したか否かを判定し(ステップS24)、タッチ位置の移動量が0であり所定時間経過している場合にステップS25に移行し、絶対ムーブを指示する信号を生成すればよい。すなわち、タッチ位置が全く変わらないまま所定時間が経過した場合に、タッチ位置にカーソルを移動させることを指示するイベントを生成するようにしてもよい。
また、ペンがタッチセンサ15にタッチしてからの時間経過は考慮せずに、タッチ位置の移動量に基づいて相対ムーブか絶対ムーブかを判定してもよい。この場合、内外判定対象領域の外側にペンがタッチされ、タッチ位置の移動量が所定量以上となったとき(または0を超えたとき)に、タッチ位置の移動に合わせて、位相を指示するイベントを生成する(相対ムーブ)。また、タッチ位置の移動量が所定量未満である場合(または0である場合)には、ペンがタッチセンサ15から離れるまで待って、ペンがタッチセンサ15から離れた時点において、タッチ位置の移動量が所定量未満であること(または0であること)が確定した時点で、タッチ位置へのカーソル移動を指示するイベントを生成する(絶対ムーブ)。
また、上記の実施形態では、クリックを表すイベントが一種類である場合を示した。複数のボタンを備えるマウス等でカーソルを操作する場合には、左クリック、右クリックのように複数のクリック操作が可能となる。本発明においても、クリックを表すイベントを複数種類生成してもよい。以下、クリックの種類が2種類である場合を例にし、一方を第1クリック、他方を第2クリックと記す。第1クリックは、例えばマウス操作における左クリックに相当し、第2クリックは、例えばマウス操作における右クリックに相当する。
図9は、クリックの種類が2種類である場合のクリック/ドラッグ判定の例を示すフローチャートである。図5と同様のステップについては、図5と同一の符号を付し、詳細な説明を省略する。この場合、クリック/ドラッグ判定において、ペンのタッチ位置が内外判定対象領域の外側まで移動していない場合(ステップS33におけるNo)、イベント生成手段11は、ペンのタッチ開始時から第2クリック判定用の所定時間が経過したか否かを判定する(ステップS35)。タッチ開始時から第2クリック判定用の所定時間が経過している場合(ステップS35におけるYes)、カーソル位置における第2クリックを表すイベントを生成する(ステップS36)。このイベントに応じて、アプリケーション実行手段17はカーソル位置における第2クリックに伴う処理を実行し、カーソル描画手段13は、同じ位置におけるカーソルの描画を継続する。なお、第2クリック判定用の所定時間は、第2クリック判定用時間閾値であるということができる。タッチ開始時から第2クリック判定用の所定時間が経過していない場合(ステップS35におけるNo)、イベント生成部11は、ステップS31以降の処理を繰り返す。
また、タッチ位置が内外判定対象領域の外側まで移動せず、第2クリック判定用の所定時間が経過する前に、ペンがタッチセンサ15から離れたならば(ステップS31におけるYes)、イベント生成手段11は、カーソル位置における第1クリックを表すイベントを生成する。この処理は、既に説明したステップS32(図5参照)と同様である。
上記の例では、カーソルに対するタッチ時間が短ければ第1クリック(例えば、左クリックに相当)とし、カーソルに対するタッチ時間が長ければ第2クリックとして、複数のクリックをアプリケーション実行手段17(図1参照)に伝えることができる。
また、ダブルクリックを行う場合には、ユーザは、カーソルの内外判定対象範囲内に対して、ペンをタッチして離す操作を2回繰り返せばよい。この結果、イベント生成手段11は、同じカーソル位置におけるクリックを表すイベントを2回続けて生成する。アプリケーション実行手段17は、同じカーソル位置におけるクリックを表すイベントが、ダブルクリック判定用の時間閾値よりも短い時間内に生成されたときに、ダブルクリックに応じた処理を実行すればよい。あるいは、イベント生成手段11は、ステップS32に移行してから再度ステップS32に移行するまでの間隔が、ダブルクリック判定用の時間閾値よりも短い場合に、カーソル位置におけるダブルクリックを表すイベントを生成してもよい。
全く同じ座標に対してペンタッチを繰り返すことは困難であるが、内外判定対象範囲内に対するペンタッチであれば、タッチ位置を全く同じ位置とする必要がない。従って、容易にダブルクリックを実現することができる。
また、上述したシステムにおいて、ペンがタッチセンサから離れ、再度タッチセンサにタッチした場合、ペンがタッチセンサから離れている時間が誤操作判定用の閾値よりも短ければ、ペンがタッチセンサから離れていないを判定してもよい。例えば、図2に示すドラッグ実行状態25において、ペンがタッチセンサから離れ、誤操作判定用の閾値よりも短い時間内に再度、内外判定対象範囲内に対するペンタッチを確認したならば、そのままドラッグ実行状態25を中断せずに継続してもよい。そして、ドラッグ実行状態25において、ペンがタッチセンサから離れ、誤操作判定用の閾値となる時間が経過しても、再度のペンタッチがない場合に、初期状態21に戻ってもよい。
また、上記の実施形態において、カーソル描画手段13は、カーソルの外周に囲まれた領域の画像を拡大して表示してもよい。図10は、カーソルの外周に囲まれた領域の画像を拡大表示した例を示す説明図である。図10では、“1”から“5”までの数字が表示され、そのうち“3”の位置にカーソル41が存在している場合を例示している。この場合、カーソル描画手段13は、図10に示すように“3”を拡大して表示してもよい。カーソル41が他の数字の位置に移動した場合、カーソル描画手段13は、その数字を拡大して、“3”を元の大きさで表示する。なお、拡大した図形のうち、カーソルの外周の中に収まらない部分については表示しない。このようにカーソル内部の画像を拡大すれば、相対ムーブを行うときに、カーソル位置の画像を詳しくユーザに提示することができるので、ユーザはより正確にカーソルを操作しやすくなる。特に、表示パネル16(図1参照)の面積が小さく、表示される個々のアイコン等が小さい場合に、それらのアイコンの画像等を詳しくユーザに伝えることができる。
また、タッチセンサに対するペンタッチが一定時間行われていない場合、カーソル描画手段13は、カーソルの表示を停止してもよい。すなわち、表示パネル16からカーソルを消去してもよい。カーソルを消去している状態で、タッチセンサに対するペンのタッチがあった場合、カーソル描画手段13は、そのタッチ位置にカーソルを表示してもよい。このような構成の場合、一定時間操作が行われていない場合に、表示パネル16からカーソルを消去して表示パネル16の画像を見やすくすることができる。表示パネル16の面積が小さく、カーソルが目立ってしまう場合に、この効果は特に大きい。カーソルを消去する代わりに、カーソルを小さくする等して、目立たなくなるようにカーソルを変形してもよい。
また、上記の実施形態では、カーソルの外縁と内外判定領域の外縁とが一致している場合を例にして説明したが、既に述べたように、カーソルの外縁と内外判定領域の外縁とは一致していなくてもよい。図11は、カーソルの外縁と内外判定領域の外縁とが一致していない場合の例を示す説明図である。例えば、カーソル描画手段13は、カーソル41を表示し、その時に、カーソル41の表示位置に応じた内外判定対象領域として、カーソル41より大きい内外判定対象領域51を定めてもよい。あるいは、内外判定対象領域51は、カーソル41よりも小さくてもよい。図11において、カーソル41は表示されるが、内外判定対象領域51は表示されない。内外判定対象領域51を直感的にユーザに伝えるために、カーソル41の外縁と内外判定対象領域51の外縁とを一致させることが好ましい。
また、カーソルは、外縁が囲まれている図形でなくてもよい。図12は、外縁が囲まれていない「×」型の図形をカーソルとする場合の例を示す。このような図形をカーソルとする場合であっても、カーソル描画手段13は、カーソル41を表示するときに、カーソル41の表示位置に応じた内外判定対象領域51を定める(図12参照)。ただし、内外判定対象領域51を直感的にユーザに伝えるために、外縁が囲まれている図形をカーソルとして用い、カーソル41の外縁と内外判定対象領域51の外縁とを一致させることが好ましい。
また、画像オブジェクト制御システムが、サーバと端末とを備える構成であってもよい。図13は、画像オブジェクト制御システムがサーバと端末とを備える場合の構成例を示す説明図である。図1に示す構成要素と同様の構成要素については、図1と同一の符号を付して詳細な説明を省略する。図13に示すように、シンクライアント(端末)62が表示パネル16とタッチセンサ15とを備え、サーバ61が、イベント生成手段11と、カーソル内外判定手段12と、カーソル描画手段13と、状態記憶手段14と、アプリケーション実行手段17とを備える構成であってもよい。
また、サーバとシンクライアントがそれぞれ表示パネルを備え、サーバとシンクライアントで同様の画面を表示してもよい。図14は、サーバおよびシンクライアントが表示する画像の例を示す説明図である。サーバは、カーソル63を含む画像を表示する。シンクライアントは、カーソル63を含むサーバと同様の画像を表示する。さらに、シンクライアントは、サーバ側に表示されるカーソル63を移動させるための第2のカーソル64を表示する。上記の実施形態で説明した方法で、シンクライアント側で第2のカーソル64を移動させるように表示し、サーバは、シンクライアント側での第2のカーソル64の移動に合わせてカーソル63を移動させてもよい。
上記の実施形態やその変形例では、ペンタッチが行わる場合を例にして説明したが、ペンではなく指をタッチセンサにタッチさせてカーソルを移動する操作を行ってもよい。また、ペンや指以外の接触体をタッチセンサにタッチさせて操作を行ってもよい。ペン以外の接触体を用いる場合であっても、画像オブジェクト制御システムの動作は、ペンを用いる場合と同様である。
また、以上の説明では、画像オブジェクトの例としてカーソルを挙げて説明したが、カーソル以外の画像オブジェクトに対する操作を、上記の実施形態やその変形例と同様に行ってもよい。例えば、予めアイコン等を選択しているときに、そのアイコンに対する相対ムーブ、絶対ムーブ、クリック、およびドラッグを、既に説明した方法と同様の方法で行ってもよい。
<実施形態2>
次に、本発明の第2の実施形態を、図15を参照して説明する。図15は、本発明の概要を示すブロック図である。なお、本実施形態では、画像オブジェクト制御システムの概要について説明する。
まず、本実施形態における画像オブジェクト制御システム1は、図15に示すように、内外判定手段71と、信号生成手段72とを備える。
内外判定手段71(例えばカーソル内外判定手段12)は、画像オブジェクト(例えばカーソル)の表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する。
信号生成手段72は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号(例えば、イベント)を生成する。
そのような構成によれば、画像オブジェクトから離れた広い領域内での接触体の動きで、画像オブジェクトを操作することができるので、画像オブジェクトの操作を正確に行うことができる。また、ユーザの注目領域である画像オブジェクトの近辺が接触体によって見えにくくなることがないので、操作性を向上させることができる。
また、上記の実施形態には、信号生成手段72が、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。
また、上記の実施形態には、内外判定手段72が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置が移動したときに、タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。特に、内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が所定量以上であるときに、画像オブジェクトを当該画像オブジェクトの表示位置を起点として、タッチ位置の移動と同一の軌跡で移動させることを指示する信号を生成する。そのような構成によれば、画像オブジェクトから離れた広い領域内での接触体の動きで、画像オブジェクトを移動させる操作を行えるので、移動量を適切に調整しやすくなり、画像オブジェクトを所望の位置に正確に移動させることができる。
また、上記の実施形態には、内外判定手段72が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が所定量未満であるときに、画像オブジェクトをタッチ位置に移動させることを指示する信号を生成する構成が開示されている。また、内外判定手段72が、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置の移動量が0であるときに、画像オブジェクトをタッチ位置に移動させることを指示する信号を生成する構成も開示されている。そのような構成によれば、離れた位置に画像オブジェクトを移動させる際のストレスを解消することができる。また、直感的操作で所望の位置に画像オブジェクトを移動させることができる。
また、上記の実施形態には、信号生成手段72が、接触体のタッチ位置が内外判定対象領域の内側であると判定されたときに、画像オブジェクトの操作を表す信号であって、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときとは異なる操作を表す信号を生成する構成が開示されている。
また、上記の実施形態には、信号生成手段72が、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトの操作を表す信号として、クリックを表す信号を生成する構成が開示されている。そのような構成によれば、内外判定対象領域内のいずれかの位置をタッチすればよいのでクリックのための操作性を向上させることができる。また、直感的なクリック操作を実現することができる。
また、上記の実施形態には、信号生成手段72が、接触体のタッチ位置が内外判定対象領域の内側であると判定され、タッチ位置が内外判定領域の外縁まで移動しさらに内外判定領域の外側に向けて移動する場合、タッチ位置の移動に合わせて、画像オブジェクトのドラッグを指示する信号を生成する構成が開示されている。そのような構成によれば、直感的な画像オブジェクトの移動操作を実現することができる。また、画像オブジェクトの直上に接触体があることによる画像オブジェクト近辺の見えにくさを軽減することができる。
また、上記の実施形態には、信号生成手段72が、ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の外側であると判定され、タッチ位置が移動したときに、画像オブジェクトのドラッグを維持しながら、タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する構成が開示されている。さらに、上記の実施形態には、信号生成手段72は、ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトのドラッグを解除する構成が開示されている。そのような構成によれば、ユーザはドラッグ操作していた画像オブジェクトから接触体を離して、この画像オブジェクトから離れた広い領域内での接触体を動かし、ドラッグ状態を維持したまま画像オブジェクトを移動させることができる。また、ドラッグ状態の解除操作も容易である。
また、上記の実施形態には、内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示する内外判定対象領域表示手段(例えば、カーソル描画手段13)を備える構成が開示されている。そのような構成によれば、内外判定対象領域をユーザに分かりやすく提示することができる。
また、上記の実施形態には、画像オブジェクトはカーソルである場合が開示されている。
ここで、上述した画像オブジェクト制御システムは、コンピュータに、画像オブジェクト制御プログラムが組み込まれることによって実現される。
具体的に、画像オブジェクト制御プログラムは、
コンピュータに、
画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、
接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成処理、
を実行させるためのプログラムである。
また、上記画像オブジェクト制御プログラムは、
コンピュータに、
接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記信号生成処理で、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成させる、プログラムである。
そして、上記画像オブジェクト制御システムが作動することにより、画像オブジェクト制御方法が実行される。
具体的に、画像オブジェクト制御方法は、
画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、
接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する、
という方法である。
また、上記画像オブジェクト制御方法は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2008年9月22日に特許出願された特願2008−242995の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、カーソル等の画像オブジェクトに対する操作を行う画像オブジェクト制御システムに好適に適用可能である。
1 画像オブジェクト制御システム
11 イベント生成手段
12 カーソル内外判定手段
13 カーソル描画手段
14 状態記憶手段
15 タッチセンサ
16 表示パネル
71 内外判定手段
72 信号生成手段

Claims (17)

  1. 画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定手段と、
    接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成手段と、を備える
    ことを特徴とする画像オブジェクト制御システム。
  2. 前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する
    請求項1に記載の画像オブジェクト制御システム。
  3. 前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置が移動したときに、前記タッチ位置の移動に合わせて、画像オブジェクトの移動を指示する信号を生成する
    請求項2に記載の画像オブジェクト制御システム。
  4. 前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が所定量以上であるときに、画像オブジェクトを当該画像オブジェクトの表示位置を起点として、前記タッチ位置の移動と同一の軌跡で移動させることを指示する信号を生成する、
    請求項2または請求項3に記載の画像オブジェクト制御システム。
  5. 前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が所定量未満であるときに、画像オブジェクトを前記タッチ位置に移動させることを指示する信号を生成する
    請求項2から請求項4のいずれか1項に記載の画像オブジェクト制御システム。
  6. 前記内外判定手段は、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置の移動量が0であるときに、画像オブジェクトを前記タッチ位置に移動させることを指示する信号を生成する
    請求項2から請求項4のうちのいずれか1項に記載の画像オブジェクト制御システム。
  7. 前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定されたときに、画像オブジェクトの操作を表す信号であって、接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときとは異なる操作を表す信号を生成する
    請求項1から請求項6のうちのいずれか1項に記載の画像オブジェクト制御システム。
  8. 前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトの操作を表す信号として、クリックを表す信号を生成する
    請求項7に記載の画像オブジェクト制御システム。
  9. 前記信号生成手段は、接触体のタッチ位置が内外判定対象領域の内側であると判定され、前記タッチ位置が前記内外判定領域の外縁まで移動しさらに前記前記内外判定領域の外側に向けて移動する場合、前記タッチ位置の移動に合わせて、画像オブジェクトのドラッグを指示する信号を生成する
    請求項7または請求項8に記載の画像オブジェクト制御システム。
  10. 前記信号生成手段は、前記ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の外側であると判定され、前記タッチ位置が移動したときに、画像オブジェクトのドラッグを維持しながら、前記タッチ位置の移動に合わせて、前記画像オブジェクトの移動を指示する信号を生成する
    請求項9に記載の画像オブジェクト制御システム。
  11. 前記信号生成手段は、前記ドラッグを指示する信号を生成すると共に当該ドラッグを維持する信号を生成し、その後、接触体のタッチ位置が内外判定対象領域の内側であると判定され、接触体のタッチ位置が当該内外判定対象領域の外側に移動することなくタッチ状態が解除された場合、画像オブジェクトのドラッグを解除する
    請求項9または請求項10に記載の画像オブジェクト制御システム。
  12. 内外判定対象領域の外縁が視認可能となるように内外判定対象領域を表示する内外判定対象領域表示手段を備える
    請求項1から請求項11のうちのいずれか1項に記載の画像オブジェクト制御システム。
  13. 画像オブジェクトはカーソルである請求項1から請求項12のうちのいずれか1項に記載の画像オブジェクト制御システム。
  14. 画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定し、
    接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する、
    ことを特徴とする画像オブジェクト制御方法。
  15. 接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成する
    請求項14に記載の画像オブジェクト制御方法。
  16. コンピュータに、
    画像オブジェクトの表示位置に対して定められる領域であって接触体のタッチ位置の内外判定の対象となる領域である内外判定対象領域について、接触体のタッチ位置が外側に位置するか内側に位置するかを判定する内外判定処理、および、
    接触体のタッチ位置が前記内外判定対象領域の外側であると判定されたときに、前記画像オブジェクトの操作を表す信号を生成する信号生成処理
    を実行させるための画像オブジェクト制御プログラム。
  17. コンピュータに、
    接触体のタッチ位置が内外判定対象領域の外側であると判定されたときに、前記信号生成処理で、画像オブジェクトの操作を表す信号として、画像オブジェクトの移動を指示する信号を生成させる
    請求項16に記載の画像オブジェクト制御プログラム。
JP2010529581A 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム Pending JPWO2010032354A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008242995 2008-09-22
JP2008242995 2008-09-22
PCT/JP2009/003139 WO2010032354A1 (ja) 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2010032354A1 true JPWO2010032354A1 (ja) 2012-02-02

Family

ID=42039207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010529581A Pending JPWO2010032354A1 (ja) 2008-09-22 2009-07-07 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20110163988A1 (ja)
JP (1) JPWO2010032354A1 (ja)
WO (1) WO2010032354A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418187B2 (ja) * 2009-12-02 2014-02-19 ソニー株式会社 接触操作判定装置、接触操作判定方法およびプログラム
JP5556626B2 (ja) * 2010-11-30 2014-07-23 カシオ計算機株式会社 カーソル移動制御装置及びプログラム
US9323415B2 (en) * 2011-06-29 2016-04-26 Nokia Technologies Oy Apparatus and associated methods related to touch sensitive displays
JP5850736B2 (ja) * 2011-12-21 2016-02-03 京セラ株式会社 装置、方法及びプログラム
JP6145963B2 (ja) * 2012-04-05 2017-06-14 セイコーエプソン株式会社 プロジェクター、表示システム、及びプロジェクターの制御方法
US9134814B2 (en) * 2012-04-05 2015-09-15 Seiko Epson Corporation Input device, display system and input method
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム
JP6116167B2 (ja) 2012-09-14 2017-04-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6029453B2 (ja) * 2012-12-21 2016-11-24 京セラ株式会社 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
TW201432544A (zh) * 2013-02-01 2014-08-16 Hon Hai Prec Ind Co Ltd 資料搜索方法和系統
JP2014173872A (ja) * 2013-03-06 2014-09-22 Hioki Ee Corp 波形表示装置、及びプログラム
CN104049879A (zh) * 2013-03-14 2014-09-17 中兴通讯股份有限公司 触摸式终端及其提示框定位的方法
US9389728B2 (en) * 2013-03-15 2016-07-12 Elwha Llc Systems and methods for parallax compensation
US9395902B2 (en) 2013-03-15 2016-07-19 Elwha Llc Systems and methods for parallax compensation
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
JP5780438B2 (ja) * 2013-05-21 2015-09-16 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置
JP6131982B2 (ja) * 2015-04-06 2017-05-24 コニカミノルタ株式会社 ジェスチャ判別装置
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
JP6332224B2 (ja) * 2015-10-14 2018-05-30 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2017078906A (ja) * 2015-10-19 2017-04-27 幸一 横田 画像表示装置、方法、及びコンピュータプログラム
JP6313395B1 (ja) * 2016-10-17 2018-04-18 グリー株式会社 描画処理方法、描画処理プログラム及び描画処理装置
JP6605116B2 (ja) * 2018-12-17 2019-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161665A (ja) * 1992-11-18 1994-06-10 Sharp Corp ペンカーソル入力装置
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置
JP2004038503A (ja) * 2002-07-02 2004-02-05 Nihon Brain Ware Co Ltd 情報処理装置及びコンピュータ読み取り可能な記録媒体
JP2006179006A (ja) * 2004-12-22 2006-07-06 Microsoft Corp カーソルを用いて入力を制御する入力制御方法
JP2007334870A (ja) * 2006-06-14 2007-12-27 Mitsubishi Electric Research Laboratories Inc 直接入力装置の位置をマッピングする方法およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4215549B2 (ja) * 2003-04-02 2009-01-28 富士通株式会社 タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161665A (ja) * 1992-11-18 1994-06-10 Sharp Corp ペンカーソル入力装置
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置
JP2004038503A (ja) * 2002-07-02 2004-02-05 Nihon Brain Ware Co Ltd 情報処理装置及びコンピュータ読み取り可能な記録媒体
JP2006179006A (ja) * 2004-12-22 2006-07-06 Microsoft Corp カーソルを用いて入力を制御する入力制御方法
JP2007334870A (ja) * 2006-06-14 2007-12-27 Mitsubishi Electric Research Laboratories Inc 直接入力装置の位置をマッピングする方法およびシステム

Also Published As

Publication number Publication date
WO2010032354A1 (ja) 2010-03-25
US20110163988A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
WO2010032354A1 (ja) 画像オブジェクト制御システム、画像オブジェクト制御方法およびプログラム
US20220083214A1 (en) Systems and Methods for Interacting with Multiple Applications that are Simultaneously Displayed on an Electronic Device with a Touch-Sensitive Display
EP2256614B1 (en) Display control apparatus, display control method, and computer program
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
JP5691464B2 (ja) 情報処理装置
US20130063384A1 (en) Electronic apparatus, display method, and program
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
EP3590034B1 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
EP2992424A1 (en) Proxy gesture recognizer
JP2011028524A (ja) 情報処理装置、プログラムおよびポインティング方法
KR20080091502A (ko) 다점 감지 장치를 이용한 제스처링
WO2011157527A1 (en) Contextual hierarchical menu system on touch screens
JP5780438B2 (ja) 電子機器、位置指定方法及びプログラム
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
CN103324389A (zh) 智能终端应用程序的操作方法
US20220326816A1 (en) Systems, Methods, and User Interfaces for Interacting with Multiple Application Views
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
JP5275429B2 (ja) 情報処理装置、プログラムおよびポインティング方法
US10895979B1 (en) Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
JP2013012063A (ja) 表示制御装置
US9501206B2 (en) Information processing apparatus
US9417780B2 (en) Information processing apparatus
US9501210B2 (en) Information processing apparatus
US20150100912A1 (en) Portable electronic device and method for controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120605

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20120713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131008