JP6107968B2 - 表示処理装置、表示処理方法、及び表示処理プログラム - Google Patents

表示処理装置、表示処理方法、及び表示処理プログラム Download PDF

Info

Publication number
JP6107968B2
JP6107968B2 JP2015547296A JP2015547296A JP6107968B2 JP 6107968 B2 JP6107968 B2 JP 6107968B2 JP 2015547296 A JP2015547296 A JP 2015547296A JP 2015547296 A JP2015547296 A JP 2015547296A JP 6107968 B2 JP6107968 B2 JP 6107968B2
Authority
JP
Japan
Prior art keywords
point
screen
display
cursor pointer
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015547296A
Other languages
English (en)
Other versions
JPWO2015071947A1 (ja
Inventor
英幸 丹羽
英幸 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2015071947A1 publication Critical patent/JPWO2015071947A1/ja
Application granted granted Critical
Publication of JP6107968B2 publication Critical patent/JP6107968B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本願は、表示処理装置、表示処理方法、及び表示処理プログラムに関する。
タッチパネル等が設けられた表示処理装置は、操作者(以下、「ユーザ」という)がタッチパネル上で所定の操作を行うことで、その操作に対応する情報を受け付ける。上述したタッチパネルの操作では、ユーザがタッチパネルの画面をタッチしたことによる操作入力(ポイント)によりポイントされた表示画面の位置に対応する座標を指定座標として認識する。そして、表示処理装置は、認識した座標に対応して画面に表示されたアイコン等を選択したり、アプリケーション(以下、「アプリ」と略称する)の実行等を行う。
特開平11−24841号公報 特開平8−76927号公報
しかしながら、ポイントされた表示画面の位置に対応する座標を指定座標とする場合には、ポイントされている位置と、指定座標の表示位置が一致又は近接しているため、ポイントしている間はユーザの指等に隠れて指定座標が隠れてしまう。そのため、ユーザは、指定座標の画面上での位置を直接目視で確認することができなかった。特に、ユーザが指でポイントする態様では、スタイラス等でポイントする場合と比較して、指定座標の画面上での位置を直接目視で確認することが困難である。
そこで、例えばポイントされた表示画面の位置に対応する座標から所定以上離れた座標を指定座標とすることで、ポイントされている状態でも指定座標の画面上での位置を直接目視で確認可能とすることが考えられる。しかしながら、上述したように、ポイントされた表示画面の位置に対応する座標から所定以上離れた座標を指定座標とする場合には、例えば画面端付近に位置する座標を指定する場合に、ポイントすべき座標が表示画面外となってしまう。
1つの側面では、本発明は、表示処理装置の操作性を向上させることを目的とする。
一態様における表示処理装置は、画面を表示する表示部と、受け付けた操作入力に対応する前記画面の表示領域内の第1のポイントを特定する位置特定部と、前記表示領域の端部に設定される所定ポイントから、前記第1のポイントへの半直線上の前記表示領域内に存在し、前記第1のポイントから所定の距離にある第2のポイントを前記表示領域に識別可能に表示する表示制御部とを有する。
表示処理装置の操作性を向上させることができる。
本実施形態における表示処理装置の機能構成例を示す図である。 本実施形態における表示処理装置のハードウェア構成例を示す図である。 表示処理装置における処理の一例を示すフローチャート(その1)である。 表示処理装置における処理の一例を示すフローチャート(その2)である。 位置調整モードの第1実施例におけるカーソルポインタの表示例を説明するための図である。 指で画面をタッチした場合のカーソルポインタの表示位置を説明するための図である。 位置調整モードの第1実施例におけるカーソルポインタの表示位置の切り替え例を示す図である。 画面の上端中央を基準点とした場合のカーソルポインタの表示例を説明するための図である 位置調整モードの第2実施例におけるカーソルポインタの表示例を説明するための図である。 画面の左上の角を基準点としたカーソルポインタの表示例を説明するための図である。 位置調整モードの第3実施例におけるカーソルポインタの表示例を説明するための図である。 固定モードの第1実施例におけるカーソルポインタの表示例を説明するための図である。 固定モードの第2実施例におけるカーソルポインタの表示例を説明するための図である。 カーソルポインタの形状の一例を示す図である。 カーソルポインタの表示位置を説明するための図である。 本実施形態の第1適用例を説明するための図である。 本実施形態の第2適用例を説明するための図である。 本実施形態の第3適用例を説明するための図である。 本実施形態の第4適用例を説明するための図である。 本実施形態の第5適用例を説明するための図である。 ボタン配置を利用したカーソル表示例を示す図である。
以下、図面に基づいて実施形態を説明する。
<表示処理装置の機能構成例>
図1は、本実施形態における表示処理装置の機能構成例を示す図である。図1に示す表示処理装置10は、例えば入力制御を行う情報機器であり、例えばタブレット端末、スマートフォン、Personal Digital Assistant(PDA)、携帯電話等である。また、表示処理装置10は、例えばPCやサーバ、ゲーム機器、音楽再生装置等でもよい。
表示処理装置10は、タッチパネル11と、タッチ検出部12と、位置特定部13と、制御実行部14と、ポイント位置調整部15と、表示制御部16と、画面表示部(表示部)17とを有する。
タッチパネル11は、表示処理装置10に対する各種の情報の入力を受け付ける入力部である。タッチパネル11は、画面に接触したユーザの指からの微電流や、指やスタイラス等による押圧を検知することで、指の位置情報等を取得する。タッチパネル11は、例えば抵抗膜方式や静電容量方式、赤外線方式、電磁誘導方式等を利用することで指やスタイラス等の位置を検出することができるが、これに限定されるものではない。
また、タッチパネル11は、同時に複数の指の位置等を取得することができる。また、タッチパネル11は、時間の経過に伴う指の移動を追跡して入力情報を取得することができる。
タッチパネル11は、例えばディスプレイ(画面表示部17)と一体にタッチパネルディスプレイとして構成してもよい。タッチパネル11により入力された情報に基づく制御内容が、ディスプレイに表示される。
センサ制御部の一例であるタッチ検出部12は、ユーザの指やスタイラス等がタッチパネル11上に接触(タッチ)したことを検出する。タッチ検出部12は、タッチパネル11上をユーザが指等でタッチ操作したことを受け付けると、そのタッチ位置やタッチ回数、指の移動方向等の入力情報を取得する。
なお、タッチ検出部12は、例えばある時点における指の位置(座標)だけでなく、時間経過に伴う数秒間隔での指の移動を追跡し、その追跡内容(移動経路)から動作内容を取得してもよい。これにより、例えばスワイプ動作(例えば、画面に触れた状態で指を滑らせる(移動させる)動作)やフリック動作(例えば、画面を軽くはらう動作)、タップ、指を画面上で回転させる等の各種操作を検出することができる。
位置特定部13は、タッチ検出部12からの検出結果に基づき、受け付けた操作入力に対応するタッチ位置(第1のポイント)を特定する。また、位置特定部13は、操作入力と共に座標指定がなされた場合、カーソルポインタの位置をポイント指定により指定されるポイントとする。
制御実行部14は、位置特定部13から得られるタッチ検出部12の検出結果に基づく位置情報(座標)から、アプリやプログラム等の起動や終了、切り替え、パラメータの設定、その他の各種動作内容を制御する。例えば、制御実行部14は、タッチ検出部12で検出されたタッチ位置に基づいて画面表示部17の表示領域内に表示されたアイコンやボタンの選択や移動、コンテンツのスクロール等を行う。また、制御実行部14は、コンテンツ内に含まれるチェックボックスやテキストボックス等の入力領域の選択、文字入力等を制御する。上述した各種制御は、例えば表示制御部16が有する各種アプリやプログラム等により実行される。
例えば、制御実行部14は、表示処理装置10に予め実行可能にインストールされている複数のアプリの中から、位置特定部13による制御内容に対応させた所定のアプリを実行する。なお、アプリとは、例えば文書編集や表計算等を行うソフトウェアでもよく、スワイプ動作やタップ動作に対するスクロールや画面変更、ブラウザの立ち上げ等の一般的な動作を行う基本的なアプリであってもよい。
なお、各種アプリは、例えばAndroid(登録商標)やWindows(登録商標)、Linux(登録商標)等のOperating System(OS)上で実行されるが、これに限定されるものではない。
ポイント位置調整部15は、ユーザのタッチ位置(第1のポイント)に応じてカーソルポインタの表示位置を調整する。例えば、ポイント位置調整部15は、画面の表示領域の端部に設定される基準点(所定ポイント)から、タッチ位置への半直線上の表示領域内に存在し、そのタッチ位置から所定の距離にある点を所定の計算式等により算出する。また、ポイント位置調整部15は、得られた点(第2のポイント)をカーソルポインタの表示位置とする。
ポイント位置調整部15は、タッチ位置との距離が、タッチ位置と所定ポイントとの距離よりも大きくなる表示領域内の第2のポイントを設定する。また、ポイント位置調整部15は、タッチ位置(第1のポイント)から所定ポイントまでの距離が所定の値より小さい場合、タッチ位置からカーソルポインタまでの距離を、所定ポイントからタッチ位置までの距離に応じて変化させる。
なお、ポイント位置調整部15は、タッチ位置が予め設定された位置にある場合に、所定ポイントを変更してもよい。例えば、ポイント位置調整部15は、位置特定部13により得られるタッチ位置が表示領域の端部に到達した場合等の所定の条件に基づいて、所定ポイントの位置を変更することができるが、条件についてはこれに限定されるものではない。
ポイント位置調整部15は、設定されたカーソルポインタの表示モード(例えば、位置調整モード、固定モード等)や表示モードに対応して設定された計算式等に基づいて画面表示部17の画面に表示されるカーソルポインタの表示位置を調整する。
表示制御部16は、制御実行部14により得られる表示内容を表示すると共に、ポイント位置調整部15により調整された表示領域内の位置(座標)にカーソルポインタを識別可能に表示する。
画面表示部17は、表示制御部16により制御された表示内容を画面に表示する出力部である。なお、画面表示部17は、タッチパネル11と一体として構成されていてもよい。この場合、タッチパネル11と画面表示部17とが一体型の入出力部となる。上述したように、本実施形態によれば、表示処理装置10におけるユーザ入力の操作性を向上させることができる。
<表示処理装置10のハードウェア構成例>
図2は、本実施形態における表示処理装置のハードウェア構成例を示す図である。図2の例において、表示処理装置10は、マイクロフォン(以下、「マイク」という)21と、スピーカ22と、表示部23と、操作部24と、センサ部25と、電力部26と、無線部27と、近距離通信部28と、補助記憶装置29と、主記憶装置30と、Central Processing Unit(CPU)31と、ドライブ装置32とを有し、これらはシステムバスBで相互に接続されている。
マイク21は、ユーザが発した音声や、その他の音を入力する。スピーカ22は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク21及びスピーカ22は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
表示部23は、ユーザに対してOSや各種アプリで設定された画面を表示する。また、表示部23は、上述したタッチパネル11と画面表示部17とを有するタッチパネルディスプレイ等でもよい。その場合、表示部23は、入出力部としての機能を有する。
表示部23は、例えばLiquid Crystal Display(LCD)や有機Electro Luminescence(EL)等のディスプレイである。
操作部24は、表示部23の画面に表示された操作ボタンや表示処理装置10の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
ユーザは、例えば表示部23の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部23により画面上のタッチ位置が検出される。また、表示部23は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
センサ部25は、表示処理装置10のある時点又は継続的な動作を検出する。例えば、センサ部25は、表示処理装置の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部25としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Global Positioning System(GPS)等であるが、これに限定されるものではない。
電力部26は、表示処理装置10の各構成に対して電力を供給する。電力部26は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部26は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。
無線部27は、例えばアンテナ等を用いて基地局からの無線信号(通信データ)を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。
近距離通信部28は、例えば赤外線通信やWi−Fi(登録商標)、Bluetooth(登録商標)等の通信手法を用いて、他の装置と近距離通信を行う。上述した無線部27及び近距離通信部28は、他の装置とのデータの送受信を可能とする通信インタフェースである。
補助記憶装置29は、例えばHard Disk Drive(HDD)やSolid State Drive(SSD)等のストレージ手段である。補助記憶装置29は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。
主記憶装置30は、CPU31からの指示により補助記憶装置29から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置30は、例えばRead Only Memory(ROM)やRandom Access Memory(RAM)等であるが、これに限定されるものではない。
CPU31は、OS等の制御プログラム、及び主記憶装置30に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、入力制御における各処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置29から取得し、実行結果等を格納してもよい。
ドライブ装置32は、例えば記録媒体33等を着脱自在にセットすることができ、セットした記録媒体33に記録された各種情報を読み込んだり、所定の情報を記録媒体33に書き込むことができる。ドライブ装置32は、例えば媒体装填スロット等であるが、これに限定されるものではない。
記録媒体33は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体33は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体33は、Universal Serial Bus(USB)メモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム(例えば、表示処理プログラム等)をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示処理等を実現することができる。また、上述した表示処理に対応する表示処理プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
<表示処理装置10における処理の一例>
次に、本実施形態における表示処理装置10における処理の一例について、フローチャートを用いて説明する。図3、図4は、表示処理装置における処理の一例を示すフローチャート(その1、その2)である。
図3、図4の例において、表示処理装置10のタッチ検出部12は、ユーザのタッチパネル11へのタッチ操作を検出する(S01)。次に、表示処理装置10の位置特定部13は、タッチ操作からユーザの指によるタッチ位置(指定座標)を特定し(S02)、特定したタッチ位置を制御実行部14で実行されるOS等に通知する(S03)。
次に、制御実行部14は、タッチ位置の情報から、カーソルポインタ表示位置を計算して最新の操作位置を記憶する(S04)。ここで、制御実行部14は、クリック操作か否かを判断する(S05)。なお、クリック操作とは、例えば操作入力により座標指定を行うことを意味し、例えばユーザの指で行うタップ操作等に相当する。
制御実行部14は、クリック操作である場合(S05において、YES)、クリックイベントを発生させ、記憶していた操作位置をOS経由で操作対象プログラムに通知する(S06)。
S06の処理後、又は、S05の処理においてクリック操作でない場合(S05において、NO)、制御実行部14は、ダブルクリック操作か否かを判断する(S07)。ダブルクリック操作でない場合(S07において、YES)、制御実行部14は、ダブルクリックイベントを発生させ記憶していた操作位置をOS経由で操作対象プログラムに通知する(S08)。
S08の処理後、又は、S07の処理においてダブルクリック操作でない場合(S07において、NO)、制御実行部14は、ドラッグ操作か否かを判断する(S09)。ドラッグ操作である場合(S09において、YES)、制御実行部14は、ドラッグ操作イベントを発生させ操作範囲をOS経由で操作対象プログラムに通知する(S10)。
S10の処理後、又は、S09の処理においてドラッグ操作でない場合(S09において、NO)、制御実行部14は、アイコン等で画面上に表示されたコンテキストメニュー操作か否かを判断する(S11)。コンテキストメニュー操作である場合(S11において、YES)、制御実行部14は、コンテキストメニューを表示させユーザにメニューを選択させる(S12)。
S12の処理後、又は、S11の処理においてコンテキストメニュー操作でない場合(S11において、NO)、制御実行部14は、カーソルポインタが位置調整モードの設定か否かを判断する(S13)。なお、カーソルポインタが位置調整モードであるか否かの判断は、例えば実行しているアプリに応じて設定してもよく、ユーザ等により設定されていてもよい。
位置調整モードの設定である場合(S13において、YES)、制御実行部14は、カーソルポインタを位置調整モードに設定する(S14)。また、制御実行部14は、位置調整モード設定でない場合(S13において、NO)、カーソルポインタを固定モードに設定する(S15)。なお、位置調整モード及び固定モードの具体例については、後述する。ポイント位置調整部15は、上述したS14に示す位置調整モード、S15に示す固定モードに対応させて、カーソルポイントの位置を調整する。
次に、制御実行部14は、ユーザの指がタッチパネル11から離れたか否かを判断する(S16)。タッチパネル11から離れていない場合(S16において、NO)、表示制御部16は、OSから指示された指からの相対位置にカーソルポインタを設定する(S19)。次に、表示制御部16は、ポイント位置調整部15により位置調整モードや固定モードの計算式により計算された画面の表示領域内の位置にカーソルポインタを表示する(S18)。
また、制御実行部14は、S16の処理において、ユーザの指がタッチパネル11から離れた場合(S16において、NO)、クリックイベントを発生させ、操作位置をOS経由で操作対象プログラムに通知する(S19)。また、表示制御部16は、画面表示部17の画面上のカーソルポインタを消去する(S20)。
なお、上述したS05,S07,S09,S11の処理における判断処理の順序においては、これに限定されるものではなく、判断順序を任意に入れ替えてもよい。
<カーソルポインタの表示制御処理の具体例>
次に、本実施形態におけるカーソルポインタの表示制御処理の具体例について説明する。タッチパネル11を指で触れると、タッチ検出部12がそのタッチ位置を検出し、OS(制御実行部14)に通知する。制御実行部14は、位置特定部13から得られるタッチ位置に基づいて状況に応じたタッチ処理(例えばクリック、ダブルクリック、ドラッグ操作、又はコンテキストメニュー表示等)を実行する。また、制御実行部14は、位置特定部13から得られるタッチ位置に基づいて、カーソルポインタの表示位置を計算する。表示制御部16は、OSから指示された位置にカーソルポインタを表示する。
本実施形態では、指でタッチパネル11に触れたときに、表示領域の端部(辺縁上)の所定ポイントを基準とし、所定ポイントから指のタッチ位置(第1のポイント)とを結ぶ線の延長線上(半直線上)の数ポイント(数センチ)離れた所定の位置にカーソルポインタ(第2のポインタ)を表示する。本実施形態では、画面上のタッチ位置が操作対象のポイントではなく、カーソルポインタで指定された位置(座標)が実際の操作対象のポイントとなる。
ここで、従来のように指のタッチ位置を操作対象のポイントとすると、指で隠されたどこをポイントしているかを適切に知ることができないため、どうしてもアバウトな指定しかできなくなる。そこで、ユーザの指から離れた適切な位置に操作対象のカーソルポイントを表示させることで、カーソルポインタを目で視認しながら細かな位置の調整をリアルタイムに行うことができる。
<カーソルポインタの表示モードの具体例>
ここで、カーソルポインタの表示モードの具体例について説明する。本実施形態では、指やスタイラス等による画面のタッチ位置に基づいてカーソルポインタを表示する方法として、位置調整モードと固定モードの2種類を有するが、モードの種類や数については、これに限定されるものではない。2つのモードの切り替えは、例えばOSにより実行中のアプリ等に対応させて行われる。
位置調整モードでは、指がタッチパネル11全体のどこに位置するかで表示される角度と距離が自動的に変わる。また、位置調整モードでは、カーソルポインタの表示される方向は操作の死角ができないように画面端に近い方向を向くようにする。また、カーソルポインタは、連続してずらしても大きくジャンプしてしまうことなく滑らかに角度や距離が更新される。
一方、固定モードでは、指がタッチパネル11全体のどこに位置するかで表示される距離が自動的に変わる。つまり、固定モードでは、指に対する角度は変わらずに固定される。
各モードにおけるカーソルポインタから指までの距離は、ユーザが指定した所定の長さに従う。例えば、位置調整モードは、少ない指の動きで広い範囲をすばやく指定でき、固定モードでは細かなポイントの指定を精密に行い易い。したがって、メニューやボタン操作等の通常の操作を行う場合は、位置調整モードを使うのが便利である。この位置調整モードでは、カーソルポインタが表示される角度が自動的に調整される。また、例えばグラフィックソフトやComputer Aided Design(CAD)ソフト等のように、カーソルポインタを直線的に動かす場合や細かな動作が必要な場合は固定モードを用いるのが好ましい。
次に、位置調整モードと固定モードにおけるカーソルポインタ表示内容の各実施例について、図を用いて説明する。
<位置調整モード:第1実施例>
図5は、位置調整モードの第1実施例におけるカーソルポインタの表示例を説明するための図である。図5の例では、説明の便宜上、表示処理装置10が有する画面40の左上を基準(0,0)として設定されたXY座標軸が示されている。また、図5の例では、タッチ位置41を点で示し、カーソルポインタ42を十字で示している。上記の内容は、後述する各実施例においても同様とする。
位置調整モードの第1実施例では、例えば画面の下端中央又は上端中央を基準(所定ポイント)として、カーソルポインタの表示位置を調整する。第1実施例における位置調整モードでのカーソルポインタの表示位置(Xcursor,Ycusor)は、画面の横幅をX、縦幅をY、タッチ位置(第1のポイント)を(x,y)とすると、タッチ位置41から画面40の下端中央までの距離Lpは、以下に示す式(1)のような演算により求まる。
Figure 0006107968
例えば、指のタッチ位置(第1のポイント)41と、実際に表示されるカーソルポインタ(第2のポイント)42との距離をLとし、ユーザの設定した指からのカーソルポインタの距離をLuとする。また、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。この場合に、画面左上の角を基準にした座標系に対し、以下に示す式(2)、(3)によりカーソルポインタの表示位置(Xcursor,Ycusor)が求まる。
Figure 0006107968
上述した演算により、ユーザのタッチ位置に対してカーソルポインタが表示される角度と距離とを自動的に調整し、例えば図5(A)、(B)に示すように、画面40の下端中央からタッチ位置41まで直線で結んで延長した距離Luの位置にカーソルポインタ42を表示させる。
例えば、下端中央のような画面40上のポインタが収束する基準点の座標を(Xa,Ya)とした場合のタッチ位置41に対するカーソルポインタ42の中心点(Xcursor,Ycursor)43は、例えば、
(x−Xa):(y−Ya)=Lx:Ly
Lu=Lx+Ly
Xcursor=x−Lx
Ycursor=y−Ly
を解くことで求めることができる。Lxは、タッチ位置41からカーソルポインタ42の中心点43までのx座標の距離である。Lyは、タッチ位置41からカーソルポインタ42の中心点43までのy座標の距離である。
ただし、上述した距離Lpが距離Luよりも短くなると、その領域がポイントできなくなる。例えばタッチ位置41を画面40の中央あたりから下に降ろしてくると、画面40の下端中央に指が達したところでそれ以上は指を下げられないため、カーソルポインタ42は距離Luだけ上の位置に留まってしまう。同様に斜め上から画面40の下端中央に向けて動かした場合には、カーソルポインタ42は距離Luだけ離れた距離に留まってそれ以上は近づけない。つまり、図5(B)に示すように、画面40の下端中央から距離Luを半径とした半円の領域44の中はポイントできないことになってしまう。
そこで、位置調整モードの第1実施例では、上述したタッチ位置41が半円の領域44内にある場合には、指のタッチ位置41からカーソルポインタ42までの距離に、基準点からタッチ位置までの距離Lpを適用する。したがって、上述したように、式(2)、(3)において、Lu≧Lpの場合にはL=Luとなり、Lp<Luの場合にはL=Lpとなる。
これにより、画面40内にカーソルポインタ42で位置付けられない領域が存在しないようにすることができる。したがって、画面40の下端中央の点に近づくほどカーソルポインタ42も指に近づくことになる。また、画面40の下端中央の点にタッチするとカーソルポインタ42もそのタッチ位置41に重なる。よって、ポイントできない領域は画面40上からなくなる。
これは、上述した式(1)〜(3)で、Lp<Luの場合の式がこの処理に相当し、この条件を満たす場合には、カーソルポインタ42と指のタッチ位置41との距離Lに距離Lpが設定される。
図6は、指で画面をタッチした場合のカーソルポインタの表示位置を説明するための図である。図6に示す点線は、画面40の下端中央の位置(所定ポイント)からカーソルポインタ42までの距離を説明するために便宜的に引いた線であり、実際の画面40には表示されない。図6の例では、指45のタッチ位置とカーソルポインタ42と画面40の下端中央の基準点が一直線(半直線上)に配置されていることを示す。
図6に示すように、位置調整モードの第1実施例では、ユーザの指(タッチ位置)が、画面40の上部にあれば、その上部にカーソルポインタ42が表示され、画面40の左側であれば、左斜め上にカーソルポインタ42が表示される。また、ユーザの指(タッチ位置)が、画面40の右側であれば、右斜め上に自動に表示される。したがって、位置調整モードの第1実施例では、画面(表示領域)の隅々までポイントすることができる。
ここで、第1実施例において、画面40の下端中央の近くでは、カーソルポインタ42が指45の下に隠れてしまうことにより、指定精度が確保できない場合がある。そこで、第1実施例では、指45が画面40の下端に到達した場合には、画面左上の角を基準にした座標系に対し、画面40の上端中央を基準点(所定ポイント)として、以下に示す式(4)〜(6)に切り替えて、カーソルポインタ42を算出する。
Figure 0006107968
なお、式(5)、(6)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
また、例えば、画面40の下端(中央に限定されない)に指が到達した場合には、全て式(4)〜(6)の計算式への切り替えが行われる。同様に画面40の上端(中央に限定されない)に指45が到達した場合にも、上述した式(4)〜(6)式の計算式への切り替えが行われる。
図6に示す画面40の上端又は下端での計算式の切り替えはトグル式に行われる。つまり、第1実施例では、画面40の上端又は下端に指のタッチ位置が到達した場合には、上述した式(1)〜(3)と、式(4)〜(6)とが順に切り替えられる。
図7は、位置調整モードの第1実施例におけるカーソルポインタの表示位置の切り替え例を示す図である。図7(A)の例では、下端中央を基準点として上述した式(1)〜(3)等を用いて得られるカーソルポインタ42の表示位置が設定されている。図7(A)の例において、画面40のタッチ位置41−1にタッチした指を、画面40の下端付近まで滑らせ(移動させ)、タッチ位置41−2に示すように、画面40の下端に到達すると、基準点が変更され、上述した式(1)〜(3)から式(4)〜(6)の演算に切り替わる。したがって、カーソルポインタ42−2は、画面40の外で下方向にジャンプする(図7(A)に示すカーソルポインタ42−2')。なお、このジャンプは、画面の外で仮想的に行われ、画面40に表示されないため、ユーザは気にならず、違和感を覚えたり、カーソルポインタ42を見失うようなことなく操作を続行することができる。その後、図7(A)に示すタッチ位置41−3に移動すると、画面40の上端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ42−3が表示される。
また、図7(B)の例において、図7(A)のカーソルポインタ42−4の位置から再度、指を画面40にタッチしたまま画面40の下端(タッチ位置41−5)まで滑らせると、現在カーソル位置の算出に用いている式(4)〜(6)から式(1)〜(3)式に切り替わり、カーソルポインタ42−5がカーソルポインタ42−5'にジャンプする。したがって、タッチ位置41−5からタッチ位置41−6へと移動すると、画面40の下端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ42−6が表示される。
また、図7(C)の例では、画面40の下端中心に向かって指を動かしたときの基準点及び計算式の切り替え例を示している。図7(C)の例でも同様に、ユーザの指を画面40にタッチ(タッチ位置41−7)したまま、下端中心付近まで滑らせ、画面40の下端中央にタッチすると(タッチ位置41−8)、現在設定されている式(1)〜(3)を用いた算出方法が、式(4)〜(6)を用いた算出方法となり、画面40の上端中央を基準としたカーソルポインタの表示に切り替わる。したがって、カーソルポインタ42−8は、カーソルポインタ42−8'にジャンプする。このカーソルポインタのジャンプは、画面の外で仮想的に行われ、画面40に表示されないため、ユーザは気にならない。その後、ユーザがタッチ位置41−8からタッチ位置41−9に移動させた場合には、画面40の上端中央を基準点として、対応する計算式により計算された位置にカーソルポインタ42−9が表示される。
図8は、画面の上端中央を基準点とした場合のカーソルポインタの表示例を説明するための図である。図8に示すように、画面40の上端中央を基準(所定ポイント)とした場合には、上述した式(4)〜(6)を用いてカーソルポインタ42の中心点43が算出され、その算出された座標にカーソルポインタ42が表示される。
画面40の上端中央を基準とした場合、図8(A)、(B)に示すように、ユーザの指よりも下(手前)にカーソルポインタ42が表示される。そのため、例えば画面40の下端近くの位置をポイントしたい場合に有効である。
また、図8(B)に示すように、タッチ位置41が画面40の上端中央から予め設定された半径Luの領域44内に入った場合は、上述したようにタッチ位置41からカーソルポインタ42までの距離に、基準点からタッチ位置41までの距離Lpを使用する。これにより、画面40の上端中央の基準点に近づくにつれて、相対的にタッチ位置41とカーソルポインタ42との距離も近づくことになる。したがって、画面40の上端中央の点にタッチするとカーソルポインタもその位置に重なることになり、画面40からカーソルポインタ42でポイントできない領域はなくなる。
なお、画面40の上端中央の近くでは、カーソルポインタ42が指の下に隠れてしまうことによって指定精度が確保できない場合もある。そこで、指が画面40の上端に到達した場合には、上述したように画面40の下端中央を基準点とし、式(1)〜(3)に切り替える。
位置調整モードの第1実施例では、画面40の下端又は上端にタッチ位置41が移動した場合には、上述した式(1)〜(3)と、式(4)〜(6)とを切り替える。つまり、位置調整モードの第1実施例では、画面40の下端又は上端での計算式の切り替えがトグル式に行われる。
このように、位置調整モードの第1実施例では、基準点と、基準点に対応する式(1)〜(3)と、式(4)〜(6)とを切り替えて、カーソルポインタ42の中心点を算出することにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。
<位置調整モード:第2実施例>
位置調整モードの第2実施例では、画面の角を基準にカーソルポインタの表示位置を調整する。図9は、位置調整モードの第2実施例におけるカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部15は、現時点で上述した第1実施例における式(1)〜(3)を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置が画面40の角に到達すると、例えば図9(A)に示すように、ポイント位置調整部15は、画面40の右下の角をカーソルポインタ42が収束する基準点(所定ポイント)とする。そのため、ポイント位置調整部15は、画面左上の角を基準にした座標系に対し、以下に示す式(7)〜(9)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(8)、(9)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
なお、位置調整モードの第2実施例において、タッチ位置41が基準点(図9(A)の例では、画面40の右下の角)を中心として、予め設定された半径Luの領域内に入った場合は、上述した第1実施例と同様に、指のタッチ位置41とカーソルポインタ42までの距離に、基準点からタッチ位置41までの距離Lpを適用する。
更に、画面40の右下の角にタッチ位置41が到達した場合には、ポイント位置調整部15は、画面左上の角を基準にした座標系に対し、例えば画面40の左下の角を基準点とした以下に示す式(10)〜(12)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(11)、(12)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。位置調整モードの第2実施例における計算式の切り替えは、トグル式に行われ、タッチ位置が角に到達した場合には、式(7)〜(9)と式(10)〜(12)とが順に切り替えられる。
例えば、図9(B)では、画面40の右下の角での切り替えを示している。図9(B)の例では、ユーザが指を画面40にタッチすると、画面40の右下の角を基準点(所定ポイント)として、そのタッチ位置41−1に対して式(7)〜(9)が適用され、算出された位置にカーソルポインタ42−1が表示される。ここで、タッチ位置41−1を右下の角まで滑らせると、ポイント位置調整部15は、現在の式(7)〜(9)から式(10)〜(12)に切り替えて、カーソルポインタ42の中心点43を算出する。その結果、図9(B)に示すように、タッチ位置を画面40の右下の角からタッチ位置41−2まで滑らせると、画面40の左下の角を基準点として、対応する計算式により計算された位置にカーソルポインタ42−2が表示される。
更に、図9(C)に示すように、タッチ位置41−3から画面40の右下の角まで滑らせると、ポイント位置調整部15は、現在の式(10)〜(12)から式(7)〜(9)に切り替えて、カーソルポインタ42の中心点43を算出する。その結果、図9(C)に示すように、タッチ位置を画面40の右下の角からタッチ位置41−4まで滑らせると、画面40の右下角を基準点として、対応する計算式により計算された位置にカーソルポインタ42−4が表示される。
位置調整モードの第2実施例では、画面の右下の角及び左下の角だけでなく、画面の右上の角又は画面の左上の角にタッチ位置が到達した場合にも基準点(所定ポイント)の切り替えを行う。
図10は、画面の左上の角を基準点としたカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部15は、現時点で上述した第1実施例における式(1)〜(3)を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置が画面40の角に到達すると、図10(A)に示すように、ポイント位置調整部15は、例えば画面左上の角を基準にした座標系に対し、画面40の例えば左上の角を基準点(所定ポイント)とした以下に示す式(13)〜(15)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(14)、(15)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
なお、タッチ位置41が画面40の左上の角の基準点を中心として予め設定された半径Luの領域内に入った場合は、上述した第1実施例と同様に、指のタッチ位置41とカーソルポインタ42までの距離に、基準点からタッチ位置41までの距離Lpを適用する。
また、画面40の左上の角にタッチ位置41が到達した場合には、ポイント位置調整部15は、画面40の右上の角を基準点(所定ポイント)とした式(16)〜(18)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(17)、(18)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
位置調整モードの第2実施例における画面40の左上の角又は右上の角を基準にした計算式の切り替えは、トグル式に行われ、タッチ位置が角に到達した場合には、式(13)〜(15)と、式(16)〜(18)とが順に切り替えられる。
例えば、図10(B)では、画面40の左上の角での切り替えを示している。図10(B)の例では、指を画面40にタッチすると、そのタッチ位置41−1に応じて、画面40の左上を基準点として、式(13)〜(15)により算出されたカーソルポインタ42−1が表示される。ここで、タッチ位置を画面40の左上の角まで滑らせると、ポイント位置調整部15は、画面40の右上の角を基準点とした式(16)〜(18)に切り替えて、カーソルポインタ42の中心点43を算出する。したがって、図10(B)に示すように、タッチ位置を画面40の左上の角からポイント位置41−2に移動させると、画面の右上の角を基準点として、対応する計算式で算出された位置にカーソルポインタ42−2が表示される。
更に、ユーザの指を図10(C)に示すタッチ位置41−3から画面40の左上の角まで滑らせると、ポイント位置調整部15は、式(16)〜(18)から式(12)〜(15)に切り替えて、カーソルポインタ42の中心点を算出する。したがって、図10(C)に示すように、タッチ位置41−4に対して指の右下方にカーソルポインタ42−4が表示される。
なお、上述の例では、タッチ位置41を画面40の左上の角に移動する毎に計算式がトグル式に切り替わる例を示したが、これに限定されるものではなく、例えばタッチ位置41を画面40の右上の角に移動する毎に上述した切り替えを行ってもよい。また、位置調整モードの第2実施例では、画面40の全ての角を用いて、予め設定された切り替え順序に基づいて計算式の切り替えを行ってもよい。
<位置調整モード:第3実施例>
位置調整モードの第3実施例では、画面の左端中央又は右端中央を基準にカーソルポインタの表示位置を調整する。図11は、位置調整モードの第3実施例におけるカーソルポインタの表示例を説明するための図である。例えば、ポイント位置調整部15は、現時点で上述した第1実施例における式(1)〜(3)を用いた計算式によりカーソルポインタが位置付けられているとする。この場合に、タッチ位置41が画面40の左端に到達すると、図11(A)に示すように、ポイント位置調整部15は、画面40の左端中央をカーソルポインタ42が収束する基準点(所定ポイント)とする。そのため、ポイント位置調整部15は、以下に示す式(19)〜(21)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(20)、(21)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
なお、図11(A)において、タッチ位置41が画面40の左端中央を中心とした半径Luの領域内に入った場合は、上述した第1実施例と同様に指のタッチ位置41からカーソルポインタ42までの距離に、基準点からタッチ位置までの距離Lpを適用する。
また、画面の左端に指が到達した場合には、ポイント位置調整部15は、画面左上の角を基準にした座標系に対し、画面40の右端中央を基準点とした以下に示す式(22)〜(24)に切り替えて、カーソルポインタ42の中心点43を算出する。
Figure 0006107968
なお、式(23)、(24)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。位置調整モードの第3実施例における計算式の切り替えは、トグル式に行われ、タッチ位置が左右端に到達した場合には、式(19)〜(21)と、式(22)〜(24)とが順に切り替えられる。
例えば、図11(B)では、画面40の左端での切り替えを示している。図11(B)の例では、指を画面40にタッチすると、そのタッチ位置41−1に応じて、画面40の左端中央を基準点として、式(19)〜(21)により算出されたカーソルポインタ42−1が表示される。ここで、タッチ位置を画面40の左端まで滑らせると、ポイント位置調整部15は、画面40の右端の中央を基準点とした式(22)〜(24)に切り替えて、カーソルポインタ42の中心点を算出する。したがって、図11(B)に示すように、タッチ位置を画面40の左端からポイント位置41−2に移動させると、画面の右端の中央を基準点として式(22)〜(24)で算出されたカーソルポインタ42−2が表示される。
更に、ユーザの指を図11(C)に示すタッチ位置41−3から画面40の左端まで滑らせると、ポイント位置調整部15は、式(22)〜(24)から式(19)〜(21)に切り替えて、カーソルポインタ42の中心点43を算出する。したがって、図11(C)に示すように、タッチ位置41−4に対して指の左方にカーソルポインタ42−4が表示される。
なお、上述の例では、タッチ位置41を画面40の左端に移動する毎に計算式がトグル式に切り替わる例を示したが、これに限定されるものではなく、例えばタッチ位置41を画面40の右端に移動する毎に上述した切り替えを行ってもよい。また、第3実施例では、左端と右端を両方用いて計算式の切り替えを行ってもよい。
上述した位置調整モードの各実施例(第1〜第3実施例)は、各実施例の一部又は全部を組み合わせることができる。ポイント位置調整部15は、位置調整モードの場合に、例えば上述した画面40の端部(上端中央、下端中央、角、左端中央、及び右端中央等)を基準点として表示されるカーソルポインタの切り替え制御を行うことができる。これにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。なお、上述した基準点の設定に限定されるものではなく、例えば画面に表示されている内容に応じて、例えば上端・下端、左端・右端に対して、その中央の位置ではなく、一方に片寄った位置に設定してもよい。また、これらの基準点の設定は、画面に表示されているアプリ等に応じて、又はユーザ設定により、任意に設定することができる。
<固定モードについて>
上述した位置調整モードは、カーソルポインタが基準点を中心として指の周囲を回るように動くため、少ない指の動きで画面の表示領域内の広い範囲を網羅できる。しかしながら、例えば描画ソフトで描画するような場合には、指とカーソルポインタの角度が固定されているほうが細かなドット位置が指定し易い。そこで、制御実行部14は、実行するアプリ等に対応させて、例えば細かなドット指定が必要な場合には、位置調整モードから固定モードへと切り替える。なお、制御実行部14は、アプリが終了した場合や、アプリが他のアプリに切り替えられた場合には、元のモードに戻すような制御を行ってもよい。以下に、固定モードにおけるカーソルポインタ表示の各実施例について、図を用いて説明する。
<固定モード:第1実施例>
図12は、固定モードの第1実施例におけるカーソルポインタの表示例を説明するための図である。固定モードの第1実施例では、画面40の下端を基準点(所定ポイント)として、タッチ位置(第1のポイント)41に対応して設定されるカーソルポインタ42の表示位置(第2のポイント)を所定の計算式で求める。例えば、上述したカーソルポインタ42の中心点43は、画面左上の角を基準にした座標系に対し、以下に示す式(25)〜(27)で求めることができる。
Lp=Y−y ・・・(25)
Xcursor=x ・・・(26)
Ycursor=y−L ・・・(27)
なお、式(27)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
図12(A)の例では、画面40の下端部からタッチ位置41に向かって垂直に引いた半直線上の表示領域内に存在し、タッチ位置41に対して予め設定された距離Luだけ離れた位置を中心点43としてカーソルポインタ42を表示している。タッチ位置41から画面40の下端までの距離がLpである。このように、固定モードの場合では、基本的にタッチ位置41とカーソルポインタ42の中心点43との相対関係は固定となる。固定モードの場合は、タッチ位置がX軸方向に動くと基準点も変動することになる。
なお、固定モードにおいて、単にタッチ位置に対して予め設定した距離Luだけ上方の位置にカーソルポインタを設定しただけでは、タッチ位置41が画面下端に到着しても、カーソルポインタをそれ以上、下に移動させることができない。つまり、画面40の下端からLuの距離にある領域の指定ができなくなってしまう。そこで、固定モードの第1実施例では、上述した位置調整モードと同様に、タッチ位置41が画面40の下端からの距離Luの領域内に入った場合には、距離Luの値を調整することにより、ポイント指定できない領域をなくす。例えば、タッチ位置41がLuより低い(下端にある)場合には、図12(B)に示すように、タッチ位置41とカーソルポインタ42の間の距離Luに、タッチ位置41から画面40の下端までの距離Lpを適用する。つまり、画面40の下端から距離Luまでの領域内にタッチ位置がある場合には、距離Luを縮めてLpと同じ距離にする。これにより、ユーザの指が画面40の下端からLuの距離にあっても、カーソルポインタ42を指定することができ、画面40上に指定できない領域はなくなる。
また、固定モードの第1実施例では、ユーザの指が画面40の下端に到達すると、上述した位置調整モードと同様に基準点(所定ポイント)の切り替えを行う。例えば、ポイント位置調整部15は、画面40上のタッチ位置から画面40の上端辺に垂直に伸ばして交わる点を基準点(所定ポイント)として、画面左上の角を基準にした座標系に対し、以下に示す計算式(28)〜(30)で制御される。
Lp=Y−y ・・・(28)
Xcursor=x ・・・(29)
Ycursor=y+L ・・・(30)
なお、式(30)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
固定モードの実施例1において、画面40の下端にタッチ位置を移動させることによる計算式の切り替えは、トグル式に行われ、下端に到達する毎に上述した式(25)〜(27)と、式(28)〜(30)とが順に切り替えられる。
例えば、図12(C)では、画面40の下端での切り替えを示している。図12(C)の例では、ユーザが指を画面40にタッチすると、タッチ位置41−1から画面40の下端辺に垂直に降ろした位置を基準点(所定ポイント)として、そのタッチ位置41−1に対して式(25)〜(27)が適用され、算出された位置にカーソルポインタ42−1が表示される。
ここで、タッチ位置41−1を移動し、画面40の下端(タッチ位置41−2)まで滑らせると、ポイント位置調整部15は、現在の式(25)〜(27)から式(28)〜(30)に切り替えて、カーソルポインタ42の中心点を算出する。その結果、図12(C)に示すように、画面40の上端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ42−2が設定される。したがって、その後、ユーザの指を画面40のタッチ位置41−3まで滑らせると、図12(C)に示す位置にカーソルポインタ42−3が表示される。
更に、図12(D)に示すように、ユーザの指を画面40のタッチ位置41−4からタッチ位置41−5まで滑らせると、ポイント位置調整部15は、現在の式(28)〜(30)から式(25)〜(27)に切り替えて、カーソルポインタ42の中心点を算出する。その結果、図12(D)に示すように、画面40の下端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ42−5が設定される。したがって、その後、ユーザの指を画面40のタッチ位置41−6まで滑らせると、図12(D)に示す位置にカーソルポインタ42−6が表示される。
なお、図12の例では、画面下端をタッチすることで、基準点及び数式を切り替えてカーソルポインタの位置を取得していたが、固定モードの第1実施例については、これに限定されるものではない。例えば、画面上端をタッチすることで、同様の基準点及び数式の切り替え処理を行ってもよく、画面40の上端及び下端を両方用いて基準点及び数式の切り替え処理を行ってもよい。
<固定モード:第2実施例>
固定モードの第2実施例では、画面40の右端又は左端を基準にカーソルポインタの表示位置を調整する。図13は、固定モードの第2実施例におけるカーソルポインタの表示例を説明するための図である。
例えば、画面40の右端にユーザの指が到達した場合には、ポイント位置調整部15は、画面左上の角を基準にした座標系に対し、以下に示す式(31)〜(33)に切り替えて、カーソルポインタの中心を算出する。
Lp=X−x ・・・(31)
Xcursor=x−L・・・(32)
Ycursor=y ・・・(33)
なお、式(32)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
図13(A)の例において、画面40の右端からタッチ位置(x,y)41までの距離をLpとし、タッチ位置41からカーソルポインタ42の中心点(Xcursor,Ycursor)43までの距離をLuとする。
このとき、上述した計算式(31)〜(33)を用いて、タッチ位置41に対するカーソルポインタ位置を計算し、計算した座標にカーソルポインタ42を表示する。
図13(B)に示すように、タッチ位置41が予め設定された距離Luよりも右端に近い位置にある場合は、上述した固定モードの第1実施例と同様にタッチ位置41とカーソルポインタ42の間の距離を、タッチ位置41から画面40の右端までの距離Lpと同じにする。
また、ユーザの指が画面40の右端にタッチすると、画面40の左端を基準として、画面左上の角を基準にした座標系に対し、以下に示す式(34)〜(36)の制御に切り替える。
Lp=x ・・・(34)
Xcursor=x+L・・・(35)
Ycursor=y ・・・(36)
なお、式(35)において、Lu≧Lpの場合にはL=Luとし、Lp<Luの場合にはL=Lpとする。
このように、固定モードの第2実施例において、画面40の右端での式の切り替えはトグル式に行われ、画面40の右端に到達した場合には、式(31)〜(33)と、式(34)〜(36)とが順に切り替えられる。
例えば、図13(C)では、画面40の右端での切り替えを示している。図13(C)の例では、ユーザが指を画面40にタッチすると、タッチ位置41−1から画面40の右端辺に垂直に降ろした位置を基準点(所定ポイント)として、そのタッチ位置41−1に対して式(31)〜(33)が適用され、算出された位置にカーソルポインタ42−1が表示される。
ここで、タッチ位置41−1を移動し、画面40の右端(タッチ位置41−2)まで滑らせると、ポイント位置調整部15は、現在の式(31)〜(33)から式(34)〜(36)に切り替えて、カーソルポインタ42の中心点を算出する。その結果、図13(C)に示すように、画面40の左端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ42−2が設定される。したがって、その後、ユーザの指を画面40のタッチ位置41−3まで滑らせると、図13(C)に示す位置にカーソルポインタ42−3が表示される。
更に、図13(D)に示すように、ユーザの指を画面40のタッチ位置41−4からタッチ位置41−5まで滑らせると、ポイント位置調整部15は、現在の式(33)〜(36)から式(31)〜(33)に切り替えて、カーソルポインタ42の中心点を算出する。その結果、図13(D)に示すように、画面40の右端辺に垂直に伸ばして交わる点を基準点として、カーソルポインタ42−5が設定される。したがって、その後、ユーザの指を画面40のタッチ位置41−6まで滑らせると、図13(D)に示す位置にカーソルポインタ42−6が表示される。
なお、図13の例では、画面右端をタッチすることで、基準点及び数式を切り替えてカーソルポインタの位置を取得していたが、固定モードの第2実施例については、これに限定されるものではない。例えば、画面左端をタッチすることで、同様の基準点及び数式の切り替え処理を行ってもよく、画面40の右端及び左端を両方用いて基準点及び数式の切り替え処理を行ってもよい。
上述した固定モードの各実施例は、各実施例の一部又は全部を組み合わせることができる。このように固定モードでも4方向(下端、上端、右端、左端)の切り替えを行うことにより、操作の死角なく指定しづらい場所もなくなり、画面全体をスムーズに指定することができる。また、上述した位置調整モードの各実施例及び固定モードの各実施例の一部又は全部を組み合わせることができる。したがって、例えば、上述した各種の切り替え操作により、各モードの各実施例に対応させて、所定の順序で基準点や計算式を切り替えて、対応する位置にカーソルポインタを表示させてもよい。
<カーソルポインタについて>
次に、本実施形態におけるカーソルポインタの形状と表示位置とについて図を用いて説明する。図14は、カーソルポインタの形状の一例を示す図である。また、図15は、カーソルポインタの表示位置を説明するための図である。
本実施形態では、例えば図14に示すカーソルポインタ42a〜42c等の形状のカーソルポインタを、指45に対する所定の位置に表示することができるが、カーソルポインタの種類や大きさについては、これに限定されるものではない。
なお、図14に示すように、カーソルポインタ42が画面40の表示領域内の指45から離れた位置に表示されることで、指定したい位置にカーソルポインタ42を合わせ易くなるためにポインタを目的とする位置に適切に位置付けることができる。
また、本実施形態におけるカーソルポインタ42の表示位置は、図15に示すように、基準点(所定ポイント)に対する指の位置(例えば、指45a〜45e)に対してカーソルポインタ42a〜42−e等のようにどの方向等にも表示することができる。これらの表示位置は、上述した位置調整モードや固定モードによって調整することができ、カーソルポインタの種類や実行されるアプリの種類、操作内容等に応じて適切な位置に表示される。
なお、指45で画面40をタッチするとカーソルポインタ42が表示され、指45を画面40から離すとカーソルポインタ42の表示は消える。例えば、指45で画面40をタッチしただけでは、カーソルポインタ42は表示されるだけであり、更に次のアクションにより、クリック処理を行えるようにしなければならない。
例えば、クリック処理については、タッチした指45を画面40上で滑らせて、その指45の動きに対応して移動するカーソルポインタ42の位置を画面40上の操作対象(例えば、アイコンやボタン等)に合わせてから、指45を画面40から離す。この操作が、標準的なクリック操作であり、指45を離したときのそのポイントがクリックされた対象となる。例えば、画面40に表示されたボタンが対象であれば、指45で画面40をタッチし、表示されている選択対象のボタンの上にカーソルポインタ42を移動させて指45を離すと、そのボタンがクリックされたことになる。したがって、制御実行部14は、そのボタンに割り当てられたアプリやプログラム等を実行するように制御を行う。また、本実施形態では、画面40から指45を離してから所定時間以内に連続してボタン上にカーソルポインタ42がある状態で、指45を離す動作を再度実行することで、ダブルクリック操作を行うこともできる。
また、本実施形態におけるドラッグ処理による範囲の指定については、最初の指をタッチパネル11の画面40にあてながらカーソルポインタ42をずらすことにより、目標とする始点ポイントを指定し、次の指で画面40を押してから離し、その後始点の指45を画面40に触れ続けながらずらすことにより、範囲指定を行うことができる。また、ドラック処理では、例えば画面40から指45を離すか、或いは再度、次の指で画面40を押すことで、そこが終点となり指定範囲が確定する。本実施形態では、画面40上での範囲の始点の位置と終点の位置を確実に見ながら指定する。そのため、ユーザは指定誤りを起こしにくくなり、操作性が向上する。
更に、最初の指で画面40を押しながら他の指2本、合わせて3本の指でタッチすると、例えばコンテキストメニューを表示する。なお、複数の指を使用する場合には、どの指を使用しても構わない。
例えば、上述したドラッグ操作では、人差し指でポイントしながら、中指でタッチするのが便利である。また、人指し指でポイントしながら、親指でタッチするのも操作し易い組み合わせの一つである。また、両手の人差し指を使うこともできる。指3本を使うコンテキストメニュー表示で使う指についても同様に使用する指は自由である。
また、これらの操作は、右利きの人でも左利きの人でも同様に操作することが可能である。例えば、複数の指を使う操作の場合でも、位置を指定するために指をタッチパネル11の画面40上で滑らせるのは1本の指で行うのが好ましい。複数の指を同時にタッチスクリーンに付けたまま滑らせると、どの指の座標で位置指定すればよいかOSから判定しにくくなることを防止するためである。
本実施形態では、カーソルポインタ42を随時微調整できて、目で確認しながら処理を行うため、位置を誤ることがない。また、本実施形態では、マウス等のポインティングデバイスにおける操作と同等の精度でクリック等の処理を行うことが可能になる。また、本実施形態では、例えばマウスやノートPC等に設けられたタッチパッドのような従来のポインティングデバイスとも併用することができる。これらのデバイスが接続されていても画面40上に指を置くことで、カーソルポインタ42は指の位置に移動し、指による操作処理を行うことができる。
本実施形態では、目で見た位置情報を指の動きにフィードバックするため、精度よく細かな位置の指定が可能になる。このとき、指45を画面40にタッチしたままで、指先を動かしたい方向にゆっくりと転がすようにすると更に細かなポイントの指定ができる。
<本実施形態を用いた適用例>
次に、本実施形態の表示制御処理を実行した適用例について具体的に説明する。
<第1適用例:文章のコピー&ペースト>
図16は、本実施形態の第1適用例を説明するための図である。なお、第1適用例では、位置調整モード又は固定モードにおいて、表示処理装置の一例であるスマートフォンやタブレット端末にインストールされた文書編集アプリを用いて、文章等のコピー(複写)&ペースト(貼り付け)を行う例を示している。
従来では、コピー範囲を指定する場合に、1文字単位で正確に始点位置と終点位置を指定するのが難しく苦痛な作業となっていた。そこで、本実施形態をコピー&ペーストに適用することで、より詳細なポイント位置の指定を行うことができ、例えば画面上に対してドット単位で指定することさえも可能となる。なお、第1適用例では、コピー&ペーストに限定されるものではなく、カット(切り取り)や、カット&ペーストも行うことができる。第1適用例により、ユーザの作業効率が向上すると共に、文章等の編集効率も向上する。
図16(A)〜(C)の例は、位置調整モードの第1実施例による文章のコピー範囲の指定例を示し、図16(D)〜(F)の例は、固定モードの第1実施例による文章のコピー範囲の指定例を示している。また、画面40に文章データが表示されている(図16(A)〜(F)に示す「A」の文字は、所定の漢字や英数字等のある1文字に対応する)。また、第1適用例において、位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。

図16(A)に示す文章データの一部をコピー&ペーストする場合、例えば1本目の指45−1でコピー対象の始点にカーソルポインタ42−1を合わせ、2本目の指45−2で画面40をタップすることで、コピー領域の指定モードとなる。
次に、最初の指45−1を画面40に触れたまま滑らせてドラッグ操作を行い、終点となる位置にカーソルポインタ42−2を位置付けて指45−1を離すと、ドラッグ範囲(指定範囲)50が確定する。
図16(B)の例では、位置調整モードでカーソル表示を切り替えながら、文章のドラッグ範囲を指定する例を示している。図16(B)の例では、ドラッグの最中に画面40の下端に指45−1が触れると、画面の上端中央を基準点(所定ポイント)とし、対応するカーソルポインタの中心の計算式に切り替えて、算出された位置にカーソルポインタを表示する。図16(B)の例では、カーソルポインタ42−2が指45−1のタッチ位置の右下側に表示されるため、画面40の下方の指定がし易くなり、適切なドラッグ範囲50を指定することができる。
図16(C)の例では、位置調整モードによるコンテキストメニュー表示と選択例について示している。図16(C)の例では、コピー範囲をドラッグで選択した後、画面40上を3本の指45−1〜45−3で同時にタップするとコンテキストメニュー51が表示される。そこで、1本の指45−1で画面40に触れ、コンテキストメニューから目的の項目を選択して指45−1を離すと、メニューの機能が選ばれて実行される。なお、図16(C)の例では、コンテキストメニューから項目を選択するために矢印のカーソルポインタが表示されるが、カーソルポインタの種類については、これに限定されるものではない。
また、図16(D)の例は、固定モードによる文章のコピー範囲の指定について示している。図16(D)に示す文章データの一部をコピー&ペーストする場合、例えば1本目の指45−1でコピー対象の始点にカーソルポインタ42−1を合わせ、2本目の指45−2で画面40をタップすることで、コピー領域の指定モードとなる。
次に、最初の指45−1を画面40に触れたまま滑らせてドラッグ操作を行い、終点となる位置にカーソルポインタ42−2を位置付けて指45−1を離すと、ドラッグ範囲50が確定する。
図16(E)の例では、固定モードでカーソル表示を切り替えながら、文章のドラッグ範囲を指定する例を示している。図16(E)の例では、ドラッグの最中に画面40の下端に指45−1が触れると、タッチ位置から画面の上端に垂直に下ろした点を基準点(所定ポイント)とし、対応するカーソルポインタの中心の計算式に切り替えて、算出された位置にカーソルポインタを表示する。図16(E)の例では、カーソルポインタ42−2が指45−1のタッチ位置に近い位置に表示されるため、指45で隠れて見えないが、固定モードであるため容易にカーソルの位置の推測を行うことはできる。また、図16(E)において、カーソルポインタ42−2の位置で指45−1を画面40から離すと、ドラッグ範囲50がカーソルポインタ42−1〜42−2の範囲で確定する。
図16(F)の例では、固定モードによるコンテキストメニュー表示と選択例について示している。図16(F)の例では、コピー範囲をドラッグで選択した後、画面40上を3本の指45−1〜45−3で同時にタップするとコンテキストメニュー51が表示される。そこで、1本の指45−1で画面40に触れ、コンテキストメニューから目的の項目を選択して指45−1を離すと、メニューの機能が選ばれて実行される。なお、図16(F)の例では、コンテキストメニューから項目を選択するために矢印のカーソルポインタが表示されるが、カーソルポインタの種類については、これに限定されるものではない。
<第2適用例:図形の描画>
図17は、本実施形態の第2適用例を説明するための図である。なお、第2適用例では、位置調整モード又は固定モードにおいて、表示処理装置10に予めインストールされている図形描画アプリを用いて図形の描画を行う例を示している。
例えば、フリーハンドで微細な図形を描く場合、従来では細かな図形の始点、交点、終点の位置を指定することはほぼ不可能であった。そこで、本実施形態を図形の描画に適用することで、位置指定によって細かな図形の始点、交点、終点等を指定することが容易になり、微細な図形を描くことが簡単にできる。
図17(A)は、位置調整モードの第1実施例を用いた描画例を示し、図17(B)は、固定モードの第1実施例を用いた描画例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
例えば、図17(A)に示すように、位置調整モードによる線画の場合には、カーソルポインタ42を見ながら描画できるため、描画し易い。また、図17(B)に示すように、固定モードによる線画の場合には、カーソルポインタ42と指45との向きが一定(図17(B)の例では、指45の上方)であるため、精密な描画がし易い。また、第2適用例では、タッチ位置やカーソルポインタ42を画面の端部に滑らせる(移動させる)ことで、カーソルポインタ42の表示条件(例えば、基準点、計算式等)を容易に切り替えることができる。したがって、画面40の全領域を適切に選択することができる。
<第3適用例:メニューやツールバーの操作>
図18は、本実施形態の第3適用例を説明するための図である。第3適用例では、位置調整モード又は固定モードにおいて、表示処理装置10に予めインストールされているプログラミングアプリを用いてプログラムを作成する例を示している。
例えば、画面上でプログラム・ソースを作成し、コンパイルやデバッグ等を行う場合には、細かなメニューやツールバーの操作でIntegrated Development Environment(IDE,統合開発環境)機能を使用する。
従来は、指45で直接細かなボタンが並んでいる場所を押すと、カーソルが指で隠れるため、誤って隣のボタンを選択してしまうことがある。そこで、本実施形態をメニューやツールバーの操作に適用することで、画面40に触れて、正しいボタンをカーソルポインタ42で選択してから、指45を離すことによりクリック処理を行うため押し間違えることがない。したがって、細かなボタンの並びにおいても素早く正しいボタンをクリックすることができる。
図18(A)は、位置調整モードの第1実施例を用いたカーソル表示例を示し、図18(B)は、固定モードの第1実施例を用いたカーソル表示例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
第3適用例に示すように、位置調整モードであっても固定モードであっても指45よりも小さなボタン52の選択を容易に行うことができる。また、第3適用例では、タッチ位置やカーソルポインタ42を画面の端部に滑らせることで、カーソルポインタ42の表示条件を容易に切り替えることができ、画面40の全領域を適切に選択することができる。
<第4適用例:設計図面の作成>
図19は、本実施形態の第4適用例を説明するための図である。第4適用例では、位置調整モード又は固定モードにおいて、表示処理装置10にインストールされたCADアプリを用いて、画面40上で細かな機械装置等の部品の設計図面を作成する例を示している。
図19(A)は、位置調整モードの第1実施例のカーソル表示例を示し、図19(B)は、固定モードの第1実施例のカーソル表示例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
図19(A)、(B)の例では、タッチ位置41−1からタッチ位置41−2への移動により画面40上に中心線を引いている例を示している。設計図面においては、精密に位置を指定して図面を描く必要があるが、従来ではカーソルの表示位置が指で隠れることもあるため、精密な作業が困難であった。そこで、本実施形態を適用することで細かな位置指定により精密な図面をCADプログラムによって製図することができる。
図19(A)の例に示すように、位置調整モードによるCAD操作では、カーソルポインタ42の位置が画面40の下端中央を基準に表示されるため、指で隠れることがなくなり、カーソルポインタの位置決めが容易になる。したがって、位置調整モードでは、精密な図面を作成することができる。
また、図19(B)の例に示すように、固定モードによるCAD操作では、指45の位置に対するカーソルポインタ42の表示位置は固定であるため、ユーザは分かり易く位置決めを行うことができる。また、第4適用例では、タッチ位置やカーソルポインタ42を画面の端部に滑らせることで、カーソルポインタ42の表示条件を容易に切り替えることができ、画面40の全領域を適切に選択することができる。
<第5適用例:表計算ソフトにおけるセルの選択>
図20は、本実施形態の第5適用例を説明するための図である。第5適用例では、位置調整モード又は固定モードにおいて、表示処理装置10にインストールされた表計算ソフトを用いて、画面上で細かなセルの指定を実行する例を示している。
従来では、表計算ソフトのセルを小さくすると選択や記入時に近辺のセルと区別がつけ難く誤操作を起こしてしまう。また、セル自体を大きくすると、画面が狭い端末(例えば、スマートフォン、タブレット端末等)の画面上では表示できるセルの数が減少し、表示されるデータ量が少なくなってしまう。
そこで、本実施形態を適用することで、セルを小さくしても操作に支障がなく目的の位置にカーソルポインタ42を位置付けられるため、作業の効率が向上する。
図20(A)は位置調整モードの第1実施例のセルの選択例を示し、図20(B)は固定モードの第1実施例のセルの選択例を示している。位置調整モードと固定モードのどちらを使用するかについては、例えばアプリの種類に対応して設定してもよく、予めユーザが設定してもよい。
図20(A)の例では、位置調整モードによる表計算ソフトのセル指定について示している。図20(A)の例によれば、カーソルポインタ42の位置は、画面40の下端中央を基準点(所定ポイント)として、タッチ位置41に対応させて所定の計算式により計算した位置に表示される。そのため、カーソルポインタ42が画面40上で常に指45で隠れることなく、細かなセルやセルの角の指定が可能となる。したがって、マウスの操作と同等な表計算の操作ができる。
また、図20(B)の例では、固定モードによる表計算ソフトのセル指定について示している。図20(B)の例示すように、固定モードでは、ユーザの指45に対するカーソルポインタ42の表示位置が固定(図20(B)の例では、指45の上方)となるため、位置の指定をし易くすることができる。また、第5適用例では、タッチ位置やカーソルポインタ42を画面の端部に滑らせることで、カーソルポインタ42の表示条件を容易に切り替えることができ、画面40の全領域を適切に選択することができる。
<ボタン等の配置による計算式の切り替えが不要な構成>
上述した実施形態では、画面40の辺縁上(画面端)等にタッチ位置が到達した場合に、対応する計算式に切り替えを行っているが、アプリの種類等によっては、計算式を切り替えずに使用してもよい。例えば、ポイント位置調整部15は、画面40に表示されるボタン等の配置により、所定の計算式を切り替えずにカーソルポインタ42の中心点の算出を行ってもよい。
図21は、ボタン配置を利用したカーソル表示例を示す図である。例えば、図21(A)の例では、位置調整モードの第1実施例において、画面40の下端中央に基準点(収束点)の近くにボタン(例えば、HELPボタン等)53が配置されている。このような場合、ボタン53以外の画面領域は、図21(A)に示すように、カーソルポインタ42が指45から離れてカーソルポインタ42が見えるため問題なく指定できる。また、タッチ位置41をボタン53の位置に移動することで、カーソルポインタが指の下に隠れるが、ボタン53を容易に選択ことができるため問題ない。したがって、このような場合には、ポイント位置調整部15は、切り替えを行わずに各種制御を実行する。上述したように、基準点に合わせてボタン53を配置することで、基準点の切り替えを行わなくても、画面40の隅々までポイントすることができる。
図21(B)の例では、固定モードの第1実施例において、タッチ位置41から画面40の下端にボタン(例えば、ファンクションボタン(F1〜F7)等)53が並べて配置されている。このような場合、タッチ位置41を下に移動させると、カーソルポインタ42が指45に隠れることになるが、基準点の切り替えを行わなくても画面の隅々までポイントすることができる。
したがって、本実施形態では、画面40中のボタン53の配置に応じて、ボタン53を押下することができるようにモードの切り替えや基準点及び計算式の切り替え等を行ってもよい。また、本実施形態では、位置調整モードであるか、固定モードであるかに応じて表示制御部16において、ボタン53等の表示レイアウト等を変更して表示するように制御してもよい。
上述したように、本実施形態によれば、表示処理装置10の操作性を向上させることができる。例えば、本実施形態によれば、例えば指での画面操作において、マウスと同じ精度と手軽さで、ドット単位の指定ができるようになる。マウスを使うOS(例えば、Windows(登録商標),Linux(登録商標)等)のようなUIと同様に、細かく位置を操作することが可能となる。マウスと同様の精度とスピードを可能とするインタフェースを指のタッチスクリーン操作で実現できる。
したがって、本実施形態によれば高い精度の位置指定が可能になり、従来の使い易いマルチウィンドウのアプリを問題なく動作させることができる。細かな位置指定によるコピー&ペーストの指定がし易くなることによって長文作成、プログラム作成のような用途にも使えるようになる。また、CAD、CG作成のような創造的な用途にもタブレット端末やスマートフォンを使えるようになる。
なお、各実施例に用いた計算式は、画面の左上の角を基準(原点)としたものであるため、他の位置を原点とした場合には、それに対応した計算式になる。また、上述した第1のポイントは上述したタッチ位置に限定されるものではなく、上述した第2のポイントはカーソルポインタの表示位置(例えば、中心点等)に限定されるものではない。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。
10 表示処理装置
11 タッチパネル
12 タッチ検出部
13 位置特定部
14 制御実行部
15 ポイント位置調整部
16 表示制御部
17 画面表示部
21 マイク
22 スピーカ
23 表示部
24 操作部
25 センサ部
26 電力部
27 無線部
28 近距離通信部
29 補助記憶装置
30 主記憶装置
31 CPU
32 ドライブ装置
33 記録媒体
40 画面
41 タッチ位置
42 カーソルポインタ
43 中心点
44 領域
45 指
50 ドラッグ範囲
51 コンテキストメニュー
52,53 ボタン

Claims (7)

  1. 画面を表示する表示部と、
    受け付けた操作入力に対応する前記画面の表示領域内の第1のポイントを特定する位置特定部と、
    前記表示領域の端部に設定される所定ポイントから、前記第1のポイントへの半直線上の前記表示領域内に存在し、前記第1のポイントから所定の距離にある第2のポイントを前記表示領域に識別可能に表示する表示制御部と、
    前記第1のポイントから前記所定ポイントまでの距離が所定の値より小さい場合、前記第1のポイントから前記第2のポイントまでの距離を、前記所定ポイントから前記第1のポイントまでの距離に応じて変化させるポイント位置調整部と
    を有することを特徴とする表示処理装置。
  2. 前記表示制御部は、
    前記第1のポイントとの距離が、前記第1のポイントと前記所定ポイントとの距離よりも大きくなる前記表示領域内の第2のポイントを、前記操作入力に応じて前記表示領域に識別可能に表示することを特徴とする請求項1に記載の表示処理装置。
  3. 前記ポイント位置調整部は、
    前記第1のポイントが、予め設定された位置にある場合に、前記所定ポイントを変更することを特徴とする請求項に記載の表示処理装置。
  4. 前記ポイント位置調整部は、
    前記位置特定部により得られる前記第1のポイントが前記表示領域の端部に到達した場合に、前記所定ポイントを変更することを特徴とする請求項に記載の表示処理装置。
  5. 前記位置特定部は、
    前記操作入力と共に座標指定がなされた場合、前記第2のポイントを指定されたポイントとすることを特徴とする請求項1乃至の何れか1項に記載の表示処理装置。
  6. 表示処理装置が、
    表示部の画面から受け付けた操作入力に対応する前記画面の表示領域内の第1のポイントを特定し、
    前記表示領域の端部に設定される所定ポイントから、前記第1のポイントへの半直線上の前記表示領域内に存在し、前記第1のポイントから所定の距離にある第2のポイントを前記表示領域に識別可能に表示し、
    前記第1のポイントから前記所定ポイントまでの距離が所定の値より小さい場合、前記第1のポイントから前記第2のポイントまでの距離を、前記所定ポイントから前記第1のポイントまでの距離に応じて変化させる
    ことを特徴とする表示処理方法。
  7. 表示部の画面から受け付けた操作入力に対応する前記画面の表示領域内の第1のポイントを特定し、
    前記表示領域の端部に設定される所定ポイントから、前記第1のポイントへの半直線上の前記表示領域内に存在し、前記第1のポイントから所定の距離にある第2のポイントを前記表示領域に識別可能に表示し、
    前記第1のポイントから前記所定ポイントまでの距離が所定の値より小さい場合、前記第1のポイントから前記第2のポイントまでの距離を、前記所定ポイントから前記第1のポイントまでの距離に応じて変化させる、処理をコンピュータに実行させる表示処理プログラム。
JP2015547296A 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム Expired - Fee Related JP6107968B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/080509 WO2015071947A1 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2015071947A1 JPWO2015071947A1 (ja) 2017-03-09
JP6107968B2 true JP6107968B2 (ja) 2017-04-05

Family

ID=53056917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015547296A Expired - Fee Related JP6107968B2 (ja) 2013-11-12 2013-11-12 表示処理装置、表示処理方法、及び表示処理プログラム

Country Status (3)

Country Link
US (1) US20160253042A1 (ja)
JP (1) JP6107968B2 (ja)
WO (1) WO2015071947A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6569546B2 (ja) * 2016-01-28 2019-09-04 富士通コネクテッドテクノロジーズ株式会社 表示装置、表示制御方法、および表示制御プログラム
JP6857154B2 (ja) * 2018-04-10 2021-04-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN114546145B (zh) * 2020-11-24 2024-03-01 明基智能科技(上海)有限公司 游标控制方法及应用其的触控显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
JP4609557B2 (ja) * 2008-08-29 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
WO2011111302A1 (ja) * 2010-03-10 2011-09-15 パナソニック株式会社 押し込み位置制御装置、押し込み位置制御方法及びタッチセンサシステム
US9158445B2 (en) * 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
DE112012003889T5 (de) * 2011-10-11 2014-06-05 International Business Machines Corporation Verfahren, Vorrichtung und Computerprogramm, die zum Zeigen auf ein Objekt dienen
JP5102412B1 (ja) * 2011-12-27 2012-12-19 パナソニック株式会社 情報端末、情報端末の制御方法、及び、プログラム
JP6137453B2 (ja) * 2013-02-08 2017-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 制御装置及び制御プログラム
JP5787238B2 (ja) * 2013-04-10 2015-09-30 コニカミノルタ株式会社 制御装置及び操作制御方法並びに操作制御プログラム

Also Published As

Publication number Publication date
US20160253042A1 (en) 2016-09-01
JPWO2015071947A1 (ja) 2017-03-09
WO2015071947A1 (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
US11775248B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
EP3262499B1 (en) Device, method, and computer readable storage medium for providing and interacting with a virtual drawing aid
US10620781B2 (en) Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
US10304163B2 (en) Landscape springboard
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US9032338B2 (en) Devices, methods, and graphical user interfaces for navigating and editing text
JP5905417B2 (ja) 携帯端末および表示制御方法
US9098182B2 (en) Device, method, and graphical user interface for copying user interface objects between content regions
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US9208698B2 (en) Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
EP3185116A1 (en) Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
US11822780B2 (en) Devices, methods, and systems for performing content manipulation operations
US10684704B2 (en) Devices and method for manipulating user interfaces with stylus and non-stylus contacts
JP6102474B2 (ja) 表示装置、入力制御方法、及び入力制御プログラム
KR20140067334A (ko) 터치 입력 방법 및 휴대 단말
JP6107968B2 (ja) 表示処理装置、表示処理方法、及び表示処理プログラム
KR20140055880A (ko) 가상 화면 제어 방법 및 장치
US11914857B1 (en) Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
US20190064990A1 (en) Electronic device and method for one-handed operation
KR20120094728A (ko) 유저인터페이스 제공 방법 및 이를 이용한 휴대 단말기
JP6422553B2 (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法
JP2015164069A (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6107968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees