JPWO2017018384A1 - タッチパネル型情報端末装置とその情報入力処理方法およびプログラム - Google Patents

タッチパネル型情報端末装置とその情報入力処理方法およびプログラム Download PDF

Info

Publication number
JPWO2017018384A1
JPWO2017018384A1 JP2017530861A JP2017530861A JPWO2017018384A1 JP WO2017018384 A1 JPWO2017018384 A1 JP WO2017018384A1 JP 2017530861 A JP2017530861 A JP 2017530861A JP 2017530861 A JP2017530861 A JP 2017530861A JP WO2017018384 A1 JPWO2017018384 A1 JP WO2017018384A1
Authority
JP
Japan
Prior art keywords
pointer
unit
touchable
display
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017530861A
Other languages
English (en)
Inventor
晋一 洞井
晋一 洞井
中村 隆幸
隆幸 中村
英嗣 小林
英嗣 小林
田中 裕之
裕之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2017018384A1 publication Critical patent/JPWO2017018384A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04801Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

ポイント対象とその近辺の表示画像の視認性を阻害することなくポイント対象を簡単かつ正確に指定できるようにし、これにより入力操作性の向上を図る。互いに分離されかつ距離を置いて表示されるポインタ部51と操作部52とからなるタッチャブルポインタ5をタッチパネル上に表示させる。この状態で、ユーザが上記操作部52を指で移動操作すると、ポインタ部51を移動させてポインタ先端部50により任意のポイント対象を指示する。また、ユーザの2本の指の回転操作により、操作部52に対するポインタ部51の位置を回転させる。

Description

この発明は、タッチパネル型入力インタフェースを備えたタッチパネル型情報端末装置とその情報入力処理方法およびプログラムに関する。
一般に、マウスやタッチパッドを有するコンピュータのユーザインタフェースにおいては、マウスカーソルを移動させることでポイント対象の場所を指示するようになっている。マウスカーソルは、例えば先端が尖った矢尻のような形状をしており、ポイント対象を細かく指定できる利点がある。また、ポイント対象の場所付近に表示された画面情報の視認性を阻害しないことから、ユーザは当該画面情報を視認しながら操作できる。このため、細かいポイント対象でも他のポイント対象と区別して正確に指示することができるという利点も有している。
一方、最近ではタブレット型端末のように表示画面上に入力シートを配置したタッチパネルを有する情報端末装置が普及している。この種の装置では、表示画面を指で直接タッチすることにより操作対象を指定することができるため、直感的な操作が可能である。さらに、マウスやタッチパッド等の外付けの入力デバイスが不要であることから、可搬性に優れた機器形状を実現できるという利点がある(例えば非特許文献1を参照)。
「タッチパネル技術記事 抵抗式タッチパネルの技術動向」、SMK株式会社TP事業部、出典:電波新聞2013年10月10日特集「タッチパネル技術」、インターネット<URL; http://www.smk.co.jp/products/touch_panels/technology/20131010dempaRTTP/>
ところが、タッチパネル型の情報端末装置は、可搬性に優れるという利点を得るために、一般にマウスやタッチパッド等の外付けの入力デバイスを併用することができない。このため、外付けの入力デバイスによってマウスカーソルを操作することで得られていた操作上の各種利点を享受することができない。例えば、指はマウスカーソルほど先端が尖っていないため、ポイント対象を正確に指定することが難しい。また、指をタッチパネルに近づけることによって画面が指で隠れてしまうため、ポイント対象の場所付近に表示された画面情報の視認性を阻害するという課題もある。さらに、指で画面を隠しながらタッチ操作をすることになるため、画面上の細かいポイント対象を他のポイント対象と区別して正確に指示することが困難である。
この発明は上記事情に着目してなされたもので、その目的とするところは、ポイント対象とその周辺の表示情報の視認性を阻害することなくポイント対象を簡単かつ正確に指定できるようにし、これにより入力操作性の向上を図ったタッチパネル型情報端末装置とその情報入力処理方法およびプログラムを提供することにある。
上記目的を達成するためにこの発明は以下のような対策を講じている。
(1)表示画面の上に入力シートを配置したタッチパネル型情報端末装置において、上記表示画面に、当該表示画面に表示されているポイント対象を指示するためのポインタ部とユーザがタッチ操作するための操作部とを有するタッチャブルポインタを表示させる手段と、上記タッチャブルポインタの上記操作部に対するユーザのタッチ操作に応じて、上記表示画面上における上記操作部および上記ポインタ部の表示位置を一体的に移動させる手段とを具備する。
(2)(1)において、上記入力シート上の任意の位置で回転角度を指定するためのタッチ操作が行われた場合に、当該タッチ操作に応じて、上記操作部に対する上記ポインタ部の配置位置を上記指定された回転角度に相当する量だけ移動させる回転移動手段を、さらに具備する。
(3)(2)において、上記回転移動手段は、上記入力シート上の1点に第1の指を固定し、当該第1の指を中心に第2の指を上記入力シート上で回転移動させる操作が行われた場合に、当該回転移動操作により指定された回転角度に相当する量だけ、上記操作部に対する上記ポインタ部の配置位置を移動させるものである。
(4)(1)において、上記操作部を含む所定のタップ領域に対し予め設定された時間より短いタッチ操作が行われた場合に、上記ポインタ部により指示されているポイント対象に対応する情報源に対するアクセス処理を実行する手段を、さらに具備する。
(5)(1)において、上記操作部を中心としてその左右にそれぞれ設定された左クリック入力領域および右クリック入力領域に対し、予め設定された時間より短いタッチ操作が行われた場合に、上記ポインタ部により指示されているポイント対象に対する左クリックイベント処理および右クリックイベント処理を実行する手段を、さらに具備する。
(6)(1)において、上記ポインタ部により指示されているポイント対象に対応する情報源に関連する情報を上記表示画面に表示させる付加情報表示手段を、さらに具備する。
(7)(6)において、上記付加情報表示手段は、上記ポインタ部により指示されているポイント対象に対応する情報源が文字列の場合には、その単語の意味を表す文章またはキーワードを取得し、当該取得された文章またはキーワードを上記表示画面に表示させるものである。
(8)(6)において、上記付加情報表示手段は、上記ポインタ部により指示されているポイント対象に対応する情報源が画像の場合には、当該画像の属性情報を取得し、当該取得された画像の属性情報を上記表示画面に表示させるものである。
(9)(1)において、上記タッチャブルポインタの少なくとも上記ポインタ部は、上記表示画面に表示されているポイント対象を視認可能とするべく透過性を有するものである。
(10)(1)において、上記ポインタ部により上記ポイント対象が指示されているか否かを判定する手段と、その判定結果に基づいて、上記ポイント対象が指示されていない状態では上記ポインタ部および操作部を第1の表示形態で表示し、上記ポイント対象が指示されている状態では上記ポインタ部および操作部の少なくとも一方を上記第1の表示形態とは異なる第2の表示形態で表示する手段とを、さらに具備する。
(11)(1)において、上記操作部および上記ポインタ部の表示位置を一体的に移動させる手段は、上記操作部および上記ポインタ部の表示位置の移動処理中に、上記ポインタ部が上記ポイント対象の表示領域に進入したか否かを判定する手段と、上記ポインタ部が上記ポイント対象の表示領域に進入しているときの上記表示位置の移動速度を、進入前の上記表示位置の移動速度より遅く設定する手段とを備える。
(12)表示画面の上に入力シートを配置したタッチパネル型情報端末装置が実行する情報入力処理方法であって、上記表示画面に、当該表示画面に表示されているポイント対象を指示するためのポインタ部とユーザがタッチ操作するための操作部とを有するタッチャブルポインタを表示させる過程と、上記タッチャブルポインタの上記操作部に対するユーザのタッチ操作に応じて、上記表示画面上における上記操作部および上記ポインタ部の表示位置を一体的に移動させる過程とを具備する。
(13)(12)において、上記入力シート上の任意の位置で回転角度を指定するためのタッチ操作が行われた場合に、当該タッチ操作に応じて、上記操作部に対する上記ポインタ部の配置位置を上記指定された回転角度に相当する量だけ移動させる過程を、さらに具備する。
(14)(1)乃至(11)のいずれかに記載のタッチパネル型情報端末装置が実行するプログラムである。
(1)および(12)の態様によれば、操作部をタッチ操作により移動させるとそれに応じてポインタ部が一体的に移動するため、タッチしている指によってポイント対象付近の表示情報の視認性を阻害することなくポイント対象を指示することが可能となる。
(2)、(3)および(13)の態様によれば、操作部に対するポインタ部の表示位置を回転させることができるため、タッチパネルの上下左右のどの端部においてもポイント対象を確実に指示することが可能となる。
(4)の態様によれば、タップ操作を認識することで、その時点でポインタ部が指示しているポイント対象に対応する情報源に対しアクセスすることが可能となる。このため、通常のマウスを使用したクリック操作と同様の操作を実現することができる。
(5)の態様によれば、操作部の左右にそれぞれ設定された左クリック入力領域および右クリック入力領域に対するタッチ操作を認識することで、通常のマウスを使用した左クリック操作および右クリック操作と同様の操作を実現できる。
(6)乃至(8)の態様によれば、ポインタ部により指示されているポイント対象に対応する情報源に関連する情報が、例えばポイント対象に対応する情報源が文字列の場合にはその単語の意味を表す文章またはキーワードが、またポイント対象に対応する情報源が画像の場合には、当該画像の属性情報が表示画面に表示される。このため、ユーザはポイント対象に対応する情報源に対し実際にアクセスする前に、当該情報源に関連する情報を確認することが可能となる。
(9)の態様によれば、タッチャブルポインタの少なくともポインタ部の一部が透光性を有することで、表示画面に表示中の情報の視認性を確保できる利点がある。
(10)の態様によれば、ポインタ部および操作部の表示形態が、ポインタ部によりポイント対象を指示しているときと指示していないときとで変化する。このため、ユーザはポインタ部によりポイント対象が指示されている状態、つまりタップ操作が可能な状態にあることを明確に認識することができる。
(11)の態様によれば、ポインタ部がポイント対象の表示領域に進入すると、タッチャブルポインタの移動速度が進入前の移動速度より遅くなる。すなわち、ポイント対象の表示領域においてはポインタ部が緩慢に移動する。このため、ポインタ部がポイント対象の表示領域内に滞在する時間が長くなり、これによりユーザはタッチャブルポインタのポインタ部をポイント対象の表示領域内に停止させやすくなる。すなわち、ポイント対象の表示領域が小さい場合でも、ポイント対象に対する指示操作性を高めることが可能となる。
すなわちこの発明によれば、ポイント対象とその周辺の表示情報の視認性を阻害することなくポイント対象を簡単かつ正確に指定することができ、これにより入力操作性の向上を図ったタッチパネル型情報端末装置とその情報入力処理方法およびプログラムを提供することができる。
この発明の一実施形態に係るタッチパネル型情報端末装置の機能構成を示すブロック図である。 図1に示した装置により生成されるタッチャブルポインタの構成の一例を示す図。 図1に示した装置によるポイント対象指定処理の手順と処理手順を示すフローチャート。 図3に示した処理手順のうちタッチャブルポインタ移動処理の手順と処理内容を示すフローチャート。 図4に示したタッチャブルポインタ移動処理のうちタッチャブルポインタ位置情報変更処理の手順と内容を示すフローチャート。 図4に示したタッチャブルポインタ移動処理によるタッチャブルポインタの移動動作の一例を示す図。 図3に示した処理手順のうちタッチャブルポインタ回転処理の手順と処理内容を示すフローチャート。 図7に示したタッチャブルポインタ回転処理によるタッチャブルポインタの回転動作の一例を示す図。 図7に示したタッチャブルポインタ回転処理によるタッチャブルポインタの回転動作の一例を示す図。 図3に示した処理手順のうちタップ処理の手順と処理内容を示すフローチャート。 図3に示した処理手順のうち付加情報表示処理の手順と処理内容を示すフローチャート。 図10に示した付加情報表示処理による付加情報表示動作の一例を示す図。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成)
図1は、この発明の一実施形態に係るタッチパネル型情報端末装置の機能構成を示すブロック図である。
タッチパネル型情報端末装置は、例えばスマートフォンまたはタブレット型端末からなり、制御ユニット1と、記憶ユニット2と、無線インタフェースユニット3と、ユーザインタフェースユニット4を備えている。
無線インタフェースユニット3は、制御ユニットの制御の下、例えば携帯電話網や無線Local Area Network(LAN)、近距離無線データ通信網(例えばBluetooth(登録商標))を使用して通信相手端末またはWebサイトとの間で無線通信を行う。
ユーザインタフェースユニット4は、液晶デバイス等の表示部42の表示画面上にシート状の入力デバイスからなる入力部41を配置したタッチパネル型のデバイスからなる。そして、制御ユニット1から出力された表示データを表示部42に表示すると共に、ユーザのタッチ操作を例えば静電容量方式により検出して制御ユニット1に入力する。なお、タッチパネル型デバイスの構造やタッチ操作の検出方式については、上記構造および方式以外に如何なるものを採用してもよい。
記憶ユニット2は、記憶媒体としてSolid State Drive(SSD)等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用している。そして、制御ユニット1を動作させるためのOperating System(OS)およびアプリケーションプログラム群を記憶する領域を有する。またそれに加え、本実施形態を実施する上で必要な制御データを格納する記憶領域として、タッチャブルポインタ移動情報記憶部21と、タッチャブルポインタ回転情報記憶部22と、移動開始位置情報記憶部23と、回転開始角度情報記憶部24を備えている。
制御ユニット1はCentral Processing Unit(CPU)等のプロセッサを備え、本実施形態に係る処理を実行するための機能部として、アプリケーション実行部11と、上記Operating System(OS)を実行するOS実行部12とを備えている。
OS実行部12は、その機能として、ブラウザ120と、図形描画処理部123と、文字描画処理部124と、クリックイベント処理部125と、タッチイベント通知処理部126を備える。
ブラウザ120は、Web画面表示処理部121およびリンク判別部122を有する。Web画面表示処理部121は、ユーザインタフェースユニット4の入力部41において指示されたUniform Resource Locator(URL)に応じてWebサイトにアクセスし、当該WebサイトからWebページの情報をダウンロードしてユーザインタフェースユニット4の表示部42に表示させる。リンク判別部122は、表示されているWebページ上においてある座標が指定されたことが入力部41により検出された場合に、Webページの当該座標と対応する位置に他のWebページへのリンク情報が記載されているか否かを判別する。
図形描画処理部123は、円形や多角形、直線などの図形データを上記表示部42に描画処理を行う。文字描画処理部124は、文字列データを上記表示部42に描画する処理を行う。クリックイベント処理部125は、タッチパネル上の座標が指定された状態で、その左右の位置で左クリックもしくは右クリックが指定された場合に、マウスを用いてクリック動作を行った場合と同様のクリックイベントを発生する。タッチイベント通知処理部126は、タッチパネル上においてユーザがタッチ操作を行った場合に、当該タッチ操作を認識してアプリケーション実行部11に通知する処理を行う。
アプリケーション実行部11は、タッチャブルポインタ5の表示および当該タッチャブルポインタ5を用いたリンク情報の指示に関する処理を実行する。タッチャブルポインタ5は、例えば図2に示すように三角形で表されるポインタ部51と、円形で表される操作部52とから構成される。ポインタ部51の三角形の先端部分(ポインタ先端部)50が、タッチパネル上の任意の座標を指示点となる。
上記タッチャブルポインタ5のサイズは、人の平均的な指先のサイズを考慮して、操作部52の半径が10mm、操作部52の中心からポインタ先端部50までの距離が20mm程度に設定されるが、このサイズは任意に変更することが可能である。また、操作部52およびポインタ部51は着色された透明な状態に表示され、これにより操作部52およびポインタ部51の直下の表示情報が透けて見えるようになっている。
なお、タッチャブルポインタ5の構成は、ポインタ部51を矢印や多角形、円形等の他の形状により表現してもよく、またポインタ部51はポインタ先端部50以外の場所を指示点としてもよい。さらに、操作部52を多角形で表現してもよい。
アプリケーション実行部11は、上記タッチャブルポインタ5の表示およびリンク情報の指示に関する処理機能として、タッチャブルポインタ移動処理部111と、タッチャブルポインタ回転処理部112と、タップ処理部113と、付加情報表示処理部114と、付加文章生成処理部115を備えている。
タッチャブルポインタ移動処理部111は、タッチパネル上にタッチャブルポインタ5が表示された状態で、指先により操作部52をタッチパネル上で移動させる操作が行われた場合に、当該操作に応じてタッチャブルポインタ5の表示位置を移動させる処理を行う。このとき、ポインタ部51は操作部52と一体的に移動する。
タッチャブルポインタ回転処理部112は、タッチパネル上にタッチャブルポインタ5が表示された状態で、指を2本使ってあたかもコンパスを操作して円弧を描画するような操作が行われた場合に、その回転角度を検出する。そして、検出された回転角度に応じて、タッチャブルポインタ5の操作部52に対するポインタ部51の配置位置を、上記回転角度に相当する量だけ回転させる処理を行う。すなわち、タッチャブルポインタ回転処理部112は回転移動手段として機能する。
タップ処理部113は、タッチパネル上にタッチャブルポインタ5が表示された状態で、指先を使って当該タッチャブルポインタ5を含む所定のタップ領域に対し予め設定された時間より短いタッチ操作が行われた場合に、上記ポインタ先端部50により指示されているポイント対象に対応する情報源に対するアクセス処理を実行する。またタップ処理部113は、上記タッチャブルポインタ5の左右の所定範囲内をタップする操作が行われた場合に、左クリック操作または右クリック操作が行われたと見なしてその操作情報の入力を受け付ける処理を行う。
付加情報表示処理部114は、タッチパネル上に他のWebサイトへのリンク情報が表示されている状態で、上記タッチャブルポインタ5により当該リンク情報が指示された場合に、当該指示されたリンク情報のURLまたはサイト名と、リンク情報の関連情報を、付加情報として表示部42に表示させる処理を行う。
付加文章生成処理部115は、上記付加情報表示処理部114の要求に応じて、上記タッチャブルポインタ5により指示されたリンク情報の関連情報を、例えばWebサーバの要約エンジンにアクセスして取得する処理を行う。例えば、タッチャブルポインタ5が指示しているポイント対象が文字列だった場合には、その単語の意味を表す文章やキーワードを取得する。上記文章やキーワードの取得処理は、例えば形態素解析や国語辞典データ等を用いることで容易に実現できる。また、タッチャブルポインタ5が指示しているポイント対象が画像だった場合には、当該画像のタイトルや解像度、撮影情報などの属性情報を取得する。この画像データの属性情報の取得処理については、画像制作元または提供元等の画像データを管理しているサイトにアクセスすることにより取得可能である。
(動作)
次に、以上のように構成されたタッチパネル型情報端末装置によるタッチャブルポインタの表示制御および入力指示受付処理について説明する。図3はその全体の処理手順と処理内容を示すフローチャートである。
(1)タッチャブルポインタの表示
タッチャブルポインタ5は、アプリケーション実行部11の制御の下、OS実行部12の図形描画処理部123により表示部42に表示される。例えば、アプリケーション実行部11から、タッチャブルポインタ5の描画指示情報および表示位置データがOS実行部12の図形描画処理部123に与えられる。図形描画処理部123では、上記与えられた描画指示情報に基づいて、図2に示したタッチャブルポインタ5の図形パターンが、指定されたサイズと表示形態で、タッチパネル上の上記表示位置データにより指定された位置座標に描画される。なお、タッチャブルポインタ5はタッチパネル上に常時表示するようにしてもよいが、ユーザの指示操作に応じて表示と非表示とを切り替えるようにしてもよい。
(2)タッチャブルポインタの移動
タッチャブルポインタ5が表示された状態で、ユーザが当該タッチャブルポインタ5の操作部52にタッチしたとする。このタッチ操作はOS実行部12のタッチイベント通知処理部126により検出され、タッチイベント通知処理部126からアプリケーション実行部11へタッチ操作イベントが通知される。タッチ操作イベントには、タッチされた点の数と、タッチされた点それぞれのタッチ位置座標と、タッチされた点それぞれのタッチ操作種別を表す情報が含まれる。
タッチ操作の種別には、「押下」、「移動」、「離脱」、「タップ」の4種類があり、これらのうちのいずれかが上記タッチ操作種別を表す情報として通知される。具体的には、ユーザがタッチパネル上に指を接触させたときが「押下」となり、その状態から指をタッチパネル上に沿って動かした場合が「移動」となり、指をタッチパネル上から離したときが「離脱」となる。また、押下から離脱までの時間が所定時間より短い場合には「タップ」と識別される。タッチ位置座標は、タッチパネル上における横軸(X軸)方向の位置を表すx値と縦軸(Y軸)方向の位置を表すy値によって表され、これを(x,y)と表現する。
これに対しアプリケーション実行部11は、ステップS1でタッチ操作イベントの通知を監視している。そして、OS実行部12のタッチイベント通知処理部126からタッチ操作イベントが通知されると、先ずステップS2で上記タッチ操作イベントに含まれるタッチ操作種別を表す情報からタッチ操作の種別が「タップ」であるか否かを判定する。この判定の結果「タップ」でなければ、続いてステップS3により上記タッチ操作点が1点であるか否かを判定する。そして、操作点が1点であれば、タッチャブルポインタ5の移動操作が行われたと判断してステップS4に移行し、タッチャブルポインタ移動処理部111を起動してタッチャブルポインタの移動処理を以下のように実行する。図4はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップS41により、上記タッチ操作イベントにより通知されたタッチ操作の位置座標と、記憶ユニット2のタッチャブルポインタ移動情報記憶部21に格納されているタッチャブルポインタ5の情報をもとに、上記タッチ位置座標がタッチャブルポインタ5の操作部52の表示範囲内であるか否かを判定する。この判定は、タッチャブルポインタ移動情報記憶部21に格納されている、タッチャブルポインタ5の操作部52の現在位置座標と当該操作部52の径を表す情報をもとに操作部52の現在の表示範囲を計算し、上記タッチ位置座標を上記操作部52の現在の表示範囲を表す座標と比較することにより行われる。そして、上記判定の結果、タッチ位置座標が操作部52の現在の表示範囲外だった場合には、ステップS46により「失敗」を出力する。
一方、上記判定の結果、タッチ位置座標が操作部52の現在の表示範囲内に存在すれば、次にステップS42において、上記タッチ操作イベントの種別が「押下」であるか否かを判定する。そして、「押下」でなかった場合、すなわち「移動」あるいは「離脱」だった場合には、ステップS43においてタッチャブルポインタ5の位置情報を更新する処理を以下のように実行する。図5はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップS431において、記憶ユニット2の移動開始位置情報記憶部23に格納されている現在の移動開始位置と、上記通知されたタッチ位置座標とから、移動操作量を算出する。次にステップS432において、上記移動操作の過程でポインタ部51がWebリンク情報の表示領域を通過中か否かを判定する。この判定の結果、ポインタ部51がWebリンク情報の表示領域を通過していなければ、ステップS434に移行する。そして、このステップS434において、上記算出された移動操作量をそのまま使用して、タッチャブルポインタ移動情報記憶部21に格納されているタッチャブルポインタ5の位置情報を更新する。
一方、ポインタ部51がWebリンク情報の表示領域を通過中の場合には、ステップS433において上記算出された移動操作量に予め設定した減速係数(0.5)を乗算する。そして、この減速係数(0.5)が乗算された移動操作量に応じて、タッチャブルポインタ移動情報記憶部21に格納されているタッチャブルポインタ5の位置情報を更新する。この処理により、タッチャブルポインタ5がWebリンク情報の表示領域を通過する期間中に、タッチャブルポインタ5の移動速度が減速する。このため、タッチャブルポインタ5のポインタ部51がWebリンク情報の表示領域内に滞在する時間が長くなり、これによりユーザはタッチャブルポインタ5のポインタ部51をWebリンク情報の表示領域内に停止させやすくなる。すなわち、Webリンク情報の指示操作性を高めることが可能となる。
なお、以上の説明ではWebリンク情報の表示領域を通過する期間中にタッチャブルポインタ5の移動速度を減速させるようにしたが、他の手法も考えられる。例えば、タッチャブルポインタ5のポインタ先端部50がリンク情報を表示領域に入ったことを検出した時点で、この検出時刻とポインタ部51の位置座標を保存する。そして、当該検出時刻から予め設定した時間、例えば1秒間だけ、タッチャブルポインタ5の移動速度を通常より遅い所定速度に設定する。或いはタッチャブルポインタ5の位置が、上記保存した位置座標から予め設定した所定距離移動するまで、タッチャブルポインタ5の移動速度を通常より遅い所定速度に設定する。
さらに、タッチャブルポインタ5のポインタ先端部50がリンク情報を表示領域に位置している状態で、タッチャブルポインタ5のポインタ部51または操作部52の表示形態、例えば表示色やサイズを変化させるようにしてもよい。また、タッチャブルポインタ5がWebリンク情報の表示領域に入った時点で、タッチパネル型情報端末装置のスピーカから鳴音を発生させたり、バイブレータを振動させたり、LEDを点灯または点滅させるようにしてもよい。このようにすると、ユーザは、ポインタ部51によりWebリンク情報が指示されている状態、つまりタップ操作が可能な状態にあることを明確に認識することができる。
上記ステップS43によるタッチャブルポインタの位置情報を更新する処理が終了すると、タッチャブルポインタ移動処理部111はステップS44において、移動開始位置情報記憶部23に格納されている移動開始位置座標を上記タッチ位置座標に更新し、最後にステップS45によりタッチャブルポインタ5の移動結果として「成功」を出力する。
アプリケーション実行部11は、ステップS7において、上記タッチャブルポインタ移動処理部111から「成功」が出力されたか、或いは「失敗」が出力されたかを判定する。そして、「成功」が出力された場合には、ステップS8において、上記指の移動操作に応じてタッチャブルポインタ5の描画指示情報および表示位置データをOS実行部12の図形描画処理部123に与える。図形描画処理部123は、上記与えられた描画指示情報に基づいて、タッチャブルポインタ5の図形パターンの描画位置を変更する。なお、上記タッチャブルポインタ移動処理部111から「失敗」が出力された場合には、ステップS10において、タッチ操作イベントをOS実行部12のタッチイベント通知処理部126へ返還する。
なお、以上の説明では、タッチ操作イベントに含まれるタッチ位置座標がタッチャブルポインタ5の操作部52の表示範囲外だった場合には、タッチャブルポインタ5を移動させないようにした。しかし、タッチ操作イベントに含まれるタッチ位置座標がタッチャブルポインタ5の操作部52の表示範囲内であるか否かの判定を省略し、操作部52の範囲外に対するタッチ操作イベントを用いたタッチャブルポインタ5の移動を行ってもよい。
図6は、以上述べたタッチャブルポインタ5の移動動作の一例を示すものである。図6では、ユーザがタッチパネル上の点P1を指先で押下し、タッチしたまま点P2まで移動させたのちタッチパネルから指を離した場合の、タッチャブルポインタ5の描画位置の移動の様子を示している。図6では、タッチャブルポインタ5の移動前の表示位置を破線で、また移動後の表示位置を実線で示している。タッチャブルポインタ5の移動に際し、指をタッチし続けている期間にOS実行部12は、タッチイベント通知処理部126によりタッチ操作イベントを逐次発生させる。このため、タッチャブルポインタ移動処理部111は、操作開始点P1から終了点P2までの区間でタッチャブルポインタ5の移動軌跡を連続的に表示させる。
なお、以上の説明では、タッチパネルに指をタッチし続けている期間には、そのタッチ位置の変化に追従してタッチャブルポインタ5の描画位置を移動させるようにした。しかしそれに限らず、指をタッチし続けている期間はタッチャブルポインタ5の位置を操作開始前の位置に保持させ、移動操作終了後に操作終了後の位置へ移動させるようにしてもよい。
(3)タッチャブルポインタの回転
アプリケーション実行部11は、OS実行部12のタッチイベント通知処理部126から通知されたタッチ操作イベントに含まれるタッチ点の数をもとに、ステップS3でタッチ操作点が1点であるか否かを判定する。そして、操作点が1点でなければ、タッチャブルポインタ5の回転操作が行われたと判断してステップS5に移行し、タッチャブルポインタ回転処理部112を起動してタッチャブルポインタの回転処理を以下のように実行する。図7はその処理手順と処理内容を示すフローチャートである。
すなわち、タッチャブルポインタ回転処理部112は、先ずステップS51により、同時にタッチ操作された点の数が2点であるか否かを判定する。そして、タッチ操作された点の数が2点でなければ、ステップS56において「失敗」を出力してタッチャブルポインタ回転処理を終了する。
これに対し、タッチ操作された点の数が2点だった場合には、ステップS52においてタッチされた点の回転角度を算出する。この回転角度の算出は、タッチ操作イベントに含まれる2点のタッチ位置それぞれのタッチ位置座標をもとに三角関数を用いて行われる。具体的には、タッチされた2点を結ぶ直線のX軸に対する角度を算出する。
タッチャブルポインタ回転処理部112は、続いてステップS53において、タッチ操作イベントをもとにタッチされた各点それぞれのタッチ操作種別が「押下」であるかどうかを判定する。そして、タッチされた点それぞれのタッチ操作種別が「押下」でなければ、ステップS54において、上記算出された角度と、記憶ユニット2の回転開始角度情報記憶部24に格納された回転開始角度との差を用いてタッチャブルポインタ回転情報を加減算する。続いてステップS55において、上記算出された角度を用いて回転開始角度情報記憶部24に格納された値を更新し、最後にステップS57により「成功」を出力する。
アプリケーション実行部11は、ステップS7において、上記タッチャブルポインタ回転処理部112から「成功」が出力されたか、或いは「失敗」が出力されたかを判定する。そして、「成功」が出力された場合には、ステップS8において、上記指の回転操作に応じてタッチャブルポインタ5の描画指示情報および表示位置データを、OS実行部12の図形描画処理部123に与える。図形描画処理部123は、上記与えられた描画指示情報に基づいて、タッチャブルポインタ5の図形パターンの描画位置を変更する。なお、上記タッチャブルポインタ回転処理部112から「失敗」が出力された場合には、ステップS10において、タッチ操作イベントをOS実行部12のタッチイベント通知処理部126へ返還する。
図8A,8Bはタッチャブルポインタ回転処理の動作の一例を示すものである。いまユーザが、タッチパネル上において例えば図8Aに示すように、1本の指(例えば親指)で点Q0を押下した状態で、別の指(例えば人差し指)で点Q1からQ2へあたかもコンパスで円弧を描くように指を移動させたのち指を離したとする。図8AのQ3はその移動軌跡を示すものである。この場合、タッチャブルポインタ5の図形パターンは、例えば図8Bに示すようにポインタ部51の描画位置が、上記人差し指の回転操作に追従してR1からR2へ回転するように変化する。
なお、上記説明では、2本の指を用いたコンパスのような回転操作に随時追従してタッチャブルポインタ5のポインタ部51の位置を描画したが、これに限るものではなく、指の回転操作が終わるまでタッチャブルポインタ5の描画位置を操作前の状態のまま維持し、回転操作終了後に変化させるようにしてもよい。
また、上記説明では、アプリケーション実行部11がOS実行部12のタッチイベント通知処理部126からタッチ操作イベントを受け取った際に、タッチされた点の数が2点であれば、タッチされた座標がタッチパネル上の任意の点でタッチャブルポインタ5の表示位置の回転操作を実施した。しかし、これに限るものではなく、タッチされた2点の回転操作をタッチャブルポインタ5の操作部52上で行ってもよい。
さらに、上記説明では、図8Aに示すように親指をQ0に固定して人差し指をQ1からQ2に移動させた場合を例にとって説明した。しかし、それに限らず2本の指をタッチパネル上にタッチした状態で、片方の指を固定せずに、両方の指をタッチパネル上で回転移動させ、その時の2点の座標から移動角度を算出して、タッチャブルポインタ5のポインタ部51を回転させるようにしてもよい。
さらに、2本の指の回転操作によりポインタ部51の位置を回転させるようにしたが、回転操作用のボタンを表示させ、当該ボタンを回転操作することでポインタ部51の位置を回転させるようにしてもよい。
以上のようにタッチャブルポインタ5の操作部52に対するポインタ部51の表示位置を回転させることにより、例えばタッチパネルの四辺や四隅に近い位置においても、タッチャブルポインタ5のポインタ部51および操作部52を欠けることなく表示させ、これによりタッチパネル上のどの位置に表示されたポイント対象でも指示することが可能となる。
(4)タップ処理
アプリケーション実行部11は、ステップS2において、OS実行部12のタッチイベント通知処理部126から通知されたタッチ操作イベントに含まれるタッチ操作種別を表す情報をもとに、タッチ操作の種別が「タップ」であるか否かを判定する。この「タップ」であるか否かの判定は、押下から離脱までの時間が所定時間より短いか否かを判定することにより行う。
上記判定の結果、「タップ」と判定されると、ステップS6によりタップ処理部113を起動してタップ処理を以下のように実行する。図9はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップS61において、上記タッチ操作イベントに含まれるタッチ操作の位置座標と、記憶ユニット2のタッチャブルポインタ移動情報記憶部21に格納されているタッチャブルポインタ5の情報をもとに、上記タッチ位置座標がタッチャブルポインタ5の操作部52の範囲内であるか否かを判定する。この判定は、先ずタッチャブルポインタ移動情報記憶部21に格納されている、タッチャブルポインタ5の操作部52の現在位置座標と、当該操作部52の径とから、操作部52の現在の表示範囲を算出する。そして、上記タッチ位置座標を、上記算出された操作部52の現在の表示範囲を表す座標と比較することにより行われる。そして、上記判定の結果、タッチ位置座標が操作部52の現在の表示範囲外だった場合には、ステップS64において「失敗」を出力する。
一方、上記判定の結果、タッチ位置座標が操作部52の現在の表示範囲内に含まれていれば、ステップS62においてOS実行部12のクリックイベント処理部125を呼び出し、このクリックイベント処理部125によりポインタ先端部50のタッチパネル上の座標に対して左クリックイベントがあったことを通知する。ポインタ先端部50のタッチパネル上の座標は、図2に示したポインタ先端部50と操作部52との位置関係と、タッチャブルポインタ移動情報記憶部21に格納されている操作部52の中心座標と、タッチャブルポインタ回転情報記憶部22に格納されているポインタ部51の回転角度を用いることで、一意に求めることができる。最後にステップS63によりタップ処理の結果として「成功」を出力し、タップ処理を終了する。
なお、上記説明では、OS実行部12のタッチイベント通知処理部126から通知されたタッチ操作イベントに含まれるタッチ操作種別が「タップ」だった場合に、ポインタ先端部50に対して左クリックイベントがあった場合を例にとった。しかし、これに限るものではなく、ポインタ先端部50に対して右クリックイベントがあったことを通知してもよい。
また、操作部52の左右両サイドもしくはタッチパネル上の任意の場所に左右クリック入力領域を設け、当該領域がタップされたときにポインタ先端部50の座標に左右クリックイベントがあったことを通知するようにしてもよい。さらに、タッチパネル上の端部もしくはタッチャブルポインタ5の操作部52の横等に左右クリック切替ボタンを配置し、この切替ボタンをユーザがタップ操作することで、左クリックと右クリックの入力切り替えを行うようにしてもよい。
以上のようにタップ処理部113を備えることで、タッチパネル上においても、マウスを使用する場合と同様に左右のクリック操作を行うことが可能となる。また、タッチ操作イベントに含まれるタッチ位置座標が操作部52の範囲外であればクリックイベント処理部125を呼び出さないようにしている。このようにすることで、タッチャブルポインタ5がタッチパネルの表示画面上に表示されている場合であっても、画面上に表示されている他の要素に対してユーザが直接タップ操作を行うことを阻害しないようにすることができる。但し、これに限らず、タッチパネル上に設定した任意のタップ領域をタップ操作した場合に、ポインタ先端部50により指示されている座標に対してクリックイベント処理部125の呼び出しを行うようにしてもよい。
(5)付加情報の表示
OS実行部12の図形描画処理部123によるタッチャブルポインタ5の描画処理が終了すると、アプリケーション実行部11はステップS9により付加情報表示処理部114を起動し、この付加情報表示処理部114の制御の下、以下のように付加情報の表示処理を実行する。図10はその処理手順と処理内容を示すフローチャートである。
すなわち、付加情報表示処理部114は、ステップS91において、記憶ユニット2のタッチャブルポインタ移動情報記憶部21に格納されたタッチャブルポインタ移動情報と、タッチャブルポインタ回転情報記憶部22に格納されたタッチャブルポインタ回転情報とから、ポインタ先端部50のタッチパネル上における座標を計算する。そして、計算された座標をもとにブラウザ120のリンク判別部122を呼び出し、リンク判別結果を受け取る。次にステップS92において、上記受け取ったリンク判別結果に含まれる真偽値が「真」であるか「偽」であるかを判定し、「偽」であれば上記ポインタ先端部50が指示している座標にはリンク情報が表示されていないと判断し、処理を終了する。
これに対し上記リンク判別結果に含まれる真偽値が「真」であれば、ステップS93において付加文章生成処理部115を呼び出す。付加文章生成処理部115は、例えばWebサーバの要約エンジンにアクセスし、上記タッチャブルポインタ5により指示されたリンク情報の関連情報を取得する。例えば、タッチャブルポインタ5が指示しているポイント対象が文字列だった場合には、その単語の意味を表す文章やキーワードを取得する。上記文章やキーワードの取得処理は、例えば形態素解析や国語辞典データ等を用いることで容易に実現できる。また、タッチャブルポインタ5が指示しているポイント対象が画像だった場合には、当該画像のタイトルや解像度、撮影情報などの詳細な属性情報を取得する。この画像データの属性情報の取得処理については、画像制作元または提供元等の画像データを管理しているサイトにアクセスすることにより取得可能である。なお、関連情報としてサイト等の広告情報を取得するようにしてもよい。
付加情報表示処理部114は、ステップS94においてOS実行部12の文字描画処理部124を呼び出し、上記リンク判別部122から受け取ったリンク判別結果に含まれているURLを表す文字列と、上記付加文章生成処理部115により取得された関連情報を表す文章の描画を要求する。文字描画処理部124は、上記描画要求に応じ、上記URLを表す文字列および関連情報を表す文章をタッチパネル上に表示し、処理を終了する。
図11は、表示部42にWebページが表示されている状態で、当該Webページ上に重ねてタッチャブルポインタ5を表示させた場合の表示例を示したもので、Webページ上には別のサイトへのWebリンク情報61が表示されている。この状態で、ユーザがタッチャブルポインタ5を指で操作して移動および回転させ、これによりポインタ先端部50により上記Webリンク情報61を指示したとする。そうすると、上記指示されたWebリンク情報61のURLを表す文字列62と、当該Webリンク情報61に関連するキーワードや単語の意味を説明する文章63が、リンク先のWebページと関連する付加情報として、上記タッチャブルポインタ5の操作部52に隣接する位置に表示される。
以上のようにタッチャブルポインタ5により指示されたWebリンクのURLと関連情報を付加情報として表示するようにしたことによって、ユーザはWebリンクの指示操作を行ったときに、当該指示したWebリンクのURLと関連情報を確認することが可能となる。
また図11では、タッチャブルポインタ5のポインタ部51がリンク情報61の表示領域内に位置している状態で、操作部52の表示パターンを二重円とする場合を示している。このようにすると、タッチャブルポインタ5がタップ操作可能であることをユーザに明示することができる。
なお、タッチャブルポインタ5がタップ操作可能であることを表示する手法としては、他に以下のようにものが考えられる。例えば、ポインタ部51または操作部52の形状やサイズ、表示色を変化させたり、点滅させる。また、アニメーション技術を使用してポインタ部51または操作部52を動かしたり、3D表示技術によりポインタ部51または操作部52を立体表示させる。その他、バイブレータを振動させたり、LEDを点灯または点滅させるという手法も考えられる。
(効果)
以上詳述したように一実施形態では、互いに分離されかつ距離を置いて表示されるポインタ部51と操作部52とからなるタッチャブルポインタ5をタッチパネルに表示させ、操作部52を指で操作することでポインタ部51を移動させてポインタ先端部50により任意のポイント対象を指示するようにしている。
したがって、タッチしている指によってポイント対象付近の表示情報の視認性を阻害せずにポイント対象を指示することができ、加えてタッチパネルの端部に表示されたポイント対象の指示も容易に行うことが可能となる。また、操作部52に対するポインタ部51の表示位置を回転させることができるため、タッチパネルの上下左右のどの端部であっても指示することが可能となる。
さらに、ポイント対象を、ユーザが実際に指でタッチする操作部52ではなく、操作している指より小さなポインタ先端部50を用いて指示するため、表示サイズの小さなポイント対象や互いに近接配置されている複数のポイント対象のように指では指定が困難なポイント対象であっても正確に指示することができる。一般に、Webコンテンツでは細かいポイント対象が近接配置されている場合が多く、指ではそれらを正確に指示することが困難である。従って、本実施形態に係るタッチャブルポインタを用いることは、実用上きわめて有用である。また、スマートフォンのようにタッチパネルの画面サイズが小さく、表示されるポイント対象の表示が小さくなってしまう場合にも有用である。
さらに本実施形態では、タッチャブルポインタ5の図形の大きさを固定値とし、2本指でのピンチインおよびピンチアウト操作については、アプリケーション実行部11が検知しないようにしている。このようにすることで、Webブラウジングを行う際にピンチインおよびピンチアウト操作がWebブラウジング画面の縮小および拡大操作に割り当てられている場合でも、当該操作を阻害しないようにすることができる。なお、ピンチインおよびピンチアウト操作によってタッチャブルポインタ5を縮小または拡大したり、操作部52のみの縮小または拡大などを行ってもよい。
さらに本実施形態では、タッチャブルポインタ5がWebリンク情報の表示領域を通過する期間中に、タッチャブルポインタ5の移動速度を減速させるようにしている。このため、タッチャブルポインタ5のポインタ部51がWebリンク情報の表示領域内に滞在する時間が長くなり、これによりユーザはタッチャブルポインタ5のポインタ部51をWebリンク情報の表示領域内に停止させやすくなる。すなわち、Webリンク情報の指示操作性を高めることが可能となる。
さらに本実施形態では、タッチャブルポインタ5のポインタ先端部50がリンク情報を表示領域に位置している状態で、タッチャブルポインタ5のポインタ部51または操作部52の表示形態を変化させたり、タッチャブルポインタ5がWebリンク情報の表示領域に入った時点で、鳴音を発生させたり、バイブレータを振動させたり、LEDを点灯または点滅させるようにしている。このため、ユーザは、ポインタ部51によりWebリンク情報が指示されている状態、つまりタップ操作が可能な状態にあることを明確に認識することができる。
タッチャブルポインタ5が指示しているポイント対象が文字列だった場合には、その単語の意味を表す文章やキーワードを取得する。この文章やキーワードの取得処理は、例えば形態素解析や国語辞典データ等を用いることで容易に実現できる。また、タッチャブルポインタ5が指示しているポイント対象が画像だった場合には、当該画像のタイトルや解像度、撮影情報などの詳細な属性情報を取得する。この画像データの属性情報の取得処理については、画像制作元または提供元等の画像データを管理しているサイトにアクセスすることにより取得可能である。なお、関連情報としてサイト等の広告情報を取得するようにしてもよい。
さらに本実施形態では、タッチャブルポインタ5がポイント対象を指示している状態で、当該ポイント対象のサイトに対応するURLを表す文字列と、上記付加文章生成処理部115により取得された関連情報、例えば単語の意味を表す文章やキーワード、画像のタイトルや解像度、撮影情報などの詳細な属性情報等を、タッチパネル上に表示するようにしている。このため、ユーザはWebリンクの指示操作を行ったときに、当該指示したWebリンクのURLと関連情報を確認することが可能となる。
[他の実施形態]
前記実施形態では、リンク先のページ内容を要約する情報としてリンク先のURLを表す文字列62を表示したが、これに限らずリンク先の文章を要約したものや、リンク先の文章に頻出する単語、リンク先のWebコンテンツを表す画像を表示するようにしてもよい。
また前記実施形態では、リンク先のページ内容の要約を表す情報を付加情報としてタッチャブルポインタ5と隣接する位置に表示するようにしたが、これに限らずタッチパネル上の任意の場所に表示させたり、別の表示装置あるいは別の情報端末装置に無線回線を介して送信して表示させるようにしてもよい。
さらに、付加情報の表示処理によりユーザはリンク先の付加情報を視認することが可能となり、実際にリンク先のサイトにアクセスしてその情報をダウンロードしなくても、リンク先のサイトの概要を確認することができる。このため、Webコンテンツの情報を迅速に確認できるだけでなく、リンクの選択誤りを減らすことができる。
さらに、指をタッチしたままタッチャブルポインタ5を移動させる操作の過程において、ポインタ先端部50が指示するポイント対象の概要や関連情報を次々と表示させるようにすると、タッチパネルを用いたユーザインタフェースでありながら、マウスやタッチパッド等を用いた場合と同様の高度な操作感を得ることができる。しかもその際、タッチパネルを利用しておりながら、指によって画面情報の視認を阻害されることがないという利点が得られる。
その他、装置の種類や構成、OSの種類、タッチャブルポインタの形状やサイズ、表示色、表示形態(透明にするか否か等)についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…制御ユニット、2…記憶ユニット、3…無線インタフェースユニット、4…ユーザインタフェースユニット、5…タッチャブルポインタ、11…アプリケーション実行部、12…OS実行部、21…タッチャブルポインタ移動情報記憶部、22…タッチャブルポインタ回転情報記憶部、23…移動開始位置情報記憶部、24…回転開始角度情報記憶部、41…入力部、42…表示部、50…ポインタ先端部、51…ポインタ部、52…操作部、61…ポイント対象としてのリンク情報、62,63…付加情報、111…タッチャブルポインタ移動処理部、112…タッチャブルポインタ回転処理部、113…タップ処理部、114…付加情報表示処理部、115…付加文章生成処理部、120…ブラウザ、121…Web画面表示処理部、122…リンク判別部、123…図形描画処理部、124…文字描画処理部、125…クリックイベント処理部、126…タッチイベント通知処理部。

Claims (14)

  1. 表示画面の上に入力シートを配置したタッチパネル型情報端末装置において、
    前記表示画面に、当該表示画面に表示されているポイント対象を指示するためのポインタ部とユーザがタッチ操作するための操作部とを有するタッチャブルポインタを表示させる手段と、
    前記タッチャブルポインタの前記操作部に対するユーザのタッチ操作に応じて、前記表示画面における前記操作部および前記ポインタ部の表示位置を一体的に移動させる手段と
    を具備することを特徴とするタッチパネル型情報端末装置。
  2. 前記入力シート上の任意の位置で回転角度を指定するためのタッチ操作が行われた場合に、当該タッチ操作に応じて、前記操作部に対する前記ポインタ部の配置位置を前記指定された回転角度に相当する量だけ移動させる回転移動手段を、さらに具備することを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  3. 前記回転移動手段は、前記入力シート上の1点に第1の指を固定し、当該第1の指を中心に第2の指を前記入力シート上で回転移動させる操作が行われた場合に、当該回転移動操作により指定された回転角度に相当する量だけ、前記操作部に対する前記ポインタ部の配置位置を移動させることを特徴とする請求項2に記載のタッチパネル型情報端末装置。
  4. 前記操作部を含む所定のタップ領域に対し予め設定された時間より短いタッチ操作が行われた場合に、前記ポインタ部により指示されているポイント対象に対応する情報源に対するアクセス処理を実行する手段を、さらに具備することを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  5. 前記操作部を中心としてその左右にそれぞれ設定された左クリック入力領域および右クリック入力領域に対し、予め設定された時間より短いタッチ操作が行われた場合に、前記ポインタ部により指示されているポイント対象に対する左クリックイベント処理および右クリックイベント処理を実行する手段を、さらに具備することを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  6. 前記ポインタ部により指示されているポイント対象に対応する情報源に関連する情報を前記表示画面に表示させる付加情報表示手段を、さらに具備することを特徴とする請求項1記載のタッチパネル型情報端末装置。
  7. 前記付加情報表示手段は、前記ポインタ部により指示されているポイント対象に対応する情報源が文字列の場合には、その単語の意味を表す文章またはキーワードを取得し、当該取得された文章またはキーワードを前記表示画面に表示させることを特徴とする請求項6に記載のタッチパネル型情報端末装置。
  8. 前記付加情報表示手段は、前記ポインタ部により指示されているポイント対象に対応する情報源が画像の場合には、当該画像の属性情報を取得し、当該取得された画像の属性情報を前記表示画面に表示させることを特徴とする請求項6に記載のタッチパネル型情報端末装置。
  9. 前記タッチャブルポインタの少なくとも前記ポインタ部は、前記表示画面に表示されているポイント対象を視認可能とするべく透過性を有することを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  10. 前記ポインタ部により前記ポイント対象が指示されているか否かを判定する手段と、
    前記判定の結果に基づいて、前記ポイント対象が指示されていない状態では前記ポインタ部および操作部を第1の表示形態で表示し、前記ポイント対象が指示されている状態では前記ポインタ部および操作部の少なくとも一方を前記第1の表示形態とは異なる第2の表示形態で表示する手段と
    を、さらに具備することを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  11. 前記操作部および前記ポインタ部の表示位置を一体的に移動させる手段は、
    前記操作部および前記ポインタ部の表示位置の移動処理中に、前記ポインタ部が前記ポイント対象の表示領域に進入したか否かを判定する手段と、
    前記ポインタ部が前記ポイント対象の表示領域に進入しているときの前記表示位置の移動速度を、進入前の前記表示位置の移動速度より遅く設定する手段と
    を備えることを特徴とする請求項1に記載のタッチパネル型情報端末装置。
  12. 表示画面の上に入力シートを配置したタッチパネル型情報端末装置が実行する情報入力処理方法であって、
    前記表示画面に、当該表示画面に表示されているポイント対象を指示するためのポインタ部とユーザがタッチ操作するための操作部とを有するタッチャブルポインタを表示させる過程と、
    前記タッチャブルポインタの前記操作部に対するユーザのタッチ操作に応じて、前記表示画面における前記操作部および前記ポインタ部の表示位置を一体的に移動させる過程と
    を具備することを特徴とする情報入力処理方法。
  13. 前記入力シート上の任意の位置で回転角度を指定するためのタッチ操作が行われた場合に、当該タッチ操作に応じて、前記操作部に対する前記ポインタ部の配置位置を前記指定された回転角度に相当する量だけ移動させる過程を、さらに具備することを特徴とする請求項12に記載の情報入力処理方法。
  14. 請求項1から請求項11のいずれかに記載のタッチパネル型情報端末装置が具備する前記各手段による処理を、前記タッチパネル型情報端末装置が備えるプロセッサに実行させるプログラム。
JP2017530861A 2015-07-28 2016-07-25 タッチパネル型情報端末装置とその情報入力処理方法およびプログラム Pending JPWO2017018384A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015148687 2015-07-28
JP2015148687 2015-07-28
PCT/JP2016/071743 WO2017018384A1 (ja) 2015-07-28 2016-07-25 タッチパネル型情報端末装置とその情報入力処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2017018384A1 true JPWO2017018384A1 (ja) 2018-01-11

Family

ID=57884414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017530861A Pending JPWO2017018384A1 (ja) 2015-07-28 2016-07-25 タッチパネル型情報端末装置とその情報入力処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10691287B2 (ja)
EP (1) EP3330842A4 (ja)
JP (1) JPWO2017018384A1 (ja)
WO (1) WO2017018384A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6934776B2 (ja) * 2017-08-31 2021-09-15 シャープ株式会社 表示制御装置、表示システム、ポインタ表示方法及びプログラム
JP7162246B2 (ja) 2018-11-22 2022-10-28 パナソニックIpマネジメント株式会社 入力装置
CN112198997A (zh) * 2019-07-08 2021-01-08 兰州大学 一种光标

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置
JPH10133822A (ja) * 1996-10-31 1998-05-22 Nec Corp マウスカーソル制御方式
JPH11353069A (ja) * 1998-06-08 1999-12-24 Fujitsu Ltd 仮想マウス表示情報装置及び仮想マウス表示プログラムを記録した記録媒体
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2000276471A (ja) * 1999-03-23 2000-10-06 Seiko Epson Corp リンク先情報の概要提示方法およびリンク先情報の概要提示装置ならびにリンク先情報の概要提示処理プログラムを記録した記録媒体
JP2006040132A (ja) * 2004-07-29 2006-02-09 Canon Inc 情報管理装置及び情報提示方法
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2010272036A (ja) * 2009-05-25 2010-12-02 Nikon Corp 画像処理装置
WO2013094371A1 (ja) * 2011-12-22 2013-06-27 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
JP2013222263A (ja) * 2012-04-13 2013-10-28 Canon Inc 情報処理装置およびその制御方法、コンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6311177B1 (en) * 1999-02-16 2001-10-30 International Business Machines Corporation Accessing databases when viewing text on the web
US20010045936A1 (en) * 2000-01-24 2001-11-29 Mahmoud Razzaghi Computer pointing system
US7689915B2 (en) 2004-07-29 2010-03-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method using image attribute information and thumbnail displays for display control
US9465457B2 (en) * 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
US20130249813A1 (en) * 2012-03-26 2013-09-26 Lenovo (Singapore) Pte, Ltd. Apparatus, system, and method for touch input

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置
JPH10133822A (ja) * 1996-10-31 1998-05-22 Nec Corp マウスカーソル制御方式
JPH11353069A (ja) * 1998-06-08 1999-12-24 Fujitsu Ltd 仮想マウス表示情報装置及び仮想マウス表示プログラムを記録した記録媒体
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2000276471A (ja) * 1999-03-23 2000-10-06 Seiko Epson Corp リンク先情報の概要提示方法およびリンク先情報の概要提示装置ならびにリンク先情報の概要提示処理プログラムを記録した記録媒体
JP2006040132A (ja) * 2004-07-29 2006-02-09 Canon Inc 情報管理装置及び情報提示方法
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2010272036A (ja) * 2009-05-25 2010-12-02 Nikon Corp 画像処理装置
WO2013094371A1 (ja) * 2011-12-22 2013-06-27 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
JP2013222263A (ja) * 2012-04-13 2013-10-28 Canon Inc 情報処理装置およびその制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
US20180173398A1 (en) 2018-06-21
US10691287B2 (en) 2020-06-23
EP3330842A1 (en) 2018-06-06
EP3330842A4 (en) 2019-03-27
WO2017018384A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
US10346016B1 (en) Nested zoom in windows on a touch sensitive device
US9996176B2 (en) Multi-touch uses, gestures, and implementation
AU2017200873B2 (en) Method and apparatus for providing character input interface
US10444961B2 (en) Hover-based interaction with rendered content
US9292161B2 (en) Pointer tool with touch-enabled precise placement
US20140380209A1 (en) Method for operating portable devices having a touch screen
WO2013094371A1 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
WO2010018788A1 (ja) コンテンツ表示倍率変更方法、およびコンテンツ表示倍率変更プログラム
WO2015106013A2 (en) Systems and methods for transforming a user interface icon into an enlarged view
JPWO2009044770A1 (ja) 端末装置、リンク選択方法および表示プログラム
US9477373B1 (en) Simultaneous zoom in windows on a touch sensitive device
WO2017018384A1 (ja) タッチパネル型情報端末装置とその情報入力処理方法およびプログラム
US10140003B1 (en) Simultaneous zoom in windows on a touch sensitive device
JP2011081447A (ja) 情報処理方法及び情報処理装置
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
JP2014241078A (ja) 情報処理装置
JP2015022675A (ja) 電子機器、インターフェース制御方法、および、プログラム
EP2977878B1 (en) Method and apparatus for displaying screen in device having touch screen
US10402071B1 (en) Simultaneous zoom in windows on a touch sensitive device
KR20130077137A (ko) 터치 입력수단을 구비하는 입력장치 및 그 입력 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181203

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190201