JP5413111B2 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP5413111B2
JP5413111B2 JP2009230745A JP2009230745A JP5413111B2 JP 5413111 B2 JP5413111 B2 JP 5413111B2 JP 2009230745 A JP2009230745 A JP 2009230745A JP 2009230745 A JP2009230745 A JP 2009230745A JP 5413111 B2 JP5413111 B2 JP 5413111B2
Authority
JP
Japan
Prior art keywords
touch
enlargement
cpu
reduction
scroll
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009230745A
Other languages
English (en)
Other versions
JP2011081440A (ja
JP2011081440A5 (ja
Inventor
満 西部
賢司 久永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009230745A priority Critical patent/JP5413111B2/ja
Priority to US12/888,028 priority patent/US8847978B2/en
Priority to EP10178647.3A priority patent/EP2309370A3/en
Priority to RU2010139528/08A priority patent/RU2010139528A/ru
Priority to CN201010292695.7A priority patent/CN102033648B/zh
Publication of JP2011081440A publication Critical patent/JP2011081440A/ja
Publication of JP2011081440A5 publication Critical patent/JP2011081440A5/ja
Application granted granted Critical
Publication of JP5413111B2 publication Critical patent/JP5413111B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関し、例えばタッチスクリーンに対する操作入力に応じて処理を行う情報処理装置に適用して好適なものである。
従来、タッチスクリーンを有する情報処理装置が広く普及している。この種の情報処理装置では、タッチスクリーンに対するタップ、ドラッグ、フリックなどの操作入力によって、より直感的な操作を実現している。因みにドラッグとは、タッチスクリーンに指などをタッチしたまま移動させる操作のことであり、フリックとは、タッチスクリーンの表面を指などで軽く払う操作のことである。
例えば、タッチスクリーンに対するドラッグが行われると、画像をスクロールさせるようになされた情報処理装置が提案されている。
また例えば、タッチスクリーンに対するピンチアウト、ピンチインが行われると、画像の拡大、縮小を行うようになされた情報処理装置が提案されている(例えば、特許文献1参照)。因みにピンチアウトとは、2本の指でタッチして、これら2本の指の間を広げる操作のことであり、またピンチインとは、これら2本の指の間を狭める操作のことである。
このように、この種の情報処理装置では、タッチスクリーンに対する操作入力から、所定の処理(例えば画像のスクロール)に対応するジェスチャ操作を認識すると、当該処理を実行するようになされている。
特開2008−299474公報(第24頁、第25頁、第34頁)
ところで上述した情報処理装置では、ドラッグをスクロールに対応するジェスチャ操作と認識するように、操作入力とジェスチャ操作とが1対1で対応付けられているため、一度の操作入力で一つの処理しか行うことができない。尚、ここでいう一度の操作入力とは、例えば、タッチスクリーンに指がタッチされてから離されるまでの操作入力のことである。
ここで上述した情報処理装置において、一度の操作入力に対して一つの処理を実行する操作系のみではなく、一度の操作入力に対して複数の処理を実行する操作系に対応できれば、より多様な操作系を実現できるものと考えられる。
本発明は以上の点を考慮してなされたもので、一段と多様な操作系を実現しうる表示制御装置、表示制御方法及び表示制御プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、タッチパネルから送られてくる、指示物によるタッチ位置を示す位置信号を取得する取得部と、指示物がタッチパネルに触れてから離れるまでの一度のタッチ操作が行われる間に得られた位置信号に基づいて、一度のタッチ操作の特徴を検出し、当該一度のタッチ操作から、表示部に表示される内容をスクロールさせるためのスクロール操作に対応する第1の特徴と、表示部に表示される内容を拡大又は縮小させるための拡大縮小操作に対応する第2の特徴とを検出した場合、スクロール操作に応じたスクロール処理と、拡大縮小操作に応じた拡大縮小処理を行うよう表示部を制御する制御部とを有し、制御部が、第1の特徴である一定時間内でのタッチ操作の移動量に基づいて、一度のタッチ操作内に、スクロール操作が含まれているか否かを検出し、また第2の特徴であるタッチ操作の軌跡の曲がり具合に基づいて、一度のタッチ操作内に、拡大縮小操作が含まれているか否かを検出するようにした。
これにより本発明は、一度のタッチ操作に対して2つの表示処理を実行することができる。
本発明によれば、一度のタッチ操作から2つの表示処理を実行することができ、かくして一段と多様な操作系を実現しうる表示制御装置、表示制御方法及び表示制御プログラムを実現できる。
実施の形態の概要となる情報処理装置の構成を示す機能ブロック図である。 実施の形態における携帯端末の外観構成を示す略線図である。 実施の形態における携帯端末のハードウェア構成を示すブロック図である。 スクロール操作及び拡大縮小操作の説明に供する略線図である。 移動ベクトルの検出の説明に供する略線図である。 ドラッグの際の折り返しの説明に供する略線図である。 移動曲がり具合の変化例の説明に供する略線図である。 ジェスチャ操作認識処理手順を示すフローチャートである。 表示領域の設定の説明に供する略線図である。 他の実施の形態における仮倍率と最終倍率との関係の説明に供する略線図である。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。尚、説明は以下の順序で行う。
1.実施の形態
2.他の実施の形態
<1.実施の形態>
[1−1.実施の形態の概要]
まず、実施の形態の概要を説明する。この概要を説明した後、本実施の形態の具体例の説明に移る。
図1において1は、情報処理装置を示す。この情報処理装置1は、表示画面に対する操作入力の所定時間ごとの移動量及び曲がり具合を検出する検出部2を有している。またこの情報処理装置1は、当該移動量に基づいて表示画面に表示されている画像のスクロールに対応するジェスチャ操作が行われたかを認識し、当該曲がり具合に基づいて当該画像の拡大又は縮小に対応するジェスチャ操作が行われたかを認識する認識部3を有している。
さらにこの情報処理装置1は、認識部3により画像のスクロールに対応するジェスチャ操作及び上記画像の拡大又は縮小に対応するジェスチャ操作が行われたと認識されると、画像のスクロール及び画像の拡大又は縮小の両方を実行する制御部4を有している。
このような構成により情報処理装置1は、一度の操作入力から、画像のスクロール及び画像の拡大又は縮小といった複数の処理を実行することができるようになっている。
このような構成でなる情報処理装置1の具体例について、以下、詳しく説明する。
[1−2.携帯端末の外観構成]
次に、図2を用いて、上述した情報処理装置1の具体例である携帯端末100の外観構成について説明する。
携帯端末100では、第1筐体101及び第2筐体102が例えばヒンジ等でなる連結部103A及び103Bにより互いに離れる方向又は近づく方向へ回転可能に連結されると共に、電気的に接続されている。
第1筐体101及び第2筐体102は、それぞれ片手で把持し得る程度の大きさでなる略扁平矩形状である。
第1筐体101の前面101Aの中央部には、長方形状の第1タッチスクリーン104が設けられている。また第2筐体102の前面102Aの中央部には、第1タッチスクリーン104と同様の形状及び大きさでなる第2タッチスクリーン105が設けられている。
第1タッチスクリーン104及び第2タッチスクリーン105は、ユーザの指(ペンなどでも可)によるタッチ操作が可能な表示デバイスである。また携帯端末100では、例えば第1タッチスクリーン104が上画面、第2タッチスクリーン105が下画面としてユーザに使用されるようになされている。
また、第2タッチスクリーン105の両側には、各種ハードウェアボタンが設けられている。
[1−3.携帯端末のハードウェア構成]
次に図3を用いて、携帯端末100のハードウェア構成について説明する。携帯端末100では、CPU120、ROM121、RAM122がホストバス123を介して接続されている。因みに、CPUは、Central Processing Unitの略である。また、ROMは、Read Only Memoryの略、RAMは、Random Access Memoryの略である。
携帯端末100は、CPU120が、ROM121などに書き込まれた各種プログラムをRAM122にロードして実行することで各種処理を実行するようになされている。
またホストバス123は、ブリッジ124を介して外部バス125と接続されている。また外部バス125は、インターフェース126を介して、操作部127、第1液晶パネル104A、第1タッチパネル104B、第2液晶パネル105A、第2タッチパネル105Bと接続されている。また外部バス125は、インターフェース126を介して、記憶部128、ドライブ129、接続ポート130、無線通信部131とも接続されている。
CPU120は、インターフェース126、外部バス125、ホストバス123を順次介して送られてきた第1タッチパネル104B、第2タッチパネル105B、操作部127からの入力信号に応じて各部を制御するようになされている。
第1タッチパネル104Bは、第1液晶パネル104Aと共に上述した第1タッチスクリーン104を構成するデバイスである。また第2タッチパネル105Bは、第2液晶パネル105Aと共に上述した第2タッチスクリーン105を構成するデバイスである。
第1タッチパネル104Bは、第1タッチパネル104B上の任意の位置が指でタッチされると、タッチされた位置(すなわちタッチ位置)の座標を検出し、このタッチ位置の座標を示す入力信号をCPU120に送る。
CPU120は、第1タッチパネル104Bから送られてくる入力信号からタッチ位置の座標を取得すると、この座標を第1液晶パネル104Aの画面座標に変換することで、第1液晶パネル104Aの画面上のどの位置がタッチされたかを認識する。
そしてCPU120は、一定時間ごとに送られてくる入力信号より取得したタッチ位置の座標を、順次第1液晶パネル104Aの画面座標に変換していくことで、タッチ位置がどのように動いたのか(すなわちタッチ位置の軌跡)を認識する。
そしてCPU120は、このようにして認識したタッチ位置とその軌跡とに基づいて、第1液晶パネル104Aの画面上のどの位置に対して、どのようなタッチ操作が行われたのかを判別するようになされている。
同様にして第2タッチパネル105Bも、検出したタッチ位置の座標を示す入力信号をCPU120に送る。CPU120は、当該入力信号から、第2液晶パネル105Aの画面上のどの位置に対して、どのようなタッチ操作が行われたのかを判別するようになされている。
操作部127は、各種ハードウェアボタンなどからなるデバイスであり、これらの操作に応じた入力信号をCPU120に送る。CPU120は、操作部127から送られてくる入力信号に基づいて、どのハードウェアボタンが操作されたかを判別するようになされている。
またCPU120は、接続ポート130により近傍の外部装置OCと機器間接続することで、外部装置OCと直接通信するようになされている。
またCPU120は、無線通信部131により、アクセスポイントを介してインターネットNTに接続することで、インターネットNT上のサーバなど他の装置と通信するようになされている。
またCPU120は、ユーザ操作などに応じて、接続ポート130又は無線通信部131を介して他の装置と通信した結果、例えばコンテンツデータ(動画像データ、楽曲データなど)を取得したときには、これを記憶部128に記憶させる。なおCPU120は、ドライブ129にリムーバブル記録媒体RW(例えば光ディスクやフラッシュメモリなど)が挿入されている場合には、ユーザ操作に応じて、コンテンツデータをリムーバブル記録媒体RWに記憶させるようになされている。
[1−4.Webブラウザ画面]
ところで、携帯端末100は、インターネット上のサーバが提供するWebページを閲覧するWebブラウザ機能を有している。以下、このWebブラウザ機能におけるWebブラウザ画面と、このWebブラウザ画面上での操作について説明する。
CPU120は、Webブラウザのプログラムを実行すると、無線通信部131を介してインターネット上の任意のサーバと通信し、このサーバからWebページのデータを取得する。そしてCPU120は、取得したWebページのデータに基づくWebページ画像を表示させるWebブラウザ画面を例えば第1タッチスクリーン104に表示させる。
因みにWebブラウザ画面には、Webページ画像の大きさによって、Webページ画像の全体が表示されたり、Webページ画像の一部が表示されたりするようになっている。尚CPU120は、例えばWebブラウザのプログラムを実行して最初にWebブラウザ画面を表示させる際のWebページ画像の倍率を基準の倍率(すなわち1倍)とするようになっている。
ここで、第1タッチスクリーン104に対してドラッグ又はフリックが行われると、CPU120は、Webページ画像のスクロールに対応するジェスチャ操作(これをスクロール操作とも呼ぶ)が行われたと認識する。そしてCPU120は、スクロール操作に応じて、Webページ画像をスクロールさせる。
またCPU120は、図4に示すように、第1タッチスクリーン104に対するドラッグにおいて指が円を描くように移動していることを認識すると、スクロール操作と共にWebページ画像の拡大又は縮小に対応するジェスチャ操作を認識する。尚、Webページ画像の拡大に対応するジェスチャ操作のことを拡大操作とも呼び、Webページ画像の縮小に対応するジェスチャ操作のことを縮小操作とも呼ぶ。また、拡大操作と縮小操作をまとめて拡大縮小操作とも呼ぶ。
このときCPU120は、スクロール操作に応じてWebページ画像をスクロールさせると共に、拡大縮小操作に応じてWebページ画像を拡大又は縮小させる。具体的にCPU120は、例えば時計回りに円が描かれると拡大操作が行われたと認識し、現在指がタッチしている箇所を中心として、Webページ画像を拡大させる。一方CPU120は、例えば反時計回りに円が描かれると縮小操作が行われたと認識し、現在指がタッチしている箇所を中心として、Webページ画像を縮小させる。
以下、携帯端末100において、スクロール操作や拡大縮小操作といった第1タッチスクリーン104に対するジェスチャ操作を認識する処理について詳しく説明する。
CPU120は、第1タッチスクリーン104に対して1本の指によるタッチ操作が行われると、第1タッチスクリーン104から一定時間(例えば数msec)ごとに送られてくる入力信号よりタッチ位置の画面座標を取得する。
CPU120は、一定時間ごとのタッチ位置の画面座標をもとに、一定時間ごとのタッチ位置の移動量を検出する。CPU120は、この一定時間ごとのタッチ位置の移動量が所定値以上であることを認識すると、第1タッチスクリーン104に対するドラッグ又はフリックを認識し、スクロール操作が行われたことを認識する。因みにCPU120は、タッチ位置の移動速度などをもとにドラッグ又はフリックのどちらが行われたかを判別するようになっている。そしてCPU120は、所定時間ごとのタッチ位置の移動量、移動方向、移動速度などに応じて、Webページ画像をスクロールさせる。
またCPU120は、一定時間ごとのタッチ位置の画面座標をもとに、一定時間ごとのタッチ位置が移動したときの軌跡の曲がり具合(これを移動曲がり具合とも呼ぶ)を検出する。CPU120は、この移動曲がり具合に基づいて、拡大縮小操作を認識するようになっている。
具体的にCPU120は、例えば図5に示すように、第1タッチスクリーン104から一定時間ごとに連続して送られてきた入力信号より、3点のタッチ位置の画面座標A、B、Cを順に取得したとする。ここで、画面座標Cを取得した時点が現時点(つまり今回)であるとすれば、画面座標Bを取得した時点が前回となり、画面座標Aを取得した時点が前々回となる。
このときCPU120は、今回取得した画面座標Cと、前回取得した画面座標Bをもとに、画面座標Bを始点として画面座標Cを終点とした移動ベクトルv1を検出する。この移動ベクトルv1は、前回から今回にかけてのタッチ位置の移動量及び移動方向を示している。
またCPU120は、前回取得した画面座標Bと、前々回取得した画面座標Aをもとに、画面座標Aを始点として画面座標Bを終点とした移動ベクトルv2を検出する。この移動ベクトルv2は、前々回から前回にかけてのタッチ位置の移動量及び移動方向を示している。
そしてCPU120は、このようにして得られた2つの移動ベクトルv1及び移動ベクトルv2を用いて、一定時間ごとのタッチ位置の移動方向の変化量(これを移動方向変化量とも呼ぶ)f(v1,v2)を、次式(1)により算出する。
Figure 0005413111
尚、CPU120は、|v1|=0又は|v2|=0の場合は、f(v1,v2)=0とするようになっている。
またここでは、例えば、移動方向変化量f(v1,v2)は、タッチ位置の移動方向が時計回りに変化したときは正の値をとり、タッチ位置の移動方向が反時計回りに変化したときは負の値をとるようになっている。
そしてCPU120は、この移動方向変化量f(v1,v2)を用いて、一定時間ごとの移動曲がり具合R(n)を、次式(2)により算出する。
Figure 0005413111
R(n−1)とは、前回の移動曲がり具合を表している。CPU120は、第1タッチスクリーン104から送られてくる入力信号からタッチ位置の画面座標を取得するごとに、この移動曲がり具合R(n)を算出するようになっている。したがって前回の移動曲がり具合とは、前回タッチ位置の画面座標を取得した際に算出した移動曲がり具合の値である。
またα、1−αとは、R(n−1)、f(v1,v2)の各々に対して重み付けを行うための重み係数である。このように携帯端末100では、前回の移動曲がり具合R(n−1)を加味して、今回の移動曲がり具合R(n)を算出するようになっている。これにより携帯端末100では、円を描くようにドラッグが継続されるにつれて、移動曲がり具合R(n)の絶対値が大きくなっていくようになっている。
また図6に示すように、ドラッグの際に指の移動方向がある時点で急に折り返されたような場合、この時点だけ、移動方向変化量f(v1,v2)の絶対値が急に大きくなる。しかし携帯端末100では、移動方向変化量f(v1,v2)に前回の移動曲がり具合R(n−1)を加味して、今回の移動曲がり具合R(n)を算出することで、このような場合でも、移動曲がり具合R(n)の絶対値が急に大きくならないようになっている。
したがって携帯端末100では、移動曲がり具合R(n)の絶対値が、ドラッグが急に折り返された場合よりも円を描くようにドラッグが継続されている場合の方が大きくなる。これにより、携帯端末100では、今回の移動曲がり具合R(n)の絶対値の大きさから、ドラッグが急に折り返された場合と、円を描くようにドラッグが継続されている場合とを区別できるようになっている。
またここでは、移動方向変化量f(v1,v2)は、タッチ位置が時計回りに移動したときは正の値、反時計回りに移動したときは負の値となっている。ゆえに移動曲がり具合R(n)が正の値のときはタッチ位置が時計回りに移動しており、移動曲がり具合R(n)が負の値のときはタッチ位置が反時計回りに移動していることを示している。
これらをふまえCPU120は、移動曲がり具合R(n)が正の値である場合、移動曲がり具合R(n)が所定の正の値(これを拡大開始値とも呼ぶ)以上か否かを判別する。そしてCPU120は、移動曲がり具合R(n)が拡大開始値以上であると判別すると、拡大操作が開始されたと認識するようになっている。
一方CPU120は、移動曲がり具合R(n)が負の値である場合、移動曲がり具合R(n)が所定の負の値(これを縮小開始値とも呼ぶ)以下か否かを判別する。そしてCPU120は、移動曲がり具合R(n)が縮小開始値以下であると判別すると、縮小操作が開始されたと認識するようになっている。
尚、拡大開始値及び縮小開始値の絶対値は、ドラッグが急に折り返された場合は、拡大縮小操作と認識せず、円を描くようにドラッグが継続されている場合のみを拡大縮小操作と認識するような値に設定されている。
このようにしてCPU120は、移動曲がり具合R(n)に基づいて拡大縮小操作が開始されたことを認識すると、移動曲がり具合R(n)を用いて、次式(3)より、Webページ画像の倍率の変化率(これを倍率変化率とも呼ぶ)ΔSを算出する。
Figure 0005413111
因みにβは、移動曲がり具合R(n)を倍率変化率ΔSに変換するための係数であり、倍率変化率ΔSは、移動曲がり具合R(n)が正の値であれば正の値をとり、移動曲がり具合R(n)が負の値であれば負の値をとるようになっている。
このようにCPU120は、倍率変化率ΔSを算出すると、Webページ画像の現在の倍率に倍率変化率ΔSを足した値を新たな倍率として、この新たな倍率に応じてWebページ画像を表示させる。この結果、Webブラウザ画面に表示されているWebページ画像が拡大又は縮小される。
また式(3)に表したように、携帯端末100では、移動曲がり具合R(n)が大きいほど、倍率変化率ΔSが大きくなるようになっている。これにより携帯端末100では、円を描くようにドラッグが継続して行われているときに、ドラッグの移動速度(すなわち円を描く速度)が速いほど、Webページ画像の拡大率又は縮小率の変化率が大きくなるようになっている。
ゆえに携帯端末100では、ユーザに円を素早く描かせればWebページ画像の拡大率又は縮小率の変化率を大きくでき、ユーザに円をゆっくり描かせればWebページ画像の拡大率又は縮小率の変化率を小さくすることができる。
尚CPU120は、移動曲がり具合R(n)が拡大開始値より小さい又は縮小開始値より大きいために拡大縮小操作が開始されたとは認識せず、スクロール操作のみを認識した場合には、Webページ画像のスクロールのみを行うようになっている。
さらにCPU120は、第1タッチスクリーン104に指がタッチされ続けている間、一定時間ごとにタッチ位置の画面座標を取得して、一定時間ごとのタッチ位置の移動量と移動曲がり具合R(n)とを検出する。そしてCPU120は、タッチ位置の移動量に基づいてWebページ画像をスクロールさせていくと共に、移動曲がり具合R(n)に基づいてWebページ画像を拡大又は縮小させていく。
ここで、図7に示すグラフに、一定時間ごとの移動曲がり具合R(n)の変化の一例を示す。尚、このグラフでは、縦軸が移動曲がり具合R(n)、横軸が時刻を表すようになっている。
このグラフによれば、時刻t1の時点で移動曲がり具合R(n)が拡大開始値U1以上となっている。ゆえにCPU120は、時刻t1の時点で拡大操作が開始されたと認識し、上述したように移動曲がり具合R(n)に基づいてWebページ画像の倍率を変化させることにより、Webページ画像を拡大させる。
またCPU120は、拡大操作が開始されたと認識した後は、移動曲がり具合R(n)が所定の正の値(これを、拡大終了値とも呼ぶ)U2より小さくなるまで、移動曲がり具合R(n)に基づいてWebページ画像の倍率を変化させ続ける。
これにより携帯端末100では、第1タッチスクリーン104上で時計回りに円を描くように指が移動させられ続けている間、Webページ画像が拡大し続けるようになっている。
また拡大開始値U1よりも拡大終了値U2は小さい値に設定されている。これにより携帯端末100は、いったん拡大操作を認識した後は、拡大操作を認識する前と比して、小さな移動曲がり具合R(n)も拡大操作として認識するようになっている。
そしてCPU120は、移動曲がり具合R(n)が拡大終了値U2より小さくなると(つまり図7に示す時刻t2以降)、拡大操作が終了したと認識して、Webページ画像の倍率を変化させるのを終了し、Webページ画像の倍率を一定に保つ。これにより携帯端末100では、第1タッチスクリーン104上で時計回りに円を描く操作が終了すると、Webページ画像の拡大が止まるようになっている。
また同様にしてCPU120は、縮小操作が開始されたと認識した後は、移動曲がり具合R(n)が所定の負の値(これを縮小終了値とも呼ぶ)より大きくなるまで(すなわち絶対値が小さくなるまで)、移動曲がり具合R(n)に基づいてWebページ画像の倍率を変化させ続ける。
これにより携帯端末100では、第1タッチスクリーン104に対して反時計回りに円を描くように指が移動させられ続けている間、Webページ画像が縮小し続けるようになっている。
また縮小開始値よりも縮小終了値は大きい値(すなわち絶対値が小さい値)に設定されている。これにより携帯端末100は、いったん縮小操作を認識した後は、縮小操作を認識する前と比して、絶対値が小さな移動曲がり具合R(n)も縮小操作として認識するようになっている。
そしてCPU120は、移動曲がり具合R(n)が縮小終了値より大きくなると(すなわち絶対値が小さくなると)、縮小操作が終了したと認識して、Webページ画像を縮小させるのを終了し、Webページ画像の倍率を一定に保つ。これにより携帯端末100では、第1タッチスクリーン104上で反時計回りに円を描く操作が終了すると、Webページ画像の縮小が止まるようになっている。
このようにして携帯端末100は、第1タッチスクリーン104に対して円を描くようなドラッグが行われると、スクロール操作と共に拡大縮小操作を認識して、Webページ画像をスクロールさせると共に、拡大又は縮小させるようになっている。
またCPU120は、このような拡大縮小操作が行われた後、第1タッチスクリーン104に指がタッチされたまま所定時間一箇所で止まっている操作(これを拡大縮小操作後の長押し操作とも呼ぶ)が行われたことを認識したとする。尚CPU120は、実際には、一定時間ごとのタッチ位置の移動量が所定値以下である場合には、完全に指が一箇所で止まってはいないが、実質的には指が一箇所で止まっていると判別するようになっている。
このときCPU120は、現在のタッチ位置(すなわち長押し操作された位置)に対応する表示画面上の位置がユーザに選択されるジェスチャ操作が行われたと認識し、当該選択された位置に対応する処理を実行する。例えばCPU120は、当該タッチ位置に対応するWebブラウザ画面上の位置にリンク先が設定されていた場合には、当該リンク先が選択されたと認識し、無線通信部131を介してそのリンク先のページにアクセスするようになっている。
こうすることで携帯端末100は、例えば、Webページを任意の方向にスクロールさせると共に任意の位置を拡大させ、さらにこの位置を選択するまでの操作を、ユーザに1回のドラッグを行わせるだけでシームレスに実行することができる。
因みに、この携帯端末100の第1タッチスクリーン104及びCPU120が、概要として説明した情報処理装置1の検出部2の機能を担うハードウェアである。また携帯端末100のCPU120が、概要として説明した情報処理装置1の認識部3及び制御部4の機能を担うハードウェアである。
[1−5.ジェスチャ操作認識処理手順]
上述したように携帯端末100は、第1タッチスクリーン104に対するスクロール操作や拡大縮小操作などのジェスチャ操作を認識するようになっている。以下、携帯端末100が第1タッチスクリーン104に対するジェスチャ操作を認識する際の動作処理手順(これをジェスチャ操作認識処理手順とも呼ぶ)RT1について図8を用いて説明する。
このジェスチャ操作認識処理手順RT1は、CPU120が、ROM121又は記憶部128に書き込まれているプログラムに従って実行する処理手順である。
CPU120は、例えば第1タッチスクリーン104にWebブラウザ画面を表示させると、ジェスチャ操作認識処理手順RT1を開始して、ステップSP1に移る。
ステップSP1においてCPU120は、第1タッチスクリーン104から送られてきた入力信号から、第1タッチスクリーン104に指がタッチされているか否かを判別する。
このステップSP1において否定結果が得られると、CPU120は、ステップSP1に戻り、第1タッチスクリーン104に指がタッチされるまで待ち受ける。
一方ステップSP1において肯定結果が得られると、このことは、第1タッチスクリーン104に表示されているWebブラウザ画面に対する操作入力が行われたことを意味し、このときCPU120は、次のステップSP2に移る。
ステップSP2においてCPU120は、第1タッチスクリーン104から送られてきた入力信号からタッチ位置の画面座標を取得する。そしてCPU120は、一定時間ごとのタッチ位置の移動量に基づいて、第1タッチスクリーン104に対してドラッグ又はフリックが行われたか否かを判別する。
このステップSP2において肯定結果が得られると、CPU120は、スクロール操作が行われたことを認識し、次のステップSP3に移る。
ステップSP3においてCPU120は、スクロール操作に応じて、Webページ画像をスクロールさせ、次のステップSP4に移る。
ステップSP4においてCPU120は、今回取得したタッチ位置の画面座標と、前回取得したタッチ位置の画面座標をもとに、前回から今回の移動ベクトルv1を算出する。またCPU120は、前回取得したタッチ位置の画面座標と、前々回取得したタッチ位置の画面座標をもとに、前々回から前回の移動ベクトルv2を算出する。そしてCPU120は、次のステップSP5に移る。
ステップSP5においてCPU120は、移動ベクトルv1及びv2を用いて、上述した式(1)及び式(2)より移動曲がり具合R(n)を算出し、次のステップSP6に移る。
ステップSP6においてCPU120は、現在、拡大縮小操作が継続中であるか否かを判別する。拡大縮小操作が継続中であるとは、前回までの移動曲がり具合R(n)から拡大縮小操作が開始されたと認識された後、まだ拡大縮小操作が終了したと認識されていない状態のことを示す。
このステップSP6において拡大縮小操作が継続中ではないことより否定結果が得られると、このときCPU120は、次のステップSP7に移る。
ステップSP7においてCPU120は、移動曲がり具合R(n)が拡大開始値以上か、又は縮小開始値以下であるか否かを判別する。
このステップSP7において肯定結果が得られると、CPU120は、拡大縮小操作が開始されたことを認識し、次のステップSP9に移る。
一方ステップSP6において拡大縮小操作が継続中であることより肯定結果が得られると、このときCPU120は、次のステップSP8に移る。
ステップSP8においてCPU120は、移動曲がり具合R(n)が拡大終了値以上か、又は縮小終了値以下であるか否かを判別する。
このステップSP8において肯定結果が得られると、CPU120は、拡大縮小操作が継続中であると認識して、次のステップSP9に移る。
ステップSP9においてCPU120は、移動曲がり具合R(n)を用いて上述した式(3)より倍率変化率ΔSを算出し、次のステップSP10に移る。
ステップSP10においてCPU120は、現在のタッチ位置を中心としてWebページ画像を拡大又は縮小するために、拡大または縮小したWebページ画像における表示領域を設定する。尚、この表示領域とは、Webページ画像において第1タッチスクリーン104に表示される領域のことである。
具体的にCPU120は、例えば表示領域の左上隅の位置を表す座標(これを表示領域座標とも呼ぶ)を算出することにより、表示領域を設定する。この表示領域座標Px、Pyは、図9に示すように、例えば、Webページ画像の左上隅を原点として、左右方向の軸をX軸、上下方向の軸をY軸とするX−Y平面上の座標として表される。
ここで、現在の表示領域座標をPx(Org)、Py(Org)とすると、現在のタッチ位置を中心として拡大又は縮小させたWebページ画像における表示領域座標Px、Pyは、次式(4)及び(5)により表される。
尚、次式(4)及び(5)では、現在のタッチ位置を表す座標をTx、Tyとしている。このTx、Tyは、第1タッチスクリーン104の表示画面の左上隅(つまり表示領域の左上隅)を原点として、左右方向の軸をX軸、上下方向の軸をY軸とするX−Y平面上の座標として表されているとする。また、次式(4)及び(5)では、現在のWebページ画像の倍率をS(Org)とし、S(Org)に倍率変化率ΔSを足した値を新たな倍率Sとしている。
Figure 0005413111
Figure 0005413111
CPU120は、このような式(4)及び(5)により、現在のタッチ位置を中心として拡大又は縮小させたときのWebページ画像における表示領域座標Px、Pyを算出する。このようにCPU120は、現在のタッチ位置を中心として拡大又は縮小させたときのWebページ画像における表示領域を設定して、次のステップSP11に移る。
ステップSP11においてCPU120は、新たな倍率Sとなるように拡大又は縮小させたWebページ画像において、算出した表示領域座標Px、Pyに表示領域の位置を合わせる。これにより、CPU120は、現在のタッチ位置を中心としてWebページ画像を拡大又は縮小させて、次のステップSP12に移る。
一方ステップSP7において、移動曲がり具合R(n)が拡大開始値よりも小さく且つ縮小開始値よりも大きいことより否定結果が得られると、このことは、拡大縮小操作が行われていないことを意味する。このときCPU120は、ステップSP9〜SP11を行わず、次のステップSP12に移る。
またステップSP8において、移動曲がり具合R(n)が拡大終了値よりも小さく且つ縮小終了値よりも大きいことより否定結果が得られると、このことは、拡大縮小操作が行われていないことを意味する。このときCPU120は、拡大縮小操作が終了したと認識し、ステップSP9〜SP11を行わず、次のステップSP12に移る。
またステップSP2において否定結果が得られると、このことはスクロール操作及び拡大縮小操作が行われていないことを意味し、このときCPU120は、ステップSP3〜SP11を行わず、次のステップSP12に移る。
ステップSP12においてCPU120は、取得したタッチ位置の画面座標をもとに、拡大縮小操作後の長押し操作が行われたか否かを判別する。
このステップSP12において肯定結果が得られると、CPU120は、次のステップSP13に移る。
ステップSP13においてCPU120は、現在のタッチ位置に対応する表示画面上の位置がユーザに選択されたと認識し、当該表示画面上の位置に対応付けられた処理を行って、ステップSP1に戻る。
一方ステップSP12において否定結果が得られると、CPU120は、ステップSP13を行わず、ステップSP1に戻る。
このようなジェスチャ操作認識処理手順RT1により、CPU120は、第1タッチスクリーン104に対するジェスチャ操作を認識するようになっている。尚、CPU120は、Webブラウザ画面を非表示にするまで、このジェスチャ操作認識処理手順RT1を継続して行うようになっている。
[1−6.動作及び効果]
以上の構成において携帯端末100は、Webブラウザのプログラムを実行すると、Webページ画像を表示させるWebブラウザ画面を第1タッチスクリーン104に表示させる。
ここで、第1タッチスクリーン104に対するタッチ操作が行われると、携帯端末100は、表示画面であるWebブラウザ画面に対する操作入力として、所定時間ごとのタッチ位置の移動量及び移動曲がり具合R(n)を検出する。
そして携帯端末100は、検出した移動量に基づいてスクロール操作が行われたかを認識し、検出した移動曲がり具合R(n)に基づいて拡大縮小操作が行われたかを認識する。
ここで携帯端末100は、スクロール操作のみが行われたことを認識すると、検出した移動量に応じてWebページ画像をスクロールさせる処理のみを実行する。
一方携帯端末100は、スクロール操作及び拡大縮小操作の両方が行われたことを認識すると、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を実行する。尚、このとき携帯端末100は、検出した移動量に応じてWebページ画像をスクロールさせ、検出した移動曲がり具合R(n)に応じてWebページ画像を拡大又は縮小させる。
これにより携帯端末100は、一度の操作入力からWebページ画像のスクロールのみを実行することもできるし、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を実行することもできる。
また、1本の指によるタッチ操作でスクロール操作及び拡大縮小操作の両方を実現することができるので、携帯端末100は、マルチタッチ対応のタッチスクリーンを必要としない。また携帯端末100は、拡大縮小操作を行うためのハードウェアキーも必要としない。
したがって携帯端末100は、マルチタッチ対応のタッチスクリーンや、拡大縮小操作を行うためのハードウェアキーを有する場合と比して、構成を簡略化することができる。
また携帯端末100は、所定時間ごとに移動曲がり具合R(n)を検出する際に、前回検出した移動曲がり具合R(n)の値を加味するようにした。
これにより携帯端末100は、例えばユーザがいびつな円を描いた場合などに一時的にタッチ位置の軌跡が直線に近くなってしまったとしても、全体として円が描かれている場合には、拡大縮小操作を認識することができる。
また携帯端末100は、第1タッチスクリーン104に指がタッチされ続けている間は、所定時間ごとに移動曲がり具合R(n)を検出して、当該移動曲がり具合R(n)に応じてWebページ画像を拡大又は縮小し続けるようにした。
これにより携帯端末100は、第1タッチスクリーン104上で円を描くように指が移動させられ続けている間は、Webページ画像を拡大又は縮小し続けることができる。ゆえに携帯端末100は、ユーザに第1タッチスクリーン104上で円を描く回数を調整させて、Webページ画像の拡大率又は縮小率を細かく調整させることができる。
以上の構成によれば携帯端末100は、表示画面に対する操作入力を検出すると、当該操作入力から複数のジェスチャ操作(スクロール操作、拡大縮小操作)を認識し、認識した当該複数のジェスチャ操作に対応する処理を実行するようにした。
これにより携帯端末100は、一度の操作入力から、Webページ画像のスクロール及びWebページ画像の拡大又は縮小といった複数の処理を実行することができる。
<2.他の実施の形態>
[2−1.他の実施の形態1]
なお上述した実施の形態では、CPU120は、移動方向変化量f(v1、v2)と前回の移動曲がり具合R(n−1)とをもとに、今回の移動曲がり具合R(n)を算出するようにした。
これに限らずCPU120は、今回の移動曲がり具合R(n)を算出する際に、移動方向変化量f(v1、v2)及び前回の移動曲がり具合R(n−1)に加え、移動ベクトルの大きさを加味するようにしてもよい。
この場合、CPU120は、上述した式(1)を用いて算出した移動方向変化量f(v1、v2)を、以下の条件式(6)に基づき、移動ベクトルv1及びv2の大きさを乗じた値|v1|・|v2|が所定値D以上となる場合には「0」に丸めこむ。
Figure 0005413111
そしてCPU120は、このようにして算出された移動方向変化量f(v1、v2)から上述した式(2)を用いて、移動曲がり具合R(n)を算出する。
尚、所定値Dは、ドラッグにより表示画面に対して小さな円(例えば表示画面に納まるような円)が描かれている場合と大きな円(例えば表示画面に納まりきらないような円)が描かれている場合とを区別できるような値に設定されている。これにより携帯端末100は、小さな円が描かれた場合には拡大縮小操作を認識するが、大きな円が描かれた場合には拡大縮小操作を認識しないようにできる。ゆえに携帯端末100は、例えばユーザがスクロール操作のみを行おうとしているときにドラッグが若干曲がって円弧が描かれた場合などには、拡大縮小操作と認識しないようにできる。
またこの所定値Dは、拡大縮小操作が開始された後は、拡大縮小操作が開始される前よりも大きな値に変化させるようにしてもよい。これにより携帯端末100は、拡大縮小操作が開始された後は、拡大縮小操作が開始される前に比べ、指の移動量が比較的大きい場合も拡大縮小操作を認識するようになっている。
またこれに限らずCPU120は、移動ベクトルの大きさが所定値以上の場合、すなわち一定時間あたりにおける指の移動量が所定値以上の場合は、拡大縮小操作を認識しないようにしてもよい。
[2−2.他の実施の形態2]
また上述した実施の形態では、CPU120は、拡大縮小操作が連続して行われると、Webページ画像を連続して拡大又は縮小させていくようにした。
これに限らずCPU120は、Webページ画像の倍率が所定の倍率になったときには、Webページ画像を連続して拡大又は縮小させるのではなく、いったんWebページ画像の倍率を固定させるようにしてもよい。
具体的にCPU120は、移動曲がり具合R(n)に応じて倍率変化率ΔSを算出すると、Webページ画像の現在の倍率に倍率変化率ΔSを足した値を、仮倍率Skとして設定する。そしてCPU120は、仮倍率Skから最終倍率Sを求め、最終倍率Sに応じてWebページ画像を表示させる。
ここで、仮倍率Skと最終倍率Sとの関係を図10のグラフに示す。このグラフによれば、仮倍率Skが例えば「0.9」以上「1.1」以下の範囲では、最終倍率Sが「1」に固定されている。
すなわち拡大縮小操作が連続して行われて仮倍率Skが変化しても、仮倍率Skが例えば「0.9」以上「1.1」以下の範囲内では、Webページ画像の倍率が1倍、すなわち基準の倍率に固定される。
ゆえに携帯端末100では、ユーザにより連続して拡大縮小操作が行われた際、Webページ画像が連続して拡大又は縮小されるが、Webページ画像の倍率が基準の倍率になったときにはその倍率がいったん固定される。
これにより携帯端末100は、ユーザにより拡大縮小操作が行われた際、Webページ画像の倍率を基準の倍率に戻しやすくさせることができる。
またいったん固定させるWebページ画像の倍率は、基準の倍率(すなわち1倍)に限らず、種々の倍率であってもよい。例えば画像に所定のブロックが設定されていた場合はそのブロックがちょうど画面全体に表示される倍率でもよい。また例えば、カーソルなどで選択している画像がちょうど画面全体に表示される倍率でもよい。
[2−3.他の実施の形態3]
さらに上述した実施の形態では、CPU120は、スクロール操作と共に拡大縮小操作を認識すると、スクロール操作に対応する処理及び拡大縮小操作に対応する処理の両方を実行するようにした。
これに限らず、CPU120は、スクロール操作と共に拡大縮小操作を認識した場合、スクロール操作又は拡大縮小操作のいずれか一方に対応する処理を実行するようにしてもよい。
例えばCPU120は、スクロール操作と共に拡大縮小操作を認識すると、スクロール操作に応じたWebページ画像のスクロールを行わず、拡大縮小操作に応じたWebページ画像の拡大又は縮小のみを行うようにしてもよい。
この場合CPU120は、第1タッチスクリーン104に対するドラッグを検出すると、スクロール操作を認識すると共に、拡大縮小操作が行われているか否かを認識する。
CPU120は、スクロール操作のみを認識した場合はWebページ画像のスクロールを実行し、スクロール操作と共に拡大縮小操作を認識した場合は、Webページ画像の拡大又は縮小を実行する。
こうすることで携帯端末100は、Webページ画像のスクロールと、Webページ画像の拡大又は縮小とを別々に実行することができる。
またこうすることで携帯端末100は、Webページを任意の方向にスクロールさせ、さらに任意の位置を拡大させる操作を、ユーザに1回のドラッグを行わせるだけでシームレスに実行することができる。
すなわち携帯端末100は、表示画面に対する操作入力から複数のジェスチャ操作(例えばスクロール操作、拡大縮小操作)を認識した場合、当該複数のジェスチャ操作のうち少なくとも一つに対応する処理を実行するようにすればよい。
これにより携帯端末100は、上述した実施の形態のように一度の操作入力から複数の処理を実行する操作系にも対応することができるし、この他の実施の形態3のように一度の操作入力から一つの処理を実行する操作系にも対応することができる。かくして携帯端末100は、一段と多様な操作系を実現することができる。
[2−4.他の実施の形態4]
さらに上述した実施の形態では、CPU120は、スクロール操作と共に拡大縮小操作を認識すると、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を実行するようにした。
これに限らずCPU120は、拡大縮小操作において描かれた円の大きさに応じて、Webページ画像のスクロール及び拡大縮小の両方を実行するか、若しくは、Webページ画像の拡大又は縮小のみを実行するかを切り替えるようにしてもよい。
この場合CPU120は、第1タッチスクリーン104から一定時間ごとに連続して送られてきた入力信号より、3点のタッチ位置の画面座標を取得すると、3点のタッチ位置が一直線上にあるか否かを判別する。CPU120は、3点のタッチ位置が一直線上にない場合、当該3点のタッチ位置を通る円の半径を検出することにより、表示画面に対するドラッグにより描かれた円の半径を検出する。
そしてCPU120は、検出した円の半径が所定値よりも小さい場合は、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を実行する。一方CPU120は、検出した円の半径が所定値以上の場合は、Webページ画像の拡大又は縮小のみを実行する。尚、検出した円の半径は、タッチ位置の移動距離が大きくなるほど大きくなり、Webページ画像のスクロール量が大きくなる。ゆえにこの所定値は、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を行った場合にWebページ画像が見えづらくならない程度の値に応じて設定されているとする。
このようにCPU120は、スクロール操作及び拡大縮小操作の両方が行われたことを認識すると、検出した円の半径が所定値以上の場合は、Webページ画像のスクロールを行わず、Webページ画像の拡大又は縮小のみを行う。
これによりCPU120は、Webページ画像が大きくスクロールしてWebページ画像が見えづらくなることを防止することができる。
またCPU120は、スクロール操作及び拡大縮小操作の両方が行われたことを認識すると、検出した円の半径が所定値よりも小さい場合は、Webページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を行う。
これによりCPU120は、Webページ画像がスクロールしてもWebページ画像が見えづらくならない場合は、一度のドラッグでWebページ画像のスクロール及びWebページ画像の拡大又は縮小の両方を実行することができる。
またこれに限らずCPU120は、スクロール操作と共に拡大縮小操作を認識したときに、一定時間におけるタッチ位置の移動距離が小さい場合は、Webページ画像のスクロール及びWebページ画像の拡大又は縮小を両方実行するようにしてもよい。一方CPU120は、スクロール操作と共に拡大縮小操作を認識したときに、一定時間におけるタッチ位置の移動距離が大きい場合は、Webページ画像の拡大又は縮小のみを実行するようにしてもよい。
[2−5.他の実施の形態5]
さらに上述した実施の形態では、CPU120は、Webページ画像を表示させるWebブラウザ画面を第1タッチスクリーン104に表示させるようにした。
これに限らずCPU120は、Webブラウザ画面を第1タッチスクリーン104及び第2タッチスクリーン105に分割して表示させるようにしてもよい。
この場合CPU120は、例えば第2タッチスクリーン105に対して拡大縮小操作が行われると、Webページ画像において第2タッチスクリーン105に表示されている部分のみを拡大又は縮小させるようにしてもよい。
すなわちCPU120は、Webページ画像を複数の表示画面に分割して表示させている場合、Webページ画像において拡大縮小操作が行われた表示画面に表示されている部分のみを拡大又は縮小させるようにしてもよい。
これにより携帯端末100は、複数の異なった倍率のWebページ画像をユーザに確認させることができる。
またこれに限らずCPU120は、例えば第1タッチスクリーン104に対して拡大縮小操作が行われると、第1タッチスクリーン104及び第2タッチスクリーン105に表示されているWebページ画像全体を拡大又は縮小させるようにしてもよい。
[2−6.他の実施の形態6]
さらに上述した実施の形態では、CPU120は、拡大縮小操作の継続中に、移動曲がり具合R(n)が拡大終了値以下、又は縮小終了値以上になったときに、Webページ画像の拡大又は縮小を終了するようにした。
これに限らずCPU120は、拡大縮小操作の継続中に、移動曲がり具合R(n)の変化の度合い(すなわち図6のグラフに示すR(n)の傾き)が所定値以下になった場合に、Webページ画像の拡大又は縮小を終了するようにしてもよい。
またこれに限らずCPU120は、移動曲がり具合R(n)の値及び移動曲がり具合R(n)の変化の度合いの両方に応じて、Webページ画像の拡大又は縮小を終了させるようにしてもよい。
[2−7.他の実施の形態7]
さらに上述した実施の形態では、第1タッチスクリーン104及び第2タッチスクリーン105は、一定時間ごとに入力信号をCPU120に送るようにした。
これに限らず、第1タッチスクリーン104及び第2タッチスクリーン105は、不規則に入力信号をCPU120に送るようにしてもよい。この場合CPU120は、入力信号から取得したタッチ位置の画面座標と当該入力信号を取得した時刻とをもとに、一定時間あたりにおけるタッチ位置の移動量及び移動方向を示すように移動ベクトルを算出するようにすればよい。
[2−8.他の実施の形態8]
さらに上述した実施の形態では、CPU120は、拡大縮小操作が行われると、現在のタッチ位置を中心としてWebページ画像を拡大又は縮小させるようにした。
これに限らず、CPU120は、拡大縮小操作が行われると、当該拡大縮小操作において描かれた円の中心を推定し、当該推定した中心をWebページ画像の拡大又は縮小の中心とするようにしてもよい。尚この場合CPU120は、例えば、拡大縮小操作におけるタッチ位置の軌跡から、任意の3点を取得して当該3点のタッチ位置を通る円を求めることにより、当該拡大縮小操作において描かれた円の中心を推定する。
[2−9.他の実施の形態9]
さらに上述した実施の形態では、CPU120は、表示画面に対する操作入力からスクロール操作及び拡大縮小操作を認識して、これらのジェスチャ操作に対応する処理を実行するようにした。
これに限らず、CPU120は、表示画面に対する操作入力から少なくとも一以上のジェスチャ操作が行われたことを認識するのであれば、この他種々のジェスチャ操作を認識して、認識したジェスチャ操作に対応する処理を実行するようにしてもよい。
例えばCPU120は、表示画面に対する操作入力の所定時間ごとの移動量及び曲がり具合を検出する。そしてCPU120は、当該移動量に基づいてスクロール操作を認識すると共に、当該曲がり具合に基づいて、例えば表示画面の明るさや音量の調整、表示画面の回転に対応するジェスチャ操作を認識するようにしてもよい。
また上述した実施の形態では、CPU120は、第1タッチスクリーン104に対するスクロール操作や拡大縮小操作が行われると、当該第1タッチスクリーン104に表示されているWebページ画像をスクロールさせたり、拡大縮小させたりするようにした。
これに限らずCPU120は、第1タッチスクリーン104にこの他種々の画像を表示させ、スクロール操作や拡大縮小操作に応じて、当該画像をスクロールさせたり拡大縮小させたりするようにしてもよい。またこれに限らずCPU120は、第2タッチスクリーン105に対するスクロール操作や拡大縮小操作に応じて、第2タッチスクリーン105に表示させている画像をスクロールさせたり拡大縮小させたりするようにしてもよい。
[2−10.他の実施の形態10]
さらに上述した実施の形態では、情報処理装置1としての携帯端末100に、検出部2としての第1タッチスクリーン104と、検出部2、認識部3、制御部4としてのCPU120とを設けるようにした。
これに限らず、同様の機能を有するのであれば、上述した携帯端末100の各部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。
例えば、第1タッチスクリーン104に限らず、表示画面に対する操作入力を検出する機能を有するものであれば、この他マウスやアナログスティック、ユーザのジェスチャを認識するステレオセンサなどを用いるようにしてもよい。
また上述した実施の形態では、液晶パネルとタッチパネルとで構成されるタッチスクリーンを設けるようにしたが、この代わりにタッチパネル機能を有する液晶ディスプレイを設けるなどしてもよい。また携帯端末100は、第1タッチスクリーン104及び第2タッチスクリーン105を設けるようにしたが、これに限らず、表示画面を1つのみ設けてもよいし、3つ以上設けるようにしてもよい。
さらに上述した実施の形態では、携帯端末100に本発明を適用するようにした。これに限らず、表示画面に対する操作入力を検出する情報処理装置であれば、例えば携帯型電話機、PDA(Personal Digital Assistant)など、この他種々の情報処理装置に適用するようにしてもよく、また適用することができる。
[2−11.他の実施の形態11]
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、携帯端末100のROM121又は記憶部128に書き込んでおくようにした。
これに限らず、このプログラムを例えばメモリカードなどの記憶媒体に記録しておき、携帯端末100のCPU120が、このプログラムを記憶媒体から読み出して実行するようにしてもよい。またROM121の代わりに、フラッシュメモリを設けるようにして、記憶媒体から読み出したプログラムを、このフラッシュメモリにインストールするようにしてもよい。
[2−12.他の実施の形態12]
さらに本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用領域が及ぶものである。例えば他の実施の形態1と他の実施の形態2とを組み合わせるようにしてもよい。
本発明は、例えば携帯端末などの情報処理装置で広く利用することができる。
1……情報処理装置、2……検出部、3……認識部、4……制御部、100……携帯端末、104……第1タッチスクリーン、104A……第1液晶パネル、104B……第1タッチパネル、105……第2タッチスクリーン、105A……第2液晶パネル、105B……第2タッチパネル、120……CPU、121……ROM、122……RAM、128……記憶部。

Claims (11)

  1. タッチパネルから送られてくる、指示物によるタッチ位置を示す位置信号を取得する取得部と、
    指示物がタッチパネルに触れてから離れるまでの一度のタッチ操作が行われる間に得られた上記位置信号に基づいて、一度のタッチ操作の特徴を検出し、当該一度のタッチ操作から、表示部に表示される内容をスクロールさせるためのスクロール操作に対応する第1の特徴と、表示部に表示される内容を拡大又は縮小させるための拡大縮小操作に対応する第2の特徴とを検出した場合、スクロール操作に応じたスクロール処理と、拡大縮小操作に応じた拡大縮小処理を行うよう表示部を制御する制御部と
    を有し、
    上記制御部は、
    上記第1の特徴である一定時間内でのタッチ操作の移動量に基づいて、一度のタッチ操作内に、上記スクロール操作が含まれているか否かを検出し、また上記第2の特徴である上記タッチ操作の軌跡の曲がり具合に基づいて、一度のタッチ操作内に、上記拡大縮小操作が含まれているか否かを検出する
    表示制御装置。
  2. 上記スクロール操作と上記拡大縮小操作は、一度のタッチ操作内で連続して行われる操作、又は同時に行われる操作である
    請求項1に記載の表示制御装置。
  3. 上記制御部は、
    上記一度のタッチ操作が行われたときの移動ベクトルの方向の変化に基づいて、上記タッチ操作の軌跡の曲がり具合を算出する
    請求項に記載の表示制御装置。
  4. 上記制御部は、
    上記拡大縮小操作に基づいて拡大縮小の倍率を変化させ、当該倍率が所定値に達したら、当該倍率を固定して拡大縮小を停止するよう上記表示部を制御する
    請求項に記載の表示制御装置。
  5. 上記タッチパネルは、上記表示部と一体に設けられている
    請求項1に記載の表示制御装置。
  6. 上記タッチパネルは、上記表示部とは別体に設けられている
    請求項1に記載の表示制御装置。
  7. 第1の表示部と第2の表示部とを有する
    請求項1に記載の表示制御装置。
  8. 上記第1の表示部は、
    タッチパネルである
    請求項に記載の表示制御装置。
  9. 上記第2の表示部は、
    タッチパネルである
    請求項に記載の表示制御装置。
  10. タッチパネルから送られてくる、指示物によるタッチ位置を示す位置信号を取得部が取得する取得ステップと
    指示物がタッチパネルに触れてから離れるまでの一度のタッチ操作が行われる間に得られた上記位置信号に基づいて、制御部が、一度のタッチ操作の特徴を検出し、当該一度のタッチ操作から、表示部に表示される内容をスクロールさせるためのスクロール操作に対応する第1の特徴と、表示部に表示される内容を拡大又は縮小させるための拡大縮小操作に対応する第2の特徴とを検出した場合、スクロール操作に応じたスクロール処理と、拡大縮小操作に応じた拡大縮小処理とを行うよう表示部を制御する制御ステップと
    を有し、
    上記制御ステップでは、
    上記制御部が、上記第1の特徴である一定時間内でのタッチ操作の移動量に基づいて、一度のタッチ操作内に、上記スクロール操作が含まれているか否かを検出し、また上記第2の特徴である上記タッチ操作の軌跡の曲がり具合に基づいて、一度のタッチ操作内に、上記拡大縮小操作が含まれているか否かを検出する
    表示制御方法。
  11. コンピュータに、
    タッチパネルから送られてくる、指示物によるタッチ位置を示す位置信号を取得する取得ステップと、
    指示物がタッチパネルに触れてから離れるまでの一度のタッチ操作が行われる間に得られた上記位置信号に基づいて、一度のタッチ操作の特徴を検出し、当該一度のタッチ操作から、表示部に表示される内容をスクロールさせるためのスクロール操作に対応する第1の特徴と、表示部に表示される内容を拡大又は縮小させるための拡大縮小操作に対応する第2の特徴とを検出した場合、スクロール操作に応じたスクロール処理と、拡大縮小操作に応じた拡大縮小処理を行うよう表示部を制御する制御ステップと
    を実行させ、
    さらに、上記制御ステップで、上記第1の特徴である一定時間内でのタッチ操作の移動量に基づいて、一度のタッチ操作内に、上記スクロール操作が含まれているか否かを検出させ、また上記第2の特徴である上記タッチ操作の軌跡の曲がり具合に基づいて、一度のタッチ操作内に、上記拡大縮小操作が含まれているか否かを検出させる
    ための表示制御プログラム。
JP2009230745A 2009-10-02 2009-10-02 表示制御装置、表示制御方法及び表示制御プログラム Expired - Fee Related JP5413111B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009230745A JP5413111B2 (ja) 2009-10-02 2009-10-02 表示制御装置、表示制御方法及び表示制御プログラム
US12/888,028 US8847978B2 (en) 2009-10-02 2010-09-22 Information processing apparatus, information processing method, and information processing program
EP10178647.3A EP2309370A3 (en) 2009-10-02 2010-09-23 Information processing apparatus, information processing method, and information processing program
RU2010139528/08A RU2010139528A (ru) 2009-10-02 2010-09-24 Устройство обработки информации, способ обработки информации и программа обработки информации
CN201010292695.7A CN102033648B (zh) 2009-10-02 2010-09-25 信息处理设备、信息处理方法以及信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009230745A JP5413111B2 (ja) 2009-10-02 2009-10-02 表示制御装置、表示制御方法及び表示制御プログラム

Publications (3)

Publication Number Publication Date
JP2011081440A JP2011081440A (ja) 2011-04-21
JP2011081440A5 JP2011081440A5 (ja) 2012-11-15
JP5413111B2 true JP5413111B2 (ja) 2014-02-12

Family

ID=43243674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009230745A Expired - Fee Related JP5413111B2 (ja) 2009-10-02 2009-10-02 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (5)

Country Link
US (1) US8847978B2 (ja)
EP (1) EP2309370A3 (ja)
JP (1) JP5413111B2 (ja)
CN (1) CN102033648B (ja)
RU (1) RU2010139528A (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794000B1 (ko) * 2011-06-13 2017-11-06 삼성전자주식회사 터치 스크린을 구비하는 기기에서 스크롤 장치 및 방법
JP5834512B2 (ja) * 2011-06-13 2015-12-24 カシオ計算機株式会社 情報表示装置及びプログラム
JP5318924B2 (ja) 2011-08-22 2013-10-16 楽天株式会社 画像表示装置、画像表示方法、画像表示プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体
TWI475471B (zh) * 2011-09-19 2015-03-01 Acer Inc 利用觸控螢幕輔助視訊壓縮的方法及監控系統
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
JP5451944B2 (ja) * 2011-10-07 2014-03-26 パナソニック株式会社 撮影装置及び撮影方法
US9785343B2 (en) * 2011-12-01 2017-10-10 Sony Mobile Communications Inc. Terminal device, image display method, and storage medium
US9230393B1 (en) 2011-12-08 2016-01-05 Google Inc. Method and system for advancing through a sequence of items using a touch-sensitive component
CN103324275B (zh) * 2012-03-23 2016-12-14 原相科技股份有限公司 使用者辨识系统及辨识使用者的方法
US9146666B2 (en) * 2012-06-21 2015-09-29 Sharp Laboratories Of America, Inc. Touch sensor navigation
JP2014010777A (ja) 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
US10222975B2 (en) 2012-08-27 2019-03-05 Apple Inc. Single contact scaling gesture
US20140062917A1 (en) * 2012-08-29 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling zoom function in an electronic device
EP2951665B1 (en) * 2013-01-31 2018-11-21 Hewlett-Packard Development Company, L.P. Electronic device with touch gesture adjustment of a graphical representation
TWI573052B (zh) * 2013-02-01 2017-03-01 Can react to the CPU command of the touch display driver circuit
US9778784B2 (en) * 2013-03-14 2017-10-03 Rich IP Technology Inc. Touch display driving circuit capable of responding to CPU commands
KR102157332B1 (ko) * 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
CN105324746B (zh) * 2013-06-19 2019-08-13 索尼公司 显示控制设备、显示控制方法和程序
JP5948294B2 (ja) * 2013-09-25 2016-07-06 京セラドキュメントソリューションズ株式会社 タッチパネル装置、及びこれを備えた画像形成装置
JP6081338B2 (ja) * 2013-10-02 2017-02-15 レノボ・シンガポール・プライベート・リミテッド ポインティング・スティックを含む入力装置、携帯式コンピュータおよび動作方法
US9665204B2 (en) * 2013-10-04 2017-05-30 Microchip Technology Incorporated Continuous circle gesture detection for a sensor system
CN104750407B (zh) * 2013-12-31 2019-05-14 深圳迈瑞生物医疗电子股份有限公司 医疗设备及其数字图像的分辨率调整方法、装置
CN104199602B (zh) * 2014-08-26 2018-11-09 联想(北京)有限公司 一种信息处理方法及电子设备
WO2016063258A1 (en) 2014-10-24 2016-04-28 Realitygate (Pty) Ltd Target-directed movement in a user interface
WO2016135677A1 (en) * 2015-02-26 2016-09-01 Realitygate (Pty) Ltd Navigating a set of selectable items in a user interface
JP5873592B1 (ja) * 2015-06-15 2016-03-01 株式会社コロプラ 3点スライド操作を判定するためのユーザ・インタフェース・プログラム
CN105183214B (zh) * 2015-08-04 2017-12-19 网易(杭州)网络有限公司 触控操作识别和响应方法、装置及游戏操控方法、装置
JP6559045B2 (ja) * 2015-10-29 2019-08-14 キヤノン株式会社 情報処理装置、方法、コンピュータプログラム及び記憶媒体
US10025492B2 (en) * 2016-02-08 2018-07-17 Microsoft Technology Licensing, Llc Pointing detection
CN110032326A (zh) * 2019-03-29 2019-07-19 网易(杭州)网络有限公司 移动终端显示画面的控制方法、装置、设备和存储介质
JP6853559B1 (ja) 2019-12-25 2021-03-31 株式会社クラップハンズ 操作入力プログラム及び操作入力方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0661620B1 (en) * 1993-12-30 2001-03-21 Xerox Corporation Apparatus and method for executing multiple concatenated command gestures in a gesture based input system
JPH1185398A (ja) * 1997-09-11 1999-03-30 Kenwood Corp タッチパネルディスプレー用コマンド入力装置
GB0420367D0 (en) * 2004-09-14 2004-10-13 Ibm Method and system for scaled exponential smoothing
US7456849B2 (en) * 2005-04-15 2008-11-25 Microsoft Corporation System and method for zooming an object through spiral interaction
CN101042300B (zh) * 2006-03-24 2014-06-25 株式会社电装 画面显示装置
CN101236472A (zh) * 2007-02-01 2008-08-06 英华达(南京)科技有限公司 用以缩放显示影像的方法
US20080268901A1 (en) * 2007-03-05 2008-10-30 Ivan Miramontes Slider twister phone
JP4560062B2 (ja) * 2007-03-29 2010-10-13 株式会社東芝 筆跡判定装置、方法およびプログラム
JP2008299474A (ja) 2007-05-30 2008-12-11 Sony Corp 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム
US8681104B2 (en) * 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
TWI374658B (en) * 2007-09-29 2012-10-11 Htc Corp Image process method
CN101809531A (zh) * 2007-10-02 2010-08-18 株式会社爱可信 终端装置、链接选择方法以及显示程序
CN101162420B (zh) * 2007-11-29 2010-12-15 天津津科电子系统工程有限公司 基于触摸屏的旋转式连续变速浏览与检索方法
EP2065795A1 (en) * 2007-11-30 2009-06-03 Koninklijke KPN N.V. Auto zoom display system and method
JP2009140368A (ja) 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
CN201174727Y (zh) * 2008-04-02 2008-12-31 嘉兴淳祥电子科技有限公司 复合多功能触摸按键
US20100097322A1 (en) * 2008-10-16 2010-04-22 Motorola, Inc. Apparatus and method for switching touch screen operation
JP5093080B2 (ja) * 2008-12-05 2012-12-05 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20110035700A1 (en) * 2009-08-05 2011-02-10 Brian Meaney Multi-Operation User Interface Tool

Also Published As

Publication number Publication date
RU2010139528A (ru) 2012-03-27
CN102033648B (zh) 2017-04-12
JP2011081440A (ja) 2011-04-21
EP2309370A2 (en) 2011-04-13
CN102033648A (zh) 2011-04-27
US8847978B2 (en) 2014-09-30
EP2309370A3 (en) 2014-07-02
US20110080430A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
JP5413111B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
EP3180687B1 (en) Hover-based interaction with rendered content
JP5893060B2 (ja) 連続的なズーム機能を提供するユーザーインターフェイスの方法
EP2815299B1 (en) Thumbnail-image selection of applications
JP5705863B2 (ja) マルチタッチスクリーンからのジェスチャ入力を一つのジェスチャ入力に結合する方法、システム及びコンピュータ可読記憶媒体
TWI419023B (zh) Use the touch device to control the positioning of the cursor on the screen
EP2365426B1 (en) Display device and screen display method
US9335899B2 (en) Method and apparatus for executing function executing command through gesture input
US11402992B2 (en) Control method, electronic device and non-transitory computer readable recording medium device
KR20140113251A (ko) 자동으로 확대되는 창
JP2010086230A (ja) 情報処理装置、情報処理方法およびプログラム
JP2012058857A (ja) 情報処理装置、操作方法及び情報処理プログラム
WO2013039521A1 (en) Control area for a touch screen
WO2013044735A1 (zh) 一种浏览器及浏览网页的方法
US8762840B1 (en) Elastic canvas visual effects in user interface
JP2012226520A (ja) 電子機器、表示方法及びプログラム
KR20150095540A (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US20220374146A1 (en) Extensions to global keyboard shortcuts for computing devices having multiple display regions
US8904313B2 (en) Gestural control for quantitative inputs
WO2021067048A1 (en) Transitions and optimizations for a foldable computing device operating in a productivity mode
KR102297903B1 (ko) 웹 브라우저 디스플레이 방법 및 이를 이용하는 단말장치
KR101381878B1 (ko) 마우스를 이용하여 터치 입력을 구현하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP2023138023A (ja) 描画方法及び描画プログラム
JP5516794B2 (ja) 携帯情報端末、表示制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R151 Written notification of patent or utility model registration

Ref document number: 5413111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees