JP6206457B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、画像表示部に接触センサを備えた情報処理装置、およびコンピュータプログラムに関する。

近年デバイスへの入力のために、ディスプレイに対する同時に複数箇所の指定によって、装置、特に携帯デバイス、に入力指示を行うマルチタッチディスプレイを備えたデバイス、例えばアップル社ｉＰｈｏｎｅ（登録商標）が提供されるようになってきたため、この機能を利用した新たな入力方法の検討が新たな関心を生んでいる。例えば、ドラッグ操作は、ディスプレイの表示領域（ｉＰｈｏｎｅにおいてはＶｉｅｗｐｏｒｔとよばれる）中で、大きい表示物を動かすためのジェスチャである。これは携帯デバイスのような小さいディスプレイには大きすぎるドキュメントを表示するには有効である。ズーミング（拡大縮小）は指先で摘む（ピンチ）ジェスチャにより実行される。タップは、選択物を開く、あるいは表示領域がドキュメントのタップされた部分にフォーカスして拡大縮小倍率が調整される。しかし、指示において頻繁に必要となる非常に多くの基本的なジェスチャが既に設定されており、複数箇所の選択作業は扱いにくいものになりつつある。

携帯デバイスの進歩により、携帯デバイス上でも通常のインターネットブラウザのようにウェブページを表示できるようになってきている。ユーザは、制約的なデバイスのサイズに関わらず、簡単に単純で直感的なジェスチャで表示面積の大きなページでも簡単に操作することができる。ドラッグし、フリックする（弾く）ことで、大きなページを表示領域内に位置させ、ディスプレイを摘む操作で表示されているページの拡大縮小を行い、タップをすることで要素を中心に移動させて表示領域にページの大きさをフィットさせる。

ここでは、多くのアプリケーションで共通に使用されている、例えば、写真閲覧、地図ナビゲーション、文書閲覧そして表中に整理されたデータのスクロール、といった多くのアプリケーションで一貫として使用されているジェスチャを基本ジェスチャと呼ぶ。これによりもたらされるジェスチャと機能は必須であり、そのデバイスの操作に関する設計原則を定義するものになる。

欠点としては、これらの基本的なジェスチャは他のより重要で比較的頻度の低い作業には簡単に使用できない点にある。例えば、ほとんどのＷＩＭＰシステムでは、ドラッグ、ドロップ、複数箇所の選択を、こうしたジェスチャに代わってマウスを用いた操作により実現しており、スクロールや拡大縮小は特別なウィジェット（例えば、スクロールバー）や追加ハードウェア（例えば、スクロールホイール）に対する操作で実現されている。なお、ラップトップコンピュータでもスクロール用に２本指ジェスチャをサポートしているものが既に例外的には存在する。

頻繁ではないが、ファイル操作やタスク編集もまた携帯デバイスのアプリケーションとしては重要である。例えば、電子メールに写真を添付するとき、使い馴れた写真ブラウザが起動される。写真の選択のためには、基本ジェスチャはコンテキストに応じて再定義することが必要となるか、入力方法を別に設定する必要がある。前者は一貫性の欠如になり、基本ジェスチャのもともとの機能が使えなくなってしまう。このとき、もし複数選択が操作体系中に散在すると、基本ジェスチャが頻繁に変化し、その変化に伴う追加操作が必要になることで、ユーザの使用感が損なわれる。第２の選択肢は、実現が困難かユーザビリティに限界が生じる。例えば、所定時間待ち（タイムアウト）を追加の入力情報として利用する方法があるが、その場合ジェスチャを一旦待たなければならない。この方法はアプリケーションランチャー内にも見られ、アプリケーションアイコンのタップやホールドが異なるモードに切り替わり、アイコンの除去や、それを他の場所に持っていくことが可能になる。幸運にもこれはそれほど頻繁な操作ではなく、遅延も許容される。しかし、より頻繁な操作、特にナビゲーション作業を切り換えるものについては、モードを変換する遅延はなかなか許容できなくなる。

他の手段として、ハードウェアのモードボタンを使うこともできる。しかし、ハードウェアのボタンを用いるとコスト増になる場合もある。一方、仮想ボタンはディスプレイの表示領域を犠牲にする。

また、アコット（Ａｃｃｏｔ）らのような、横断ベースのインターフェースがポインティング（指示）作業の代替インタラクション手法として提案されている（非特許文献１）。横断操作はフィッツの法則（パラメータは異なるが）にも従い、ある場合にはポイント作業より効率的なこともある。点と線の比較を考えてみれば、ボタンの指定作業においてカーソルはボタン上に位置しなければならず、作業時間はボタンのサイズに依存する。横断操作はカーソルを置く場所がないために高速で、例えば線は線とカーソル間の距離ベクトルに垂直である。他のメリットは、正確に位置する直線は同様なパフォーマンス特性を得るボタンよりも顕著に必要とする表示スペースが少ない。

ポインティングと横断操作とが比較され、横断操作原理の概念の証明として、アピツ（ＡＰｉｔｚ）は完全に横断ウィジェットにより構成されたスケッチツールを構築した（非特許文献２）。横断ベースの操作は、ＦｌｏｗＭｅｎｕとしてインタラクティブなメニューデザインとしても使われている（非特許文献３）。

鈴木等は、ユーザがスライドプレゼンテーションやレーザポインタを用いた単純な描画ツールの作業や用途を制御するための、横断ベース操作技術を開示している（非特許文献４）。例えば、スライドの右外から中へのスワイプは次のスライドの選択である。スライドの投影に対応するレーザポインタの動きは、カメラを通じて追跡される。

フロエリッヒ（Ｆｒｏｅｈｌｉｃｈ）らは、彼らがバリアポインティングと呼ぶ、位置決め作業を支援する、デバイスディスプレイの周辺に物理的に隆起した縁周辺を用いる方法を既述している（非特許文献５）。 選択目標は、隆起した縁と角に沿って位置しており、その物理的なエッジが安定したガイドとして用いられる。選択は、例えばスタイラスが目標の境界内にあるときにそれを持ち上げることで、確定する。

アコット（Accot）ら、「Ｉのドット以上−横断ベースインターフェースの基礎（More Than Dotting The I's − Foundations For Crossing-Based Interfaces）」, ２００２年ＣＨＩ予稿集、２００２年、第４巻、第４号、第７３〜８０頁 アピッツ（Apitz）ら、「クロッシー：横断ベース描画アプリケーション （Crossy: A Crossing-Based Drawing Application）」, ＵＩＳＴ‘０４：１７回ユーザインタフェースと技術に関する定期ＡＣＭシンポジウム予稿集（UIST'04: Proceedings of the 17th Annual ACM Symposium On User Interface Software And Technology）、第６巻、第２刷、第３〜１２頁 グイムブレティエレ（Guimbretiere）ら、「フローメニュー：コマンド、テキストとデータ入力の結合（Flowmenu: Combining Command, Text, and Data Entry.）」 、ＵＩＳＴ２０００：１３回ユーザインタフェースと技術に関する定期ＡＣＭシンポジウム予稿集（Proceedings of the 13th annual ACM symposium on User interface software and technology） 、第２巻、第２１３〜２１６頁 鈴木ら、「スクリーンの周辺領域を用いたレーザポインティング操作技術（Laser Pointer Interaction Techniques Using Peripheral Areas Of Screens）」, ＡＶＩ‘０６先進視覚インターフェースのワーキング会議予稿集（AVI '06: Proceedings Of The Working Conference On Advanced Visual Interfaces）、 第９５〜９８頁 フロエリヒ（Froehlich）ら、「バリアポインティング：携帯デバイスのタッチスクリーンでのターゲット獲得を支援するための物理的な縁の利用（Barrier Pointing: Using Physical Edges To Assist Target Acquisition On Mobile Device Touch Screens）」、 Ａｓｓｅｔｓ‘０７ 第９回国際ＡＣＭ コンピュータとアクセシビリティに関するＳＩＧＡＣＣＥＳＳ会議予稿集（In Assets '07: Proceedings Of The 9th International ACM SIGACCESS Conference on Computers and Accessibility）、第１９〜２６頁

本発明は、ディスプレイの情報表示領域に接触センサを備える情報処理装置においてディスプレイに対してジェスチャを用いて入力を行う場合に、既に規定されている他のジェスチャと並存して他のジェスチャを使用できる情報処理装置、情報処理方法あるいはそのためのコンピュータプログラムを提供することを目的とする。

上記課題を解決するために、本発明の１態様の情報処理装置は、所定の情報表示領域を有するディスプレイと、前記ディスプレイの少なくとも一部への接触操作を検出する接触センサと、前記接触操作に応じた少なくとも一つのジェスチャを検出するジェスチャ検出手段と、前記検出されたジェスチャに対応する所定の処理を行う処理部と、を備え、前記ジェスチャ検出手段は、前記情報表示領域に棒として表示された画像部分である少なくとも一つの動作点の一方側から、前記動作点を通って前記動作点の他方側へ向かう前記接触操作を含むジェスチャである動作点ジェスチャを検出することに基づいて機能を起動することを特徴する。

また、本発明の他の態様のプログラムは、コンピュータを、所定の情報表示領域を有するディスプレイに情報を表示する表示手段と、前記ディスプレイの少なくとも一部への接触操作に応じた少なくとも一つのジェスチャを検出するジェスチャ検出手段と、前記検出されたジェスチャに対応する所定の処理を行う処理手段と、として機能させるためのプログラムであって、前記ジェスチャ検出手段は、前記情報表示領域に棒として表示された画像部分である少なくとも一つの動作点の一方側から、前記動作点を通って前記動作点の他方側へ向かう前記接触操作を含むジェスチャである動作点ジェスチャを検出することに基づいて機能を起動することを特徴する。

規定されている他のジェスチャと並存して他のジェスチャを使用できるため、ジェスチャによる操作設計の自由度が増加する。

タッチパネルを用いたドキュメントに対する基本操作の例を示す図である。 本発明の一実施形態に関わるディスプレイ上のターゲットに対する操作の一例を説明するものである。 本発明の一実施形態に関わるディスプレイ上のターゲットに対する操作の一例を説明するものである。 本発明の一実施形態に関わる、視覚的なフィードバックの例を示すものである。 本発明の一実施形態に関わる、所定の操作を続けて実行させるために、複数のジェスチャに連結した複数のマーカーを使用する例を示すものである。 本発明の一実施形態に関わるコンピュータプラットフォームの一例を示すものである。 本発明のコンピュータプラットフォームに関わる機能ブロック図の一例を示すものである。

以下の詳細な説明において、対応する図面中の符号は、同じ機能要素については同様の番号を付してある。これらの図面は例示であって、その手法を限定するものではなく、個々の実施形態と適用例は今回の発明の原理を示すためのものである。これらの適用例は当業者が実施可能な程度に十分な詳細が記載されており、他の適用例への適用、構成の変更や各構成要素の変更および／または置き換えが、本発明の範囲および思想から逸脱することなく適用できることは理解されるだろう。従って、以下の詳細な説明は限定的に解釈されるものではない。加えて、記述される多様な実施形態は、一般用のコンピュータ上で動作するソフトウェアの形態、専用のハードウェアから成る形態、あるいはソフトウェアとハードウェアの組み合わせにより実現されるものである。

最初に、携帯機器において基本ジェスチャが典型的にどのように使用されているかを既述する。

図１は、携帯機器を用いた基本ジェスチャの、本発明の一例を使用しない場合の例を示す図である。

図１では、典型的な携帯デバイスのディスプレイの様子を示している。例えば、ディスプレイ１００に表示するには大きすぎるウェブページを読み込んだことを想定する。典型的な携帯デバイスはこうしたときにユーザがスワイプ操作によって、そのページの表示部分をある場所から他の場所１０３へ再配置できるようになっている。携帯デバイスではディスプレイ上でのピンチ操作１０４によって表示ページ１０１を拡大縮小したり、表示内容をタップすることで表示部分を中心に移動してディスプレイの表示可能領域にサイズを適合させることもできる。しかし、こうした使用方法が登録済みジェスチャとして設定されているために、他の重要だが使用頻度の少ない作業にこのようなジェスチャを適用することができない。一方、本発明をこうした携帯デバイスに典型的な登録済みジェスチャと組み合わせることで、そうした典型的な携帯デバイスのもともとの機能による制約を軽減しながら、他の作業をするためのジェスチャをユーザが利用できるようになる。

図２Ａと図２Ｂは、本発明の一実施形態に関わる、ディスプレイ上のターゲットに対する操作がどのようになされるかを説明するための図である。

図２Ａでは、典型的な携帯デバイス２００上で作業を行う本発明の基本的な一形態を示すものである。ユーザが、ページ２０１を閲覧しており、例えば写真のようなターゲット２０４を選択しようとしていると想定する。典型的な携帯デバイスでは、ターゲットのタップのジェスチャは、中心移動とサイズ調整に割り当てられているため、そのターゲットの選択には用いることができない。この問題を回避するために、本発明の一実施形態では、スクリーンの縁（表示領域の端）に表示され、「選択」操作が割り当てられた動作点２０３（本例ではバー（縦棒）で表現されている）を用いる。このバーを使用する場合は、携帯デバイスのような小さいディスプレイ上であっても、長さ方向では選択操作が容易となる一方で、幅方向はディスプレイ上であまり場所をとらないのでディスプレイ上で小さく表示することができる。そして、所定の操作が予め割り当てられたバーとターゲット間でなされる、スワイプ、ピンチ、タップなどのジェスチャ２０２を用いることでユーザはターゲット２０４を選択することができる。一旦そのジェスチャが完了すると、その操作に対応する処理がそのターゲットに適用され、この例の場合では、ターゲットが選択される。所定の操作を表すバーを用いるために、基本ジェスチャとの衝突は回避されるので、典型的な形態デバイスでのもともとの機能を起動する場合にもこのバーに邪魔されることがなく、単純にそのジェスチャをすればよい。

もちろん、本発明はある操作を表す一つのバーを持つ場合に限定されるわけではない。複数のそうしたバーをスクリーンの周縁に配置し、ユーザが複数の異なる所定の操作を実行できるようにすることもできる。こうした複数のバーは異なる操作であることを示すために異なる色で表示することができ、あるいは、色弱者を支援するため、バーの代わりに異なる模様を割り当てることもできる。さらに、動作点の形状はバー形状であることには限定されず、点、円、星、ギャップ（他の表示に挟まれた部分）など動作点の場所を認識できるものを使用することができる。しかし、バー形状は、ディスプレイの周縁に場所をとらずに配置することができ、その場所もわかりやすく表示できるために好ましい。動作点は、ディスプレイの表示可能領域内の表示画素を利用して表示するのではなく、ディスプレイやその周辺の枠部などに印刷したり、刻印したりすることもできる。そしてまた、ユーザに操作説明書などで縁部の動作点の位置と動作点を用いた所定の操作の起動方法を知らせることで、ユーザに対して明示的な動作点を示さずに本発明を利用することも可能である。

更に、本発明は「選択」操作に限定されるものではない。他の操作、例えば、連続したテキストへのアノテーション付け、タグ付け、選択、電子メールなどのオブジェクトへ添付を行うための複数選択、マルチメディアオブジェクトコレクションへのカット、コピー、オブジェクトの拡大、そして、ドラッグによる領域移動の操作といった操作に利用することができる。

図２Ｂは、本発明の一形態である、ターゲットに対する操作を示すものである。ユーザはディスプレイ上を指やスタイラスを用いて、ジェスチャをバーの上から、あるいはディスプレイ外２０５からバーを通って、ターゲットまで移動するジェスチャを行い、そのターゲットに対して対応する処理を行うことを指示する。こうしたジェスチャの一例としては、ユーザの指で所定の操作を表すバーからディスプレイ上のターゲットまで連続してスワイプ動作を行う場合を考える。指をディスプレイから離すなどしてそのジェスチャが終了すると、その所定の操作の処理がそのターゲットに対して実行される。さらに、その所定の操作をキャンセルするようにするには、ジェスチャを中断することなしにディスプレイ外までスワイプすることで、その操作がそのターゲットに適用されないようにしたり、あるいはやり直し（アンドゥ）機能を用いることもできる。

図３は、本発明の一実施形態の、ジェスチャをトレースするための視覚的なフィードバックの提示に関する一例を示す。

視覚的なフィードバックは、所定の操作に対応するバーとディスプレイ上のターゲット間のジェスチャをトレースするために生成することができる。例えば、図３では、視覚的なフィードバック３０６は、そのジェスチャの結果を伸び縮みの動きを表現する半透明なゴムバンド状の形態である。もちろん、視覚的なフィードバックはゴムバンド形態である必要はなく、そのジェスチャに対する反応をフィードバックするようなものであればよい。ユーザに、その操作がアクティブになっていることと、そのジェスチャによってどの領域が影響を受けるのか、例えばターゲットの拡大、呼び出し(callout)、他の種類のハイライト表示、を示すために他の視覚化の手法を用いることもできる。フィードバックの視覚化の利用で、ジェスチャにより影響される、あるいは視覚的フィードバックによりトレースされる領域中の潜在的なターゲットをハイライト表示することで、そのジェスチャの結果としての視覚的なフィードバックにより潜在的なターゲットを接続したりハイライト表示したりすることも可能となる。

図４は、本発明の一実施形態の、複数のマーカーを配置して、所定の操作を連続して実行するための複数のジェスチャと結びつける例を示す。

図４は、本発明の実施形態を示すもので、複数のバー、複数のジェスチャ、そして所定の操作を示すためのマーカーの配置を示す。複数のマーカーの配置は、複数のバーを使って所定の操作を複数のジェスチャで連続して実行するのに有効である。例えば、ユーザはテキスト選択操作４０２を意味するバーから、対象テキストを選択するために、そのターゲットテキストに向かうジェスチャ４０６を用いることができる。テキスト選択マーカー４０７は引き続きジェスチャ終了後にターゲットに配置される。ユーザは、続いてコピー操作を意味するバー４０３から選択テキスト領域の最後までのジェスチャを通じてコピーマーカー４１０を配置する。ジェスチャの終了において、テキスト選択マーカーからコピーマーカーまでのテキストのコピーを行う、コピー操作が実行される。もちろん、複数のマーカーに対する連続した複数のジェスチャを利用した操作は、コピーアンドペースト、電子メールへのファイル等の添付といった、他の操作にも用いることができる。

他の実施形態としては、登録済みジェスチャと、これまで説明した動作点からディスプレイ上のターゲットへのスライド操作によって起動されるジェスチャとを組み合わせた操作がある。いくつかの登録済みジェスチャは、その処理を実行するために連続して指示を行うことが必要なように設計されている。例えば、開始点と終了点はオブジェクトの範囲を選択するときに、選択しなければならない。もし、開始点をタッチしたあとで終了点を定義しないままタッチが解除されてしまうと、典型的な携帯デバイスでは通常その元のコマンドが解除されるように設計されている場合が多い。しかし、動作点を含むジェスチャを利用することで、そのアクションは登録済みジェスチャと独立して実現することができ、登録済みジェスチャにおける連続的な位置の指定の間に、挟むことができるようになる。そこで、ユーザは登録済みジェスチャ（ここでは領域選択）を編集メニューから選択あるいは特定のジェスチャストロークで起動し、そして範囲の開始点を選択する。もし、表示領域が少ないためにスクリーン上に所定の終了点が表示されていなかったとき、ユーザは縁部スライドジェスチャによって起動される動作点からのストロークを開始する。携帯デバイスの処理装置はそのストロークを検出し、その所定の操作が終了点の指定選択であることを識別し、すでに指示されたコマンド（すなわち範囲選択コマンド）を保存して、開始点の位置も記憶部に保持する。ユーザがスライドをして、スクリーンの所定の終了点を探し、そのジェスチャを追跡表示するためにスクリーン上にフィードバックが表示される。ユーザが終了点を選択し、スクリーンからの接触を解除した後、解除した位置データが範囲選択コマンドの終了位置の指定と統合処理されて、その終了点が利用される。こうして、範囲選択処理は、縁スライドジェスチャから得られたデータを使って処理することができる。なお、予約済みコマンドが２つ以上の連続した複数のジェスチャを必要とする場合であっても、予約済み操作と縁スライドジェスチャの組み合わせ操作を実現することができる。

コンピュータによる実現例
図５は、本発明の実施形態に関わるコンピュータ／サーバーシステム５００の実現例を例示したものである。このシステム５００は、コンピュータ／サーバプラットフォーム５０１、周辺装置５０２とネットワークリソース５０３を含んで構成される。

コンピュータプラットフォーム５０１は、情報をコンピュータプラットフォーム５０１内の多様なモジュールとの間で通信するためのデータバス５０４あるいは他の通信機構を有している。そして、プロセッサ（ＣＰＵ）５０５は、情報処理や他の計算および制御処理を行うために、バス５０４と接続されている。コンピュータプラットフォーム５０１はさらに、多様な情報やプロセッサ５０５で処理される命令を記憶する、ランダムアクセスメモリ（RAM）や他の動的記憶装置のような揮発性記憶領域５０６がバス５０４に接続されている。揮発性記憶領域５０６はプロセッサ５０５の処理において一時的な変数や中間情報を記憶するのに用いられてもよい。コンピュータプラットフォーム５０１は、統計情報や、基本入出力システム（BIOS）のような、プロセッサ５０５の命令や、様々なシステムのパラメータを記憶するために、バス５０４に接続されたリードオンリーメモリ（ROM）や他の静的記憶装置を備えても良い。

コンピュータプラットフォーム５０１には、システム管理者あるいはユーザに情報を提示するために、CRT、プラズマディスプレイ、ＥＬディスプレイあるいは液晶ディスプレイなどのディスプレイ５０９が、バス５０４を介して接続されている。入力装置５１０は、プロセッサ５０５との通信や指示のためにバス５０４に接続されている。入力装置５１０として、タッチパネルが、バス５０１に接続され、プロセッサ５０５との間での情報およびコマンド選択の通信手段としてもちいられ、ディスプレイ５０９をタッチディスプレイとして用いることができる。なお、ディスプレイ５０９の画面がタッチパネルとして機能してもよい。また、入力装置５１０として、アルファベットと他のキーを備えるキーボードも設けられてもよい。他のユーザ用入力装置としては、方向に関する情報を通信し、ディスプレイ５０９上でのカーソルの動きを制御するマウス、トラックボールあるいはカーソル方向キーのようなカーソル制御装置５１１がある。この入力装置は通常２軸での自由度をもっており、第１の軸（例えばｘ）および第２の軸（例えばｙ）を持つことで平面上での位置をそのデバイスで特定できることとなる。

外部記憶装置５１２を、拡張あるいは取り外し可能な記憶容量をコンピュータプラットフォーム５０１に提供するために、バス５０４を介してコンピュータプラットフォーム５０１に接続してもよい。コンピュータシステム５００の一例で、外付けのリムーバブルメモリ（外部記憶装置５１２）は他のコンピュータシステムとのデータ交換を容易にするために、使用されてもよい。

本発明は、ここに記述された技術を実現するためのコンピュータシステム５００の使い方に関連するものである。実施形態として、コンピュータプラットフォーム５０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ５０６中の１以上の命令による１以上の処理をプロセッサ５０５に処理させることで実現させる。こうした命令は不揮発性記憶領域５０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ５０６に読み出してもよい。揮発性メモリ５０６中に保持された一連の命令をプロセッサ５０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。

ここで、コンピュータ可読媒体とは、プロセッサ５０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術を実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（不揮発性記憶領域５０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置５０６のような動的メモリを含む。通信媒体は、データバス５０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。

コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。

さまざまな形態のコンピュータ可読媒体が、プロセッサ５０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、これをモデムを用いた電話回線を通じて送信してもよい。コンピュータシステム５００に接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス５０４に伝送する。バス５０４は揮発性記憶領域５０６にデータを伝送し、プロセッサ５０５がその命令を参照して実行できる状態におく。揮発メモリ（揮発性記憶領域５０６）から受け取った命令はプロセッサ５０５により処理される前あるいは後に不揮発性記憶装置５０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータプラットフォーム５０１にダウンロードするようにしてもよい。

コンピュータプラットフォーム５０１は、データバス５０４に結合したネットワークインターフェースカード５１３のような通信インターフェースも有する。通信インターフェース５１３はローカルネットワーク５１５に接続されたネットワークリンク５１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース５１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a, 802.11b, 802.11g として周知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース５１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。

ネットワークリンク５１４は、１以上の他のネットワークとデータ通信を通常可能とする。例えば、ネットワークリンク５１４は、ローカルネットワーク５１５を介して、ホストコンピュータ５１６やネットワークストレージやサーバー５２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク５１４は、インターネットのような、広域あるいはグローバルネットワーク５１８にゲートウェイ／ファイアウォール５１７を通じて接続する。そしてコンピュータプラットフォーム５０１はインターネット５１８上のどこかにある、例えばリモートネットワークストレージ／サーバーといった、ネットワークリソースにもアクセスすることが可能となる。一方、コンピュータプラットフォーム５０１は、ローカルエリアネットワーク５１５および／またはインターネット５１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント５２０と５２１は、プラットフォーム５０１と同様のコンピュータプラットフォームに基づいて構築しても良い。

ローカルネットワーク５１５とインターネット５１８は、共に電気、電磁、あるいは光信号を、データ信号列を伝播するのに用いる。なお、デジタルデータをコンピュータプラットフォーム５０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク５１４上や、通信インターフェース５１３を介した信号は情報伝送の伝送波の例示的な形態である。

コンピュータプラットフォーム５０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット５１８およびLAN５１５を含む多様なネットワーク、ネットワークリンク５１４および通信インターフェース５１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム５０１はネットワークサーバとして機能し、クライアント５２０および／または５２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット５１８、ゲートウェイ／ファイアウォール５１７、ローカルエリアネットワーク５１５および通信インターフェース５１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。

受信したコードはプロセッサ５０５によって受信時に実行されるか、不揮発記憶装置５０８あるいは揮発記憶装置５０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。このようにしてコンピュータ５０１は伝送波からアプリケーションコードを取得できる。

図６は、本発明の一実施形態である、コンピュータプラットフォームの機能ブロック図の例を示すものである。

ここでは本発明の基本的な一実施形態がどのように典型的な携帯デバイスにおいて交互に作業をすることができるのかを、ブロック図を用いて説明する。ユーザがデバイスの接触操作を利用したときに、接触操作は検知ユニット６０６を備えるタッチディスプレイ６００で受信される。検知ユニット６０６は接触の発生とともに接触操作が発生している座標を検出する。この情報は検出部６０７に送られ、メモリ中に記憶された幾つかのジェスチャに関する情報と比較されそのジェスチャに対応するジェスチャを決定するジェスチャ解析部６０４を利用して処理される。例えば、もし接触操作がタップ、ドラッグや回転など、登録済みジェスチャなら、検出部６０７はその操作を処理ユニット６０５に送り、処理ユニット６０５は、続いて元々定義されている処理を行う。

もし、ジェスチャがディスプレイの縁部から開始されるなら、所定の操作を表すマークをアクティブにする一方で、検出部６０７はその処理を処理ユニット６０５に送り、処理ユニット６０５はディスプレイコントローラ６０８が縁部から現在指している位置に視覚的フィードバックを表示するように制御を行う。ユーザが所定のターゲットの位置でジェスチャを終了することで、ディスプレイへの接触が外されたときに処理ユニット６０５はその処理を実行する。

更に、もしユーザがディスプレイでの複数の連続タッチが必要な、登録済みジェスチャを用いて、組み合わされた処理を入力する場合に、複数のタッチが動作点をアクティブにすることにより中断されたとき、処理ユニット６０５は登録済みジェスチャの操作の一部を処理し、タッチを開放点に対応する位置情報を受信し、その受信した位置情報を用いて登録済みジェスチャに対応する処理を再開する。処理ユニット６０５はこのようにして、表示、編集、通信などといった、予約済みあるいは選択した操作のそれぞれを実行する。

最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ, C/C++, pearl, shell, PHP, Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。

さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わることにより利用することができる。明細書と実施例は例示的なものと解釈され、真の発明の示す範囲と思想はクレームにより示されるものである。

２００、３００ 携帯デバイス
２０１、３０１ ドキュメント
２０２、３０２ ジェスチャ
２０３、３０３ 動作点（バー）
２０４、３０４ ターゲット
３０６ 視覚的フィードバック

Claims (4)

1. 表示手段に表示される情報表示領域の縁の付近に設定される少なくとも一つの動作点を通る接触操作または当該動作点より外側から、前記動作点を通る接触操作を含むジェスチャである動作点ジェスチャと、前記情報表示領域内における最初の接触が前記動作点でないジェスチャである基本ジェスチャとが同一のジェスチャであっても異なる処理を起動し、
   前記動作点ジェスチャをトレースする視覚的フィードバックを前記情報表示領域内に表示する制御を行う制御手段
   を有する情報処理装置。
2. 前記制御手段は、前記視覚的フィードバックとして前記動作点ジェスチャの動きを伸び縮みで表現する制御を行うことを特徴する請求項１に記載の情報処理装置。
3. コンピュータを、
   表示手段に表示される情報表示領域の縁の付近に設定される少なくとも一つの動作点を通る接触操作または当該動作点より外側から、前記動作点を通る接触操作を含むジェスチャである動作点ジェスチャと、前記情報表示領域内における最初の接触が前記動作点でないジェスチャである基本ジェスチャとが同一のジェスチャであっても異なる処理を起動し、
   前記動作点ジェスチャをトレースする視覚的フィードバックを前記情報表示領域内に表示する制御を行う制御手段として機能させるためのプログラム。
4. 前記制御手段は、前記視覚的フィードバックとして前記動作点ジェスチャの動きを伸び縮みで表現する制御を行うことを特徴する請求項３に記載のプログラム。