JP5726916B2 - マルチスクリーンの縮小及び拡大ジェスチャー - Google Patents

Description

[0001] パーソナルコンピューター、ラップトップコンピューター、テーブルトップコンピューター、エンターテインメントデバイス等のコンピューティングデバイスは、ますます多くの機能や特徴をもたらすようになり、ユーザーは、自分がデバイス上で起動したいと考える機能に関連したアプリケーションコマンドを操作し選択することが困難になっている。コンピューティングデバイスと対話するためのマウス、キーボード、及び他の入力デバイスといった従来の技術は、コンピューティングデバイスの機能や特徴が拡大を続けるにつれて、より非効率なものとなってきているといえる。これらのデバイスの設計者が直面し続けている問題は、単に直感的であるというだけではない、コンピューティングデバイスのこうした多くの機能や特徴とユーザーが簡単に素早く対話することを可能にする対話技術を、如何にして取り入れるかということである。

[0002] この概要は、マルチスクリーンジェスチャーの簡略化された概念を導入するために提供される。当該簡略化された概念は、以下の詳細な説明において更に説明される。この概要は、クレームに記載された対象の本質的な特徴を特定することを意図したものではなく、また、クレームに記載された対象の範囲を決定するのに用いることを意図したものでもない。

[0003] マルチスクリーンの縮小（pinch）及び拡大（expand）ジェスチャーの実施態様が説明される。様々な実施態様において、第１入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、この第１入力は、第１モーション入力を含む。第２入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、この第２入力は、第２モーション入力を含む。次いで、この認識された第１及び第２入力に関係付けられた第１及び第２モーション入力から、縮小ジェスチャー又は拡大ジェスチャーが決定されることが可能である。他の実施態様において、第１モーション入力及び第２モーション入力と共に、第１及び第２入力間の距離が変化する。この距離の変化は、距離の減少として認識されることが可能であり、距離の減少は、縮小ジェスチャーであると決定される。そして、これは、表示オブジェクトが縮小されている場合に、ズームアウトの表現をもたらす。あるいはまた、距離の変化は、距離の増加として認識されることが可能であり、距離の増加は、拡大ジェスチャーであると決定される。そして、これは、表示オブジェクトが拡大されている場合に、ズームインの表現をもたらす。

[0004] マルチスクリーンジェスチャーの実施態様は、以下の図面を参照して説明される。図面の全体にわたって、同様の特徴及びコンポーネントを参照するために同一の符号が用いられる。

図１は、マルチスクリーンジェスチャーの様々な実施態様を実現することが可能であるマルチスクリーンシステムの環境を示す。 図２は、ユビキタス環境においてシームレスなユーザー体験をもたらすマルチスクリーンジェスチャーの様々な実施態様を実現することが可能である複数のデバイスを備えた例示のシステムを示す。 図３は、マルチスクリーンシステム上におけるマルチスクリーン縮小・拡大ジェスチャーの例を示す。 図４は、１つ又は複数の実施態様に従うマルチスクリーン縮小・拡大ジェスチャーのための例示の方法を示す。 図５は、マルチスクリーンシステム上におけるマルチスクリーン縮小・収納ジェスチャーの例を示す。 図６は、１つ又は複数の実施態様に従うマルチスクリーン縮小・収納ジェスチャーのための例示の方法を示す。 図７は、マルチスクリーンシステム上におけるマルチスクリーンデュアルタップジェスチャーの例を示す。 図８は、１つ又は複数の実施態様に従うマルチスクリーンデュアルタップジェスチャーのための例示の方法を示す。 図９は、マルチスクリーンシステム上におけるマルチスクリーンホールド・タップジェスチャーの例を示す。 図１０は、１つ又は複数の実施態様に従うマルチスクリーンホールド・タップジェスチャーのための例示の方法を示す。 図１１は、マルチスクリーンシステム上におけるマルチスクリーンホールド・ドラッグジェスチャーの例を示す。 図１２は、１つ又は複数の実施態様に従うマルチスクリーンホールド・ドラッグジェスチャーのための例示の方法を示す。 図１３は、マルチスクリーンシステム上におけるマルチスクリーンホールド・ページフリップジェスチャーの例を示す。 図１４は、１つ又は複数の実施態様に従うマルチスクリーンホールド・ページフリップジェスチャーのための例示の方法を示す。 図１５は、マルチスクリーンシステム上におけるマルチスクリーンブックマークホールドジェスチャーの例を示す。 図１６は、１つ又は複数の実施態様に従うマルチスクリーンブックマークホールドジェスチャーのための例示の方法を示す。 図１７は、マルチスクリーンシステム上におけるマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例を示す。 図１８は、１つ又は複数の実施態様に従うマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーのための例示の方法を示す。 図１９は、マルチスクリーンシステム上におけるマルチスクリーン同期スライドジェスチャーの例を示す。 図２０は、１つ又は複数の実施態様に従うマルチスクリーン同期スライドジェスチャーのための例示の方法を示す。 図２１は、マルチスクリーンジェスチャーの様々な実施態様を実現することが可能である例示のデバイスのコンポーネントを示す。

[0005] マルチスクリーンジェスチャーの実施態様は、マルチスクリーンシステムにおける１つ又は複数のコンピューティングデバイスのユーザーが、コンピューティングデバイスの機能を起動するために当該システムの２つ以上のスクリーンに入力を与えることが可能であるということを規定する。マルチスクリーンジェスチャーの様々な実施態様において、マルチスクリーンシステムは、独立した複数のデバイスとして実現され、又は、単独のマルチスクリーンデバイスに統合されることができる、２つ以上のスクリーンを含む。ユーザーは、マルチスクリーンシステム又はマルチスクリーンデバイスにおける複数のスクリーンで認識される、セレクト、ホールド、モーション、タッチ、及び／又はタップ入力といったような、任意のタイプの様々な入力又は入力の組み合わせを入力することが可能である。次いで、これら様々な入力の組み合わせからマルチスクリーンジェスチャーが認識されて、コンピューティングデバイスの機能を起動することが可能である。したがって、このマルチスクリーンジェスチャーは、ユーザーが、コマンドをコンピューターデバイスに入力するのに用いられる従来の技術によってではなく、直感的な方法で、こうした様々な入力をマルチスクリーンシステム又はデバイスへ与えることが可能であるということを規定する。

[0006] 様々な実施態様において、マルチスクリーンジェスチャーは、複数のスクリーンを有したコンピューターデバイスによって実現されることが可能である。あるいはまた、マルチスクリーンジェスチャーは、物理的に接続され又は単独のデバイスに統合されていないかもしれないが、そうではなく例えばデータ又はネットワーク接続を介して通信可能にリンクされている、２つ以上のスクリーンを持つマルチスクリーンシステムによって実現されることが可能である。マルチスクリーンシステムは、互いを自動的に見つけ出し、ユーザーによって明示的にペアリングされ、又は、その他の方法で一時的に物理的に近接して配置された、複数の独立したスレート（slate）型又はハンドヘルド型のデバイスを含むことが可能である。

[0007] マルチスクリーンジェスチャーの様々な実施態様において、マルチスクリーン縮小ジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上の表示オブジェクトを縮小するために用いられることが可能である。あるいはまた、マルチスクリーン拡大ジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上における表示のための表示オブジェクトを拡大するために用いられることが可能である。マルチスクリーンの縮小・拡大ジェスチャーはまた、ディスプレイ、オブジェクト、及び／又はアプリケーションに関係付けられた情報アーキテクチャーの異なるレベルを通じて、意味的にズームすることもできる。マルチスクリーンの縮小・収納ジェスチャーは、例えば表示オブジェクトをサムネイル画像としてマルチスクリーンシステム又はデバイスのベゼルの下に保存する等、表示オブジェクトを収納するために用いられることが可能である。

[0008] マルチスクリーンのデュアルタップジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上に表示されている表示オブジェクトを拡大又は収納するために用いられることが可能である。例えば、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第１及び第２スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第１及び第２スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。

[0009] マルチスクリーンのホールド・タップジェスチャーは、例えばオブジェクトをジャーナルページ上に移動若しくはコピーする、又はそのオブジェクトをノートブックに取り込むといったように、表示オブジェクトを１つの表示位置から別の位置へ移動及び／又はコピーするために用いられることが可能である。マルチスクリーンのホールド・ドラッグジェスチャーは、表示オブジェクトの第１部分の表示を一方のスクリーン上に保持すると共に、別のスクリーン上に表示されているその表示オブジェクトの第２部分をドラッグして分割画面ビューのために当該表示オブジェクトの第２部分を収納するために、用いられることが可能である。あるいはまた、ホールド・ドラッグジェスチャーは、表示オブジェクトの第１部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第２部分をドラッグして別のスクリーン上にその表示を拡大するために、用いられることが可能である。

[0010] マルチスクリーンのホールド・ページフリップジェスチャーは、１つのスクリーン上に表示されているジャーナルページを選択し、本のページを捲るのとほとんど同じように、ジャーナルページを捲って更なる即ち新しい２ページのジャーナルページを表示するために、用いられることが可能である。ジャーナルページは、本のページを前方又は後方へ捲るのとほとんど同じように、２ページの新しいジャーナルページを表示するよう、選択されたジャーナルページの方向へ捲られる。あるいはまた、ホールド・ページフリップジェスチャーは、１つのスクリーン上に表示されているジャーナルページの表示を保持し、ジャーナルページを捲って異なるジャーナルページを別のスクリーン上に表示するために、用いられることが可能である。その後、不連続なジャーナルページが左右に並んで表示されることが可能であり、これは、本に関していえば、本から１ページを抜き取って、それを別のページと左右に並べて見えるように不連続なページ順に配置することに関わるであろう。

[0011] マルチスクリーンのブックマークホールドジェスチャーは、スクリーン上のジャーナルページに対するホールド入力の場所にジャーナルページをブックマークするために用いられることが可能であり、また、当該ジャーナルページに対してこのブックマークが保持されている間、閲覧のために更なるジャーナルページが捲られることが可能である。ブックマークホールドジェスチャーは、本の他のページを次々と捲る間に本の中の場所を憶えておくために、読者が親指又は親指以外の指をページの間に挿む動作を真似たものである。加えて、ブックマークは、ジャーナルページへ戻る選択可能なリンクであり、また、このブックマークのセレクト入力によって、スクリーン上に当該ジャーナルページを表示するようにページが元の状態へと捲られる。マルチスクリーンのオブジェクトホールド・ページチェンジジェスチャーは、例えば表示オブジェクトをジャーナルページ上の表示のために取り込むべく、表示オブジェクトを１つの表示位置から別の位置へ移動及び／又はコピーするために用いられることが可能である。加えて、表示オブジェクトが１つの表示位置から別の位置へ移動又はコピーされる場合に、相対的な表示位置は保持されることが可能である。

[0012] マルチスクリーンの同期スライドジェスチャーは、表示オブジェクトを１つのスクリーンから別のスクリーン上の表示のために移動する、デバイスのスクリーン上の表示オブジェクトを異なる表示オブジェクトで置換する、デバイスのスクリーン上に作業スペースを空けるために表示オブジェクトを移動する、及び／又は、このシステム若しくはデバイスのスクリーン上に表示されている１つ又は複数の作業スペース（例えば、アプリケーション、インターフェース等）の間を循環する（cycle through）ために、用いられることが可能である。同期スライドジェスチャーはまた、追加のビューへと移動する、又は現在のビューを異なるスクリーンに再割り当てするために、用いられることもできる。加えて、同期スライドジェスチャーによって、異なるアプリケーション又は作業スペースがスタック上に保持され、前方及び後方へ循環されることが可能である。

[0013] マルチスクリーンジェスチャーに関する説明されたシステム及び方法の特徴や概念は多数の異なる環境、システム、及び／又は様々な構成において実現されることが可能であるけれども、マルチスクリーンジェスチャーの実施態様は、以下の例示のシステム及び環境のコンテキストで説明される。

[0014] 図１は、マルチスクリーンジェスチャーの技術を利用するように実施可能である例示の具体化における環境１００を示す。図示された環境１００は、例えば任意のタイプのマルチスクリーンのコンピューター又はデバイスといったような、様々な方法で構成されることができるコンピューティングデバイス１０２の例を含む。例えば、コンピューティングデバイス１０２は、図２を参照して更に説明されるように、コンピューター（例えば、ラップトップコンピューター、ノートブックコンピューター、タブレットＰＣ、テーブルトップコンピューター等）、モバイルステーション、エンターテインメント機器、ゲームデバイス等として構成されることができる。コンピューティングデバイス１０２はまた、当該コンピューティングデバイス１０２に１つ又は複数の演算を実行させるソフトウェアと共に実現されることもできる。

[0015] この例示の環境１００において、コンピューティングデバイス１０２は、第１スクリーン１０４及び第２スクリーン１０６を含むマルチスクリーンデバイスであり、第１スクリーン１０４及び第２スクリーン１０６は、それぞれが任意のタイプのディスプレイデバイス、ディスプレイシステム、及び／又はタッチスクリーンとして実現されることが可能である。第１及び第２スクリーンは、ユーザーインターフェースや様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）に加えて、任意のタイプの背景又はデスクトップを表示することが可能である。第１及び第２スクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。

[0016] コンピューティングデバイス１０２は、ジェスチャーを判定し当該ジェスチャーに対応する演算が実行されるようにする機能を表すジェスチャーモジュール１０８を含む。コンピューティングデバイスはまた、セレクト入力、ホールド入力、モーション入力、タッチ入力、タップ入力等の、様々な入力又は入力の組み合わせを認識するように実現された入力認識システム１１０をも含む。入力認識システム１１０は、センサー、光感知ピクセル、タッチセンサー、カメラ、及び／又は、ユーザーの対話、ジェスチャー、入力、及び動作を解釈する自然ユーザーインターフェースといったような、様々なタイプの入力を感知する任意のタイプの入力検出機構を含むことができる。具体化において、入力認識システム１１０は、方向の変数（例えば右から左へ又はその反対）、開始領域位置の変数（例えば左１、上１、右１、下１）と終了領域位置の変数（例えば左２、上２、右２、下２）、及び／又はモーション速度の変数（例えば１秒当たりの具体的なピクセル数）といったような、判別可能な変数から第１又は第２スクリーンにおけるモーション入力を検出することが可能である。

[0017] 入力認識システム１１０は、様々なタイプの入力を認識し、また、ジェスチャーモジュール１０８は、その認識された入力からマルチスクリーンジェスチャーを識別又は判定する。例えば、入力認識システム１１０は、第１スクリーン１０４においてタッチ入力１１２のような第１入力を認識し、また、第２スクリーン１０６においてセレクト入力１１４のような第２入力を認識することが可能である。ジェスチャーモジュール１０８は、次いで、この認識されたタッチ及びセレクト入力からマルチスクリーンジェスチャーのタイプを判定することが可能である。第１又は第２スクリーンにおける入力はまた、入力認識システム１１０によって認識される１つのタイプの入力を別の入力から区別する属性（例えば、動作、選択ポイント等）を含むものとして認識されることもできる。この区別は、その後、タッチ入力からモーション入力を識別又は判別するためのベースとして、そしてその結果、それに対応するジェスチャーの判定に基づいて実行されることとなる演算を識別又は判別するためのベースとして、役に立つことができる。具体化において、コンピューティングデバイス１０２は、ジェスチャーモジュール１０８がそれを用いてマルチスクリーンジェスチャーを判定又は識別することが可能であるところの、ジェスチャー、入力、及び／又はモーションの様々な決定可能な表現を含んでいるジェスチャーデータベースを含むことができる。

[0018] コンピューティングデバイス１０２はまた、タッチ入力とスタイラス入力等の様々な入力を認識しそれらの違いを区別するように実現されることも可能である。この区別は、指による入力のサイズとスタイラス入力のサイズを認識することによる等の様々な方法で実行されることができる。この区別はまた、カメラの使用を通じて、タッチ入力（例えば１本又は複数本の指を持ち上げる）、スタイラス入力（例えば２本の指を１つにしてポイントを指し示す）、又は自然ユーザーインターフェース（ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：ＮＵＩ）による入力を判別するように実行されることもできる。様々なタイプの入力を判別するための様々な他の技術が予期される。

[0019] 入力認識システム１１０によって様々な異なるタイプの入力が認識されることができ、また、ジェスチャーモジュール１０８によって、複合型入力に関わるジェスチャーのみならず単独型入力として認識されるジェスチャー等の様々な異なるジェスチャーが判定されることができる。それ故に、コンピューティングデバイス１０２のジェスチャーモジュール１０８は、複数の入力を認識し２モード入力に関わるジェスチャーを識別又は判定する機能を表す２モード入力モジュール１１６を含むことができる。ジェスチャーモジュール１０８は、この２モード入力モジュール１１６の使用を通じて異なるタイプの入力を識別しそれに影響を与えることによって、様々な異なるジェスチャー技術をサポートすることができる。例えば、２モード入力モジュール１１６はスタイラスを手書きツールとして認識するよう構成されることができるのに反して、第１又は第２スクリーン上に表示されたオブジェクトを操作するためにタッチが利用される。様々なタイプの入力を区別することによって、これらの入力のそれぞれ単独で可能とされるジェスチャーの数も増えることは、特筆されるべきである。

[0020] したがって、ジェスチャーモジュール１０８は、様々な異なるマルチスクリーンジェスチャー１１８を、２モードであるものとそうでないものの両方とも、サポートすることが可能である。本明細書において説明されるマルチスクリーンジェスチャー１１８の例は、縮小・拡大ジェスチャー１２０、縮小・収納ジェスチャー１２２、デュアルタップジェスチャー１２４、ホールド・タップジェスチャー１２６、ホールド・ドラッグジェスチャー１２８、ホールド・ページフリップジェスチャー１３０、ブックマークホールドジェスチャー１３２、オブジェクトホールド・ページチェンジジェスチャー１３４、及び同期スライドジェスチャー１３６を含む。これらの異なるマルチスクリーンジェスチャーのそれぞれは、下記の議論の対応するセクションにおいて説明される。各マルチスクリーンジェスチャーは異なるセクションにおいて説明されるが、更なるジェスチャーをサポートするためにこれらのジェスチャーの特徴が結合及び／又は分離されることができることは、直ちに明らかであると言うべきである。したがって、本説明は、これらの例に限定されるものではない。加えて、下記の議論はセレクト、ホールド、モーション、タッチ、及びタップ入力の特定の例を説明するが、その趣旨及び範囲から逸脱することなく、様々なタイプの入力が別の例において交換されることができ（例えば、タッチ入力がセレクト入力として用いられることができ、その反対も同じである）、及び／又は、２つの入力の双方が同一の入力を与えられることができる。

[0021] 図示された環境１００はまた、例えばスクリーン１４２を有する第１デバイス１４０及びスクリーン１４６を有する第２デバイス１４４のような、それぞれが１つのスクリーンを有する２つ（又はそれ以上）のデバイスを含んだマルチスクリーンシステム１３８の例をも含む。これらのスクリーンは、物理的に接続され又は単独のデバイスに統合されていないが、それよりもむしろ、例えばデータ又はネットワーク接続を介して通信可能にリンクされている。マルチスクリーンシステムは、互いを自動的に見つけ出し、ユーザーによって明示的にペアリングされ、又は、その他の方法で一時的に物理的に近接して配置された、複数の独立したスレート（slate）型又はハンドヘルド型のデバイスを含むことが可能である。具体化において、マルチスクリーンシステムはまた、マルチスクリーンデバイスを含むこともできる。マルチスクリーンシステム１３８の第１デバイス１４０及び第２デバイス１４４はそれぞれ、コンピューティングデバイス１０２を参照して説明されたように、コンピューター（例えば、ラップトップコンピューター、ノートブックコンピューター、タブレットＰＣ、テーブルトップコンピューター等）、モバイルステーション、エンターテインメント機器、ゲームデバイス等の如何なる形態でも構成されることが可能である。

[0022] 図２は、図１を参照して説明されたようなコンピューティングデバイス１０２を含む例示のシステム２００を示す。この例示のシステム２００は、パーソナルコンピューター（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：ＰＣ）、テレビジョンデバイス、及び／又はモバイルデバイス上でアプリケーションを動かした時にシームレスなユーザー体験をもたらすユビキタス環境を可能にする。アプリケーションの使用、ビデオゲームのプレイ、ビデオの鑑賞等の間に１つのデバイスから次のデバイスへ移行する場合に、サービス及びアプリケーションは、これら３つの環境の全てにおいて実質的に同じように動いて共通のユーザー体験をもたらす。

[0023] 例示のシステム２００において、多数のデバイスが中央コンピューティングデバイスを通じて相互接続される。中央コンピューティングデバイスは、当該多数のデバイスの近辺に存在することができ、又は当該多数のデバイスから離れて配置されることができる。１つの実施態様において、中央コンピューティングデバイスは、ネットワーク、インターネット、又は他のデータ通信リンクを通じて当該多数のデバイスに接続される１つ又は複数のサーバーコンピューターを含む、「クラウド」サーバーの形態である。１つの実施態様において、この相互接続アーキテクチャーは、当該多数のデバイスのユーザーに共通のシームレスな体験を提供する機能がそうした多数のデバイスにわたってもたらされることを可能にする。これら多数のデバイスのそれぞれは、異なる物理的要件及び能力を有するかもしれず、中央コンピューティングデバイスは、プラットフォームを用いて、当該デバイスに適合しながらも全てのデバイスに共通である体験をデバイスにもたらすことを可能にする。１つの実施態様において、ターゲットデバイスのクラスが生成されて、デバイスの包括的クラスに体験が適合される。デバイスのクラスは、当該デバイスの物理的特徴、使用タイプ、又は他の共通の特性によって定義されることができる。

[0024] 様々な具体化において、コンピューティングデバイス１０２は、例えばコンピューター２０２、モバイル２０４、及びテレビ２０６の用途のための様々な異なる構成をとることができる。これらの構成のそれぞれは、概して異なる構造及び能力を有することができるデバイスを含み、それ故に、コンピューティングデバイス１０２は、異なるデバイスクラスのうちの１つ又は複数に従って構成されることができる。例えば、コンピューティングデバイス１０２は、パーソナルコンピューター、デスクトップコンピューター、マルチスクリーンテーブルトップコンピューター、ラップトップコンピューター、ネットブック等を含むデバイスである、コンピューター２０２のクラスとして実現されることができる。コンピューティングデバイス１０２はまた、例えば携帯電話、ポータブル音楽プレーヤー、ポータブルゲームデバイス、タブレットコンピューター、マルチスクリーンタブレットコンピューター等のモバイルデバイスを含むデバイスである、モバイル２０４のクラスとして実現されることもできる。コンピューティングデバイス１０２はまた、概してカジュアルなビュー環境におけるより大きなスクリーンを有する、又はそのようなスクリーンに接続されたデバイスを含むデバイスである、テレビ２０６のクラスとして実現されることもできる。これらのデバイスは、テレビ、セットトップボックス、ゲームコンソール等を含む。本明細書において説明される技術は、コンピューティングデバイス１０２のこうした様々な構成によってサポートされることができ、下記のセクションにおいて説明されるマルチスクリーンジェスチャーの特定の例に限定されるものではない。

[0025] クラウド２０８は、サーバーベースのサービス２１２向けのプラットフォーム２１０を含む、及び／又は表す。プラットフォーム２１０は、クラウド２０８のハードウェア（例えばサーバー）及びソフトウェアリソースの潜在機能を抽象化したものである。サーバーベースのサービス２１２は、コンピューター処理の全て若しくは殆どがコンピューティングデバイス１０２から離れたサーバー上で実行される間に利用されることが可能な、アプリケーション及び／又はデータを含むことができる。サーバーベースのサービスは、インターネットを介した、及び／又は、携帯電話やＷｉＦｉネットワークのような加入者ネットワークを通じたサービスとして、提供されることが可能である。

[0026] プラットフォーム２１０は、コンピューティングデバイス１０２を他のコンピューティングデバイスに接続するためのリソース及び機能を抽象化したものとすることができる。プラットフォーム２１０はまた、当該プラットフォーム２１０によって実現されるサーバーベースのサービス２１２に対して為された要求に対応するスケールのレベルを提供するためのリソースのスケーリングを抽象化する役目を果たすこともできる。したがって、相互接続されたデバイスの実施態様において、ジェスチャーモジュール１０８の機能の実装は、システム２００にわたって分散されることができる。例えば、ジェスチャーモジュール１０８は、クラウド２０８の機能を抽象化したプラットフォーム２１０を介することに加えて、コンピューティングデバイス１０２上に部分的に実装されることができる。

[0027] 更に、如何なる１つ又は複数の構成においても、コンピューティングデバイス１０２によって機能がサポートされることができる。例えば、ジェスチャーモジュール１０８及び入力認識システム１１０によってサポートされるマルチスクリーンジェスチャーの技術は、コンピューター２０２の構成におけるトラックパッド機能やモバイル２０４の構成におけるタッチスクリーン機能を用いて、及び／又は、テレビ２０６の構成において特定の入力デバイスとの接触を伴わない自然ユーザーインターフェース（ＮＵＩ）の一部分としてのカメラによって、認識されることができる。更に、入力を検出及び認識して特定のマルチスクリーンジェスチャーを識別又は判定する演算の実行は、例えばコンピューティングデバイス１０２、及び／又は、クラウド２０８のプラットフォーム２１０によりサポートされたサーバーベースのサービス２１２によって、システム２００にわたって分散されることができる。

[0028] 様々なマルチスクリーンジェスチャーを説明する以下のセクションに加えて、マルチスクリーンジェスチャーの様々な実施態様に従い、それぞれの図を参照しながら例示の方法も説明される。一般に、本明細書において説明される機能、方法、手順、コンポーネント、及びモジュールの如何なるものも、ソフトウェア、ファームウェア、ハードウェア（例えば固定論理回路）、手動処理、又はそれらの任意の組み合わせを用いて実現されることが可能である。ソフトウェアの実装は、コンピューターのプロセッサーによって実行される時に指示されたタスクを実施するプログラムコードを表す。例示の方法は、コンピューター実行可能命令の一般的なコンテキストで説明されることができ、このコンピューター実行可能命令は、ソフトウェア、アプリケーション、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手順、モジュール、機能等を含むことが可能である。プログラムコードは、コンピューターのプロセッサーにローカルな及び／又はリモートな両方を含む、１つ又は複数のコンピューター読み取り可能メモリデバイスに記憶されることが可能である。本方法は、多数のコンピューターデバイスによる分散コンピューティング環境において実施されることもできる。更に、本明細書において説明される特徴は、プラットフォームに非依存であり、また、様々なプロセッサーを有する様々なコンピューティングプラットフォーム上で実現されることが可能である。

＜マルチスクリーン縮小・拡大ジェスチャー＞
[0029] 図３は、マルチスクリーンシステム３０２上におけるマルチスクリーン縮小・拡大ジェスチャーの例３００を示し、これらの例において、マルチスクリーンシステム３０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム３０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム３０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン３０４と第２スクリーン３０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム３０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン縮小・拡大ジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0030] マルチスクリーン縮小ジェスチャーは、マルチスクリーンシステムの複数のスクリーン上における表示オブジェクトを縮小するために用いられることが可能である。あるいはまた、マルチスクリーン拡大ジェスチャーは、マルチスクリーンシステムの複数のスクリーン上における表示のための表示オブジェクトを拡大するために用いられることが可能である。マルチスクリーンシステム３０２の第１ビュー３０８において、第１スクリーン３０４上に第１ジャーナルページ３１０が表示され、第２スクリーン３０６上に第２ジャーナルページ３１２が表示される。入力認識システム１１０は、第１スクリーン３０４において第１入力３１４を認識するように実現され、ここで、当該第１入力は、第１モーション入力３１６をも含む。入力認識システム１１０はまた、第２スクリーン３０６において第２入力３１８を認識することも可能であり、ここで、当該第２入力は、第２モーション入力３２０をも含み、第１入力が認識されるのとほぼ同じ時に、第２入力が認識される。

[0031] ジェスチャーモジュール１０８は、認識された第１及び第２入力３１４，３１８と関係付いているモーション入力３１６，３２０からマルチスクリーン縮小ジェスチャーを判定するように実現される。この縮小ジェスチャーは、表示されたジャーナルページ３１０，３１２を縮小するのに有効な、第１及び第２モーション入力のスクリーン間における連係動作として識別されることが可能である。具体化において、入力認識システム１１０は、第１及び第２入力間の距離がモーション入力と共に変化（例えば減少）することを認識することが可能である。この距離の変化はまた、最小限の距離の閾値を有することもできる。ジェスチャーモジュール１０８は、次に、第１及び第２入力間の距離の減少から縮小ジェスチャーを判定することが可能である。

[0032] いくつかの実施態様において、マルチスクリーンデバイス上の第１及び第２スクリーンを隔てるベゼル等の、複数のスクリーンによって共有されるエッジ近傍の限定された区域又は領域内で縮小ジェスチャーのモーション入力が認識された場合に、マルチスクリーン縮小ジェスチャーが判定される。ベゼル近傍の当該区域又は領域は、縮小ジェスチャーが認識される、エッジ即ち境界をなす矩形からの最小限の距離として、定義されることが可能である。他の実施態様において、例えば縮小ジェスチャーが、隣り合ったエッジ上でほぼ同時に入力を行う動作（例えば、指のタッチ接触）、第１入力３１４を保持しながら第２モーション入力３２０をベゼルの方にスライドさせる動作（例えば、一方の指を保持しながら他方の指を共通のエッジの方にスライドさせる）、又は、ほぼ同時に両方の指を持ち上げて縮小ジェスチャーを合成する動作、から成る場合等には、細分化された縮小ジェスチャーがインクリメンタルに認識されることができる。加えて、ユーザーは、拡大及び縮小ジェスチャーを２つのジェスチャー状態の間で行き来させて反対の方向に入力した後、最後に第１及び第２入力を持ち上げることが可能である。ユーザーインターフェース上のダブルタップジェスチャーと同じように、アプリケーションは、細分化されたジェスチャーのいくつか又は全てを含む高水準の合成された縮小及び／又は拡大ジェスチャーを容認することが可能である。

[0033] マルチスクリーンシステム３０２の第２ビュー３２２は、ジャーナルページ３１０，３１２が縮小ジェスチャーに応答して元の場所３２４からある方向３２６に縮小される推移を示す。マルチスクリーンシステム３０２の第３ビュー３２８は、表示のために縮小されたジャーナルページ３１０，３１２を示す。縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。この例において、縮小ジェスチャーは、ジャーナルページを縮小し、マルチスクリーンシステム３０２上の仮想デスクトップ３３０にズームアウトする。仮想デスクトップ３３０は、他のジャーナル又は本へと移動し、ジャーナルページ間で表示オブジェクトをドラッグし、又は、特定の個別のノート、電子書籍、ジャーナル、若しくは文書の外部において、素早くアクセスして視認できる付箋やＴｏＤｏリストのような覚え書きを残すためのスペースとして、用いられることができる。代替の移動可能ビューは、ノートの多数のページに関するサムネイル画像の編成ビュー（例えば、「ライトテーブルビュー」）や、ノートから突き出した多数のページ、ページタブ、及び／又はブックマークを有する、現在のノートの最小化又は縮小化バージョン、並びに仮想デスクトップ３３０に類似した囲い（例えば、「バタフライビュー」）や、多数の本及び／又はジャーナルにわたる「ライブラリビュー」や、ホームスクリーンを含むことができる。

[0034] 第３ビュー３２８から、第１ビュー３０８に示されるようなジャーナルページの全画面ビューに戻るために、マルチスクリーン拡大ジェスチャーが用いられることが可能である。ジェスチャーモジュール１０８はまた、マルチスクリーンシステムの第３ビュー３２８に示された縮小表示からジャーナルページ３１０，３１２を拡大するのに有効であるモーション入力のスクリーン間における連係動作として識別されることが可能な、マルチスクリーン拡大ジェスチャーを判定するようにも実現される。具体化において、入力認識システム１１０は、入力間の距離がモーション入力と共に変化（例えば増加）することを認識することが可能である。ジェスチャーモジュール１０８は、次に、入力間の距離の増加から拡大ジェスチャーを判定することが可能である。マルチスクリーンシステム３０２の第３ビュー３２８から第１ビュー３０８へ戻る推移は、ジャーナルページ３１０，３１２が第１及び第２スクリーン上において全画面表示に拡大されることを示す。拡大ジェスチャーは、表示オブジェクトが拡大された時にズームインの様相をもたらす。

[0035] モーション方向の図示と同様に、第１及び第２入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。加えて、多数の指及び／又は接触を用いた入力から認識され判定されることができる、両手を使った伸縮ジェスチャーのように、２つ以上のスクリーンにわたって行われる３本、４本、若しくは５本の指によるマルチスクリーン縮小又は拡大ジェスチャーも予期される。

[0036] 図４は、マルチスクリーン縮小・拡大ジェスチャーの例示の方法４００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0037] ブロック４０２において、第１入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、この第１入力は第１モーション入力を含む。例えば、入力認識システム１１０は、マルチスクリーンシステム３０２の第１スクリーン３０４において第１入力３１４を認識し、この第１入力は第１モーション入力３１６を含む。ブロック４０４において、第２入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、この第２入力は第２モーション入力を含む。例えば、入力認識システム１１０は、第２スクリーン３０６において第２入力３１８をも認識し、この第２入力は第２モーション入力３２０を含み、第１入力が認識されるのとほぼ同じ時に、第２入力が認識される。これに代えて、又は加えて、第１スクリーン３０４における第１入力３１４は、もしそれ以降に第２入力が与えられなければ当該第１入力が他の単独のスクリーンジェスチャーとして処理されることとなる（例えば５００ｍｓの）タイムアウトを、入力認識システム１１０について開始することができる。

[0038] ブロック４０６において、第１及び第２モーション入力に基づいて第１及び第２入力間の距離の変化が認識される。例えば、入力認識システム１１０は、第１及び第２入力３１４，３１８間の距離がモーション入力と共に変化（例えば増加又は減少）することを認識する。ブロック４０８において、第１及び第２入力間の距離変化が距離の減少であるかどうかについて判定が行われる。

[0039] もし第１及び第２入力の間で距離が減少したら（即ち、ブロック４０８からの「Ｙｅｓ」）、その場合は、ブロック４１０において、縮小ジェスチャーが判定され、この縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。例えば、ジェスチャーモジュール１０８は、第１及び第２入力間の距離を減少させる第１及び第２モーション入力に基づいて、縮小ジェスチャーを判定する。この縮小ジェスチャーは、表示されたジャーナルページ３１０，３１２等の表示オブジェクトを縮小するのに有効な、第１及び第２モーション入力のスクリーン間における連係動作として識別されることが可能である。この縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。

[0040] もし第１及び第２入力の間で距離が増加したら（即ち、ブロック４０８からの「Ｎｏ」）、その場合は、ブロック４１２において、拡大ジェスチャーが判定され、この拡大ジェスチャーは、表示オブジェクトが拡大された時にズームインの様相をもたらす。例えば、ジェスチャーモジュール１０８は、第１及び第２入力間の距離を増加させる第１及び第２モーション入力に基づいて、拡大ジェスチャーを判定する。この拡大ジェスチャーは、表示されたジャーナルページ３１０，３１２がマルチスクリーンシステム３０２の第１及び第２スクリーン上において全画面表示に拡大される場合のように、表示オブジェクトを拡大するのに有効である第１及び第２モーション入力のスクリーン間における連係動作として識別されることが可能である。

＜マルチスクリーン縮小・収納ジェスチャー＞
[0041] 図５は、マルチスクリーンシステム５０２上におけるマルチスクリーン縮小・収納ジェスチャーの例５００を示し、これらの例において、マルチスクリーンシステム５０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム５０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム５０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン５０４と第２スクリーン５０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム５０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン縮小・収納ジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0042] マルチスクリーン縮小・収納ジェスチャーは、例えば表示オブジェクトをサムネイル画像としてマルチスクリーンシステムのベゼルの下に保存する等、表示オブジェクトを収納するために用いられることが可能である。マルチスクリーンシステム５０２の第１ビュー５０８において、第１スクリーン５０４上に第１ジャーナルページ５１０が表示され、第２スクリーン５０６上に第２ジャーナルページ５１２が表示される。入力認識システム１１０は、第１スクリーン５０４において第１スクリーン領域５１６へ向かう第１モーション入力５１４を認識するように実現され、ここで、当該第１モーション入力は、第１ジャーナルページ５１０が選択された時に認識される。入力認識システム１１０はまた、第２スクリーン５０６において第２スクリーン領域５２０へ向かう第２モーション入力５１８を認識することも可能であり、ここで、当該第２モーション入力は、第１ジャーナルページ５１０が選択された時に認識される。第１スクリーン５０４の第１スクリーン領域５１６及び第２スクリーン５０４の第２スクリーン領域５２０は、マルチスクリーンシステム５０２の第２ビュー５２２に示されている。

[0043] ジェスチャーモジュール１０８は、認識されたモーション入力５１４，５１８から縮小・収納ジェスチャーを判定するように実現される。この縮小・収納ジェスチャーは、表示されたジャーナルページ５１０，５１２を第１及び第２スクリーン領域５１６，５２０内に縮小して、第１及び第２スクリーンを隔てるベゼル５２４の近傍にこれらジャーナルページを収納するのに有効な、第１及び第２モーション入力のスクリーン間における連係動作として識別されることが可能である。オプションとして、ジェスチャーモジュール１０８はまた、第１スクリーン５０４上のジャーナルページ５１０に対する第１入力と第２スクリーン５０６上の第２ジャーナルページ５１２に対する第２入力との間の距離を減少させる第１及び第２モーション入力５１４，５１８から、縮小・収納ジェスチャーを判定することもできる。

[0044] マルチスクリーンシステム５０２の第２ビュー５２２は、ジャーナルページ５１０，５１２が縮小・収納ジェスチャーに応答して元の場所５２６からある方向５２８に縮小される推移を示す。マルチスクリーンシステム５０２の第３ビュー５３０は、ベゼル５２４の近傍に収納され表示のためのサムネイル画像５３２として保存された表示オブジェクト（例えばジャーナルページ）を示す。この例において、より多くの仮想デスクトップ５３４が表示され、また、ジャーナルページがサムネイル画像５３２として収納されている間に、デスクトップ上の他の表示オブジェクトのうち任意のものがアクセス可能である。別の例において、（例えば、図１においてコンピューティングデバイス１０２上に「ＺＥＡＬ」というテキストのスケッチとして表示された）表示オブジェクト５３６がマルチスクリーンシステム５０２のベゼル５２４の下に収納される。

[0045] 表示オブジェクトが収納され多くの他の表示オブジェクトへのアクセスのため仮想デスクトップ５３４が表示されると、ユーザーは、多数のタスクを多数のジャーナル又はアプリケーションビューに交互配置し、こうして容易に収納されたアイテムに戻ることが可能である。加えて、収納されたアイテムは、当該アイテムを他の仕事や覚え書きの場面に取り込むために、ノート又は開いたノートのジャーナルページ上へドロップされることが可能である。

[0046] 様々な実施態様において、マルチスクリーン縮小・収納ジェスチャーは、スクリーンビュー及び／又はアプリケーションの異なるワーキングセットの間でマルチタスクを行うための汎用的なメカニズムとして用いられることができる。例えば、もし第１スクリーン５０４上にウェブブラウザーが表示され第２スクリーン５０６上にジャーナルページが表示されているのなら、ユーザーは、スクリーンビューの当該ペアを縮小・収納することが可能である。ユーザーはまた、多数のスクリーンビューを縮小・収納することもでき、その場合、デバイスのベゼル５２４に沿って収納されたビューのセットは、当該ユーザーが異なるアプリケーションやビューを切り替えることが可能であるタスクバーとして現れる。

[0047] 実施態様において、ジャーナルページのサムネイル画像５３２は、収納される際に視覚的なクリップボードに保存される。加えて、このサムネイル画像５３２は、表示オブジェクトが収納された時に、ジャーナルページへの選択可能リンクとして第１及び／又は第２スクリーン上に表示されることができる。この第３ビュー５３０から、入力認識システム１１０は、セレクト入力を認識し、ジェスチャーモジュール１０８は、このセレクト入力を、例えばマルチスクリーンシステム５０２の第１ビュー５０８に示されるように第１及び第２スクリーン上の表示のためにジャーナルページ５１０，５１２を拡大するのに有効な、サムネイル画像５３２上のタップジェスチャーとして判定することが可能である。

[0048] スクリーン領域と同様に、第１及び第２入力の表現並びにモーション方向の図示は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0049] 図６は、マルチスクリーン縮小・収納ジェスチャーの例示の方法６００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0050] ブロック６０２において、第１スクリーン領域へ向かう第１モーション入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、この第１モーション入力は表示オブジェクトを選択するために認識される。例えば、入力認識システム１１０は、第１スクリーン５０４において第１スクリーン領域５１６へ向かう第１モーション入力５１４を認識し、この第１モーション入力は第１ジャーナルページ５１０が選択された時に認識される。ブロック６０４において、第２スクリーン領域へ向かう第２モーション入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、この第２モーション入力は表示オブジェクトを選択するために認識される。例えば、入力認識システム１１０は、第２スクリーン５０６において第２スクリーン領域５２０へ向かう第２モーション入力５１８をも認識し、この第２モーション入力は第２ジャーナルページ５１２が選択された時に認識される。

[0051] ブロック６０６において、第１及び第２スクリーン領域内でそれぞれ認識された第１及び第２モーション入力から縮小・収納ジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたモーション入力５１４，５１８から縮小・収納ジェスチャーを判定する。この縮小・収納ジェスチャーは、表示されたジャーナルページ５１０，５１２を第１及び第２スクリーン領域５１６，５２０内に縮小して、第１及び第２スクリーンを隔てるベゼル５２４の近傍にこれらジャーナルページを収納するのに有効な、第１及び第２モーション入力のスクリーン間における連係動作として識別されることが可能である。これに代えて、又は加えて、縮小・収納ジェスチャーは、第１スクリーン上の第１ジャーナルページ５１０に対する第１入力と第２スクリーン上の第２ジャーナルページ５１２に対する第２入力との間の距離を減少させる、第１及び第２モーション入力から判定される。

[0052] ブロック６０８において、第１及び第２スクリーンを隔てるマルチスクリーンシステムのベゼルの近傍に表示オブジェクトが収納される。例えば、ジャーナルページ５１０，５１２（例えば表示オブジェクト）が、ベゼル５２４の近傍に収納され、表示のためにサムネイル画像５３２として保存される。実施態様において、このサムネイル画像５３２は、収納されたジャーナルページへの選択可能リンクであり、及び／又は、当該表示オブジェクトは、視覚的なクリップボードに保存される。

[0053] ブロック６１０において、収納されている表示オブジェクト上のタップジェスチャーとしてセレクト入力が認識され、ブロック６１２において、このタップジェスチャーに応答して第１及び第２スクリーン上の表示のために当該表示オブジェクトが拡大される。例えば、入力認識システム１１０は、セレクト入力を認識し、ジェスチャーモジュール１０８は、このセレクト入力を、マルチスクリーンシステム５０２の第１及び第２スクリーン上の表示のためにジャーナルページ５１０，５１２を拡大するのに有効な、サムネイル画像５３２上のタップジェスチャーとして判定する。

＜マルチスクリーンデュアルタップジェスチャー＞
[0054] 図７は、マルチスクリーンシステム７０２上におけるマルチスクリーンデュアルタップジェスチャーの例７００を示し、これらの例において、マルチスクリーンシステム７０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム７０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム７０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン７０４と第２スクリーン７０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム７０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンデュアルタップジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0055] マルチスクリーンデュアルタップジェスチャーは、マルチスクリーンシステムの複数のスクリーン上に表示されている表示オブジェクトを拡大又は収納するために用いられることが可能である。例えば、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第１及び第２スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第１及び第２スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。

[0056] マルチスクリーンシステム７０２の第１ビュー７０８において、第１スクリーン７０４上に第１ジャーナルページ７１０が表示され、第２スクリーン７０６上に第２ジャーナルページ７１２が表示される。入力認識システム１１０は、第１スクリーン７０４において第１ジャーナルページ７１０に対する第１タップ入力７１４を認識するように実現される。入力認識システム１１０はまた、第２スクリーン７０６において第２ジャーナルページ７１２に対する第２タップ入力７１６を認識することも可能であり、ここで、当該第２タップ入力は、第１タップ入力が認識されるのとほぼ同じ時に認識される。

[0057] あるいはまた、デュアルタップジェスチャー入力を引き起こすために、（例えば、親指、親指以外の指、掌等による）単一の入力が第１及び第２スクリーンの両方にほぼ同時に接触することができる。例えば、マルチスクリーンデバイスはスクリーンの間に骨組み、ハウジング、若しくはベゼルを殆ど又は全く有さないことがあり、その場合、単一の入力が複数のスクリーンに共に接触することが可能である。更に、２つの（又はそれより多い）独立したスクリーンが、それらスクリーンの間に置いた親指又は親指以外の指が（例えば本のページの間に置いた指のように）両方のスクリーンと接触するように、配置されることができる。

[0058] ジェスチャーモジュール１０８は、認識されたタップ入力７１４，７１６からマルチスクリーンデュアルタップジェスチャーを判定するように実現される。このデュアルタップジェスチャーは、第１及び第２タップ入力のスクリーン間における連係動作として識別されることが可能である。マルチスクリーンシステム７０２の第２ビュー７１８は、デュアルタップジェスチャーが、第１及び第２スクリーンを隔てるマルチスクリーンシステムのベゼル７２２の近傍にジャーナルページをサムネイル画像７２０として収納するのに有効であることを示す。この例において、仮想デスクトップ７２４が表示され、また、ジャーナルページがサムネイル画像７２０として収納されている間に、デスクトップ上の他の表示オブジェクトのうち任意のものがアクセス可能である。

[0059] マルチスクリーンシステム７０２の第２ビュー７１８はまた、デュアルタップジェスチャーが、表示オブジェクトをマルチスクリーンシステムの第１及び第２スクリーン上における表示のために拡大するのに有効であることをも示す。例えば、入力認識システム１１０は、第１スクリーン７０４においてサムネイル画像７２０に対する第１タップ入力７２６を認識し、第２スクリーン７０６においてサムネイル画像７２０に対する第２タップ入力７２８を認識するように実現され、ここで、第２タップ入力は、第１タップ入力が認識されるのとほぼ同じ時に認識される。ジェスチャーモジュール１０８は、その次に、認識されたタップ入力７２６，７２８からマルチスクリーンデュアルタップジェスチャーを判定することが可能であり、当該デュアルタップジェスチャーは、ジャーナルページ７１０，７１２を、マルチスクリーンシステム７０２の第１ビュー７０８に示されるような第１及び第２スクリーン上における表示のために拡大するのに有効である。

[0060] マルチスクリーンシステム７０２の第３ビュー７３０は、第１スクリーン上に全画面表示されている表示オブジェクトの第１部分と第２スクリーン上に縮小表示されている表示オブジェクトの第２部分を含む、分割画面ビューを示す。例えば、第１ジャーナルページ７１０が第１スクリーン７０４上に全画面表示され、また、第２ジャーナルページ７１２が第２スクリーン７０６上において表示のために収納される。実施態様において、入力認識システム１１０は、例えばマルチスクリーンシステム７０２の第２ビュー７１８に示されたタップ入力７２６，７２８の一方などの、第１又は第２スクリーン上の一方におけるジャーナルページ７１０，７１２のうちの１つに対する単一のセレクト入力を認識することが可能である。この単一のタップ入力は、例えばマルチスクリーンシステム７０２の第３ビュー７３０に示されるような、ジャーナルページの分割画面ビューを開始するのに有効である。

[0061] 第１及び第２入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0062] 図８は、マルチスクリーンデュアルタップジェスチャーの例示の方法８００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0063] ブロック８０２において、表示オブジェクトに対する第１タップ入力がマルチスクリーンシステムの第１スクリーンにおいて認識される。例えば、入力認識システム１１０は、第１スクリーン７０４において第１ジャーナルページ７１０に対する第１タップ入力７１４を認識する。ブロック８０４において、表示オブジェクトに対する第２タップ入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、当該第２タップ入力は、第１タップ入力が認識されるのとほぼ同じ時に認識される。例えば、入力認識システム１１０は、第２スクリーン７０６において第２ジャーナルページ７１２に対する第２タップ入力７１６をも認識し、この第２タップ入力は、第１タップ入力が認識されるのとほぼ同じ時に認識される。

[0064] ブロック８０６において、認識された第１及び第２タップ入力からデュアルタップジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたタップ入力７１４，７１６からマルチスクリーンデュアルタップジェスチャーを判定する。このデュアルタップジェスチャーは、第１及び第２タップ入力のスクリーン間における連係動作として識別されることが可能であり、また、マルチスクリーンシステム７０２の第１及び第２スクリーン上に表示されている表示オブジェクトを拡大又は収納するのに有効である。あるいはまた、第１及び第２スクリーンの両方にほぼ同時に接触する（例えば、親指、親指以外の指、掌等による）単一の入力が、認識され、デュアルタップジェスチャー入力として判定されることができる。実施態様において、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第１及び第２スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第１及び第２スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。

[0065] ブロック８０８において、表示オブジェクトの分割画面ビューを開始するのに有効な、当該表示オブジェクトに対する単一のセレクト入力が第１又は第２スクリーン上の一方において認識される。例えば、入力認識システム１１０は、マルチスクリーンシステム７０２の第２ビュー７１８に示されたタップ入力７２６，７２８の一方などの、第１又は第２スクリーン上の一方におけるジャーナルページ７１０，７１２のうちの１つに対する単一のセレクト入力を認識する。この単一のタップ入力は、例えばマルチスクリーンシステム７０２の第３ビュー７３０に示されるような、ジャーナルページの分割画面ビューを開始するのに有効である。

＜マルチスクリーンホールド・タップジェスチャー＞
[0066] 図９は、マルチスクリーンシステム９０２上におけるマルチスクリーンホールド・タップジェスチャーの例９００を示し、これらの例において、マルチスクリーンシステム９０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム９０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム９０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン９０４と第２スクリーン９０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム９０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・タップジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0067] マルチスクリーンホールド・タップジェスチャーは、例えばオブジェクトをジャーナルページ上に移動若しくはコピーする、又はそのオブジェクトをノートブックに取り込むといったように、表示オブジェクトを１つの表示位置から別の位置へ移動及び／又はコピーするために用いられることが可能である。様々な実施態様において、全般的な機能は、あるコマンドに対する一方のスクリーン上のホールド入力と他方のスクリーン上でそのコマンドを適用するための当該他方のスクリーン上のタップ入力、あるパラメーター値（例えば、色、ブラシの太さ、画像効果、フィルター等）に対するホールド入力と他方のスクリーン上に表示されたオブジェクトに対してそのパラメーター値を適用するための当該他方のスクリーン上のタップ入力、及び／又は、タグ、カテゴリー、若しくは他のメタデータに対するホールド入力と他方のスクリーン上に表示されたオブジェクトに対してその特徴を適用するためのタップ入力、を含むことができる。１つの例において、ジャーナル又はノートは、そのジャーナル又はノートのあるページ上で見ることができるカスタムステッカーを含むことができる。ステッカーは、（例えば一方のスクリーン上に表示されたような）あるページ上でホールドされ、次いで、当該ステッカーを（例えば他方のスクリーン上の）別のページ上のタップ位置に適用するためにタップされることが可能である。ステッカーは、それに付随した「支出」、「ＴｏＤｏ」、「個人」、「レシピ」等の特定の意味を有することができ、また、ステッカーは、その後の検索及び編成を容易にするためのコンテンツにタグを付けるために利用されることが可能である。

[0068] マルチスクリーンシステム９０２の第１ビュー９０８において、第１スクリーン９０４上にジャーナルページ９１０が表示され、第２スクリーン９０６の仮想デスクトップ９１４上に表示オブジェクト９１２等の様々なオブジェクトが表示される。入力認識システム１１０は、第２スクリーン９０６においてホールド入力９１６を認識するように実現され、ここで、当該ホールド入力は、第２スクリーン９０６上の表示オブジェクト９１２を選択するためにホールドされた時に認識される。入力認識システム１１０はまた、第１スクリーン９０４においてタップ入力９１８を認識することも可能であり、ここで、当該タップ入力は、表示オブジェクト９１２が第２スクリーン９０６上で選択されている間に認識される。

[0069] ジェスチャーモジュール１０８は、認識されたホールド及びタップ入力９１６，９１８からマルチスクリーンホールド・タップジェスチャーを判定するように実現される。このホールド・タップジェスチャーは、ホールド及びタップ入力のスクリーン間における連係動作として識別されることが可能であり、また、このジェスチャーは、９２０において示されるように、表示オブジェクト９１２を、第２スクリーン９０６上の表示位置から第１スクリーン９０４上の表示のためのタップ入力位置へ移動するのに有効である。マルチスクリーンシステム９０２の第２ビュー９２２は、デュアルタップジェスチャーが、表示オブジェクト９１２を第２スクリーン９０６上の表示位置９２４から移動し、この表示オブジェクト９１２を、第１スクリーン９０４上のタップ入力位置９２６に表示されているジャーナルページ９１０上の表示のために取り込むのに有効であることを示す。マルチスクリーンシステム９０２の第３ビュー９２８は、デュアルタップジェスチャーが、表示オブジェクト９１２をコピーしてオブジェクトコピー９３０を生成し、第１スクリーン９０４上のタップ入力位置９３２において当該オブジェクトコピー９３０の表示を開始するのに有効であることを示す。

[0070] マルチスクリーンホールド・タップジェスチャーの他の実施態様において、入力認識システム１１０は、第１スクリーン９０４上の追加の表示オブジェクト（例えばジャーナルページ９１０）に対するタップ入力９１８を認識することが可能であり、この場合、ホールド・タップジェスチャーは、表示オブジェクト９１２を当該追加の表示オブジェクトに関連付ける（例えば、表示オブジェクト９１２をジャーナルページ９１０に関連付ける）のに有効である。加えて、表示オブジェクトはある機能を代表することができ、ホールド・タップジェスチャーは、表示オブジェクトの当該機能を、マルチスクリーンシステム９０２の第１又は第２スクリーン上のタップ入力位置における追加の表示オブジェクトに対して適用するのに有効である。

[0071] ホールド及びタップ入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0072] 図１０は、マルチスクリーンホールド・タップジェスチャーの例示の方法１０００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0073] ブロック１００２において、ホールド入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、このホールド入力は第１スクリーン上の表示オブジェクトを選択するためにホールドされた時に認識される。例えば、入力認識システム１１０は、スクリーン９０６においてホールド入力９１６を認識し、このホールド入力はスクリーン９０６上の表示オブジェクト９１２を選択するためにホールドされた時に認識される。ブロック１００４において、タップ入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、このタップ入力は表示オブジェクトが選択されている間に認識される。例えば、入力認識システム１１０は、スクリーン９０４においてタップ入力９１８をも認識し、このタップ入力は表示オブジェクト９１２がスクリーン９０６上で選択されている間に認識される。実施態様において、このタップ入力は、第２スクリーン上の追加の表示オブジェクトに対するタップ入力として認識されることができ、ホールド・タップジェスチャーは、表示オブジェクトを当該追加の表示オブジェクトに関連付けるのに有効である。

[0074] ブロック１００６において、認識されたホールド及びタップ入力からホールド・タップジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたホールド及びタップ入力９１６，９１８からマルチスクリーンホールド・タップジェスチャーを判定し、このホールド・タップジェスチャーは、ホールド及びタップ入力のスクリーン間における連係動作として識別されることが可能である。様々な実施態様において、ホールド・タップジェスチャーは、表示オブジェクトを第１スクリーン上の表示位置から第２スクリーン上の表示のためのタップ入力位置へ移動する（ブロック１００８）、表示オブジェクトを第２スクリーン上のタップ入力位置に表示されているジャーナルページ上の表示のために取り込む（ブロック１０１０）、表示オブジェクトをコピーしてオブジェクトコピーを生成し、第２スクリーン上のタップ入力位置において当該オブジェクトコピーを表示する（ブロック１０１２）、及び／又は、表示オブジェクトの機能を第２スクリーン上のタップ入力位置における追加の表示オブジェクトに対して適用する（ブロック１０１４）のに有効である。

＜マルチスクリーンホールド・ドラッグジェスチャー＞
[0075] 図１１は、マルチスクリーンシステム１１０２上におけるマルチスクリーンホールド・ドラッグジェスチャーの例１１００を示し、これらの例において、マルチスクリーンシステム１１０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム１１０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム１１０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン１１０４と第２スクリーン１１０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム１１０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・ドラッグジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0076] マルチスクリーンホールド・ドラッグジェスチャーは、表示オブジェクトの第１部分の表示を一方のスクリーン上に保持すると共に、別のスクリーン上に表示されているその表示オブジェクトの第２部分をドラッグして分割画面ビューのために当該表示オブジェクトの第２部分を収納するために、用いられることが可能である。あるいはまた、ホールド・ドラッグジェスチャーは、表示オブジェクトの第１部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第２部分をドラッグして別のスクリーン上にその表示を拡大するために、用いられることが可能である。ドラッグするジェスチャーの方向は、異なる意味論（例えば、上へ動く、下へ動く、ベゼルに向かう、ベゼルから離れる等）に基づいて判定されることもできる。マルチスクリーンホールド・ドラッグジェスチャーに関しては、４つ乃至８つの基本方向が、異なるアクションに対して定義されることが可能である。

[0077] マルチスクリーンシステム１１０２の第１ビュー１１０８において、第１スクリーン１１０４上に第１ジャーナルページ１１１０が表示され、第２スクリーン１１０６上に第２ジャーナルページ１１１２が表示される。入力認識システム１１０は、第１スクリーン１１０４においてホールド入力１１１４を認識するように実現され、ここで、当該ホールド入力は、適所にホールドされた時に認識される。入力認識システム１１０はまた、第２スクリーン１１０６においてモーション入力１１１６を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に、表示オブジェクト（例えばジャーナルページ１１１２）を選択するために認識される。

[0078] ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１１１４，１１１６からマルチスクリーンホールド・ドラッグジェスチャーを判定するように実現される。このホールド・ドラッグジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、また、このジェスチャーは、第１ジャーナルページ１１１０の表示を第１スクリーン１１０４上に保持すると共に、第２スクリーン１１０６上に表示されている第２ジャーナルページ１１１２をドラッグしてジャーナルページの分割画面ビューのために当該第２ジャーナルページを収納するのに有効である。マルチスクリーンシステム１１０２の第２ビュー１１１８は、第１ジャーナルページ１１１０が第１スクリーン１１０４上に表示のため保持され、第２ジャーナルページ１１１２がホールド・ドラッグジェスチャーに応答してジャーナルページの分割画面ビューのために第２スクリーン１１０６上においてマルチスクリーンシステムのベゼル１１２０の近傍に収納されることを示す。実施態様において、この第２ジャーナルページ１１１２は、サムネイル画像として収納され、このサムネイル画像は、当該第２ジャーナルページ１１１２への選択可能リンクとすることもできる。

[0079] マルチスクリーンシステム１１０２の第３ビュー１１２２は、マルチスクリーンホールド・ドラッグジェスチャーが、表示オブジェクトの第１部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第２部分をドラッグして別のスクリーン上にその表示を拡大する、即ち表示オブジェクトのマルチスクリーン表示を開始するために、用いられることが可能であることを示す。例えば、入力認識システム１１０は、第１スクリーン１１０４においてホールド入力１１２４を認識することが可能であり、ここで、当該ホールド入力は、適所にホールドされた時に認識される。入力認識システム１１０はまた、第２スクリーン１１０６においてモーション入力１１２６を認識することも可能であり、ここで、当該モーション入力は、（例えば第１ジャーナルページ１１１０をホールドするように）ホールド入力が適所に留まっている間に、収納されている時の第２ジャーナルページ１１１２（例えば、第２ビュー１１１８に示されるようなジャーナルページ１１１２）を選択するために認識される。ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１１２４，１１２６から、この収納された第２ジャーナルページ１１１２を第２スクリーン１１０６上の表示のために方向１１２８へ拡大するのに有効なマルチスクリーンホールド・ドラッグジェスチャーを判定することが可能である。

[0080] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0081] 図１２は、マルチスクリーンホールド・ドラッグジェスチャーの例示の方法１２００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0082] ブロック１２０２において、ホールド入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、このホールド入力は適所にホールドされた時に認識される。例えば、入力認識システム１１０は、第１スクリーン１１０４においてホールド入力１１１４を認識し、ここで、当該ホールド入力は、適所にホールドされた時に認識される。ブロック１２０４において、モーション入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に、表示オブジェクトを選択するために認識される。例えば、入力認識システム１１０は、第２スクリーン１１０６においてモーション入力１１１６をも認識し、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に、第２ジャーナルページ１１１２を選択するために認識される。

[0083] ブロック１２０６において、認識されたホールド及びモーション入力からホールド・ドラッグジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１１１４，１１１６からマルチスクリーンホールド・ドラッグジェスチャーを判定する。このホールド・ドラッグジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。様々な実施態様において、ホールド・ドラッグジェスチャーは、表示オブジェクトの第１部分の表示を第１スクリーン上に保持すると共に、第２スクリーン上に表示されているその表示オブジェクトの第２部分をドラッグして分割画面ビューのために当該表示オブジェクトの第２部分を収納する（ブロック１２０８）、表示オブジェクトの第１部分の表示を第１スクリーン上に保持すると共に、その表示オブジェクトの収納された第２部分をドラッグして第２スクリーン上にその表示を拡大する（ブロック１２１０）、表示オブジェクトの表示を第１スクリーン上に保持すると共に、表示オブジェクトの当該表示を第２スクリーン上に拡大する（ブロック１２１２）、及び／又は、表示オブジェクトのマルチスクリーン表示を開始する（ブロック１２１４）のに有効である。

＜マルチスクリーンホールド・ページフリップジェスチャー＞
[0084] 図１３は、マルチスクリーンシステム１３０２上におけるマルチスクリーンホールド・ページフリップジェスチャーの例１３００を示し、これらの例において、マルチスクリーンシステム１３０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム１３０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム１３０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン１３０４と第２スクリーン１３０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム１３０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・ページフリップジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0085] マルチスクリーンホールド・ページフリップジェスチャーは、１つのスクリーン上に表示されているジャーナルページを選択し、本のページを捲るのとほとんど同じように、ジャーナルページを捲って更なる即ち新しい２ページのジャーナルページを表示するために、用いられることが可能である。ジャーナルページは、本のページを前方又は後方へ捲るのとほとんど同じように、２ページの新しいジャーナルページを表示するよう、選択されたジャーナルページの方向へ捲られる。あるいはまた、ホールド・ページフリップジェスチャーは、１つのスクリーン上に表示されているジャーナルページの表示を保持し、ジャーナルページを捲って異なるジャーナルページを別のスクリーン上に表示するために、用いられることが可能である。その後、不連続なジャーナルページが左右に並んで表示されることが可能であり、これは、本に関していえば、本から１ページを抜き取って、それを別のページと左右に並べて見えるように不連続なページ順に配置することに関わるであろう。実施態様において、マルチスクリーンホールド・ページフリップジェスチャーは、２ページの新しいジャーナルページを表示するようにジャーナルページを捲るか、又は、第１ジャーナルページの表示を保持すると共に、不連続な異なる第２ジャーナルページを第１ジャーナルページと左右に並べて表示するようにジャーナルページを捲るか、その何れかであるように設定可能である。

[0086] マルチスクリーンシステム１３０２の第１ビュー１３０８において、第１スクリーン１３０４上に第１ジャーナルページ１３１０が表示され、第２スクリーン１３０６上に第２ジャーナルページ１３１２が表示される。入力認識システム１１０は、第１スクリーン１３０４においてホールド入力１３１４を認識するように実現され、ここで、当該ホールド入力は、第１スクリーン１３０４上に表示されているジャーナルページ１３１０を選択するためにホールドされた時に認識される。入力認識システム１１０はまた、第２スクリーン１３０６においてモーション入力１３１６を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。

[0087] ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１３１４，１３１６からマルチスクリーンホールド・ページフリップジェスチャーを判定するように実現される。このホールド・ページフリップジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、このホールド及びモーション入力は、様々な実施態様において、１つ又は２つの入力デバイス（例えば１本の指又は２本の指）を使った両方のスクリーン上におけるホールド及びドラッグ入力、及び／又は、ホールド入力及び反対側のスクリーン上へのベゼルを横切るドラッグ入力を含むことができる。ホールド・ページフリップジェスチャーは、１又は複数の追加のジャーナルページが捲られて表示される間に第１スクリーン１３０４上でジャーナルページ１３１０を選択するのに有効である。マルチスクリーンシステム１３０２の第２ビュー１３１８は、２ページの追加のジャーナルページ１３２０，１３２２がそれぞれ第１及び第２スクリーン１３０４，１３０６上の表示のために捲られたことを示す。それに代えて、マルチスクリーンシステム１３０２の第３ビュー１３２４は、第１スクリーン１３０４上にジャーナルページ１３１０の表示が保持されると共に、不連続なジャーナルページ１３２２が第２スクリーン１３０６上の左右に並んだ表示のために捲られたことを示す。

[0088] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0089] 図１４は、マルチスクリーンホールド・ページフリップジェスチャーの例示の方法１４００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0090] ブロック１４０２において、ホールド入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、このホールド入力は第１スクリーン上に表示されているジャーナルページを選択するためにホールドされた時に認識される。例えば、入力認識システム１１０は、第１スクリーン１３０４においてホールド入力１３１４を認識し、当該ホールド入力は、第１スクリーン１３０４上に表示されているジャーナルページ１３１０を選択するためにホールドされた時に認識される。ブロック１４０４において、モーション入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に認識される。例えば、入力認識システム１１０は、第２スクリーン１３０６においてモーション入力１３１６をも認識し、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。

[0091] ブロック１４０６において、認識されたホールド及びモーション入力からホールド・ページフリップジェスチャーが判定され、このホールド・ページフリップジェスチャーは、追加のジャーナルページが捲られて表示される間にジャーナルページを選択するのに有効である。例えば、ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１３１４，１３１６からマルチスクリーンホールド・ページフリップジェスチャーを判定する。このホールド・ページフリップジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別される。様々な実施態様において、ホールド・ページフリップジェスチャーは、第１スクリーン上に表示されているジャーナルページを選択すると共に、ジャーナルページを（オプションとして、選択されたジャーナルページの方向へ）捲って２ページの追加のジャーナルページを第１及び第２スクリーン上にそれぞれ１ページずつ表示する（ブロック１４０８）、第１スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを第２スクリーン上に表示する（ブロック１４１０）、及び／又は、第１スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って不連続なジャーナルページを第１ジャーナルページと左右に並べて第２スクリーン上に表示する（ブロック１４１２）のに有効である。

[0092] 実施態様において、ホールド・ページフリップジェスチャーは、（ブロック１４０８を参照して説明されたように）第１スクリーン上に表示されているジャーナルページを選択すると共に、ジャーナルページを捲って２ページの追加のジャーナルページを第１及び第２スクリーン上にそれぞれ１ページずつ表示する、又は、（ブロック１４１０及び１４１２を参照して説明されたように）第１スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを第２スクリーン上に表示するように、設定可能である。

＜マルチスクリーンブックマークホールドジェスチャー＞
[0093] 図１５は、マルチスクリーンシステム１５０２上におけるマルチスクリーンブックマークホールドジェスチャーの例１５００を示し、これらの例において、マルチスクリーンシステム１５０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム１５０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム１５０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン１５０４と第２スクリーン１５０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム１５０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンブックマークホールドジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0094] マルチスクリーンブックマークホールドジェスチャーは、スクリーン上のジャーナルページに対するホールド入力の場所にジャーナルページをブックマークするために用いられることが可能であり、また、当該ジャーナルページに対してこのブックマークが保持されている間、閲覧のために更なるジャーナルページが捲られることが可能である。ブックマークホールドジェスチャーは、本の他のページを次々と捲る間に本の中の場所を憶えておくために、読者が親指又は親指以外の指をページの間に挿む動作を真似たものである。加えて、ブックマークは、ジャーナルページへ戻る選択可能なリンクであり、また、このブックマークのセレクト入力によって、スクリーン上に当該ジャーナルページを表示するようにページが元の状態へと捲られる。

[0095] マルチスクリーンシステム１５０２の第１ビュー１５０８において、第１スクリーン１５０４上に第１ジャーナルページ１５１０が表示され、第２スクリーン１５０６上に第２ジャーナルページ１５１２が表示される。第１ジャーナルページ１５１０は、ブックマークされているジャーナルページ１５１４に重ねて表示される。入力認識システム１１０は、第１スクリーン１５０４においてホールド入力１５１６を認識するように実現され、ここで、当該ホールド入力は、第１スクリーン１５０４上でブックマークされているジャーナルページ１５１４のエッジ近傍の適所にホールドされた時に認識される。入力認識システム１１０はまた、第２スクリーン１５０６においてモーション入力１５１８を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。実施態様において、このモーション入力１５１８は、ジャーナルページ１５１２の外側のエッジに沿って、第２スクリーン１５０６において認識され、また、当該モーション入力は、ジャーナルページ１５１４に対するブックマークが第１スクリーン１５０４上に保持されている間に、１５２０においてジャーナルページを捲るのに有効である。

[0096] ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１５１６，１５１８からマルチスクリーンブックマークホールドジェスチャーを判定するように実現される。このブックマークホールドジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、第１スクリーン１５０４上のホールド入力１５１６の場所にジャーナルページ１５１４をブックマークするのに有効である。実施態様において、ブックマークされているジャーナルページ１５１４及び第１スクリーン上における当該ブックマークの場所を識別するためのブックマーク識別体１５２２が表示される。この例において、ブックマーク識別体１５２２は、ブックマークされているジャーナルページ１５１４の部分的な表示である。ブックマーク及び／又はブックマーク識別体は、第１スクリーン１５０４上でブックマークされているジャーナルページ１５１４への選択可能リンクであり、入力認識システム１１０は、ページを元の状態へと捲って第１スクリーン上にジャーナルページ１５１４を表示するのに有効な、ブックマークのセレクト入力を認識することが可能である。

[0097] マルチスクリーンシステム１５０２の第２ビュー１５２４は、例えばユーザーが２つのスクリーンを持つデバイスを片手で把持しながら更に第１スクリーン１５０４上でジャーナルページ１５１０をブックマークする場合における、代替のホールド入力１５２６を示す。入力認識システム１１０は、第１スクリーン１５０４においてホールド入力１５２６を認識し、また第２スクリーン１５０６においてモーション入力１５２８をも認識するように実現され、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。実施態様において、このモーション入力１５２８は、第２スクリーン１５０６において認識され、また、ブックマークが保持されている間にジャーナルページを捲るのに有効である。具体化において、入力認識システム１１０は、ユーザーがデバイスを把持し且つページをブックマークする可能性が高い領域等の限定された領域において、ブックマークホールドジェスチャーを認識することが可能である。これに代えて、又は加えて、マルチスクリーンシステム１５０２は、ユーザーがデバイスを把持する仕方にページのブックマークが自動的に適応すべく、スクリーンの向きを検知するように実現されることができる。

[0098] マルチスクリーンシステム１５０２の第３ビュー１５３０は、ブックマークが判定されるホールド入力が、ジャーナルページ１５１４のコーナー近傍におけるスライドモーション入力１５３２を含むことが可能であることを示す。スライドモーション入力１５３２は、ホールド入力を開始するためのモーションから継続して行われるものとして認識されることが可能であり、そしてこのスライドモーション入力は、ジャーナルページ１５１４を当該コーナーにブックマークするように判定されることが可能である。ジャーナルページ１５１４に対するブックマークは、他のジャーナルページが１５３４において閲覧のために捲られる間、第１スクリーン１５０４上に保持される。実施態様において、ページを押さえて一時的に場所を憶えておくこと、ブックマークでページの「隅を折る」こと、又は一時的な押さえ動作若しくはブックマークによって指示されるページまで捲って戻ることを識別するように実現されることが可能である様々な技術が存在する。実施態様において、ページの場所を一時的に暗に保存するためにホールド入力が認識されることが可能である。この場合、ユーザーは、その一時的なブックマークを放棄するために単に当該入力を中止するか、又はそれに代えて、保存されたページの場所へページを捲って戻るためにスライドモーション入力を与えることが可能である。別の実施態様において、もしスライドモーション入力がホールド入力とほぼ同時に開始されたら、そのときは、ページの隅を折ったブックマークが生成されることが可能である。別の実施態様において、ページの隅を折ったブックマークは、ジャーナルページの境界の周りの限定された場所において（例えばページのコーナーにおいて）のみ認識されることができるのに対して、一時的に暗にページを押さえる動作は、より広いエリア又は領域に対して実行されることが可能である。

[0099] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0100] 図１６は、マルチスクリーンブックマークホールドジェスチャーの例示の方法１６００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0101] ブロック１６０２において、ホールド入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、このホールド入力は第１スクリーン上に表示されているジャーナルページのエッジ近傍の適所にホールドされた時に認識される。例えば、入力認識システム１１０は、第１スクリーン１５０４においてホールド入力１５１６を認識し、当該ホールド入力は、第１スクリーン１５０４上でブックマークされているジャーナルページ１５１４のエッジ近傍の適所にホールドされた時に認識される。このホールド入力は、ジャーナルページ１５１４のコーナー近傍におけるスライドモーション入力１５３２を含むことが可能である。入力認識システム１１０は、スライドモーション入力を、ホールド入力を開始するためのモーションから継続して行われるものとして認識し、また、ジェスチャーモジュール１０８は、このスライドモーション入力からブックマークホールドジェスチャーを判定してジャーナルページをブックマークする。

[0102] ブロック１６０４において、モーション入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に認識される。例えば、入力認識システム１１０は、第２スクリーン１５０６においてモーション入力１５１８をも認識し、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。入力認識システム１１０は、第２スクリーン１５０６上に表示されている反対側のジャーナルページの外側のエッジに沿って、モーション入力を認識することが可能であり、また、当該モーション入力は、ジャーナルページ１５１４に対するブックマークが第１スクリーン１５０４上に保持されている間に、ジャーナルページを捲るのに有効である。

[0103] ブロック１６０６において、認識されたホールド及びモーション入力からブックマークホールドジェスチャーが判定され、このブックマークホールドジェスチャーは、第１スクリーン上のホールド入力の場所にジャーナルページをブックマークするのに有効である。例えば、ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１５１６，１５１８からマルチスクリーンブックマークホールドジェスチャーを判定する。このブックマークホールドジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。ブックマーク及び／又はブックマーク識別体は、第１スクリーン１５０４上でブックマークされているジャーナルページへの選択可能リンクであり、入力認識システム１１０は、ページを元の状態へと捲って第１スクリーン上にジャーナルページを表示するのに有効な、ブックマークのセレクト入力を認識する。

[0104] ブロック１６０８において、ブックマークされているジャーナルページ及び第１スクリーン上における当該ブックマークの場所を識別するためのブックマーク識別体を表示する。例えば、ブックマークされているジャーナルページ１５１４及び第１スクリーン上における当該ブックマークの場所を識別するために、ブックマーク識別体１５２２が表示される。具体化において、ブックマーク識別体１５２２は、ブックマークされているジャーナルページ自体の部分的な表示とすることが可能である。

＜マルチスクリーンオブジェクトホールド・ページチェンジジェスチャー＞
[0105] 図１７は、マルチスクリーンシステム１７０２上におけるマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例１７００を示し、これらの例において、マルチスクリーンシステム１７０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム１７０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム１７０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン１７０４と第２スクリーン１７０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム１７０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0106] マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーは、例えば表示オブジェクトをジャーナルページ上の表示のために取り込むべく、表示オブジェクト（又はオブジェクト）を１つの表示位置から別の位置へ移動及び／又はコピーするために用いられることが可能である。加えて、表示オブジェクトが１つの表示位置から別の位置へ移動又はコピーされる場合に、相対的な表示位置は保持されることが可能である。これはまた、一組のオブジェクトに対する連続したタップ・セレクト入力によって選択される複数のオブジェクトの選択を含むことも可能であり、その場合、ホールド入力が当該選択をホールドする一方、モーション入力がジャーナルページを変更するように認識される。このジェスチャーは、こうして、ホールドされたオブジェクトの全てを、オブジェクト間の相対的な表示位置及び／又は相対的な空間的関係を保持したまま、表示された新たなジャーナルページへ移動及び／又はコピーするように判定されることが可能である。これに代えて、又は加えて、このジェスチャーは、あるページ上において発生しその後ジャーナルページが捲られる間にホールドされる複数のオブジェクトの選択を含むことが可能であり、オブジェクトの当該選択に追加されグループと一緒に収容されるように、他のページからの更なるオブジェクトが選択される。

[0107] マルチスクリーンシステム１７０２の第１ビュー１７０８において、第１スクリーン１７０４上に第１ジャーナルページ１７１０が表示され、第２スクリーン１７０６上に第２ジャーナルページ１７１２が表示される。入力認識システム１１０は、第１スクリーン１７０４においてホールド入力１７１４を認識するように実現され、ここで、当該ホールド入力は、第１スクリーン１７０４上の表示オブジェクト１７１６を選択するためにホールドされた時に認識される。入力認識システム１１０はまた、第２スクリーン１７０６においてモーション入力１７１８を認識することも可能であり、ここで、当該モーション入力は、表示オブジェクト１７１６が選択されている間に認識され、また、ジャーナルページを１７２０において変更するのに有効である。ジャーナルページが１７２０において変更されると、それに続くジャーナルページ１７２２が表に見える状態となって表示される。実施態様において、モーション入力１７１８は、ジャーナルページ１７１２の外側のエッジに沿って、第２スクリーン１７０６において認識され、また、当該モーション入力は、ジャーナルページ１５１４に対するブックマークが第１スクリーン１７０４上に保持されている間に、１７２０においてジャーナルページを捲るのに有効である。

[0108] ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１７１４，１７１８からマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーを判定するように実現される。このオブジェクトホールド・ページチェンジジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、表示オブジェクト１７１６を現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。マルチスクリーンシステム１７０２の第２ビュー１７２４は、第１スクリーン１７０４上に現在表示されているジャーナルページ１７２６上の表示のために、表示オブジェクト１７１６がジャーナルページ１７１０から移動された（例えば、又はジャーナルページ１７１０からコピーされた）ことを示す。ジャーナルページが変更される一方で、表示オブジェクト１７１６は選択されたままである。入力認識システム１１０は、その後、表示オブジェクト１７１６がホールド入力から解除されたことを認識することが可能であり、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。加えて、表示オブジェクトが１つの表示位置から別の位置へ移動又はコピーされる場合に、表示オブジェクトの相対的な表示位置は保持されることが可能である。

[0109] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0110] 図１８は、マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例示の方法１８００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0111] ブロック１８０２において、ホールド入力がマルチスクリーンシステムの第１スクリーンにおいて認識され、このホールド入力は第１スクリーン上の表示オブジェクトを選択するためにホールドされた時に認識される。例えば、入力認識システム１１０は、第１スクリーン１７０４においてホールド入力１７１４を認識し、当該ホールド入力は、第１スクリーン１７０４上の表示オブジェクト１７１６を選択するためにホールドされた時に認識される。ブロック１８０４において、モーション入力がマルチスクリーンシステムの第２スクリーンにおいて認識され、このモーション入力は、表示オブジェクトが選択されている間に認識され、また、１つ又は複数のジャーナルページを変更するのに有効である。例えば、入力認識システム１１０は、第２スクリーン１７０６においてモーション入力１７１８をも認識し、当該モーション入力は、表示オブジェクト１７１６が選択されている間に認識され、また、ジャーナルページを１７２０において変更するのに有効である。

[0112] ブロック１８０６において、認識されたホールド及びモーション入力からオブジェクトホールド・ページチェンジジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたホールド及びモーション入力１７１４，１７１８からマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーを判定する。このオブジェクトホールド・ページチェンジジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。実施態様において、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクト１７１６を現在表示されているジャーナルページ１７２６上の表示のためにコピーするコピーペースト機能を開始するのに有効である。

[0113] ブロック１８０８において、表示オブジェクトが、ホールド入力から解除された時に認識され、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動及び／又はコピーするのに有効である。例えば、入力認識システム１１０は、表示オブジェクト１７１６がホールド入力から解除された時に認識し、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。マルチスクリーンシステム１７０２の第２ビュー１７２４は、第１スクリーン１７０４上に現在表示されているジャーナルページ１７２６上の表示のために、表示オブジェクト１７１６がジャーナルページ１７１０から移動された（例えば、又はジャーナルページ１７１０からコピーされた）ことを示す。加えて、表示オブジェクトが１つの表示位置から別の位置へ移動又はコピーされる場合に、当該表示オブジェクトの相対的な表示位置は保持される。オブジェクトホールド・ページチェンジジェスチャーはまた、１つの表示位置から別の位置へグループとして移動及び／又はコピーされる複数の表示オブジェクトを選択するのにも有効であることができる。

＜マルチスクリーン同期スライドジェスチャー＞
[0114] 図１９は、マルチスクリーンシステム１９０２上におけるマルチスクリーン同期スライドジェスチャーの例１９００を示し、これらの例において、マルチスクリーンシステム１９０２は、２つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム１９０２は、図１及び２を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム１９０２は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト（例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等）を表示するように実現された、第１スクリーン１９０４と第２スクリーン１９０６を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の１ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム１９０２は、図１に示されたコンピューティングデバイス１０２を参照して説明されたようなジェスチャーモジュール１０８と入力認識システム１１０を含むことが可能であり、また、図２１に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は２つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン同期スライドジェスチャーの実施態様は、２つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。

[0115] マルチスクリーン同期スライドジェスチャーは、表示オブジェクトを１つのスクリーンから別のスクリーン上の表示のために移動する、システムのスクリーン上の表示オブジェクトを異なる表示オブジェクトで置換する、システムのスクリーン上に作業スペースを空けるために表示オブジェクトを移動する、及び／又は、システムのスクリーン上に表示されている１つ又は複数の作業スペース（例えば、アプリケーション、インターフェース等）の間を循環する（cycle through）ために、用いられることが可能である。同期スライドジェスチャーはまた、追加のビューへと移動する、又は現在のビューを異なるスクリーンに再割り当てするために、用いられることもできる。加えて、同期スライドジェスチャーによって、異なるアプリケーション又は作業スペースがスタック上に保持され、前方及び後方へ循環されることが可能である。

[0116] マルチスクリーンシステム１９０２の第１ビュー１９０８において、ジャーナルページ１９１０が、第１スクリーン１９０４から第２スクリーン１９０６上の表示のために移動されつつあるように表示される。入力認識システム１１０は、第１モーション入力が第１スクリーンを横切って特定の方向に移動する時に、第１スクリーン１９０４において第１モーション入力１９１２を認識するように実現される。入力認識システム１１０はまた、第２モーション入力が第２スクリーンを横切って当該特定の方向に移動する時であって第１モーション入力が認識されるのとほぼ同じ時に、第２スクリーン１９０６において第２モーション入力１９１４を認識することも可能である。

[0117] ジェスチャーモジュール１０８は、認識されたモーション入力１９１２，１９１４からマルチスクリーン同期スライドジェスチャーを判定するように実現される。この同期スライドジェスチャーは、これらモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、ジャーナルページ１９１０を第１スクリーン１９０４上の表示から第２スクリーン１９０６上の表示へ移動するのに有効である。

[0118] マルチスクリーンシステム１９０２の第２ビュー１９１６において、第１スクリーン１９０４上に表示された第１ジャーナルページ１９１０と第２スクリーン１９０６上に表示された第２ジャーナルページ１９１８が、異なるジャーナルページで置換されつつあるように示されている。入力認識システム１１０は、第１モーション入力が第１スクリーンを横切って特定の方向に移動する時に、第１スクリーン１９０４において第１モーション入力１９２０を認識することが可能である。入力認識システム１１０はまた、第２モーション入力が第２スクリーンを横切って当該特定の方向に移動する時であって第１モーション入力が認識されるのとほぼ同じ時に、第２スクリーン１９０６において第２モーション入力１９２２を認識することも可能である。ジェスチャーモジュール１０８は、認識されたモーション入力１９２０，１９２２からマルチスクリーン同期スライドジェスチャーを判定することが可能である。マルチスクリーンシステム１９０２の第３ビュー１９２４に示されるように、同期スライドジェスチャーは、ジャーナルページ１９１０，１９１８を移動し及び／又はシステムのスクリーン上の表示のために異なるジャーナルページ１９２６，１９２８で置換するのに有効である。

[0119] モーション入力の様々な表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第１又は第２スクリーンの何れにも適用できる。

[0120] 図２０は、マルチスクリーン同期スライドジェスチャーの例示の方法２０００を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。

[0121] ブロック２００２において、第１モーション入力がマルチスクリーンシステムの第１スクリーンを横切って特定の方向に移動している時に、第１モーション入力が第１スクリーンにおいて認識される。例えば、入力認識システム１１０は、第１モーション入力が第１スクリーンを横切って特定の方向に移動する時に、第１スクリーン１９０４において第１モーション入力１９１２を認識する。ブロック２００４において、第２モーション入力がマルチスクリーンシステムの第２スクリーンを横切って当該特定の方向に移動している時であって第１モーション入力が認識されるのとほぼ同じ時に、第２モーション入力が第２スクリーンにおいて認識される。例えば、入力認識システム１１０は、第２モーション入力が第２スクリーンを横切って当該特定の方向に移動する時であって第１モーション入力が認識されるのとほぼ同じ時に、第２スクリーン１９０６において第２モーション入力１９１４をも認識する。

[0122] ブロック２００６において、認識された第１及び第２モーション入力から同期スライドジェスチャーが判定される。例えば、ジェスチャーモジュール１０８は、認識されたモーション入力１９１２，１９１４からマルチスクリーン同期スライドジェスチャーを判定する。この同期スライドジェスチャーは、第１及び第２モーション入力のスクリーン間における連係動作として識別される。様々な実施態様において、同期スライドジェスチャーは、表示オブジェクトを第１スクリーン上の表示から第２スクリーン上の表示へ移動する（ブロック２００８）、第１及び第２スクリーン上の１つ又は複数の表示オブジェクトを異なる表示オブジェクトで置換する（ブロック２０１０）、１つ又は複数の表示オブジェクトを移動して第１及び第２スクリーン上に作業スペースを空ける（ブロック２０１２）、第１及び第２スクリーン上に表示されている１つ又は複数の作業スペースの間を循環する（cycle through）（ブロック２０１４）、及び／又は、第１及び第２スクリーン上の１つ又は複数のアプリケーションを異なるアプリケーションで置換する（ブロック２０１６）のに有効である。

[0123] 図２１は、マルチスクリーンジェスチャーの実施態様を実現するために、図１及び２を参照して説明されたような任意のタイプのポータブル及び／又はコンピューティングデバイスとして実現されることが可能である、例示のデバイス２１００の様々なコンポーネントを示す。実施態様において、デバイス２１００は、有線及び／若しくは無線デバイス、マルチスクリーンデバイスのうちの、任意の１つ又は組み合わせとして、任意の形態のテレビ用クライアントデバイス（例えば、テレビ用セットトップボックス、デジタルビデオレコーダー（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｒｅｃｏｒｄｅｒ：ＤＶＲ）等）、消費者向けデバイス、コンピューターデバイス、サーバーデバイス、ポータブルコンピューターデバイス、ユーザーデバイス、通信デバイス、映像処理及び／若しくは描画デバイス、家電デバイス、ゲームデバイス、電子デバイスとして、並びに／又は、任意の他のタイプのデバイスとして、実現されることが可能である。デバイス２１００はまた、デバイスがユーザー、ソフトウェア、ファームウェア、及び／又はデバイスの組み合わせを含む論理的デバイスを表現するように、当該デバイスを操作するユーザー（即ち人）及び／又はエンティティに関連付けられることもできる。

[0124] デバイス２１００は、デバイスデータ２１０４（例えば、受信されたデータ、受信中のデータ、ブロードキャストする予定のデータ、それらデータのデータパケット等）の有線及び／又は無線通信を可能にする通信デバイス２１０２を含む。デバイスデータ２１０４又は他のデバイスコンテンツは、当該デバイスのコンフィギュレーション設定、当該デバイスに記憶されたメディアコンテンツ、及び／又は当該デバイスのユーザーに関連する情報を含むことが可能である。デバイス２１００に記憶されたメディアコンテンツは、如何なるタイプの音声、映像、及び／又は画像データも含むことが可能である。デバイス２１００は、例えば、ユーザー選択可能な入力、メッセージ、音楽、テレビ向けメディアコンテンツ、記録されたビデオコンテンツ、並びに、任意のコンテンツ及び／又はデータソースから受信された任意の他のタイプの音声、映像、及び／又は画像データ等の、任意のタイプのデータ、メディアコンテンツ、及び／又は入力が受信されることが可能である、１つ又は複数のデータ入力２１０６を含む。

[0125] デバイス２１００はまた、シリアル及び／又はパラレルインターフェース、無線インターフェース、任意のタイプのネットワークインターフェース、モデムのうちの任意の１つ又は複数として、並びに任意の他のタイプの通信インターフェースとして実現されることが可能である、通信インターフェース２１０８をも含む。通信インターフェース２１０８は、デバイス２１００と、他の電子、コンピューティング、及び通信デバイスがデバイス２１００とデータを通信する通信ネットワークとの間において、接続及び／又は通信リンクを提供する。

[0126] デバイス２１００は、デバイス２１００の動作を制御し、またマルチスクリーンジェスチャーの実施態様を実現するための、様々なコンピューター実行可能命令を処理する１つ又は複数のプロセッサー２１１０（例えば、任意のマイクロプロセッサー、コントローラー等）を含む。これに代えて、又は加えて、デバイス２１００は、ハードウェア、ファームウェア、又は、２１１２において概略的に特定された処理及び制御回路と共に実現される固定論理回路のうちの、任意の１つ又は組み合わせによって実現されることが可能である。図示されていないが、デバイス２１００は、当該デバイス内部の様々なコンポーネントを接続する、システムバス即ちデータ転送システムを含むことが可能である。システムバスは、例えば、メモリバス若しくはメモリコントローラー、周辺機器バス、ユニバーサルシリアルバス、及び／又は、任意の様々なバスアーキテクチャーを利用するプロセッサー若しくはローカルバス等の、様々なバス構造のうちの任意の１つ又は組み合わせを含むことが可能である。

[0127] デバイス２１００はまた、１つ又は複数のメモリコンポーネント等のコンピューター読み取り可能媒体２１１４をも含み、その例は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、不揮発性メモリ（例えば、リードオンリメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等のうちの任意の１つ又は複数）、及びディスクストレージデバイスを含む。ディスクストレージデバイスは、例えば、ハードディスクドライブ、レコーダブル及び／又はリライタブルなコンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ：ＣＤ）、任意のタイプのデジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ：ＤＶＤ）等の、任意のタイプの磁気又は光学ストレージデバイスとして実現されることができる。デバイス２１００はまた、大容量記憶媒体デバイス２１１６をも含むことが可能である。

[0128] コンピューター読み取り可能媒体２１１４は、様々なデバイスアプリケーション２１１８並びにデバイス２１００の動作に関わる側面に関連した任意の他のタイプの情報及び／又はデータに加えて、デバイスデータ２１０４を記憶するためのデータ記憶メカニズムを提供する。例えば、オペレーティングシステム２１２０は、コンピューター読み取り可能媒体２１１４によってコンピューターアプリケーションとして保持され、プロセッサー２１１０上で実行されることが可能である。デバイスアプリケーション２１１８は、デバイスマネージャー（例えば、制御アプリケーション、ソフトウェアアプリケーション、信号処理及び制御モジュール、特定のデバイス向けのコード、特定のデバイス向けのハードウェア抽象化レイヤー等）を含むことが可能である。

[0129] デバイスアプリケーション２１１８はまた、マルチスクリーンジェスチャーの実施態様を実現するための任意のシステムコンポーネント又はモジュールをも含む。この例において、デバイスアプリケーション２１１８は、例えばデバイス２１００がマルチスクリーンデバイスとして実現されている場合に、インターフェースアプリケーション２１２２及びジェスチャーモジュール２１２４を含むことが可能である。インターフェースアプリケーション２１２２及びジェスチャーモジュール２１２４は、ソフトウェアモジュール及び／又はコンピューターアプリケーションとして示されている。これに代えて、又は加えて、インターフェースアプリケーション２１２２及び／又はジェスチャーモジュール２１２４は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせとして実現されることが可能である。

[0130] デバイス２１００は、セレクト入力、ホールド入力、モーション入力、タッチ入力、タップ入力等の、様々な入力又は入力の組み合わせを認識するように実現された入力認識システム２１２６を含む。入力認識システム２１２６は、センサー、光感知ピクセル、タッチセンサー、カメラ、及び／又は、ユーザーの対話、ジェスチャー、入力、及び動作を解釈する自然ユーザーインターフェースといったような、様々なタイプの入力を感知する任意のタイプの入力検出機構を含むことができる。

[0131] デバイス２１００はまた、音声データを生成して音声システム２１３０へ供給し、及び／又は表示データを生成して表示システム２１３２へ供給する、音声及び／又は映像レンダリングシステム２１２８をも含む。音声システム２１３０及び／又は表示システム２１３２は、音声、表示、及び画像データを処理し、表示し、及び／又はその他の方法で表現する、如何なるデバイスも含むことが可能である。表示データ及び音声信号は、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ：高周波）リンク、Ｓビデオリンク、コンポジットビデオリンク、コンポーネントビデオリンク、ＤＶＩ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｉｎｔｅｒｆａｃｅ：デジタルビデオインターフェース）、アナログ音声接続、又は他の類似の通信リンクによって、デバイス２１００から音声デバイス及び／又は表示デバイスへ通信されることが可能である。実施態様において、音声システム２１３０及び／又は表示システム２１３２は、デバイス２１００の外部コンポーネントとして実現される。あるいはまた、音声システム２１３０及び／又は表示システム２１３２は、例示のデバイス２１００の統合されたコンポーネントとして実現される。

[0132] マルチスクリーンジェスチャーの実施態様が機能及び／又は方法に特有の言葉で説明されてきたが、添付されたクレームの対象は必ずしも説明された特定の機能又は方法に限定されないということは理解されなければならない。それどころか、当該特定の機能及び方法は、マルチスクリーンジェスチャーの例示的な具体化として開示されたのである。

Claims (15)

1. マルチスクリーンシステムの第１スクリーンにおいて第１入力を認識するステップであって、前記第１入力は前記第１スクリーン上の第１表示オブジェクトへの第１モーション入力を含む、ステップと、
   前記マルチスクリーンシステムの第２スクリーンにおいて第２入力を認識するステップであって、前記第２入力は前記第２スクリーン上の第２表示オブジェクトへの第２モーション入力を含む、ステップと、
   前記認識された第１及び第２入力に関係付けられた前記第１及び第２モーション入力から、縮小ジェスチャー又は拡大ジェスチャーのうちの少なくとも一方を判定するステップであって、前記縮小ジェスチャーは、前記第１表示オブジェクトを、前記第１及び第２スクリーンを隔てる前記マルチスクリーンシステムのベゼル近傍の前記第１スクリーン上に表示されるように縮小し、前記第２表示オブジェクトを、前記マルチスクリーンシステムの前記ベゼル近傍の前記第２スクリーン上に表示されるように縮小するのに有効であり、前記第１及び第２表示オブジェクトは、それぞれ前記第１及び第２スクリーン上において互いに独立して表示されるように縮小される、ステップと、
   を含む、コンピューターにより実現される方法。
2. 前記縮小ジェスチャーは、前記第１及び第２モーション入力が前記第１及び第２表示オブジェクトを縮小するのに有効である場合に、前記第１及び第２入力のスクリーン間における連係動作として識別される、請求項１に記載の方法。
3. 前記拡大ジェスチャーは、前記第１及び第２モーション入力が前記第１及び第２表示オブジェクトを拡大するのに有効である場合に、前記第１及び第２入力のスクリーン間における連係動作として識別される、請求項１に記載の方法。
4. 前記縮小ジェスチャーは、前記第１及び第２入力間の距離を減少させる前記第１及び第２モーション入力に基づいて判定される、請求項１に記載の方法。
5. 前記拡大ジェスチャーは、前記第１及び第２入力間の距離を増加させる前記第１及び第２モーション入力に基づいて判定される、請求項１に記載の方法。
6. 前記第１及び第２入力間の距離が前記第１及び第２モーション入力と共に変化することを認識するステップを更に含む、請求項１に記載の方法。
7. 前記変化は前記縮小ジェスチャーと判定される前記距離の減少である、ということを認識するステップを更に含み、前記縮小ジェスチャーは前記第１及び第２表示オブジェクトが縮小された時にズームアウトの様相をもたらす、請求項６に記載の方法。
8. 前記変化は前記拡大ジェスチャーと判定される前記距離の増加である、ということを認識するステップを更に含み、前記拡大ジェスチャーは前記第１及び第２表示オブジェクトが拡大された時にズームインの様相をもたらす、請求項６に記載の方法。
9. 認識された第１及び第２入力と関係付いているモーション入力から縮小ジェスチャー又は拡大ジェスチャーのうちの少なくとも一方を判定するように構成されたジェスチャーモジュールであって、前記縮小ジェスチャーは、表示オブジェクトを縮小するのに有効である、ジェスチャーモジュールと、
   第１スクリーンにおいて前記第１入力を認識するように構成され、前記第１入力は前記第１スクリーン上の第１表示オブジェクトを縮小するための第１モーション入力を含み、第２スクリーンにおいて前記第２入力を認識するように構成され、前記第２入力は前記第２スクリーン上の第２表示オブジェクトを縮小するための第２モーション入力を含み、前記第１及び第２表示オブジェクトは、それぞれ前記第１及び第２スクリーン上の互いに独立した表示のために縮小されるように構成され、前記第１入力が認識されるのとほぼ同じ時に前記第２入力が認識される、入力認識システムと、
   を実現するための少なくともメモリとプロセッサーを含む、マルチスクリーンシステム。
10. 前記ジェスチャーモジュールは、前記第１及び第２入力に関係付けられた前記モーション入力に基づいて、前記表示オブジェクトを縮小するのに有効な前記第１及び第２入力のスクリーン間における連係動作として前記縮小ジェスチャーを識別するように更に構成された、請求項９に記載のマルチスクリーンシステム。
11. 前記ジェスチャーモジュールは、前記第１及び第２入力に関係付けられた前記モーション入力に基づいて、前記表示オブジェクトを拡大するのに有効な前記第１及び第２入力のスクリーン間における連係動作として前記拡大ジェスチャーを識別するように更に構成された、請求項９に記載のマルチスクリーンシステム。
12. 前記ジェスチャーモジュールは、前記第１及び第２入力間の距離を減少させる前記モーション入力から前記縮小ジェスチャーを判定するように更に構成された、請求項９に記載のマルチスクリーンシステム。
13. 前記ジェスチャーモジュールは、前記第１及び第２入力間の距離を増加させる前記モーション入力から前記拡大ジェスチャーを判定するように更に構成された、請求項９に記載のマルチスクリーンシステム。
14. 前記入力認識システムは、前記第１及び第２入力間の距離が前記モーション入力と共に変化することを認識するように更に構成された、請求項９に記載のマルチスクリーンシステム。
15. 前記ジェスチャーモジュールは、前記変化が前記第１及び第２入力間の前記距離の減少である場合に前記縮小ジェスチャーを判定するように更に構成され、前記縮小ジェスチャーは前記表示オブジェクトが縮小された時にズームアウトの様相をもたらす、請求項１４に記載のマルチスクリーンシステム。

Images