JP5998146B2 - ジェスチャで論理的表示スタックを移動することによるデスクトップの明示 - Google Patents

ジェスチャで論理的表示スタックを移動することによるデスクトップの明示 Download PDF

Info

Publication number
JP5998146B2
JP5998146B2 JP2013531840A JP2013531840A JP5998146B2 JP 5998146 B2 JP5998146 B2 JP 5998146B2 JP 2013531840 A JP2013531840 A JP 2013531840A JP 2013531840 A JP2013531840 A JP 2013531840A JP 5998146 B2 JP5998146 B2 JP 5998146B2
Authority
JP
Japan
Prior art keywords
display
window
application
desktop
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013531840A
Other languages
English (en)
Other versions
JP2014500992A5 (ja
JP2014500992A (ja
Inventor
サーパル、サンジブ
バーナード フォーク、ブレット
バーナード フォーク、ブレット
エドワード リーブス、ポール
エドワード リーブス、ポール
パズ、アレキサンダー デ
パズ、アレキサンダー デ
ウェイン シュロック、ロドニー
ウェイン シュロック、ロドニー
マリントチェンコ、マクシム
シキ、ロバート
フリードマン、エリック
エル. フィックリン、ジャレド
エル. フィックリン、ジャレド
バートン、デニス
クリップス、ミスティ
ウィゴニク、グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z124 Co
Original Assignee
Z124 Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Z124 Co filed Critical Z124 Co
Publication of JP2014500992A publication Critical patent/JP2014500992A/ja
Publication of JP2014500992A5 publication Critical patent/JP2014500992A5/ja
Application granted granted Critical
Publication of JP5998146B2 publication Critical patent/JP5998146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller

Description

本開示は、ジェスチャで論理的表示スタックを移動することによるデスクトップの明示に関する。
携帯電話、タブレット及びEリーダ(E−Reader)などのかなりの数の携帯用コンピューティングデバイスは、タッチスクリーンディスプレイを利用して、単にユーザに表示情報を配信するばかりでなく、ユーザインタフェースコマンドからの入力の受信も行う。タッチスクリーンディスプレイは、携帯用デバイスのコンフィギュアビリティを増加し、多種多様なユーザインタフェースオプションを提供することができるが、通常、この柔軟性は高くつく。コンテンツを提供し、ユーザコマンドを受信するタッチスクリーンの二重用途は、ユーザにとっては柔軟性があるが、ディスプレイが難読化し、視覚的クラッタが発生し、それはユーザフラストレーション及び生産性損失の原因となる恐れがある。
携帯用コンピューティングデバイスの小さなフォームファクタは、表示されたグラフィックスと入力受信用に設けられたエリアとの間の慎重なバランス維持を必要とする。一方では、小型のディスプレイは表示スペースを制約し、それにより、動作または結果の解釈の困難が増す恐れがある。他方では、仮想キーパッドまたは他のユーザインタフェーススキームは、実行アプリケーション上で重ね合わせるか、または、実行アプリケーションに隣接して配置され、その結果、アプリケーションをディスプレイのさらに小さな部分に詰め込む必要がある。
このバランス維持行為は、単一ディスプレイのタッチスクリーンデバイスでは特に難しい。単一ディスプレイのタッチスクリーンデバイスは、それらの限られた画面スペースにより不具合が生じる。単一ディスプレイを通じてユーザがデバイスに情報を入力すると、特に、ディスプレイとインタフェースとの間の複雑な相互作用が必要とされる場合は、ディスプレイ内の情報を解釈する能力が大幅に妨げられる恐れがある。
従来の単一ディスプレイの携帯用コンピューティングデバイスと比較して、パワーの増強及び/または多様性の向上を実現するデュアルマルチディスプレイの携帯用コンピューティングデバイスが必要である。これらの及び他の必要性は、本開示のさまざまな態様、実施形態及び/または構成によって対応する。また、本開示は、例示的な実施形態について提示しているが、本開示の個々の態様を別々に請求できることを理解されたい。
1つ又は複数の実施形態による本発明の一態様では、それは、複数のデスクトップ及び複数のアプリケーションのうちの少なくとも一方を複数画面デバイス上で表示する方法であって、デスクトップ及びアプリケーションのうちの少なくとも一方の各々は、少なくとも1つのウィンドウを有し、(i)複数画面デバイスの第1の画面上にデスクトップ又はアプリケーションのうちの1つを明示するという命令を表す第1の入力を受信すること、(ii)第1の画面上に表示する第1のデスクトップ又は第1のアプリケーションを選択すること、(iii)複数画面デバイスの第2の画面上にデスクトップ又はアプリケーションのうちの1つを明示するという命令を表す第2の入力を受信すること、(iv)第2の画面上に表示する第2のデスクトップ又は第2のアプリケーションを選択すること、(v)選択した第1及び第2のデスクトップ又は第1及び第2のアプリケーションを第1及び第2の画面上に表示すること、(vi)表示した第1及び第2のデスクトップ又は第1及び第2のアプリケーションのうちの少なくとも1つを、他の画面上の位置又は不可視位置のいずれかを含む選択された別の位置に選択的に移動することを含む方法、として説明することができる。
1つ又は複数の実施形態による本発明の別の態様では、非一時的なコンピュータ可読媒体であって、コンピュータ可読媒体上にコンピューティングシステムに方法を実行させる命令が格納され、命令は、(i)複数画面デバイスの第1の画面上にデスクトップ又はアプリケーションを明示するという命令を表す第1の既定の入力を受信するように構成された命令と、(ii)第1の画面上に表示する第1のデスクトップ又はアプリケーションを決定するように構成された命令と、(iii)複数画面デバイスの第2の画面上にデスクトップ又はアプリケーションを明示するという命令を表す第2の既定の入力を受信するように構成された命令と、(iv)複数画面デバイスの第2の画面上に表示する第2のデスクトップ又はアプリケーションを決定するように構成された命令と、(v)第1及び第2の既定の入力に対して、第1のデスクトップ又は第1のアプリケーションを第1の画面上に表示させ、且つ、第2のデスクトップ又は第2のアプリケーションを第2の画面上に表示させる出力で応答するように構成された命令と、(vi)第1及び第2のデスクトップ又は第1及び第2のアプリケーションの可視位置を変更するという命令を表す第3の既定の入力を受信するように構成された命令と、(vii)第1及び第2のデスクトップ及び第1及び第2のアプリケーションの場所を、他の画面又は不可視位置のいずれかに変更させる第3の既定の入力に対して応答するよう構成された命令とを含むコンピュータ可読媒体として説明することができる。
1つ又は複数の実施形態による本発明のさらに別の態様では、(i)第1のディスプレイエリアを含む第1の画面と、(ii)第2のディスプレイエリアを含む第2の画面と、(iii)第1の画面の第1のユーザ入力ジェスチャエリアと(iv)第2の画面の第2のユーザ入力ジェスチャエリアと、第1及び第2のユーザ入力ジェスチャエリアは、ユーザからの入力を受け入れるよう構成され、(v)コンピュータ可読媒体であって、コンピュータ可読媒体上に命令が格納され、命令は(1)ユーザによって実行されるように選択されたデスクトップ又はアプリケーションの数及び同一性を決定するように構成された第1のセットの命令と、(2)デスクトップ又は実行中のアプリケーションの数及び同一性に基づいて、順序付けされたグループ内のデスクトップ及びアプリケーションの論理的表現を含むスタック構成を決定し、ユーザは、選択されたデスクトップ又はアプリケーションを、別の画面上の可視位置又は不可視位置のいずれかに選択的に移動することができるように構成された第2のセットの命令と、(3)選択されたデスクトップ又はアプリケーションの認識された位置を、ユーザによって実行されたジェスチャのタイプによって決定されるような選択された位置に移動するため、ユーザによって行われたジェスチャに応答する第3のセットの命令とを含むコンピュータ可読媒体とを備える複数画面ユーザデバイスとして説明することができる。
本開示は、特定の態様、実施形態及び構成のうちの少なくとも一つに応じて、多くの利点を提供することができる。現在、家庭用電化製品産業は、単一画面デバイスによって独占されている。残念ながら、これらのデバイスは、効果的に情報を表示し、ユーザ入力を受信できる方法において制限される。具体的には、複数のアプリケーション及びデスクトップを単一画面上に適切に表示することができず、ユーザは、複数のアプリケーションからのコンテンツにアクセスするため、表示されたページ間での切り替えを絶えず行う必要がある。それに加えて、キーボード、タッチセンサ式又は容量性ディスプレイ及びハードウェアインタフェースボタンなどのユーザ入力デバイスは、通常、単一画面デバイスに適合するようにサイズが低減される。この種のデバイスの操作及び1つの画面のみを使用する複数のアプリケーション間の切り替えの強制は、ユーザの疲労、フラストレーションをもたらし、場合によっては、反復運動による傷害をもたらす。
最近では、電子デバイスの消費者は、デュアル画面デバイスを入手できるようになった。しかし、現在利用可能なデュアル画面デバイスは、消費者の必要性に対する適切な対処に失敗している。デバイスは、デバイスの設計において2つの画面を含むが、デバイスは、デバイスの単一画面と同等の否定的な制限を取り入れる傾向にある。具体的には、典型的なデュアル画面デバイスは、ユーザインタフェースを特定の画面に限定し、場合によっては、キーボード又はタッチセンサ式/容量性ディスプレイを複数の画面のうちの1つにのみ提供する。その上、デバイスのアプリケーション及びデスクトップの管理は、単一画面コンテンツ切り替えの従来の概念に限定される。本開示は、従来の単一/デュアル画面デバイスの制限に対処し、表示、入力及びコンテンツ管理における利点を提供する。
本開示の少なくとも1つの実施形態は、ユーザがデバイスを動作する際に、より高い創造的自由度を可能にするコンテンツの表示を管理するための複数画面デバイス及び方法について説明する。具体的には、デバイスが1つのアプリケーション又はアプリケーショングループを実行している際、デバイスは、デバイスの複数の画面上にデスクトップを明示することができるユーザジェスチャ入力を検出することができる。このデスクトップは、ユーザが選択できる異なるアプリケーションの表現を示すことができる。このデスクトップから、ユーザは、表示されているもの及び表示されていないものを含めて、アプリケーションを立ち上げることも複数のデスクトップページ間をナビゲートすることもできる。ユーザ又はデバイス自体は、いつどのようにして明示デスクトップの拡大を実施するかを選択することができ、それは、これらに限定されないが、検出された特定の入力、別のプロセス、プログラム若しくはハードウェア論理からの出力、ソフトウェア制御、又は、それらの組合せによって決定することができる。表示されたデスクトップの管理は、デバイス又はユーザによって指示され得る。これらの及び他の利点は、本開示より明らかになるであろう。
これらの及び他の利点は、本開示から明らかになるであろう。
「少なくとも1つ」、「1つまたは複数」、及び「及び/または」との記載は、使用中、接続語かつ離接語である非限定的な(open−ended)表現である。例えば、「A、B及びCの少なくとも1つ」、「A、BまたはCの少なくとも1つ」、「A、B及びCのうちの1つまたは複数」、「A、BまたはCのうちの1つまたは複数」及び「A、B及び/またはC」の表現の各々は、Aのみ、Bのみ、Cのみ、AとBともに、AとCともに、BとCともに、または、AとBとCともに、を意味する。
「1つの」、「1つまたは複数」及び「少なくとも1つ」との記載は、本明細書では交換可能に使用することができる。用語「備える」、「含む」及び「有する」もまた交換可能に使用できることに留意されたい。
用語「自動」及びその変形語は、本明細書で使用する場合、プロセスまたはオペレーションを実行する際に、実質的な人的入力なしで行われる任意のプロセスまたはオペレーションを指す。しかし、プロセスまたはオペレーションの実行前に入力を受信すれば、プロセスまたはオペレーションの実行において実質的または非実質的な人的入力を使用しても、プロセスまたはオペレーションは自動であり得る。人的入力は、そのような入力がプロセスまたはオペレーションの実行方法に影響を及ぼす場合は、実質的と見なされる。プロセスまたはオペレーションの実行を受け入れる人的入力は、「実質的」とは見なされない。
用語「コンピュータ可読媒体」は、本明細書で使用する場合、実行のためのプロセッサへの命令の提供に参加する任意の有形の記憶及び/または伝送媒体を指す。そのような媒体は、これらに限定されないが、不揮発性媒体、揮発性媒体及び伝送媒体を含む多くの形式を取り得る。不揮発性媒体は、例えば、NVRAMまたは磁気もしくは光ディスクを含む。揮発性媒体は、メインメモリなどのダイナミックメモリを含む。コンピュータ可読媒体の一般的な形式は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、光磁気記録媒体、CD−ROM、任意の他の光媒体、パンチカード、紙テープ、任意の他の孔パターンの物理的な媒体、RAM、PROM及びEPROM、FLASH−EPROM、メモリカードのようなソリッドステート媒体、任意の他のメモリチップもしくはカートリッジ、以下で説明する搬送波、または、コンピュータが読み取ることができる任意の他の媒体を含む。Eメールに添付するデジタルファイルまたは他の自己内蔵情報アーカイブもしくはアーカイブセットは、有形の記憶媒体と同等の配信媒体と考えられる。コンピュータ可読媒体がデータベースとして構成される場合、データベースは、関係型、階層型、オブジェクト指向型及び/または同様のものなどの任意のタイプのデータベースであり得ることを理解されたい。それに応じて、本開示は、本開示のソフトウェア実装形態が格納される有形の記憶媒体または配信媒体及び先行技術分野において承認されている均等物及び後続媒体を含むと考えられる。
用語「デスクトップ」は、システムを表現するために使用される例え(metaphor)を指す。デスクトップは、一般に、アイコン、ウィジェット、フォルダなどと呼ばれる絵柄を含む「面」と考えられ、通常、その上でアプリケーション、ウィンドウ、キャビネット、ファイル、フォルダ、ドキュメント、他のグラフィカルなアイテムを起動または表示することができる。アイコンは、一般に、ユーザインタフェース相互作用を通じてタスクに着手するように選択可能であり、ユーザは、アプリケーションを実行することも、他のオペレーションを行うこともできる。
用語「画面」、「タッチスクリーン(touch screenまたはtouchscreen)」は、ユーザインタフェースをレンダリングする及び/またはユーザ入力を受信する能力をデバイスに提供する1つまたは複数のハードウェアコンポーネントを含む物理的構造を指す。画面は、ジェスチャ捕捉領域、タッチセンサ式ディスプレイ及び/または構成可能なエリアの任意の組合せを包含し得る。デバイスは、ハードウェアに組み込まれた1つまたは複数の物理的画面を有し得る。しかし、画面は、デバイスから着脱可能な外部の周辺デバイスも含み得る。実施形態では、複数の外部のデバイスをデバイスに取り付けることができる。したがって、実施形態では、画面は、ユーザが画面上のエリアに触れることでデバイスと情報のやり取りを行うことを可能にし、ディスプレイを通じてユーザに情報を提供する。タッチスクリーンは、電気的パラメータ(例えば、抵抗またはキャパシタンス)の変化、音波の変動、赤外線近接検出、変光検出及び同様のものなどの多くの異なる方法でユーザの接触を感知することができる。抵抗性タッチスクリーンでは、例えば、通常、画面内の別々の導電性及び抵抗性金属層が電流を通過させる。ユーザが画面に触れると、触れた位置で2つの層が接触し、それにより、電界の変化が見られ、触れた位置の座標が計算される。容量性タッチスクリーンでは、容量性層が電荷を蓄積し、電荷はユーザがタッチスクリーンに触れると同時に放電され、それにより、容量性層の電荷が低減する。その低減が測定され、触れた位置の座標が決定される。表面音波タッチスクリーンでは、画面を通じて音波が伝播され、音波はユーザ接触によって妨げられる。受信用トランスデューサは、ユーザ接触インスタンスを検出し、触れた位置の座標を決定する。
用語「ディスプレイ」は、コンピュータの出力をユーザに表示するために使用される1つまたは複数の画面の一部分を指す。ディスプレイは、単一画面ディスプレイまたは複合ディスプレイと呼ばれる複数画面ディスプレイであり得る。複合ディスプレイは、1つまたは複数の画面のタッチセンサ式ディスプレイを包含し得る。単一の物理的画面は、別々の論理的ディスプレイとして管理される複数のディスプレイを含み得る。したがって、同じ物理的画面の一部ではあるが別々のディスプレイ上に異なるコンテンツを表示することができる。
用語「表示画像」は、ディスプレイ上に生成された画像を指す。典型的な表示画像は、ウィンドウまたはデスクトップである。表示画像は、ディスプレイの全体または一部を占有することができる。
用語「ディスプレイ方向」は、閲覧のためにユーザが長方形のディスプレイを方向付ける方法を指す。ディスプレイ方向の2つの最も一般的なタイプは、縦向き(portrait)と横向き(landscape)である。横向きモードでは、ディスプレイは、ディスプレイの幅がディスプレイの高さよりも大きくなるように方向付けられる(幅4単位及び高さ3単位の4:3の割合または幅16単位及び高さ9単位の16:9の割合など)。別の言い方をすれば、横向きモードでは、ディスプレイの長い方の寸法は、実質的に水平の方向に方向付けられ、ディスプレイの短い方の寸法は、実質的に垂直の方向に方向付けられる。対照的に、縦向きモードでは、ディスプレイの幅がディスプレイの高さよりも小さくなるように方向付けられる。別の言い方をすれば、縦向きモードでは、ディスプレイの短い方の寸法は、実質的に水平の方向に方向付けられ、ディスプレイの長い方の寸法は、実質的に垂直の方向に方向付けられる。
用語「複合ディスプレイ」は、1つまたは複数の画面を包含することができるディスプレイを定義する論理的構造を指す。複数画面ディスプレイは、すべての画面を包含する複合ディスプレイに関連付けられ得る。複合ディスプレイは、デバイスのさまざまな向きに基づいて異なる表示特性を有し得る。
用語「ジェスチャ」は、意図する考え、動作、意味、結果及び/または成果を表現するユーザ動作を指す。ユーザ動作は、デバイスの操作(例えば、デバイスの開閉、デバイスの向きの変更、トラックボールまたはホイールの移動など)、デバイスに対する身体部分の動き、デバイスに対する道具またはツールの動き、音声入力などを含み得る。ジェスチャは、デバイス上(画面上など)に、またはデバイスを用いて行われ、デバイスと相互作用することができる。
用語「モジュール」は、本明細書で使用する場合、任意の公知のまたは後に開発されたハードウェア、ソフトウェア、ファームウェア、人工知能、ファジィ理論、または、その要素に関連付けられた機能を実行することができるハードウェアとソフトウェアとの組合せを指す。
用語「ジェスチャ捕捉」は、ユーザジェスチャのインスタンス及び/またはタイプの感知または別の方法での検出を指す。ジェスチャ捕捉は、画面の1つまたは複数のエリアで起こり得る。ジェスチャ領域は、タッチセンサ式ディスプレイと呼ばれる場合があるディスプレイ上またはジェスチャ捕捉エリアと呼ばれる場合があるディスプレイ外であり得る。
「複数画面アプリケーション」は、複数のモードが可能なアプリケーションを指す。複数画面アプリケーションモードは、これらに限定されないが、単一画面モード(アプリケーションは単一画面に表示される)または複合ディスプレイモード(アプリケーションは2つ以上の画面に表示される)を含み得る。複数画面アプリケーションは、モードに対して最適化された異なるレイアウトを有し得る。したがって、複数画面アプリケーションは、単一画面に対してまたは2つ以上の画面を包含し得る複合ディスプレイに対して異なるレイアウトを有し得る。異なるレイアウトは、複数画面アプリケーションのユーザインタフェースをレンダリングすることができる異なる画面/ディスプレイ寸法及び/または構成を有し得る。異なるレイアウトにより、アプリケーションは、ディスプレイのタイプ、例えば、単一画面または複数画面に対して、アプリケーションのユーザインタフェースを最適化することができる。単一画面モードでは、複数画面アプリケーションは、情報の1つのウィンドウ枠を提示することができる。複合ディスプレイモードでは、複数画面アプリケーションは、表示コンテンツに対してより多くのスペースがあるため、情報の複数のウィンドウ枠を提示することも、より大きくより豊かなプレゼンテーションを提供することもできる。複数画面アプリケーションは、システムがどのディスプレイ(単一または複合)を複数画面アプリケーションに割り当てるかに応じて、デバイス及びモードの変化に動的に適合させるように設計することができる。代替の実施形態では、ユーザは、ジェスチャを使用して、異なるモードへのアプリケーションの移行を要求することができ、要求されたモードに対してディスプレイが利用可能な場合は、デバイスは、アプリケーションをそのディスプレイ及び移行モードに移動させることができる。
「単一画面アプリケーション」は、単一の画面モードが可能なアプリケーションを指す。したがって、単一画面アプリケーションは、1つのウィンドウしか生成することができず、異なるモードも、異なるディスプレイ寸法も可能ではない可能性がある。単一画面アプリケーションは、複数画面アプリケーションで論じられたいくつかのモードでの実行は不可能である。
用語「ウィンドウ」は、ディスプレイの少なくとも一部に表示された典型的に長方形の画像を指し、画面の残りの部分とは異なるコンテンツを含むまたは提供する。ウィンドウは、デスクトップを覆い隠す場合がある。
用語「決定する、判断する」、「計算する」及び「演算する」ならびにその変形語は、本明細書で使用する場合、交換可能に使用され、任意のタイプの方法論、プロセス、数学演算または技法を含む。
用語「手段」は、本明細書で使用する場合、米国特許法第112条第6段落に従って、その可能な限り最も広い解釈が与えられるものとすることを理解されたい。それに応じて、用語「手段」を組み込む請求項は、本明細書に記載されるすべての構造、材料または行為及びその均等物のすべてを対象とするものとする。さらに、構造、材料または行為及びその均等物は、発明の概要、図面の簡単な説明、発明を実施するための形態、要約書及び特許請求の範囲自体で説明されたすべてのものを含むものとする。
前述の説明は、本開示の簡略化した概要であり、本開示のいくつかの態様の理解を与える。この概要は、本開示の概要ならびにそのさまざまな態様、実施形態及び/または構成の広範なものでも包括的なものでもない。この概要は、本開示の主要な、または重要な要素を特定することも、本開示の範囲を詳しく説明することも意図しないが、以下で提示するより詳細な説明の導入部として、本開示の選択された概念を簡素化した形式で提示することを意図する。理解されるように、本開示の他の態様、実施形態及び/または構成は、単独でまたは組み合わせて、上記で記載されるかまたは以下で詳細に説明される特徴の1つまたは複数を利用することができる。
複数画面ユーザデバイスの実施形態の第1の図を含む。 複数画面ユーザデバイスの実施形態の第2の図を含む。 複数画面ユーザデバイスの実施形態の第3の図を含む。 複数画面ユーザデバイスの実施形態の第4の図を含む。 複数画面ユーザデバイスの実施形態の第5の図を含む。 複数画面ユーザデバイスの実施形態の第6の図を含む。 複数画面ユーザデバイスの実施形態の第7の図を含む。 複数画面ユーザデバイスの実施形態の第8の図を含む。 複数画面ユーザデバイスの実施形態の第9の図を含む。 複数画面ユーザデバイスの実施形態の第10の図を含む。 デバイスのハードウェアの実施形態のブロック図である。 デバイスの向き及び/または構成に基づくデバイスの状態モデルの実施形態のブロック図である。 デバイスの向き及び/または構成に基づくデバイスの状態モデルの実施形態の表である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第1の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第2の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第3の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第4の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第5の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第6の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第7の表現である。 デバイスにおいて受信されたユーザジェスチャの実施形態の第8の表現である。 デバイスソフトウェア及び/またはファームウェアの実施形態のブロック図である。 デバイスソフトウェア及び/またはファームウェアの実施形態の第2のブロック図である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第1の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第2の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第3の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第4の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第5の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第6の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第7の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第8の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第9の表現である。 デバイス状態に応じて生成されたデバイス構成の実施形態の第10の表現である。 論理的ウィンドウスタックの表現である。 他の論理的ウィンドウスタックである。 論理的ウィンドウスタックの実施形態の別の表現である。 論理的ウィンドウスタックの実施形態の別の表現である。 論理的ウィンドウスタックの実施形態の別の表現である。 ウィンドウスタック用の論理データ構造の実施形態のブロック図である。 ウィンドウスタックを作成するための方法の実施形態のフローチャートである。 本開示の実施形態による、可視ディスプレイの一方の側にさまざまな非表示ウィンドウが積み重ねられた、開かれたデバイスの第1の表示状態を描写する。 本開示の実施形態による、可視ディスプレイの両側にさまざまな非表示ウィンドウが積み重ねられた、開かれたデバイスの第2の表示状態を描写する。 本開示の実施形態による、図10Aの表示と比較して可視ディスプレイの他方の側にさまざまな非表示ウィンドウが積み重ねられた、開かれたデバイスの第3の表示状態を描写する。
付属の図面では、同様のコンポーネント及び/または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプのさまざまなコンポーネントは、同様のコンポーネントの中で区別する文字で参照ラベルをたどることによって、区別することができる。第1の参照ラベルのみが本明細書で使用される場合、説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルを有する同様のコンポーネントのいずれか1つに適用可能である。
本明細書で提示するものは、デバイスの実施形態である。デバイスは、携帯電話または他のスマートデバイスなど通信デバイスであり得る。デバイスは、いくつかのユニークなディスプレイ構成を提供するように方向付けられた2つの画面を含み得る。さらに、デバイスは、ユニークな方法でユーザ入力を受信することができる。デバイスの総合的な設計及び機能性は、デバイスをより有用に及びより効果的にするユーザ経験を高めることを実現する。
機械的な特徴:
図1A〜1Jは、本開示の実施形態によるデバイス100を示す。以下でさらに詳細に説明されるように、デバイス100は、多くの異なる方法で配置することができ、そのそれぞれが異なる機能性をユーザに提供する。デバイス100は、その両方がタッチセンサ式の一次画面104と二次画面108とを含む複数画面デバイスである。実施形態では、画面104及び108の前面全体は、タッチセンサ式であり得、ユーザが画面104及び108の前面に触れることによって入力を受信することができる。一次画面104は、タッチセンサ式ディスプレイ110を含み、タッチセンサ式ディスプレイ110は、タッチセンサ式であることに加えて、ユーザに情報を表示することも行う。二次画面108は、タッチセンサ式ディスプレイ114を含み、タッチセンサ式ディスプレイ114もまたユーザに情報を表示する。他の実施形態では、画面104及び108は、2つ以上のディスプレイエリアを含み得る。
また、一次画面104は、ユーザが構成可能なエリア112の一部に触れる際の特定の入力用に構成済みの構成可能なエリア112も含む。二次画面108もまた、特定の入力用に構成済みの構成可能なエリア116を含む。エリア112a及び116aは、ユーザが以前に表示された情報を閲覧することを望むことを示す「バック」入力を受信するよう構成済みである。エリア112b及び116bは、ユーザがメニューからオプションを閲覧することを望むことを示す「メニュー」入力を受信するよう構成済みである。エリア112c及び116cは、ユーザが「ホーム」ビューに関連付けられた情報を閲覧することを望むことを示す「ホーム」入力を受信するよう構成済みである。他の実施形態では、エリア112a〜c及び116a〜cは、上記で説明される構成に加えて、デバイス100の特徴の制御を含む他のタイプの特定の入力用に構成することができ、いくつかの非限定的な例としては、全体的なシステムパワーの調整、音量の調整、輝度の調整、振動の調整、表示アイテムの選択(画面104または108のいずれか)、カメラの操作、マイクロホンの操作及び通話の開始/終了が挙げられる。また、いくつかの実施形態では、エリア112a〜c及び116a〜cは、デバイス100上で実行するアプリケーション及び/またはタッチセンサ式ディスプレイ110及び/または114上に表示される情報に応じて特定の入力用に構成することができる。
タッチセンサ式に加えて、一次画面104及び二次画面108は、ユーザが画面のディスプレイエリアに触れる必要なく、ユーザから入力を受信するエリアも含む。例えば、一次画面104は、ジェスチャ捕捉エリア120を含み、二次画面108は、ジェスチャ捕捉エリア124を含む。これらのエリアは、例えば、ユーザが実際にディスプレイエリアの表面に触れる必要なく、ユーザによって行われたジェスチャを認識することにより、入力を受信することができる。タッチセンサ式ディスプレイ110及び114と比較すると、ジェスチャ捕捉エリア120及び124は、一般には、表示画像をレンダリングすることはできない。
2つの画面104及び108は、ヒンジ128で接続され、ヒンジ128は、図1C(デバイス100の背面図を示す)で明確に示される。図1A〜1Jに示される実施形態では、ヒンジ128は、画面104と108とを接続する中央のヒンジであり、その結果、ヒンジを閉じると、画面104と108は、図1B(デバイス100の正面図を示す)に示されるように並置される(すなわち、隣り合わせになる)。ヒンジ128を開いて、2つの画面104及び108を相対的に互いに異なる配置にすることができる。以下でさらに詳細に説明するように、デバイス100は、画面104及び108の相対位置に応じて異なる機能性を有し得る。
図1Dは、デバイス100の右側を示す。図1Dに示されるように、二次画面108は、その側面にカードスロット132とポート136も含む。実施形態では、カードスロット132は、加入者識別モジュール(SIM)を含む異なるタイプのカードを収容する。実施形態では、ポート136は、ディスプレイ、キーボードまたは印刷デバイスなどの他の周辺デバイスにデバイス100を接続することを可能にする入力/出力ポート(I/Oポート)である。理解できるように、これらは単なる例示の一部であり、他の実施形態では、デバイス100は、追加のメモリデバイスを収容するための及び/または他の周辺デバイスを接続するためのスロット及びポートなどの他のスロット及びポートを含み得る。また、図1Dには、例えば、ユーザのヘッドホンまたはヘッドセットの利用を可能にするチップ、リング、スリーブ(TRS)コネクタを収容する音声ジャック140も示されている。
また、デバイス100は、多数のボタン158も含む。例えば、図1Eは、デバイス100の左側を示す。図1Eに示されるように、一次画面104の側面は、3つのボタン144、148及び152を含み、これらのボタンは、特定の入力用に構成することができる。例えば、ボタン144、148及び152は、組み合わせて、または単独で、デバイス100の多くの態様を制御するよう構成することができる。いくつかの非限定的な例としては、全体的なシステムパワー、音量、輝度、振動、表示アイテムの選択(画面104または108のいずれか)、カメラ、マイクロホン及び通話の開始/終了が挙げられる。いくつかの実施形態では、別々のボタンの代わりに、2つのボタンを組み合わせてロッカーボタンにすることができる。この構成は、音量または輝度などの特徴を制御するようにボタンが構成された状況において有用である。ボタン144、148及び152に加えて、デバイス100は、デバイス100の上側を示す図1Fに示されるようなボタン156も含む。一実施形態では、ボタン156は、デバイス100への全体的なシステムパワーの制御に使用されるオン/オフボタンとして構成される。他の実施形態では、ボタン156は、システムパワーの制御に加えてまたはシステムパワーの制御の代わりに、デバイス100の他の態様を制御するよう構成される。いくつかの実施形態では、ボタン144、148、152及び156のうちの1つまたは複数は、異なるユーザコマンドをサポートすることができる。一例として、通常のプレスは、一般に、約1秒未満の持続時間を有し、クイックタップに似ている。中程度のプレスは、一般に、1秒以上だが約12秒未満の持続時間を有する。長時間のプレス(長押し)は、一般に、約12秒以上の持続時間を有する。ボタンの機能は、通常、現時点でそれぞれのディスプレイ110及び114に焦点が合わせられているアプリケーションに特有である。例えば、通話アプリケーションでは、特定のボタンに応じて、通常の、中程度のまたは長時間のプレスは、通話終了、通話音量の増加、通話音量の減少、マイクロホンのミュートの切り替えを意味し得る。例えば、カメラまたは映像アプリケーションでは、特定のボタンに応じて、通常の、中程度のまたは長時間のプレスは、ズーム拡大、ズーム縮小、写真撮影または映像記録を意味し得る。
また、デバイス100には、多くのハードウェアコンポーネントが存在する。図1Cに示されるように、デバイス100は、スピーカ160とマイクロホン164とを含む。また、デバイス100は、カメラ168(図1B)も含む。それに加えて、デバイス100は、2つの位置センサ172a及び172bを含み、位置センサ172a及び172bは、画面104及び108の相対位置の決定に使用される。一実施形態では、位置センサ172a及び172bは、ホール効果センサである。しかし、他の実施形態では、ホール効果センサに加えて、またはホール効果センサの代わりに、他のセンサを使用することができる。また、デバイス100の一部として、加速度計176を含めて、デバイス100の向き及び/または画面104及び108の向きを決定することもできる。デバイス100に含めることができる追加の内部のハードウェアコンポーネントについては、図2に関連して、以下で説明する。
デバイス100の総合的な設計は、他の通信デバイスで利用不可能な追加の機能性の提供を可能にする。機能性のいくつかは、デバイス100が有し得るさまざまな位置及び向きに基づく。図1B〜1Gに示されるように、デバイス100は、画面104と108が並置される「開」位置で操作することができる。この位置により、ユーザに情報を表示するための大きなディスプレイエリアが可能になる。デバイス100が開位置にあると位置センサ172a及び172bが決定すると、位置センサ172a及び172bは、両方の画面104及び108上での情報の表示などの異なるイベントのトリガに使用することができる信号を生成することができる。追加のイベントは、デバイス100が横向き位置(図示せず)と対向する縦向き位置(図1B)にあると加速度計176が決定した場合にトリガすることができる。
開位置に加えて、デバイス100は、図1Hに示されるような「閉」位置も有し得る。この場合もやはり、位置センサ172a及び172bは、デバイス100が「閉」位置にあることを示す信号を生成することができる。これにより、画面104及び/または108上に表示された情報の変化をもたらすイベントをトリガすることができる。例えば、デバイス100が「閉」位置にある場合、ユーザは1つの画面しか閲覧できないため、デバイス100は、画面のうちの1つ、例えば、画面108上での情報の表示を停止するようにプログラムすることができる。他の実施形態では、デバイス100が「閉」位置にあることを示す、位置センサ172a及び172bによって生成された信号は、電話の発呼に応答するようにデバイス100をトリガすることができる。「閉」位置は、携帯電話としてデバイス100を利用する場合にも好ましい位置であり得る。
デバイス100は、図1Iに示されるような「イーゼル」位置でも使用することができる。「イーゼル」位置では、画面104及び108は、互いに角度をなして外側を向いた状態であり、画面104及び108の縁は実質的に水平である。この位置では、デバイス100は、両方の画面104及び108上で情報を表示するよう構成することができ、二人のユーザが同時にデバイス100と情報のやり取りを行うことを可能にする。デバイス100が「イーゼル」位置にある場合、センサ172a及び172bは、画面104及び108が互いに角度をなして配置されていることを示す信号を生成することができ、加速度計176は、画面104及び108の縁が実質的に水平となるようにデバイス100が配置されたことを示す信号を生成することができる。次いで、信号を組み合わせて使用し、画面104及び108上での情報の表示の変化をトリガするイベントを生成することができる。
図1Jは、「変形イーゼル」位置のデバイス100を示す。「変形イーゼル」位置では、画面104または108のうちの1つは、スタンドとして使用され、テーブルなどの物体の表面上に下を向いた状態に置かれる。この位置は、横向きでユーザに情報を表示する便利な方法を提供する。イーゼル位置と同様に、デバイス100が「変形イーゼル」位置にある場合、位置センサ172a及び172bは、画面104及び108が互いに角度をなして配置されていることを示す信号を生成する。加速度計176は、画面104及び108のうちの1つが下を向いた状態で、実質的に水平となるようにデバイス100が配置されたことを示す信号を生成することになる。次いで、信号を使用して、画面104及び108の情報の表示の変化をトリガするイベントを生成することができる。例えば、ユーザはその画面を見ることができないため、下向きの画面上には情報は表示されない可能性がある。
また、移行状態も可能である。画面が閉じているまたは折り畳まれている(開位置から)ことを位置センサ172a及びb及び/または加速度計が示す場合は、閉への移行状態が認識される。逆に、画面が開いているまたは折り畳まれている(閉位置から)ことを位置センサ172a及びbが示す場合は、開への移行状態が認識される。閉及び開への移行状態は、通常、時間に基づくか、または感知された開始点からの最大持続時間を有する。通常、閉及び開状態のうちの1つが進行中のときは、ユーザ入力は不可能である。このように、閉または開動作中のユーザによる画面との偶発的な接触は、ユーザ入力として誤って解釈されることはない。実施形態では、デバイス100が閉じている場合は、別の移行状態が可能である。この追加の移行状態により、デバイス100が閉じている場合は、例えば、画面110、114上でのダブルタップなどの何らかのユーザ入力に基づいて、ある画面104から第2の画面108にディスプレイを切り替えることが可能になる。
理解できるように、デバイス100に関する説明は、単なる例示を目的として行われ、実施形態は、図1A〜1Jに示され、上記で説明される特定の機械的な特徴に制限されない。他の実施形態では、デバイス100は、1つまたは複数の追加のボタン、スロット、ディスプレイエリア、ヒンジ及び/またはロック機構を含む追加の特徴を含み得る。それに加えて、実施形態では、上記で説明される特徴は、デバイス100の異なる部分に位置し得、それでも同様の機能性を提供することができる。したがって、図1A〜1J及び上記で提供される説明は、非限定的である。
ハードウェアの特徴:
図2は、本開示の実施形態によるデバイス100のコンポーネントを示す。一般に、デバイス100は、一次画面104と二次画面108とを含む。一次画面104及びそのコンポーネントは、通常、開位置または状態でも閉位置または状態でも有効化される一方で、二次画面108及びそのコンポーネントは、通常、開状態では有効化されるが、閉状態では無効化される。しかし、閉状態であっても、ユーザまたはアプリケーションがトリガするインタラプト(通話アプリケーションまたはカメラアプリケーションオペレーションに応じてなど)は、適切なコマンドによって、アクティブ画面を変更することも、一次画面104を無効化して二次画面108を有効化することもできる。各画面104、108は、タッチセンサ式であり得、異なる動作エリアを含み得る。例えば、それぞれのタッチセンサ式画面104及び108内の第1の動作エリアは、タッチセンサ式ディスプレイ110、114を含み得る。一般に、タッチセンサ式ディスプレイ110、114は、フルカラーのタッチセンサ式ディスプレイを含み得る。それぞれのタッチセンサ式画面104及び108内の第2のエリアは、ジェスチャ捕捉領域120、124を含み得る。ジェスチャ捕捉領域120、124は、タッチセンサ式ディスプレイ110、114のエリア外のエリアまたは領域を含み得、そのエリアまたは領域は、例えば、ユーザによって提供されるジェスチャの形での入力の受信が可能である。しかし、ジェスチャ捕捉領域120、124は、表示機能または能力を実行することができる画素を含まない。
タッチセンサ式画面104及び108の第3の領域は、構成可能なエリア112、116を含み得る。構成可能なエリア112、116は、入力を受信することができ、表示または制限された表示能力を有する。実施形態では、構成可能なエリア112、116は、異なる入力オプションをユーザに提示することができる。例えば、構成可能なエリア112、116は、ボタンまたは他の関連付けられるアイテムを表示することができる。その上、表示されたボタンのアイデンティティ、または、タッチセンサ式画面104もしくは108の構成可能なエリア112、116内に表示されているボタンがあるかどうかは、デバイス100が使用される及び/または操作されるコンテキストから決定することができる。例示的な実施形態では、タッチセンサ式画面104及び108は、ユーザに視覚出力を提供することができるタッチセンサ式画面104及び108の少なくともそれらの領域に広がる液晶ディスプレイデバイスと、ユーザから入力を受信することができるタッチセンサ式画面104及び108のそれらの領域にわたる容量性入力マトリックスとを含む。
1つまたは複数のディスプレイコントローラ216a、216bは、入力(タッチセンサ式)及び出力(表示)機能を含むタッチセンサ式画面104及び108のオペレーションを制御するために設けることができる。図2に示される例示的な実施形態では、別々のタッチスクリーンコントローラ216aまたは216bが各タッチスクリーン104及び108に設けられる。代替の実施形態によれば、共通のまたは共有されたタッチスクリーンコントローラ216を使用して、含まれるタッチセンサ式画面104及び108の各々を制御することができる。さらなる他の実施形態によれば、タッチスクリーンコントローラ216の機能は、プロセッサ204などの他のコンポーネントに組み込むことができる。
プロセッサ204は、アプリケーションプログラミングまたは命令を実行するための汎用のプログラム可能プロセッサまたはコントローラを含み得る。少なくともいくつかの実施形態によれば、プロセッサ204は、複数のプロセッサコアを含む、及び/または、複数の仮想プロセッサを実装することができる。さらなる他の実施形態によれば、プロセッサ204は、複数の物理的プロセッサを含み得る。具体的な例として、プロセッサ204は、特別に構成された特定用途向け集積回路(ASIC)もしくは他の集積回路、デジタル信号プロセッサ、コントローラ、配線電子もしくは論理回路、プログラム可能論理デバイスもしくはゲートアレイ、専用コンピュータ、または、同様のものを含み得る。プロセッサ204は、一般に、デバイス100のさまざまな機能を実装するプログラミングコードまたは命令を実行するように機能する。
また、通信デバイス100は、プロセッサ204によるアプリケーションプログラミングまたは命令の実行に関連して使用するための、ならびに、プログラム命令及び/またはデータを一時的または長期に格納するための、メモリ208も含み得る。例として、メモリ208は、RAM、DRAM、SDRAMまたは他のソリッドステートメモリを含み得る。その代替としてまたはそれに加えて、データストレージ212を設けることができる。メモリ208と同様に、データストレージ212は、1つまたは複数のソリッドステートメモリデバイスを含み得る。その代替としてまたはそれに加えて、データストレージ212は、ハードディスクドライブまたは他のランダムアクセスメモリを含み得る。
通信機能または能力をサポートする際、デバイス100は、携帯電話モジュール228を含み得る。例として、携帯電話モジュール228は、セルラネットワーク上で音声、マルチメディア及び/またはデータ転送をサポートすることができるGSM(登録商標)、CDMA、FDMA及び/またはアナログ携帯電話トランシーバを含み得る。その代替としてまたはそれに加えて、デバイス100は、追加のまたは他の無線通信モジュール232を含み得る。例として、他の無線通信モジュール232は、ワイファイ(Wi−Fi)、ブルートゥース(Bluetooth)(登録商標)、ワイマックス(WiMax)、赤外線または他の無線通信リンクを含み得る。携帯電話モジュール228及び他の無線通信モジュール232は、それぞれが、共有または専用アンテナ224と関連付けられることができる。
ポートインタフェース252を含めることができる。ポートインタフェース252は、ドックなどの他のデバイスまたはコンポーネントとのデバイス100の相互接続をサポートする独自のまたはユニバーサルポートを含み得、他のデバイスまたはコンポーネントは、デバイス100に不可欠なものへの追加のまたはそれとは異なる能力を含んでも含まなくともよい。デバイス100と別のデバイスまたはコンポーネントとの間での通信信号の交換のサポートに加えて、ドッキングポート136及び/またはポートインタフェース252は、デバイス100へのまたはデバイス100からの電力の供給をサポートすることができる。また、ポートインタフェース252は、デバイス100と接続されたデバイスまたはコンポーネントとの間の通信または他の相互作用を制御するためのドッキングモジュールを含むインテリジェントな要素も含む。
入力/出力モジュール248及び関連ポートを含めて、例えば、他の通信デバイス、サーバデバイス及び/または周辺デバイスとの有線ネットワークまたはリンク上での通信をサポートすることができる。入力/出力モジュール248の例としては、イーサネット(登録商標)ポート、ユニバーサルシリアルバス(USB)ポート、電気電子技術者協会(IEEE)1394または他のインタフェースが挙げられる。
音声入力/出力インタフェース/デバイス244を含めて、相互接続されたスピーカまたは他のデバイスにアナログ音声を提供したり、接続されたマイクロホンまたは他のデバイスからアナログ音声入力を受信したりすることができる。一例として、音声入力/出力インタフェース/デバイス244は、関連アンプとアナログデジタル変換器とを含み得る。その代替としてまたはそれに加えて、デバイス100は、外部のスピーカまたはマイクロホンを相互接続するための統合音声入力/出力デバイス256及び/または音声ジャックを含み得る。例えば、統合スピーカ及び統合マイクロホンを提供し、近接通話またはスピーカフォンオペレーションをサポートすることができる。
ハードウェアボタン158を含めて、例えば、ある制御動作に関連して使用することができる。例としては、図1A〜1Jと併せて説明されるように、マスタ電源スイッチ、音量調節などが挙げられる。カメラなどの1つまたは複数の画像捕捉インタフェース/デバイス240を含めて、静止及び/またはビデオ画像を捕捉することができる。その代替としてまたはそれに加えて、画像捕捉インタフェース/デバイス240は、スキャナまたはコードリーダを含み得る。画像捕捉インタフェース/デバイス240は、フラッシュまたは他の光源などの追加の要素を含むか、または追加の要素と関連付けられることができる。
また、デバイス100は、全地球側位システム(GPS)受信機236も含み得る。本発明の実施形態によれば、GPS受信機236は、デバイス100の他のコンポーネントに絶対位置情報を提供できるGPSモジュールをさらに含み得る。また、加速度計176も含めることができる。例えば、ユーザへの情報の表示及び/または他の機能に関連して、加速度計176からの信号を使用して、その情報をユーザに表示するための方向及び/または形式を決定することができる。
また、本発明の実施形態は、1つまたは複数の位置センサ172を含み得る。位置センサ172は、互いに対するタッチセンサ式画面104及び108の位置を示す信号を提供することができる。例えば、ユーザインタフェースアプリケーションへの入力としてこの情報を提供し、動作モード、すなわち、タッチセンサ式ディスプレイ110、114及び/または他のデバイス100オペレーションの特性を決定することができる。例として、画面位置センサ172は、一連のホール効果センサ、複数の位置スイッチ、光スイッチ、ホイートストンブリッジ、電位差計、または、タッチスクリーンが置かれている複数の相対位置を示す信号を提供することができる他の構成を含み得る。
デバイス100のさまざまなコンポーネント間の通信は、1つまたは複数のバス222によって行うことができる。それに加えて、電源及び/または電力制御モジュール260からデバイス100のコンポーネントに電力を供給することができる。電力制御モジュール260は、例えば、バッテリ、AC/DC変換器、電力制御ロジック及び/または外部の電源にデバイス100を相互接続するためのポートを含み得る。
デバイスの状態:
図3A及び3Bは、デバイス100の例示的な状態を表す。多くの例示的な状態が示され、第1の状態から第2の状態へ移行するが、例示的な状態を示す図は、すべての可能な状態及び/またはすべての可能な第1の状態から第2の状態への移行を包含するわけではないことを理解されたい。図3で示されるように、状態間のさまざまな矢印(円で表された状態によって示される)は、デバイス100に起こる物理的変化を表す。物理的変化は、ハードウェア及びソフトウェアの1つまたは複数によって検出され、その検出により、ハードウェア及び/またはソフトウェアインタラプトの1つまたは複数がトリガされ、デバイス100の1つまたは複数の機能の制御及び/または管理に使用される。
図3Aで示されるように、12の例示的な「物理的」状態があり、それらは、閉304、移行308(または開への移行状態)、イーゼル312、変形イーゼル316、開320、着信/発信通話または通信324、画像/映像捕捉328、移行332(または閉への移行状態)、横向き340、ドッキング336、ドッキング344及び横向き348である。各例示的な状態の隣にあるのは、デバイス100の物理的状態の表現であるが、状態324及び328は例外であり、状態324及び328では、一般に、状態は、電話用の国際的なアイコン及びカメラ用のアイコンによってそれぞれ象徴化される。
状態304では、デバイスは閉状態であり、デバイス100は、一般に、一次画面104と二次画面108が異なる面で背中合わせの状態で、縦向き方向に方向付けられる(図1Hを参照)。閉状態から、デバイス100は、例えば、ドッキング状態336または横向き状態340に入ることができ、ドッキング状態336では、デバイス100はドッキングステーションやドッキングケーブルと結合されるか、または、一般に1つもしくは複数の他のデバイスもしくは周辺機器とドッキングされるかもしくは関連付けられ、横向き状態340では、一次画面104はユーザに面し、一次画面104と二次画面108は背中合わせの状態でデバイス100が一般に方向付けされる。
また、閉状態では、デバイスは、移行状態に移動することができ、移行状態では、デバイスは閉じたままであるが、ディスプレイは、例えば、画面110、114上でのダブルタップなどのユーザ入力に基づいて、ある画面104から別の画面108に移動する。さらに別の実施形態は、両面状態(bilateral state)を含む。両面状態では、デバイスは閉じたままであるが、単一のアプリケーションが少なくとも1つのウィンドウを第1のディスプレイ110と第2のディスプレイ114の両方に表示する。第1及び第2のディスプレイ110、114に示されるウィンドウは、アプリケーション及びそのアプリケーションの状態に基づいて、同じであっても異なっていてもよい。例えば、カメラで画像を取得する間、デバイスは、第1のディスプレイ110上でファインダを表示することができ、第2のディスプレイ114上で被写体のプレビュー(全画面及び左から右へミラーリング)を表示する。
閉状態304から半開状態またはイーゼル状態312への移行状態である状態308では、デバイス100は、一次画面104及び二次画面108をヒンジと一致する軸のポイントの周りで回転させて開いた状態で示される。イーゼル状態312に入ると、一次画面104及び二次画面108は、例えば、デバイス100がイーゼル様構成で表面上に位置することができるように、互いに分離される。
変形イーゼル位置として知られる状態316では、デバイス100は、互いにイーゼル状態312と同様の相対関係にある一次画面104及び二次画面108を有し、その違いは、示されるように、一次画面104または二次画面108のうちの1つが表面上に配置されることである。
状態320は開状態であり、開状態では、一次画面104及び二次画面108は、一般に、同じ平面上にある。開状態から、デバイス100は、ドッキング状態344または開横向き状態348に移行することができる。開状態320では、一次画面104及び二次画面108は、一般に、縦向きのような状態にあるが、横向き状態348では、一次画面104及び二次画面108は、一般に、横向きのような状態にある。
状態324は、デバイス100でそれぞれ着信通話を受けるまたは発信通話をかける場合などの通信状態の例示である。明確には示されていないが、デバイス100は、図3に示されるいかなる状態からも着信/発信通話状態324へ移行できることを理解されたい。同様に、画像/映像捕捉状態328もまた、図3に示される他のいかなる状態からも入ることができ、画像/映像捕捉状態328では、デバイス100は、映像捕捉デバイス240を備えたカメラ及び/またはビデオを介して、1つまたは複数の画像を撮影することができる。
移行状態332は、一次画面104及び二次画面108が、例えば、閉状態304に入るために、互いに向かって閉じている状態を例示的に示す。
図3Bは、キーを参照して、第1の状態から第2の状態への移行を検出するために受信された入力を示す。図3Bでは、状態のさまざまな組合せが示されており、一般に、列の一部は、縦向き状態352や横向き状態356を対象とし、行の一部は、縦向き状態360と横向き状態364を対象とする。
図3Bでは、キーは、「H」が1つまたは複数のホール効果センサからの入力を表し、「A」が1つまたは複数の加速度計からの入力を表し、「T」がタイマからの入力を表し、「P」が通信トリガ入力を表し、「I」が画像及び/または映像捕捉要求入力を表すことを示す。したがって、表の中央部分376では、デバイス100がどのように第1の物理的な状態から第2の物理的な状態への移行を検出するかを表す入力または入力の組合せが示される。
論じられるように、表の中央部分376では、受信した入力により、例えば、縦向き開状態から横向きイーゼル状態への移行(太字の「HAT」で示される)の検出が可能になる。この例示的な縦向き開状態から横向きイーゼル状態への移行の場合、ホール効果センサ(「H」)、加速度計(「A」)及びタイマ(「T」)入力が必要とされ得る。タイマ入力は、例えば、プロセッサに関連付けられた時計から得ることができる。
縦向き及び横向き状態に加えて、ドッキング信号372の受信に基づいてトリガされるドッキング状態368も示される。上記で論じられるように、図3に関連して、ドッキング信号は、デバイス100を、1つまたは複数の他のデバイス100、アクセサリ、周辺機器、スマートドックまたは同様のものと接続することによってトリガすることができる。
ユーザ相互作用:
図4A〜4Hは、画面104、108によって認識することができるジェスチャ入力のさまざまなグラフィカルな表現を描写する。ジェスチャは、指などのユーザの身体部分ばかりではなく、画面104、108の接触感知部分によって感知することができるスタイラスなどの他のデバイスによっても行うことができる。一般に、ジェスチャは、どこでジェスチャが行われるか(ディスプレイ110、114上に直接またはジェスチャ捕捉領域120、124のいずれか)に基づいて、異なって解釈される。例えば、ディスプレイ110、114内のジェスチャは、デスクトップまたはアプリケーションを対象とし、ジェスチャ捕捉領域120、124内のジェスチャは、システム用として解釈され得る。
図4A〜4Hを参照すると、ジェスチャの第1のタイプ(タッチジェスチャ420)は、選択された時間長の間、画面104、108上に実質的に静止する。円428は、画面の接触感知部分の特定の位置で受信されたタッチまたは他の接触タイプを表す。円428は、境界432を含み得、その厚さは、接触位置において実質的に静止した状態で接触が保持された時間長を示す。例えば、タップ420(または短時間のプレス)は、長時間のプレス424に対する(または通常のプレスに対する)境界432bより薄い境界432aを有する。長時間のプレス424は、タップ420より長い時間の間、画面上に実質的に静止した状態のままの接触を伴う可能性がある。理解されるように、異なって定義されたジェスチャは、接触停止前または画面上での移動前のタッチが静止した状態のままの時間長に応じて登録することができる。
図4Cを参照すると、画面104、108上でのドラッグジェスチャ400は、最初の接触(円428によって表される)に、選択された方向への接触移動436が伴う。最初の接触428は、境界432によって表される特定の時間量の間、画面104、108上で静止した状態のままであり得る。ドラッグジェスチャは、通常、ユーザが第1の位置でアイコン、ウィンドウまたは他の表示画像に接触し、その後、選択された表示画像に対して所望の新しい第2の位置に向かうドラッグ方向に接触を移動させる必要がある。接触移動は、直線である必要はないが、接触が第1から第2の位置に実質的に連続したものである限り、いかなる経路の移動もあり得る。
図4Dを参照すると、画面104、108上でのフリックジェスチャ404は、最初の接触(円428によって表される)に、選択された方向への短縮された接触移動436(ドラッグジェスチャと比較して)が伴う。実施形態では、フリックは、ドラッグジェスチャと比較して、ジェスチャの最後の動きに対してより高い退出速度を有する。フリックジェスチャは、例えば、最初の接触に続く指スナップであり得る。ドラッグジェスチャと比較すると、フリックジェスチャは、一般に、表示画像の第1の位置から既定の第2の位置まで、画面104、108との連続的な接触を必要としない。接触した表示画像は、フリックジェスチャによって、既定の第2の位置に向かうフリックジェスチャ方向に移動される。両方のジェスチャは、一般に、第1の位置から第2の位置に表示画像を移動させることができるが、画面上での接触の持続時間及び移動距離は、一般に、ドラッグジェスチャよりもフリックジェスチャの方が短い。
図4Eを参照すると、画面104、108上でのピンチジェスチャ408が描写されている。ピンチジェスチャ408は、例えば、第1の指によって画面104、108に第1の接触428aを行い、例えば、第2の指によって画面104、108に第2の接触428bを行うことによって着手することができる。第1及び第2の接触428a、bは、共通の画面104、108の共通の接触感知部分によって、共通の画面104もしくは108の異なる接触感知部分によって、または、異なる画面の異なる接触感知部分によって、検出することができる。第1の接触428aは、境界432aによって表されるように、第1の時間量の間保持され、第2の接触428bは、境界432bによって表されるように、第2の時間量の間保持される。第1及び第2の時間量は、一般に、実質的に同じであり、第1及び第2の接触428a、bは、一般に、実質的に同時に起こる。また、第1及び第2の接触428a、bは、一般に、それぞれ、対応する第1及び第2の接触移動436a、bを含む。第1及び第2の接触移動436a、bは、一般に、対向方向である。別の言い方をすれば、第1の接触移動436aは、第2の接触428bに向かう方向にあり、第2の接触移動436bは、第1の接触428aに向かう方向にある。より簡単な言い方をすれば、ピンチジェスチャ408は、ユーザの指がピンチ動作で画面104、108に触れることによって実現することができる。
図4Fを参照すると、画面104、108上でのスプレッドジェスチャ410が描写されている。スプレッドジェスチャ410は、例えば、第1の指で画面104、108に第1の接触428aを行い、例えば、第2の指で画面104、108に第2の接触428bを行うことによって着手することができる。第1及び第2の接触428a、bは、共通の画面104、108の共通の接触感知部分によって、共通の画面104もしくは108の異なる接触感知部分によって、または、異なる画面の異なる接触感知部分によって、検出することができる。第1の接触428aは、境界432aによって表されるように、第1の時間量の間保持され、第2の接触428bは、境界432bによって表されるように、第2の時間量の間保持される。第1及び第2の時間量は、一般に、実質的に同じであり、第1及び第2の接触428a、bは、一般に、実質的に同時に起こる。また、第1及び第2の接触428a、bは、一般に、それぞれ、対応する第1及び第2の接触移動436a、bを含む。第1及び第2の接触移動436a、bは、一般に、共通の方向である。別の言い方をすれば、第1及び第2の接触移動436a、bは、第1及び第2の接触428a、bから遠ざかる方向にある。より簡単な言い方をすれば、スプレッドジェスチャ410は、ユーザの指がスプレッド動作で画面104、108に触れることによって実現することができる。
上記のジェスチャは、図4G及び4Hによって示されるものなど、任意の方法で組み合わせて、決定された機能的な結果を生成することができる。例えば、図4Gでは、タップジェスチャ420と、タップジェスチャ420から遠ざかる方向へのドラッグまたはフリックジェスチャ412とが組み合わされている。図4Hでは、タップジェスチャ420と、タップジェスチャ420に向かう方向へのドラッグまたはフリックジェスチャ412とが組み合わされている。
ジェスチャを受信するという機能的な結果は、デバイス100、ディスプレイ110、114もしくは画面104、108の状態、ジェスチャに関連付けられたコンテキスト、または、ジェスチャの感知位置を含む多くの要因に応じて異なり得る。デバイスの状態は、一般に、デバイス100の構成、ディスプレイ方向ならびにデバイス100で受信されるユーザ及び他の入力のうちの1つまたは複数を指す。コンテキストは、一般に、アプリケーションが単一画面アプリケーションであろうが、複数画面アプリケーションであろうが、及び、アプリケーションが1つまたは複数の画面に1つまたは複数のウィンドウを表示する複数画面アプリケーションであろうが、1つまたは複数のスタックに1つまたは複数のウィンドウを表示する複数画面アプリケーションであろうが、ジェスチャによって選択された特定のアプリケーション及び現時点で実行しているアプリケーションの部分のうちの1つまたは複数を指す。ジェスチャの感知位置は、一般に、感知されたジェスチャ位置座標セットが、タッチセンサ式ディスプレイ110、114上にあるかまたはジェスチャ捕捉領域120、124にあるか、感知されたジェスチャ位置座標セットが、共通のディスプレイもしくは画面104、108に関連付けられているか、または異なるディスプレイもしくは画面104、108に関連付けられているか、及び/または、ジェスチャ捕捉領域のどの部分が感知されたジェスチャ位置座標セットを含むかを指す。
タップは、タッチセンサ式ディスプレイ110、114で受信する場合、例えば、対応するアプリケーションの実行の開始または終了、ウィンドウの最大化または最小化、スタック内でのウィンドウの並べ換え、及び、キーボード表示または他の表示画像などによるユーザ入力の提供のためにアイコンを選択する際に使用することができる。ドラッグは、タッチセンサ式ディスプレイ110、114で受信する場合、例えば、ディスプレイ内の所望の位置へアイコンもしくはウィンドウを移動する、ディスプレイ上でスタックを並べ換える、または、両ディスプレイをスパンする(その結果、選択したウィンドウは各ディスプレイの部分を同時に占有する)際に使用することができる。フリックは、タッチセンサ式ディスプレイ110、114またはジェスチャ捕捉領域120、124で受信する場合、例えば、第1のディスプレイから第2のディスプレイへウィンドウを移動する、または、両ディスプレイをスパンする(その結果、選択したウィンドウは各ディスプレイの部分を同時に占有する)際に使用することができる。しかし、ドラッグジェスチャとは異なり、フリックジェスチャは、一般に、特定のユーザ選択位置へ表示画像を移動する際には使用されないが、ユーザによる構成が不可能なデフォルト位置へ表示画像を移動する際には使用される。
ピンチジェスチャは、タッチセンサ式ディスプレイ110、114またはジェスチャ捕捉領域120、124で受信する場合、ウィンドウの表示エリアもしくはサイズを最小化もしくは増加する(通常、共通のディスプレイで全体を受信する場合)、各ディスプレイ上のスタックの最上部に表示されるウィンドウを他のディスプレイのスタックの最上部に切り替える(通常、異なるディスプレイまたは画面で受信する場合)、または、アプリケーションマネージャを表示する(スタックにウィンドウを表示する「ポップアップウィンドウ」)際に使用することができる。スプレッドジェスチャは、タッチセンサ式ディスプレイ110、114またはジェスチャ捕捉領域120、124で受信する場合、ウィンドウの表示エリアもしくはサイズを最大化もしくは減少する、各ディスプレイ上のスタックの最上部に表示されるウィンドウを他のディスプレイのスタックの最上部に切り替える(通常、異なるディスプレイまたは画面で受信する場合)、または、アプリケーションマネージャを表示する(同じまたは異なる画面上の画面外ジェスチャ捕捉領域で受信する場合)際に使用することができる。
図4Gの組み合わされたジェスチャは、共通のディスプレイまたは画面104、108内の共通のディスプレイ捕捉領域で受信する場合、ジェスチャを受信するディスプレイに一定の第1のスタックに第1のウィンドウスタック位置を保持する一方で、第2のウィンドウスタック位置を第2のウィンドウスタックに並べ替えて、ジェスチャを受信するディスプレイにウィンドウを含める際に使用することができる。図4Hの組み合わされたジェスチャは、共通のディスプレイもしくは画面104、108または異なるディスプレイもしくは画面内の異なるディスプレイ捕捉領域で受信する場合、ジェスチャのタップ部分を受信するディスプレイに一定の第1のウィンドウスタックに第1のウィンドウスタック位置を保持する一方で、第2のウィンドウスタック位置を第2のウィンドウスタックに並べ替えて、フリックまたはドラッグジェスチャを受信するディスプレイにウィンドウを含める際に使用することができる。先行例における特定のジェスチャ及びジェスチャ捕捉領域は、機能的な結果の対応するセットと関連付けられてきたが、これらの関連性は、いかなる方法でも再定義でき、ジェスチャ及び/またはジェスチャ捕捉領域及び/または機能的な結果間で異なる関連性を生成できることを理解されたい。
ファームウェア及びソフトウェア:
メモリ508は、1つまたは複数のソフトウェアコンポーネントを格納することができ、プロセッサ504は、それを実行することができる。これらのコンポーネントは、少なくとも1つのオペレーティングシステム(OS)516、アプリケーションマネージャ562、デスクトップ566及び/またはアプリケーションストア560からの1つもしくは複数のアプリケーション564a及び/または564bを含み得る。OS 516は、以前に図2と併せて説明された、フレームワーク520、1つもしくは複数のフレームバッファ548、1つもしくは複数のドライバ512及び/またはカーネル518を含み得る。OS 516は、プログラム及びデータからなる任意のソフトウェアであり得、プログラム及びデータは、コンピュータハードウェアリソースを管理し、さまざまなアプリケーション564の実行のための共通のサービスを提供する。OS 516は、任意のオペレーティングシステムであり得、少なくともいくつかの実施形態では、これらに限定されないが、リナックス(Linux)(登録商標)、アンドロイド(Android)(登録商標)、アイフォンOS(iPhone OS)(iOS(登録商標))、ウィンドウズフォン7(Windows Phone 7)(登録商標)などを含むモバイルデバイス専用である。OS 516は、本明細書に記載されるように、1つまたは複数のオペレーションを実行することによって、電話に機能性を提供するよう動作可能である。
アプリケーション564は、ユーザのための特定の機能性を実行する任意の高レベルのソフトウェアであり得る。アプリケーション564は、Eメールクライアント、ウェブブラウザ、テキストメッセージアプリケーション、ゲーム、メディアプレーヤ、オフィススイートなどのプログラムを含み得る。アプリケーション564は、アプリケーションストア560に格納することができ、アプリケーションストア560は、アプリケーション564を格納するための任意のメモリまたはデータストレージ及びそれに関連付けられた管理ソフトウェアを表し得る。実行された時点で、アプリケーション564は、メモリ508の異なるエリアで実行することができる。
フレームワーク520は、デバイス上で実行されている複数のタスクの相互作用を可能にする任意のソフトウェアまたはデータであり得る。実施形態では、フレームワーク520の少なくとも部分及び以下で説明する個別のコンポーネントは、OS 516またはアプリケーション564の一部と見なすことができる。しかし、それらのコンポーネントはそのように限定されないことを除けば、これらの部分は、フレームワーク520の一部として説明される。フレームワーク520は、これらに限定されないが、複数ディスプレイ管理(MDM)モジュール524、サーフェスキャッシュモジュール528、ウィンドウ管理モジュール532、入力管理モジュール536、タスク管理モジュール540、アプリケーションモデルマネージャ542、ディスプレイコントローラ、1つもしくは複数のフレームバッファ548、タスクスタック552、1つもしくは複数のウィンドウスタック550(ディスプレイエリア内のウィンドウ及び/またはデスクトップの論理構成である)及び/またはイベントバッファ556を含み得る。
MDMモジュール524は、デバイスの画面上でアプリケーションまたは他のデータの表示を管理するよう動作可能な1つまたは複数のモジュールを含む。MDMモジュール524の実施形態は、図5Bと併せて説明する。実施形態では、MDMモジュール524は、ドライバ512などの他のOS 516コンポーネントから及びアプリケーション564から入力を受信し、常にデバイス100の状態を決定する。入力は、アプリケーションの優先度及び要件ならびにユーザ動作に応じてディスプレイをどのように構成して割り当てるかを決定する際にMDMモジュール524を支援する。ディスプレイ構成に対する決定がなされた時点で、MDMモジュール524は、アプリケーション564とディスプレイとを結合することができる。次いで、1つまたは複数の他のコンポーネントに構成を提供して、ディスプレイでウィンドウを生成することができる。
サーフェスキャッシュモジュール528は、ウィンドウの1つまたは複数の画像を格納またはキャッシュするための任意のメモリまたはストレージ及びそれに関連付けられたソフトウェアを含む。一連のアクティブ及び/または非アクティブウィンドウ(またはデスクトップ表示などの他の表示オブジェクト)は、各ディスプレイに関連付けられ得る。アクティブウィンドウ(または他の表示オブジェクト)が現時点で表示されている。非アクティブウィンドウ(または他の表示オブジェクト)は、ある時点で開かれ、表示されていたが、現時点では表示されていない。ユーザ経験を高めるため、ウィンドウをアクティブ状態から非アクティブ状態へ移行する前に、ウィンドウ(または他の表示オブジェクト)の最後に生成された画像の「スクリーンショット」を格納することができる。サーフェスキャッシュモジュール528は、現時点で表示されていないウィンドウ(または他の表示オブジェクト)の最後のアクティブ画像のビットマップを格納するよう動作可能であり得る。したがって、サーフェスキャッシュモジュール528は、データストアに非アクティブウィンドウ(または他の表示オブジェクト)の画像を格納する。
実施形態では、ウィンドウ管理モジュール532は、それぞれのディスプレイ上でアクティブであるまたは非アクティブであるウィンドウ(または他の表示オブジェクト)を管理するよう動作可能である。ウィンドウ管理モジュール532は、MDMモジュール524、OS 516または他のコンポーネントからの情報に基づいて、ウィンドウ(または他の表示オブジェクト)がいつ可視であるかまたは非アクティブであるかを決定する。次いで、ウィンドウ管理モジュール532は、不可視ウィンドウ(または他の表示オブジェクト)を「非アクティブ状態」に置き、タスク管理モジュールタスク管理540と併せて、アプリケーションのオペレーションを一時停止する。さらに、ウィンドウ管理モジュール532は、MDMモジュール524との協働相互作用を通じて、ウィンドウ(または他の表示オブジェクト)にディスプレイ識別子を割り当てることも、ウィンドウ(または他の表示オブジェクト)に関連付けられたデータの1つまたは複数の他のアイテムを管理することもできる。また、ウィンドウ管理モジュール532は、アプリケーション564、タスク管理モジュール540、または、ウィンドウ(または他の表示オブジェクト)と相互作用するかもしくは関連付けられた他のコンポーネントに格納された情報を提供することもできる。また、ウィンドウ管理モジュール532は、動作空間内のウィンドウフォーカス及びディスプレイ座標に基づいて、入力タスクをウィンドウと関連付けることもできる。
入力管理モジュール536は、デバイスで起こるイベントを管理するよう動作可能である。イベントは、例えば、ユーザとのユーザインタフェース相互作用などのウィンドウ環境への任意の入力である。入力管理モジュール536は、イベントを受信し、イベントをイベントバッファ556に論理的に格納する。イベントは、そのようなユーザインタフェース相互作用を、画面104、108がユーザからタッチ信号を受信した場合に起こる「ダウンイベント」、ユーザの指が画面を横切って移動していることを画面104、108が決定した場合に起こる「移動イベント」、ユーザが画面104、108に触れるのを止めたことを画面104、108が決定した場合に起こる「アップイベント」などとして含み得る。これらのイベントは、入力管理モジュール536によって、受信され、格納され、他のモジュールに転送される。また、入力管理モジュール536は、デバイス上で利用可能なすべての物理的及び仮想ディスプレイの集大成である動作空間に画面入力をマッピングすることもできる。
動作空間は、一緒に「タイル化」してデバイス100の物理的寸法を模倣した、すべてのタッチセンサ式ディスプレイ110、114を含む仮想化空間である。例えば、デバイス100が展開されている場合は、動作空間サイズは960×800であり得、これは、両方のタッチセンサ式ディスプレイ110、114の組み合わされたディスプレイエリア内の画素数であり得る。ユーザが位置(40,40)で第1のタッチセンサ式ディスプレイ110に触れる場合、全画面ウィンドウは、位置(40,40)でタッチイベントを受信することができる。ユーザが位置(40,40)で第2のタッチセンサ式ディスプレイ114に触れる場合、全画面ウィンドウは、位置(520,40)でタッチイベントを受信することができるが、その理由は、第2のタッチセンサ式ディスプレイ114は第1のタッチセンサ式ディスプレイ110の右側にあり、したがって、デバイス100は、第1のタッチセンサ式ディスプレイ110の幅の分、すなわち、480画素分だけ、そのタッチにオフセットを設けることができるためである。ドライバ512からの位置情報でハードウェアイベントが起こる場合、デバイスの向き及び状態に基づいてイベントの位置が異なり得るため、フレームワーク520は、物理的位置を動作空間にアップスケールすることができる。動作空間は、それが教示するすべて及びすべての目的のためにその全体が参照により本明細書に組み込まれる、2011年7月20日に出願された「複数の入力デバイスに及ぶジェスチャ入力を受信するためのシステム及び方法(Systems and Methods for Receiving Gesture Inputs Spanning Multiple Input Devices)」と称する米国特許出願第13/187,026号明細書に記載されるようなものであり得る。
タスクは、アプリケーションであり得、サブタスクは、ユーザが、例えば、電話をする、写真を撮る、Eメールを送信するまたはマップを見るなど何かを行うために情報のやり取りを行うことができるウィンドウを提供するアプリケーションコンポーネントであり得る。各タスクには、ユーザインタフェースを描くためのウィンドウを与えることができる。ウィンドウは、通常、ディスプレイ(例えば、タッチセンサ式ディスプレイ110、114)全体を占めるが、ディスプレイ110、114より小さく、他のウィンドウ上で浮動してもよい。アプリケーションは、通常、互いに緩やかに結合された複数のサブタスクからなる。通常、アプリケーション内の1つのタスクが「メイン」タスクとして指定され、最初にアプリケーションに着手する際にユーザに提示される。次いで、各タスクは、別のタスクまたはサブタスクを開始して、異なる動作を実行することができる。
タスク管理モジュール540は、デバイスによって実行することができる1つまたは複数のアプリケーション564のオペレーションを管理するよう動作可能である。したがって、タスク管理モジュール540は、信号を受信して、アプリケーションストア560に格納されたアプリケーションまたはアプリケーションサブタスクの着手、一時停止、終了などを行うことができる。次いで、タスク管理モジュール540は、アプリケーション564の1つまたは複数のタスクまたはサブタスクのインスタンスを作成し、アプリケーション564のオペレーションを開始することができる。さらに、タスク管理モジュール540は、ユーザ入力の結果または協働フレームワーク520コンポーネントからの信号の結果、タスクまたはサブタスクの着手、一時停止または終了を行うことができる。タスク管理モジュール540は、アプリケーションの着手からアプリケーションの終了までのアプリケーション(タスク及びサブタスク)のライフサイクルの管理に対する責任を有する。
タスク管理モジュール540の処理は、タスクスタック552によって容易にし、タスクスタック552は、タスク管理モジュール540に関連付けられた論理構造である。タスクスタック552は、デバイス100上のすべてのタスク及びサブタスクの状態を維持する。オペレーティングシステム516の一部のコンポーネントがタスクまたはサブタスクにそのライフサイクルにおける移行を行わせる必要がある場合、OS 516コンポーネントは、タスク管理モジュール540に通知することができる。次いで、タスク管理モジュール540は、識別情報を使用してタスクスタック552においてタスクまたはサブタスクを位置付け、タスクがどのようなライフサイクル移行を実行する必要があるかを示す信号をタスクまたはサブタスクに送信する。移行についてタスクまたはサブタスクに通知することにより、タスクまたはサブタスクは、ライフサイクル状態移行の準備を行うことができる。次いで、タスク管理モジュール540は、タスクまたはサブタスクに対する状態移行を実行することができる。実施形態では、状態移行は、終了が必要な場合に、OSカーネル518をトリガしてタスクを終了することを伴う場合がある。
さらに、タスク管理モジュール540は、ウィンドウ管理モジュール532からの情報に基づいて、アプリケーション564を一時停止することができる。アプリケーション564の一時停止により、メモリ内のアプリケーションデータを維持することができるが、ウィンドウまたはユーザインタフェースのレンダリングからアプリケーション564を制限することも停止することもある。再びアプリケーションがアクティブ状態になった時点で、タスク管理モジュール540は、再び、アプリケーションをトリガして、そのユーザインタフェースをレンダリングすることができる。実施形態では、タスクが一時停止されれば、タスクは、タスクの終了が行われる場合は、タスクの状態を保存することができる。一時停止状態では、アプリケーションウィンドウはユーザから見えないため、アプリケーションタスクは、入力を受信することはできない。
フレームバッファ548は、ユーザインタフェースのレンダリングに使用される論理構造である。フレームバッファ548は、OSカーネル518によって作成及び破壊され得る。しかし、ディスプレイコントローラ544は、可視ウィンドウに対し、画像データをフレームバッファ548に書き込むことができる。フレームバッファ548は、1つの画面または複数の画面に関連付けられ得る。画面とのフレームバッファ548の関連性は、OSカーネル518との相互作用によって動的に制御することができる。複合ディスプレイは、複数の画面を単一のフレームバッファ548と関連付けることによって作成することができる。次いで、アプリケーションのウィンドウのユーザインタフェースのレンダリングに使用されるグラフィカルなデータは、複合ディスプレイに対し、単一のフレームバッファ548に書き込むことができ、それは複数画面104、108に出力される。ディスプレイコントローラ544は、アプリケーションのユーザインタフェースを、特定のディスプレイ110、114にマッピングされたフレームバッファ548の一部に移動させることができ、したがって、1つの画面104または108上にのみユーザインタフェースを表示することができる。ディスプレイコントローラ544は、ユーザインタフェースの制御を複数のアプリケーションに拡大し、フレームバッファ548またはその一部と関連付けられるだけの数のディスプレイに対してユーザインタフェースを制御することができる。この手法は、ディスプレイコントローラ544上のソフトウェアコンポーネントで使用中の複数の物理的画面104、108を補整する。
アプリケーションマネージャ562は、ウィンドウ環境に対するプレゼンテーション層を提供するアプリケーションである。したがって、アプリケーションマネージャ562は、タスク管理モジュール540によるレンダリングのためのグラフィカルなモデルを提供する。同様に、デスクトップ566は、アプリケーションストア560に対するプレゼンテーション層を提供する。したがって、デスクトップは、レンダリング用にウィンドウ管理モジュール556に提供することができるアプリケーションストア560内のアプリケーション564用の選択可能なアプリケーションアイコンを有する表面のグラフィカルなモデルを提供する。
さらに、フレームワークは、アプリケーションモデルマネージャ(AMM)542を含み得る。アプリケーションマネージャ562は、AMM 542とインタフェースをとることができる。実施形態では、AMM 542は、アプリケーションの状態(実行中または一時停止中)に関する状態変化情報をデバイス100から受信する。AMM 542は、サーフェスキャッシュモジュール528からのビットマップ画像を活動中(実行中または一時停止中)のタスクと関連付けることができる。さらに、AMM 542は、タスク管理モジュール540内で維持されている論理的ウィンドウスタックを、ディスプレイ外のジェスチャ捕捉エリア120を使用してウィンドウをより分ける際にユーザが捉える線形(「フィルムストリップ」または「トランプ一組」)組織に変換することができる。さらに、AMM 542は、実行中のアプリケーションのリストを、アプリケーションマネージャ562に提供することができる。
MDMモジュール524の実施形態を図5Bに示す。MDMモジュール524は、これらに限定されないが、デバイスの向き、デバイス100は開いているかまたは閉じているか、どのアプリケーション564を実行しているか、どのようにアプリケーション564を表示するか、ユーザはどの動作を行っているか、表示されているタスクなどを含むデバイスのための環境の状態を決定するよう動作可能である。ディスプレイを構成するため、MDMモジュール524は、図6A〜6Jと併せて説明されるように、これらの環境要因を解釈し、ディスプレイ構成を決定する。次いで、MDMモジュール524は、アプリケーション564または他のデバイスコンポーネントをディスプレイと結合することができる。次いで、ディスプレイコントローラ544及び/またはOS 516内の他のコンポーネントに構成を送信し、ディスプレイを生成することができる。MDMモジュール524は、これらに限定されないが、ディスプレイ構成モジュール568、優先度モジュール572、デバイス状態モジュール574、ジェスチャモジュール576、要件モジュール580、イベントモジュール584及び/または結合モジュール588のうちの1つまたは複数を含み得る。
ディスプレイ構成モジュール568は、ディスプレイ用のレイアウトを決定する。実施形態では、ディスプレイ構成モジュール568は、環境因子を決定することができる。環境因子は、1つまたは複数の他のMDMモジュール524からまたは他のソースから受信することができる。次いで、ディスプレイ構成モジュール568は、因子のリストからディスプレイに最適な構成を決定することができる。可能な構成及びそれに関連付けられた因子のいくつかの実施形態については、図6A〜6Fと併せて説明する。
優先度モジュール572は、アプリケーション564または他のコンポーネントの表示優先度を決定するよう動作可能である。例えば、アプリケーションは、単一またはデュアルディスプレイに対する優先度を有し得る。優先度モジュール572は、アプリケーションの表示優先度を決定することができ(例えば、アプリケーションの優先度設定を検査することによって)、デバイス100が好ましいモードに対応することができる状態にある場合は、アプリケーション564がモード(例えば、単一画面、二重画面、最大など)を変更することを可能にする場合がある。しかし、いくつかのユーザインタフェース方針は、そのモードが利用可能であっても、モードを認めない場合がある。デバイスの構成が変化すると、優先度を見直して、アプリケーション564に対してより良いディスプレイ構成を実現できるかどうかを決定することができる。
デバイス状態モジュール574は、デバイスの状態を決定または受信するよう動作可能である。デバイスの状態は、図3A及び3Bと併せて説明されるようなものであり得る。デバイスの状態は、ディスプレイ構成モジュール568で使用して、ディスプレイの構成を決定することができる。このように、デバイス状態モジュール574は、入力を受信し、デバイスの状態を解釈することができる。次いで、状態情報は、ディスプレイ構成モジュール568に提供される。
ジェスチャモジュール576は、MDMモジュール524の一部として示されるが、実施形態では、ジェスチャモジュール576は、MDMモジュール524から分離された別々のフレームワーク520コンポーネントであり得る。実施形態では、ジェスチャモジュール576は、ユーザインタフェースの任意の部分でユーザが何らかの動作を行っているかどうかを決定するよう動作可能である。代替の実施形態では、ジェスチャモジュール576は、構成可能なエリア112、116のみからユーザインタフェース動作を受信する。ジェスチャモジュール576は、入力管理モジュール536を用いて、構成可能なエリア112、116(または、場合により、他のユーザインタフェースエリア)上で起こるタッチイベントを受信することができ、タッチイベントを解釈して(方向、速度、距離、持続時間及びさまざまな他のパラメータを使用して)ユーザがどのようなジェスチャを実行しているかを決定することができる。ジェスチャが解釈されると、ジェスチャモジュール576は、ジェスチャの処理に着手することができ、他のフレームワーク520コンポーネントと協働して、必要なウィンドウアニメーションを管理することができる。ジェスチャモジュール576は、アプリケーションモデルマネージャ542と協働して、どのアプリケーションが実行中(アクティブまたは一時停止)か、及び、ユーザジェスチャが実行される際にアプリケーションが現れなければならない順番に関する状態情報を収集する。また、ジェスチャモジュール576は、ビットマップ(サーフェスキャッシュモジュール528から)及びライブウィンドウへの参照を受信することができ、その結果、ジェスチャが起こると、ジェスチャモジュール576は、ディスプレイ110、114を横切ってウィンドウを移動させる方法をディスプレイコントローラ544に指示することができる。したがって、一時停止されたアプリケーションは、それらのウィンドウがディスプレイ110、114を横切って移動すると、実行しているように見える。
さらに、ジェスチャモジュール576は、タスク管理モジュール540または入力管理モジュール536のいずれかからタスク情報を受信することができる。ジェスチャは、図4A〜4Hと併せて定義されるようなものであり得る。例えば、ウィンドウの移動により、ディスプレイは、ウィンドウの移動を示す一連のディスプレイフレームをレンダリングする。そのようなユーザインタフェース相互作用に関連付けられたジェスチャは、ジェスチャモジュール576で受信し解釈することができる。次いで、ユーザジェスチャについての情報はタスク管理モジュール540に送信され、タスクのディスプレイ結合が修正される。
優先度モジュール572と同様の要件モジュール580は、アプリケーション564または他のコンポーネントに対するディスプレイ要件を決定するよう動作可能である。アプリケーションは、観察しなければならないディスプレイ要件セットを有し得る。いくつかのアプリケーションは、特定のディスプレイ方向を必要とする。例えば、アプリケーション「アングリバード(Angry Birds)」は、横向きでのみ表示することができる。この種のディスプレイ要件は、要件モジュール580によって決定または受信することができる。デバイスの向きが変更されると、要件モジュール580は、アプリケーション564に対するディスプレイ要件を再び主張することができる。ディスプレイ構成モジュール568は、要件モジュール580によって提供されるアプリケーション表示要件に従ったディスプレイ構成を生成することができる。
ジェスチャモジュール576と同様のイベントモジュール584は、ユーザインタフェースに影響を及ぼし得るアプリケーションまたは他のコンポーネントで起こる1つまたは複数のイベントを決定するよう動作可能である。したがって、イベントモジュール584は、イベントバッファ556またはタスク管理モジュール540のいずれかからイベント情報を受信することができる。これらのイベントは、タスクがどのようにディスプレイと結合されるか変更することができる。イベントモジュール584は、他のフレームワーク520コンポーネントから状態変化情報を収集し、その状態変化情報に応じて作用され得る。一例では、電話が開かれるか、または閉じられる場合、または方向変化が生じる場合、新しいメッセージが二次画面にレンダリングされる。このイベントに基づく状態変化は、イベントモジュール584により受信され、解釈されることができる。次いで、イベントについての情報は、ディスプレイ構成モジュール568に送信され、ディスプレイの構成を修正することができる。
結合モジュール588は、アプリケーション564または他のコンポーネントをディスプレイ構成モジュール568によって決定された構成と結合するよう動作可能である。結合は、メモリ内で、各アプリケーションに対するディスプレイ構成をアプリケーションの表示及びモードと関連付ける。したがって、結合モジュール588は、アプリケーションをそのアプリケーションに対するディスプレイ構成(例えば、横向き、縦向き、複数画面など)と関連付けることができる。次いで、結合モジュール588は、ディスプレイ識別子をディスプレイに割り当てることができる。ディスプレイ識別子は、アプリケーションをデバイス100の特定のディスプレイと関連付ける。次いで、この結合は、格納され、ディスプレイコントローラ544、OS 516の他のコンポーネントまたは他のコンポーネントに提供され、ディスプレイが適正にレンダリングされる。結合は、動的であり、イベント、ジェスチャ、状態変化、アプリケーション優先度または要件などに関連付けられた構成変更に基づいて、変更することも更新することもできる。
ユーザインタフェース構成:
ここで図6A〜Jを参照し、デバイス100によって可能となったさまざまなタイプの出力構成について以下で説明する。
図6A及び6Bは、第1の状態にあるデバイス100の2つの異なる出力構成を描写する。具体的には、図6Aは、閉縦向き状態304にあるデバイス100を描写し、データは、一次画面104に表示される。この例では、デバイス100は、第1の縦向き構成604でタッチセンサ式ディスプレイ110を介してデータを表示する。理解できるように、第1の縦向き構成604は、デスクトップまたはオペレーティングシステムホーム画面のみを表示することができる。あるいは、デバイス100が第1の縦向き構成604でデータを表示している間、1つまたは複数のウィンドウを縦向きで提示することができる。
図6Bは、依然として閉縦向き状態304にあるデバイス100を描写するが、代わりに、データは、二次画面108に表示される。この例では、デバイス100は、第2の縦向き構成608でタッチセンサ式ディスプレイ114を介してデータを表示する。
第1または第2の縦向き構成604、608のいずれかで同様のまたは異なるデータを表示することが可能である場合がある。また、ユーザジェスチャ(例えば、ダブルタップジェスチャ)、メニュー選択または他の手段をデバイス100に提供することによって、第1の縦向き構成604と第2の縦向き構成608との間を移行することが可能である場合もある。また、他の適切なジェスチャを使用して、構成間を移行することもできる。その上、デバイス100がどの状態に移動されるかに応じて、第1または第2の縦向き構成604、608から本明細書に記載される他の任意の構成へデバイス100を移行することが可能である場合もある。
代替の出力構成は、第2の状態にあるデバイス100によって対応することができる。具体的には、図6Cは、第3の縦向き構成を描写し、データは、一次画面104と二次画面108の両方に同時に表示される。第3の縦向き構成は、デュアル縦向き(PD)出力構成と呼ばれる場合がある。PD出力構成では、一次画面104のタッチセンサ式ディスプレイ110は、第1の縦向き構成604でデータを描写する一方で、二次画面108のタッチセンサ式ディスプレイ114は、第2の縦向き構成608でデータを描写する。第1の縦向き構成604と第2の縦向き構成608の同時プレゼンテーションは、デバイス100が開縦向き状態320にある場合に起こり得る。この構成では、デバイス100は、1つのアプリケーションウィンドウを1つのディスプレイ110または114に、2つのアプリケーションウィンドウを(それぞれのディスプレイ110及び114に1つずつ)、1つのアプリケーションウィンドウと1つのデスクトップを、または、1つのデスクトップを表示することができる。また、他の構成も可能である場合がある。デバイス100がどの状態に移動されるかに応じて、構成604、608の同時表示から本明細書に記載される他の任意の構成へデバイス100を移行することが可能である場合もあることを理解されたい。その上、この状態にある間、アプリケーションの表示優先度により、両ディスプレイがアクティブであり、同じアプリケーションで異なるウィンドウを表示する両面モードにデバイスが置かれる場合がある。例えば、カメラアプリケーションは、一面でファインダ及び制御を表示することができる一方で、他面は被写体で見ることができるミラーリングされたプレビューを表示する。また、2人のプレーヤによる同時プレーを伴うゲームも、両面モードを利用することができる。
図6D及び6Eは、第3の状態にあるデバイス100の2つのさらなる出力構成を描写する。具体的には、図6Dは、閉横向き状態340にあるデバイス100を描写し、データは、一次画面104に表示される。この例では、デバイス100は、第1の横向き構成612でタッチセンサ式ディスプレイ110を介してデータを表示する。本明細書に記載される他の構成に類似して、第1の横向き構成612は、デスクトップ、ホーム画面、アプリケーションデータを表示する1つもしくは複数のウィンドウまたは同様のものを表示することができる。
図6Eは、依然として閉横向き状態340にあるデバイス100を描写するが、代わりに、データは、二次画面108に表示される。この例では、デバイス100は、第2の横向き構成616でタッチセンサ式ディスプレイ114を介してデータを表示する。第1または第2の横向き構成612、616のいずれかで同様のまたは異なるデータを表示することが可能である場合がある。ツイスト及びタップジェスチャまたはフリップ及びスライドジェスチャの一方または両方をデバイス100に提供することによって、第1の横向き構成612と第2の横向き構成616との間を移行することが可能である場合もある。また、他の適切なジェスチャを使用して、構成間を移行することもできる。その上、デバイス100がどの状態に移動されるかに応じて、第1または第2の横向き構成612、616から本明細書に記載される他の任意の構成へデバイス100を移行することが可能である場合もある。
図6Fは、第3の横向き構成を描写し、データは、一次画面104と二次画面108の両方に同時に表示される。第3の横向き構成は、デュアル横向き(LD)出力構成と呼ばれる場合がある。LD出力構成では、一次画面104のタッチセンサ式ディスプレイ110は、第1の横向き構成612でデータを描写する一方で、二次画面108のタッチセンサ式ディスプレイ114は、第2の横向き構成616でデータを描写する。第1の横向き構成612と第2の横向き構成616の同時プレゼンテーションは、デバイス100が開横向き状態340にある場合に起こり得る。デバイス100がどの状態に移動されるかに応じて、構成612、616の同時表示から本明細書に記載される他の任意の構成へデバイス100を移行することが可能である場合もあることを理解されたい。
図6G及び6Hは、さらに別の状態にあるデバイス100の2つの図を描写する。具体的には、デバイス100は、イーゼル状態312にあるものとして描写される。図6Gは、第1のイーゼル出力構成618をタッチセンサ式ディスプレイ110に表示できることを示す。図6Hは、第2のイーゼル出力構成620をタッチセンサ式ディスプレイ114に表示できることを示す。デバイス100は、第1のイーゼル出力構成618または第2のイーゼル出力構成620のいずれかを個別に描写するよう構成することができる。あるいは、イーゼル出力構成618、620の両方を同時に提示することができる。いくつかの実施形態では、イーゼル出力構成618、620は、横向き出力構成612、616と同様でも同一でもよい。また、デバイス100は、変形イーゼル状態316にある間、イーゼル出力構成618、620の一方または両方を表示するよう構成することができる。イーゼル出力構成618、620の同時利用は、2人用のゲーム(例えば、バトルシップ(Battleship)(登録商標)、チェス、チェッカなど)、2人以上のユーザが同じデバイス100及び他のアプリケーションを共有する複数ユーザ会議を容易にできることを理解されたい。理解できるように、デバイス100がどの状態に移動されるかに応じて、構成618、620の一方または両方のディスプレイから本明細書に記載される他の任意の構成へデバイス100を移行することが可能である場合もある。
図6Iは、デバイス100が開縦向き状態320にある間に対応することができるさらなる別の出力構成を描写する。具体的には、デバイス100は、本明細書で縦向きマックス(PMax)構成624と呼ばれる縦向き構成で、両方のタッチセンサ式ディスプレイ110、114にわたって単一の連続画像を提示するよう構成することができる。この構成では、データ(例えば、単一画像、アプリケーション、ウィンドウ、アイコン、ビデオなど)は、分割して、タッチセンサ式ディスプレイの1つに部分的に表示する一方で、データの他の部分を他のタッチセンサ式ディスプレイに表示することができる。Pmax構成624は、デバイス100上に特定の画像を表示するためのより大きな表示及び/またはより良好な解像度を容易にすることができる。他の出力構成と同様に、デバイス100がどの状態に移動されるかに応じて、Pmax構成624から本明細書に記載される他の任意の出力構成へデバイス100を移行することが可能である場合がある。
図6Jは、デバイス100が開横向き状態348にある間に対応することができるさらなる別の出力構成を描写する。具体的には、デバイス100は、本明細書で横向きマックス(LMax)構成628と呼ばれる横向き構成で、両方のタッチセンサ式ディスプレイ110、114にわたって単一の連続画像を提示するよう構成することができる。この構成では、データ(例えば、単一画像、アプリケーション、ウィンドウ、アイコン、ビデオなど)は、分割して、タッチセンサ式ディスプレイの1つに部分的に表示する一方で、データの他の部分を他のタッチセンサ式ディスプレイに表示することができる。Lmax構成628は、デバイス100上に特定の画像を表示するためのより大きな表示及び/またはより良好な解像度を容易にすることができる。他の出力構成と同様に、デバイス100がどの状態に移動されるかに応じて、Lmax構成628から本明細書に記載される他の任意の出力構成へデバイス100を移行することが可能である場合がある。
図7A及び7Bに示されるように、デバイス100は、少なくとも1つのウィンドウスタック700、728でデスクトップ及び/またはウィンドウを管理する。ウィンドウスタック700、728は、複数画面デバイスに対するアクティブ及び/または非アクティブウィンドウの論理構成である。例えば、ウィンドウスタック700または728は、トランプ一組と論理的に同様であり得、図7A及び7Bに示されるように、1つまたは複数のウィンドウまたはデスクトップは、順番に配置される。アクティブウィンドウは、タッチセンサ式ディスプレイ110、114の少なくとも1つに現時点で表示されているウィンドウである。例えば、タッチセンサ式ディスプレイ104及び108上に表示されているウィンドウは、アクティブウィンドウである。非アクティブウィンドウは、開かれ、表示されていたが、現時点ではアクティブウィンドウの「背後」にあり、表示されていないウィンドウである。実施形態では、非アクティブウィンドウは、一時停止中であるアプリケーション用であり得、したがって、ウィンドウはアクティブコンテンツを表示していない。例えば、ウィンドウ712、716、720及び724は非アクティブウィンドウである。
ウィンドウスタック700、728は、さまざまな構成または組織構造を有し得る。図7Aに示される実施形態では、デバイス100は、第1のタッチセンサ式ディスプレイ110に関連付けられた第1のスタック760と、第2のタッチセンサ式ディスプレイ114に関連付けられた第2のスタック764とを含む。したがって、各タッチセンサ式ディスプレイ110及び114は、それぞれに関連付けられたウィンドウスタック760、764を有し得る。これらの2つのウィンドウスタック760、764は、それぞれのスタック760、764に配置された異なる数のウィンドウを有し得る。さらに、2つのウィンドウスタック760、764は、異なる方法で識別し、別々に管理することもできる。したがって、第1のウィンドウスタック760は、第1のウィンドウ704から次のウィンドウ720へ、そして最後のウィンドウ724へ、そして最終的にデスクトップ722(実施形態ではウィンドウスタック760の「最下部」である)へと順番に配置することができる。実施形態では、デスクトップ722下のウィンドウスタックにアプリケーションウィンドウを配置することができ、また、デスクトップを見えるようにしている間、デスクトップ722を他のウィンドウ上のスタックの「最上部」へ持ってくることができるため、デスクトップ722は常に「最下部」であるとは限らない。同様に、第2のスタック764は、第1のウィンドウ708から次のウィンドウ712へ、そして最後のウィンドウ716へ、そして最終的にデスクトップ718(実施形態では、デスクトップ722を有し、ウィンドウスタック760とウィンドウスタック764の両方のすべてのウィンドウ下の単一のデスクトップエリアである)へと配置することができる。2つのウィンドウスタック760、764を管理するための論理データ構造は、以下の図8と併せて説明されるようなものであり得る。
ウィンドウスタック728の別の構成を図7Bに示す。この実施形態では、両方のタッチセンサ式ディスプレイ110、114に対して、単一のウィンドウスタック728が存在する。したがって、ウィンドウスタック728は、デスクトップ758から第1のウィンドウ744へ、そして最後のウィンドウ756へと配置される。ウィンドウは、特定のタッチセンサ式ディスプレイ110、114に関連付けられることなく、すべてのウィンドウの中のある位置に配置することができる。この実施形態では、ウィンドウは、ウィンドウ順に並んでいる。さらに、少なくとも1つのウィンドウは、アクティブ状態にあると識別される。例えば、単一のウィンドウは、第1のタッチセンサ式画面110と第2のタッチセンサ式画面114のそれぞれで表示される2つの部分732及び736でレンダリングすることができる。この単一のウィンドウは、両方のディスプレイ110、114上に表示されているが、ウィンドウスタック728において、単一の位置のみを占有することができる。
ウィンドウスタック762のさらなる別の構成を図7C〜7Eに示す。ウィンドウスタック762は、3つの「立体」図で示される。図7Cでは、ウィンドウスタック762の上面を示す。ウィンドウスタック762の2つの側面は、図7D及び7Eに示す。この実施形態では、ウィンドウスタック762は、レンガの積み重ねに似ている。ウィンドウは、互いに積み重ねられる。図7Cは、ウィンドウスタック762を上方から見ているため、複合ディスプレイ766の異なる部分においてウィンドウスタック762の最上部のウィンドウしか見えない。複合ディスプレイ766は、デバイス100のディスプレイエリア全体のための論理モデルを表し、タッチセンサ式ディスプレイ110及びタッチセンサ式ディスプレイ114を含み得る。デスクトップ786またはウィンドウは、複合ディスプレイ764の一部または全体を占有することができる。
示される実施形態では、デスクトップ786がウィンドウスタック762の最下部のディスプレイまたは「レンガ」である。そこから、ウィンドウ1 782、ウィンドウ2 782、ウィンドウ3 768及びウィンドウ4 770が積層される。ウィンドウ1 782、ウィンドウ3 768、ウィンドウ2 782及びウィンドウ4 770は、複合ディスプレイ766のほんの一部を占領する。したがって、スタック762の別の部分は、ウィンドウ8 774と、セクション790で示されるウィンドウ5〜7とを含む。複合ディスプレイ766の任意の部分の最上部のウィンドウのみが実際にレンダリングされ、表示される。したがって、図7Cの上面図に示されるように、ウィンドウスタック762の異なる部分においてディスプレイの最上部にあるものとして、ウィンドウ4 770、ウィンドウ8 774及びウィンドウ3 768が表示される。ウィンドウは、寸法変更して、複合ディスプレイ766のほんの一部を占有し、ウィンドウスタック760の下方のウィンドウを「見えるようにする」ことができる。例えば、ウィンドウ3 768は、スタックにおいて、ウィンドウ4 770及びウィンドウ8 774の下方にあるが、依然として表示されている。ウィンドウスタックを管理する論理データ構造は、図8と併せて説明されるようなものであり得る。
デバイス100上で新しいウィンドウを開くと、一般に、新たに起動されたウィンドウがスタックの最上部に配置される。しかし、ウィンドウがスタック内のどこにどのように配置されるかは、デバイス100の向き、どのプログラム、機能、ソフトウェアなどがデバイス100上で実行されているかについてのコンテキスト、新しいウィンドウが開かれた際にどのようにスタックが配置されるかなどに依存し得る。ウィンドウをスタックに挿入するため、スタック内のウィンドウの位置が決定され、また、ウィンドウが関連付けられるタッチセンサ式ディスプレイ110、114も決定することができる。この情報を用いて、ウィンドウ用の論理データ構造を作成し、格納することができる。ユーザインタフェースまたは他のイベントもしくはタスクがウィンドウの配置を変化させると、配置の変化を反映するため、ウィンドウスタックが変更され得る。上記で説明されるこれらの同じ概念を使用して、デバイス100用の1つまたは複数のデスクトップを管理できることに留意されたい。
ウィンドウスタック内のウィンドウまたはデスクトップの配置を管理するための論理データ構造800を図8に示す。論理データ構造800は、オブジェクト、記録、ファイルなどにかかわらず、データの格納に使用される任意のデータ構造であり得る。論理データ構造800は、プロトコルまたは規格にかかわらず、いかなるタイプのデータベースまたはデータ格納システムにも格納することができる。実施形態では、論理データ構造800は、情報の容易な格納及び回収を可能にする論理構成でデータを格納する1つまたは複数の部分、フィールド、属性などを含む。以下では、これらの1つまたは複数の部分、フィールド、属性などを単なるフィールドとして説明するものとする。フィールドは、ウィンドウ識別子804、寸法808、スタック位置識別子812、ディスプレイ識別子816及び/またはアクティブインジケータ820に対するデータを格納することができる。ウィンドウスタック内の各ウィンドウは、関連する論理データ構造800を有し得る。図8では、単一の論理データ構造800が示されているが、楕円824によって表されるように、ウィンドウスタックで使用されるより多くのまたはより少ない論理データ構造800が存在し得る(スタック内のウィンドウまたはデスクトップの数に基づいて)。さらに、楕円828によって表されるように、図8に示されるものより多くのまたはより少ないフィールドが存在し得る。
ウィンドウ識別子804は、ウィンドウスタック内の他のウィンドウとの関連で、関連ウィンドウを独自に識別する任意の識別子(ID)を含み得る。ウィンドウ識別子804は、グローバル一意識別子(GUID)、数値ID、英数字IDまたは他のタイプの識別子であり得る。実施形態では、ウィンドウ識別子804は、開くことができるウィンドウの数に基づく1桁、2桁または任意の桁数であり得る。代替の実施形態では、ウィンドウ識別子804のサイズは、開いているウィンドウの数に基づいて変化し得る。ウィンドウが開いている間、ウィンドウ識別子804は、静的で、不変のままであり得る。
寸法808は、複合ディスプレイ766のウィンドウの寸法を含み得る。例えば、寸法808は、ウィンドウの2つ以上の角部の座標を含むことも、1つの座標ならびにウィンドウの幅及び高さに対する寸法を含むこともある。これらの寸法808は、ウィンドウが複合ディスプレイ766のどの部分を占有することができるかを描写することができ、それは、複合ディスプレイ766全体でも、複合ディスプレイ766のほんの一部でもあり得る。例えば、ウィンドウ4 770は、図7C〜7Eに示されるように、ウィンドウ4 770が複合ディスプレイ760のディスプレイエリアのほんの一部を占有することを示す寸法808を有し得る。ウィンドウがウィンドウスタック内で移動されるかまたは挿入されると、寸法808は変化し得る。
スタック位置識別子812は、ウィンドウのスタック内での位置を識別することができるか、または、リストもしくはスタックなどのデータ構造内のウィンドウの制御記録から推定することができる任意の識別子であり得る。スタック位置識別子812は、GUID、数値ID、英数字IDまたは他のタイプの識別子であり得る。各ウィンドウまたはデスクトップは、スタック位置識別子812を含み得る。例えば、図7Aの実施形態に示されるように、スタック1 760のウィンドウ1 704は、ウィンドウ704がスタック 760の第1のウィンドウであり、アクティブウィンドウであることを特定する1のスタック位置識別子812を有し得る。同様に、ウィンドウ6 724は、ウィンドウ724がスタック 760の第3のウィンドウであることを表す3のスタック位置識別子812を有し得る。また、ウィンドウ2 708は、ウィンドウ708が第2のスタック 764の第1のウィンドウであることを表す1のスタック位置識別子812を有し得る。図7Bに示すように、ウィンドウ1 744は、1のスタック位置識別子812を有し得、部分732及び736にレンダリングされたウィンドウ3は、3のスタック位置識別子812を有し得、ウィンドウ6 756は、6のスタック位置識別子812を有し得る。したがって、スタックのタイプに応じて、スタック位置識別子812は、スタック内でのウィンドウの位置を表すことができる。
ディスプレイ識別子816は、第1のディスプレイ110もしくは第2のディスプレイ114、または、両方のディスプレイで構成された複合ディスプレイ760などの特定のディスプレイにウィンドウまたはデスクトップが関連付けられていることを特定することができる。図7Aに示されるように、このディスプレイ識別子816は複数スタックシステムで必要とされない場合があるが、ディスプレイ識別子816は、図7Bの連続スタック内のウィンドウが特定のディスプレイに表示されているかどうかを示すことができる。したがって、ウィンドウ3は、図7Bにおいて、2つの部分732及び736を有し得る。第1の部分732は、第1のディスプレイに対するディスプレイ識別子816を有し得る一方で、第2の部分736は、第2のディスプレイ114に対するディスプレイ識別子816を有し得る。しかし、代替の実施形態では、ウィンドウは、ウィンドウが両方のディスプレイ110、114に表示されていること、または、ディスプレイ識別子816が複合ディスプレイを特定したことを表す2つのディスプレイ識別子816を有し得る。別の代替の実施形態では、ウィンドウは、ウィンドウが両方のディスプレイ110、114に表示されていることを表すための単一のディスプレイ識別子816を有し得る。
ディスプレイ識別子816と同様に、アクティブインジケータ820は、スタック位置1のウィンドウがアクティブであり、表示されているため、図7Aのデュアルスタックシステムで必要とされない場合がある。図7Bのシステムでは、アクティブインジケータ820は、スタック内のどのウィンドウが表示されているかを示すことができる。したがって、ウィンドウ3は、図7Bにおいて、2つの部分732及び736を有し得る。第1の部分732がアクティブインジケータ820を有する一方で、第2の部分736もまたアクティブインジケータ820を有し得る。しかし、代替の実施形態では、ウィンドウ3は、単一のアクティブインジケータ820を有し得る。アクティブインジケータ820は、ウィンドウがアクティブであるかまたは表示されていることを表す簡単なフラグまたはビットであり得る。
ウィンドウスタックを作成するための方法900の実施形態を図9に示す。図9では、方法900の工程の一般的な順番を示す。一般に、方法900は、開始動作904で始まり、終了動作928で終了する。方法900は、図9に示されるものより多くのまたはより少ない工程を含むことも、異なる形で工程の順番を整えることもできる。方法900は、コンピュータシステムによって実行され、コンピュータ可読媒体で符号化されるかまたは格納される一連のコンピュータ実行可能命令として実行することができる。以下では、図1〜8と併せて説明されるシステム、コンポーネント、モジュール、ソフトウェア、データ構造、ユーザインタフェースなどを参照して、方法900を説明する。
工程908では、複数画面デバイス100は、ウィンドウの起動を受信することができる。実施形態では、複数画面デバイス100は、タッチセンサ式ディスプレイ110もしくは114、構成可能なエリア112もしくは116、ジェスチャ捕捉領域120もしくは124、または、ユーザインタフェース入力を受信するよう動作可能ないくつかの他のハードウェアセンサから入力を受信することによって、ウィンドウの起動を受信することができる。プロセッサは、タスク管理モジュール540を実行して入力を受信することができる。タスク管理モジュール540は、ウィンドウスタックにウィンドウを開く、実行すべきアプリケーションタスクを要求するものとして入力を解釈することができる。
実施形態では、タスク管理モジュール540は、複数ディスプレイ管理モジュール524のディスプレイ構成モジュール568に作用されるタスクスタック552にユーザインタフェース相互作用を置く。さらに、タスク管理モジュール540は、複数ディスプレイ管理モジュール524からの情報を待ち、ウィンドウ管理モジュール532に命令を送信して、ウィンドウスタックにウィンドウを作成する。
工程912では、複数ディスプレイ管理モジュール524は、タスク管理モジュール540から命令を受信すると、新たに起動されたウィンドウを関連付けるべき複合ディスプレイ760のタッチ部分を決定する。例えば、ウィンドウ4 770は、複合ディスプレイ766と関連付けられる。実施形態では、複数ディスプレイ管理モジュール524のデバイス状態モジュール574は、デバイスがどのように方向付けられているか、または、デバイスがどの状態にあるか(例えば、開状態、閉状態、縦向き状態など)を決定することができる。さらに、優先度モジュール572及び/または要件モジュール580は、ウィンドウをどのように表示するかを決定することができる。ジェスチャモジュール576は、ジェスチャのタイプ及びジェスチャが行われた位置に基づいて、ウィンドウをどのように開くかについてのユーザの意図を決定することができる。
ディスプレイ構成モジュール568は、これらのモジュールからの入力を使用して、可視性アルゴリズムに基づいて、現時点におけるウィンドウスタック760を評価し、最善の場所及び最善の寸法を決定し、ウィンドウを開くことができる。したがって、工程916では、ディスプレイ構成モジュール568は、ウィンドウスタック760の最上部にウィンドウを置くための最善の場所を決定する。可視性アルゴリズムは、実施形態では、複合ディスプレイのすべての部分に対して、どのウィンドウがスタックの最上部にあるかを決定する。例えば、可視性アルゴリズムは、図7C〜7Eで見られるように、ウィンドウ3 768、ウィンドウ4 770及びウィンドウ8 774がスタック760の最上部にあることを決定する。どこでウィンドウを開くかを決定すると、ディスプレイ構成モジュール568は、ディスプレイ識別子816及び場合により寸法808をウィンドウに割り当てることができる。次いで、ディスプレイ識別子816及び寸法808は、タスク管理モジュール540に送り返すことができる。次いで、タスク管理モジュール540は、ウィンドウスタックの最上部でのウィンドウ位置を示すスタック位置識別子812をウィンドウに割り当てることができる。
実施形態では、タスク管理モジュール540は、ウィンドウスタック情報及び命令を送信し、ウィンドウ管理モジュール532にウィンドウをレンダリングする。工程924では、ウィンドウ管理モジュール532及びタスク管理モジュール540は、論理データ構造800を作成することができる。タスク管理モジュール540とウィンドウ管理モジュール532は両方とも、ウィンドウスタックのコピーを作成し、管理することができる。これらのウィンドウスタックのコピーは、ウィンドウ管理モジュール532とタスク管理モジュール540との間の通信を通じて、同期化することも、同様に保持することもできる。したがって、ウィンドウ管理モジュール532及びタスク管理モジュール540は、複数ディスプレイ管理モジュール524によって決定された情報に基づいて、寸法808、スタック位置識別子812(例えば、ウィンドウ1 782、ウィンドウ4 770など)、ディスプレイ識別子816(例えば、タッチセンサ式ディスプレイ1 110、タッチセンサ式ディスプレイ2 114、複合ディスプレイ識別子など)及びアクティブインジケータ820を割り当てることができ、これは、一般に、ウィンドウがスタックの「最上部」にある場合に常に設定される。次いで、論理データ構造800は、ウィンドウ管理モジュール532とタスク管理モジュール540の両方で格納することができる。さらに、ウィンドウ管理モジュール532及びタスク管理モジュール540は、その後、ウィンドウスタック及び論理データ構造800を管理することができる。
図10A〜Cは、開縦向き状態のデバイス100の実施形態のグラフィカルな表現を描写し、第1の縦向き構成604の一次画面又はディスプレイ104は、実線で囲まれて示されており、二次画面又はディスプレイ108は、第2の縦向き構成608にあり、これも実線で示されるように見える。
最初に図10Aを参照すると、一次画面104は、第1のデスクトップD1を示す第1のページ1004を示し、二次画面108は、単一ページアプリケーションの第1のページ1008を示す。また、一次画面104又は二次画面108上では見えない他の2ページ1012及び1014も、点線で囲まれるようにグラフィカルに表現される。図10Aはさらに、デスクトップ明示拡大が実施されている場合の本デバイス100を示す。デスクトップ明示拡大は、(1)ユーザ入力ジェスチャ、(2)ユーザ入力ジェスチャの組合せ、(3)メモリ出力、(4)既定の条件に対する応答(例えば、アプリケーション制御、電力レベル、通信妨害、オペレーティングシステムの状態、デバイスの画面状態(開/閉)、タイマ、及び、単一若しくは複数のセンサ出力)、又は、(5)MDMクラス524が実施コマンドとして登録及び解釈するような、それらの任意の組合せによって実施することができる。上記の通り、ページ内のデスクトップ及び実行中のアプリケーションのグラフィカルな表現は、仮想「スタック」の1つ又は複数の組合せと概念的に考えることができる。これらのページのスタックは、ユーザによって又はMDMクラス524からの出力によって、ユーザが仮想のトランプ一組のスタックを操作するのと同様に、作成、削除、シャッフル及び移動のうちの少なくとも一つが行われ得る。
また、本明細書で開示されるスタックの概念は、デバイス100上で利用可能なデスクトップにも適用することができる。言い換えれば、デスクトップの仮想スタックは、デバイス100によって表示することができるデスクトップに対して使用することができ、アプリケーションの仮想スタックは、デバイス100によって表示することができるアプリケーションに対して使用することができる。具体的には、デスクトップが明示されると、デスクトップは、デバイス100の複数画面上での表示用に複数のページに分割され得る。これらのページは、アプリケーションの仮想スタック及び他の仮想スタックのうちの少なくとも一つとは別に、それら自体のデスクトップの1つ又は複数の仮想スタックにおいて操作することができる。このスタックの分離により、画面104、108に表示されたデータに応じた直観的インタフェースの作成による異なるアプリケーション又はデスクトップを通じてのナビゲーションにおいて、より優れたユーザの柔軟性が可能になる。しかし、これらのスタックが組み合わされて単一の仮想スタックが形成される場合もあることが予想される。さらに、各スタックのページは、スタックのページが繋がっているかのように一緒に移動し得る。したがって、1つのスタックにおける単一のページ位置の移動は、それに応じて、スタックのページのすべての位置を1つずつ移動させる。
図10A〜Cでは、個々のページ1004、1008、1012及び1014は、一次画面104の左側及び不可視二次画面108の右側の両方において、線形フォーマットで外側へ広がるように示され、仮想スタックの組織をより良く視覚化する。一次画面104又は二次画面108からのページの位置は、デバイス100に格納された各スタックにおけるページの位置である。したがって、一次画面104の真横又は二次画面108の真横にページがグラフィカルに表現されていれば、そのページは、ユーザ入力ジェスチャでその隣接画面上に移動することができるスタックの第1のページである。図10A〜Cではスタックの数ページのみが示されているが、スタックの組織化に利用可能なページの数は、異なることがあり、いくつかの実施形態では、デバイス100上に作成されるアプリケーション、デスクトップ及び他の表示可能な情報のうちの少なくとも一つの数と等しいこともある。その上、一次画面104に隣接するスタック及び二次画面108に隣接するスタックは、統合スタックとしても(1つのスタックからのページの移動又は操作により、両方のスタックのページの移動又は操作が行われる)、又は独立スタックとしても(各画面は、それ自体で独立してナビゲートすることができるスタックページを有する)機能し得る。
図10Bは、開縦向き状態の本デバイス100の実施形態を示し、デスクトップ明示拡大が実施されており、スタックは、ページ1008の第1のページアプリケーションを一次画面104上に表示し、ページ1012の第2のページアプリケーションを二次画面108上に表示するように、インデックス付けされている。それに応じて、第1のデスクトップD1を以前に示したページ1004は、現在は不可視状態であり、以前に不可視状態のページ1012が今は二次画面108上で可視状態である。概念的には、この図面では、このスタックの操作は、スタックのページのすべての位置を左側へ1つ移動させる単一動作として示される。言い換えれば、ジェスチャによるデスクトップ/アプリケーションの操作により、ユーザは、他の画面上の新しい位置、又は選択されたデスクトップ/アプリケーションが不可視位置に移動される新しい位置のいずれかに、デスクトップ/アプリケーションを移動することができる。デスクトップ明示拡大を実施する一方で、ユーザ入力ジェスチャ1020の提供により一次画面104及び二次画面108のうちの少なくとも一つ上に見えるようにデスクトップ及びアプリケーションページを移動することによって、ユーザは、スタックのデスクトップ及びアプリケーションページ間でナビゲートすることができる。本明細書で論じられるように、この入力は、デバイス100のハードウェアコンポーネントの1つ又は複数によって検出することができる。ユーザによってナビゲートされると、デスクトップは一緒に移動し得る。このリンク付けされたデスクトップの移動は、本明細書で開示されるように、スタックのページが一緒に移動することができる実施形態と同様である。使用できる入力ジェスチャ1020の例としては、画面外ドラッグジェスチャ又は画面外フリックジェスチャが挙げられる。
図10Cは、開縦向き状態の本デバイス100の実施形態を示し、デスクトップ明示拡大が実施されており、スタックは、ページ1012の第2のページアプリケーションを一次画面104上に表示し、ページ1014の第2のデスクトップD2を二次画面108上に表示するように、位置を1つ移動することによってさらにインデックス付けされている。それに応じて、ページ1004は依然として不可視状態であり、以前に可視状態のページ1008は、現在は不可視状態であり、第2のデスクトップD2が今は二次画面108上で可視状態である。
図10A〜10Cは開縦向き状態で提示されているが、これらの図面で開示される特徴は、横向き状態又は本明細書で開示される他の任意の「物理的」状態を含めるようにデバイス100の他の動作モードで組み込むこともできることを理解されたい。
図10A〜10Cの説明に基づいて、ウィンドウスタックにおけるウィンドウの表示を簡単なジェスチャ相互作用によって選択的に変更し、それにより、ユーザに対して最小限の努力で複数のデスクトップ及び実行中のアプリケーションを利用可能にできることは明白である。各画面は、画面上に開かれ表示されているウィンドウの論理的表現を有する。論理的表現は、ユーザによって選択及び変更され得る順番に配置された1つ又は複数のウィンドウで構成されたスタックである。ウィンドウは、インデックス付け又はシフトを行い、所望のウィンドウを表示すること及び別々のスタック間でウィンドウを移動することができる。ユーザが、例えば、画面外エリアで、ウィンドウスタックをナビゲートする際、順序付けされたスタックの配置は、スタックの論理的構造を完全に維持する。したがって、デバイスは、ユーザが複数のデスクトップ及びアプリケーションを同時に管理できるように非常に直観的な方法で動作する。
いくつかの好ましい実施形態に関連して本開示の例示的なシステム及び方法について説明してきた。しかし、本開示を不必要に曖昧にすることを避けるため、前の記述では多くの公知の構造及びデバイスを省略する。この省略は、特許請求の範囲を限定するものと解釈してはならない。具体的な詳細は、本開示の理解を与えるために記載する。しかし、本開示は、本明細書に記載される具体的な詳細の域を超えるさまざまな方法で実施できることを理解されたい。
その上、本明細書に示される例示的な態様、実施形態及び/または構成は、並置されるシステムのさまざまなコンポーネントを示すが、システムのあるコンポーネントは、LAN及び/またはインターネットなどの分散型ネットワークの遠方部に、または、専用システム内で遠隔設置することができる。したがって、システムのコンポーネントを1つまたは複数のデバイスに組み合わせることも、アナログ及び/もしくはデジタルの電気通信ネットワーク、パケット交換ネットワーク、または、回路交換ネットワークなどの分散型ネットワークの特定のノード上に並置することもできることを理解されたい。前の記述から、演算効率のため、システムのコンポーネントは、システムのオペレーションに影響を及ぼすことなく、コンポーネントの分散型ネットワーク内のいずれの位置にも配置できることが理解されよう。例えば、さまざまなコンポーネントは、PBX及びメディアサーバ、ゲートウェイなどのスイッチに、1つもしくは複数の通信デバイスに、1つもしくは複数のユーザの構内で、または、それらのいくつかの組合せで配置することができる。同様に、システムの1つまたは複数の機能部分は、電気通信デバイスと関連コンピューティングデバイスとの間で分散させることが可能である。
その上、要素を接続するさまざまなリンクは、有線リンクでも無線リンクでも、その任意の組合せでも、接続された要素への及び接続された要素からのデータの供給及び/または通信が可能な他の任意の公知のまたは後に開発された要素でもあり得ることを理解されたい。これらの有線または無線リンクは、保護されたリンクでもあり得、暗号化された情報を通信できる場合もある。リンクとして使用される伝送媒体は、例えば、同軸ケーブル、銅線及び光ファイバを含む任意の適切な電気信号のキャリアであり得、電波及び赤外線データ通信中に生成されるものなどの音波または光波の形をとることができる。
また、イベントの特定のシーケンスとの関連でフローチャートについて論じ示してきたが、開示される実施形態、構成及び態様のオペレーションに実質的に影響を及ぼすことなく、このシーケンスに対する変更、追加及び省略が起こり得ることを理解されたい。
本開示の多くの変形形態及び変更形態を使用することができる。他のものを提供することなく、本開示のいくつかの特徴を提供することも可能であろう。
さらなる別の実施形態では、本開示のシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサもしくはマイクロコントローラ及び周辺集積回路素子、ASICもしくは他の集積回路、デジタル信号プロセッサ、個別素子回路などの配線電子もしくは論理回路、PLD、PLA、FPGA、PALなどのプログラム可能論理デバイスもしくはゲートアレイ、専用コンピュータ、任意の同等な手段、または、同様のものと併せて実施することができる。一般に、本明細書に示される方法論の実施が可能な任意のデバイスまたは手段を使用して、本開示のさまざまな態様を実施することができる。開示される実施形態、構成及び態様に使用できる例示的なハードウェアは、コンピュータ、携帯用デバイス、電話(例えば、携帯電話、インターネット可能な、デジタル、アナログ、ハイブリッド及び他のもの)、及び、当技術分野で知られている他のハードウェアを含む。これらのデバイスのいくつかは、プロセッサ(例えば、単一または複数のマイクロプロセッサ)、メモリ、不揮発性記憶装置、入力デバイス及び出力デバイスを含む。その上、これらに限定されないが、分散処理もしくはコンポーネント/オブジェクト分散処理、並列処理、または、仮想マシン処理を含む代替のソフトウェア実装形態は、本明細書に記載される方法を実施するよう構築することもできる。
さらなる別の実施形態では、開示される方法は、さまざまなコンピュータまたはワークステーションプラットフォームで使用することができるポータブルソースコードを提供するオブジェクトまたはオブジェクト指向ソフトウェア開発環境を使用するソフトウェアと併せて容易に実施することができる。あるいは、開示されるシステムは、標準論理回路またはVLSI設計を使用してハードウェアで部分的または完全に実装することができる。本開示に従ってシステムの実装にソフトウェアまたはハードウェアを使用するかどうかは、システムの速度及び/または効率要件、特定の機能、ならびに、利用する特定のソフトウェアまたはハードウェアシステムまたはマイクロプロセッサまたはマイクロコンピュータシステムに依存する。
さらなる別の実施形態では、開示される方法は、記憶媒体に格納することができ、コントローラ及びメモリと協働してプログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサ及び同様のもの上で実行されるソフトウェアで部分的に実施することができる。これらの例では、本開示のシステム及び方法は、アプレット、ジャバ(JAVA)(登録商標)またはCGIスクリプトなどのパーソナルコンピュータに組み込まれたプログラムとして、サーバまたはコンピュータワークステーション上に常駐するリソースとして、専用測定システム、システムコンポーネントまたは同様のものに組み込まれたルーチンとして実施することができる。また、システムは、ソフトウェア及び/またはハードウェアシステムにシステム及び/または方法を物理的に組み込むことによっても実装することができる。
本開示は、特定の規格及びプロトコルを参照して、態様、実施形態及び/または構成で実装されるコンポーネント及び機能について説明するが、態様、実施形態及び/または構成は、そのような規格及びプロトコルに制限されない。本明細書で言及されない他の同様の規格及びプロトコルも存在し、本開示に含まれるものと考えられる。その上、本明細書で言及される規格及びプロトコルならびに本明細書で言及されない他の同様の規格及びプロトコルは、本質的に同じ機能を有するより速いまたはより効果的な均等物に定期的に取って代わられる。同じ機能を有するそのような置換規格及びプロトコルは、本開示に含まれる均等物と考えられる。
さまざまな態様、実施形態及び/または構成での本開示は、本明細書に描写及び記載されるように実質的にコンポーネント、方法、プロセス、システム及び/または装置を含み、さまざまな態様、実施形態、構成実施形態、サブコンビネーション及び/またはそのサブセットを含む。当業者であれば、本開示を理解した後で、開示される態様、実施形態及び/または構成をどのように作成し使用するか理解されよう。さまざまな態様、実施形態及び/または構成での本開示は、本明細書に描写及び/または記載されていないアイテムなしで、または、本明細書のさまざまな態様、実施形態及び/または構成で、デバイス及びプロセスを提供することを含み、例えば、性能を向上させ、容易に実装を実現し、及び/または、実装コストを削減するために、前のデバイスまたはプロセスで使用された可能性があるようなアイテムがない場合も含む。
前述の論考は、例示と説明を目的として提示してきた。前述は、本明細書に開示される1つまたは複数の形態に本開示を制限することを意図しない。前述の発明を実施するための形態では、例えば、本開示を合理化する目的で、1つまたは複数の態様、実施形態及び/または構成で、本開示のさまざまな特徴が一緒に分類される。本開示の態様、実施形態及び/または構成の特徴は、上記で論じられたもの以外の代替の態様、実施形態及び/または構成で組み合わせることができる。本開示のこの方法は、請求項が各請求項に明確に列挙されているものより多くの特徴を要求するという意図を反映するものとして解釈してはならない。むしろ、以下の請求項が反映するように、発明の態様は、単一の前述の開示される態様、実施形態及び/または構成のすべての特徴よりも少ないことにある。したがって、以下の請求項は、本明細書によって、この発明を実施するための形態に組み込まれ、各請求項は、本開示の別々の好ましい実施形態としてそれ自体を主張する。
その上、説明には1つまたは複数の態様、実施形態及び/または構成の説明、ならびに、ある変形形態及び変更形態が含まれるが、例えば、本開示を理解した後で、当業者の技能及び知識の範囲内となり得るように、他の変形形態、組合せ及び変更形態は本開示の範囲内である。許可される範囲の代替の態様、実施形態及び/または構成を含む権利を得ることを意図し、そのような代替の、交換可能な及び/または均等な構造、機能、範囲または工程が本明細書で開示されるか否かにかかわらず、いかなる特許可能な対象物も公的に献納することを意図することなく、特許請求されたものに対する代替の、交換可能な及び/または均等な構造、機能、範囲または工程を含む。

Claims (13)

  1. 複数のデスクトップ及び複数のアプリケーションのうちの一つ又は複数をマルチディスプレイデバイス上で表示する方法であって、デスクトップ及びアプリケーションのうちの一つ又は複数の各々は、少なくとも1つのウィンドウを有し、
    第1のデスクトップに関連する第1のウィンドウを前記マルチディスプレイデバイスの第1のディスプレイ上に表示すること、
    第1のアプリケーションに関連する第2のウィンドウを前記マルチディスプレイデバイスの第2のディスプレイ上に表示すること、
    一つ又は複数のプロセッサによって、前記第1のデスクトップに関連する前記第1のウィンドウを不可視位置に移動させ、前記マルチディスプレイデバイスの前記第2のディスプレイ上に表示された前記第1のアプリケーションに関連する前記第2のウィンドウを前記マルチディスプレイデバイスの前記第1のディスプレイに移動させ、前記第1のアプリケーション及び第2のアプリケーションのうちの一つに関連する第3のウィンドウを不可視位置から前記マルチディスプレイデバイスの前記第2のディスプレイに移動させるという命令を表す第1の入力を受信すること、
    前記第1のアプリケーションに関連する前記第2のウィンドウを不可視位置に移動させ、前記マルチディスプレイデバイスの前記第2のディスプレイ上に表示された前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウを前記マルチディスプレイデバイスの前記第1のディスプレイに移動させ、第2のデスクトップに関連する第4のウィンドウを不可視位置から前記マルチディスプレイデバイスの前記第2のディスプレイに移動させるという命令を表す第2の入力を受信すること、
    を含み、
    前記第1のデスクトップに関連する前記第1のウィンドウ、前記第1のアプリケーションに関連する前記第2のウィンドウ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウ、及び前記第2のデスクトップに関連する前記第4のウィンドウは、少なくとも一つのウィンドウスタックに配置され、
    前記少なくとも一つのウィンドウスタックのウィンドウの順番が、前記少なくとも一つのウィンドウスタックの論理的順番に対応している少なくともユーザ入力ジェスチャによって操作され、前記論理的順番では、前記第1のデスクトップに関連する前記第1のウィンドウ、前記第1のアプリケーションに関連する前記第2のウィンドウ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウ、及び前記第2のデスクトップに関連する前記第4のウィンドウが、前記第1及び第2のディスプレイ上の可視位置に対応する前記少なくとも一つのウィンドウスタックにおける可視位置又は前記少なくとも一つのウィンドウスタックにおける不可視位置のいずれかに選択的に移動される、方法。
  2. 前記第1及び第2の入力は、次のi)ユーザ入力ジェスチャ、ii)ユーザ入力ジェスチャの組合せ、iii)メモリ出力、iv)プログラムされた条件に対する応答、及び、v)ハードウェアタイマのうちの少なくとも1つを含む、請求項1に記載の方法。
  3. 前記ユーザ入力ジェスチャは、ドラッグジェスチャ又はフリックジェスチャのうちの少なくとも1つによって達成される、請求項1に記載の方法。
  4. ドラッグジェスチャ及びフリックジェスチャは、前記第1及び第2のディスプレイの画面外エリア上で実行される、請求項3に記載の方法。
  5. コンピュータ可読記録媒体であって、該コンピュータ可読記録媒体上にコンピューティングシステムに方法を実行させる命令が格納されており、前記命令は、
    第1のデスクトップに関連する第1のウィンドウをデバイスの第1のディスプレイ上に表示させるように構成された命令と、
    第1のアプリケーションに関連する第2のウィンドウをデバイスの第2のディスプレイ上に表示させるように構成された命令と、
    前記第1のデスクトップに関連する前記第1のウィンドウを不可視位置に移動させ、前記第1のアプリケーションに関連する前記第2のウィンドウをデバイスの前記第1のディスプレイ上に表示させ、前記第1のアプリケーション及び第2のアプリケーションのうちの一つに関連する第3のウィンドウを不可視位置からデバイスの前記第2のディスプレイに移動させるという命令を表す第1の入力を受信するよう構成された命令
    前記第1のアプリケーションに関連する前記第2のウィンドウを不可視位置に移動させ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウを前記第1のディスプレイ上に表示させ、第2のデスクトップに関連する第4のウィンドウを不可視位置からデバイスの前記第2のディスプレイに移動させるという命令を表す第2の入力を受信するように構成された命令と
    を含み、
    前記第1のデスクトップに関連する前記第1のウィンドウ、前記第1のアプリケーションに関連する前記第2のウィンドウ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウ、及び前記第2のデスクトップに関連する前記第4のウィンドウは、少なくとも一つのウィンドウスタックに配置され、
    少なくとも一つのウィンドウスタックのウィンドウの順番が、前記少なくとも一つのウィンドウスタックの論理的順番に対応している少なくともユーザ入力ジェスチャによって操作され、前記論理的順番では、前記第1のデスクトップに関連する前記第1のウィンドウ、前記第1のアプリケーションに関連する前記第2のウィンドウ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウ、及び前記第2のデスクトップに関連する前記第4のウィンドウが、前記第1及び第2のディスプレイ上の可視位置に対応する前記少なくとも一つのウィンドウスタックにおける可視位置又は前記少なくとも一つのウィンドウスタックにおける不可視位置のいずれかに選択的に移動される、コンピュータ可読記録媒体。
  6. 前記第1のディスプレイは、一次画面に相当し、前記第2のディスプレイは、二次画面に相当する、請求項5に記載のコンピュータ可読記録媒体。
  7. 可視デスクトップ又はアプリケーションに関連する第3のウィンドウの位置を変更して、前記第1のディスプレイ又は前記第2のディスプレイ上の可視位置に移動させて、前記第1及び第2のデスクトップのうちの一つ又は前記第1及び第2のアプリケーションのうちの一つに関連する以前に表示されたウィンドウを置き換えるように構成された命令をさらに含む、請求項5に記載のコンピュータ可読記録媒体。
  8. 前記第1のウィンドウ、前記第2のウィンドウ、前記第3のウィンドウ、及び前記第4のウィンドウは、少なくともユーザ入力ジェスチャによって選択的に移動される、請求項5に記載のコンピュータ可読記録媒体。
  9. マルチディスプレイユーザデバイスであって、
    第1のディスプレイエリアを含む第1のディスプレイと、
    第2のディスプレイエリアを含む第2のディスプレイと、
    前記第1のディスプレイの第1のユーザ入力ジェスチャエリアと
    前記第2のディスプレイの第2のユーザ入力ジェスチャエリアと、前記第1ユーザ入力ジェスチャエリア及び第2のユーザ入力ジェスチャエリアは、ユーザからの入力を受け入れるよう構成されており、
    コンピュータ可読媒体であって、該コンピュータ可読媒体上に命令が格納されており、前記命令は、
    ユーザによって実行されるように選択されたデスクトップ及びアプリケーションの数及び同一性を決定するよう構成された第1のセットの命令と、
    前記デスクトップ及び実行中のアプリケーションの前記数及び同一性に基づいて、順序付けされたグループ内の前記デスクトップ及びアプリケーションの論理的表現を含む少なくとも一つのウィンドウスタックを決定するよう構成された第2のセットの命令と、
    第1のデスクトップに関連する第1のウィンドウを不可視位置に移動させ、第1のアプリケーションに関連する第2のウィンドウを前記マルチディスプレイユーザデバイスの前記第1のディスプレイ上に表示させ、前記第1のアプリケーション及び第2のアプリケーションのうちの一つに関連する第3のウィンドウを不可視位置から前記マルチディスプレイユーザデバイスの前記第2のディスプレイに移動させるという命令を表す第1の入力を受信するよう構成された第3の命令と、
    前記第1のアプリケーションに関連する前記第2のウィンドウを不可視位置に移動させ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウを前記第1のディスプレイ上に表示させ、第2のデスクトップに関連する第4のウィンドウを不可視位置から前記マルチディスプレイユーザデバイスの前記第2のディスプレイに移動させるという命令を表す第2の入力を受信するように構成された第4の命令と、
    前記ユーザによって行われたジェスチャに応答して、デスクトップ又はアプリケーションに対応する選択されたウィンドウの前記少なくとも一つのウィンドウスタックにおける認識された位置を、前記ユーザによって実行され、かつ前記第1及び第2のユーザ入力ジェスチャエリアの一つ又は複数において受信されたジェスチャのタイプによって決定されるような前記少なくとも一つのウィンドウスタックにおける位置に移動させるのセットの命令と
    を含前記第1のデスクトップに関連する前記第1のウィンドウ、前記第1のアプリケーションに関連する前記第2のウィンドウ、前記第1のアプリケーション及び前記第2のアプリケーションのうちの一つに関連する前記第3のウィンドウ、及び前記第2のデスクトップに関連する前記第4のウィンドウは、前記少なくとも一つのウィンドウスタックに配置されている、前記コンピュータ可読媒体と
    を備えるマルチディスプレイユーザデバイス。
  10. 前記第1のディスプレイは、一次画面に相当し、前記第2のディスプレイは、二次画面に相当する、請求項に記載のマルチディスプレイユーザデバイス。
  11. 前記第1のユーザ入力ジェスチャエリアは、前記第1のディスプレイの画面外エリア上及び前記第1のディスプレイエリアの外側に位置する、請求項10に記載のマルチディスプレイユーザデバイス。
  12. 前記第2のユーザ入力ジェスチャエリアは、前記第2のディスプレイの画面外エリア上及び前記第2のディスプレイエリアの外側に位置する、請求項10に記載のマルチディスプレイユーザデバイス。
  13. 前記第1及び第2のディスプレイは、前記少なくとも一つのウィンドウスタックにおける前記デスクトップ及びアプリケーションの順番を操作するユーザ入力ジェスチャによって異なる表示ウィンドウ
    示す、請求項10に記載のマルチディスプレイユーザデバイス。
JP2013531840A 2010-10-01 2011-09-29 ジェスチャで論理的表示スタックを移動することによるデスクトップの明示 Active JP5998146B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US38911710P 2010-10-01 2010-10-01
US38908710P 2010-10-01 2010-10-01
US38900010P 2010-10-01 2010-10-01
US61/389,117 2010-10-01
US61/389,000 2010-10-01
US61/389,087 2010-10-01
US45815010P 2010-11-17 2010-11-17
US61/458,150 2010-11-17
US201161539884P 2011-09-27 2011-09-27
US61/539,884 2011-09-27
US13/247,325 US9182937B2 (en) 2010-10-01 2011-09-28 Desktop reveal by moving a logical display stack with gestures
US13/247,325 2011-09-28
PCT/US2011/053889 WO2012044770A2 (en) 2010-10-01 2011-09-29 Desktop reveal by moving a logical display stack with gestures

Publications (3)

Publication Number Publication Date
JP2014500992A JP2014500992A (ja) 2014-01-16
JP2014500992A5 JP2014500992A5 (ja) 2014-11-06
JP5998146B2 true JP5998146B2 (ja) 2016-09-28

Family

ID=45893744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531840A Active JP5998146B2 (ja) 2010-10-01 2011-09-29 ジェスチャで論理的表示スタックを移動することによるデスクトップの明示

Country Status (5)

Country Link
US (1) US9182937B2 (ja)
EP (1) EP2622444B1 (ja)
JP (1) JP5998146B2 (ja)
CN (1) CN103262010B (ja)
WO (1) WO2012044770A2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866748B2 (en) 2010-10-01 2014-10-21 Z124 Desktop reveal
US20130198867A1 (en) 2011-12-09 2013-08-01 Z124 A Docking Station for Portable Devices Providing Authorized Power Transfer and Facility Access
US9003426B2 (en) 2011-12-09 2015-04-07 Z124 Physical key secure peripheral interconnection
US9507930B2 (en) 2003-04-25 2016-11-29 Z124 Physical key secure peripheral interconnection
US9420072B2 (en) 2003-04-25 2016-08-16 Z124 Smartphone databoost
US8751682B2 (en) 2010-09-27 2014-06-10 Z124 Data transfer using high speed connection, high integrity connection, and descriptor
US8788576B2 (en) 2010-09-27 2014-07-22 Z124 High speed parallel data exchange with receiver side data handling
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
US8930605B2 (en) 2010-10-01 2015-01-06 Z124 Systems and methods for docking portable electronic devices
WO2012045084A2 (en) 2010-10-01 2012-04-05 Imerj, Llc Systems and methods relating to user interfaces for docking portable electronic devices
US20120144331A1 (en) * 2010-12-03 2012-06-07 Ari Tolonen Method for Arranging Application Windows on a Display
US8677168B2 (en) 2011-02-28 2014-03-18 Z124 Allocating power in devices by reserving a static power allocation to be used by one or more predetermined subsystems and reserving a dynamic power allocation to be used when the static power allocation is insufficient
US8949628B2 (en) 2011-02-28 2015-02-03 Z124 Power-allocation interface
US20130268559A1 (en) 2011-07-13 2013-10-10 Z124 Virtual file system remote search
US9152404B2 (en) 2011-07-13 2015-10-06 Z124 Remote device filter
US9244491B2 (en) 2011-08-31 2016-01-26 Z124 Smart dock for auxiliary devices
US9246353B2 (en) 2011-08-31 2016-01-26 Z124 Smart dock charging
US20130268703A1 (en) 2011-09-27 2013-10-10 Z124 Rules based hierarchical data virtualization
US9383770B2 (en) 2011-08-31 2016-07-05 Z124 Mobile device that docks with multiple types of docks
US20140266012A1 (en) 2013-03-15 2014-09-18 Z124 Mobile Handset Recharge
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US9774721B2 (en) 2011-09-27 2017-09-26 Z124 LTE upgrade module
US9086840B2 (en) 2011-12-09 2015-07-21 Z124 RSID proximity peripheral interconnection
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR102061881B1 (ko) * 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
WO2014088621A1 (en) * 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
WO2014141954A1 (ja) * 2013-03-13 2014-09-18 クラリオン株式会社 表示装置
EP2974343A4 (en) * 2013-03-14 2017-03-01 Intel Corporation System and method for personal broadcast
CN103248913B (zh) * 2013-05-28 2016-06-29 巨洋神州(苏州)数字技术有限公司 基于多通道内置图像处理控制盒的多区域同步开窗方法
CN103399684A (zh) * 2013-07-03 2013-11-20 惠州Tcl移动通信有限公司 一种大小可变的显示屏幕、移动终端及其实现方法
US20150066360A1 (en) * 2013-09-04 2015-03-05 Honda Motor Co., Ltd. Dashboard display navigation
US9712749B2 (en) 2014-02-27 2017-07-18 Google Technology Holdings LLC Electronic device having multiple sides
CN105788451B (zh) * 2014-12-24 2020-08-25 联想(北京)有限公司 电子设备、处理方法及装置
US20160224220A1 (en) * 2015-02-04 2016-08-04 Wipro Limited System and method for navigating between user interface screens
US10581989B2 (en) * 2015-07-30 2020-03-03 Nasdaq, Inc. Application logging framework
KR20170077670A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 컨텐츠를 제어하기 위한 방법 및 그 전자 장치
US10146494B2 (en) * 2016-03-01 2018-12-04 Visteon Global Technologies, Inc. System and method for operating a multiple display assembly
CN106250017A (zh) * 2016-07-26 2016-12-21 努比亚技术有限公司 一种移动终端及多任务管理方法
CN106445446A (zh) * 2016-10-24 2017-02-22 深圳市金立通信设备有限公司 一种程序移动方法及终端
CN108323197B (zh) * 2016-12-27 2021-01-15 华为技术有限公司 一种多屏显示的方法和设备
CN107037949B (zh) * 2017-03-29 2020-11-27 北京小米移动软件有限公司 一种分屏显示方法及装置
US20190212877A1 (en) * 2018-01-10 2019-07-11 Microsoft Technology Licensing, Llc Selectively displayable multiple display mode for a gui
EP3627298A1 (de) * 2018-09-21 2020-03-25 Kistler Holding AG Verfahren zur messung einer physikalischen messgrösse und messsystem zur durchführung des verfahrens
CN112369005B (zh) * 2019-02-19 2022-04-15 Lg电子株式会社 移动终端及具备移动终端的电子装置
EP3731508A4 (en) * 2019-02-19 2021-05-05 LG Electronics Inc. MOBILE TERMINAL AND ELECTRONIC DEVICE WITH A MOBILE TERMINAL
CN110275653A (zh) * 2019-05-30 2019-09-24 北京小米移动软件有限公司 页面显示方法、装置、终端及存储介质
US11138912B2 (en) 2019-10-01 2021-10-05 Microsoft Technology Licensing, Llc Dynamic screen modes on a bendable computing device
JP6945872B2 (ja) 2019-11-12 2021-10-06 株式会社セルシス コマンド表示制御方法、コマンド表示制御プログラム及びその装置
CN114089902A (zh) * 2020-07-30 2022-02-25 华为技术有限公司 手势交互方法、装置及终端设备
US11245735B1 (en) * 2020-11-19 2022-02-08 International Business Machines Corporation Screen-sharing content reconfiguration
CN113946304A (zh) * 2021-09-29 2022-01-18 湖北亿咖通科技有限公司 可见窗口的合成方法、合成装置和多屏系统

Family Cites Families (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69123465T2 (de) 1990-01-25 1997-06-26 Radius Inc Verfahren zur Änderung der Abmessungen von Computeranzeigefenstern und ihrer Bewegung
US5305435A (en) 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
JP3369204B2 (ja) 1991-10-25 2003-01-20 株式会社東芝 プログラマブルコントローラ
US5499334A (en) 1993-03-01 1996-03-12 Microsoft Corporation Method and system for displaying window configuration of inactive programs
US5564002A (en) * 1994-08-01 1996-10-08 International Business Machines Corporation Method and apparatus for implementing a virtual desktop through window positioning
US5675755A (en) 1995-06-07 1997-10-07 Sony Corporation Window system preventing overlap of multiple always-visible windows
US5874960A (en) * 1995-07-05 1999-02-23 Microsoft Corporation Method and system for sharing applications between computer systems
EP0766168A3 (en) 1995-09-28 1997-11-19 Hewlett-Packard Company Icons for dual orientation display devices
JPH1040008A (ja) * 1996-07-19 1998-02-13 Oki Electric Ind Co Ltd 情報処理装置
US5841435A (en) 1996-07-26 1998-11-24 International Business Machines Corporation Virtual windows desktop
US5923307A (en) 1997-01-27 1999-07-13 Microsoft Corporation Logical monitor configuration in a multiple monitor environment
US6340957B1 (en) 1997-08-29 2002-01-22 Xerox Corporation Dynamically relocatable tileable displays
US6448956B1 (en) * 1997-10-31 2002-09-10 Eastman Kodak Company Systems and methods for direct image manipulation
US6331840B1 (en) 1998-03-27 2001-12-18 Kevin W. Nielson Object-drag continuity between discontinuous touch screens of a single virtual desktop
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
JP2000242262A (ja) 1999-02-18 2000-09-08 Fujitsu Ltd 表示制御装置、表示制御方法及び表示制御プログラムを記録した記録媒体
US6459424B1 (en) 1999-08-10 2002-10-01 Hewlett-Packard Company Touch-sensitive input screen having regional sensitivity and resolution properties
US20080062625A1 (en) 1999-10-18 2008-03-13 Jeffrey Batio Portable computer for dual, rotatable screens
JP2001236051A (ja) * 1999-11-30 2001-08-31 Nokia Corp 背面対話式ハンドヘルド・ディスプレイ装置
US6396520B1 (en) 2000-01-05 2002-05-28 Apple Computer, Inc. Method of transition between window states
US20020158811A1 (en) 2000-06-02 2002-10-31 Davis Terry Glenn Dual-monitor duo-workpad TM device
US6831666B1 (en) 2000-06-14 2004-12-14 Canon Kabushiki Kaisha Application selection window in a windows operation system
US6700773B1 (en) 2000-11-03 2004-03-02 Revolutionary Learning Systems, Inc. Method and apparatus for implementing a configurable personal computing device
CN1212565C (zh) 2001-05-14 2005-07-27 株式会社Ntt都科摩 应用程序发送系统和应用程序管理方法
US9032325B2 (en) * 2001-06-08 2015-05-12 Real Enterprise Solutions Development B.V. Management of local applications in local and remote desktops in a server-based computing environment
SE523636C2 (sv) 2001-07-22 2004-05-04 Tomer Shalit Ab Portabelt datoriserat handhållet organ och förfarande för hantering av ett på en skärm visat objekt
US6917348B2 (en) 2002-03-20 2005-07-12 International Business Machines Corporation Video display mode for dual displays
US20030179541A1 (en) 2002-03-21 2003-09-25 Peter Sullivan Double screen portable computer
JP2003280622A (ja) * 2002-03-25 2003-10-02 Matsushita Electric Ind Co Ltd 電子表示装置とその表示方法
US7269797B1 (en) * 2002-03-28 2007-09-11 Fabrizio Bertocci Mechanism to organize windows in a graphic application
US6982682B1 (en) 2002-07-29 2006-01-03 Silicon Graphics, Inc. System and method for managing graphics applications
US7739604B1 (en) 2002-09-25 2010-06-15 Apple Inc. Method and apparatus for managing windows
US7058901B1 (en) 2002-10-29 2006-06-06 Koninklijke Philips Electronics N.V. Methods and apparatus for controlling the display of medical images
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004310655A (ja) * 2003-04-10 2004-11-04 Matsushita Electric Ind Co Ltd ウィンドウスタック制御方法
US8866748B2 (en) 2010-10-01 2014-10-21 Z124 Desktop reveal
NZ525956A (en) 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
US7159189B2 (en) * 2003-06-13 2007-01-02 Alphabase Systems, Inc. Method and system for controlling cascaded windows on a GUI desktop on a computer
US7205959B2 (en) 2003-09-09 2007-04-17 Sony Ericsson Mobile Communications Ab Multi-layered displays providing different focal lengths with optically shiftable viewing formats and terminals incorporating the same
US7765143B1 (en) 2003-11-04 2010-07-27 Trading Technologies International, Inc. System and method for event driven virtual workspace
JP4012933B2 (ja) 2004-03-22 2007-11-28 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームプログラムを記憶した記憶媒体およびゲーム制御方法
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック,インコーポレイテッド 両手動作の追跡
US20060020902A1 (en) 2004-07-22 2006-01-26 International Business Machines Corporation Interactive graphical user interfaces for computer display systems with simplified implementation for exposing completely hidden windows
JP2006053678A (ja) 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
GB2419454A (en) 2004-10-19 2006-04-26 Pranil Ram Multiple monitor display apparatus
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US8850334B2 (en) 2005-03-14 2014-09-30 Siemens Aktiengesellschaft Active Z order manipulation of a popup window in multimonitor systems
US7750893B2 (en) 2005-04-06 2010-07-06 Nintendo Co., Ltd. Storage medium storing input position processing program, and input position processing device
US20060253797A1 (en) 2005-05-06 2006-11-09 Microsoft Corporation Presentation of user-specified display regions
EP1768383B1 (en) 2005-07-15 2016-02-24 Barco N.V. Network displays and method of their operation
CN100581226C (zh) * 2005-08-05 2010-01-13 三星电子株式会社 用于提供多屏幕的设备以及动态配置多屏幕的方法
US20080098402A1 (en) 2005-08-05 2008-04-24 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multi screens
US20070038955A1 (en) 2005-08-09 2007-02-15 Nguyen Mitchell V Pen-based computer system having first and second windows together with second window locator within first window
US20070120763A1 (en) 2005-11-23 2007-05-31 Lode De Paepe Display system for viewing multiple video signals
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
JP5048249B2 (ja) 2006-01-27 2012-10-17 任天堂株式会社 ゲーム装置およびゲームプログラム
CN100530343C (zh) 2006-03-15 2009-08-19 深圳迈瑞生物医疗电子股份有限公司 多屏合成显示装置及方法
US7595810B2 (en) 2006-03-22 2009-09-29 Apple Inc. Methods of manipulating a screen space of a display device
US20070245263A1 (en) 2006-03-29 2007-10-18 Alltel Communications, Inc. Graphical user interface for wireless device
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7676761B2 (en) 2006-06-30 2010-03-09 Microsoft Corporation Window grouping
US8316324B2 (en) 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US8245154B2 (en) 2006-11-03 2012-08-14 International Business Machines Corporation Most-recently-used task switching among parent and child windows
BRPI0720474A8 (pt) 2006-12-18 2017-09-12 Samsung Electronics Co Ltd Método para configurar e gerenciar uma multitela
US8214768B2 (en) 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
JP4982505B2 (ja) 2007-01-25 2012-07-25 シャープ株式会社 マルチウィンドウ管理装置及びプログラム、記憶媒体、並びに情報処理装置
US20090027334A1 (en) 2007-06-01 2009-01-29 Cybernet Systems Corporation Method for controlling a graphical user interface for touchscreen-enabled computer systems
US8839142B2 (en) 2007-06-08 2014-09-16 Apple Inc. Desktop system object removal
KR101515248B1 (ko) 2007-07-19 2015-04-24 헹 카 초이 듀얼 스크린 프리젠테이션 노트북 컴퓨터
GB2451274B (en) 2007-07-26 2013-03-13 Displaylink Uk Ltd A system comprising a touchscreen and one or more conventional display devices
US9489216B2 (en) 2007-07-26 2016-11-08 Sap Se Active tiled user interface
CN101952818B (zh) 2007-09-14 2016-05-25 智慧投资控股81有限责任公司 基于姿态的用户交互的处理
US8850351B2 (en) 2007-09-25 2014-09-30 Ati Technologies Ulc Method and tool for virtual desktop management
JP4458143B2 (ja) 2007-10-10 2010-04-28 セイコーエプソン株式会社 画像転送装置および画像転送における画像表示制御方法
US8379060B2 (en) 2007-12-25 2013-02-19 Intel Corporation Device, system, and method of display calibration
TWI358028B (en) 2007-12-25 2012-02-11 Htc Corp Electronic device capable of transferring object b
US8214760B2 (en) 2008-01-16 2012-07-03 Microsoft Corporation Window minimization trigger
US20090204915A1 (en) 2008-02-08 2009-08-13 Sony Ericsson Mobile Communications Ab Method for Switching Desktop Panels in an Active Desktop
US20090204925A1 (en) 2008-02-08 2009-08-13 Sony Ericsson Mobile Communications Ab Active Desktop with Changeable Desktop Panels
JP2009198734A (ja) * 2008-02-21 2009-09-03 Pioneer Electronic Corp マルチディスプレイの制御方法、制御プログラムおよびマルチディスプレイ装置
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP4740971B2 (ja) 2008-03-14 2011-08-03 京セラ株式会社 表示機能付き端末装置
US8259080B2 (en) 2008-03-31 2012-09-04 Dell Products, Lp Information handling system display device and methods thereof
KR100977385B1 (ko) 2008-04-10 2010-08-20 주식회사 팬택 위젯형 대기화면을 제어할 수 있는 이동 단말기 및 그를이용한 대기화면 제어 방법
US8803896B2 (en) 2008-06-17 2014-08-12 Apple Inc. Providing a coherent user interface across multiple output devices
US8169414B2 (en) 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US20100007603A1 (en) 2008-07-14 2010-01-14 Sony Ericsson Mobile Communications Ab Method and apparatus for controlling display orientation
US8543935B2 (en) * 2008-08-20 2013-09-24 Red Hat, Inc. Full-screen heterogeneous desktop display and control
US20100162128A1 (en) 2008-12-19 2010-06-24 Nigel Richardson User interfaces and associated apparatus and methods
KR101592296B1 (ko) 2008-09-03 2016-02-05 엘지전자 주식회사 이동 단말기 및 그의 객체 선택과 실행 방법
US20100064251A1 (en) 2008-09-05 2010-03-11 International Business Machines Corporation Toggling window display state by screen in a multi-screened desktop environment
US9009984B2 (en) 2008-09-08 2015-04-21 Qualcomm Incorporated Multi-panel electronic device
US8860632B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel device with configurable interface
US8836611B2 (en) 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US8947320B2 (en) 2008-09-08 2015-02-03 Qualcomm Incorporated Method for indicating location and direction of a graphical user interface element
US8933874B2 (en) 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US8866840B2 (en) 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
KR101548958B1 (ko) 2008-09-18 2015-09-01 삼성전자주식회사 휴대단말기의 터치스크린 동작 제어 방법 및 장치
US9250797B2 (en) 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
JP5362307B2 (ja) 2008-09-30 2013-12-11 富士フイルム株式会社 ドラッグアンドドロップ制御装置、方法、及びプログラム、並びにコンピュータ端末
KR101588660B1 (ko) 2008-09-30 2016-01-28 삼성전자주식회사 영상 이동이 가능한 디스플레이 장치 및 그 방법
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR20100065418A (ko) 2008-12-08 2010-06-17 삼성전자주식회사 가요성 표시부를 가지는 단말기 및 그의 데이터 표시 방법
KR101569776B1 (ko) 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
US9253430B2 (en) 2009-01-15 2016-02-02 At&T Intellectual Property I, L.P. Systems and methods to control viewed content
US8330733B2 (en) 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity
US8279184B2 (en) 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
JP2010176320A (ja) 2009-01-28 2010-08-12 Seiko Epson Corp 画像処理方法、そのプログラム及び画像処理装置
US9176747B2 (en) 2009-02-17 2015-11-03 Sandisk Il Ltd. User-application interface
US8291440B2 (en) 2009-03-16 2012-10-16 Apple Inc. Providing a proxy view for an application in a window manager
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
JP5229083B2 (ja) 2009-04-14 2013-07-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20100313150A1 (en) 2009-06-03 2010-12-09 Microsoft Corporation Separable displays and composable surfaces
US8621387B2 (en) * 2009-06-08 2013-12-31 Apple Inc. User interface for multiple display regions
WO2010150892A1 (ja) 2009-06-26 2010-12-29 京セラ株式会社 携帯型電子機器、および携帯型電子機器の動作方法
US8928551B2 (en) 2009-07-07 2015-01-06 Village Green Technologies, LLC Multiple displays for a portable electronic device and a method of use
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US9152314B2 (en) 2009-11-30 2015-10-06 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
KR101087479B1 (ko) 2010-01-29 2011-11-25 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US20110209058A1 (en) 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US20110210922A1 (en) 2010-02-26 2011-09-01 Research In Motion Limited Dual-screen mobile device
JP5355466B2 (ja) 2010-03-25 2013-11-27 京セラ株式会社 携帯端末装置
US9052926B2 (en) 2010-04-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9733665B2 (en) 2010-10-01 2017-08-15 Z124 Windows position control for phone applications
US20120220341A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US9189018B2 (en) 2010-10-01 2015-11-17 Z124 Windows position control for phone applications
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
US9436217B2 (en) 2010-10-01 2016-09-06 Z124 Windows position control for phone applications
US20120225694A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9588545B2 (en) 2010-10-01 2017-03-07 Z124 Windows position control for phone applications
US20120218202A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US20120220340A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US9430122B2 (en) 2010-10-01 2016-08-30 Z124 Secondary single screen mode activation through off-screen gesture area activation
US20120225693A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
KR101952682B1 (ko) 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
WO2012044770A2 (en) 2012-04-05
EP2622444A2 (en) 2013-08-07
US20120144323A1 (en) 2012-06-07
CN103262010A (zh) 2013-08-21
WO2012044770A3 (en) 2012-06-07
EP2622444B1 (en) 2020-07-15
US9182937B2 (en) 2015-11-10
JP2014500992A (ja) 2014-01-16
EP2622444A4 (en) 2014-05-21
CN103262010B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
JP5998146B2 (ja) ジェスチャで論理的表示スタックを移動することによるデスクトップの明示
JP6073792B2 (ja) ジェスチャを用いて積み重ねられた画面表示を閲覧するための方法及びシステム
JP6010036B2 (ja) タッチセンサ式ディスプレイに画像を表示する方法及び通信デバイスならびにコンピュータ可読媒体
US11599240B2 (en) Pinch gesture to swap windows
US9207717B2 (en) Dragging an application to a screen using the application manager
US8504936B2 (en) Changing stack when swapping
JP2014508977A6 (ja) スマートパッド分割画面
WO2013046027A1 (en) Repositioning applications in a stack
JP6073793B2 (ja) デバイス開放と同時のデスクトップ表示

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160829

R150 Certificate of patent or registration of utility model

Ref document number: 5998146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250