JP3973263B2 - グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム - Google Patents
グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム Download PDFInfo
- Publication number
- JP3973263B2 JP3973263B2 JP16314597A JP16314597A JP3973263B2 JP 3973263 B2 JP3973263 B2 JP 3973263B2 JP 16314597 A JP16314597 A JP 16314597A JP 16314597 A JP16314597 A JP 16314597A JP 3973263 B2 JP3973263 B2 JP 3973263B2
- Authority
- JP
- Japan
- Prior art keywords
- enclosure
- graphic
- group
- graphic object
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、グラフィックベースコンピュータシステムにおけるオペレーティングの分野に関し、更に詳細には、前記グラフィックベースコンピュータシステム中に表示されるグラフィックオブジェクトを集めて定義することに関する。
【０００２】
【従来技術及び発明が解決しようとする課題】
ペンベースシステム及び「電子ホワイトボード(electronic whiteboard) 」［例えば、ゼロックス社(Xerox Corporation) の部門、"Liveworks" から入手可能な"liveBoard" （商標）］のようなコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスのような入力デバイスの利用に基づいたグラフィカルユーザインターフェースを提供する。このようなシステムにおいて、「ディスプレイ」は、データを示すための手段及び入力媒体の両方として働く。グラフィックオブジェクトは、ディスプレイ上に、入力デバイスを用いて作成するペンストロークによって「描写」されてもよい。グラフィックオブジェクトは、ワード（語）、図、又は表示できるあらゆるものを表現してもよい。次に、様々なオペレーションを、ジェスチャーとして知られている入力技法を用いてグラフィックオブジェクトに対して実行することができる。ジェスチャーは、自身が命令として解釈される単にペンストロークである。ペンストロークが残存的（persistent, 持続的) グラフィックオブジェクトを作成するか、又はペンストロークがジェスチャーとして扱われると、このようなシステムは、識別するためにオペレーションの描写モード及びオペレーションのジェスチャーモードを有することになる。
【０００３】
LiveBoard のような電子ホワイトボードは、典型的には、ミーティングのような共同アクティビティと関連して使われる。それを使用して、リストや図等を表現するグラフィックオブジェクトが描写される。このようなシステムに対する共通オペレーションは、ユーザがグラフィックオブジェクトをグループ化することであり、オペレーションを、オブジェクトに一つのグループ化ユニット（単位）として適用することができる（例えば、オブジェクトをグループで移動して、そのグループのメンバ間に空間オリエンテーションを保持する）。そのようなオペレーションは、所望のグラフィックオブジェクトを取り囲んで、グループ化オペレーションを実行するような選択ジェスチャーによって実行されてもよい。ユーザは、例えば、オブジェクトをグループ化せずに、それらに個別にオペレート（動作）する、オブジェクトを加える又はオブジェクトをグループから引く等、後でグループを変更したいことがあるかもしれない。典型的なグラフィカルユーザインターフェースでは、このようなグループ化オペレーションは、ユーザがグループを選択して、「 Ungroup（グループ解消）」コマンドを与え、所望のオブジェクトを再選択して、次に所望のグラフィックオブジェクトに「Group （グループ化）」コマンドを与えることにより達成される。ミーティングのような動的（ダイナミック）設定で実行される場合、このようなステップは不便である。従って、このようなシステムでは、グラフィックオブジェクトのグループを簡単に変更できる技法に対する要求がある。
【０００４】
「Apparatus and Method For Altering Enclosure Selections In A Gesture Based Input System」と題され、本願と同じ譲受人に譲渡された米国特許第５，４７１，５７８号（以下、’５７８号と記す）は、ユーザが全ジェスチャーを書き直す必要なく、選択ジェスチャーを変更することが可能になるグラフィカル編集システムを説明する。変更できる、即ち、ユーザが囲いサイズを拡張又は縮小可能な一組の後続ジェスチャーにより再形状化できる、一次的な(ephemeral) グラフィックオブジェクトとして処理される囲いを用いて、システムは選択を画定する。これらの変更ジェスチャーは、囲いの指定したポイント（点）又は部分を始動させてその形状を制御する。選択囲いを描写する場合、選択囲いに変更ジェスチャーとして関係するそれのロケーション（位置）で検出されるラインセグメントを描写することにより追加データを含むか又は除外して、既存の囲いを再形状化してラインセグメントを含むことができる。
【０００５】
残念ながら、一度、選択が行われると、’５７８号の特許の発明を直接的に使用してグラフィックオブジェクトのグループを変更することはできない。これは、選択囲いが、選択が存在している間に存在するだけの一時的なグラフィックオブジェクトであるためである。
【０００６】
グループによるオペレーティングについての他の欠点は、選択不足、即ち、グラフィックオブジェクトをグループとして扱うことができるという視覚的な指示がないというとである。グラフィックオブジェクトのグループ化を示し、邪魔にならず直観的な手段を提供することは望ましい。
【０００７】
従って、視覚的に明白で残存性であるグラフィックオブジェクトのグループと対話するための手段に対する要求がある。
【０００８】
このようなグラフィカルユーザインターフェースの別の望ましい能力は、グループ間に残存的ビジュアルリンクを提供できることである。従って、例えば、フローチャート又は状態図のような図で作業する場合に、図を変更するか、又は移動することができる。リンクを残存性にすることで、図の更新処理及び編集を単純化できる。
【０００９】
グラフィカルユーザインターフェースの更に別の制約は、限られた表示領域である。幾つかのシステム、例えば、前述の「LiveBoard 」システムでは、より多くの「未記録(unwritten) 」領域を得るために、「スクロール可能(scrollable)」なこともあるが、既に書き込まれているある種の情報を単に「隠す」か、又は崩壊させる(collapse)即ち折り畳むことがより望ましい場合もある。この隠された情報は、所望されると、後で呼び戻せてもよい。オブジェクトは、書き込みに使用可能なより多くの情報空間を有するべきである。例えば、リストをプライオライズする（順位を付けて並べる）場合、そのリストの一部分が固定されると、それを隠すことができ、リストに載っているより多くの項目（アイテム）をスクロール（画面移動）する必要なく表示できる。
【００１０】
情報を一時的に「隠す」ための様々な手段は、従来技術で既知である。テキスト編集システムでは、テキストの様々なラインは、隠されて、点線又はいくつかの他のシンボルによって表現されてもよい。グラフィカルユーザインターフェースを有するシステムでは、アイコンを使用して「ファイル」、ドキュメント又はアプリケーションを表現してもよい。他のシステムは、画像の詳細なレベルを修正できる「ズーミング(zooming) 」を備える。フローチャーティングアプリケーションにより、選択時にフローチャートの「オフ−ページ」部分が表示されるようになっている「オフ−ページ」指示子が可能になる。
【００１１】
しかしならが、前述のアプローチのどれも、自由形態のグラフィカルユーザインターフェースを有するコンピュータシステムにおける要求事項に、特に適用することはできない。従って、グラフィックオリエンテッドシステムに於ける表示情報を隠す又は崩壊することができ、次いで、拡張してそれが表現する全情報を表すことができる手段を有すことは望ましい。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含むグラフィックベースコンピュータシステムにおいて、前記入力手段による前記ディスプレイに対する入力ストロークで生成されるグラフィックオブジェクトのグループをコンテナアイコンで表現するための方法であって、前記システムが、（ａ） ユーザによる、少なくとも１つのグラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトの選択を識別することであって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有し、（ｂ） 前記ユーザによる前記囲いグラフィックオブジェクトにより選択されたグラフィックオブジェクトのグループへの置換動作の実行を識別し、
（ｃ） 前記システムが、（ｃ１） 前記選択されたグラフィックオブジェクトのグループのコピーを格納し、（ｃ２） 前記選択されたグラフィックオブジェクトのグループを前記ディスプレイから除去し、（ｃ３） 前記選択されたグラフィックオブジェクトのグループを表現するコンテナアイコンを表示すること、
を実行することにより、前記選択されたグラフィックオブジェクトのグループをコンテナアイコンに置き換えるステップを含み、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンは前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示され、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする。
【００１３】
請求項２に記載の発明は、グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含み、前記グラフィックオブジェクトが前記入力手段による前記ディスプレイに対する入力ストロークで生成される、コンピュータ制御グラフィックディスプレイシステムであって、グラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトを選択するための手段であって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有する、選択するための手段と、前記囲いグラフィックオブジェクトにより選択されたグラッフィックオブジェクトのグループをコンテナアイコンと置換するための手段と、コンテナアイコンを拡張して、元のグラフィックオブジェクトのグループを表示するための手段と、を有し、前記置換するための手段は、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンを前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示し、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする。
【００１４】
表示領域を最大利用するように、グラフィックオブジェクトのグループを表現するための方法及び装置が開示されている。本発明は、グラフィックオブジェクトのグループを「崩壊する」ための手段を提供し、それをコンテナアイコンで表現する。コンテナアイコンは、オブジェクトのグループより小さい表示領域の量を占める方法で、グラフィックオブジェクトのグループを視覚的に表現する。グループは、コンテナアイコンを「タッピング（軽く叩くこと）(tapping）」により、呼び戻すことができる（即ち、拡張する）。或いは、グループは、ディスプレイ空間の別個のアクセス可能な領域の上に位置されてもよい。コンテナアイコンは、自身がグラフィックオブジェクトであり、移動、コピー又は削除され得る。更に、グラフィックオブジェクトの属性、例えば、色、の変化は、グラフィックオブジェクトのグループに、相応の変化を生じる。
【００１５】
本発明の崩壊方法は、下記工程、即ち：ユーザが一つ以上のグラフィックオブジェクトを選択して、それらがグループとして扱われるステップと；ユーザが崩壊動作を実行するステップと；システムが、崩壊動作が実行されたこと、及びそれが選択されたグラフィックオブジェクトのグループと関連いていることを、検出するステップと；システムが、グラフィックオブジェクトのグループを「保存する」ステップと；そして、システムがディスプレイからグラフィックオブジェクトのグループを除去して、コンテナアイコンと置換するステップと；を含む。必要に応じて、システムは崩壊アイコンに参照番号を生成してもよい。これは、元の未崩壊グラフィックオブジェクトのグループを含むページと一緒にディスプレイの内容を印刷する場合に特に有用なことが分かっている。
【００１６】
本発明の拡張方法は、下記工程、即ち：ユーザが拡張動作をコンテナアイコンの近くで実行するステップと；システムがコンテナアイコンと関連するグラフィックオブジェクトのグループを検索するステップと；そして、システムがディスプレイからコンテナアイコンを除去して、それを、アイコンに関係する元の位置にある検索グラフィックオブジェクトと置換するステップと；を含む。
【００１７】
【発明の実施の形態】
下記用語を本明細書の記述に用いる。それらの用語は下記に示す意味を有する。
グラフィックオブジェクト(Graphic Object)：２Ｄ空間のあらゆる表示オブジェクト。
カーブ(Curve) ：ユーザによる手作業で作られる（例えば、ペンストローク）又は、ジェスチャー等の他の手段により作られる（例えば「[ 」ジェスチャーから得られる矩形）、又はシステムにより生成される（例えば境界）、一次元のグラフィックオブジェクト。
ペンストローク(Pen Stroke)：ペンによる、インクストロークかジェスチャーになる動作。
インクストローク(Ink Stroke)：残存的カーブ（曲線）。
ジェスチャー(Gesture) ：一時的で、動作として解釈されるペンストロークで作られるカーブ。
囲い(Enclosure) ：それ自身で閉じて領域を画定するインクストローク。
囲い中身(Enclosure Contents)：囲いで画定された領域内に位置する一つ以上のグラフィックオブジェクト。
グループ(Group) ：それの中身をプラスした囲い。グループは単一のグラフィックオブジェクトとして働くことができ、例えば、その囲い上のタップジェスチャーがグループを選択する。
選択(Selection) ：選択によりタグ付けされるグラフィックオブジェクトのセット。
選択囲い(Selection Enclosure) ：いくつかのグラフィックオブジェクトを囲んでいるジェスチャー。これは選択を定義する通常の方法である。
リンク(Link) ：１つ又２つの囲いに触れる（即ち、それらをリンクする）インクストローク。囲いは自身とリンクされてもよい。
コンテナアイコン：他のグラフィックオブジェクトをそれらを表示することなく表現する小さなグラフィックオブジェクト。
崩壊(Collapse)：選択を用い、コンテナアイコンを作成して、グラフィックオブジェクトをアイコンと置換するオペレーション。
拡張(Expand)：コンテナアイコンを用いて、コンテナアイコンをそれを含むオブジェクトに置換するオペレーション。
変更(Alter) ：囲い及び潜在的にそれが含むグラグックオブジェクトを再形状化するオペレーション。
分割(Split) ：囲いを用いて、それを２つの異なる囲いに分割するオペレーションで、各囲いは独自の中身（内容）を有する。
フューズ(Fuse)：２つ以上の囲いを用いて、それらを、初期囲い中の全オブジェクトを含む１つの囲いに結合するオペレーション。
ハイライト領域(Highlighted Area)：通常、いくらかのグラフィック方法で強調される２Ｄ面の連続部分。それは、囲いの役目を果たす周辺部エッジを有する。
【００１８】
本発明は、描写プログラム又はペンベースシステム等のようなグラフィックオブジェクトを操作（処理）するあらゆるシステムに有用である。本発明は、プライオリティーを付けるミーティングのような共同アクティビティーを支援するのに特に有用であることがわかった。このようなアクティビティでは、ユーザは、項目のリストを作成して、その項目の順序又は空間的なレイアウトを操作する。例えば、図１（ａ）乃至（ｃ）を参照すると、従業員のランキングを論議している。第１ステップは、参加者全員が見ることができるホワイトボードのようなビジュアル媒体上に従業員の名前のリストを書き込むことである。これは、図１（ａ）に、表示領域１０２に書かれたリスト１０１として図示されている。次に、フィルタリングプロセスが起こり、ここで従業員をクラス１、２又は３の技能者(performer) としてほぼ分類して、その後、カテゴリー内でランク付けする。これは、図１（ｂ）に、分類リスト１２１〜１２３として示されている。本発明のシステムでは、これらの名前の各々は、グラフィックオブジェクトのセット（例えばインクストローク）によって表される。このように、名前の再構成は、選択及び移動オペレーションによって達成される。最後に、ランキングを各実行カテゴリー内で行って、フューズして一緒にして戻し、図１（ｃ）に示す最終的なランキングリスト１３０を得る。
【００１９】
このアクティビティには注目するいくつかの重要なことがある。ユーザがリスト項目をまわりに簡単に動かすことができることは、重要である。これは、項目（例えば、名前）をグループ化して、それらを単位としてドラッグできることを示す。例えば、図１（ｂ）に示す実行カテゴリーをグループとして移動可能である。しかし、そのグループは固定されておらず、それらはミーティングを通して変わる。項目は時々まとめられて、暗に単一ユニットとして扱われる。また、注釈を項目に作ることもでき、評価理由を記述してもよい。この注釈は項目と共にグループ化されるべきであり、例えば、それらは一緒に移動する。ユーザが項目の関係について考えを変えたり又は項目と関係する注を作ると、ユーザは項目をフューズ及び分割して容易に注釈を作れることは、有用であることが確認された。また、ユーザは、項目をグループ内で他のグループから独立して操作できなければならない。
【００２０】
本発明のこの好適な実施の形態は、グラフィックオブジェクトの残存的なグループ化を表現して操作するためのグラフィック技法である。その主な考えは、明示的な(explict) 囲いによりグループを指示することと、囲いに対するグラフィックオペレーションがグループを修正するようになっていることである。
【００２１】
本発明で使用できるようなコンピュータベースシステムを、図２に関して説明する。図２を参照すると、コンピュータベースのシステムは、バス２０１により連結される複数のコンポーネント（構成要素）を含んでいる。図示したバス２０１は本発明を明瞭にするために単純化されている。バス２０１は、バスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）と同様に複数の平行バス（例えばアドレス、データ及び状態バス）から成り得る。いずれにしても、コンピュータシステムは、バス２０１を介して内部メモリ２０３から与えられる命令を実行するためのプロセッサ２０２を、更に含んでいる（内部メモリ２０３は、典型的にはランダムアクセスメモリー又はリードオンリーメモリーの組み合わせであることに留意されたい）。オペレーション中には、本発明の様々な機能コンポーネントを実行するためのプログラム命令は、内部メモリ２０３に格納されている。プロセッサ２０２と内部メモリ２０３は、個別のコンポーネントでも単一の一体式デバイスでもよい。プロセッサ２０２と内部メモリ２０３は、本明細書中に記述する様々な処理機能を実行するための回路を含む。また、バス２０１には外部記憶装置２０７が連結されている。外部記憶装置２０７は、典型的には磁性又は光学ディスク記憶装置のような高容量記憶媒体である。
【００２２】
また、バス２０１にはディスプレイ２０４及びポインティングデバイス２０５も連結されている。この好適な実施の形態において、ポインティングデバイス２０５は、ペン駆動式のタッチセンシティブパネルであり、これは、タッチスクリーンディスプレイのようなディスプレイ２０４と一体化される。このようなタッチスクリーンディスプレイは、従来技術でよく知られており、ペンベースシステムのようなシステム中で、電子ホワイトボードシステム用に利用されている。しかし、ポインティングデバイス２０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよいために、ポインティングデバイス２０５とディスプレイ２０４は、一体化される必要はない。
【００２３】
図３は、本発明で使用可能なグラフィカルユーザインターフェースの特別な実施例を示す。図３を参照すると、グラフィカルユーザインターフェースはディスプレイ２０４上に表示され、タッチパネル２０５を通して対話されている。図示されるように、グラフィカルユーザインターフェースはワーク（作業）面を用いて、複数のアクセス可能機能３０１を使用してもよい。ワーク面３０２には、ユーザが様々なカーブ（曲線）を描写してもよい所、及び他のグラフィックオブジェクトが表示される所がある。アクセス可能機能３０１は、ディスプレイのボタン領域３０３に配置されている。機能３０１は、グラフィックオブジェクトを編集（作成、削除、移動、縮め等）、又はタッチパネル２０５の操作モードを変える（例えば、描写及びジェスチャーモードからの切り換え）ためのオペレーションを含んでもよい。
【００２４】
これらの機能は、代わりに、ウィンドウズ(Windows) 指向アプリケーションに一般に見られるプルダウンメニューでアクセスされてもよい。しかし、これらの機能は、指示が任意（オプション) であり、それらの主要な目的は、システムオペレーションに固有なオペレーションを定義することである。これらの機能は、ジェスチャーにより起動される同じ機能を実行してもよい。
【００２５】
本発明のこの好適な実施の形態は、グラフィカルユーザインタフェース(Graphical User Interface ; ＧＵＩ）を有するペンベースのシステムで実行される。このようなＧＵＩは、典型的には、グラフィックオブジェクトを選択／選択解除(deselecting) するための「タップ」、又はタップされるグラフィックオブジェクトと関連し得るオペレーションを起動するための「ダブルタップ」をサポートする。オブジェクトは、一度、選択されると、ワーク空間中の所望の位置にドラッグ及びドロップされる。
【００２６】
この好適な実施の形態のワーク空間は、グラフィックオブジェクトが他のグラフィックオブジェクトからほぼ独立するように自由形態を有し、また、グラフィックオブジェクトは任意構成を有してもよい。これは、ホワイトボードを使用する方法と一致している。しかし、ワーク面のユーザオペレーションを容易にするために、暗示構造（以下「構造」とする）の概念はサポートされている。この好適な実施の形態でサポートされている様々な種類の構造は、「Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System 」と題されて、本願の同じ譲受人に譲渡された、ＥＰＡ ０ ６６７ ５６７ Ａ２号に記述されている。概念的には、構造とは、特定の関係を有するグラフィックオブジェクトの集まり、例えば、項目リストである。構造オペレーションが生じると、項目間の関係は保持されている。例えば、項目をリストの中央に入力すると、その挿入場所の下の項目は、挿入項目用に空間を作るために下に動かされる。
【００２７】
本発明のこの好適な実施の形態は、適切なホワイトボードエミュレーションプログラムの制御下で実行されるLiveBoard のようなペンベースシステム用のＣ＋＋プログラム言語で、ソフトウェアプログラムとして実行された。
【００２８】
本発明により、グラフィックオブジェクトのグループを、その対応する囲いを変更することにより操作する様々な技法が可能になる。図４のフロー図は基本対話を示し、これによりこの好適な実施の形態のグラフィック入力システムにオペレーションが生じ得る。図４を参照すると、電子ホワイトボードの使用中に、ユーザは、１つ以上のグラフィックオブジェクトの周りにクローズドカーブ（閉曲線）を、例えば、ジェスチャー又はリンクにより、作成する（ステップ４０１）。これは、電子ホワイトボードの内容を編成又は再構成することにより起こる。ユーザが他のオペレーションを実行したり他のグラフィックオブジェクトを生成し得る時間の後で、ユーザはジェスチャーを作成する（ステップ４０２）。システムは、ジェスチャーの近くに置かれたグラフィックオブジェクトを調べる（ステップ４０３）。グラフィックオブジェクトのうちの１つがクローズドカーブであるかどうかを見るために、特定のチェックが行われる（ステップ４０４）。この好適な実施の形態では、これはグラフィックオブジェクトの形状をチェックすることにより行われる。しかしながら、例えば、フラグをグラフィックオブジェクトに取り付ける等、他の技法を使用して、クローズドカーブであることを示すことは、当業者には明白であろう。いずれにしても、グラフィックオブジェクトがクローズドカーブでない場合、ジェスチャーは非囲い（non-enclosure)オペレーションとして解釈される（ステップ４０８）。
【００２９】
グラフィックオブジェクトのうちの１つがクローズドカーブである場合、システムはジェスチャーのタイプ（ステップ４０５）を識別する。ジェスチャータイプは典型的には、ジェスチャーを作成するために使用されるペンストロークの形状及び位置によって識別できる。次に、ジェスチャーオペレーションが囲いに有効であるか否かの決定がなされる（ステップ４０６）。有効でない場合、そのジェスチャーは、非囲いオペレーションとして解釈される（ステップ４０８）。ジェスチャーが囲いのオペレーションに有効なものであると決定されると、クローズドカーブを囲いとして扱い、その対応する囲いオペレーションを実行する（ステップ４０７）。ジェスチャーにより起動される様々な囲いオペレーションを下記に記述する。
【００３０】
グラフィックオブジェクトを、それの囲いを再形状化することにより追加、又は囲いをフュージングすることによりグループから除去することができる。グループをコンテナアイコンと呼ばれる（脚注に類似している）代わりのグラフィックオブジェクトによって崩壊及び表現してもよい。この好適な実施の形態の特徴及び利点は、下記の記述で明白になる。
【００３１】
本発明の重要な概念は、残存的なグラフィックオブジェクトとしての囲いの概念である。従来技術と対比するために、選択囲いは、選択オペレーションが実行されている間だけ存在する一時的なグラフィックオブジェクトとする。複数のグラフィックオブジェクトを単一オペレーションで操作するためには、グラフィックオブジェクトの各々を、グループとして「選択」しなければならない。よって、グラフィックオブジェクトの選択が残存性になるようにグラフィックオブジェクトのセットをグループ化することはしばしば望ましい。従来技術に記述されたように、グループの中身を変更するための既知の技法には、不便である。
【００３２】
残存的グラフィックオブジェクトとしての囲いは、以下の特徴を有する。
− 囲いは、典型的にはインクストロークであるが、固定領域とその境界（例えばハイライト領域）を画定する、あらゆるグラフィックオブジェクトでもよい。
− 囲いがインクストロークである場合、それらはストロークの始まりがストロークの終りと「閉じ」られているループ形ストロークである。インクストロークはまた、多くのグラフィカルフューザインタフェースで見られる矩形生成オペレーションを用いて作成される矩形でもよい。
− 囲いの内側は、固定領域を画定する。よって、例えば、各領域は、（グラフィックオブジェクトにより表現される）項目リストを保持できる。
− 囲いを選択することが、グループ、即ち、囲いと囲いによる画定領域内のグラフィックオブジェクト、を選択する。
− 囲いは、グラフィックオブジェクトの関連する集合を削除せずに消去されてもよい、即ち、囲いは、まさに他のインクストロークと同様である。
− グラフィックオブジェクトを選択して、囲いによる画定領域中へ又はそこから移動することができる。
【００３３】
囲いがグラフィックオブジェクトであるために、グラフィックオブジェクトに実行できるオペレーション、例えば、消去、即ち、色又は厚み等の変化の「拭き取り(wiping)」を囲いに実行することができる。囲いに実行されるオペレーションは、グループに同じ影響を与える。グループにオペレートするために、一般に実行すべき第１のステップは、囲いを選択することである。選択は、図５及び図６に関して示される。図５は、「ＡＢＣ」５０１で表現され、囲い５０２で囲まれているグラフィックオブジェクトを示す。囲いとして認識されるように、囲いのエンドポイントは十分に接近していなければならない。この十分な近さは、表示領域の解像度及びストロークの厚みのようなパラメータに依存する。グラフィックオブジェクト５０１及び囲い５０２の選択は、囲い５０２上の「タップ」ジェスチャー５０３により指示される。図６を参照すると、囲い５０２は、囲まれたグラフィックオブジェクト５０１と一緒に選択されている。このことは、選択ループ６０１の表示で示されている。更に、囲い５０２及びグラフィックオブジェクト５０１はグループを構成する。この好適な実施の形態において、選択は、囲い上のタップジェスチャーによって達成されるが、選択技法（例えば、他のタイプのジェスチャー）を使用してもよい。
【００３４】
一度、グループが選択されると、グループ全体に影響を及ぼす他のオペレーションを実行できる。グループは、カラーの変更、グループの縮小又は拡張を、［例えば、ドラッギング又は右閉じくさび形（＞）ジェスチャーによって］移動、又は［例えば、左閉じくさび形（＜）ジェスチャーによって］コピーさせることができる。選択された囲いの中身に影響する他のオペレーションを以下に記述する。
【００３５】
囲い中身の変更は、単にオブジェクトを囲い中へ移動、又は囲い中から移動、オブジェクトを消去する等によって達成されてもよい。上述したように、ユーザは、囲いを変更してその形状を変更してもよい。囲いの形状を変えることは、グラフィックオブジェクトを追加又は除去するユーザにとって便利な技法を提供する。ユーザは、他のグラフィックオブジェクトを含むように囲いを変更することによって、若しくはグラフィックオブジェクトを囲い中に移動又は新しいグラフィックオブジェクトを囲い内に作成できるように囲いを大きくすることによって、グラフィックオブジェクトをグループに追加してもよい。除去されるべきグラフィクオブジェクトが囲いによる画定領域内に無くなるように、囲いを再形状化することによりユーザはグラフィックオブジェクトをグループから除去してもよい。
【００３６】
エンドポイントが囲いの２点と接触するペンクトロークにより、変更ジェスチャーを作成する。一般に、このシステムは、ペンストローク及びそのペンストロークがクローズドカーブ（即ち、囲い）の２点と接触したことを検出する。次に、ペンストロークは、ペンストロークが囲いに接触した場所に基づいてクローズドカーブの形状を変更する囲いジェスチャ−として扱われる。
【００３７】
図７及び図８には、グラフィックオブジェクトを囲いへ追加することが示されている。図７を参照すると、ペンストローク７０１は、第１ポイント７０２と第２ポイント７０３で囲い７０４と接触する。これにより、ペンストローク７０１は変更ジェスチャーとして扱われるようになり、それに従って囲い７０４が変更されるようになる。図７では、グラフィックオブジェクト「１２」７０５を、グループに追加するようになっている。次に、図８を参照すると、完成時に、元の囲い７０４の形状を有しながらペンストローク７０１の形状が「隆起（バンプ）」として追加される囲い８０１が作成されている。
【００３８】
図９及び図１０は、グラフィックオブジェクトを除去するための囲いの変更を示す。図９を参照すると、ペンストローク９０１は、第１ポイント９０２及び第２ポイント９０３で囲い９０４と接触する。上記のように、これによりペンストローク９０１が、変更ジェスチェーとして扱われるようになる。しかしながら、ここではペンストロークが囲い９０４による画定領域内にあることが決定さるので、その変更とは、領域の一部分を「切除」することである。次に図１０を参照すると、これはペンストローク９０１に対応する部分を除去する形状を取る新しい囲い１００１となる。これは、グラフィックオブジェクト１００２、即ち、英字「Ｃ」をグループから効果的に除去している。
【００３９】
グラフィックオブジェクトを除去する変更ジェスチャーの場合、囲いの部分についてなされるべき決定は、「切除」することである。この好適な実施の形態は、囲いの「最大」部分が保持されるべき部分であるというヒューリスティックでオペレートする。
【００４０】
囲いを分割することにより、２つの新しい囲いが作成され、元の囲いが除去される。例えば、リストを操作する場合、リストのサブリストだけを操作することがより適当であることが決定されることもある。分割ジェスチャーは、前後運動で作成されるペンストロークにより生じる。ペンストロークは、分割されるべき囲いによるで画定領域に含まれていた少なくとも部分であったことになる。分割ジェスチャーは、それがオペレーティングすることになる囲いを空間的に検出し、ジェスチャーのロケーションが分割ロケーションを指示するようにオペレートする。
【００４１】
図１１及び図１２は、分割ジェスチャーを用いて囲いを分割し、１つの囲いから２つの囲いを作成することを示す。図１１を参照すると、囲い１１０２による画定領域内にある分割ジェスチャー１１０１が描写されている。分割ジェスチャーによって、囲い１１０２がジュスチャーがほぼ生じた地点で分割されるようになる。これは、図１２に、囲い１２０１及び１２０２で示されている。
【００４２】
図１３及び図１４は、分割ジェスチャーが複数の囲いを横切るように実行されることにより、両方の囲いを分割できることを示す。図１３を参照すると、分割ジェスチャー１３０１は、囲い１３０２及び１３０３を横切る。次に、図１４を参照すると、囲い１４０１及び１４０２は囲い１３０２から作成され、また囲い１４０３及び１４０４は囲い１３０３から作成されている。
【００４３】
囲いをフュージングすることにより、フューズ囲いの中身が単一の囲いの下で組み合わされるようになる。フュージョンはそれが暗示的又は明示的であるように、実行可能である。図１５乃至図１７は暗示的フュージングの例を示す。図１５を参照すると、選択囲い１５０２は、それが囲い１５０１とオーバーラップ（重なる）ように移動される。その移動結果を図１６に示す。フュージングは図１７に示す。ここでは、囲い１５０１及び１５０２の各々の中身は、新たな囲い１７０１の領域内にある。囲い１７０１の形状は、重なった囲い１５０１及び１５０２の境界に対応する。
【００４４】
しかし、暗示的フュージングは望ましくない結果をもたらすことがある。例えば、囲いを移動している間に、それが偶然、他の囲いと重なるように配置されることがある。これにより、それらが偶然にフューズされることになると、囲いに分割するように要求するであろう。更に、グラフィカルユーザインターフェースのいくらかの使用の場合、例えばベン図(Venn Diagrams) を描写する等、重なるクローズドカーブを有することは望ましい。従って、明示的フュージングを、この好適な実施の形態ではデフォルト値として提供する。明示的フュージングでは、フュージングジェスチャー、ここでは、特定の位置にあるクローズドカーブ形状のペンストロークを使用して、囲いをフューズする。フュージングオペレーションは、フュージングジェスチャーが接触する囲いの各々に実行されることになる。
【００４５】
図１８及び図１９は、囲いが重なる時の明示的なフュージングの単純な例を示す。図１８を参照すると、囲い１８０１と１８０２が重なる。次に、フュージングループジェスチャー１８０３を実行する。その結果を図１９に示し、ここでは、囲い１８０１と１８０２の各々の中身は新たな囲い１９０１の領域内にある。囲い１９０１の形状は重なった囲い１８０１と１８０２の境界に対応する。
【００４６】
図２０及び図２１は、フュージングジェスチャーを用いて明示的フュージングを更に示す。図２０を参照すると、囲い２００２と２００３は重ならない。フュージングジェスチャー２００１は、囲い２００２と２００３の両方の境界に接触する。これは、図２１の囲い２１０１となる。得られた囲い２１０１の形状は、フュージングジェスチャー２００１がまるで囲い２００２と２００３を連結していたかのようにフュージングジェスチャー２００１の形状を帯びている。
【００４７】
囲いをフュージングするための更なる手段は、囲い間のリンクに関して下記に記述する。
【００４８】
リンクは、一つ以上の囲いの間にビジュアル連結を提供するために使われるインクストロークである。リンクは、以下の特徴を有する。
− リンクは、少なくとも１つの囲い（即ち、一端部）及び多くとも２つの囲いと関係する。囲いと関係するために、リンクのエンドポイント（終点）は、囲いに「接触」しなくてはならない。
− 囲いは、複数のリンクを有してもよい。
− 囲いを選択することによりそのリンクが強調（ハイライト）される。
− リンクは自由形式である、即ち、あらゆる形状とすることができる。
− 囲いと関係するリンクは残存性なので、それらは囲いの移動／拡大／又は縮小時に再形状化して接触を維持する。即ち、リンクにより与えられる囲い間の連結は常に保持されている。
−リンクは、リンクエンドポイントを選択して移動することにより変更可能である。
【００４９】
リンクを使用可能な１つの方法には、囲いをフュージングするためのものがある。明示的なフュージョンがフュージングジェスチャーを実行することにより行われるので、フュージングジェスチャーはリンクに接触する。これは、図２２及び図２３に示されている。図２２を参照すると、囲い２２０１及び２２０２はリンク２２０３によりリンクされている。リンク２２０３に接触するフュージングジェスチャー２２０４を実行する。その結果が、図２３の囲い２３０１である。囲い２３０１の形状はリンクに沿って２つの囲いを連結する形状である。囲いをフューズ後、リンク２２０３は除去されている。
【００５０】
図２４及び図２５は、囲いを移動する時の、囲い及び関連リンクの選択並びにリンクの再形状化を示す。図２４を参照すると、囲い２４０１は、リンク２４０４により囲い２４０２、及びリンク２４０５により囲い２４０３とリンクされている。囲い２４０２と２４０３はリンク２４０６によってリンクされている。また、囲い２４０３が選択されることにより、リンク２４０５と２４０６が選択されるようになっている。このことは、囲い２４０３及びリンク２４０５と２４０６の点線のアウトラインで示されている。図２５では、囲い２４０３を移動したことにより、リンク２４０５と２４０６が再形状化されるようになっている。明確に再形状化されたが、リンク２４０６がその基本的な形状特徴を維持したことに留意されたい。これは、固定位置としてリンクの静的エンドポイントを使用して、囲いを移動する場所に応じて再形状化リンクをスケール化及び／又はフリップする（はじく）再形状化技法により行われている。最終的に、囲いの移動時に、それぞれのリンクのエンドポイント２４０７及び２４０８が、それらの位置を、囲い２４０３上に維持することに留意されたい。
【００５１】
図２６及び図２７は、リンクエンドポイントの選択及び移動を示す。リンクエンドポイントの移動は、図が再構成、さもなければ変更される必要がある時に、望ましい。図２６を参照すると、リンク２４０４のエンドポイント２６０１が選択されている。ここではエンドポイント２６０１は囲い２４０２上にある。リンクエンドポイントの選択は、エンドポイント付近の点線の円で指示されている。一度、選択されると、エンドポイントは移動可能である。このような移動の結果を図２７に示す。図２７を参照すると、エンドポイント２６０１は囲い２４０３へ移動されている。
【００５２】
囲い同士間にリンクを設けることは、特に囲いを再配置する時に有用である。囲い同士間に視覚的関係を保持できると、それらが移動されても、グラフィックベースシステムを円滑に使用するのに役立つ。
【００５３】
リンクの囲いからの切り離しを、２つの方法の内の１つで達成することができる。まず、囲いを、リンクのエンドポイントにそれ以上「接触」しないように変更してもよい。あるいは、リンクのエンドポイントを、囲いにそれ以上接触しないように選択して移動してもよい。リンクの切り離しは、残存性を維持するためのヒューリスティックのためにリンクが囲いを横断するような望ましくない結果が生じる場合に、有用になり得る。
【００５４】
また、リンクを囲いへ同様の技法を使用して付けてもよい。まず、囲いを、それがリンクのエンドポイントと「接触」するように変更してもよい。第２番目に、リンクのエンドポイントを、それが囲いと接触するように選択して移動してもよい。
【００５５】
囲いを崩壊することは非常に有用な特徴であり、これにより、ディスプレイ上の空間が最適化されることが可能になる。囲いを崩壊することにより、囲い及びそれに含まれるオブジェクトがコンテナアイコンと置換される。この好適な実施の形態のコンテナアイコンは、バルーン（風船）形状であり、必要に応じて参照番号（又は他の識別シンボル）を表示してもよい。
【００５６】
コンテナアイコンはグラフィックオブジェクトの根本的グループを表すグラフィックオブジェクトである。従って、コンテナアイコンは移動、削除又はその属性の変更が可能である。コンテナアイコンの属性を変更すると、対応する変化がグラフィックオブジェクトの根本的グループに起こることになる。従って、例えばコンテナアイコンの色を変更すると、グラフィックオブジェクトの各々は、コンテナアイコンの色に変化する。当然ながら、属性変更がグラフィックオブジェクトの根本的グループまで流入しないように、このような特徴を「消す(turn-off)」」ことはできることは、当業者にとって明白になるであろう。
【００５７】
この好適な実施の形態では、（囲いがグループを識別して縮小するために非常に便利な手段を提供するが、）崩壊は、囲い及びその中身に限定されているわけではない。例えば、崩壊を、項目リストの選択サブセット又はグラフィックオブジェクトの自由形態選択に適用してもよい。
【００５８】
図２８は、グループを崩壊して、コンテナアイコンと置換するためのステップを示すフローチャートである。まず、ユーザは１つ以上のグラフィックオブジェクトを選択して、それらをグループとして扱わせる（ステップ２８０１）。これは、典型的には、囲いを選択することで実行されてもよい（この次に、囲いによる画定領域内の全グラフィックオブジェクトが選択されるようになる）。しかし、１つ以上のグラフィックオブジェクトをグループ化又は選択するためのあらゆる手段が使用可能である。次に、ユーザは、崩壊動作を実行する（ステップ２８０２）。上述したように、崩壊動作はバルーン形状のペンストロークでもよい。次に、システムは、ペンストロークを崩壊ジェスチャーとして識別して、グループが選択されていたか否かを決定する（ステップ２８０３）。当然ながら、グループが選択されていなかった場合、崩壊に関する指示がないので、崩壊は実行され得ない。次に、システムは、グラフィックオブジェクトのグループを「保存」する（ステップ２８０４）。これがあるので、グループを容易に拡張することができる。次に、システムはディスプレイからグラフィックオブジェクトのグループを除去して（ステップ２８０５）、コンテナアイコンを表示する（ステップ２８０６）。コンテナアイコンはグラフィックオブジェクトに類似し、即ち、それを移動、着色、消去等するここができる。コンテナアイコンに実行されるこのようなオペレーションは、全ての崩壊オブジェクトに同じ影響を及ぼす。コンテナアイコンが作成されるこの時点で、崩壊オブジェクトも「選択」され、従って、後続のあらゆるオペレーションをそれに実行してもよい。
【００５９】
必定に応じて、一度、グループが選択されると、システムはそのグループに参照番号を生成し、それをコンテナアイコン上に表示する。参照番号は、後でグループを参照するために使用される。これは、グループがエンドノートに非常に類似する異なるページに格納されることがあるためである。
【００６０】
コンテナアイコンが初期に表示されるロケーションは、囲いと関連する様々なファクタに依存する。囲いがリンクを有していない場合、コンテナアイコンは、囲いが占める領域のほぼ中心に表示される。これは、図２９及び図３０に示されている。
【００６１】
図２９を参照すると、囲い２９０１及び関連グラフィックオブジェクトは、グラフィックオブジェクト２９０２と２９０３との間に置かれている。囲い２９０１が選択されて、崩壊ジェスチャー２９０４を実行した。その結果を、図３０に示す。図３０を参照すると、得られたコンテナアイコン３００１は、先に囲い２９０１で定義した領域３００２の中央に置かれている。
【００６２】
また、崩壊が、自由形態により作成されるグループに実行されてもよいことに留意されたい。そのオペレーション及び結果は、リンクがない囲いについて上述したものと同一である。
【００６３】
囲いが、崩壊用に囲いと共に選択されたリンクを有する場合、コンテナアイコンは、そのステムを囲いに付いたリンクと置換するように表示される。これは、図３１及び図３２に示されている。図３１を参照すると、第１の囲い３１０１は、リンク３１０３により第２の囲い３１０２にリンクされている。この図では、囲い３１０２が選択された。選択囲い３１０２関する崩壊ジェスチャー３１０４が実行された。崩壊の結果は図３２に示す。図３２を参照すると、囲い３１０２及びその中身を表示するために、コンテナアイコン３２０１が作成された。
【００６４】
囲いがリスト構造中の項目のサブセットを定義する場合、コンテナアイコンは選択サブセットの上のリスト項目の最後に置かれる。これを、図３３及び図３４に示す。図３３を参照すると、ワーク面上にはリスト３３０１が表示されている。リストのサブセット３３０２が選択され、崩壊ジェスチャー３３０３をサブセット３３０２に実行した。その結果を図３４に示す。図３４を参照すると、コンテナアイコン３４０１は、サブセット３３０３を置換して、サブセット３３０３の上に位置したリスト項目３４０２の最後に付けられている。更に、リスト３４０３の残り部分を、サブセット３３０３の空になった空間を埋めるように上方へ移動した。このワーク空間領域の自動再生(automatic reclamation) は、リスト構造のオペレーションに対して実行されている。
【００６５】
崩壊の逆オペレーションでは、コンテナアイコンを拡張することができる。コンテナアイコンを、例えば「タブルタップ」オペレーションにより拡張すると、崩壊囲いが表示領域に復元されて、コンテナアイコンは除去される。図３５は、コンテナアイコンを拡張するためのステップを示すフローチャートである。先ず、ユーザは所望のコンテナアイコンに接近して拡張ジェスチャーを実行する（ステップ３５０１）。これは、典型的には「ダブルタップ」ジェスチャーにより行われる。次に、システムは拡張ジェスチャーを検出して（ステップ３５０２）グラフィックオブジェクトの関連グループを検索する（ステップ３５０３）。次に、システムはディスプレイからコンテナアイコンを除去し（ステップ３５０４）、システムはグラフィックオブジェクトの検索グループを表示する（ステップ３５０５）。拡張されるものが暗示的構造の部分である場合には、暗示的構造を維持するために、必要に応じて他のグラフィックオブジェクトを移動してもよい（ステップ３５０６）。
【００６６】
コンテナアイコンを拡張する場合、コンテナアイコンが広がるディスプレイ上の場所は、崩壊物に対応することになる。例えば、コンテナアイコンがリスト構造の部分である場合、拡張のためにリストの他の部分が移動するようになる。あるいは、コンテナアイコンの位置に関係して、直接、ワーク面上に適切に拡張してもよい。これは、ワーク面上に直接起きても、「オーバーレイ」としてワーク面上に起きてもよい。拡張がワーク面上に直接起こると、拡張は、ワーク面上の既存のグラフィックオブジェクトに上書きしてもよい。拡張がオーバーレイとして起こると、既存のグラフィックオブジェクトは閉塞されることがあるが、破壊はされはい。最終的に、拡張はリンクとして別の場所で起こることもある。このような拡張では、ワーク領域上の利用可能領域は、拡張が起こる場所で識別される。リンクは、拡張オペレーションを開始したコンテナアイコンのロケーションに作成される。
【００６７】
また、崩壊がネスト（入れ子）にされてもよいことも留意されたい。従って、例えば、アウトラインでは、サブヘッディング（小見出し）の一方のレベルは、サブヘッディングの別のレベルの中にネストされてもよい。これは、図３６及び図３７に関係して示されている。図３６は、リスト項目の崩壊サブセットを表すコンテナアイコン３６０２を有するリスト３６０１を示す。別のサブセットの選択３６０３は、コンテナアイコン３６０２を含む。崩壊ジェスチャー３６０４が実行され、その結果を図３７に示す。図３７を参照すると、図３６からのリスト項目の選択中身（内容）を表すコンテナアイコン３７０１が生成されている。このようなネスティングは他のタイプの構造、例えば、アウトライン等にも有利に適用され得る。
【００６８】
ネスティングは、リスト構造に限定されるわけではない。あらゆるタイプのグループ及びそれらの対応する囲いを表すコンテナアイコンを、ネストしてもよい。これは図３８及び図３９と関係して示されている。図３８を参照すると、囲い３８０１は、その中にコンテナアイコン３８０２を含む。コンテナアイコン３８０２は、事前に崩壊した囲い又他のタイプの選択を表現してもよい。また、囲い３８０１が自由形式選択でもよいとに留意されたい。また、囲い３８０１がリンク３８０５により囲い３８０４にリンクされることも留意されたい。崩壊動作は、コンテナアイコン３８０２に対して行われ、その結果を図３９に示す。図３９を参照すると、図３８の囲い３８０１の中身、及びコンテナアイコン３８０２で表現される中身を、表現するコンテナアイコン３９０１が生成されている。さらに、コンテナアイコン３９０１のステムは、囲い３８０４に連結されて、リンク３８０５を置換する。
【図面の簡単な説明】
【図１】（ａ）は本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｂ）も本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｃ）も本発明のこの好適な実施の形態を使用可能な概要の例を示す。
【図２】本発明のこの好適な実施の形態で使用可能なコンピュータベースのシステムのブロック図である。
【図３】ディスプレイに表示されて、図２のタッチセンシティブパネルを介してインタフェースされるような基本的なグラフィカルユーザインターフェースの表現である。
【図４】本発明のこの好適な実施の形態で利用可能なグラフィックベースシステムの基本ユーザインタフェースオペレーションを示すフロー図である。
【図５】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図６】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図７】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図８】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図９】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１０】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１１】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１２】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１３】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１４】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１５】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１６】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１７】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１８】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図１９】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図２０】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２１】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２２】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２３】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２４】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２５】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２６】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２７】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２８】本発明のこの好適な実施の形態で実行され得る、グループを崩壊して、それをコンテナアイコンと置換するためのステップを示すフローチャートである。
【図２９】本発明のこの好適な実施の形態で実行され得る、リンクのない選択囲いの崩壊を示す。
【図３０】本発明のこの好適な実施の形態で実行され得る、リンクのない選択囲いの崩壊を示す。
【図３１】本発明のこの好適な実施の形態で実行され得る、関連リンクを有する選択囲いの崩壊を示す。
【図３２】本発明のこの好適な実施の形態で実行され得る、関連リンクを有する選択囲いの崩壊を示す。
【図３３】本発明のこの好適な実施の形態で実行され得る、リスト構造中のリスト項目の選択サブセットの崩壊を示す。
【図３４】本発明のこの好適な実施の形態で実行され得る、リスト構造中のリスト項目の選択サブセットの崩壊を示す。
【図３５】本発明のこの好適な実施の形態で実行され得る、コンテナアイコンを拡張してそれが表すグラフィックオブジェクトを表示するためのステップを示すフローチャートである。
【図３６】本発明のこの好適な実施の形態で実行され得る、構造化リスト中の項目の崩壊サブセットのネスティングを示す。
【図３７】本発明のこの好適な実施の形態で実行され得る、構造化リスト中の項目の崩壊サブセットのネスティングを示す。
【図３８】本発明のこの好適な実施の形態で実行され得る、崩壊囲いのネスティングを示す。
【図３９】本発明のこの好適な実施の形態で実行され得る、崩壊囲いのネスティングを示す。
【符号の説明】
５０１ グラフィックオブジェクト
５０２ 囲い
５０３ タップジェスチャー
【発明の属する技術分野】
本発明は、グラフィックベースコンピュータシステムにおけるオペレーティングの分野に関し、更に詳細には、前記グラフィックベースコンピュータシステム中に表示されるグラフィックオブジェクトを集めて定義することに関する。
【０００２】
【従来技術及び発明が解決しようとする課題】
ペンベースシステム及び「電子ホワイトボード(electronic whiteboard) 」［例えば、ゼロックス社(Xerox Corporation) の部門、"Liveworks" から入手可能な"liveBoard" （商標）］のようなコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスのような入力デバイスの利用に基づいたグラフィカルユーザインターフェースを提供する。このようなシステムにおいて、「ディスプレイ」は、データを示すための手段及び入力媒体の両方として働く。グラフィックオブジェクトは、ディスプレイ上に、入力デバイスを用いて作成するペンストロークによって「描写」されてもよい。グラフィックオブジェクトは、ワード（語）、図、又は表示できるあらゆるものを表現してもよい。次に、様々なオペレーションを、ジェスチャーとして知られている入力技法を用いてグラフィックオブジェクトに対して実行することができる。ジェスチャーは、自身が命令として解釈される単にペンストロークである。ペンストロークが残存的（persistent, 持続的) グラフィックオブジェクトを作成するか、又はペンストロークがジェスチャーとして扱われると、このようなシステムは、識別するためにオペレーションの描写モード及びオペレーションのジェスチャーモードを有することになる。
【０００３】
LiveBoard のような電子ホワイトボードは、典型的には、ミーティングのような共同アクティビティと関連して使われる。それを使用して、リストや図等を表現するグラフィックオブジェクトが描写される。このようなシステムに対する共通オペレーションは、ユーザがグラフィックオブジェクトをグループ化することであり、オペレーションを、オブジェクトに一つのグループ化ユニット（単位）として適用することができる（例えば、オブジェクトをグループで移動して、そのグループのメンバ間に空間オリエンテーションを保持する）。そのようなオペレーションは、所望のグラフィックオブジェクトを取り囲んで、グループ化オペレーションを実行するような選択ジェスチャーによって実行されてもよい。ユーザは、例えば、オブジェクトをグループ化せずに、それらに個別にオペレート（動作）する、オブジェクトを加える又はオブジェクトをグループから引く等、後でグループを変更したいことがあるかもしれない。典型的なグラフィカルユーザインターフェースでは、このようなグループ化オペレーションは、ユーザがグループを選択して、「 Ungroup（グループ解消）」コマンドを与え、所望のオブジェクトを再選択して、次に所望のグラフィックオブジェクトに「Group （グループ化）」コマンドを与えることにより達成される。ミーティングのような動的（ダイナミック）設定で実行される場合、このようなステップは不便である。従って、このようなシステムでは、グラフィックオブジェクトのグループを簡単に変更できる技法に対する要求がある。
【０００４】
「Apparatus and Method For Altering Enclosure Selections In A Gesture Based Input System」と題され、本願と同じ譲受人に譲渡された米国特許第５，４７１，５７８号（以下、’５７８号と記す）は、ユーザが全ジェスチャーを書き直す必要なく、選択ジェスチャーを変更することが可能になるグラフィカル編集システムを説明する。変更できる、即ち、ユーザが囲いサイズを拡張又は縮小可能な一組の後続ジェスチャーにより再形状化できる、一次的な(ephemeral) グラフィックオブジェクトとして処理される囲いを用いて、システムは選択を画定する。これらの変更ジェスチャーは、囲いの指定したポイント（点）又は部分を始動させてその形状を制御する。選択囲いを描写する場合、選択囲いに変更ジェスチャーとして関係するそれのロケーション（位置）で検出されるラインセグメントを描写することにより追加データを含むか又は除外して、既存の囲いを再形状化してラインセグメントを含むことができる。
【０００５】
残念ながら、一度、選択が行われると、’５７８号の特許の発明を直接的に使用してグラフィックオブジェクトのグループを変更することはできない。これは、選択囲いが、選択が存在している間に存在するだけの一時的なグラフィックオブジェクトであるためである。
【０００６】
グループによるオペレーティングについての他の欠点は、選択不足、即ち、グラフィックオブジェクトをグループとして扱うことができるという視覚的な指示がないというとである。グラフィックオブジェクトのグループ化を示し、邪魔にならず直観的な手段を提供することは望ましい。
【０００７】
従って、視覚的に明白で残存性であるグラフィックオブジェクトのグループと対話するための手段に対する要求がある。
【０００８】
このようなグラフィカルユーザインターフェースの別の望ましい能力は、グループ間に残存的ビジュアルリンクを提供できることである。従って、例えば、フローチャート又は状態図のような図で作業する場合に、図を変更するか、又は移動することができる。リンクを残存性にすることで、図の更新処理及び編集を単純化できる。
【０００９】
グラフィカルユーザインターフェースの更に別の制約は、限られた表示領域である。幾つかのシステム、例えば、前述の「LiveBoard 」システムでは、より多くの「未記録(unwritten) 」領域を得るために、「スクロール可能(scrollable)」なこともあるが、既に書き込まれているある種の情報を単に「隠す」か、又は崩壊させる(collapse)即ち折り畳むことがより望ましい場合もある。この隠された情報は、所望されると、後で呼び戻せてもよい。オブジェクトは、書き込みに使用可能なより多くの情報空間を有するべきである。例えば、リストをプライオライズする（順位を付けて並べる）場合、そのリストの一部分が固定されると、それを隠すことができ、リストに載っているより多くの項目（アイテム）をスクロール（画面移動）する必要なく表示できる。
【００１０】
情報を一時的に「隠す」ための様々な手段は、従来技術で既知である。テキスト編集システムでは、テキストの様々なラインは、隠されて、点線又はいくつかの他のシンボルによって表現されてもよい。グラフィカルユーザインターフェースを有するシステムでは、アイコンを使用して「ファイル」、ドキュメント又はアプリケーションを表現してもよい。他のシステムは、画像の詳細なレベルを修正できる「ズーミング(zooming) 」を備える。フローチャーティングアプリケーションにより、選択時にフローチャートの「オフ−ページ」部分が表示されるようになっている「オフ−ページ」指示子が可能になる。
【００１１】
しかしならが、前述のアプローチのどれも、自由形態のグラフィカルユーザインターフェースを有するコンピュータシステムにおける要求事項に、特に適用することはできない。従って、グラフィックオリエンテッドシステムに於ける表示情報を隠す又は崩壊することができ、次いで、拡張してそれが表現する全情報を表すことができる手段を有すことは望ましい。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含むグラフィックベースコンピュータシステムにおいて、前記入力手段による前記ディスプレイに対する入力ストロークで生成されるグラフィックオブジェクトのグループをコンテナアイコンで表現するための方法であって、前記システムが、（ａ） ユーザによる、少なくとも１つのグラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトの選択を識別することであって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有し、（ｂ） 前記ユーザによる前記囲いグラフィックオブジェクトにより選択されたグラフィックオブジェクトのグループへの置換動作の実行を識別し、
（ｃ） 前記システムが、（ｃ１） 前記選択されたグラフィックオブジェクトのグループのコピーを格納し、（ｃ２） 前記選択されたグラフィックオブジェクトのグループを前記ディスプレイから除去し、（ｃ３） 前記選択されたグラフィックオブジェクトのグループを表現するコンテナアイコンを表示すること、
を実行することにより、前記選択されたグラフィックオブジェクトのグループをコンテナアイコンに置き換えるステップを含み、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンは前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示され、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする。
【００１３】
請求項２に記載の発明は、グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含み、前記グラフィックオブジェクトが前記入力手段による前記ディスプレイに対する入力ストロークで生成される、コンピュータ制御グラフィックディスプレイシステムであって、グラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトを選択するための手段であって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有する、選択するための手段と、前記囲いグラフィックオブジェクトにより選択されたグラッフィックオブジェクトのグループをコンテナアイコンと置換するための手段と、コンテナアイコンを拡張して、元のグラフィックオブジェクトのグループを表示するための手段と、を有し、前記置換するための手段は、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンを前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示し、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする。
【００１４】
表示領域を最大利用するように、グラフィックオブジェクトのグループを表現するための方法及び装置が開示されている。本発明は、グラフィックオブジェクトのグループを「崩壊する」ための手段を提供し、それをコンテナアイコンで表現する。コンテナアイコンは、オブジェクトのグループより小さい表示領域の量を占める方法で、グラフィックオブジェクトのグループを視覚的に表現する。グループは、コンテナアイコンを「タッピング（軽く叩くこと）(tapping）」により、呼び戻すことができる（即ち、拡張する）。或いは、グループは、ディスプレイ空間の別個のアクセス可能な領域の上に位置されてもよい。コンテナアイコンは、自身がグラフィックオブジェクトであり、移動、コピー又は削除され得る。更に、グラフィックオブジェクトの属性、例えば、色、の変化は、グラフィックオブジェクトのグループに、相応の変化を生じる。
【００１５】
本発明の崩壊方法は、下記工程、即ち：ユーザが一つ以上のグラフィックオブジェクトを選択して、それらがグループとして扱われるステップと；ユーザが崩壊動作を実行するステップと；システムが、崩壊動作が実行されたこと、及びそれが選択されたグラフィックオブジェクトのグループと関連いていることを、検出するステップと；システムが、グラフィックオブジェクトのグループを「保存する」ステップと；そして、システムがディスプレイからグラフィックオブジェクトのグループを除去して、コンテナアイコンと置換するステップと；を含む。必要に応じて、システムは崩壊アイコンに参照番号を生成してもよい。これは、元の未崩壊グラフィックオブジェクトのグループを含むページと一緒にディスプレイの内容を印刷する場合に特に有用なことが分かっている。
【００１６】
本発明の拡張方法は、下記工程、即ち：ユーザが拡張動作をコンテナアイコンの近くで実行するステップと；システムがコンテナアイコンと関連するグラフィックオブジェクトのグループを検索するステップと；そして、システムがディスプレイからコンテナアイコンを除去して、それを、アイコンに関係する元の位置にある検索グラフィックオブジェクトと置換するステップと；を含む。
【００１７】
【発明の実施の形態】
下記用語を本明細書の記述に用いる。それらの用語は下記に示す意味を有する。
グラフィックオブジェクト(Graphic Object)：２Ｄ空間のあらゆる表示オブジェクト。
カーブ(Curve) ：ユーザによる手作業で作られる（例えば、ペンストローク）又は、ジェスチャー等の他の手段により作られる（例えば「[ 」ジェスチャーから得られる矩形）、又はシステムにより生成される（例えば境界）、一次元のグラフィックオブジェクト。
ペンストローク(Pen Stroke)：ペンによる、インクストロークかジェスチャーになる動作。
インクストローク(Ink Stroke)：残存的カーブ（曲線）。
ジェスチャー(Gesture) ：一時的で、動作として解釈されるペンストロークで作られるカーブ。
囲い(Enclosure) ：それ自身で閉じて領域を画定するインクストローク。
囲い中身(Enclosure Contents)：囲いで画定された領域内に位置する一つ以上のグラフィックオブジェクト。
グループ(Group) ：それの中身をプラスした囲い。グループは単一のグラフィックオブジェクトとして働くことができ、例えば、その囲い上のタップジェスチャーがグループを選択する。
選択(Selection) ：選択によりタグ付けされるグラフィックオブジェクトのセット。
選択囲い(Selection Enclosure) ：いくつかのグラフィックオブジェクトを囲んでいるジェスチャー。これは選択を定義する通常の方法である。
リンク(Link) ：１つ又２つの囲いに触れる（即ち、それらをリンクする）インクストローク。囲いは自身とリンクされてもよい。
コンテナアイコン：他のグラフィックオブジェクトをそれらを表示することなく表現する小さなグラフィックオブジェクト。
崩壊(Collapse)：選択を用い、コンテナアイコンを作成して、グラフィックオブジェクトをアイコンと置換するオペレーション。
拡張(Expand)：コンテナアイコンを用いて、コンテナアイコンをそれを含むオブジェクトに置換するオペレーション。
変更(Alter) ：囲い及び潜在的にそれが含むグラグックオブジェクトを再形状化するオペレーション。
分割(Split) ：囲いを用いて、それを２つの異なる囲いに分割するオペレーションで、各囲いは独自の中身（内容）を有する。
フューズ(Fuse)：２つ以上の囲いを用いて、それらを、初期囲い中の全オブジェクトを含む１つの囲いに結合するオペレーション。
ハイライト領域(Highlighted Area)：通常、いくらかのグラフィック方法で強調される２Ｄ面の連続部分。それは、囲いの役目を果たす周辺部エッジを有する。
【００１８】
本発明は、描写プログラム又はペンベースシステム等のようなグラフィックオブジェクトを操作（処理）するあらゆるシステムに有用である。本発明は、プライオリティーを付けるミーティングのような共同アクティビティーを支援するのに特に有用であることがわかった。このようなアクティビティでは、ユーザは、項目のリストを作成して、その項目の順序又は空間的なレイアウトを操作する。例えば、図１（ａ）乃至（ｃ）を参照すると、従業員のランキングを論議している。第１ステップは、参加者全員が見ることができるホワイトボードのようなビジュアル媒体上に従業員の名前のリストを書き込むことである。これは、図１（ａ）に、表示領域１０２に書かれたリスト１０１として図示されている。次に、フィルタリングプロセスが起こり、ここで従業員をクラス１、２又は３の技能者(performer) としてほぼ分類して、その後、カテゴリー内でランク付けする。これは、図１（ｂ）に、分類リスト１２１〜１２３として示されている。本発明のシステムでは、これらの名前の各々は、グラフィックオブジェクトのセット（例えばインクストローク）によって表される。このように、名前の再構成は、選択及び移動オペレーションによって達成される。最後に、ランキングを各実行カテゴリー内で行って、フューズして一緒にして戻し、図１（ｃ）に示す最終的なランキングリスト１３０を得る。
【００１９】
このアクティビティには注目するいくつかの重要なことがある。ユーザがリスト項目をまわりに簡単に動かすことができることは、重要である。これは、項目（例えば、名前）をグループ化して、それらを単位としてドラッグできることを示す。例えば、図１（ｂ）に示す実行カテゴリーをグループとして移動可能である。しかし、そのグループは固定されておらず、それらはミーティングを通して変わる。項目は時々まとめられて、暗に単一ユニットとして扱われる。また、注釈を項目に作ることもでき、評価理由を記述してもよい。この注釈は項目と共にグループ化されるべきであり、例えば、それらは一緒に移動する。ユーザが項目の関係について考えを変えたり又は項目と関係する注を作ると、ユーザは項目をフューズ及び分割して容易に注釈を作れることは、有用であることが確認された。また、ユーザは、項目をグループ内で他のグループから独立して操作できなければならない。
【００２０】
本発明のこの好適な実施の形態は、グラフィックオブジェクトの残存的なグループ化を表現して操作するためのグラフィック技法である。その主な考えは、明示的な(explict) 囲いによりグループを指示することと、囲いに対するグラフィックオペレーションがグループを修正するようになっていることである。
【００２１】
本発明で使用できるようなコンピュータベースシステムを、図２に関して説明する。図２を参照すると、コンピュータベースのシステムは、バス２０１により連結される複数のコンポーネント（構成要素）を含んでいる。図示したバス２０１は本発明を明瞭にするために単純化されている。バス２０１は、バスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）と同様に複数の平行バス（例えばアドレス、データ及び状態バス）から成り得る。いずれにしても、コンピュータシステムは、バス２０１を介して内部メモリ２０３から与えられる命令を実行するためのプロセッサ２０２を、更に含んでいる（内部メモリ２０３は、典型的にはランダムアクセスメモリー又はリードオンリーメモリーの組み合わせであることに留意されたい）。オペレーション中には、本発明の様々な機能コンポーネントを実行するためのプログラム命令は、内部メモリ２０３に格納されている。プロセッサ２０２と内部メモリ２０３は、個別のコンポーネントでも単一の一体式デバイスでもよい。プロセッサ２０２と内部メモリ２０３は、本明細書中に記述する様々な処理機能を実行するための回路を含む。また、バス２０１には外部記憶装置２０７が連結されている。外部記憶装置２０７は、典型的には磁性又は光学ディスク記憶装置のような高容量記憶媒体である。
【００２２】
また、バス２０１にはディスプレイ２０４及びポインティングデバイス２０５も連結されている。この好適な実施の形態において、ポインティングデバイス２０５は、ペン駆動式のタッチセンシティブパネルであり、これは、タッチスクリーンディスプレイのようなディスプレイ２０４と一体化される。このようなタッチスクリーンディスプレイは、従来技術でよく知られており、ペンベースシステムのようなシステム中で、電子ホワイトボードシステム用に利用されている。しかし、ポインティングデバイス２０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよいために、ポインティングデバイス２０５とディスプレイ２０４は、一体化される必要はない。
【００２３】
図３は、本発明で使用可能なグラフィカルユーザインターフェースの特別な実施例を示す。図３を参照すると、グラフィカルユーザインターフェースはディスプレイ２０４上に表示され、タッチパネル２０５を通して対話されている。図示されるように、グラフィカルユーザインターフェースはワーク（作業）面を用いて、複数のアクセス可能機能３０１を使用してもよい。ワーク面３０２には、ユーザが様々なカーブ（曲線）を描写してもよい所、及び他のグラフィックオブジェクトが表示される所がある。アクセス可能機能３０１は、ディスプレイのボタン領域３０３に配置されている。機能３０１は、グラフィックオブジェクトを編集（作成、削除、移動、縮め等）、又はタッチパネル２０５の操作モードを変える（例えば、描写及びジェスチャーモードからの切り換え）ためのオペレーションを含んでもよい。
【００２４】
これらの機能は、代わりに、ウィンドウズ(Windows) 指向アプリケーションに一般に見られるプルダウンメニューでアクセスされてもよい。しかし、これらの機能は、指示が任意（オプション) であり、それらの主要な目的は、システムオペレーションに固有なオペレーションを定義することである。これらの機能は、ジェスチャーにより起動される同じ機能を実行してもよい。
【００２５】
本発明のこの好適な実施の形態は、グラフィカルユーザインタフェース(Graphical User Interface ; ＧＵＩ）を有するペンベースのシステムで実行される。このようなＧＵＩは、典型的には、グラフィックオブジェクトを選択／選択解除(deselecting) するための「タップ」、又はタップされるグラフィックオブジェクトと関連し得るオペレーションを起動するための「ダブルタップ」をサポートする。オブジェクトは、一度、選択されると、ワーク空間中の所望の位置にドラッグ及びドロップされる。
【００２６】
この好適な実施の形態のワーク空間は、グラフィックオブジェクトが他のグラフィックオブジェクトからほぼ独立するように自由形態を有し、また、グラフィックオブジェクトは任意構成を有してもよい。これは、ホワイトボードを使用する方法と一致している。しかし、ワーク面のユーザオペレーションを容易にするために、暗示構造（以下「構造」とする）の概念はサポートされている。この好適な実施の形態でサポートされている様々な種類の構造は、「Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System 」と題されて、本願の同じ譲受人に譲渡された、ＥＰＡ ０ ６６７ ５６７ Ａ２号に記述されている。概念的には、構造とは、特定の関係を有するグラフィックオブジェクトの集まり、例えば、項目リストである。構造オペレーションが生じると、項目間の関係は保持されている。例えば、項目をリストの中央に入力すると、その挿入場所の下の項目は、挿入項目用に空間を作るために下に動かされる。
【００２７】
本発明のこの好適な実施の形態は、適切なホワイトボードエミュレーションプログラムの制御下で実行されるLiveBoard のようなペンベースシステム用のＣ＋＋プログラム言語で、ソフトウェアプログラムとして実行された。
【００２８】
本発明により、グラフィックオブジェクトのグループを、その対応する囲いを変更することにより操作する様々な技法が可能になる。図４のフロー図は基本対話を示し、これによりこの好適な実施の形態のグラフィック入力システムにオペレーションが生じ得る。図４を参照すると、電子ホワイトボードの使用中に、ユーザは、１つ以上のグラフィックオブジェクトの周りにクローズドカーブ（閉曲線）を、例えば、ジェスチャー又はリンクにより、作成する（ステップ４０１）。これは、電子ホワイトボードの内容を編成又は再構成することにより起こる。ユーザが他のオペレーションを実行したり他のグラフィックオブジェクトを生成し得る時間の後で、ユーザはジェスチャーを作成する（ステップ４０２）。システムは、ジェスチャーの近くに置かれたグラフィックオブジェクトを調べる（ステップ４０３）。グラフィックオブジェクトのうちの１つがクローズドカーブであるかどうかを見るために、特定のチェックが行われる（ステップ４０４）。この好適な実施の形態では、これはグラフィックオブジェクトの形状をチェックすることにより行われる。しかしながら、例えば、フラグをグラフィックオブジェクトに取り付ける等、他の技法を使用して、クローズドカーブであることを示すことは、当業者には明白であろう。いずれにしても、グラフィックオブジェクトがクローズドカーブでない場合、ジェスチャーは非囲い（non-enclosure)オペレーションとして解釈される（ステップ４０８）。
【００２９】
グラフィックオブジェクトのうちの１つがクローズドカーブである場合、システムはジェスチャーのタイプ（ステップ４０５）を識別する。ジェスチャータイプは典型的には、ジェスチャーを作成するために使用されるペンストロークの形状及び位置によって識別できる。次に、ジェスチャーオペレーションが囲いに有効であるか否かの決定がなされる（ステップ４０６）。有効でない場合、そのジェスチャーは、非囲いオペレーションとして解釈される（ステップ４０８）。ジェスチャーが囲いのオペレーションに有効なものであると決定されると、クローズドカーブを囲いとして扱い、その対応する囲いオペレーションを実行する（ステップ４０７）。ジェスチャーにより起動される様々な囲いオペレーションを下記に記述する。
【００３０】
グラフィックオブジェクトを、それの囲いを再形状化することにより追加、又は囲いをフュージングすることによりグループから除去することができる。グループをコンテナアイコンと呼ばれる（脚注に類似している）代わりのグラフィックオブジェクトによって崩壊及び表現してもよい。この好適な実施の形態の特徴及び利点は、下記の記述で明白になる。
【００３１】
本発明の重要な概念は、残存的なグラフィックオブジェクトとしての囲いの概念である。従来技術と対比するために、選択囲いは、選択オペレーションが実行されている間だけ存在する一時的なグラフィックオブジェクトとする。複数のグラフィックオブジェクトを単一オペレーションで操作するためには、グラフィックオブジェクトの各々を、グループとして「選択」しなければならない。よって、グラフィックオブジェクトの選択が残存性になるようにグラフィックオブジェクトのセットをグループ化することはしばしば望ましい。従来技術に記述されたように、グループの中身を変更するための既知の技法には、不便である。
【００３２】
残存的グラフィックオブジェクトとしての囲いは、以下の特徴を有する。
− 囲いは、典型的にはインクストロークであるが、固定領域とその境界（例えばハイライト領域）を画定する、あらゆるグラフィックオブジェクトでもよい。
− 囲いがインクストロークである場合、それらはストロークの始まりがストロークの終りと「閉じ」られているループ形ストロークである。インクストロークはまた、多くのグラフィカルフューザインタフェースで見られる矩形生成オペレーションを用いて作成される矩形でもよい。
− 囲いの内側は、固定領域を画定する。よって、例えば、各領域は、（グラフィックオブジェクトにより表現される）項目リストを保持できる。
− 囲いを選択することが、グループ、即ち、囲いと囲いによる画定領域内のグラフィックオブジェクト、を選択する。
− 囲いは、グラフィックオブジェクトの関連する集合を削除せずに消去されてもよい、即ち、囲いは、まさに他のインクストロークと同様である。
− グラフィックオブジェクトを選択して、囲いによる画定領域中へ又はそこから移動することができる。
【００３３】
囲いがグラフィックオブジェクトであるために、グラフィックオブジェクトに実行できるオペレーション、例えば、消去、即ち、色又は厚み等の変化の「拭き取り(wiping)」を囲いに実行することができる。囲いに実行されるオペレーションは、グループに同じ影響を与える。グループにオペレートするために、一般に実行すべき第１のステップは、囲いを選択することである。選択は、図５及び図６に関して示される。図５は、「ＡＢＣ」５０１で表現され、囲い５０２で囲まれているグラフィックオブジェクトを示す。囲いとして認識されるように、囲いのエンドポイントは十分に接近していなければならない。この十分な近さは、表示領域の解像度及びストロークの厚みのようなパラメータに依存する。グラフィックオブジェクト５０１及び囲い５０２の選択は、囲い５０２上の「タップ」ジェスチャー５０３により指示される。図６を参照すると、囲い５０２は、囲まれたグラフィックオブジェクト５０１と一緒に選択されている。このことは、選択ループ６０１の表示で示されている。更に、囲い５０２及びグラフィックオブジェクト５０１はグループを構成する。この好適な実施の形態において、選択は、囲い上のタップジェスチャーによって達成されるが、選択技法（例えば、他のタイプのジェスチャー）を使用してもよい。
【００３４】
一度、グループが選択されると、グループ全体に影響を及ぼす他のオペレーションを実行できる。グループは、カラーの変更、グループの縮小又は拡張を、［例えば、ドラッギング又は右閉じくさび形（＞）ジェスチャーによって］移動、又は［例えば、左閉じくさび形（＜）ジェスチャーによって］コピーさせることができる。選択された囲いの中身に影響する他のオペレーションを以下に記述する。
【００３５】
囲い中身の変更は、単にオブジェクトを囲い中へ移動、又は囲い中から移動、オブジェクトを消去する等によって達成されてもよい。上述したように、ユーザは、囲いを変更してその形状を変更してもよい。囲いの形状を変えることは、グラフィックオブジェクトを追加又は除去するユーザにとって便利な技法を提供する。ユーザは、他のグラフィックオブジェクトを含むように囲いを変更することによって、若しくはグラフィックオブジェクトを囲い中に移動又は新しいグラフィックオブジェクトを囲い内に作成できるように囲いを大きくすることによって、グラフィックオブジェクトをグループに追加してもよい。除去されるべきグラフィクオブジェクトが囲いによる画定領域内に無くなるように、囲いを再形状化することによりユーザはグラフィックオブジェクトをグループから除去してもよい。
【００３６】
エンドポイントが囲いの２点と接触するペンクトロークにより、変更ジェスチャーを作成する。一般に、このシステムは、ペンストローク及びそのペンストロークがクローズドカーブ（即ち、囲い）の２点と接触したことを検出する。次に、ペンストロークは、ペンストロークが囲いに接触した場所に基づいてクローズドカーブの形状を変更する囲いジェスチャ−として扱われる。
【００３７】
図７及び図８には、グラフィックオブジェクトを囲いへ追加することが示されている。図７を参照すると、ペンストローク７０１は、第１ポイント７０２と第２ポイント７０３で囲い７０４と接触する。これにより、ペンストローク７０１は変更ジェスチャーとして扱われるようになり、それに従って囲い７０４が変更されるようになる。図７では、グラフィックオブジェクト「１２」７０５を、グループに追加するようになっている。次に、図８を参照すると、完成時に、元の囲い７０４の形状を有しながらペンストローク７０１の形状が「隆起（バンプ）」として追加される囲い８０１が作成されている。
【００３８】
図９及び図１０は、グラフィックオブジェクトを除去するための囲いの変更を示す。図９を参照すると、ペンストローク９０１は、第１ポイント９０２及び第２ポイント９０３で囲い９０４と接触する。上記のように、これによりペンストローク９０１が、変更ジェスチェーとして扱われるようになる。しかしながら、ここではペンストロークが囲い９０４による画定領域内にあることが決定さるので、その変更とは、領域の一部分を「切除」することである。次に図１０を参照すると、これはペンストローク９０１に対応する部分を除去する形状を取る新しい囲い１００１となる。これは、グラフィックオブジェクト１００２、即ち、英字「Ｃ」をグループから効果的に除去している。
【００３９】
グラフィックオブジェクトを除去する変更ジェスチャーの場合、囲いの部分についてなされるべき決定は、「切除」することである。この好適な実施の形態は、囲いの「最大」部分が保持されるべき部分であるというヒューリスティックでオペレートする。
【００４０】
囲いを分割することにより、２つの新しい囲いが作成され、元の囲いが除去される。例えば、リストを操作する場合、リストのサブリストだけを操作することがより適当であることが決定されることもある。分割ジェスチャーは、前後運動で作成されるペンストロークにより生じる。ペンストロークは、分割されるべき囲いによるで画定領域に含まれていた少なくとも部分であったことになる。分割ジェスチャーは、それがオペレーティングすることになる囲いを空間的に検出し、ジェスチャーのロケーションが分割ロケーションを指示するようにオペレートする。
【００４１】
図１１及び図１２は、分割ジェスチャーを用いて囲いを分割し、１つの囲いから２つの囲いを作成することを示す。図１１を参照すると、囲い１１０２による画定領域内にある分割ジェスチャー１１０１が描写されている。分割ジェスチャーによって、囲い１１０２がジュスチャーがほぼ生じた地点で分割されるようになる。これは、図１２に、囲い１２０１及び１２０２で示されている。
【００４２】
図１３及び図１４は、分割ジェスチャーが複数の囲いを横切るように実行されることにより、両方の囲いを分割できることを示す。図１３を参照すると、分割ジェスチャー１３０１は、囲い１３０２及び１３０３を横切る。次に、図１４を参照すると、囲い１４０１及び１４０２は囲い１３０２から作成され、また囲い１４０３及び１４０４は囲い１３０３から作成されている。
【００４３】
囲いをフュージングすることにより、フューズ囲いの中身が単一の囲いの下で組み合わされるようになる。フュージョンはそれが暗示的又は明示的であるように、実行可能である。図１５乃至図１７は暗示的フュージングの例を示す。図１５を参照すると、選択囲い１５０２は、それが囲い１５０１とオーバーラップ（重なる）ように移動される。その移動結果を図１６に示す。フュージングは図１７に示す。ここでは、囲い１５０１及び１５０２の各々の中身は、新たな囲い１７０１の領域内にある。囲い１７０１の形状は、重なった囲い１５０１及び１５０２の境界に対応する。
【００４４】
しかし、暗示的フュージングは望ましくない結果をもたらすことがある。例えば、囲いを移動している間に、それが偶然、他の囲いと重なるように配置されることがある。これにより、それらが偶然にフューズされることになると、囲いに分割するように要求するであろう。更に、グラフィカルユーザインターフェースのいくらかの使用の場合、例えばベン図(Venn Diagrams) を描写する等、重なるクローズドカーブを有することは望ましい。従って、明示的フュージングを、この好適な実施の形態ではデフォルト値として提供する。明示的フュージングでは、フュージングジェスチャー、ここでは、特定の位置にあるクローズドカーブ形状のペンストロークを使用して、囲いをフューズする。フュージングオペレーションは、フュージングジェスチャーが接触する囲いの各々に実行されることになる。
【００４５】
図１８及び図１９は、囲いが重なる時の明示的なフュージングの単純な例を示す。図１８を参照すると、囲い１８０１と１８０２が重なる。次に、フュージングループジェスチャー１８０３を実行する。その結果を図１９に示し、ここでは、囲い１８０１と１８０２の各々の中身は新たな囲い１９０１の領域内にある。囲い１９０１の形状は重なった囲い１８０１と１８０２の境界に対応する。
【００４６】
図２０及び図２１は、フュージングジェスチャーを用いて明示的フュージングを更に示す。図２０を参照すると、囲い２００２と２００３は重ならない。フュージングジェスチャー２００１は、囲い２００２と２００３の両方の境界に接触する。これは、図２１の囲い２１０１となる。得られた囲い２１０１の形状は、フュージングジェスチャー２００１がまるで囲い２００２と２００３を連結していたかのようにフュージングジェスチャー２００１の形状を帯びている。
【００４７】
囲いをフュージングするための更なる手段は、囲い間のリンクに関して下記に記述する。
【００４８】
リンクは、一つ以上の囲いの間にビジュアル連結を提供するために使われるインクストロークである。リンクは、以下の特徴を有する。
− リンクは、少なくとも１つの囲い（即ち、一端部）及び多くとも２つの囲いと関係する。囲いと関係するために、リンクのエンドポイント（終点）は、囲いに「接触」しなくてはならない。
− 囲いは、複数のリンクを有してもよい。
− 囲いを選択することによりそのリンクが強調（ハイライト）される。
− リンクは自由形式である、即ち、あらゆる形状とすることができる。
− 囲いと関係するリンクは残存性なので、それらは囲いの移動／拡大／又は縮小時に再形状化して接触を維持する。即ち、リンクにより与えられる囲い間の連結は常に保持されている。
−リンクは、リンクエンドポイントを選択して移動することにより変更可能である。
【００４９】
リンクを使用可能な１つの方法には、囲いをフュージングするためのものがある。明示的なフュージョンがフュージングジェスチャーを実行することにより行われるので、フュージングジェスチャーはリンクに接触する。これは、図２２及び図２３に示されている。図２２を参照すると、囲い２２０１及び２２０２はリンク２２０３によりリンクされている。リンク２２０３に接触するフュージングジェスチャー２２０４を実行する。その結果が、図２３の囲い２３０１である。囲い２３０１の形状はリンクに沿って２つの囲いを連結する形状である。囲いをフューズ後、リンク２２０３は除去されている。
【００５０】
図２４及び図２５は、囲いを移動する時の、囲い及び関連リンクの選択並びにリンクの再形状化を示す。図２４を参照すると、囲い２４０１は、リンク２４０４により囲い２４０２、及びリンク２４０５により囲い２４０３とリンクされている。囲い２４０２と２４０３はリンク２４０６によってリンクされている。また、囲い２４０３が選択されることにより、リンク２４０５と２４０６が選択されるようになっている。このことは、囲い２４０３及びリンク２４０５と２４０６の点線のアウトラインで示されている。図２５では、囲い２４０３を移動したことにより、リンク２４０５と２４０６が再形状化されるようになっている。明確に再形状化されたが、リンク２４０６がその基本的な形状特徴を維持したことに留意されたい。これは、固定位置としてリンクの静的エンドポイントを使用して、囲いを移動する場所に応じて再形状化リンクをスケール化及び／又はフリップする（はじく）再形状化技法により行われている。最終的に、囲いの移動時に、それぞれのリンクのエンドポイント２４０７及び２４０８が、それらの位置を、囲い２４０３上に維持することに留意されたい。
【００５１】
図２６及び図２７は、リンクエンドポイントの選択及び移動を示す。リンクエンドポイントの移動は、図が再構成、さもなければ変更される必要がある時に、望ましい。図２６を参照すると、リンク２４０４のエンドポイント２６０１が選択されている。ここではエンドポイント２６０１は囲い２４０２上にある。リンクエンドポイントの選択は、エンドポイント付近の点線の円で指示されている。一度、選択されると、エンドポイントは移動可能である。このような移動の結果を図２７に示す。図２７を参照すると、エンドポイント２６０１は囲い２４０３へ移動されている。
【００５２】
囲い同士間にリンクを設けることは、特に囲いを再配置する時に有用である。囲い同士間に視覚的関係を保持できると、それらが移動されても、グラフィックベースシステムを円滑に使用するのに役立つ。
【００５３】
リンクの囲いからの切り離しを、２つの方法の内の１つで達成することができる。まず、囲いを、リンクのエンドポイントにそれ以上「接触」しないように変更してもよい。あるいは、リンクのエンドポイントを、囲いにそれ以上接触しないように選択して移動してもよい。リンクの切り離しは、残存性を維持するためのヒューリスティックのためにリンクが囲いを横断するような望ましくない結果が生じる場合に、有用になり得る。
【００５４】
また、リンクを囲いへ同様の技法を使用して付けてもよい。まず、囲いを、それがリンクのエンドポイントと「接触」するように変更してもよい。第２番目に、リンクのエンドポイントを、それが囲いと接触するように選択して移動してもよい。
【００５５】
囲いを崩壊することは非常に有用な特徴であり、これにより、ディスプレイ上の空間が最適化されることが可能になる。囲いを崩壊することにより、囲い及びそれに含まれるオブジェクトがコンテナアイコンと置換される。この好適な実施の形態のコンテナアイコンは、バルーン（風船）形状であり、必要に応じて参照番号（又は他の識別シンボル）を表示してもよい。
【００５６】
コンテナアイコンはグラフィックオブジェクトの根本的グループを表すグラフィックオブジェクトである。従って、コンテナアイコンは移動、削除又はその属性の変更が可能である。コンテナアイコンの属性を変更すると、対応する変化がグラフィックオブジェクトの根本的グループに起こることになる。従って、例えばコンテナアイコンの色を変更すると、グラフィックオブジェクトの各々は、コンテナアイコンの色に変化する。当然ながら、属性変更がグラフィックオブジェクトの根本的グループまで流入しないように、このような特徴を「消す(turn-off)」」ことはできることは、当業者にとって明白になるであろう。
【００５７】
この好適な実施の形態では、（囲いがグループを識別して縮小するために非常に便利な手段を提供するが、）崩壊は、囲い及びその中身に限定されているわけではない。例えば、崩壊を、項目リストの選択サブセット又はグラフィックオブジェクトの自由形態選択に適用してもよい。
【００５８】
図２８は、グループを崩壊して、コンテナアイコンと置換するためのステップを示すフローチャートである。まず、ユーザは１つ以上のグラフィックオブジェクトを選択して、それらをグループとして扱わせる（ステップ２８０１）。これは、典型的には、囲いを選択することで実行されてもよい（この次に、囲いによる画定領域内の全グラフィックオブジェクトが選択されるようになる）。しかし、１つ以上のグラフィックオブジェクトをグループ化又は選択するためのあらゆる手段が使用可能である。次に、ユーザは、崩壊動作を実行する（ステップ２８０２）。上述したように、崩壊動作はバルーン形状のペンストロークでもよい。次に、システムは、ペンストロークを崩壊ジェスチャーとして識別して、グループが選択されていたか否かを決定する（ステップ２８０３）。当然ながら、グループが選択されていなかった場合、崩壊に関する指示がないので、崩壊は実行され得ない。次に、システムは、グラフィックオブジェクトのグループを「保存」する（ステップ２８０４）。これがあるので、グループを容易に拡張することができる。次に、システムはディスプレイからグラフィックオブジェクトのグループを除去して（ステップ２８０５）、コンテナアイコンを表示する（ステップ２８０６）。コンテナアイコンはグラフィックオブジェクトに類似し、即ち、それを移動、着色、消去等するここができる。コンテナアイコンに実行されるこのようなオペレーションは、全ての崩壊オブジェクトに同じ影響を及ぼす。コンテナアイコンが作成されるこの時点で、崩壊オブジェクトも「選択」され、従って、後続のあらゆるオペレーションをそれに実行してもよい。
【００５９】
必定に応じて、一度、グループが選択されると、システムはそのグループに参照番号を生成し、それをコンテナアイコン上に表示する。参照番号は、後でグループを参照するために使用される。これは、グループがエンドノートに非常に類似する異なるページに格納されることがあるためである。
【００６０】
コンテナアイコンが初期に表示されるロケーションは、囲いと関連する様々なファクタに依存する。囲いがリンクを有していない場合、コンテナアイコンは、囲いが占める領域のほぼ中心に表示される。これは、図２９及び図３０に示されている。
【００６１】
図２９を参照すると、囲い２９０１及び関連グラフィックオブジェクトは、グラフィックオブジェクト２９０２と２９０３との間に置かれている。囲い２９０１が選択されて、崩壊ジェスチャー２９０４を実行した。その結果を、図３０に示す。図３０を参照すると、得られたコンテナアイコン３００１は、先に囲い２９０１で定義した領域３００２の中央に置かれている。
【００６２】
また、崩壊が、自由形態により作成されるグループに実行されてもよいことに留意されたい。そのオペレーション及び結果は、リンクがない囲いについて上述したものと同一である。
【００６３】
囲いが、崩壊用に囲いと共に選択されたリンクを有する場合、コンテナアイコンは、そのステムを囲いに付いたリンクと置換するように表示される。これは、図３１及び図３２に示されている。図３１を参照すると、第１の囲い３１０１は、リンク３１０３により第２の囲い３１０２にリンクされている。この図では、囲い３１０２が選択された。選択囲い３１０２関する崩壊ジェスチャー３１０４が実行された。崩壊の結果は図３２に示す。図３２を参照すると、囲い３１０２及びその中身を表示するために、コンテナアイコン３２０１が作成された。
【００６４】
囲いがリスト構造中の項目のサブセットを定義する場合、コンテナアイコンは選択サブセットの上のリスト項目の最後に置かれる。これを、図３３及び図３４に示す。図３３を参照すると、ワーク面上にはリスト３３０１が表示されている。リストのサブセット３３０２が選択され、崩壊ジェスチャー３３０３をサブセット３３０２に実行した。その結果を図３４に示す。図３４を参照すると、コンテナアイコン３４０１は、サブセット３３０３を置換して、サブセット３３０３の上に位置したリスト項目３４０２の最後に付けられている。更に、リスト３４０３の残り部分を、サブセット３３０３の空になった空間を埋めるように上方へ移動した。このワーク空間領域の自動再生(automatic reclamation) は、リスト構造のオペレーションに対して実行されている。
【００６５】
崩壊の逆オペレーションでは、コンテナアイコンを拡張することができる。コンテナアイコンを、例えば「タブルタップ」オペレーションにより拡張すると、崩壊囲いが表示領域に復元されて、コンテナアイコンは除去される。図３５は、コンテナアイコンを拡張するためのステップを示すフローチャートである。先ず、ユーザは所望のコンテナアイコンに接近して拡張ジェスチャーを実行する（ステップ３５０１）。これは、典型的には「ダブルタップ」ジェスチャーにより行われる。次に、システムは拡張ジェスチャーを検出して（ステップ３５０２）グラフィックオブジェクトの関連グループを検索する（ステップ３５０３）。次に、システムはディスプレイからコンテナアイコンを除去し（ステップ３５０４）、システムはグラフィックオブジェクトの検索グループを表示する（ステップ３５０５）。拡張されるものが暗示的構造の部分である場合には、暗示的構造を維持するために、必要に応じて他のグラフィックオブジェクトを移動してもよい（ステップ３５０６）。
【００６６】
コンテナアイコンを拡張する場合、コンテナアイコンが広がるディスプレイ上の場所は、崩壊物に対応することになる。例えば、コンテナアイコンがリスト構造の部分である場合、拡張のためにリストの他の部分が移動するようになる。あるいは、コンテナアイコンの位置に関係して、直接、ワーク面上に適切に拡張してもよい。これは、ワーク面上に直接起きても、「オーバーレイ」としてワーク面上に起きてもよい。拡張がワーク面上に直接起こると、拡張は、ワーク面上の既存のグラフィックオブジェクトに上書きしてもよい。拡張がオーバーレイとして起こると、既存のグラフィックオブジェクトは閉塞されることがあるが、破壊はされはい。最終的に、拡張はリンクとして別の場所で起こることもある。このような拡張では、ワーク領域上の利用可能領域は、拡張が起こる場所で識別される。リンクは、拡張オペレーションを開始したコンテナアイコンのロケーションに作成される。
【００６７】
また、崩壊がネスト（入れ子）にされてもよいことも留意されたい。従って、例えば、アウトラインでは、サブヘッディング（小見出し）の一方のレベルは、サブヘッディングの別のレベルの中にネストされてもよい。これは、図３６及び図３７に関係して示されている。図３６は、リスト項目の崩壊サブセットを表すコンテナアイコン３６０２を有するリスト３６０１を示す。別のサブセットの選択３６０３は、コンテナアイコン３６０２を含む。崩壊ジェスチャー３６０４が実行され、その結果を図３７に示す。図３７を参照すると、図３６からのリスト項目の選択中身（内容）を表すコンテナアイコン３７０１が生成されている。このようなネスティングは他のタイプの構造、例えば、アウトライン等にも有利に適用され得る。
【００６８】
ネスティングは、リスト構造に限定されるわけではない。あらゆるタイプのグループ及びそれらの対応する囲いを表すコンテナアイコンを、ネストしてもよい。これは図３８及び図３９と関係して示されている。図３８を参照すると、囲い３８０１は、その中にコンテナアイコン３８０２を含む。コンテナアイコン３８０２は、事前に崩壊した囲い又他のタイプの選択を表現してもよい。また、囲い３８０１が自由形式選択でもよいとに留意されたい。また、囲い３８０１がリンク３８０５により囲い３８０４にリンクされることも留意されたい。崩壊動作は、コンテナアイコン３８０２に対して行われ、その結果を図３９に示す。図３９を参照すると、図３８の囲い３８０１の中身、及びコンテナアイコン３８０２で表現される中身を、表現するコンテナアイコン３９０１が生成されている。さらに、コンテナアイコン３９０１のステムは、囲い３８０４に連結されて、リンク３８０５を置換する。
【図面の簡単な説明】
【図１】（ａ）は本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｂ）も本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｃ）も本発明のこの好適な実施の形態を使用可能な概要の例を示す。
【図２】本発明のこの好適な実施の形態で使用可能なコンピュータベースのシステムのブロック図である。
【図３】ディスプレイに表示されて、図２のタッチセンシティブパネルを介してインタフェースされるような基本的なグラフィカルユーザインターフェースの表現である。
【図４】本発明のこの好適な実施の形態で利用可能なグラフィックベースシステムの基本ユーザインタフェースオペレーションを示すフロー図である。
【図５】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図６】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図７】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図８】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図９】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１０】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１１】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１２】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１３】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１４】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１５】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１６】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１７】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１８】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図１９】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図２０】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２１】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２２】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２３】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２４】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２５】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２６】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２７】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２８】本発明のこの好適な実施の形態で実行され得る、グループを崩壊して、それをコンテナアイコンと置換するためのステップを示すフローチャートである。
【図２９】本発明のこの好適な実施の形態で実行され得る、リンクのない選択囲いの崩壊を示す。
【図３０】本発明のこの好適な実施の形態で実行され得る、リンクのない選択囲いの崩壊を示す。
【図３１】本発明のこの好適な実施の形態で実行され得る、関連リンクを有する選択囲いの崩壊を示す。
【図３２】本発明のこの好適な実施の形態で実行され得る、関連リンクを有する選択囲いの崩壊を示す。
【図３３】本発明のこの好適な実施の形態で実行され得る、リスト構造中のリスト項目の選択サブセットの崩壊を示す。
【図３４】本発明のこの好適な実施の形態で実行され得る、リスト構造中のリスト項目の選択サブセットの崩壊を示す。
【図３５】本発明のこの好適な実施の形態で実行され得る、コンテナアイコンを拡張してそれが表すグラフィックオブジェクトを表示するためのステップを示すフローチャートである。
【図３６】本発明のこの好適な実施の形態で実行され得る、構造化リスト中の項目の崩壊サブセットのネスティングを示す。
【図３７】本発明のこの好適な実施の形態で実行され得る、構造化リスト中の項目の崩壊サブセットのネスティングを示す。
【図３８】本発明のこの好適な実施の形態で実行され得る、崩壊囲いのネスティングを示す。
【図３９】本発明のこの好適な実施の形態で実行され得る、崩壊囲いのネスティングを示す。
【符号の説明】
５０１ グラフィックオブジェクト
５０２ 囲い
５０３ タップジェスチャー
Claims (5)
- グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含むグラフィックベースコンピュータシステムにおいて、前記入力手段による前記ディスプレイに対する入力ストロークで生成されるグラフィックオブジェクトのグループをコンテナアイコンで表現するための方法であって、前記システムが、
（ａ） ユーザによる、少なくとも１つのグラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトの選択を識別することであって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有し、
（ｂ） 前記ユーザによる前記囲いグラフィックオブジェクトにより選択されたグラフィックオブジェクトのグループへの置換動作の実行を識別し、
（ｃ） 前記システムが、
（ｃ１） 前記選択されたグラフィックオブジェクトのグループのコピーを格納し、
（ｃ２） 前記選択されたグラフィックオブジェクトのグループを前記ディスプレイから除去し、
（ｃ３） 前記選択されたグラフィックオブジェクトのグループを表現するコンテナアイコンを表示すること、
を実行することにより、前記選択されたグラフィックオブジェクトのグループをコンテナアイコンに置き換えるステップを含み、
前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンは前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示され、
前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする、
グラフィックオブジェクトのグループの表現方法。 - グラフィックオブジェクトを生成するための入力手段、及び前記入力手段により生成されたグラフィックオブジェクトを表示するディスプレイを含み、前記グラフィックオブジェクトが前記入力手段による前記ディスプレイに対する入力ストロークで生成される、コンピュータ制御グラフィックディスプレイシステムであって、
グラフィックオブジェクトのグループを含む囲いグラフィックオブジェクトを選択するための手段であって、前記囲いグラフィックオブジェクトはディスプレイ上の連続した領域を占有する、選択するための手段と、
前記囲いグラフィックオブジェクトにより選択されたグラッフィックオブジェクトのグループをコンテナアイコンと置換するための手段と、
コンテナアイコンを拡張して、元のグラフィックオブジェクトのグループを表示するための手段と、を有し、
前記置換するための手段は、前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含まない場合、前記コンテナアイコンを前記囲いグラフィックオブジェクトが占有していた連続領域の略中心に表示し、
前記囲いグラフィックオブジェクトが他の囲いグラフィックオブジェクトへのリンクを含む場合、さらに前記リンクをステムと置き換えることを特徴とする、
コンピュータ制御グラフィックディスプレイシステム。 - ユーザによる前記コンテナアイコンに対する、移動、削除、及び属性の変更のうちの少なくとも１つの動作の実行を識別し、
前記動作に対応する動作を、前記コンテナアイコンにより表現されるグラフィックオブジェクトのグループに含まれる各グラフィックオブジェクトに対して実行する、ことをさらに含む、請求項１に記載の方法。 - 前記グラフィックオブジェクトのグループは他のグラフィックオブジェクトのグループ内で入れ子状に選択されることができ、前記入れ子状に選択されたグラフィックオブジェクトのグループの各々が前記コンテナアイコンにより表現される、請求項１に記載の方法。
- 前記グラフィックオブジェクトがリスト構造を有する複数のグラフィックオブジェクトであり、前記グラフィックオブジェクトのグループが、前記リスト構造におけるリスト項目のサブセットとして選択される、請求項１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US670967 | 1996-06-26 | ||
| US08/670,967 US5784061A (en) | 1996-06-26 | 1996-06-26 | Method and apparatus for collapsing and expanding selected regions on a work space of a computer controlled display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1063462A JPH1063462A (ja) | 1998-03-06 |
| JP3973263B2 true JP3973263B2 (ja) | 2007-09-12 |
Family
ID=24692623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16314597A Expired - Lifetime JP3973263B2 (ja) | 1996-06-26 | 1997-06-19 | グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5784061A (ja) |
| EP (1) | EP0816999B1 (ja) |
| JP (1) | JP3973263B2 (ja) |
| DE (1) | DE69732547T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12182505B1 (en) | 2021-06-10 | 2024-12-31 | Asana, Inc. | Systems and methods to provide user-generated project-level graphical user interfaces within a collaboration environment |
| US12282898B2 (en) | 2020-07-21 | 2025-04-22 | Asana, Inc. | Systems and methods to facilitate user engagement with units of work assigned within a collaboration environment |
| US12299638B2 (en) | 2021-04-14 | 2025-05-13 | Asana, Inc. | Systems and methods to facilitate interaction with a collaboration environment based on assignment of project-level roles |
| US12412156B1 (en) * | 2022-07-21 | 2025-09-09 | Asana, Inc. | Systems and methods to characterize work unit records of a collaboration environment based on freeform arrangement of visual content items |
| US12536503B1 (en) | 2021-12-06 | 2026-01-27 | Asana, Inc. | Systems and methods to track and present navigation through records of a collaboration environment |
Families Citing this family (108)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US5889523A (en) * | 1997-11-25 | 1999-03-30 | Fuji Xerox Co., Ltd. | Method and apparatus for dynamically grouping a plurality of graphic objects |
| US6018346A (en) * | 1998-01-12 | 2000-01-25 | Xerox Corporation | Freeform graphics system having meeting objects for supporting meeting objectives |
| US6377288B1 (en) | 1998-01-12 | 2002-04-23 | Xerox Corporation | Domain objects having computed attribute values for use in a freeform graphics system |
| US6509912B1 (en) * | 1998-01-12 | 2003-01-21 | Xerox Corporation | Domain objects for use in a freeform graphics system |
| CA2267733A1 (en) * | 1998-04-06 | 1999-10-06 | Smart Technologies, Inc. | Method for editing objects representing writing on an electronic writeboard |
| US6559864B1 (en) | 1998-11-19 | 2003-05-06 | X-Net Associates, Inc. | Method and system for displaying and providing access to data on a monitor |
| US6952803B1 (en) * | 1998-12-29 | 2005-10-04 | Xerox Corporation | Method and system for transcribing and editing using a structured freeform editor |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US6456296B1 (en) * | 1999-05-28 | 2002-09-24 | Sony Corporation | Color scheme for zooming graphical user interface |
| US6915484B1 (en) * | 2000-08-09 | 2005-07-05 | Adobe Systems Incorporated | Text reflow in a structured document |
| US7552139B2 (en) * | 2001-03-19 | 2009-06-23 | Xerox Corporation | Represented object groups |
| US20020152240A1 (en) * | 2001-04-16 | 2002-10-17 | Parascript Llc | Insertion of space in a geometric document |
| US6903751B2 (en) | 2002-03-22 | 2005-06-07 | Xerox Corporation | System and method for editing electronic images |
| US7360156B1 (en) * | 2002-10-09 | 2008-04-15 | Microsoft Corporation | Method and system for performing actions on content in a region within a free form two-dimensional workspace |
| US7554530B2 (en) * | 2002-12-23 | 2009-06-30 | Nokia Corporation | Touch screen user interface featuring stroke-based object selection and functional object activation |
| US7218330B1 (en) * | 2003-01-07 | 2007-05-15 | Microsoft Corporation | Method and system for selecting elements in a graphical user interface |
| US7461354B2 (en) * | 2003-03-18 | 2008-12-02 | International Business Machines Corporation | System and method for consolidating associated buttons into easily accessible groups |
| US20050125736A1 (en) * | 2003-12-09 | 2005-06-09 | International Business Machines Corporation | Personalized desktop workspace icon organizer |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| KR100703690B1 (ko) * | 2004-11-19 | 2007-04-05 | 삼성전자주식회사 | 스킨 이미지를 사용하여 아이콘을 그룹별로 관리하는사용자 인터페이스 및 방법 |
| USD528549S1 (en) * | 2005-04-11 | 2006-09-19 | Microsoft Corporation | Transitional image for a portion of a display screen |
| USD529506S1 (en) * | 2005-04-11 | 2006-10-03 | Microsoft Corporation | Image for a portion of a display screen |
| US7503009B2 (en) * | 2005-12-29 | 2009-03-10 | Sap Ag | Multifunctional icon in icon-driven computer system |
| KR100672605B1 (ko) * | 2006-03-30 | 2007-01-24 | 엘지전자 주식회사 | 아이템 선택 방법 및 이를 위한 단말기 |
| JP4821000B2 (ja) * | 2006-06-06 | 2011-11-24 | 国立大学法人 東京大学 | オブジェクト表示処理装置、オブジェクト表示処理方法、およびオブジェクト表示処理用プログラム |
| US8106856B2 (en) | 2006-09-06 | 2012-01-31 | Apple Inc. | Portable electronic device for photo management |
| US8898701B2 (en) * | 2006-12-29 | 2014-11-25 | Verizon Patent And Licensing Inc. | Method and system for providing attribute browsing of video assets |
| US9817436B2 (en) * | 2007-01-07 | 2017-11-14 | Apple Inc. | Portable multifunction device, method, and graphical user interface for displaying user interface objects adaptively |
| US7979809B2 (en) * | 2007-05-11 | 2011-07-12 | Microsoft Corporation | Gestured movement of object to display edge |
| EP2243071A4 (en) * | 2008-01-09 | 2012-10-31 | Smart Technologies Ulc | COORDINATION AND HANDLING OF MULTI-PAGE ELECTRONIC DOCUMENTS |
| JP4533943B2 (ja) * | 2008-04-28 | 2010-09-01 | 株式会社東芝 | 情報処理装置、表示制御方法およびプログラム |
| JP5161690B2 (ja) * | 2008-07-31 | 2013-03-13 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| JP4577428B2 (ja) * | 2008-08-11 | 2010-11-10 | ソニー株式会社 | 表示装置、表示方法及びプログラム |
| USD620949S1 (en) * | 2008-09-03 | 2010-08-03 | Smart Technologies Ulc | User interface for a display screen |
| KR101586627B1 (ko) * | 2008-10-06 | 2016-01-19 | 삼성전자주식회사 | 멀티 터치를 이용한 리스트 관리 방법 및 장치 |
| US9760234B2 (en) * | 2008-10-14 | 2017-09-12 | International Business Machines Corporation | Desktop icon management and grouping using desktop containers |
| US8490026B2 (en) * | 2008-10-27 | 2013-07-16 | Microsoft Corporation | Painting user controls |
| US8407606B1 (en) | 2009-01-02 | 2013-03-26 | Perceptive Pixel Inc. | Allocating control among inputs concurrently engaging an object displayed on a multi-touch device |
| WO2010096193A2 (en) | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Identifying a document by performing spectral analysis on the contents of the document |
| US9229615B2 (en) * | 2009-02-23 | 2016-01-05 | Nokia Technologies Oy | Method and apparatus for displaying additional information items |
| US20100229129A1 (en) * | 2009-03-04 | 2010-09-09 | Microsoft Corporation | Creating organizational containers on a graphical user interface |
| WO2010105244A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US8661033B2 (en) * | 2009-03-31 | 2014-02-25 | Innography, Inc. | System to provide search results via a user-configurable table |
| US20100257462A1 (en) * | 2009-04-01 | 2010-10-07 | Avaya Inc | Interpretation of gestures to provide visual queues |
| US20100281435A1 (en) * | 2009-04-30 | 2010-11-04 | At&T Intellectual Property I, L.P. | System and method for multimodal interaction using robust gesture processing |
| US8669945B2 (en) * | 2009-05-07 | 2014-03-11 | Microsoft Corporation | Changing of list views on mobile device |
| JP5141984B2 (ja) * | 2009-05-11 | 2013-02-13 | ソニー株式会社 | 情報処理装置および方法 |
| US20100313239A1 (en) * | 2009-06-09 | 2010-12-09 | International Business Machines Corporation | Automated access control for rendered output |
| US20110087999A1 (en) * | 2009-09-30 | 2011-04-14 | International Business Machines Corporation | Set definition in data processing systems |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US8698762B2 (en) | 2010-01-06 | 2014-04-15 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
| US9235341B2 (en) | 2010-01-20 | 2016-01-12 | Nokia Technologies Oy | User input |
| US8261213B2 (en) | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
| WO2011134046A1 (en) | 2010-04-26 | 2011-11-03 | Smart Technologies Ulc | Method for handling objects representing annotations on an interactive input system and interactive input system executing the method |
| KR101651134B1 (ko) | 2010-06-24 | 2016-08-29 | 엘지전자 주식회사 | 이동 단말기 및 이것의 그룹 동작 제어 방법 |
| US20120096354A1 (en) * | 2010-10-14 | 2012-04-19 | Park Seungyong | Mobile terminal and control method thereof |
| JP6065353B2 (ja) * | 2011-06-08 | 2017-01-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN103597432A (zh) * | 2011-06-08 | 2014-02-19 | 索尼公司 | 信息处理装置、信息处理方法以及计算机程序产品 |
| JP5849502B2 (ja) | 2011-08-01 | 2016-01-27 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US9514717B2 (en) | 2011-09-26 | 2016-12-06 | Nokia Technology Oy | Method and apparatus for rendering items in a user interface |
| US20130080950A1 (en) * | 2011-09-27 | 2013-03-28 | International Business Machines Corporation | Incrementally self-organizing workspace |
| EP2820576A4 (en) | 2012-02-29 | 2015-11-18 | Nokia Technologies Oy | METHOD AND DEVICE FOR PRESENTING OBJECTS AT A USER INTERFACE |
| US20130246975A1 (en) * | 2012-03-15 | 2013-09-19 | Chandar Kumar Oddiraju | Gesture group selection |
| US9400592B2 (en) | 2012-03-26 | 2016-07-26 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for digital-marking-surface space and display management |
| US20140059496A1 (en) * | 2012-08-23 | 2014-02-27 | Oracle International Corporation | Unified mobile approvals application including card display |
| JP6025482B2 (ja) * | 2012-09-28 | 2016-11-16 | 富士ゼロックス株式会社 | 表示制御装置、画像表示装置、およびプログラム |
| JP5977132B2 (ja) * | 2012-09-28 | 2016-08-24 | 富士ゼロックス株式会社 | 表示制御装置、画像表示装置、およびプログラム |
| US9348486B2 (en) * | 2012-10-02 | 2016-05-24 | Blackberry Limited | Method and device for performing visual set operations to modify and generate lists |
| US9589538B2 (en) * | 2012-10-17 | 2017-03-07 | Perceptive Pixel, Inc. | Controlling virtual objects |
| KR20140070040A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | 터치스크린 상에 표시되는 복수의 객체들을 관리하는 장치 및 방법 |
| KR101483611B1 (ko) * | 2013-05-13 | 2015-01-21 | 주식회사 브이플랩 | 이미지에서 객체를 추출하기 위한 방법 및 단말기 |
| US10331777B2 (en) | 2013-12-31 | 2019-06-25 | Barnes & Noble College Booksellers, Llc | Merging annotations of paginated digital content |
| US9792272B2 (en) * | 2013-12-31 | 2017-10-17 | Barnes & Noble College Booksellers, Llc | Deleting annotations of paginated digital content |
| JP6158749B2 (ja) * | 2014-05-09 | 2017-07-05 | 日本電信電話株式会社 | 関係性提示装置及び関係性提示プログラム |
| EP3190500A4 (en) * | 2014-09-05 | 2018-04-25 | NEC Solution Innovators, Ltd. | Object management device, brainstorming assistance device, object management method, and computer-readable recording medium |
| DK201670609A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | User interfaces for retrieving contextually relevant media content |
| AU2017100670C4 (en) | 2016-06-12 | 2019-11-21 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US20170357644A1 (en) | 2016-06-12 | 2017-12-14 | Apple Inc. | Notable moments in a collection of digital assets |
| JP6410900B2 (ja) * | 2017-08-28 | 2018-10-24 | 富士ゼロックス株式会社 | 表示制御装置、画像表示装置、およびプログラム |
| US11243996B2 (en) | 2018-05-07 | 2022-02-08 | Apple Inc. | Digital asset search user interface |
| DK180171B1 (en) | 2018-05-07 | 2020-07-14 | Apple Inc | USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT |
| US11086935B2 (en) | 2018-05-07 | 2021-08-10 | Apple Inc. | Smart updates from historical database changes |
| US10803135B2 (en) | 2018-09-11 | 2020-10-13 | Apple Inc. | Techniques for disambiguating clustered occurrence identifiers |
| US10846343B2 (en) | 2018-09-11 | 2020-11-24 | Apple Inc. | Techniques for disambiguating clustered location identifiers |
| DK201970535A1 (en) | 2019-05-06 | 2020-12-21 | Apple Inc | Media browsing user interface with intelligently selected representative media items |
| US11074408B2 (en) | 2019-06-01 | 2021-07-27 | Apple Inc. | Mail application features |
| US12125154B1 (en) * | 2021-08-31 | 2024-10-22 | United Services Automobile Association (Usaa) | Collaborative note sharing using extended reality |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
| US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
| US5404442A (en) * | 1992-11-30 | 1995-04-04 | Apple Computer, Inc. | Visible clipboard for graphical computer environments |
| US5544302A (en) * | 1993-06-03 | 1996-08-06 | Taligent, Inc. | Object-oriented framework for creating and using container objects with built-in properties |
| US5583984A (en) * | 1993-06-11 | 1996-12-10 | Apple Computer, Inc. | Computer system with graphical user interface including automated enclosures |
| US5485565A (en) * | 1993-08-04 | 1996-01-16 | Xerox Corporation | Gestural indicators for selecting graphic objects |
| US5583946A (en) * | 1993-09-30 | 1996-12-10 | Apple Computer, Inc. | Method and apparatus for recognizing gestures on a computer system |
| US5592608A (en) * | 1993-10-15 | 1997-01-07 | Xerox Corporation | Interactively producing indices into image and gesture-based data using unrecognized graphical objects |
| US5568639A (en) * | 1993-11-24 | 1996-10-22 | Menai Corporation | Method and apparatus for providing an object-oriented file structuring system on a computer |
| US5619637A (en) * | 1993-12-02 | 1997-04-08 | International Business Machines Corporation | Method and system for automatic storage of an object within a container object within a graphical user interface within a data processing system |
| EP0667567B1 (en) * | 1993-12-30 | 2001-10-17 | Xerox Corporation | Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables, and diagrams in a gesture-based input system and editing system |
| US5509114A (en) * | 1993-12-30 | 1996-04-16 | Xerox Corporation | Method and apparatus for correcting and/or aborting command gestures in a gesture based input system |
| US5471578A (en) * | 1993-12-30 | 1995-11-28 | Xerox Corporation | Apparatus and method for altering enclosure selections in a gesture based input system |
-
1996
- 1996-06-26 US US08/670,967 patent/US5784061A/en not_active Expired - Lifetime
-
1997
- 1997-06-19 JP JP16314597A patent/JP3973263B2/ja not_active Expired - Lifetime
- 1997-06-25 EP EP97304461A patent/EP0816999B1/en not_active Expired - Lifetime
- 1997-06-25 DE DE69732547T patent/DE69732547T2/de not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12282898B2 (en) | 2020-07-21 | 2025-04-22 | Asana, Inc. | Systems and methods to facilitate user engagement with units of work assigned within a collaboration environment |
| US12299638B2 (en) | 2021-04-14 | 2025-05-13 | Asana, Inc. | Systems and methods to facilitate interaction with a collaboration environment based on assignment of project-level roles |
| US12182505B1 (en) | 2021-06-10 | 2024-12-31 | Asana, Inc. | Systems and methods to provide user-generated project-level graphical user interfaces within a collaboration environment |
| US12536503B1 (en) | 2021-12-06 | 2026-01-27 | Asana, Inc. | Systems and methods to track and present navigation through records of a collaboration environment |
| US12412156B1 (en) * | 2022-07-21 | 2025-09-09 | Asana, Inc. | Systems and methods to characterize work unit records of a collaboration environment based on freeform arrangement of visual content items |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0816999B1 (en) | 2005-02-23 |
| EP0816999A2 (en) | 1998-01-07 |
| EP0816999A3 (en) | 1998-01-14 |
| JPH1063462A (ja) | 1998-03-06 |
| US5784061A (en) | 1998-07-21 |
| DE69732547D1 (de) | 2005-03-31 |
| DE69732547T2 (de) | 2005-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3973263B2 (ja) | グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム | |
| JP4602487B2 (ja) | グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム | |
| JP4616424B2 (ja) | コンピュータ表示画面上におけるメニュー項目の表示方法 | |
| US7185274B1 (en) | Computer user interface architecture wherein users interact with both content and user interface by activating links | |
| US6820111B1 (en) | Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history | |
| US7458014B1 (en) | Computer user interface architecture wherein both content and user interface are composed of documents with links | |
| US9552141B2 (en) | Methods and apparatuses for operating a data processing system | |
| US6753888B2 (en) | Display interface method and apparatus, and a computer-readable storage storing a program, for controlling a computer to perform displaying a plurality of objects and performing an operation for duplicating or moving at least one of the objects | |
| JP5043748B2 (ja) | コンテンツ管理装置、コンテンツ管理装置の制御方法、プログラム及び記録媒体 | |
| JP3849880B2 (ja) | 複合文書におけるコンピュータ／ヒューマンインタフェースシステム | |
| US6104401A (en) | Link filters | |
| KR970008545B1 (ko) | 객체 생성 그래픽 방법 | |
| US7068288B1 (en) | System and method for moving graphical objects on a computer controlled system | |
| JP3992788B2 (ja) | コンピュータ制御ディスプレイシステム | |
| JP7756438B2 (ja) | データコレクション管理タスクのために検索ツリーを利用しデータ項目にタグ付けするためのシステムおよび方法 | |
| US20150242106A1 (en) | Navigating a Hierarchical Data Set | |
| JPH0786820B2 (ja) | 表示システムオブジェクトを共有する複数作業域によるユーザインタフェース | |
| JPH10105364A (ja) | コンピュータ制御ディスプレイシステムの操作方法及びコンピュータ制御ディスプレイシステム | |
| JP2003303047A (ja) | 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品 | |
| JP2011048835A (ja) | 一元管理及びアクセス提供用ユーザインタフェース | |
| JP2003330733A (ja) | 情報仮置き場管理方法、情報仮置き場管理装置、画像形成装置、プログラム及び記憶媒体 | |
| JP7423953B2 (ja) | 情報処理装置及び情報処理プログラム | |
| WO2014103357A1 (ja) | 電子機器および入力方法 | |
| JPH08212038A (ja) | 一覧画面の表示処理方法 | |
| JPH0268654A (ja) | 文書処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070529 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070612 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |