JPH1063462A - グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム - Google Patents

グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム

Info

Publication number
JPH1063462A
JPH1063462A JP16314597A JP16314597A JPH1063462A JP H1063462 A JPH1063462 A JP H1063462A JP 16314597 A JP16314597 A JP 16314597A JP 16314597 A JP16314597 A JP 16314597A JP H1063462 A JPH1063462 A JP H1063462A
Authority
JP
Japan
Prior art keywords
enclosure
graphic
group
gesture
graphic objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP16314597A
Other languages
English (en)
Other versions
JP3973263B2 (ja
Inventor
Thomas P Moran
ピー．モラン トーマス
Patrick Chiu
チウ パトリック
Melle William J Van
ジェイ．ヴァン メル ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH1063462A publication Critical patent/JPH1063462A/ja
Application granted granted Critical
Publication of JP3973263B2 publication Critical patent/JP3973263B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

(57)【要約】 【課題】 コンピュータ制御グラフィックディスプレイ
システム上の表示領域を最大使用するように、グラフィ
ックオブジェクトのグループを表現するための方法及び
装置を提供する。 【解決手段】 ユーザは１つ以上のグラフィックオブジ
ェクトを選択して、それらをグループとして扱わせる
(2801) 。これは、典型的には囲いを選択することで実
行される。次に、ユーザは、崩壊動作を実行する (280
2) 。システムは、ペンストロークを崩壊ジェスチャー
として識別して、グループが選択されていたか否かを決
定する (2803) 。次に、システムは、グラフィックオブ
ジェクトのグループを「保存」する (2804) 。これで、
グループを容易に拡張することができる。次に、システ
ムはディスプレイからグラフィックオブジェクトのグル
ープを除去して (2805) 、コンテナアイコンを表示する
(2806) 。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、グラフィックベー
スコンピュータシステムにおけるオペレーティングの分
野に関し、更に詳細には、前記グラフィックベースコン
ピュータシステム中に表示されるグラフィックオブジェ
クトを集めて定義することに関する。
【０００２】
【従来技術及び発明が解決しようとする課題】ペンベー
スシステム及び「電子ホワイトボード(electronic whit
eboard) 」［例えば、ゼロックス社(Xerox Corporatio
n) の部門、"Liveworks" から入手可能な"liveBoard"
（商標）］のようなコンピュータベースシステムは、ペ
ン、スタイラス又はカーソル制御デバイスのような入力
デバイスの利用に基づいたグラフィカルユーザインター
フェースを提供する。このようなシステムにおいて、
「ディスプレイ」は、データを示すための手段及び入力
媒体の両方として働く。グラフィックオブジェクトは、
ディスプレイ上に、入力デバイスを用いて作成するペン
ストロークによって「描写」されてもよい。グラフィッ
クオブジェクトは、ワード（語）、図、又は表示できる
あらゆるものを表現してもよい。次に、様々なオペレー
ションを、ジェスチャーとして知られている入力技法を
用いてグラフィックオブジェクトに対して実行すること
ができる。ジェスチャーは、自身が命令として解釈され
る単にペンストロークである。ペンストロークが残存的
（persistent, 持続的) グラフィックオブジェクトを作
成するか、又はペンストロークがジェスチャーとして扱
われると、このようなシステムは、識別するためにオペ
レーションの描写モード及びオペレーションのジェスチ
ャーモードを有することになる。
【０００３】LiveBoard のような電子ホワイトボード
は、典型的には、ミーティングのような共同アクティビ
ティと関連して使われる。それを使用して、リストや図
等を表現するグラフィックオブジェクトが描写される。
このようなシステムに対する共通オペレーションは、ユ
ーザがグラフィックオブジェクトをグループ化すること
であり、オペレーションを、オブジェクトに一つのグル
ープ化ユニット（単位）として適用することができる
（例えば、オブジェクトをグループで移動して、そのグ
ループのメンバ間に空間オリエンテーションを保持す
る）。そのようなオペレーションは、所望のグラフィッ
クオブジェクトを取り囲んで、グループ化オペレーショ
ンを実行するような選択ジェスチャーによって実行され
てもよい。ユーザは、例えば、オブジェクトをグループ
化せずに、それらに個別にオペレート（動作）する、オ
ブジェクトを加える又はオブジェクトをグループから引
く等、後でグループを変更したいことがあるかもしれな
い。典型的なグラフィカルユーザインターフェースで
は、このようなグループ化オペレーションは、ユーザが
グループを選択して、「 Ungroup（グループ解消）」コ
マンドを与え、所望のオブジェクトを再選択して、次に
所望のグラフィックオブジェクトに「Group （グループ
化）」コマンドを与えることにより達成される。ミーテ
ィングのような動的（ダイナミック）設定で実行される
場合、このようなステップは不便である。従って、この
ようなシステムでは、グラフィックオブジェクトのグル
ープを簡単に変更できる技法に対する要求がある。
【０００４】「Apparatus and Method For Altering En
closure Selections In A GestureBased Input Syste
m」と題され、本願と同じ譲受人に譲渡された米国特許
第５，４７１，５７８号（以下、’５７８号と記す）
は、ユーザが全ジェスチャーを書き直す必要なく、選択
ジェスチャーを変更することが可能になるグラフィカル
編集システムを説明する。変更できる、即ち、ユーザが
囲いサイズを拡張又は縮小可能な一組の後続ジェスチャ
ーにより再形状化できる、一次的な(ephemeral) グラフ
ィックオブジェクトとして処理される囲いを用いて、シ
ステムは選択を画定する。これらの変更ジェスチャー
は、囲いの指定したポイント（点）又は部分を始動させ
てその形状を制御する。選択囲いを描写する場合、選択
囲いに変更ジェスチャーとして関係するそれのロケーシ
ョン（位置）で検出されるラインセグメントを描写する
ことにより追加データを含むか又は除外して、既存の囲
いを再形状化してラインセグメントを含むことができ
る。
【０００５】残念ながら、一度、選択が行われると、’
５７８号の特許の発明を直接的に使用してグラフィック
オブジェクトのグループを変更することはできない。こ
れは、選択囲いが、選択が存在している間に存在するだ
けの一時的なグラフィックオブジェクトであるためであ
る。
【０００６】グループによるオペレーティングについて
の他の欠点は、選択不足、即ち、グラフィックオブジェ
クトをグループとして扱うことができるという視覚的な
指示がないというとである。グラフィックオブジェクト
のグループ化を示し、邪魔にならず直観的な手段を提供
することは望ましい。
【０００７】従って、視覚的に明白で残存性であるグラ
フィックオブジェクトのグループと対話するための手段
に対する要求がある。
【０００８】このようなグラフィカルユーザインターフ
ェースの別の望ましい能力は、グループ間に残存的ビジ
ュアルリンクを提供できることである。従って、例え
ば、フローチャート又は状態図のような図で作業する場
合に、図を変更するか、又は移動することができる。リ
ンクを残存性にすることで、図の更新処理及び編集を単
純化できる。
【０００９】グラフィカルユーザインターフェースの更
に別の制約は、限られた表示領域である。幾つかのシス
テム、例えば、前述の「LiveBoard 」システムでは、よ
り多くの「未記録(unwritten) 」領域を得るために、
「スクロール可能(scrollable)」なこともあるが、既に
書き込まれているある種の情報を単に「隠す」か又は崩
壊する(collapse)ことがより望ましい場合もある。この
隠された情報は、所望されると、後で呼び戻せてもよ
い。オブジェクトは、書き込みに使用可能なより多くの
情報空間を有するべきである。例えば、リストをプライ
オライズする（順位を付けて並べる）場合、そのリスト
の一部分が固定されると、それを隠すことができ、リス
トに載っているより多くの項目（アイテム）をスクロー
ル（画面移動）する必要なく表示できる。
【００１０】情報を一時的に「隠す」ための様々な手段
は、従来技術で既知である。テキスト編集システムで
は、テキストの様々なラインは、隠されて、点線又はい
くつかの他のシンボルによって表現されてもよい。グラ
フィカルユーザインターフェースを有するシステムで
は、アイコンを使用して「ファイル」、ドキュメント又
はアプリケーションを表現してもよい。他のシステム
は、画像の詳細なレベルを修正できる「ズーミング(zoo
ming) 」を備える。フローチャーティングアプリケーシ
ョンにより、選択時にフローチャートの「オフ−ペー
ジ」部分が表示されるようになっている「オフ−ペー
ジ」指示子が可能になる。
【００１１】しかしならが、前述のアプローチのどれ
も、自由形態のグラフィカルユーザインターフェースを
有するコンピュータシステムにおける要求事項に、特に
適用することはできない。従って、グラフィックオリエ
ンテッドシステムに於ける表示情報を隠す又は崩壊する
ことができ、次いで、拡張してそれが表現する全情報を
表すことができる手段を有すことは望ましい。
【００１２】
【課題を解決するための手段】請求項１に記載の発明
は、コンテナアイコンを有するグラフィックオブジェク
トのグループをグラフィックベースコンピュータシステ
ムで表現するための方法であって、前記コンテナアイコ
ンは、前記グラフィックオブジェクトのグループに対す
る基準として動作し：（ａ）ユーザにより前記グラフィ
ックオブジェクトが選択されるステップを有し；（ｂ）
前記ユーザが崩壊動作を前記選択グラフィックオブジェ
クトに実行するステップを有し；（ｃ）前記システム
が、（ｃ１）コンテナアイコンにより表現されるべき前
記グラフィックオブジェクトのコピーを格納するサブス
テップと、（ｃ２）コンテナアイコンにより表現される
べき前記グラフィックオブジェクトを前記ディスプレイ
から除去するサブステップと、（ｃ３）コンテナアイコ
ンにより表現されるべき前記選択グラフィックオブジェ
クトを表現するコンテナアイコンを表示するサブステッ
プと、を実行することにより、前記選択グラフィックオ
ブジェクトを崩壊するステップを有する。
【００１３】請求項２に記載の発明は、ディスプレイ、
及びユーザオペレーションを開始するグラフィックオブ
ジェクトを生成するための入力手段を、含むコンピュー
タ制御グラフィックディスプレイシステムであって：グ
ラフィックオブジェクトのグループを選択するための手
段を有し；グラッフィックオブジェクトのグループを崩
壊して、コンテナアイコンと置換するための手段を有
し；コンテナアイコンを拡張して、グラフィックオブジ
ェクトの元のグループに戻すための手段を有する。
【００１４】表示領域を最大利用するように、グラフィ
ックオブジェクトのグループを表現するための方法及び
装置が開示されている。本発明は、グラフィックオブジ
ェクトのグループを「崩壊する」ための手段を提供し、
それをコンテナアイコンで表現する。コンテナアイコン
は、オブジェクトのグループより小さい表示領域の量を
占める方法で、グラフィックオブジェクトのグループを
視覚的に表現する。グループは、コンテナアイコンを
「タッピング（軽く叩くこと）(tapping）」により、呼
び戻すことができる（即ち、拡張する）。或いは、グル
ープは、ディスプレイ空間の別個のアクセス可能な領域
の上に位置されてもよい。コンテナアイコンは、自身が
グラフィックオブジェクトであり、移動、コピー又は削
除され得る。更に、グラフィックオブジェクトの属性、
例えば、色、の変化は、グラフィックオブジェクトのグ
ループに、相応の変化を生じる。
【００１５】本発明の崩壊方法は、下記工程、即ち：ユ
ーザが一つ以上のグラフィックオブジェクトを選択し
て、それらがグループとして扱われるステップと；ユー
ザが崩壊動作を実行するステップと；システムが、崩壊
動作が実行されたこと、及びそれが選択されたグラフィ
ックオブジェクトのグループと関連いていることを、検
出するステップと；システムが、グラフィックオブジェ
クトのグループを「保存する」ステップと；そして、シ
ステムがディスプレイからグラフィックオブジェクトの
グループを除去して、コンテナアイコンと置換するステ
ップと；を含む。必要に応じて、システムは崩壊アイコ
ンに参照番号を生成してもよい。これは、元の未崩壊グ
ラフィックオブジェクトのグループを含むページと一緒
にディスプレイの内容を印刷する場合に特に有用なこと
が分かっている。
【００１６】本発明の拡張方法は、下記工程、即ち：ユ
ーザが拡張動作をコンテナアイコンの近くで実行するス
テップと；システムがコンテナアイコンと関連するグラ
フィックオブジェクトのグループを検索するステップ
と；そして、システムがディスプレイからコンテナアイ
コンを除去して、それを、アイコンに関係する元の位置
にある検索グラフィックオブジェクトと置換するステッ
プと；を含む。
【００１７】
【発明の実施の形態】下記用語を本明細書の記述に用い
る。それらの用語は下記に示す意味を有する。グラフィ
ックオブジェクト(Graphic Object)：２Ｄ空間のあらゆ
る表示オブジェクト。 カーブ(Curve) ：ユーザによる手作業で作られる（例え
ば、ペンストローク）又は、ジェスチャー等の他の手段
により作られる（例えば「[ 」ジェスチャーから得られ
る矩形）、又はシステムにより生成される（例えば境
界）、一次元のグラフィックオブジェクト。 ペンストローク(Pen Stroke)：ペンによる、インクスト
ロークかジェスチャーになる動作。 インクストローク(Ink Stroke)：残存的カーブ（曲
線）。 ジェスチャー(Gesture) ：一時的で、動作として解釈さ
れるペンストロークで作られるカーブ。 囲い(Enclosure) ：それ自身で閉じて領域を画定するイ
ンクストローク。 囲い中身(Enclosure Contents)：囲いで画定された領域
内に位置する一つ以上のグラフィックオブジェクト。 グループ(Group) ：それの中身をプラスした囲い。グル
ープは単一のグラフィックオブジェクトとして働くこと
ができ、例えば、その囲い上のタップジェスチャーがグ
ループを選択する。 選択(Selection) ：選択によりタグ付けされるグラフィ
ックオブジェクトのセット。 選択囲い(Selection Enclosure) ：いくつかのグラフィ
ックオブジェクトを囲んでいるジェスチャー。これは選
択を定義する通常の方法である。 リンク(Link) ：１つ又２つの囲いに触れる（即ち、そ
れらをリンクする）インクストローク。囲いは自身とリ
ンクされてもよい。 コンテナアイコン：他のグラフィックオブジェクトをそ
れらを表示することなく表現する小さなグラフィックオ
ブジェクト。 崩壊(Collapse)：選択を用い、コンテナアイコンを作成
して、グラフィックオブジェクトをアイコンと置換する
オペレーション。 拡張(Expand)：コンテナアイコンを用いて、コンテナア
イコンをそれを含むオブジェクトに置換するオペレーシ
ョン。 変更(Alter) ：囲い及び潜在的にそれが含むグラグック
オブジェクトを再形状化するオペレーション。 分割(Split) ：囲いを用いて、それを２つの異なる囲い
に分割するオペレーションで、各囲いは独自の中身（内
容）を有する。 フューズ(Fuse)：２つ以上の囲いを用いて、それらを、
初期囲い中の全オブジェクトを含む１つの囲いに結合す
るオペレーション。 ハイライト領域(Highlighted Area)：通常、いくらかの
グラフィック方法で強調される２Ｄ面の連続部分。それ
は、囲いの役目を果たす周辺部エッジを有する。
【００１８】本発明は、描写プログラム又はペンベース
システム等のようなグラフィックオブジェクトを操作
（処理）するあらゆるシステムに有用である。本発明
は、プライオリティーを付けるミーティングのような共
同アクティビティーを支援するのに特に有用であること
がわかった。このようなアクティビティでは、ユーザ
は、項目のリストを作成して、その項目の順序又は空間
的なレイアウトを操作する。例えば、図１（ａ）乃至
（ｃ）を参照すると、従業員のランキングを論議してい
る。第１ステップは、参加者全員が見ることができるホ
ワイトボードのようなビジュアル媒体上に従業員の名前
のリストを書き込むことである。これは、図１（ａ）
に、表示領域１０２に書かれたリスト１０１として図示
されている。次に、フィルタリングプロセスが起こり、
ここで従業員をクラス１、２又は３の技能者(performe
r) としてほぼ分類して、その後、カテゴリー内でラン
ク付けする。これは、図１（ｂ）に、分類リスト１２１
〜１２３として示されている。本発明のシステムでは、
これらの名前の各々は、グラフィックオブジェクトのセ
ット（例えばインクストローク）によって表される。こ
のように、名前の再構成は、選択及び移動オペレーショ
ンによって達成される。最後に、ランキングを各実行カ
テゴリー内で行って、フューズして一緒にして戻し、図
１（ｃ）に示す最終的なランキングリスト１３０を得
る。
【００１９】このアクティビティには注目するいくつか
の重要なことがある。ユーザがリスト項目をまわりに簡
単に動かすことができることは、重要である。これは、
項目（例えば、名前）をグループ化して、それらを単位
としてドラッグできることを示す。例えば、図１（ｂ）
に示す実行カテゴリーをグループとして移動可能であ
る。しかし、そのグループは固定されておらず、それら
はミーティングを通して変わる。項目は時々まとめられ
て、暗に単一ユニットとして扱われる。また、注釈を項
目に作ることもでき、評価理由を記述してもよい。この
注釈は項目と共にグループ化されるべきであり、例え
ば、それらは一緒に移動する。ユーザが項目の関係につ
いて考えを変えたり又は項目と関係する注を作ると、ユ
ーザは項目をフューズ及び分割して容易に注釈を作れる
ことは、有用であることが確認された。また、ユーザ
は、項目をグループ内で他のグループから独立して操作
できなければならない。
【００２０】本発明のこの好適な実施の形態は、グラフ
ィックオブジェクトの残存的なグループ化を表現して操
作するためのグラフィック技法である。その主な考え
は、明示的な(explict) 囲いによりグループを指示する
ことと、囲いに対するグラフィックオペレーションがグ
ループを修正するようになっていることである。
【００２１】本発明で使用できるようなコンピュータベ
ースシステムを、図２に関して説明する。図２を参照す
ると、コンピュータベースのシステムは、バス２０１に
より連結される複数のコンポーネント（構成要素）を含
んでいる。図示したバス２０１は本発明を明瞭にするた
めに単純化されている。バス２０１は、バスの階層（例
えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）
と同様に複数の平行バス（例えばアドレス、データ及び
状態バス）から成り得る。いずれにしても、コンピュー
タシステムは、バス２０１を介して内部メモリ２０３か
ら与えられる命令を実行するためのプロセッサ２０２
を、更に含んでいる（内部メモリ２０３は、典型的には
ランダムアクセスメモリー又はリードオンリーメモリー
の組み合わせであることに留意されたい）。オペレーシ
ョン中には、本発明の様々な機能コンポーネントを実行
するためのプログラム命令は、内部メモリ２０３に格納
されている。プロセッサ２０２と内部メモリ２０３は、
個別のコンポーネントでも単一の一体式デバイスでもよ
い。プロセッサ２０２と内部メモリ２０３は、本明細書
中に記述する様々な処理機能を実行するための回路を含
む。また、バス２０１には外部記憶装置２０７が連結さ
れている。外部記憶装置２０７は、典型的には磁性又は
光学ディスク記憶装置のような高容量記憶媒体である。
【００２２】また、バス２０１にはディスプレイ２０４
及びポインティングデバイス２０５も連結されている。
この好適な実施の形態において、ポインティングデバイ
ス２０５は、ペン駆動式のタッチセンシティブパネルで
あり、これは、タッチスクリーンディスプレイのような
ディスプレイ２０４と一体化される。このようなタッチ
スクリーンディスプレイは、従来技術でよく知られてお
り、ペンベースシステムのようなシステム中で、電子ホ
ワイトボードシステム用に利用されている。しかし、ポ
インティングデバイス２０５はスタイラス、マウス、ト
ラックボール又は他のカーソル制御デバイスでもよいた
めに、ポインティングデバイス２０５とディスプレイ２
０４は、一体化される必要はない。
【００２３】図３は、本発明で使用可能なグラフィカル
ユーザインターフェースの特別な実施例を示す。図３を
参照すると、グラフィカルユーザインターフェースはデ
ィスプレイ２０４上に表示され、タッチパネル２０５を
通して対話されている。図示されるように、グラフィカ
ルユーザインターフェースはワーク（作業）面を用い
て、複数のアクセス可能機能３０１を使用してもよい。
ワーク面３０２には、ユーザが様々なカーブ（曲線）を
描写してもよい所、及び他のグラフィックオブジェクト
が表示される所がある。アクセス可能機能３０１は、デ
ィスプレイのボタン領域３０３に配置されている。機能
３０１は、グラフィックオブジェクトを編集（作成、削
除、移動、縮め等）、又はタッチパネル２０５の操作モ
ードを変える（例えば、描写及びジェスチャーモードか
らの切り換え）ためのオペレーションを含んでもよい。
【００２４】これらの機能は、代わりに、ウィンドウズ
(Windows) 指向アプリケーションに一般に見られるプル
ダウンメニューでアクセスされてもよい。しかし、これ
らの機能は、指示が任意（オプション) であり、それら
の主要な目的は、システムオペレーションに固有なオペ
レーションを定義することである。これらの機能は、ジ
ェスチャーにより起動される同じ機能を実行してもよ
い。
【００２５】本発明のこの好適な実施の形態は、グラフ
ィカルユーザインタフェース(Graphical User Interfac
e ; ＧＵＩ）を有するペンベースのシステムで実行され
る。このようなＧＵＩは、典型的には、グラフィックオ
ブジェクトを選択／選択解除(deselecting) するための
「タップ」、又はタップされるグラフィックオブジェク
トと関連し得るオペレーションを起動するための「ダブ
ルタップ」をサポートする。オブジェクトは、一度、選
択されると、ワーク空間中の所望の位置にドラッグ及び
ドロップされる。
【００２６】この好適な実施の形態のワーク空間は、グ
ラフィックオブジェクトが他のグラフィックオブジェク
トからほぼ独立するように自由形態を有し、また、グラ
フィックオブジェクトは任意構成を有してもよい。これ
は、ホワイトボードを使用する方法と一致している。し
かし、ワーク面のユーザオペレーションを容易にするた
めに、暗示構造（以下「構造」とする）の概念はサポー
トされている。この好適な実施の形態でサポートされて
いる様々な種類の構造は、「Apparatus and Method For
Supporting the Implicit Structure of Freeform Lis
ts, Outlines,Text, Tables, and Diagrams In A Gestu
re-Based Input System and Editing System 」と題さ
れて、本願の同じ譲受人に譲渡された、ＥＰＡ ０ ６
６７ ５６７ Ａ２号に記述されている。概念的には、
構造とは、特定の関係を有するグラフィックオブジェク
トの集まり、例えば、項目リストである。構造オペレー
ションが生じると、項目間の関係は保持されている。例
えば、項目をリストの中央に入力すると、その挿入場所
の下の項目は、挿入項目用に空間を作るために下に動か
される。
【００２７】本発明のこの好適な実施の形態は、適切な
ホワイトボードエミュレーションプログラムの制御下で
実行されるLiveBoard のようなペンベースシステム用の
Ｃ＋＋プログラム言語で、ソフトウェアプログラムとし
て実行された。
【００２８】本発明により、グラフィックオブジェクト
のグループを、その対応する囲いを変更することにより
操作する様々な技法が可能になる。図４のフロー図は基
本対話を示し、これによりこの好適な実施の形態のグラ
フィック入力システムにオペレーションが生じ得る。図
４を参照すると、電子ホワイトボードの使用中に、ユー
ザは、１つ以上のグラフィックオブジェクトの周りにク
ローズドカーブ（閉曲線）を、例えば、ジェスチャー又
はリンクにより、作成する（ステップ４０１）。これ
は、電子ホワイトボードの内容を編成又は再構成するこ
とにより起こる。ユーザが他のオペレーションを実行し
たり他のグラフィックオブジェクトを生成し得る時間の
後で、ユーザはジェスチャーを作成する（ステップ４０
２）。システムは、ジェスチャーの近くに置かれたグラ
フィックオブジェクトを調べる（ステップ４０３）。グ
ラフィックオブジェクトのうちの１つがクローズドカー
ブであるかどうかを見るために、特定のチェックが行わ
れる（ステップ４０４）。この好適な実施の形態では、
これはグラフィックオブジェクトの形状をチェックする
ことにより行われる。しかしながら、例えば、フラグを
グラフィックオブジェクトに取り付ける等、他の技法を
使用して、クローズドカーブであることを示すことは、
当業者には明白であろう。いずれにしても、グラフィッ
クオブジェクトがクローズドカーブでない場合、ジェス
チャーは非囲い（non-enclosure)オペレーションとして
解釈される（ステップ４０８）。
【００２９】グラフィックオブジェクトのうちの１つが
クローズドカーブである場合、システムはジェスチャー
のタイプ（ステップ４０５）を識別する。ジェスチャー
タイプは典型的には、ジェスチャーを作成するために使
用されるペンストロークの形状及び位置によって識別で
きる。次に、ジェスチャーオペレーションが囲いに有効
であるか否かの決定がなされる（ステップ４０６）。有
効でない場合、そのジェスチャーは、非囲いオペレーシ
ョンとして解釈される（ステップ４０８）。ジェスチャ
ーが囲いのオペレーションに有効なものであると決定さ
れると、クローズドカーブを囲いとして扱い、その対応
する囲いオペレーションを実行する（ステップ４０
７）。ジェスチャーにより起動される様々な囲いオペレ
ーションを下記に記述する。
【００３０】グラフィックオブジェクトを、それの囲い
を再形状化することにより追加、又は囲いをフュージン
グすることによりグループから除去することができる。
グループをコンテナアイコンと呼ばれる（脚注に類似し
ている）代わりのグラフィックオブジェクトによって崩
壊及び表現してもよい。この好適な実施の形態の特徴及
び利点は、下記の記述で明白になる。
【００３１】本発明の重要な概念は、残存的なグラフィ
ックオブジェクトとしての囲いの概念である。従来技術
と対比するために、選択囲いは、選択オペレーションが
実行されている間だけ存在する一時的なグラフィックオ
ブジェクトとする。複数のグラフィックオブジェクトを
単一オペレーションで操作するためには、グラフィック
オブジェクトの各々を、グループとして「選択」しなけ
ればならない。よって、グラフィックオブジェクトの選
択が残存性になるようにグラフィックオブジェクトのセ
ットをグループ化することはしばしば望ましい。従来技
術に記述されたように、グループの中身を変更するため
の既知の技法には、不便である。
【００３２】残存的グラフィックオブジェクトとしての
囲いは、以下の特徴を有する。 − 囲いは、典型的にはインクストロークであるが、固
定領域とその境界（例えばハイライト領域）を画定す
る、あらゆるグラフィックオブジェクトでもよい。 − 囲いがインクストロークである場合、それらはスト
ロークの始まりがストロークの終りと「閉じ」られてい
るループ形ストロークである。インクストロークはま
た、多くのグラフィカルフューザインタフェースで見ら
れる矩形生成オペレーションを用いて作成される矩形で
もよい。 − 囲いの内側は、固定領域を画定する。よって、例え
ば、各領域は、（グラフィックオブジェクトにより表現
される）項目リストを保持できる。 − 囲いを選択することが、グループ、即ち、囲いと囲
いによる画定領域内のグラフィックオブジェクト、を選
択する。 − 囲いは、グラフィックオブジェクトの関連する集合
を削除せずに消去されてもよい、即ち、囲いは、まさに
他のインクストロークと同様である。 − グラフィックオブジェクトを選択して、囲いによる
画定領域中へ又はそこから移動することができる。
【００３３】囲いがグラフィックオブジェクトであるた
めに、グラフィックオブジェクトに実行できるオペレー
ション、例えば、消去、即ち、色又は厚み等の変化の
「拭き取り(wiping)」を囲いに実行することができる。
囲いに実行されるオペレーションは、グループに同じ影
響を与える。グループにオペレートするために、一般に
実行すべき第１のステップは、囲いを選択することであ
る。選択は、図５及び図６に関して示される。図５は、
「ＡＢＣ」５０１で表現され、囲い５０２で囲まれてい
るグラフィックオブジェクトを示す。囲いとして認識さ
れるように、囲いのエンドポイントは十分に接近してい
なければならない。この十分な近さは、表示領域の解像
度及びストロークの厚みのようなパラメータに依存す
る。グラフィックオブジェクト５０１及び囲い５０２の
選択は、囲い５０２上の「タップ」ジェスチャー５０３
により指示される。図６を参照すると、囲い５０２は、
囲まれたグラフィックオブジェクト５０１と一緒に選択
されている。このことは、選択ループ６０１の表示で示
されている。更に、囲い５０２及びグラフィックオブジ
ェクト５０１はグループを構成する。この好適な実施の
形態において、選択は、囲い上のタップジェスチャーに
よって達成されるが、選択技法（例えば、他のタイプの
ジェスチャー）を使用してもよい。
【００３４】一度、グループが選択されると、グループ
全体に影響を及ぼす他のオペレーションを実行できる。
グループは、カラーの変更、グループの縮小又は拡張
を、［例えば、ドラッギング又は右閉じくさび形（＞）
ジェスチャーによって］移動、又は［例えば、左閉じく
さび形（＜）ジェスチャーによって］コピーさせること
ができる。選択された囲いの中身に影響する他のオペレ
ーションを以下に記述する。
【００３５】囲い中身の変更は、単にオブジェクトを囲
い中へ移動、又は囲い中から移動、オブジェクトを消去
する等によって達成されてもよい。上述したように、ユ
ーザは、囲いを変更してその形状を変更してもよい。囲
いの形状を変えることは、グラフィックオブジェクトを
追加又は除去するユーザにとって便利な技法を提供す
る。ユーザは、他のグラフィックオブジェクトを含むよ
うに囲いを変更することによって、若しくはグラフィッ
クオブジェクトを囲い中に移動又は新しいグラフィック
オブジェクトを囲い内に作成できるように囲いを大きく
することによって、グラフィックオブジェクトをグルー
プに追加してもよい。除去されるべきグラフィクオブジ
ェクトが囲いによる画定領域内に無くなるように、囲い
を再形状化することによりユーザはグラフィックオブジ
ェクトをグループから除去してもよい。
【００３６】エンドポイントが囲いの２点と接触するペ
ンクトロークにより、変更ジェスチャーを作成する。一
般に、このシステムは、ペンストローク及びそのペンス
トロークがクローズドカーブ（即ち、囲い）の２点と接
触したことを検出する。次に、ペンストロークは、ペン
ストロークが囲いに接触した場所に基づいてクローズド
カーブの形状を変更する囲いジェスチャ−として扱われ
る。
【００３７】図７及び図８には、グラフィックオブジェ
クトを囲いへ追加することが示されている。図７を参照
すると、ペンストローク７０１は、第１ポイント７０２
と第２ポイント７０３で囲い７０４と接触する。これに
より、ペンストローク７０１は変更ジェスチャーとして
扱われるようになり、それに従って囲い７０４が変更さ
れるようになる。図７では、グラフィックオブジェクト
「１２」７０５を、グループに追加するようになってい
る。次に、図８を参照すると、完成時に、元の囲い７０
４の形状を有しながらペンストローク７０１の形状が
「隆起（バンプ）」として追加される囲い８０１が作成
されている。
【００３８】図９及び図１０は、グラフィックオブジェ
クトを除去するための囲いの変更を示す。図９を参照す
ると、ペンストローク９０１は、第１ポイント９０２及
び第２ポイント９０３で囲い９０４と接触する。上記の
ように、これによりペンストローク９０１が、変更ジェ
スチェーとして扱われるようになる。しかしながら、こ
こではペンストロークが囲い９０４による画定領域内に
あることが決定さるので、その変更とは、領域の一部分
を「切除」することである。次に図１０を参照すると、
これはペンストローク９０１に対応する部分を除去する
形状を取る新しい囲い１００１となる。これは、グラフ
ィックオブジェクト１００２、即ち、英字「Ｃ」をグル
ープから効果的に除去している。
【００３９】グラフィックオブジェクトを除去する変更
ジェスチャーの場合、囲いの部分についてなされるべき
決定は、「切除」することである。この好適な実施の形
態は、囲いの「最大」部分が保持されるべき部分である
というヒューリスティックでオペレートする。
【００４０】囲いを分割することにより、２つの新しい
囲いが作成され、元の囲いが除去される。例えば、リス
トを操作する場合、リストのサブリストだけを操作する
ことがより適当であることが決定されることもある。分
割ジェスチャーは、前後運動で作成されるペンストロー
クにより生じる。ペンストロークは、分割されるべき囲
いによるで画定領域に含まれていた少なくとも部分であ
ったことになる。分割ジェスチャーは、それがオペレー
ティングすることになる囲いを空間的に検出し、ジェス
チャーのロケーションが分割ロケーションを指示するよ
うにオペレートする。
【００４１】図１１及び図１２は、分割ジェスチャーを
用いて囲いを分割し、１つの囲いから２つの囲いを作成
することを示す。図１１を参照すると、囲い１１０２に
よる画定領域内にある分割ジェスチャー１１０１が描写
されている。分割ジェスチャーによって、囲い１１０２
がジュスチャーがほぼ生じた地点で分割されるようにな
る。これは、図１２に、囲い１２０１及び１２０２で示
されている。
【００４２】図１３及び図１４は、分割ジェスチャーが
複数の囲いを横切るように実行されることにより、両方
の囲いを分割できることを示す。図１３を参照すると、
分割ジェスチャー１３０１は、囲い１３０２及び１３０
３を横切る。次に、図１４を参照すると、囲い１４０１
及び１４０２は囲い１３０２から作成され、また囲い１
４０３及び１４０４は囲い１３０３から作成されてい
る。
【００４３】囲いをフュージングすることにより、フュ
ーズ囲いの中身が単一の囲いの下で組み合わされるよう
になる。フュージョンはそれが暗示的又は明示的である
ように、実行可能である。図１５乃至図１７は暗示的フ
ュージングの例を示す。図１５を参照すると、選択囲い
１５０２は、それが囲い１５０１とオーバーラップ（重
なる）ように移動される。その移動結果を図１６に示
す。フュージングは図１７に示す。ここでは、囲い１５
０１及び１５０２の各々の中身は、新たな囲い１７０１
の領域内にある。囲い１７０１の形状は、重なった囲い
１５０１及び１５０２の境界に対応する。
【００４４】しかし、暗示的フュージングは望ましくな
い結果をもたらすことがある。例えば、囲いを移動して
いる間に、それが偶然、他の囲いと重なるように配置さ
れることがある。これにより、それらが偶然にフューズ
されることになると、囲いに分割するように要求するで
あろう。更に、グラフィカルユーザインターフェースの
いくらかの使用の場合、例えばベン図(Venn Diagrams)
を描写する等、重なるクローズドカーブを有することは
望ましい。従って、明示的フュージングを、この好適な
実施の形態ではデフォルト値として提供する。明示的フ
ュージングでは、フュージングジェスチャー、ここで
は、特定の位置にあるクローズドカーブ形状のペンスト
ロークを使用して、囲いをフューズする。フュージング
オペレーションは、フュージングジェスチャーが接触す
る囲いの各々に実行されることになる。
【００４５】図１８及び図１９は、囲いが重なる時の明
示的なフュージングの単純な例を示す。図１８を参照す
ると、囲い１８０１と１８０２が重なる。次に、フュー
ジングループジェスチャー１８０３を実行する。その結
果を図１９に示し、ここでは、囲い１８０１と１８０２
の各々の中身は新たな囲い１９０１の領域内にある。囲
い１９０１の形状は重なった囲い１８０１と１８０２の
境界に対応する。
【００４６】図２０及び図２１は、フュージングジェス
チャーを用いて明示的フュージングを更に示す。図２０
を参照すると、囲い２００２と２００３は重ならない。
フュージングジェスチャー２００１は、囲い２００２と
２００３の両方の境界に接触する。これは、図２１の囲
い２１０１となる。得られた囲い２１０１の形状は、フ
ュージングジェスチャー２００１がまるで囲い２００２
と２００３を連結していたかのようにフュージングジェ
スチャー２００１の形状を帯びている。
【００４７】囲いをフュージングするための更なる手段
は、囲い間のリンクに関して下記に記述する。
【００４８】リンクは、一つ以上の囲いの間にビジュア
ル連結を提供するために使われるインクストロークであ
る。リンクは、以下の特徴を有する。 − リンクは、少なくとも１つの囲い（即ち、一端部）
及び多くとも２つの囲いと関係する。囲いと関係するた
めに、リンクのエンドポイント（終点）は、囲いに「接
触」しなくてはならない。 − 囲いは、複数のリンクを有してもよい。 − 囲いを選択することによりそのリンクが強調（ハイ
ライト）される。 − リンクは自由形式である、即ち、あらゆる形状とす
ることができる。 − 囲いと関係するリンクは残存性なので、それらは囲
いの移動／拡大／又は縮小時に再形状化して接触を維持
する。即ち、リンクにより与えられる囲い間の連結は常
に保持されている。 −リンクは、リンクエンドポイントを選択して移動する
ことにより変更可能である。
【００４９】リンクを使用可能な１つの方法には、囲い
をフュージングするためのものがある。明示的なフュー
ジョンがフュージングジェスチャーを実行することによ
り行われるので、フュージングジェスチャーはリンクに
接触する。これは、図２２及び図２３に示されている。
図２２を参照すると、囲い２２０１及び２２０２はリン
ク２２０３によりリンクされている。リンク２２０３に
接触するフュージングジェスチャー２２０４を実行す
る。その結果が、図２３の囲い２３０１である。囲い２
３０１の形状はリンクに沿って２つの囲いを連結する形
状である。囲いをフューズ後、リンク２２０３は除去さ
れている。
【００５０】図２４及び図２５は、囲いを移動する時
の、囲い及び関連リンクの選択並びにリンクの再形状化
を示す。図２４を参照すると、囲い２４０１は、リンク
２４０４により囲い２４０２、及びリンク２４０５によ
り囲い２４０３とリンクされている。囲い２４０２と２
４０３はリンク２４０６によってリンクされている。ま
た、囲い２４０３が選択されることにより、リンク２４
０５と２４０６が選択されるようになっている。このこ
とは、囲い２４０３及びリンク２４０５と２４０６の点
線のアウトラインで示されている。図２５では、囲い２
４０３を移動したことにより、リンク２４０５と２４０
６が再形状化されるようになっている。明確に再形状化
されたが、リンク２４０６がその基本的な形状特徴を維
持したことに留意されたい。これは、固定位置としてリ
ンクの静的エンドポイントを使用して、囲いを移動する
場所に応じて再形状化リンクをスケール化及び／又はフ
リップする（はじく）再形状化技法により行われてい
る。最終的に、囲いの移動時に、それぞれのリンクのエ
ンドポイント２４０７及び２４０８が、それらの位置
を、囲い２４０３上に維持することに留意されたい。
【００５１】図２６及び図２７は、リンクエンドポイン
トの選択及び移動を示す。リンクエンドポイントの移動
は、図が再構成、さもなければ変更される必要がある時
に、望ましい。図２６を参照すると、リンク２４０４の
エンドポイント２６０１が選択されている。ここではエ
ンドポイント２６０１は囲い２４０２上にある。リンク
エンドポイントの選択は、エンドポイント付近の点線の
円で指示されている。一度、選択されると、エンドポイ
ントは移動可能である。このような移動の結果を図２７
に示す。図２７を参照すると、エンドポイント２６０１
は囲い２４０３へ移動されている。
【００５２】囲い同士間にリンクを設けることは、特に
囲いを再配置する時に有用である。囲い同士間に視覚的
関係を保持できると、それらが移動されても、グラフィ
ックベースシステムを円滑に使用するのに役立つ。
【００５３】リンクの囲いからの切り離しを、２つの方
法の内の１つで達成することができる。まず、囲いを、
リンクのエンドポイントにそれ以上「接触」しないよう
に変更してもよい。あるいは、リンクのエンドポイント
を、囲いにそれ以上接触しないように選択して移動して
もよい。リンクの切り離しは、残存性を維持するための
ヒューリスティックのためにリンクが囲いを横断するよ
うな望ましくない結果が生じる場合に、有用になり得
る。
【００５４】また、リンクを囲いへ同様の技法を使用し
て付けてもよい。まず、囲いを、それがリンクのエンド
ポイントと「接触」するように変更してもよい。第２番
目に、リンクのエンドポイントを、それが囲いと接触す
るように選択して移動してもよい。
【００５５】囲いを崩壊することは非常に有用な特徴で
あり、これにより、ディスプレイ上の空間が最適化され
ることが可能になる。囲いを崩壊することにより、囲い
及びそれに含まれるオブジェクトがコンテナアイコンと
置換される。この好適な実施の形態のコンテナアイコン
は、バルーン（風船）形状であり、必要に応じて参照番
号（又は他の識別シンボル）を表示してもよい。
【００５６】コンテナアイコンはグラフィックオブジェ
クトの根本的グループを表すグラフィックオブジェクト
である。従って、コンテナアイコンは移動、削除又はそ
の属性の変更が可能である。コンテナアイコンの属性を
変更すると、対応する変化がグラフィックオブジェクト
の根本的グループに起こることになる。従って、例えば
コンテナアイコンの色を変更すると、グラフィックオブ
ジェクトの各々は、コンテナアイコンの色に変化する。
当然ながら、属性変更がグラフィックオブジェクトの根
本的グループまで流入しないように、このような特徴を
「消す(turn-off)」」ことはできることは、当業者にと
って明白になるであろう。
【００５７】この好適な実施の形態では、（囲いがグル
ープを識別して縮小するために非常に便利な手段を提供
するが、）崩壊は、囲い及びその中身に限定されている
わけではない。例えば、崩壊を、項目リストの選択サブ
セット又はグラフィックオブジェクトの自由形態選択に
適用してもよい。
【００５８】図２８は、グループを崩壊して、コンテナ
アイコンと置換するためのステップを示すフローチャー
トである。まず、ユーザは１つ以上のグラフィックオブ
ジェクトを選択して、それらをグループとして扱わせる
（ステップ２８０１）。これは、典型的には、囲いを選
択することで実行されてもよい（この次に、囲いによる
画定領域内の全グラフィックオブジェクトが選択される
ようになる）。しかし、１つ以上のグラフィックオブジ
ェクトをグループ化又は選択するためのあらゆる手段が
使用可能である。次に、ユーザは、崩壊動作を実行する
（ステップ２８０２）。上述したように、崩壊動作はバ
ルーン形状のペンストロークでもよい。次に、システム
は、ペンストロークを崩壊ジェスチャーとして識別し
て、グループが選択されていたか否かを決定する（ステ
ップ２８０３）。当然ながら、グループが選択されてい
なかった場合、崩壊に関する指示がないので、崩壊は実
行され得ない。次に、システムは、グラフィックオブジ
ェクトのグループを「保存」する（ステップ２８０
４）。これがあるので、グループを容易に拡張すること
ができる。次に、システムはディスプレイからグラフィ
ックオブジェクトのグループを除去して（ステップ２８
０５）、コンテナアイコンを表示する（ステップ２８０
６）。コンテナアイコンはグラフィックオブジェクトに
類似し、即ち、それを移動、着色、消去等するここがで
きる。コンテナアイコンに実行されるこのようなオペレ
ーションは、全ての崩壊オブジェクトに同じ影響を及ぼ
す。コンテナアイコンが作成されるこの時点で、崩壊オ
ブジェクトも「選択」され、従って、後続のあらゆるオ
ペレーションをそれに実行してもよい。
【００５９】必定に応じて、一度、グループが選択され
ると、システムはそのグループに参照番号を生成し、そ
れをコンテナアイコン上に表示する。参照番号は、後で
グループを参照するために使用される。これは、グルー
プがエンドノートに非常に類似する異なるページに格納
されることがあるためである。
【００６０】コンテナアイコンが初期に表示されるロケ
ーションは、囲いと関連する様々なファクタに依存す
る。囲いがリンクを有していない場合、コンテナアイコ
ンは、囲いが占める領域のほぼ中心に表示される。これ
は、図２９及び図３０に示されている。
【００６１】図２９を参照すると、囲い２９０１及び関
連グラフィックオブジェクトは、グラフィックオブジェ
クト２９０２と２９０３との間に置かれている。囲い２
９０１が選択されて、崩壊ジェスチャー２９０４を実行
した。その結果を、図３０に示す。図３０を参照する
と、得られたコンテナアイコン３００１は、先に囲い２
９０１で定義した領域３００２の中央に置かれている。
【００６２】また、崩壊が、自由形態により作成される
グループに実行されてもよいことに留意されたい。その
オペレーション及び結果は、リンクがない囲いについて
上述したものと同一である。
【００６３】囲いが、崩壊用に囲いと共に選択されたリ
ンクを有する場合、コンテナアイコンは、そのステムを
囲いに付いたリンクと置換するように表示される。これ
は、図３１及び図３２に示されている。図３１を参照す
ると、第１の囲い３１０１は、リンク３１０３により第
２の囲い３１０２にリンクされている。この図では、囲
い３１０２が選択された。選択囲い３１０２関する崩壊
ジェスチャー３１０４が実行された。崩壊の結果は図３
２に示す。図３２を参照すると、囲い３１０２及びその
中身を表示するために、コンテナアイコン３２０１が作
成された。
【００６４】囲いがリスト構造中の項目のサブセットを
定義する場合、コンテナアイコンは選択サブセットの上
のリスト項目の最後に置かれる。これを、図３３及び図
３４に示す。図３３を参照すると、ワーク面上にはリス
ト３３０１が表示されている。リストのサブセット３３
０２が選択され、崩壊ジェスチャー３３０３をサブセッ
ト３３０２に実行した。その結果を図３４に示す。図３
４を参照すると、コンテナアイコン３４０１は、サブセ
ット３３０３を置換して、サブセット３３０３の上に位
置したリスト項目３４０２の最後に付けられている。更
に、リスト３４０３の残り部分を、サブセット３３０３
の空になった空間を埋めるように上方へ移動した。この
ワーク空間領域の自動再生(automatic reclamation)
は、リスト構造のオペレーションに対して実行されてい
る。
【００６５】崩壊の逆オペレーションでは、コンテナア
イコンを拡張することができる。コンテナアイコンを、
例えば「タブルタップ」オペレーションにより拡張する
と、崩壊囲いが表示領域に復元されて、コンテナアイコ
ンは除去される。図３５は、コンテナアイコンを拡張す
るためのステップを示すフローチャートである。先ず、
ユーザは所望のコンテナアイコンに接近して拡張ジェス
チャーを実行する（ステップ３５０１）。これは、典型
的には「ダブルタップ」ジェスチャーにより行われる。
次に、システムは拡張ジェスチャーを検出して（ステッ
プ３５０２）グラフィックオブジェクトの関連グループ
を検索する（ステップ３５０３）。次に、システムはデ
ィスプレイからコンテナアイコンを除去し（ステップ３
５０４）、システムはグラフィックオブジェクトの検索
グループを表示する（ステップ３５０５）。拡張される
ものが暗示的構造の部分である場合には、暗示的構造を
維持するために、必要に応じて他のグラフィックオブジ
ェクトを移動してもよい（ステップ３５０６）。
【００６６】コンテナアイコンを拡張する場合、コンテ
ナアイコンが広がるディスプレイ上の場所は、崩壊物に
対応することになる。例えば、コンテナアイコンがリス
ト構造の部分である場合、拡張のためにリストの他の部
分が移動するようになる。あるいは、コンテナアイコン
の位置に関係して、直接、ワーク面上に適切に拡張して
もよい。これは、ワーク面上に直接起きても、「オーバ
ーレイ」としてワーク面上に起きてもよい。拡張がワー
ク面上に直接起こると、拡張は、ワーク面上の既存のグ
ラフィックオブジェクトに上書きしてもよい。拡張がオ
ーバーレイとして起こると、既存のグラフィックオブジ
ェクトは閉塞されることがあるが、破壊はされはい。最
終的に、拡張はリンクとして別の場所で起こることもあ
る。このような拡張では、ワーク領域上の利用可能領域
は、拡張が起こる場所で識別される。リンクは、拡張オ
ペレーションを開始したコンテナアイコンのロケーショ
ンに作成される。
【００６７】また、崩壊がネスト（入れ子）にされても
よいことも留意されたい。従って、例えば、アウトライ
ンでは、サブヘッディング（小見出し）の一方のレベル
は、サブヘッディングの別のレベルの中にネストされて
もよい。これは、図３６及び図３７に関係して示されて
いる。図３６は、リスト項目の崩壊サブセットを表すコ
ンテナアイコン３６０２を有するリスト３６０１を示
す。別のサブセットの選択３６０３は、コンテナアイコ
ン３６０２を含む。崩壊ジェスチャー３６０４が実行さ
れ、その結果を図３７に示す。図３７を参照すると、図
３６からのリスト項目の選択中身（内容）を表すコンテ
ナアイコン３７０１が生成されている。このようなネス
ティングは他のタイプの構造、例えば、アウトライン等
にも有利に適用され得る。
【００６８】ネスティングは、リスト構造に限定される
わけではない。あらゆるタイプのグループ及びそれらの
対応する囲いを表すコンテナアイコンを、ネストしても
よい。これは図３８及び図３９と関係して示されてい
る。図３８を参照すると、囲い３８０１は、その中にコ
ンテナアイコン３８０２を含む。コンテナアイコン３８
０２は、事前に崩壊した囲い又他のタイプの選択を表現
してもよい。また、囲い３８０１が自由形式選択でもよ
いとに留意されたい。また、囲い３８０１がリンク３８
０５により囲い３８０４にリンクされることも留意され
たい。崩壊動作は、コンテナアイコン３８０２に対して
行われ、その結果を図３９に示す。図３９を参照する
と、図３８の囲い３８０１の中身、及びコンテナアイコ
ン３８０２で表現される中身を、表現するコンテナアイ
コン３９０１が生成されている。さらに、コンテナアイ
コン３９０１のステムは、囲い３８０４に連結されて、
リンク３８０５を置換する。
【図面の簡単な説明】
【図１】（ａ）は本発明のこの好適な実施の形態を使用
可能な概要の例を示し、（ｂ）も本発明のこの好適な実
施の形態を使用可能な概要の例を示し、（ｃ）も本発明
のこの好適な実施の形態を使用可能な概要の例を示す。
【図２】本発明のこの好適な実施の形態で使用可能なコ
ンピュータベースのシステムのブロック図である。
【図３】ディスプレイに表示されて、図２のタッチセン
シティブパネルを介してインタフェースされるような基
本的なグラフィカルユーザインターフェースの表現であ
る。
【図４】本発明のこの好適な実施の形態で利用可能なグ
ラフィックベースシステムの基本ユーザインタフェース
オペレーションを示すフロー図である。
【図５】本発明のこの好適な実施の形態で実行され得る
囲いの選択を示す。
【図６】本発明のこの好適な実施の形態で実行され得る
囲いの選択を示す。
【図７】本発明のこの好適な実施の形態で実行され得
る、グラフィックオブジェクトを囲いに追加するための
囲いの変更を示す。
【図８】本発明のこの好適な実施の形態で実行され得
る、グラフィックオブジェクトを囲いに追加するための
囲いの変更を示す。
【図９】本発明のこの好適な実施の形態で実行され得
る、グラフィックオブジェクトを囲いから除去するため
の囲いの変更を示す。
【図１０】本発明のこの好適な実施の形態で実行され得
る、グラフィックオブジェクトを囲いから除去するため
の囲いの変更を示す。
【図１１】本発明のこの好適な実施の形態で実行され得
る、前後ジェスチャーを用いる１つの囲いの分割を示
す。
【図１２】本発明のこの好適な実施の形態で実行され得
る、前後ジェスチャーを用いる１つの囲いの分割を示
す。
【図１３】本発明のこの好適な実施の形態で実行され得
る、前後ジェスチャーを用いる複数の囲いの分割を示
す。
【図１４】本発明のこの好適な実施の形態で実行され得
る、前後ジェスチャーを用いる複数の囲いの分割を示
す。
【図１５】本発明のこの好適な実施の形態で実行され得
る、第１の囲いを移動して第２の囲いに重ねることによ
る暗示的フュージングを示す。
【図１６】本発明のこの好適な実施の形態で実行され得
る、第１の囲いを移動して第２の囲いに重ねることによ
る暗示的フュージングを示す。
【図１７】本発明のこの好適な実施の形態で実行され得
る、第１の囲いを移動して第２の囲いに重ねることによ
る暗示的フュージングを示す。
【図１８】本発明のこの好適な実施の形態で実行され得
る、第１の囲いが第２の囲いに重なる時のフュージング
ジェスチャーを用いる明示的フュージングを示す。
【図１９】本発明のこの好適な実施の形態で実行され得
る、第１の囲いが第２の囲いに重なる時のフュージング
ジェスチャーを用いる明示的フュージングを示す。
【図２０】本発明のこの好適な実施の形態で実行され得
る、フューズされるべき囲いを横切るフュージョンジェ
スチャーを用いることによる明示的フュージング示す。
【図２１】本発明のこの好適な実施の形態で実行され得
る、フューズされるべき囲いを横切るフュージョンジェ
スチャーを用いることによる明示的フュージング示す。
【図２２】本発明のこの好適な実施の形態で実行され得
る、フューズされるべき囲い同士間のリンクにフュージ
ョンジェスチャーを実行することによる明示的フュージ
ングを示す。
【図２３】本発明のこの好適な実施の形態で実行され得
る、フューズされるべき囲い同士間のリンクにフュージ
ョンジェスチャーを実行することによる明示的フュージ
ングを示す。
【図２４】本発明のこの好適な実施の形態で実行され得
る、囲いを移動時の囲い及び対応リンクの選択並びにリ
ンクの再形状化を示す。
【図２５】本発明のこの好適な実施の形態で実行され得
る、囲いを移動時の囲い及び対応リンクの選択並びにリ
ンクの再形状化を示す。
【図２６】本発明のこの好適な実施の形態で実行され得
る、一つの囲い上のリンクエンドポイントの選択及び別
の囲いへの移動を示す。
【図２７】本発明のこの好適な実施の形態で実行され得
る、一つの囲い上のリンクエンドポイントの選択及び別
の囲いへの移動を示す。
【図２８】本発明のこの好適な実施の形態で実行され得
る、グループを崩壊して、それをコンテナアイコンと置
換するためのステップを示すフローチャートである。
【図２９】本発明のこの好適な実施の形態で実行され得
る、リンクのない選択囲いの崩壊を示す。
【図３０】本発明のこの好適な実施の形態で実行され得
る、リンクのない選択囲いの崩壊を示す。
【図３１】本発明のこの好適な実施の形態で実行され得
る、関連リンクを有する選択囲いの崩壊を示す。
【図３２】本発明のこの好適な実施の形態で実行され得
る、関連リンクを有する選択囲いの崩壊を示す。
【図３３】本発明のこの好適な実施の形態で実行され得
る、リスト構造中のリスト項目の選択サブセットの崩壊
を示す。
【図３４】本発明のこの好適な実施の形態で実行され得
る、リスト構造中のリスト項目の選択サブセットの崩壊
を示す。
【図３５】本発明のこの好適な実施の形態で実行され得
る、コンテナアイコンを拡張してそれが表すグラフィッ
クオブジェクトを表示するためのステップを示すフロー
チャートである。
【図３６】本発明のこの好適な実施の形態で実行され得
る、構造化リスト中の項目の崩壊サブセットのネスティ
ングを示す。
【図３７】本発明のこの好適な実施の形態で実行され得
る、構造化リスト中の項目の崩壊サブセットのネスティ
ングを示す。
【図３８】本発明のこの好適な実施の形態で実行され得
る、崩壊囲いのネスティングを示す。
【図３９】本発明のこの好適な実施の形態で実行され得
る、崩壊囲いのネスティングを示す。
【符号の説明】
５０１ グラフィックオブジェクト ５０２ 囲い ５０３ タップジェスチャー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 パトリック チウ アメリカ合衆国 94025 カリフォルニア 州 メンロ パーク ユニバーシティ ド ライブ 564 ナンバー３ (72)発明者 ウィリアム ジェイ．ヴァン メル アメリカ合衆国 94022 カリフォルニア 州 ロス アルトス ディステル ドライ ブ 651

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】 コンテナアイコンを有するグラフィック
    オブジェクトのグループをグラフィックベースコンピュ
    ータシステムで表現するための方法であって、前記コン
    テナアイコンは、前記グラフィックオブジェクトのグル
    ープに対する基準として動作し、 （ａ） ユーザにより前記グラフィックオブジェクトが
    選択されるステップを有し、 （ｂ） 前記ユーザが崩壊動作を前記選択グラフィック
    オブジェクトに実行するステップを有し、 （ｃ） 前記システムが、（ｃ１） コンテナアイコン
    により表現されるべき前記グラフィックオブジェクトの
    コピーを格納するサブステップと、（ｃ２） コンテナ
    アイコンにより表現されるべき前記グラフィックオブジ
    ェクトを前記ディスプレイから除去するサブステップ
    と、（ｃ３） コンテナアイコンにより表現されるべき
    前記選択グラフィックオブジェクトを表現するコンテナ
    アイコンを表示するサブステップと、を実行することに
    より、前記選択グラフィックオブジェクトを崩壊するス
    テップを有する、 グラフィックオブジェクトのグループの表現方法。
  2. 【請求項２】 ディスプレイ、及びユーザオペレーショ
    ンを開始するグラフィックオブジェクトを生成するため
    の入力手段を、含むコンピュータ制御グラフィックディ
    スプレイシステムであって、 グラフィックオブジェクトのグループを選択するための
    手段を有し、 グラッフィックオブジェクトのグループを崩壊して、コ
    ンテナアイコンと置換するための手段を有し、 コンテナアイコンを拡張して、グラフィックオブジェク
    トの元のグループに戻すための手段を有する、 コンピュータ制御グラフィックディスプレイシステム。
JP16314597A 1996-06-26 1997-06-19 グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム Expired - Lifetime JP3973263B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/670,967 US5784061A (en) 1996-06-26 1996-06-26 Method and apparatus for collapsing and expanding selected regions on a work space of a computer controlled display system
US670967 1996-06-26

Publications (2)

Publication Number Publication Date
JPH1063462A true JPH1063462A (ja) 1998-03-06
JP3973263B2 JP3973263B2 (ja) 2007-09-12

Family

ID=24692623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16314597A Expired - Lifetime JP3973263B2 (ja) 1996-06-26 1997-06-19 グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム

Country Status (4)

Country Link
US (1) US5784061A (ja)
EP (1) EP0816999B1 (ja)
JP (1) JP3973263B2 (ja)
DE (1) DE69732547T2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2007328456A (ja) * 2006-06-06 2007-12-20 Univ Of Tokyo オブジェクト表示処理装置、オブジェクト表示処理方法、およびオブジェクト表示処理用プログラム
WO2012169135A1 (en) * 2011-06-08 2012-12-13 Sony Corporation Information processing device, information processing method and computer program product
JP2012256172A (ja) * 2011-06-08 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN103716452A (zh) * 2012-09-28 2014-04-09 富士施乐株式会社 显示控制设备和方法以及图像显示设备
JP2014071763A (ja) * 2012-09-28 2014-04-21 Fuji Xerox Co Ltd 表示制御装置、画像表示装置、およびプログラム
KR101483611B1 (ko) * 2013-05-13 2015-01-21 주식회사 브이플랩 이미지에서 객체를 추출하기 위한 방법 및 단말기
JP2015215717A (ja) * 2014-05-09 2015-12-03 日本電信電話株式会社 関係性提示装置及び関係性提示プログラム
WO2016035800A1 (ja) * 2014-09-05 2016-03-10 Ｎｅｃソリューションイノベータ株式会社 オブジェクト管理装置、思考支援装置、オブジェクト管理方法、及びコンピュータ読み取り可能な記録媒体
JP2018018529A (ja) * 2017-08-28 2018-02-01 富士ゼロックス株式会社 表示制御装置、画像表示装置、およびプログラム

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5889523A (en) * 1997-11-25 1999-03-30 Fuji Xerox Co., Ltd. Method and apparatus for dynamically grouping a plurality of graphic objects
US6509912B1 (en) 1998-01-12 2003-01-21 Xerox Corporation Domain objects for use in a freeform graphics system
US6377288B1 (en) * 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US6018346A (en) * 1998-01-12 2000-01-25 Xerox Corporation Freeform graphics system having meeting objects for supporting meeting objectives
CA2267733A1 (en) * 1998-04-06 1999-10-06 Smart Technologies, Inc. Method for editing objects representing writing on an electronic writeboard
WO2000030232A1 (en) 1998-11-19 2000-05-25 X/Net Associates, Inc. Method and system for external notification and/or resolution of software errors
US6952803B1 (en) * 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6456296B1 (en) * 1999-05-28 2002-09-24 Sony Corporation Color scheme for zooming graphical user interface
US6915484B1 (en) * 2000-08-09 2005-07-05 Adobe Systems Incorporated Text reflow in a structured document
US7552139B2 (en) * 2001-03-19 2009-06-23 Xerox Corporation Represented object groups
US20020152240A1 (en) * 2001-04-16 2002-10-17 Parascript Llc Insertion of space in a geometric document
US6903751B2 (en) * 2002-03-22 2005-06-07 Xerox Corporation System and method for editing electronic images
US7360156B1 (en) * 2002-10-09 2008-04-15 Microsoft Corporation Method and system for performing actions on content in a region within a free form two-dimensional workspace
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
US7218330B1 (en) * 2003-01-07 2007-05-15 Microsoft Corporation Method and system for selecting elements in a graphical user interface
US7461354B2 (en) * 2003-03-18 2008-12-02 International Business Machines Corporation System and method for consolidating associated buttons into easily accessible groups
US20050125736A1 (en) * 2003-12-09 2005-06-09 International Business Machines Corporation Personalized desktop workspace icon organizer
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
KR100703690B1 (ko) * 2004-11-19 2007-04-05 삼성전자주식회사 스킨 이미지를 사용하여 아이콘을 그룹별로 관리하는사용자 인터페이스 및 방법
US7503009B2 (en) * 2005-12-29 2009-03-10 Sap Ag Multifunctional icon in icon-driven computer system
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8898701B2 (en) * 2006-12-29 2014-11-25 Verizon Patent And Licensing Inc. Method and system for providing attribute browsing of video assets
US9817436B2 (en) * 2007-01-07 2017-11-14 Apple Inc. Portable multifunction device, method, and graphical user interface for displaying user interface objects adaptively
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
AU2009203914A1 (en) * 2008-01-09 2009-07-16 Smart Technologies Ulc Multi-page organizing and manipulating electronic documents
JP4533943B2 (ja) * 2008-04-28 2010-09-01 株式会社東芝 情報処理装置、表示制御方法およびプログラム
JP5161690B2 (ja) * 2008-07-31 2013-03-13 キヤノン株式会社 情報処理装置及びその制御方法
JP4577428B2 (ja) * 2008-08-11 2010-11-10 ソニー株式会社 表示装置、表示方法及びプログラム
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치
US9760234B2 (en) 2008-10-14 2017-09-12 International Business Machines Corporation Desktop icon management and grouping using desktop containers
US8490026B2 (en) * 2008-10-27 2013-07-16 Microsoft Corporation Painting user controls
US8407606B1 (en) 2009-01-02 2013-03-26 Perceptive Pixel Inc. Allocating control among inputs concurrently engaging an object displayed on a multi-touch device
CN105930311B (zh) 2009-02-18 2018-10-09 谷歌有限责任公司 执行与再现文档关联的动作的方法、移动设备和可读介质
US9229615B2 (en) * 2009-02-23 2016-01-05 Nokia Technologies Oy Method and apparatus for displaying additional information items
US20100229129A1 (en) * 2009-03-04 2010-09-09 Microsoft Corporation Creating organizational containers on a graphical user interface
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8661033B2 (en) * 2009-03-31 2014-02-25 Innography, Inc. System to provide search results via a user-configurable table
US20100257462A1 (en) * 2009-04-01 2010-10-07 Avaya Inc Interpretation of gestures to provide visual queues
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US8669945B2 (en) * 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
JP5141984B2 (ja) * 2009-05-11 2013-02-13 ソニー株式会社 情報処理装置および方法
US20100313239A1 (en) * 2009-06-09 2010-12-09 International Business Machines Corporation Automated access control for rendered output
US20110087999A1 (en) * 2009-09-30 2011-04-14 International Business Machines Corporation Set definition in data processing systems
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8698762B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
CN102770835B (zh) 2010-01-20 2016-01-06 诺基亚公司 用于组织图形项的方法和设备
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
WO2011134046A1 (en) 2010-04-26 2011-11-03 Smart Technologies Ulc Method for handling objects representing annotations on an interactive input system and interactive input system executing the method
KR101651134B1 (ko) 2010-06-24 2016-08-29 엘지전자 주식회사 이동 단말기 및 이것의 그룹 동작 제어 방법
WO2012050251A1 (ko) * 2010-10-14 2012-04-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5849502B2 (ja) * 2011-08-01 2016-01-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9514717B2 (en) 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US20130080950A1 (en) * 2011-09-27 2013-03-28 International Business Machines Corporation Incrementally self-organizing workspace
EP2820576A4 (en) 2012-02-29 2015-11-18 Nokia Technologies Oy METHOD AND DEVICE FOR PRESENTING OBJECTS AT A USER INTERFACE
US20130246975A1 (en) * 2012-03-15 2013-09-19 Chandar Kumar Oddiraju Gesture group selection
US9400592B2 (en) 2012-03-26 2016-07-26 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for digital-marking-surface space and display management
US20140059496A1 (en) * 2012-08-23 2014-02-27 Oracle International Corporation Unified mobile approvals application including card display
US9348486B2 (en) * 2012-10-02 2016-05-24 Blackberry Limited Method and device for performing visual set operations to modify and generate lists
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
KR20140070040A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 터치스크린 상에 표시되는 복수의 객체들을 관리하는 장치 및 방법
US10331777B2 (en) 2013-12-31 2019-06-25 Barnes & Noble College Booksellers, Llc Merging annotations of paginated digital content
US9792272B2 (en) * 2013-12-31 2017-10-17 Barnes & Noble College Booksellers, Llc Deleting annotations of paginated digital content
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US5404442A (en) * 1992-11-30 1995-04-04 Apple Computer, Inc. Visible clipboard for graphical computer environments
US5544302A (en) * 1993-06-03 1996-08-06 Taligent, Inc. Object-oriented framework for creating and using container objects with built-in properties
US5583984A (en) * 1993-06-11 1996-12-10 Apple Computer, Inc. Computer system with graphical user interface including automated enclosures
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US5568639A (en) * 1993-11-24 1996-10-22 Menai Corporation Method and apparatus for providing an object-oriented file structuring system on a computer
US5619637A (en) * 1993-12-02 1997-04-08 International Business Machines Corporation Method and system for automatic storage of an object within a container object within a graphical user interface within a data processing system
US5471578A (en) * 1993-12-30 1995-11-28 Xerox Corporation Apparatus and method for altering enclosure selections in a gesture based input system
US5509114A (en) * 1993-12-30 1996-04-16 Xerox Corporation Method and apparatus for correcting and/or aborting command gestures in a gesture based input system
JPH086707A (ja) * 1993-12-30 1996-01-12 Xerox Corp スクリーン指向ディスプレー処理システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2007328456A (ja) * 2006-06-06 2007-12-20 Univ Of Tokyo オブジェクト表示処理装置、オブジェクト表示処理方法、およびオブジェクト表示処理用プログラム
WO2012169135A1 (en) * 2011-06-08 2012-12-13 Sony Corporation Information processing device, information processing method and computer program product
JP2012256172A (ja) * 2011-06-08 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10108643B2 (en) 2011-06-08 2018-10-23 Sony Corporation Graphical interface device, graphical interface method and medium
JP2014071763A (ja) * 2012-09-28 2014-04-21 Fuji Xerox Co Ltd 表示制御装置、画像表示装置、およびプログラム
JP2014071762A (ja) * 2012-09-28 2014-04-21 Fuji Xerox Co Ltd 表示制御装置、画像表示装置、およびプログラム
US9524537B2 (en) 2012-09-28 2016-12-20 Fuji Xerox Co., Ltd. Display control apparatus and method, image display apparatus, and non-transitory computer readable medium for controlling a displayed image
CN103716452A (zh) * 2012-09-28 2014-04-09 富士施乐株式会社 显示控制设备和方法以及图像显示设备
KR101483611B1 (ko) * 2013-05-13 2015-01-21 주식회사 브이플랩 이미지에서 객체를 추출하기 위한 방법 및 단말기
JP2015215717A (ja) * 2014-05-09 2015-12-03 日本電信電話株式会社 関係性提示装置及び関係性提示プログラム
WO2016035800A1 (ja) * 2014-09-05 2016-03-10 Ｎｅｃソリューションイノベータ株式会社 オブジェクト管理装置、思考支援装置、オブジェクト管理方法、及びコンピュータ読み取り可能な記録媒体
JPWO2016035800A1 (ja) * 2014-09-05 2017-06-08 Ｎｅｃソリューションイノベータ株式会社 オブジェクト管理装置、思考支援装置、オブジェクト管理方法、及びコンピュータ読み取り可能な記録媒体
US10359920B2 (en) 2014-09-05 2019-07-23 Nec Solution Innovators, Ltd. Object management device, thinking assistance device, object management method, and computer-readable storage medium
JP2018018529A (ja) * 2017-08-28 2018-02-01 富士ゼロックス株式会社 表示制御装置、画像表示装置、およびプログラム

Also Published As

Publication number Publication date
EP0816999A3 (en) 1998-01-14
DE69732547T2 (de) 2005-07-21
US5784061A (en) 1998-07-21
DE69732547D1 (de) 2005-03-31
EP0816999B1 (en) 2005-02-23
EP0816999A2 (en) 1998-01-07
JP3973263B2 (ja) 2007-09-12

Similar Documents

Publication Publication Date Title
JP3973263B2 (ja) グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム
JP4602487B2 (ja) グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム
JP4616424B2 (ja) コンピュータ表示画面上におけるメニュー項目の表示方法
US6753888B2 (en) Display interface method and apparatus, and a computer-readable storage storing a program, for controlling a computer to perform displaying a plurality of objects and performing an operation for duplicating or moving at least one of the objects
US7576756B1 (en) System and method for interaction of graphical objects on a computer controlled system
US5233687A (en) User interface with multiple workspaces for sharing display system objects
CN110716680B (zh) 智能交互平板的控制方法和装置
JP4028031B2 (ja) 任意形状のリンクの曲線変換方法及びノードリンクダイヤグラムのトポロジを維持するための方法
JP3742428B2 (ja) ドラッグ・アンド・ドロップ操作時にコンテナ・オブジェクトを選択的にオープンするグラフィカル・ユーザ・インタフェースおよび方法
US11010032B2 (en) Navigating a hierarchical data set
US7068288B1 (en) System and method for moving graphical objects on a computer controlled system
JP4001660B2 (ja) コンピュータ制御ディスプレイシステム
US7398476B2 (en) Graphical list grouping widget and methods of use thereof
JPH0786820B2 (ja) 表示システムオブジェクトを共有する複数作業域によるユーザインタフェース
US20160210268A1 (en) Methods and systems for managing visual text objects using an outline-like layout
US20130111380A1 (en) Digital whiteboard implementation
JPH08263255A (ja) 階層データ表示方法及びブラウザシステム
JPH10326136A (ja) ウインドウパネルを拡大及び縮小する方法及び装置
JP2003330733A (ja) 情報仮置き場管理方法、情報仮置き場管理装置、画像形成装置、プログラム及び記憶媒体
JP3992788B2 (ja) コンピュータ制御ディスプレイシステム
US20110107256A1 (en) Zooming Task Management
JP2008191790A (ja) プラント監視制御システム及びプラント監視制御プログラム
JPH10154070A (ja) ユーザインタフェース設計装置及び方法
JP2016057928A (ja) 情報表示プログラム及び情報表示方法
JP4094706B2 (ja) コンピュータ制御デイスプレイシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070612

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term