JP4602487B2 - グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム - Google Patents
グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム Download PDFInfo
- Publication number
- JP4602487B2 JP4602487B2 JP16314497A JP16314497A JP4602487B2 JP 4602487 B2 JP4602487 B2 JP 4602487B2 JP 16314497 A JP16314497 A JP 16314497A JP 16314497 A JP16314497 A JP 16314497A JP 4602487 B2 JP4602487 B2 JP 4602487B2
- Authority
- JP
- Japan
- Prior art keywords
- enclosure
- gesture
- graphic
- graphic object
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、グラフィックベースコンピュータシステムにおけるオペレーティングの分野に関し、更に詳細には、前記グラフィックベースコンピュータシステム中に表示されるグラフィックオブジェクトを集めて定義することに関する。
【０００２】
【従来技術及び発明が解決しようとする課題】
ペンベースシステム及び「電子ホワイトボード(electronic whiteboard) 」［例えば、ゼロックス社(Xerox Corporation) の部門、"Liveworks" から入手可能な"liveBoard" （商標）］のようなコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスのような入力デバイスの利用に基づいたグラフィカルユーザインターフェースを提供する。このようなシステムにおいて、「ディスプレイ」は、データを示すための手段及び入力媒体の両方として働く。グラフィックオブジェクトは、ディスプレイ上に、入力デバイスを用いて作成するペンストロークによって「描写」されてもよい。グラフィックオブジェクトは、ワード（語）、図、又は表示できるあらゆるものを表現してもよい。次に、様々なオペレーションを、ジェスチャーとして知られている入力技法を用いてグラフィックオブジェクトに対して実行することができる。ジェスチャーは、自身が命令として解釈される単にペンストロークである。ペンストロークが残存的（persistent, 持続的) グラフィックオブジェクトを作成するか、又はペンストロークがジェスチャーとして扱われると、このようなシステムは、識別するためにオペレーションの描写モード及びオペレーションのジェスチャーモードを有することになる。
【０００３】
LiveBoard のような電子ホワイトボードは、典型的には、ミーティングのような共同アクティビティと関連して使われる。それを使用して、リストや図等を表現するグラフィックオブジェクトが描写される。このようなシステムに対する共通オペレーションは、ユーザがグラフィックオブジェクトをグループ化することであり、オペレーションを、オブジェクトに一つのグループ化ユニット（単位）として適用することができる（例えば、オブジェクトをグループで移動して、そのグループのメンバ間に空間オリエンテーションを保持する）。そのようなオペレーションは、所望のグラフィックオブジェクトを取り囲んで、グループ化オペレーションを実行するような選択ジェスチャーによって実行されてもよい。ユーザは、例えば、オブジェクトをグループ化せずに、それらに個別にオペレート（動作）する、オブジェクトを加える又はオブジェクトをグループから引く等、後でグループを変更したいことがあるかもしれない。典型的なグラフィカルユーザインターフェースでは、このようなグループ化オペレーションは、ユーザがグループを選択して、「 Ungroup（グループ解消）」コマンドを与え、所望のオブジェクトを再選択して、次に所望のグラフィックオブジェクトに「Group （グループ化）」コマンドを与えることにより達成される。ミーティングのような動的（ダイナミック）設定で実行される場合、このようなステップは不便である。従って、このようなシステムでは、グラフィックオブジェクトのグループを簡単に変更できる技法に対する要求がある。
【０００４】
「Apparatus and Method For Altering Enclosure Selections In A Gesture Based Input System」と題され、本願と同じ譲受人に譲渡された米国特許第５，４７１，５７８号（以下、’５７８号と記す）は、ユーザが全ジェスチャーを書き直す必要なく、選択ジェスチャーを変更することが可能になるグラフィカル編集システムを説明する。変更できる、即ち、ユーザが囲いサイズを拡張又は縮小可能な一組の後続ジェスチャーにより再形状化できる、一次的な(ephemeral) グラフィックオブジェクトとして処理される囲いを用いて、システムは選択を画定する。これらの変更ジェスチャーは、囲いの指定したポイント（点）又は部分を始動させてその形状を制御する。選択囲いを描写する場合、選択囲いに変更ジェスチャーとして関係するそれのロケーション（位置）で検出されるラインセグメントを描写することにより追加データを含むか又は除外して、既存の囲いを再形状化してラインセグメントを含むことができる。
【０００５】
残念ながら、一度、選択が行われると、’５７８号の特許の発明を直接的に使用してグラフィックオブジェクトのグループを変更することはできない。これは、選択囲いが、選択が存在している間に存在するだけの一時的なグラフィックオブジェクトであるためである。
【０００６】
グループによるオペレーティングについての他の欠点は、選択不足、即ち、グラフィックオブジェクトをグループとして扱うことができるという視覚的な指示がないというとである。グラフィックオブジェクトのグループ化を示し、邪魔にならず直観的な手段を提供することは望ましい。
【０００７】
従って、視覚的に明白で残存性であるグラフィックオブジェクトのグループと対話するための手段に対する要求がある。
【０００８】
このようなグラフィカルユーザインターフェースの別の望ましい能力は、グループ間に残存的ビジュアルリンクを提供できることである。従って、例えば、フローチャート又は状態図のような図で作業する場合に、図を変更するか、又は移動することができる。リンクを残存性にすることで、図の更新処理及び編集を単純化できる。
【０００９】
グラフィカルユーザインターフェースの更に別の制約は、限られた表示領域である。幾つかのシステム、例えば、前述の「LiveBoard 」システムでは、より多くの「未記録(unwritten) 」領域を得るために、「スクロール可能(scrollable)」なこともあるが、既に書き込まれているある種の情報を単に「隠す」か又は崩壊する(collapse)ことがより望ましい場合もある。この隠された情報は、所望されると、後で呼び戻せてもよい。オブジェクトは、書き込みに使用可能なより多くの情報空間を有するべきである。例えば、リストをプライオライズする（順位を付けて並べる）場合、そのリストの一部分が固定されると、それを隠すことができ、リストに載っているより多くの項目（アイテム）をスクロール（画面移動）する必要なく表示できる。
【００１０】
情報を一時的に「隠す」ための様々な手段は、従来技術で既知である。テキスト編集システムでは、テキストの様々なラインは、隠されて、点線又はいくつかの他のシンボルによって表現されてもよい。グラフィカルユーザインターフェースを有するシステムでは、アイコンを使用して「ファイル」、ドキュメント又はアプリケーションを表現してもよい。他のシステムは、画像の詳細なレベルを修正できる「ズーミング(zooming) 」を備える。フローチャーティングアプリケーションにより、選択時にフローチャートの「オフ−ページ」部分が表示されるようになっている「オフ−ページ」指示子が可能になる。
【００１１】
しかしならが、前述のアプローチのどれも、自由形態のグラフィカルユーザインターフェースを有するコンピュータシステムにおける要求事項に、特に適用することはできない。従って、グラフィックオリエンテッドシステムに於ける表示情報を隠す又は崩壊することができ、次いで、拡張してそれが表現する全情報を表すことができる手段を有すことは望ましい。
【００１２】
【課題を解決するための手段】
本発明の第１の態様はコンピュータ制御グラフィック編集システムでグラフィックオブジェクトのグループを作成し操作するための方法であって、（ａ） ユーザが第１のジェスチャーの実行において１つ以上のグラフィックオブジェクトの第１セットをグループ化する第１囲いグラフィックオブジェクトを描くステップを有し、（ｂ） 前記システムが前記第１のジェスチャーに応答して、１つ以上のグラフィックオブジェクトの第１セットが位置している領域の境界を定める可視的な境界でもって前記第１囲いグラフィックオブジェクトを画定するステップを有し、前記第１囲いグラフィックオブジェクトの前記可視的境界は視覚的に残存し、前記１つ以上のグラフィックオブジェクトの第１セットは選択可能であって、かつ、前記第１囲いグラフィックオブジェクトの可視的境界によって画定された領域内および領域外へと移動可能であり、（ｃ） 前記ユーザが前記第１のジェスチャーに続く第２のジェスチャーの実行において、前記第１のジェスチャーに応答するシステムによって作り出された前記第１囲いグラフィックオブジェクトの可視的境界に対し動作を加えるするステップを有し、（ｄ） 前記システムが、前記第２のジェスチャーの検出に応答して、前記第１囲いグラフィックオブジェクト及び前記１つ以上のグラフィックオジェクトの第１セットを選択及びグループ化するステップを有し、前記第１囲いグラフィックオブジェクトの可視的境界は前記ユーザの第１及び第２のジェスチャーの実行後においても持続する、ことを特徴とする。
【００１３】
本発明の第２の態様は、ディスプレイ及びグラフィックオブジェクトを生成するためのユーザ制御可能手段を含むコンピュータ制御グラフィックディスプレイシステムであって、ユーザによる第１のジェスチャーに応答し、グラフィックオブジェクトを囲いグラフィックオブジェクトとして識別するための囲い検出回路を有し、前記囲いグラフィックオブジェクトは前記第１のジェスチャーによって１つ以上のグラフィックオブジェクトのセットが位置している領域の可視的境界を画定する囲いとして描かれ、前記囲いグラフィックオブジェクトの可視的境界は視覚的に残存し、１つ以上のグラフィックオブジェクトの前記セットは選択され、かつ、前記囲いグラフィックオブジェクトの可視的領域によって画定される領域内及び領域外へと移動されることが可能であり、前記ユーザの前記囲いグラフィックオブジェクトの前記可視的境界に対し動作を加えるユーザによる第２のジェスチャーに応答して、前記囲いグラフィックオブジェクトと関連する１以上のグラフィックオブジェクトの前記セットを識別するためのグループ検出回路を有し、ジェスチャーの位置を検出するための位置検出回路を有し、前記第２のジェスチャーを複数の関連ジェスチャータイプの１つとして識別して、前記識別ジェスチャータイプに対応する前記囲いグラフィックオブジェクトの可視的境界にオペレーションを実行するためのジェスチャー解釈回路を有し、前記囲いグラフィックオブジェクトの可視的境界は前記ユーザの第１及び第２のジェスチャーの実行後においても持続する、ことを特徴とする。
【００１４】
本発明は、グラフィカルユーザインタフェースを有するコンピュータシステム中でグラフィックオブジェクトを編成するための方法及び装置を開示する。本発明は、グラフィックオブジェクトを編成するための対話技法を容易にし、これにより作成プロセスへの崩壊(disruption)が最小化される。グラフィックオブジェクトはディスプレイ上に作られるマーキングであり、これが、文字、ワード（語) 、図、画像、アイコン、又はグラフィカルユーザインタフェースを有するコンピュータシステム上に配することができるあらゆる他のオブジェクトを表現する。本発明は囲いに基づいてグラフィックオブジェクトを編成するという概念を前提として述べられている。囲いは、領域を画定するグラフィックオブジェクト自身である。囲いは、囲みループ、矩形、又はハイライト領域の境界線であってもよい。１つ以上のグラフィックオブジェクトが、囲いによる画定領域内に含まれてもよい。
【００１５】
囲いを、移動、グラフィックオブジェクトを追加又は除去するように変更、他の囲いとフューズ、若しくは複数の囲いを作成するように分割してもよい。囲いを選択することにより関連するグラフィックオブジェクトの各々も選択されるようになる。
【００１６】
囲いの変更は、２つのエンドポイントが囲いに「近接」する第１タイプのジェスチャーにより達成される。この種類のジェスチャーは、あらゆる形状を有することができるが、囲いに「近接」しているエンドポイントの要求を満足させなければならない。「近接」がディスプレイ解像度や描写される線の厚みのような様々なシステムファクタに依存する相対語であることに留意されたい。他のジェスチャーを使用して、選択囲いを拡大又は縮小してもよい。
【００１７】
囲いの移動は、囲いを選択し（その中身も選択する）、次にドラッグオペレーションを実行することにより達成される。あるいは、選択囲いを、（”＞”）ジェスチャーを使用して右に移動してもよい。
【００１８】
囲いのフュージングは暗示的でも明示的でもよい。暗示的フュージングは、囲いを単に選択して、それを別の囲いと重なるように移動することにより達成される。次に、２つの囲いを単一の囲いとして再描写して、重なった囲いにより形成された形状に基づいて全グラフィックオブジェクトをカバーする。明示的フュージングは、明示的フューズジェスチャーにより達成される。得られた囲い形状は、それぞれの囲い同士の間の空間的関係に依存する。
【００１９】
ユーザーが分割ジェスチャーを実行することにより、囲いの分割が生じる。囲いを分割するロケーションは、分割ジェスチャーが行われるロケーションに依存する。
【００２０】
また、囲いをリンクして、囲い同士間に様々な関係を確立してもよい。リンクは囲いに付けられたままなので、囲いを移動すると、リンクはそれに応じて伸びたり縮小する。また、リンクを横切るフュージングジェスチャーを使用すると、リンク囲いがフューズされてリンクが除去されるようになる。
【００２１】
【発明の実施の形態】
下記用語を本明細書の記述に用いる。それらの用語は下記に示す意味を有する。
グラフィックオブジェクト(Graphic Object)：２Ｄ空間のあらゆる表示オブジェクト。
カーブ(Curve) ：ユーザによる手作業で作られる（例えば、ペンストローク）又は、ジェスチャー等の他の手段により作られる（例えば「[ 」ジェスチャーから得られる矩形）、又はシステムにより生成される（例えば境界）、一次元のグラフィックオブジェクト。
ペンストローク(Pen Stroke)：ペンによる、インクストロークかジェスチャーになる動作。
インクストローク(Ink Stroke)：残存的カーブ（曲線）。
ジェスチャー(Gesture) ：一時的で、動作として解釈されるペンストロークで作られるカーブ。
囲い(Enclosure) ：それ自身で閉じて領域を画定するインクストローク。
囲い中身(Enclosure Contents)：囲いで画定された領域内に位置する一つ以上のグラフィックオブジェクト。
グループ(Group) ：それの中身をプラスした囲い。グループは単一のグラフィックオブジェクトとして働くことができ、例えば、その囲い上のタップジェスチャーがグループを選択する。
選択(Selection) ：選択によりタグ付けされるグラフィックオブジェクトのセット。
選択囲い(Selection Enclosure) ：いくつかのグラフィックオブジェクトを囲んでいるジェスチャー。これは選択を定義する通常の方法である。
リンク(Link) ：１つ又２つの囲いに触れる（即ち、それらをリンクする）インクストローク。囲いは自身とリンクされてもよい。
コンテナアイコン：他のグラフィックオブジェクトをそれらを表示することなく表現する小さなグラフィックオブジェクト。
変更(Alter) ：囲い及び潜在的にそれが含むグラグックオブジェクトを再形状化するオペレーション。
分割(Split) ：囲いを用いて、それを２つの異なる囲いに分割するオペレーションで、各囲いは独自の中身（内容）を有する。
フューズ(Fuse)：２つ以上の囲いを用いて、それらを、初期囲い中の全オブジェクトを含む１つの囲いに結合するオペレーション。
ハイライト領域(Highlighted Area)：通常、いくらかのグラフィック方法で強調される２Ｄ面の連続部分。それは、囲いの役目を果たす周辺部エッジを有する。
【００２２】
本発明は、描写プログラム又はペンベースシステム等のようなグラフィックオブジェクトを操作（処理）するあらゆるシステムに有用である。本発明は、プライオリティーを付けるミーティングのような共同アクティビティーを支援するのに特に有用であることがわかった。このようなアクティビティでは、ユーザは、項目のリストを作成して、その項目の順序又は空間的なレイアウトを操作する。例えば、図１（ａ）乃至（ｃ）を参照すると、従業員のランキングを論議している。第１ステップは、参加者全員が見ることができるホワイトボードのようなビジュアル媒体上に従業員の名前のリストを書き込むことである。これは、図１（ａ）に、表示領域１０２に書かれたリスト１０１として図示されている。次に、フィルタリングプロセスが起こり、ここで従業員をクラス１、２又は３の技能者(performer) としてほぼ分類して、その後、カテゴリー内でランク付けする。これは、図１（ｂ）に、分類リスト１２１〜１２３として示されている。本発明のシステムでは、これらの名前の各々は、グラフィックオブジェクトのセット（例えばインクストローク）によって表される。このように、名前の再構成は、選択及び移動オペレーションによって達成される。最後に、ランキングを各実行カテゴリー内で行って、フューズして一緒にして戻し、図１（ｃ）に示す最終的なランキングリスト１３０を得る。
【００２３】
このアクティビティには注目するいくつかの重要なことがある。ユーザがリスト項目をまわりに簡単に動かすことができることは、重要である。これは、項目（例えば、名前）をグループ化して、それらを単位としてドラッグできることを示す。例えば、図１（ｂ）に示す実行カテゴリーをグループとして移動可能である。しかし、そのグループは固定されておらず、それらはミーティングを通して変わる。項目は時々まとめられて、暗に単一ユニットとして扱われる。また、注釈を項目に作ることもでき、評価理由を記述してもよい。この注釈は項目と共にグループ化されるべきであり、例えば、それらは一緒に移動する。ユーザが項目の関係について考えを変えたり又は項目と関係する注を作ると、ユーザは項目をフューズ及び分割して容易に注釈を作れることは、有用であることが確認された。また、ユーザは、項目をグループ内で他のグループから独立して操作できなければならない。
【００２４】
本発明のこの好適な実施の形態は、グラフィックオブジェクトの残存的なグループ化を表現して操作するためのグラフィック技法である。その主な考えは、明示的な(explict) 囲いによりグループを指示することと、囲いに対するグラフィックオペレーションがグループを修正するようになっていることである。
【００２５】
本発明で使用できるようなコンピュータベースシステムを、図２に関して説明する。図２を参照すると、コンピュータベースのシステムは、バス２０１により連結される複数のコンポーネント（構成要素）を含んでいる。図示したバス２０１は本発明を明瞭にするために単純化されている。バス２０１は、バスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）と同様に複数の平行バス（例えばアドレス、データ及び状態バス）から成り得る。いずれにしても、コンピュータシステムは、バス２０１を介して内部メモリ２０３から与えられる命令を実行するためのプロセッサ２０２を、更に含んでいる（内部メモリ２０３は、典型的にはランダムアクセスメモリー又はリードオンリーメモリーの組み合わせであることに留意されたい）。オペレーション中には、本発明の様々な機能コンポーネントを実行するためのプログラム命令は、内部メモリ２０３に格納されている。プロセッサ２０２と内部メモリ２０３は、個別のコンポーネントでも単一の一体式デバイスでもよい。プロセッサ２０２と内部メモリ２０３は、本明細書中に記述する様々な処理機能を実行するための回路を含む。また、バス２０１には外部記憶装置２０７が連結されている。外部記憶装置２０７は、典型的には磁性又は光学ディスク記憶装置のような高容量記憶媒体である。
【００２６】
また、バス２０１にはディスプレイ２０４及びポインティングデバイス２０５も連結されている。この好適な実施の形態において、ポインティングデバイス２０５は、ペン駆動式のタッチセンシティブパネルであり、これは、タッチスクリーンディスプレイのようなディスプレイ２０４と一体化される。このようなタッチスクリーンディスプレイは、従来技術でよく知られており、ペンベースシステムのようなシステム中で、電子ホワイトボードシステム用に利用されている。しかし、ポインティングデバイス２０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよいために、ポインティングデバイス２０５とディスプレイ２０４は、一体化される必要はない。
【００２７】
図３は、本発明で使用可能なグラフィカルユーザインターフェースの特別な実施例を示す。図３を参照すると、グラフィカルユーザインターフェースはディスプレイ２０４上に表示され、タッチパネル２０５を通して対話されている。図示されるように、グラフィカルユーザインターフェースはワーク（作業）面を用いて、複数のアクセス可能機能３０１を使用してもよい。ワーク面３０２には、ユーザが様々なカーブ（曲線）を描写してもよい所、及び他のグラフィックオブジェクトが表示される所がある。アクセス可能機能３０１は、ディスプレイのボタン領域３０３に配置されている。機能３０１は、グラフィックオブジェクトを編集（作成、削除、移動、縮め等）、又はタッチパネル２０５の操作モードを変える（例えば、描写及びジェスチャーモードからの切り換え）ためのオペレーションを含んでもよい。
【００２８】
これらの機能は、代わりに、ウィンドウズ(Windows) 指向アプリケーションに一般に見られるプルダウンメニューでアクセスされてもよい。しかし、これらの機能は、指示が任意（オプション) であり、それらの主要な目的は、システムオペレーションに固有なオペレーションを定義することである。これらの機能は、ジェスチャーにより起動される同じ機能を実行してもよい。
【００２９】
本発明のこの好適な実施の形態は、グラフィカルユーザインタフェース(Graphical User Interface ; ＧＵＩ）を有するペンベースのシステムで実行される。このようなＧＵＩは、典型的には、グラフィックオブジェクトを選択／選択解除(deselecting) するための「タップ」、又はタップされるグラフィックオブジェクトと関連し得るオペレーションを起動するための「ダブルタップ」をサポートする。オブジェクトは、一度、選択されると、ワーク空間中の所望の位置にドラッグ及びドロップされる。
【００３０】
この好適な実施の形態のワーク空間は、グラフィックオブジェクトが他のグラフィックオブジェクトからほぼ独立するように自由形態を有し、また、グラフィックオブジェクトは任意構成を有してもよい。これは、ホワイトボードを使用する方法と一致している。しかし、ワーク面のユーザオペレーションを容易にするために、暗示構造（以下「構造」とする）の概念はサポートされている。この好適な実施の形態でサポートされている様々な種類の構造は、「Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System 」と題されて、本願の同じ譲受人に譲渡された、ＥＰＡ ０ ６６７ ５６７ Ａ２号に記述されている。概念的には、構造とは、特定の関係を有するグラフィックオブジェクトの集まり、例えば、項目リストである。構造オペレーションが生じると、項目間の関係は保持されている。例えば、項目をリストの中央に入力すると、その挿入場所の下の項目は、挿入項目用に空間を作るために下に動かされる。
【００３１】
本発明により、グラフィックオブジェクトのグループを、その対応する囲いを変更することにより操作する様々な技法が可能になる。図４のフロー図は基本対話を示し、これによりこの好適な実施の形態のグラフィック入力システムにオペレーションが生じ得る。図４を参照すると、電子ホワイトボードの使用中に、ユーザは、１つ以上のグラフィックオブジェクトの周りにクローズドカーブ（閉曲線）を、例えば、ジェスチャー又はリンクにより、作成する（ステップ４０１）。これは、電子ホワイトボードの内容を編成又は再構成することにより起こる。ユーザが他のオペレーションを実行したり他のグラフィックオブジェクトを生成し得る時間の後で、ユーザはジェスチャーを作成する（ステップ４０２）。システムは、ジェスチャーの近くに置かれたグラフィックオブジェクトを調べる（ステップ４０３）。グラフィックオブジェクトのうちの１つがクローズドカーブであるかどうかを見るために、特定のチェックが行われる（ステップ４０４）。この好適な実施の形態では、これはグラフィックオブジェクトの形状をチェックすることにより行われる。しかしながら、例えば、フラグをグラフィックオブジェクトに取り付ける等、他の技法を使用して、クローズドカーブであることを示すことは、当業者には明白であろう。いずれにしても、グラフィックオブジェクトがクローズドカーブでない場合、ジェスチャーは非囲い（non-enclosure)オペレーションとして解釈される（ステップ４０８）。
【００３２】
グラフィックオブジェクトのうちの１つがクローズドカーブである場合、システムはジェスチャーのタイプ（ステップ４０５）を識別する。ジェスチャータイプは典型的には、ジェスチャーを作成するために使用されるペンストロークの形状及び位置によって識別できる。次に、ジェスチャーオペレーションが囲いに有効であるか否かの決定がなされる（ステップ４０６）。有効でない場合、そのジェスチャーは、非囲いオペレーションとして解釈される（ステップ４０８）。ジェスチャーが囲いのオペレーションに有効なものであると決定されると、クローズドカーブを囲いとして扱い、その対応する囲いオペレーションを実行する（ステップ４０７）。ジェスチャーにより起動される様々な囲いオペレーションを下記に記述する。
【００３３】
グラフィックオブジェクトを、それの囲いを再形状化することにより追加、又は囲いをフュージングすることによりグループから除去することができる。グループをコンテナアイコンと呼ばれる（脚注に類似している）代わりのグラフィックオブジェクトによって崩壊及び表現してもよい。この好適な実施の形態の特徴及び利点は、下記の記述で明白になる。
【００３４】
本発明の重要な概念は、残存的なグラフィックオブジェクトとしての囲いの概念である。従来技術と対比するために、選択囲いは、選択オペレーションが実行されている間だけ存在する一時的なグラフィックオブジェクトとする。複数のグラフィックオブジェクトを単一オペレーションで操作するためには、グラフィックオブジェクトの各々を、グループとして「選択」しなければならない。よって、グラフィックオブジェクトの選択が残存性になるようにグラフィックオブジェクトのセットをグループ化することはしばしば望ましい。従来技術に記述されたように、グループの中身を変更するための既知の技法には、不便である。
【００３５】
残存的グラフィックオブジェクトとしての囲いは、以下の特徴を有する。
− 囲いは、典型的にはインクストロークであるが、固定領域とその境界（例えばハイライト領域）を画定する、あらゆるグラフィックオブジェクトでもよい。
− 囲いがインクストロークである場合、それらはストロークの始まりがストロークの終りと「閉じ」られているループ形ストロークである。インクストロークはまた、多くのグラフィカルフューザインタフェースで見られる矩形生成オペレーションを用いて作成される矩形でもよい。
− 囲いの内側は、固定領域を画定する。よって、例えば、各領域は、（グラフィックオブジェクトにより表現される）項目リストを保持できる。
− 囲いを選択することが、グループ、即ち、囲いと囲いによる画定領域内のグラフィックオブジェクト、を選択する。
− 囲いは、グラフィックオブジェクトの関連する集合を削除せずに消去されてもよい、即ち、囲いは、まさに他のインクストロークと同様である。
− グラフィックオブジェクトを選択して、囲いによる画定領域中へ又はそこから移動することができる。
【００３６】
囲いがグラフィックオブジェクトであるために、グラフィックオブジェクトに実行できるオペレーション、例えば、消去、即ち、色又は厚み等の変化の「拭き取り(wiping)」を囲いに実行することができる。囲いに実行されるオペレーションは、グループに同じ影響を与える。グループにオペレートするために、一般に実行すべき第１のステップは、囲いを選択することである。選択は、図５及び図６に関して示される。図５は、「ＡＢＣ」５０１で表現され、囲い５０２で囲まれているグラフィックオブジェクトを示す。囲いとして認識されるように、囲いのエンドポイントは十分に接近していなければならない。この十分な近さは、表示領域の解像度及びストロークの厚みのようなパラメータに依存する。グラフィックオブジェクト５０１及び囲い５０２の選択は、囲い５０２上の「タップ」ジェスチャー５０３により指示される。図６を参照すると、囲い５０２は、囲まれたグラフィックオブジェクト５０１と一緒に選択されている。このことは、選択ループ６０１の表示で示されている。更に、囲い５０２及びグラフィックオブジェクト５０１はグループを構成する。この好適な実施の形態において、選択は、囲い上のタップジェスチャーによって達成されるが、選択技法（例えば、他のタイプのジェスチャー）を使用してもよい。
【００３７】
一度、グループが選択されると、グループ全体に影響を及ぼす他のオペレーションを実行できる。グループは、カラーの変更、グループの縮小又は拡張を、［例えば、ドラッギング又は右閉じくさび形（＞）ジェスチャーによって］移動、又は［例えば、左閉じくさび形（＜）ジェスチャーによって］コピーさせることができる。選択された囲いの中身に影響する他のオペレーションを以下に記述する。
【００３８】
囲い中身の変更は、単にオブジェクトを囲い中へ移動、又は囲い中から移動、オブジェクトを消去する等によって達成されてもよい。上述したように、ユーザは、囲いを変更してその形状を変更してもよい。囲いの形状を変えることは、グラフィックオブジェクトを追加又は除去するユーザにとって便利な技法を提供する。ユーザは、他のグラフィックオブジェクトを含むように囲いを変更することによって、若しくはグラフィックオブジェクトを囲い中に移動又は新しいグラフィックオブジェクトを囲い内に作成できるように囲いを大きくすることによって、グラフィックオブジェクトをグループに追加してもよい。除去されるべきグラフィクオブジェクトが囲いによる画定領域内に無くなるように、囲いを再形状化することによりユーザはグラフィックオブジェクトをグループから除去してもよい。
【００３９】
エンドポイントが囲いの２点と接触するペンクトロークにより、変更ジェスチャーを作成する。一般に、このシステムは、ペンストローク及びそのペンストロークがクローズドカーブ（即ち、囲い）の２点と接触したことを検出する。次に、ペンストロークは、ペンストロークが囲いに接触した場所に基づいてクローズドカーブの形状を変更する囲いジェスチャ−として扱われる。
【００４０】
図７及び図８には、グラフィックオブジェクトを囲いへ追加することが示されている。図７を参照すると、ペンストローク７０１は、第１ポイント７０２と第２ポイント７０３で囲い７０４と接触する。これにより、ペンストローク７０１は変更ジェスチャーとして扱われるようになり、それに従って囲い７０４が変更されるようになる。図７では、グラフィックオブジェクト「１２」７０５を、グループに追加するようになっている。次に、図８を参照すると、完成時に、元の囲い７０４の形状を有しながらペンストローク７０１の形状が「隆起（バンプ）」として追加される囲い８０１が作成されている。
【００４１】
図９及び図１０は、グラフィックオブジェクトを除去するための囲いの変更を示す。図９を参照すると、ペンストローク９０１は、第１ポイント９０２及び第２ポイント９０３で囲い９０４と接触する。上記のように、これによりペンストローク９０１が、変更ジェスチェーとして扱われるようになる。しかしながら、ここではペンストロークが囲い９０４による画定領域内にあることが決定さるので、その変更とは、領域の一部分を「切除」することである。次に図１０を参照すると、これはペンストローク９０１に対応する部分を除去する形状を取る新しい囲い１００１となる。これは、グラフィックオブジェクト１００２、即ち、英字「Ｃ」をグループから効果的に除去している。
【００４２】
グラフィックオブジェクトを除去する変更ジェスチャーの場合、囲いの部分についてなされるべき決定は、「切除」することである。この好適な実施の形態は、囲いの「最大」部分が保持されるべき部分であるというヒューリスティックでオペレートする。
【００４３】
囲いを分割することにより、２つの新しい囲いが作成され、元の囲いが除去される。例えば、リストを操作する場合、リストのサブリストだけを操作することがより適当であることが決定されることもある。分割ジェスチャーは、前後運動で作成されるペンストロークにより生じる。ペンストロークは、分割されるべき囲いによるで画定領域に含まれていた少なくとも部分であったことになる。分割ジェスチャーは、それがオペレーティングすることになる囲いを空間的に検出し、ジェスチャーのロケーションが分割ロケーションを指示するようにオペレートする。
【００４４】
図１１及び図１２は、分割ジェスチャーを用いて囲いを分割し、１つの囲いから２つの囲いを作成することを示す。図１１を参照すると、囲い１１０２による画定領域内にある分割ジェスチャー１１０１が描写されている。分割ジェスチャーによって、囲い１１０２がジュスチャーがほぼ生じた地点で分割されるようになる。これは、図１２に、囲い１２０１及び１２０２で示されている。
【００４５】
図１３及び図１４は、分割ジェスチャーが複数の囲いを横切るように実行されることにより、両方の囲いを分割できることを示す。図１３を参照すると、分割ジェスチャー１３０１は、囲い１３０２及び１３０３を横切る。次に、図１４を参照すると、囲い１４０１及び１４０２は囲い１３０２から作成され、また囲い１４０３及び１４０４は囲い１３０３から作成されている。
【００４６】
囲いをフュージングすることにより、フューズ囲いの中身が単一の囲いの下で組み合わされるようになる。フュージョンはそれが暗示的又は明示的であるように、実行可能である。図１５乃至図１７は暗示的フュージングの例を示す。図１５を参照すると、選択囲い１５０２は、それが囲い１５０１とオーバーラップ（重なる）ように移動される。その移動結果を図１６に示す。フュージングは図１７に示す。ここでは、囲い１５０１及び１５０２の各々の中身は、新たな囲い１７０１の領域内にある。囲い１７０１の形状は、重なった囲い１５０１及び１５０２の境界に対応する。
【００４７】
しかし、暗示的フュージングは望ましくない結果をもたらすことがある。例えば、囲いを移動している間に、それが偶然、他の囲いと重なるように配置されることがある。これにより、それらが偶然にフューズされることになると、囲いに分割するように要求するであろう。更に、グラフィカルユーザインターフェースのいくらかの使用の場合、例えばベン図(Venn Diagrams) を描写する等、重なるクローズドカーブを有することは望ましい。従って、明示的フュージングを、この好適な実施の形態ではデフォルト値として提供する。明示的フュージングでは、フュージングジェスチャー、ここでは、特定の位置にあるクローズドカーブ形状のペンストロークを使用して、囲いをフューズする。フュージングオペレーションは、フュージングジェスチャーが接触する囲いの各々に実行されることになる。
【００４８】
図１８及び図１９は、囲いが重なる時の明示的なフュージングの単純な例を示す。図１８を参照すると、囲い１８０１と１８０２が重なる。次に、フュージングループジェスチャー１８０３を実行する。その結果を図１９に示し、ここでは、囲い１８０１と１８０２の各々の中身は新たな囲い１９０１の領域内にある。
囲い１９０１の形状は重なった囲い１８０１と１８０２の境界に対応する。
【００４９】
図２０及び図２１は、フュージングジェスチャーを用いて明示的フュージングを更に示す。図２０を参照すると、囲い２００２と２００３は重ならない。フュージングジェスチャー２００１は、囲い２００２と２００３の両方の境界に接触する。これは、図２１の囲い２１０１となる。得られた囲い２１０１の形状は、フュージングジェスチャー２００１がまるで囲い２００２と２００３を連結していたかのようにフュージングジェスチャー２００１の形状を帯びている。
【００５０】
囲いをフュージングするための更なる手段は、囲い間のリンクに関して下記に記述する。
【００５１】
リンクは、一つ以上の囲いの間にビジュアル連結を提供するために使われるインクストロークである。リンクは、以下の特徴を有する。
− リンクは、少なくとも１つの囲い（即ち、一端部）及び多くとも２つの囲いと関係する。囲いと関係するために、リンクのエンドポイント（終点）は、囲いに「接触」しなくてはならない。
− 囲いは、複数のリンクを有してもよい。
− 囲いを選択することによりそのリンクが強調（ハイライト）される。
− リンクは自由形式である、即ち、あらゆる形状とすることができる。
− 囲いと関係するリンクは残存性なので、それらは囲いの移動／拡大／又は縮小時に再形状化して接触を維持する。即ち、リンクにより与えられる囲い間の連結は常に保持されている。
−リンクは、リンクエンドポイントを選択して移動することにより変更可能である。
【００５２】
リンクを使用可能な１つの方法には、囲いをフュージングするためのものがある。明示的なフュージョンがフュージングジェスチャーを実行することにより行われるので、フュージングジェスチャーはリンクに接触する。これは、図２２及び図２３に示されている。図２２を参照すると、囲い２２０１及び２２０２はリンク２２０３によりリンクされている。リンク２２０３に接触するフュージングジェスチャー２２０４を実行する。その結果が、図２３の囲い２３０１である。囲い２３０１の形状はリンクに沿って２つの囲いを連結する形状である。囲いをフューズ後、リンク２２０３は除去されている。
【００５３】
図２４及び図２５は、囲いを移動する時の、囲い及び関連リンクの選択並びにリンクの再形状化を示す。図２４を参照すると、囲い２４０１は、リンク２４０４により囲い２４０２、及びリンク２４０５により囲い２４０３とリンクされている。囲い２４０２と２４０３はリンク２４０６によってリンクされている。また、囲い２４０３が選択されることにより、リンク２４０５と２４０６が選択されるようになっている。このことは、囲い２４０３及びリンク２４０５と２４０６の点線のアウトラインで示されている。図２５では、囲い２４０３を移動したことにより、リンク２４０５と２４０６が再形状化されるようになっている。明確に再形状化されたが、リンク２４０６がその基本的な形状特徴を維持したことに留意されたい。これは、固定位置としてリンクの静的エンドポイントを使用して、囲いを移動する場所に応じて再形状化リンクをスケール化及び／又はフリップする（はじく）再形状化技法により行われている。最終的に、囲いの移動時に、それぞれのリンクのエンドポイント２４０７及び２４０８が、それらの位置を、囲い２４０３上に維持することに留意されたい。
【００５４】
図２６及び図２７は、リンクエンドポイントの選択及び移動を示す。リンクエンドポイントの移動は、図が再構成、さもなければ変更される必要がある時に、望ましい。図２６を参照すると、リンク２４０４のエンドポイント２６０１が選択されている。ここではエンドポイント２６０１は囲い２４０２上にある。リンクエンドポイントの選択は、エンドポイント付近の点線の円で指示されている。一度、選択されると、エンドポイントは移動可能である。このような移動の結果を図２７に示す。図２７を参照すると、エンドポイント２６０１は囲い２４０３へ移動されている。
【００５５】
囲い同士間にリンクを設けることは、特に囲いを再配置する時に有用である。囲い同士間に視覚的関係を保持できると、それらが移動されても、グラフィックベースシステムを円滑に使用するのに役立つ。
【００５６】
リンクの囲いからの切り離しを、２つの方法の内の１つで達成することができる。まず、囲いを、リンクのエンドポイントにそれ以上「接触」しないように変更してもよい。あるいは、リンクのエンドポイントを、囲いにそれ以上接触しないように選択して移動してもよい。リンクの切り離しは、残存性を維持するためのヒューリスティックのためにリンクが囲いを横断するような望ましくない結果が生じる場合に、有用になり得る。
【００５７】
また、リンクを囲いへ同様の技法を使用して付けてもよい。まず、囲いを、それがリンクのエンドポイントと「接触」するように変更してもよい。第２番目に、リンクのエンドポイントを、それが囲いと接触するように選択して移動してもよい。
【図面の簡単な説明】
【図１】（ａ）は本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｂ）も本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｃ）も本発明のこの好適な実施の形態を使用可能な概要の例を示す。
【図２】本発明のこの好適な実施の形態で使用可能なコンピュータベースのシステムのブロック図である。
【図３】ディスプレイに表示されて、図２のタッチセンシティブパネルを介してインタフェースされるような基本的なグラフィカルユーザインターフェースの表現である。
【図４】本発明のこの好適な実施の形態で利用可能なグラフィックベースシステムの基本ユーザインタフェースオペレーションを示すフロー図である。
【図５】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図６】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図７】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図８】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図９】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１０】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１１】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１２】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１３】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１４】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１５】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１６】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１７】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１８】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図１９】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図２０】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２１】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２２】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２３】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２４】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２５】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２６】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２７】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【符号の説明】
５０１ グラフィックオブジェクト
５０２ 囲い
５０３ タップジェスチャー
【発明の属する技術分野】
本発明は、グラフィックベースコンピュータシステムにおけるオペレーティングの分野に関し、更に詳細には、前記グラフィックベースコンピュータシステム中に表示されるグラフィックオブジェクトを集めて定義することに関する。
【０００２】
【従来技術及び発明が解決しようとする課題】
ペンベースシステム及び「電子ホワイトボード(electronic whiteboard) 」［例えば、ゼロックス社(Xerox Corporation) の部門、"Liveworks" から入手可能な"liveBoard" （商標）］のようなコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスのような入力デバイスの利用に基づいたグラフィカルユーザインターフェースを提供する。このようなシステムにおいて、「ディスプレイ」は、データを示すための手段及び入力媒体の両方として働く。グラフィックオブジェクトは、ディスプレイ上に、入力デバイスを用いて作成するペンストロークによって「描写」されてもよい。グラフィックオブジェクトは、ワード（語）、図、又は表示できるあらゆるものを表現してもよい。次に、様々なオペレーションを、ジェスチャーとして知られている入力技法を用いてグラフィックオブジェクトに対して実行することができる。ジェスチャーは、自身が命令として解釈される単にペンストロークである。ペンストロークが残存的（persistent, 持続的) グラフィックオブジェクトを作成するか、又はペンストロークがジェスチャーとして扱われると、このようなシステムは、識別するためにオペレーションの描写モード及びオペレーションのジェスチャーモードを有することになる。
【０００３】
LiveBoard のような電子ホワイトボードは、典型的には、ミーティングのような共同アクティビティと関連して使われる。それを使用して、リストや図等を表現するグラフィックオブジェクトが描写される。このようなシステムに対する共通オペレーションは、ユーザがグラフィックオブジェクトをグループ化することであり、オペレーションを、オブジェクトに一つのグループ化ユニット（単位）として適用することができる（例えば、オブジェクトをグループで移動して、そのグループのメンバ間に空間オリエンテーションを保持する）。そのようなオペレーションは、所望のグラフィックオブジェクトを取り囲んで、グループ化オペレーションを実行するような選択ジェスチャーによって実行されてもよい。ユーザは、例えば、オブジェクトをグループ化せずに、それらに個別にオペレート（動作）する、オブジェクトを加える又はオブジェクトをグループから引く等、後でグループを変更したいことがあるかもしれない。典型的なグラフィカルユーザインターフェースでは、このようなグループ化オペレーションは、ユーザがグループを選択して、「 Ungroup（グループ解消）」コマンドを与え、所望のオブジェクトを再選択して、次に所望のグラフィックオブジェクトに「Group （グループ化）」コマンドを与えることにより達成される。ミーティングのような動的（ダイナミック）設定で実行される場合、このようなステップは不便である。従って、このようなシステムでは、グラフィックオブジェクトのグループを簡単に変更できる技法に対する要求がある。
【０００４】
「Apparatus and Method For Altering Enclosure Selections In A Gesture Based Input System」と題され、本願と同じ譲受人に譲渡された米国特許第５，４７１，５７８号（以下、’５７８号と記す）は、ユーザが全ジェスチャーを書き直す必要なく、選択ジェスチャーを変更することが可能になるグラフィカル編集システムを説明する。変更できる、即ち、ユーザが囲いサイズを拡張又は縮小可能な一組の後続ジェスチャーにより再形状化できる、一次的な(ephemeral) グラフィックオブジェクトとして処理される囲いを用いて、システムは選択を画定する。これらの変更ジェスチャーは、囲いの指定したポイント（点）又は部分を始動させてその形状を制御する。選択囲いを描写する場合、選択囲いに変更ジェスチャーとして関係するそれのロケーション（位置）で検出されるラインセグメントを描写することにより追加データを含むか又は除外して、既存の囲いを再形状化してラインセグメントを含むことができる。
【０００５】
残念ながら、一度、選択が行われると、’５７８号の特許の発明を直接的に使用してグラフィックオブジェクトのグループを変更することはできない。これは、選択囲いが、選択が存在している間に存在するだけの一時的なグラフィックオブジェクトであるためである。
【０００６】
グループによるオペレーティングについての他の欠点は、選択不足、即ち、グラフィックオブジェクトをグループとして扱うことができるという視覚的な指示がないというとである。グラフィックオブジェクトのグループ化を示し、邪魔にならず直観的な手段を提供することは望ましい。
【０００７】
従って、視覚的に明白で残存性であるグラフィックオブジェクトのグループと対話するための手段に対する要求がある。
【０００８】
このようなグラフィカルユーザインターフェースの別の望ましい能力は、グループ間に残存的ビジュアルリンクを提供できることである。従って、例えば、フローチャート又は状態図のような図で作業する場合に、図を変更するか、又は移動することができる。リンクを残存性にすることで、図の更新処理及び編集を単純化できる。
【０００９】
グラフィカルユーザインターフェースの更に別の制約は、限られた表示領域である。幾つかのシステム、例えば、前述の「LiveBoard 」システムでは、より多くの「未記録(unwritten) 」領域を得るために、「スクロール可能(scrollable)」なこともあるが、既に書き込まれているある種の情報を単に「隠す」か又は崩壊する(collapse)ことがより望ましい場合もある。この隠された情報は、所望されると、後で呼び戻せてもよい。オブジェクトは、書き込みに使用可能なより多くの情報空間を有するべきである。例えば、リストをプライオライズする（順位を付けて並べる）場合、そのリストの一部分が固定されると、それを隠すことができ、リストに載っているより多くの項目（アイテム）をスクロール（画面移動）する必要なく表示できる。
【００１０】
情報を一時的に「隠す」ための様々な手段は、従来技術で既知である。テキスト編集システムでは、テキストの様々なラインは、隠されて、点線又はいくつかの他のシンボルによって表現されてもよい。グラフィカルユーザインターフェースを有するシステムでは、アイコンを使用して「ファイル」、ドキュメント又はアプリケーションを表現してもよい。他のシステムは、画像の詳細なレベルを修正できる「ズーミング(zooming) 」を備える。フローチャーティングアプリケーションにより、選択時にフローチャートの「オフ−ページ」部分が表示されるようになっている「オフ−ページ」指示子が可能になる。
【００１１】
しかしならが、前述のアプローチのどれも、自由形態のグラフィカルユーザインターフェースを有するコンピュータシステムにおける要求事項に、特に適用することはできない。従って、グラフィックオリエンテッドシステムに於ける表示情報を隠す又は崩壊することができ、次いで、拡張してそれが表現する全情報を表すことができる手段を有すことは望ましい。
【００１２】
【課題を解決するための手段】
本発明の第１の態様はコンピュータ制御グラフィック編集システムでグラフィックオブジェクトのグループを作成し操作するための方法であって、（ａ） ユーザが第１のジェスチャーの実行において１つ以上のグラフィックオブジェクトの第１セットをグループ化する第１囲いグラフィックオブジェクトを描くステップを有し、（ｂ） 前記システムが前記第１のジェスチャーに応答して、１つ以上のグラフィックオブジェクトの第１セットが位置している領域の境界を定める可視的な境界でもって前記第１囲いグラフィックオブジェクトを画定するステップを有し、前記第１囲いグラフィックオブジェクトの前記可視的境界は視覚的に残存し、前記１つ以上のグラフィックオブジェクトの第１セットは選択可能であって、かつ、前記第１囲いグラフィックオブジェクトの可視的境界によって画定された領域内および領域外へと移動可能であり、（ｃ） 前記ユーザが前記第１のジェスチャーに続く第２のジェスチャーの実行において、前記第１のジェスチャーに応答するシステムによって作り出された前記第１囲いグラフィックオブジェクトの可視的境界に対し動作を加えるするステップを有し、（ｄ） 前記システムが、前記第２のジェスチャーの検出に応答して、前記第１囲いグラフィックオブジェクト及び前記１つ以上のグラフィックオジェクトの第１セットを選択及びグループ化するステップを有し、前記第１囲いグラフィックオブジェクトの可視的境界は前記ユーザの第１及び第２のジェスチャーの実行後においても持続する、ことを特徴とする。
【００１３】
本発明の第２の態様は、ディスプレイ及びグラフィックオブジェクトを生成するためのユーザ制御可能手段を含むコンピュータ制御グラフィックディスプレイシステムであって、ユーザによる第１のジェスチャーに応答し、グラフィックオブジェクトを囲いグラフィックオブジェクトとして識別するための囲い検出回路を有し、前記囲いグラフィックオブジェクトは前記第１のジェスチャーによって１つ以上のグラフィックオブジェクトのセットが位置している領域の可視的境界を画定する囲いとして描かれ、前記囲いグラフィックオブジェクトの可視的境界は視覚的に残存し、１つ以上のグラフィックオブジェクトの前記セットは選択され、かつ、前記囲いグラフィックオブジェクトの可視的領域によって画定される領域内及び領域外へと移動されることが可能であり、前記ユーザの前記囲いグラフィックオブジェクトの前記可視的境界に対し動作を加えるユーザによる第２のジェスチャーに応答して、前記囲いグラフィックオブジェクトと関連する１以上のグラフィックオブジェクトの前記セットを識別するためのグループ検出回路を有し、ジェスチャーの位置を検出するための位置検出回路を有し、前記第２のジェスチャーを複数の関連ジェスチャータイプの１つとして識別して、前記識別ジェスチャータイプに対応する前記囲いグラフィックオブジェクトの可視的境界にオペレーションを実行するためのジェスチャー解釈回路を有し、前記囲いグラフィックオブジェクトの可視的境界は前記ユーザの第１及び第２のジェスチャーの実行後においても持続する、ことを特徴とする。
【００１４】
本発明は、グラフィカルユーザインタフェースを有するコンピュータシステム中でグラフィックオブジェクトを編成するための方法及び装置を開示する。本発明は、グラフィックオブジェクトを編成するための対話技法を容易にし、これにより作成プロセスへの崩壊(disruption)が最小化される。グラフィックオブジェクトはディスプレイ上に作られるマーキングであり、これが、文字、ワード（語) 、図、画像、アイコン、又はグラフィカルユーザインタフェースを有するコンピュータシステム上に配することができるあらゆる他のオブジェクトを表現する。本発明は囲いに基づいてグラフィックオブジェクトを編成するという概念を前提として述べられている。囲いは、領域を画定するグラフィックオブジェクト自身である。囲いは、囲みループ、矩形、又はハイライト領域の境界線であってもよい。１つ以上のグラフィックオブジェクトが、囲いによる画定領域内に含まれてもよい。
【００１５】
囲いを、移動、グラフィックオブジェクトを追加又は除去するように変更、他の囲いとフューズ、若しくは複数の囲いを作成するように分割してもよい。囲いを選択することにより関連するグラフィックオブジェクトの各々も選択されるようになる。
【００１６】
囲いの変更は、２つのエンドポイントが囲いに「近接」する第１タイプのジェスチャーにより達成される。この種類のジェスチャーは、あらゆる形状を有することができるが、囲いに「近接」しているエンドポイントの要求を満足させなければならない。「近接」がディスプレイ解像度や描写される線の厚みのような様々なシステムファクタに依存する相対語であることに留意されたい。他のジェスチャーを使用して、選択囲いを拡大又は縮小してもよい。
【００１７】
囲いの移動は、囲いを選択し（その中身も選択する）、次にドラッグオペレーションを実行することにより達成される。あるいは、選択囲いを、（”＞”）ジェスチャーを使用して右に移動してもよい。
【００１８】
囲いのフュージングは暗示的でも明示的でもよい。暗示的フュージングは、囲いを単に選択して、それを別の囲いと重なるように移動することにより達成される。次に、２つの囲いを単一の囲いとして再描写して、重なった囲いにより形成された形状に基づいて全グラフィックオブジェクトをカバーする。明示的フュージングは、明示的フューズジェスチャーにより達成される。得られた囲い形状は、それぞれの囲い同士の間の空間的関係に依存する。
【００１９】
ユーザーが分割ジェスチャーを実行することにより、囲いの分割が生じる。囲いを分割するロケーションは、分割ジェスチャーが行われるロケーションに依存する。
【００２０】
また、囲いをリンクして、囲い同士間に様々な関係を確立してもよい。リンクは囲いに付けられたままなので、囲いを移動すると、リンクはそれに応じて伸びたり縮小する。また、リンクを横切るフュージングジェスチャーを使用すると、リンク囲いがフューズされてリンクが除去されるようになる。
【００２１】
【発明の実施の形態】
下記用語を本明細書の記述に用いる。それらの用語は下記に示す意味を有する。
グラフィックオブジェクト(Graphic Object)：２Ｄ空間のあらゆる表示オブジェクト。
カーブ(Curve) ：ユーザによる手作業で作られる（例えば、ペンストローク）又は、ジェスチャー等の他の手段により作られる（例えば「[ 」ジェスチャーから得られる矩形）、又はシステムにより生成される（例えば境界）、一次元のグラフィックオブジェクト。
ペンストローク(Pen Stroke)：ペンによる、インクストロークかジェスチャーになる動作。
インクストローク(Ink Stroke)：残存的カーブ（曲線）。
ジェスチャー(Gesture) ：一時的で、動作として解釈されるペンストロークで作られるカーブ。
囲い(Enclosure) ：それ自身で閉じて領域を画定するインクストローク。
囲い中身(Enclosure Contents)：囲いで画定された領域内に位置する一つ以上のグラフィックオブジェクト。
グループ(Group) ：それの中身をプラスした囲い。グループは単一のグラフィックオブジェクトとして働くことができ、例えば、その囲い上のタップジェスチャーがグループを選択する。
選択(Selection) ：選択によりタグ付けされるグラフィックオブジェクトのセット。
選択囲い(Selection Enclosure) ：いくつかのグラフィックオブジェクトを囲んでいるジェスチャー。これは選択を定義する通常の方法である。
リンク(Link) ：１つ又２つの囲いに触れる（即ち、それらをリンクする）インクストローク。囲いは自身とリンクされてもよい。
コンテナアイコン：他のグラフィックオブジェクトをそれらを表示することなく表現する小さなグラフィックオブジェクト。
変更(Alter) ：囲い及び潜在的にそれが含むグラグックオブジェクトを再形状化するオペレーション。
分割(Split) ：囲いを用いて、それを２つの異なる囲いに分割するオペレーションで、各囲いは独自の中身（内容）を有する。
フューズ(Fuse)：２つ以上の囲いを用いて、それらを、初期囲い中の全オブジェクトを含む１つの囲いに結合するオペレーション。
ハイライト領域(Highlighted Area)：通常、いくらかのグラフィック方法で強調される２Ｄ面の連続部分。それは、囲いの役目を果たす周辺部エッジを有する。
【００２２】
本発明は、描写プログラム又はペンベースシステム等のようなグラフィックオブジェクトを操作（処理）するあらゆるシステムに有用である。本発明は、プライオリティーを付けるミーティングのような共同アクティビティーを支援するのに特に有用であることがわかった。このようなアクティビティでは、ユーザは、項目のリストを作成して、その項目の順序又は空間的なレイアウトを操作する。例えば、図１（ａ）乃至（ｃ）を参照すると、従業員のランキングを論議している。第１ステップは、参加者全員が見ることができるホワイトボードのようなビジュアル媒体上に従業員の名前のリストを書き込むことである。これは、図１（ａ）に、表示領域１０２に書かれたリスト１０１として図示されている。次に、フィルタリングプロセスが起こり、ここで従業員をクラス１、２又は３の技能者(performer) としてほぼ分類して、その後、カテゴリー内でランク付けする。これは、図１（ｂ）に、分類リスト１２１〜１２３として示されている。本発明のシステムでは、これらの名前の各々は、グラフィックオブジェクトのセット（例えばインクストローク）によって表される。このように、名前の再構成は、選択及び移動オペレーションによって達成される。最後に、ランキングを各実行カテゴリー内で行って、フューズして一緒にして戻し、図１（ｃ）に示す最終的なランキングリスト１３０を得る。
【００２３】
このアクティビティには注目するいくつかの重要なことがある。ユーザがリスト項目をまわりに簡単に動かすことができることは、重要である。これは、項目（例えば、名前）をグループ化して、それらを単位としてドラッグできることを示す。例えば、図１（ｂ）に示す実行カテゴリーをグループとして移動可能である。しかし、そのグループは固定されておらず、それらはミーティングを通して変わる。項目は時々まとめられて、暗に単一ユニットとして扱われる。また、注釈を項目に作ることもでき、評価理由を記述してもよい。この注釈は項目と共にグループ化されるべきであり、例えば、それらは一緒に移動する。ユーザが項目の関係について考えを変えたり又は項目と関係する注を作ると、ユーザは項目をフューズ及び分割して容易に注釈を作れることは、有用であることが確認された。また、ユーザは、項目をグループ内で他のグループから独立して操作できなければならない。
【００２４】
本発明のこの好適な実施の形態は、グラフィックオブジェクトの残存的なグループ化を表現して操作するためのグラフィック技法である。その主な考えは、明示的な(explict) 囲いによりグループを指示することと、囲いに対するグラフィックオペレーションがグループを修正するようになっていることである。
【００２５】
本発明で使用できるようなコンピュータベースシステムを、図２に関して説明する。図２を参照すると、コンピュータベースのシステムは、バス２０１により連結される複数のコンポーネント（構成要素）を含んでいる。図示したバス２０１は本発明を明瞭にするために単純化されている。バス２０１は、バスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）と同様に複数の平行バス（例えばアドレス、データ及び状態バス）から成り得る。いずれにしても、コンピュータシステムは、バス２０１を介して内部メモリ２０３から与えられる命令を実行するためのプロセッサ２０２を、更に含んでいる（内部メモリ２０３は、典型的にはランダムアクセスメモリー又はリードオンリーメモリーの組み合わせであることに留意されたい）。オペレーション中には、本発明の様々な機能コンポーネントを実行するためのプログラム命令は、内部メモリ２０３に格納されている。プロセッサ２０２と内部メモリ２０３は、個別のコンポーネントでも単一の一体式デバイスでもよい。プロセッサ２０２と内部メモリ２０３は、本明細書中に記述する様々な処理機能を実行するための回路を含む。また、バス２０１には外部記憶装置２０７が連結されている。外部記憶装置２０７は、典型的には磁性又は光学ディスク記憶装置のような高容量記憶媒体である。
【００２６】
また、バス２０１にはディスプレイ２０４及びポインティングデバイス２０５も連結されている。この好適な実施の形態において、ポインティングデバイス２０５は、ペン駆動式のタッチセンシティブパネルであり、これは、タッチスクリーンディスプレイのようなディスプレイ２０４と一体化される。このようなタッチスクリーンディスプレイは、従来技術でよく知られており、ペンベースシステムのようなシステム中で、電子ホワイトボードシステム用に利用されている。しかし、ポインティングデバイス２０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよいために、ポインティングデバイス２０５とディスプレイ２０４は、一体化される必要はない。
【００２７】
図３は、本発明で使用可能なグラフィカルユーザインターフェースの特別な実施例を示す。図３を参照すると、グラフィカルユーザインターフェースはディスプレイ２０４上に表示され、タッチパネル２０５を通して対話されている。図示されるように、グラフィカルユーザインターフェースはワーク（作業）面を用いて、複数のアクセス可能機能３０１を使用してもよい。ワーク面３０２には、ユーザが様々なカーブ（曲線）を描写してもよい所、及び他のグラフィックオブジェクトが表示される所がある。アクセス可能機能３０１は、ディスプレイのボタン領域３０３に配置されている。機能３０１は、グラフィックオブジェクトを編集（作成、削除、移動、縮め等）、又はタッチパネル２０５の操作モードを変える（例えば、描写及びジェスチャーモードからの切り換え）ためのオペレーションを含んでもよい。
【００２８】
これらの機能は、代わりに、ウィンドウズ(Windows) 指向アプリケーションに一般に見られるプルダウンメニューでアクセスされてもよい。しかし、これらの機能は、指示が任意（オプション) であり、それらの主要な目的は、システムオペレーションに固有なオペレーションを定義することである。これらの機能は、ジェスチャーにより起動される同じ機能を実行してもよい。
【００２９】
本発明のこの好適な実施の形態は、グラフィカルユーザインタフェース(Graphical User Interface ; ＧＵＩ）を有するペンベースのシステムで実行される。このようなＧＵＩは、典型的には、グラフィックオブジェクトを選択／選択解除(deselecting) するための「タップ」、又はタップされるグラフィックオブジェクトと関連し得るオペレーションを起動するための「ダブルタップ」をサポートする。オブジェクトは、一度、選択されると、ワーク空間中の所望の位置にドラッグ及びドロップされる。
【００３０】
この好適な実施の形態のワーク空間は、グラフィックオブジェクトが他のグラフィックオブジェクトからほぼ独立するように自由形態を有し、また、グラフィックオブジェクトは任意構成を有してもよい。これは、ホワイトボードを使用する方法と一致している。しかし、ワーク面のユーザオペレーションを容易にするために、暗示構造（以下「構造」とする）の概念はサポートされている。この好適な実施の形態でサポートされている様々な種類の構造は、「Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System 」と題されて、本願の同じ譲受人に譲渡された、ＥＰＡ ０ ６６７ ５６７ Ａ２号に記述されている。概念的には、構造とは、特定の関係を有するグラフィックオブジェクトの集まり、例えば、項目リストである。構造オペレーションが生じると、項目間の関係は保持されている。例えば、項目をリストの中央に入力すると、その挿入場所の下の項目は、挿入項目用に空間を作るために下に動かされる。
【００３１】
本発明により、グラフィックオブジェクトのグループを、その対応する囲いを変更することにより操作する様々な技法が可能になる。図４のフロー図は基本対話を示し、これによりこの好適な実施の形態のグラフィック入力システムにオペレーションが生じ得る。図４を参照すると、電子ホワイトボードの使用中に、ユーザは、１つ以上のグラフィックオブジェクトの周りにクローズドカーブ（閉曲線）を、例えば、ジェスチャー又はリンクにより、作成する（ステップ４０１）。これは、電子ホワイトボードの内容を編成又は再構成することにより起こる。ユーザが他のオペレーションを実行したり他のグラフィックオブジェクトを生成し得る時間の後で、ユーザはジェスチャーを作成する（ステップ４０２）。システムは、ジェスチャーの近くに置かれたグラフィックオブジェクトを調べる（ステップ４０３）。グラフィックオブジェクトのうちの１つがクローズドカーブであるかどうかを見るために、特定のチェックが行われる（ステップ４０４）。この好適な実施の形態では、これはグラフィックオブジェクトの形状をチェックすることにより行われる。しかしながら、例えば、フラグをグラフィックオブジェクトに取り付ける等、他の技法を使用して、クローズドカーブであることを示すことは、当業者には明白であろう。いずれにしても、グラフィックオブジェクトがクローズドカーブでない場合、ジェスチャーは非囲い（non-enclosure)オペレーションとして解釈される（ステップ４０８）。
【００３２】
グラフィックオブジェクトのうちの１つがクローズドカーブである場合、システムはジェスチャーのタイプ（ステップ４０５）を識別する。ジェスチャータイプは典型的には、ジェスチャーを作成するために使用されるペンストロークの形状及び位置によって識別できる。次に、ジェスチャーオペレーションが囲いに有効であるか否かの決定がなされる（ステップ４０６）。有効でない場合、そのジェスチャーは、非囲いオペレーションとして解釈される（ステップ４０８）。ジェスチャーが囲いのオペレーションに有効なものであると決定されると、クローズドカーブを囲いとして扱い、その対応する囲いオペレーションを実行する（ステップ４０７）。ジェスチャーにより起動される様々な囲いオペレーションを下記に記述する。
【００３３】
グラフィックオブジェクトを、それの囲いを再形状化することにより追加、又は囲いをフュージングすることによりグループから除去することができる。グループをコンテナアイコンと呼ばれる（脚注に類似している）代わりのグラフィックオブジェクトによって崩壊及び表現してもよい。この好適な実施の形態の特徴及び利点は、下記の記述で明白になる。
【００３４】
本発明の重要な概念は、残存的なグラフィックオブジェクトとしての囲いの概念である。従来技術と対比するために、選択囲いは、選択オペレーションが実行されている間だけ存在する一時的なグラフィックオブジェクトとする。複数のグラフィックオブジェクトを単一オペレーションで操作するためには、グラフィックオブジェクトの各々を、グループとして「選択」しなければならない。よって、グラフィックオブジェクトの選択が残存性になるようにグラフィックオブジェクトのセットをグループ化することはしばしば望ましい。従来技術に記述されたように、グループの中身を変更するための既知の技法には、不便である。
【００３５】
残存的グラフィックオブジェクトとしての囲いは、以下の特徴を有する。
− 囲いは、典型的にはインクストロークであるが、固定領域とその境界（例えばハイライト領域）を画定する、あらゆるグラフィックオブジェクトでもよい。
− 囲いがインクストロークである場合、それらはストロークの始まりがストロークの終りと「閉じ」られているループ形ストロークである。インクストロークはまた、多くのグラフィカルフューザインタフェースで見られる矩形生成オペレーションを用いて作成される矩形でもよい。
− 囲いの内側は、固定領域を画定する。よって、例えば、各領域は、（グラフィックオブジェクトにより表現される）項目リストを保持できる。
− 囲いを選択することが、グループ、即ち、囲いと囲いによる画定領域内のグラフィックオブジェクト、を選択する。
− 囲いは、グラフィックオブジェクトの関連する集合を削除せずに消去されてもよい、即ち、囲いは、まさに他のインクストロークと同様である。
− グラフィックオブジェクトを選択して、囲いによる画定領域中へ又はそこから移動することができる。
【００３６】
囲いがグラフィックオブジェクトであるために、グラフィックオブジェクトに実行できるオペレーション、例えば、消去、即ち、色又は厚み等の変化の「拭き取り(wiping)」を囲いに実行することができる。囲いに実行されるオペレーションは、グループに同じ影響を与える。グループにオペレートするために、一般に実行すべき第１のステップは、囲いを選択することである。選択は、図５及び図６に関して示される。図５は、「ＡＢＣ」５０１で表現され、囲い５０２で囲まれているグラフィックオブジェクトを示す。囲いとして認識されるように、囲いのエンドポイントは十分に接近していなければならない。この十分な近さは、表示領域の解像度及びストロークの厚みのようなパラメータに依存する。グラフィックオブジェクト５０１及び囲い５０２の選択は、囲い５０２上の「タップ」ジェスチャー５０３により指示される。図６を参照すると、囲い５０２は、囲まれたグラフィックオブジェクト５０１と一緒に選択されている。このことは、選択ループ６０１の表示で示されている。更に、囲い５０２及びグラフィックオブジェクト５０１はグループを構成する。この好適な実施の形態において、選択は、囲い上のタップジェスチャーによって達成されるが、選択技法（例えば、他のタイプのジェスチャー）を使用してもよい。
【００３７】
一度、グループが選択されると、グループ全体に影響を及ぼす他のオペレーションを実行できる。グループは、カラーの変更、グループの縮小又は拡張を、［例えば、ドラッギング又は右閉じくさび形（＞）ジェスチャーによって］移動、又は［例えば、左閉じくさび形（＜）ジェスチャーによって］コピーさせることができる。選択された囲いの中身に影響する他のオペレーションを以下に記述する。
【００３８】
囲い中身の変更は、単にオブジェクトを囲い中へ移動、又は囲い中から移動、オブジェクトを消去する等によって達成されてもよい。上述したように、ユーザは、囲いを変更してその形状を変更してもよい。囲いの形状を変えることは、グラフィックオブジェクトを追加又は除去するユーザにとって便利な技法を提供する。ユーザは、他のグラフィックオブジェクトを含むように囲いを変更することによって、若しくはグラフィックオブジェクトを囲い中に移動又は新しいグラフィックオブジェクトを囲い内に作成できるように囲いを大きくすることによって、グラフィックオブジェクトをグループに追加してもよい。除去されるべきグラフィクオブジェクトが囲いによる画定領域内に無くなるように、囲いを再形状化することによりユーザはグラフィックオブジェクトをグループから除去してもよい。
【００３９】
エンドポイントが囲いの２点と接触するペンクトロークにより、変更ジェスチャーを作成する。一般に、このシステムは、ペンストローク及びそのペンストロークがクローズドカーブ（即ち、囲い）の２点と接触したことを検出する。次に、ペンストロークは、ペンストロークが囲いに接触した場所に基づいてクローズドカーブの形状を変更する囲いジェスチャ−として扱われる。
【００４０】
図７及び図８には、グラフィックオブジェクトを囲いへ追加することが示されている。図７を参照すると、ペンストローク７０１は、第１ポイント７０２と第２ポイント７０３で囲い７０４と接触する。これにより、ペンストローク７０１は変更ジェスチャーとして扱われるようになり、それに従って囲い７０４が変更されるようになる。図７では、グラフィックオブジェクト「１２」７０５を、グループに追加するようになっている。次に、図８を参照すると、完成時に、元の囲い７０４の形状を有しながらペンストローク７０１の形状が「隆起（バンプ）」として追加される囲い８０１が作成されている。
【００４１】
図９及び図１０は、グラフィックオブジェクトを除去するための囲いの変更を示す。図９を参照すると、ペンストローク９０１は、第１ポイント９０２及び第２ポイント９０３で囲い９０４と接触する。上記のように、これによりペンストローク９０１が、変更ジェスチェーとして扱われるようになる。しかしながら、ここではペンストロークが囲い９０４による画定領域内にあることが決定さるので、その変更とは、領域の一部分を「切除」することである。次に図１０を参照すると、これはペンストローク９０１に対応する部分を除去する形状を取る新しい囲い１００１となる。これは、グラフィックオブジェクト１００２、即ち、英字「Ｃ」をグループから効果的に除去している。
【００４２】
グラフィックオブジェクトを除去する変更ジェスチャーの場合、囲いの部分についてなされるべき決定は、「切除」することである。この好適な実施の形態は、囲いの「最大」部分が保持されるべき部分であるというヒューリスティックでオペレートする。
【００４３】
囲いを分割することにより、２つの新しい囲いが作成され、元の囲いが除去される。例えば、リストを操作する場合、リストのサブリストだけを操作することがより適当であることが決定されることもある。分割ジェスチャーは、前後運動で作成されるペンストロークにより生じる。ペンストロークは、分割されるべき囲いによるで画定領域に含まれていた少なくとも部分であったことになる。分割ジェスチャーは、それがオペレーティングすることになる囲いを空間的に検出し、ジェスチャーのロケーションが分割ロケーションを指示するようにオペレートする。
【００４４】
図１１及び図１２は、分割ジェスチャーを用いて囲いを分割し、１つの囲いから２つの囲いを作成することを示す。図１１を参照すると、囲い１１０２による画定領域内にある分割ジェスチャー１１０１が描写されている。分割ジェスチャーによって、囲い１１０２がジュスチャーがほぼ生じた地点で分割されるようになる。これは、図１２に、囲い１２０１及び１２０２で示されている。
【００４５】
図１３及び図１４は、分割ジェスチャーが複数の囲いを横切るように実行されることにより、両方の囲いを分割できることを示す。図１３を参照すると、分割ジェスチャー１３０１は、囲い１３０２及び１３０３を横切る。次に、図１４を参照すると、囲い１４０１及び１４０２は囲い１３０２から作成され、また囲い１４０３及び１４０４は囲い１３０３から作成されている。
【００４６】
囲いをフュージングすることにより、フューズ囲いの中身が単一の囲いの下で組み合わされるようになる。フュージョンはそれが暗示的又は明示的であるように、実行可能である。図１５乃至図１７は暗示的フュージングの例を示す。図１５を参照すると、選択囲い１５０２は、それが囲い１５０１とオーバーラップ（重なる）ように移動される。その移動結果を図１６に示す。フュージングは図１７に示す。ここでは、囲い１５０１及び１５０２の各々の中身は、新たな囲い１７０１の領域内にある。囲い１７０１の形状は、重なった囲い１５０１及び１５０２の境界に対応する。
【００４７】
しかし、暗示的フュージングは望ましくない結果をもたらすことがある。例えば、囲いを移動している間に、それが偶然、他の囲いと重なるように配置されることがある。これにより、それらが偶然にフューズされることになると、囲いに分割するように要求するであろう。更に、グラフィカルユーザインターフェースのいくらかの使用の場合、例えばベン図(Venn Diagrams) を描写する等、重なるクローズドカーブを有することは望ましい。従って、明示的フュージングを、この好適な実施の形態ではデフォルト値として提供する。明示的フュージングでは、フュージングジェスチャー、ここでは、特定の位置にあるクローズドカーブ形状のペンストロークを使用して、囲いをフューズする。フュージングオペレーションは、フュージングジェスチャーが接触する囲いの各々に実行されることになる。
【００４８】
図１８及び図１９は、囲いが重なる時の明示的なフュージングの単純な例を示す。図１８を参照すると、囲い１８０１と１８０２が重なる。次に、フュージングループジェスチャー１８０３を実行する。その結果を図１９に示し、ここでは、囲い１８０１と１８０２の各々の中身は新たな囲い１９０１の領域内にある。
囲い１９０１の形状は重なった囲い１８０１と１８０２の境界に対応する。
【００４９】
図２０及び図２１は、フュージングジェスチャーを用いて明示的フュージングを更に示す。図２０を参照すると、囲い２００２と２００３は重ならない。フュージングジェスチャー２００１は、囲い２００２と２００３の両方の境界に接触する。これは、図２１の囲い２１０１となる。得られた囲い２１０１の形状は、フュージングジェスチャー２００１がまるで囲い２００２と２００３を連結していたかのようにフュージングジェスチャー２００１の形状を帯びている。
【００５０】
囲いをフュージングするための更なる手段は、囲い間のリンクに関して下記に記述する。
【００５１】
リンクは、一つ以上の囲いの間にビジュアル連結を提供するために使われるインクストロークである。リンクは、以下の特徴を有する。
− リンクは、少なくとも１つの囲い（即ち、一端部）及び多くとも２つの囲いと関係する。囲いと関係するために、リンクのエンドポイント（終点）は、囲いに「接触」しなくてはならない。
− 囲いは、複数のリンクを有してもよい。
− 囲いを選択することによりそのリンクが強調（ハイライト）される。
− リンクは自由形式である、即ち、あらゆる形状とすることができる。
− 囲いと関係するリンクは残存性なので、それらは囲いの移動／拡大／又は縮小時に再形状化して接触を維持する。即ち、リンクにより与えられる囲い間の連結は常に保持されている。
−リンクは、リンクエンドポイントを選択して移動することにより変更可能である。
【００５２】
リンクを使用可能な１つの方法には、囲いをフュージングするためのものがある。明示的なフュージョンがフュージングジェスチャーを実行することにより行われるので、フュージングジェスチャーはリンクに接触する。これは、図２２及び図２３に示されている。図２２を参照すると、囲い２２０１及び２２０２はリンク２２０３によりリンクされている。リンク２２０３に接触するフュージングジェスチャー２２０４を実行する。その結果が、図２３の囲い２３０１である。囲い２３０１の形状はリンクに沿って２つの囲いを連結する形状である。囲いをフューズ後、リンク２２０３は除去されている。
【００５３】
図２４及び図２５は、囲いを移動する時の、囲い及び関連リンクの選択並びにリンクの再形状化を示す。図２４を参照すると、囲い２４０１は、リンク２４０４により囲い２４０２、及びリンク２４０５により囲い２４０３とリンクされている。囲い２４０２と２４０３はリンク２４０６によってリンクされている。また、囲い２４０３が選択されることにより、リンク２４０５と２４０６が選択されるようになっている。このことは、囲い２４０３及びリンク２４０５と２４０６の点線のアウトラインで示されている。図２５では、囲い２４０３を移動したことにより、リンク２４０５と２４０６が再形状化されるようになっている。明確に再形状化されたが、リンク２４０６がその基本的な形状特徴を維持したことに留意されたい。これは、固定位置としてリンクの静的エンドポイントを使用して、囲いを移動する場所に応じて再形状化リンクをスケール化及び／又はフリップする（はじく）再形状化技法により行われている。最終的に、囲いの移動時に、それぞれのリンクのエンドポイント２４０７及び２４０８が、それらの位置を、囲い２４０３上に維持することに留意されたい。
【００５４】
図２６及び図２７は、リンクエンドポイントの選択及び移動を示す。リンクエンドポイントの移動は、図が再構成、さもなければ変更される必要がある時に、望ましい。図２６を参照すると、リンク２４０４のエンドポイント２６０１が選択されている。ここではエンドポイント２６０１は囲い２４０２上にある。リンクエンドポイントの選択は、エンドポイント付近の点線の円で指示されている。一度、選択されると、エンドポイントは移動可能である。このような移動の結果を図２７に示す。図２７を参照すると、エンドポイント２６０１は囲い２４０３へ移動されている。
【００５５】
囲い同士間にリンクを設けることは、特に囲いを再配置する時に有用である。囲い同士間に視覚的関係を保持できると、それらが移動されても、グラフィックベースシステムを円滑に使用するのに役立つ。
【００５６】
リンクの囲いからの切り離しを、２つの方法の内の１つで達成することができる。まず、囲いを、リンクのエンドポイントにそれ以上「接触」しないように変更してもよい。あるいは、リンクのエンドポイントを、囲いにそれ以上接触しないように選択して移動してもよい。リンクの切り離しは、残存性を維持するためのヒューリスティックのためにリンクが囲いを横断するような望ましくない結果が生じる場合に、有用になり得る。
【００５７】
また、リンクを囲いへ同様の技法を使用して付けてもよい。まず、囲いを、それがリンクのエンドポイントと「接触」するように変更してもよい。第２番目に、リンクのエンドポイントを、それが囲いと接触するように選択して移動してもよい。
【図面の簡単な説明】
【図１】（ａ）は本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｂ）も本発明のこの好適な実施の形態を使用可能な概要の例を示し、（ｃ）も本発明のこの好適な実施の形態を使用可能な概要の例を示す。
【図２】本発明のこの好適な実施の形態で使用可能なコンピュータベースのシステムのブロック図である。
【図３】ディスプレイに表示されて、図２のタッチセンシティブパネルを介してインタフェースされるような基本的なグラフィカルユーザインターフェースの表現である。
【図４】本発明のこの好適な実施の形態で利用可能なグラフィックベースシステムの基本ユーザインタフェースオペレーションを示すフロー図である。
【図５】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図６】本発明のこの好適な実施の形態で実行され得る囲いの選択を示す。
【図７】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図８】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いに追加するための囲いの変更を示す。
【図９】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１０】本発明のこの好適な実施の形態で実行され得る、グラフィックオブジェクトを囲いから除去するための囲いの変更を示す。
【図１１】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１２】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる１つの囲いの分割を示す。
【図１３】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１４】本発明のこの好適な実施の形態で実行され得る、前後ジェスチャーを用いる複数の囲いの分割を示す。
【図１５】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１６】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１７】本発明のこの好適な実施の形態で実行され得る、第１の囲いを移動して第２の囲いに重ねることによる暗示的フュージングを示す。
【図１８】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図１９】本発明のこの好適な実施の形態で実行され得る、第１の囲いが第２の囲いに重なる時のフュージングジェスチャーを用いる明示的フュージングを示す。
【図２０】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２１】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲いを横切るフュージョンジェスチャーを用いることによる明示的フュージング示す。
【図２２】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２３】本発明のこの好適な実施の形態で実行され得る、フューズされるべき囲い同士間のリンクにフュージョンジェスチャーを実行することによる明示的フュージングを示す。
【図２４】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２５】本発明のこの好適な実施の形態で実行され得る、囲いを移動時の囲い及び対応リンクの選択並びにリンクの再形状化を示す。
【図２６】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【図２７】本発明のこの好適な実施の形態で実行され得る、一つの囲い上のリンクエンドポイントの選択及び別の囲いへの移動を示す。
【符号の説明】
５０１ グラフィックオブジェクト
５０２ 囲い
５０３ タップジェスチャー
Claims (3)
- コンピュータ制御グラフィック編集システムでグラフィックオブジェクトのグループを作成し操作するための方法であって、
（ａ） ユーザが第１のジェスチャーの実行において、１つ以上のグラフィックオブジェクトの第１セットをペンストロークで囲むことからなる第１囲いグラフィックオブジェクトを描くステップを有し、
（ｂ） 前記システムが前記第１のジェスチャーに応答して、１つ以上のグラフィックオブジェクトの第１セットが位置している領域の境界を定める可視的な、かつ視覚的に残存する境界でもって前記第１囲いグラフィックオブジェクトを画定するステップを有し、
前記第１セット内のグラフィックオブジェクトはユーザの所定の動作により選択されて前記第１囲いグラフィックオブジェクトの可視的境界によって画定された領域外へと移動可能であり、かつ、前記第１セット以外のグラフィックオブジェクトはユーザの所定の動作により選択されて前記第１囲いグラフィックオブジェクトの可視的境界によって画定された領域内へと移動可能であり、
（ｃ） 前記ユーザが前記第１のジェスチャーに続く第２のジェスチャーの実行において、前記第１のジェスチャーに応答するシステムによって作り出された前記第１囲いグラフィックオブジェクトの可視的境界に対し当該第１囲いグラフィックオブジェクトを選択する動作を加えるステップを有し、
（ｄ） 前記システムが、前記第２のジェスチャーの検出に応答して、前記第１囲いグラフィックオブジェクト及び前記第１囲いグラフィックオブジェクトにより囲まれる前記１つ以上のグラフィックオジェクトの第１セットを選択し及びグループ化するステップを有し、前記第１囲いグラフィックオブジェクトの可視的境界は前記ユーザの第１及び第２のジェスチャーの実行後においても持続する、
ことを特徴とする、グラフィックオブジェクトのグループを作成し操作するための方法。 - 前記第２のジェスチャーの実行に先立って、
前記ユーザが、前記第１のジェスチャーに引き続いて実行され、前記第１囲いグラフィックオブジェクト上の２点にエンドポイントが接触するペンストロークからなる第３のジェスチャーの実行において前記第１囲いグラフィックオブジェクトの前記可視的境界を変更する変更動作を実行し、前記変更動作は変更ジェスチャーのセットの１つであり、
前記システムが、前記第３のジェスチャーに応答して前記変更ジェスチャーに基づいて前記第１囲いグラフィックオブジェクトの前記可視的境界を変更し、１以上のグラフィックオブジェクトの前記第１のセットは１以上のグラフィックオブジェクトの追加又は除去により変化してもよく、
前記第１囲いグラフィックオブジェクトの可視的境界は前記ユーザの第３のジェスチャーの実行後においても持続する、
ことを特徴とする、請求項１記載のグラフィックオブジェクトのグループを作成し操作するための方法。 - 前記変更動作が、
前記第１囲いグラフィックオブジェクトの画定領域のサイズを増加する修正ジャスチャーであって、前記第１囲いグラフィックオブジェクトの可視的境界をその形状を変更することによって、１以上の新たなグラフィックオブジェクトが前記可視的境界の内側となり、１以上のグラフィックオブジェクトの第１セットに加えられるようにすること、及び
前記第１囲いグラフィックオブジェクトの画定領域のサイズを減少させる修正ジェスチャーであり、前記第１囲いグラフィックオブジェクトの可視的境界をその形状を変更することによって、１以上のグラフィックオブジェクトの前記セットの少なくとも１つのグラフィックオブジェクトが前記可視的境界の外側となり、１以上のグラフィックオブジェクトの前記第１のセットから除去されること、
のいずれか１つであることを特徴とする、請求項２記載のグラフィックオブジェクトのグループを作成し操作するための方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US670915 | 1996-06-26 | ||
| US08/670,915 US5861886A (en) | 1996-06-26 | 1996-06-26 | Method and apparatus for grouping graphic objects on a computer based system having a graphical user interface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1091323A JPH1091323A (ja) | 1998-04-10 |
| JP4602487B2 true JP4602487B2 (ja) | 2010-12-22 |
Family
ID=24692411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16314497A Expired - Lifetime JP4602487B2 (ja) | 1996-06-26 | 1997-06-19 | グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5861886A (ja) |
| EP (1) | EP0816998B1 (ja) |
| JP (1) | JP4602487B2 (ja) |
| DE (1) | DE69719413T2 (ja) |
Families Citing this family (141)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US6028271A (en) | 1992-06-08 | 2000-02-22 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
| US6239389B1 (en) | 1992-06-08 | 2001-05-29 | Synaptics, Inc. | Object position detection system and method |
| GB2317089B (en) * | 1996-09-06 | 2001-05-16 | Quantel Ltd | An electronic graphic system |
| US6157372A (en) * | 1997-08-27 | 2000-12-05 | Trw Inc. | Method and apparatus for controlling a plurality of controllable devices |
| US6509912B1 (en) * | 1998-01-12 | 2003-01-21 | Xerox Corporation | Domain objects for use in a freeform graphics system |
| US6018346A (en) * | 1998-01-12 | 2000-01-25 | Xerox Corporation | Freeform graphics system having meeting objects for supporting meeting objectives |
| US6377288B1 (en) * | 1998-01-12 | 2002-04-23 | Xerox Corporation | Domain objects having computed attribute values for use in a freeform graphics system |
| US6219034B1 (en) * | 1998-02-23 | 2001-04-17 | Kristofer E. Elbing | Tactile computer interface |
| US6184864B1 (en) * | 1998-05-07 | 2001-02-06 | Aiptek International Inc. | Digitizer tablet apparatus with edge area as a macro cell |
| US6674902B1 (en) * | 1998-07-31 | 2004-01-06 | Canon Kabushiki Kaisha | Image processing apparatus image processing method, and storage medium |
| US6952803B1 (en) * | 1998-12-29 | 2005-10-04 | Xerox Corporation | Method and system for transcribing and editing using a structured freeform editor |
| US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
| US6459442B1 (en) * | 1999-09-10 | 2002-10-01 | Xerox Corporation | System for applying application behaviors to freeform data |
| JP2001134382A (ja) * | 1999-11-04 | 2001-05-18 | Sony Corp | 図形処理装置 |
| AU2001242320A1 (en) * | 2000-03-30 | 2001-10-15 | Ideogramic Aps | Method for gesture based modeling |
| US6897853B2 (en) * | 2000-11-10 | 2005-05-24 | Microsoft Corp. | Highlevel active pen matrix |
| US6918092B2 (en) * | 2001-04-20 | 2005-07-12 | Sun Microsystems, Inc. | Graphical list grouping widget and methods of use thereof |
| US20020154149A1 (en) * | 2001-04-24 | 2002-10-24 | Kiran Hebbar | System, method and computer program product for associative region generation and modification |
| US20030137496A1 (en) * | 2002-01-23 | 2003-07-24 | Chad Stevens | Systems and methods for facilitating interaction with a whiteboard |
| JP3847641B2 (ja) * | 2002-02-28 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法 |
| US6903751B2 (en) * | 2002-03-22 | 2005-06-07 | Xerox Corporation | System and method for editing electronic images |
| US7093202B2 (en) * | 2002-03-22 | 2006-08-15 | Xerox Corporation | Method and system for interpreting imprecise object selection paths |
| US7027071B2 (en) * | 2002-07-02 | 2006-04-11 | Hewlett-Packard Development Company, L.P. | Selecting elements from an electronic document |
| US7137077B2 (en) * | 2002-07-30 | 2006-11-14 | Microsoft Corporation | Freeform encounter selection tool |
| US7065718B2 (en) * | 2002-08-08 | 2006-06-20 | International Business Machines Corporation | System and method for configuring time related settings using a graphical interface |
| US7089507B2 (en) * | 2002-08-12 | 2006-08-08 | International Business Machines Corporation | System and method for display views using a single stroke control |
| US20040119762A1 (en) * | 2002-12-24 | 2004-06-24 | Fuji Xerox Co., Ltd. | Systems and methods for freeform pasting |
| US20040196306A1 (en) * | 2003-04-04 | 2004-10-07 | Microsoft Corporation | Method and system for flagging digital ink note content |
| US7519901B2 (en) * | 2003-06-16 | 2009-04-14 | Fuji Xerox Co., Ltd. | Methods and systems for selecting objects by grouping annotations on the objects |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US20060041484A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
| US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US20060053097A1 (en) * | 2004-04-01 | 2006-03-09 | King Martin T | Searching and accessing documents on private networks for use with captures from rendered documents |
| US20060041605A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
| US20060122983A1 (en) * | 2004-12-03 | 2006-06-08 | King Martin T | Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8081849B2 (en) * | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US20060081714A1 (en) * | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US20070300142A1 (en) * | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US9008447B2 (en) * | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US20060098900A1 (en) * | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| WO2008028674A2 (en) * | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US20080313172A1 (en) * | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US8713418B2 (en) * | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8874504B2 (en) * | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US20060001656A1 (en) * | 2004-07-02 | 2006-01-05 | Laviola Joseph J Jr | Electronic ink system |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| JP3919789B2 (ja) | 2005-03-07 | 2007-05-30 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、画像移動指示方法及びプログラム |
| US20060252442A1 (en) | 2005-05-04 | 2006-11-09 | Nokia Corporation | Method for establishing a PoC connection in a terminal device with a touch-screen display, an application used in the method and a terminal device |
| US8370757B2 (en) * | 2005-07-30 | 2013-02-05 | Sap Ag | Interface and method for extensible grouping of screen elements in real time |
| US7616219B2 (en) * | 2005-11-08 | 2009-11-10 | Autodesk, Inc. | Drawing style domains |
| US20070206024A1 (en) * | 2006-03-03 | 2007-09-06 | Ravishankar Rao | System and method for smooth pointing of objects during a presentation |
| JP4759743B2 (ja) * | 2006-06-06 | 2011-08-31 | 国立大学法人 東京大学 | オブジェクト表示処理装置、オブジェクト表示処理方法、およびオブジェクト表示処理用プログラム |
| JP4752066B2 (ja) * | 2006-07-07 | 2011-08-17 | 国立大学法人 東京大学 | 手書き入力処理装置、手書き入力処理方法、および手書き入力処理用プログラム |
| WO2008031625A2 (en) * | 2006-09-15 | 2008-03-20 | Exbiblio B.V. | Capture and display of annotations in paper and electronic documents |
| US9817436B2 (en) * | 2007-01-07 | 2017-11-14 | Apple Inc. | Portable multifunction device, method, and graphical user interface for displaying user interface objects adaptively |
| JP5232392B2 (ja) * | 2007-01-29 | 2013-07-10 | 株式会社タイトー | ゲーム装置、ゲームプログラム |
| US20080184115A1 (en) * | 2007-01-29 | 2008-07-31 | Fuji Xerox Co., Ltd. | Design and design methodology for creating an easy-to-use conference room system controller |
| WO2008112650A2 (en) * | 2007-03-15 | 2008-09-18 | Yazaki Corporation | Capacitor electrodes comprising carbon nanotubes filled with one or more non- carbon materials |
| US20110145068A1 (en) * | 2007-09-17 | 2011-06-16 | King Martin T | Associating rendered advertisements with digital content |
| CN101399897B (zh) * | 2007-09-30 | 2010-12-29 | 宏达国际电子股份有限公司 | 图像处理方法 |
| KR20090055982A (ko) * | 2007-11-29 | 2009-06-03 | 삼성전자주식회사 | 터치스크린 상에서의 멀티레이어 기반의 문서 처리 방법 및시스템 |
| JP4924402B2 (ja) * | 2007-12-14 | 2012-04-25 | ブラザー工業株式会社 | 制御装置および制御プログラム |
| US8749534B2 (en) * | 2008-02-11 | 2014-06-10 | Ati Technologies Ulc | Low-cost and pixel-accurate test method and apparatus for testing pixel generation circuits |
| US8826174B2 (en) | 2008-06-27 | 2014-09-02 | Microsoft Corporation | Using visual landmarks to organize diagrams |
| KR101569427B1 (ko) | 2008-10-02 | 2015-11-16 | 삼성전자주식회사 | 휴대 단말기의 터치 입력 장치 및 그의 운영 방법 |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| US20100162151A1 (en) * | 2008-12-19 | 2010-06-24 | Microsoft Corporation | Techniques for organizing information on a computing device using movable objects |
| US8407606B1 (en) * | 2009-01-02 | 2013-03-26 | Perceptive Pixel Inc. | Allocating control among inputs concurrently engaging an object displayed on a multi-touch device |
| US9069398B1 (en) * | 2009-01-30 | 2015-06-30 | Cellco Partnership | Electronic device having a touch panel display and a method for operating the same |
| WO2010096193A2 (en) * | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Identifying a document by performing spectral analysis on the contents of the document |
| US8739051B2 (en) * | 2009-03-04 | 2014-05-27 | Apple Inc. | Graphical representation of elements based on multiple attributes |
| US20100229129A1 (en) * | 2009-03-04 | 2010-09-09 | Microsoft Corporation | Creating organizational containers on a graphical user interface |
| US20100229088A1 (en) * | 2009-03-04 | 2010-09-09 | Apple Inc. | Graphical representations of music using varying levels of detail |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| WO2010105246A2 (en) * | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Accessing resources based on capturing information from a rendered document |
| US20100241955A1 (en) * | 2009-03-23 | 2010-09-23 | Microsoft Corporation | Organization and manipulation of content items on a touch-sensitive display |
| US8881013B2 (en) * | 2009-04-30 | 2014-11-04 | Apple Inc. | Tool for tracking versions of media sections in a composite presentation |
| US9032299B2 (en) * | 2009-04-30 | 2015-05-12 | Apple Inc. | Tool for grouping media clips for a media editing application |
| US8418082B2 (en) * | 2009-05-01 | 2013-04-09 | Apple Inc. | Cross-track edit indicators and edit selections |
| US8555169B2 (en) * | 2009-04-30 | 2013-10-08 | Apple Inc. | Media clip auditioning used to evaluate uncommitted media content |
| JP5141984B2 (ja) * | 2009-05-11 | 2013-02-13 | ソニー株式会社 | 情報処理装置および方法 |
| US8473862B1 (en) | 2009-05-21 | 2013-06-25 | Perceptive Pixel Inc. | Organizational tools on a multi-touch display device |
| JP5377143B2 (ja) * | 2009-07-29 | 2013-12-25 | 京セラ株式会社 | 携帯電子機器 |
| US20110035700A1 (en) * | 2009-08-05 | 2011-02-10 | Brian Meaney | Multi-Operation User Interface Tool |
| US20110099476A1 (en) * | 2009-10-23 | 2011-04-28 | Microsoft Corporation | Decorating a display environment |
| US9081799B2 (en) * | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) * | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US9235341B2 (en) | 2010-01-20 | 2016-01-12 | Nokia Technologies Oy | User input |
| JP5440374B2 (ja) | 2010-05-14 | 2014-03-12 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| KR101784877B1 (ko) * | 2010-07-12 | 2017-11-07 | 삼성전자주식회사 | 휴대용 단말기에서 메뉴 항목 관리 방법 및 장치 |
| US8819557B2 (en) * | 2010-07-15 | 2014-08-26 | Apple Inc. | Media-editing application with a free-form space for organizing or compositing media clips |
| US9323807B2 (en) * | 2010-11-03 | 2016-04-26 | Sap Se | Graphical manipulation of data objects |
| JP5664249B2 (ja) | 2011-01-06 | 2015-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US9111327B2 (en) | 2011-01-18 | 2015-08-18 | Apple Inc. | Transforming graphic objects |
| US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
| US9244984B2 (en) | 2011-03-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Location based conversational understanding |
| US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
| US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
| US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
| US9858343B2 (en) | 2011-03-31 | 2018-01-02 | Microsoft Technology Licensing Llc | Personalization of queries, conversations, and searches |
| US9454962B2 (en) | 2011-05-12 | 2016-09-27 | Microsoft Technology Licensing, Llc | Sentence simplification for spoken language understanding |
| US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
| EP2812784A4 (en) * | 2012-02-07 | 2015-11-11 | Blackberry Ltd | METHODS AND DEVICES FOR MERGING CONTACT RECORDINGS |
| JP2015510651A (ja) * | 2012-02-23 | 2015-04-09 | アジャイ ジャドハブ | 持続的ノードフレームワーク |
| US9400592B2 (en) | 2012-03-26 | 2016-07-26 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for digital-marking-surface space and display management |
| GB2511668A (en) | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
| US8814674B2 (en) | 2012-05-24 | 2014-08-26 | Supercell Oy | Graphical user interface for a gaming system |
| US8954890B2 (en) * | 2012-04-12 | 2015-02-10 | Supercell Oy | System, method and graphical user interface for controlling a game |
| JP5945157B2 (ja) * | 2012-05-11 | 2016-07-05 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体 |
| US9268423B2 (en) * | 2012-09-08 | 2016-02-23 | Stormlit Limited | Definition and use of node-based shapes, areas and windows on touch screen devices |
| US9348486B2 (en) * | 2012-10-02 | 2016-05-24 | Blackberry Limited | Method and device for performing visual set operations to modify and generate lists |
| GB2578840B (en) | 2012-10-08 | 2020-09-02 | Fisher Rosemount Systems Inc | Dynamically reusable classes |
| US11216159B2 (en) | 2012-10-08 | 2022-01-04 | Fisher-Rosemount Systems, Inc. | Configuration element for graphic elements |
| US11774927B2 (en) | 2012-10-08 | 2023-10-03 | Fisher-Rosemount Systems, Inc. | Methods and apparatus to provide a role-based user interface |
| JP6034878B2 (ja) * | 2012-12-27 | 2016-11-30 | グリー株式会社 | オブジェクト選択方法、プログラムを記憶する記憶媒体及び情報処理装置 |
| KR20140085942A (ko) * | 2012-12-28 | 2014-07-08 | 삼성전자주식회사 | 터치 기반의 도형의 조작 방법 및 장치 |
| CN103076976A (zh) * | 2013-01-07 | 2013-05-01 | 华为终端有限公司 | 添加应用图标的方法、移除应用图标的方法和装置 |
| WO2014152997A2 (en) * | 2013-03-14 | 2014-09-25 | Sticky Storm, LLC | Software-based tool for digital idea collection, organization, and collaboration |
| JP6212938B2 (ja) * | 2013-05-10 | 2017-10-18 | 富士通株式会社 | 表示処理装置、システム及び表示処理プログラム |
| KR101483611B1 (ko) * | 2013-05-13 | 2015-01-21 | 주식회사 브이플랩 | 이미지에서 객체를 추출하기 위한 방법 및 단말기 |
| JP5974976B2 (ja) * | 2013-05-24 | 2016-08-23 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| JP2015049773A (ja) * | 2013-09-03 | 2015-03-16 | コニカミノルタ株式会社 | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 |
| JP6109020B2 (ja) | 2013-09-10 | 2017-04-05 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 文書の分割・結合方法、装置、プログラム。 |
| US9804737B2 (en) | 2014-01-27 | 2017-10-31 | Groupon, Inc. | Learning user interface |
| US10078411B2 (en) | 2014-04-02 | 2018-09-18 | Microsoft Technology Licensing, Llc | Organization mode support mechanisms |
| KR20160024583A (ko) * | 2014-08-26 | 2016-03-07 | 삼성전자주식회사 | 전자 장치 및 드로잉 기능 제공 방법 |
| US9742720B2 (en) | 2014-11-05 | 2017-08-22 | International Business Machines Corporation | Intelligently sharing messages across groups |
| US10713304B2 (en) * | 2016-01-26 | 2020-07-14 | International Business Machines Corporation | Entity arrangement by shape input |
| JP2019128899A (ja) * | 2018-01-26 | 2019-08-01 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
| US11074408B2 (en) | 2019-06-01 | 2021-07-27 | Apple Inc. | Mail application features |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
| US5583946A (en) * | 1993-09-30 | 1996-12-10 | Apple Computer, Inc. | Method and apparatus for recognizing gestures on a computer system |
| US5572651A (en) * | 1993-10-15 | 1996-11-05 | Xerox Corporation | Table-based user interface for retrieving and manipulating indices between data structures |
| US5471578A (en) * | 1993-12-30 | 1995-11-28 | Xerox Corporation | Apparatus and method for altering enclosure selections in a gesture based input system |
| US5509114A (en) * | 1993-12-30 | 1996-04-16 | Xerox Corporation | Method and apparatus for correcting and/or aborting command gestures in a gesture based input system |
| DE69428675T2 (de) * | 1993-12-30 | 2002-05-08 | Xerox Corp | Apparat und Verfahren zur Unterstützung einer impliziten Strukturation von Freiform-Listen, Übersichten, Texten, Tabellen und Diagrammen in einem auf Handzeichen basierenden Eingabesystem und Editiersystem |
-
1996
- 1996-06-26 US US08/670,915 patent/US5861886A/en not_active Expired - Lifetime
-
1997
- 1997-06-19 JP JP16314497A patent/JP4602487B2/ja not_active Expired - Lifetime
- 1997-06-25 EP EP97304460A patent/EP0816998B1/en not_active Expired - Lifetime
- 1997-06-25 DE DE69719413T patent/DE69719413T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0816998B1 (en) | 2003-03-05 |
| DE69719413D1 (de) | 2003-04-10 |
| JPH1091323A (ja) | 1998-04-10 |
| EP0816998A2 (en) | 1998-01-07 |
| EP0816998A3 (en) | 1998-01-14 |
| US5861886A (en) | 1999-01-19 |
| DE69719413T2 (de) | 2003-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4602487B2 (ja) | グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム | |
| JP3973263B2 (ja) | グラフィックオブジェクトのグループの表現方法及びコンピュータ制御グラフィックディスプレイシステム | |
| US7576756B1 (en) | System and method for interaction of graphical objects on a computer controlled system | |
| JP4616424B2 (ja) | コンピュータ表示画面上におけるメニュー項目の表示方法 | |
| US5704050A (en) | Snap control for relocating elements of a graphical user interface | |
| US5914718A (en) | Method and apparatus for organizing a work space for a computer controlled display system using borders and regions | |
| US6404443B1 (en) | Three-dimensional graphical user interface for managing screen objects | |
| US11010032B2 (en) | Navigating a hierarchical data set | |
| JP5184832B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
| US7302650B1 (en) | Intuitive tools for manipulating objects in a display | |
| US6097391A (en) | Method and apparatus for graphically manipulating objects | |
| US7068288B1 (en) | System and method for moving graphical objects on a computer controlled system | |
| CN108958608B (zh) | 电子白板的界面元素操作方法、装置及交互智能设备 | |
| US6928621B2 (en) | System with graphical user interface including automatic enclosures | |
| US6025844A (en) | Method and system for creating dynamic link views | |
| US5140677A (en) | Computer user interface with window title bar mini-icons | |
| KR970008545B1 (ko) | 객체 생성 그래픽 방법 | |
| US6201539B1 (en) | Method and system for customizing a data processing system graphical user interface | |
| US20110246875A1 (en) | Digital whiteboard implementation | |
| US5615346A (en) | Method and system for a piano bar browser of information sets | |
| JP2011048835A (ja) | 一元管理及びアクセス提供用ユーザインタフェース | |
| KR20140051228A (ko) | 컨텍스트 기반 메뉴 시스템에 대한 서브메뉴 | |
| JPH10326136A (ja) | ウインドウパネルを拡大及び縮小する方法及び装置 | |
| JP3992788B2 (ja) | コンピュータ制御ディスプレイシステム | |
| US20200201519A1 (en) | Information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060823 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060823 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070606 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070612 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100930 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |