JP4001660B2 - コンピュータ制御ディスプレイシステム - Google Patents
コンピュータ制御ディスプレイシステム Download PDFInfo
- Publication number
- JP4001660B2 JP4001660B2 JP17775497A JP17775497A JP4001660B2 JP 4001660 B2 JP4001660 B2 JP 4001660B2 JP 17775497 A JP17775497 A JP 17775497A JP 17775497 A JP17775497 A JP 17775497A JP 4001660 B2 JP4001660 B2 JP 4001660B2
- Authority
- JP
- Japan
- Prior art keywords
- border
- list
- region
- area
- borders
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はコンピュータ制御ディスプレイシステム用のユーザインターフェイスの分野に関し、特にユーザインターフェイスの作業スペースのより効率的な編成に関する。
【０００２】
【従来の技術】
ペンベースシステム及び「電子ホワイトボード」（例えば、ゼロックス社（Xerox Corporation)の一部門である LiveWorksから利用可能な LiveBoard（商品名))などのコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスなどの入力デバイスの使用に基づいたグラフィカルユーザインターフェイスを提供する。このようなシステムでは、「ディスプレイ」はデータを示す手段及び入力媒体として動作する作業スペースを示す。入力デバイスを使用して生成されるペンのストロークによって、グラフィックオブジェクトをディスプレイ上に「ドローする（描く、線などを引く）」ことができる。グラフィックオブジェクトは、単語、数字又は表示できるあらゆるものを表すことができる。次に、ジェスチャーとして既知の入力技術を使用して、様々な操作をグラフィックオブジェクトに対して行うことができる。ジェスチャー自体は、命令として解釈される単なるペンのストロークにすぎない。時として、このようなシステムはドローモードの操作とジェスチャーモードの操作を有し、ペンストロークが固定グラフィックオブジェクトを生成する場合とペンストロークをジェスチャーとして処理する場合とを区別している。
【０００３】
ユーザとの対話を容易にするため、LiveBoard システムは構造の概念を提供する。LiveBoard システムが用いる様々なタイプの構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System"というタイトルの EPA 0 667 567 A2 に記載されている。概念的に、構造とは特定の関係を有するグラフィックオブジェクトの集まり、例えば LiveBoardに書き込まれるアイテムのリストなどである。構造の操作が生じると、アイテム間の関係は維持される。例えば、リストの中間にアイテムを入力すると挿入箇所より下のアイテムは下に移動し、挿入されたアイテムのためのスペースをつくる。
【０００４】
電子ホワイトボードを使用する場合、リスト及び他の構造は明確な領域においてクラスタ化される。これは、オブジェクトを生成する際又は標準の編集機能を用いてグラフィックオブジェクトを移動させることによって意識的に行われうる。オブジェクト及び構造が配置される位置が近いため、ユーザが操作によって一定のオブジェクト又は構造のみに影響を及ぼしたいときに問題が生じうる。
【０００５】
簡潔な例がリストの操作においてみられる。アイテムをリスト内の異なる位置に移動させることによってリストを再順序づけするなどのリスト操作を支援するには、システムはリストを含む領域を計算できなければならない。次に、リストの再順序づけ操作は、リストを含む領域内のオブジェクトのみに影響を及ぼし、他の領域内のオブジェクトをそのままにする。しかし、アイテム及び構造が密接してクラスタ化されると、この領域を決定することが困難な場合がある。更に、この領域が正確に決定されていても、操作を行うことによってリストアイテムを他のオブジェクト上に重ね書きしてしまう可能性がある。
【０００６】
この問題に対処する１つの方法は、アイテムを手動で選択し、これらをグループ化して作業スペース内の別の位置に移動させることである。しかし、これは面倒であり、多少非生産的である。
【０００７】
領域を決定する別の技術が前述の EPA 0 667 567 A2 に記載されており、ここでは、ユーザがドローしたボーダーラインを使用して選択操作の空間範囲を制限している。ボーダーラインは、ボーダーラインがドローされる箇所に固定される。従って、例えばボーダーがリストの底部に設定された場合、リストの選択はそのボーダーにおいて終わる。しかし、アイテムがリストに追加される場合、リストの後に続く選択がボーダーによって妨げられないようにボーダーを手動で移動させなくてはならない。これは、選択操作の範囲を制限するには有用であるが、リストを更新しなくてはならない場合に面倒になりうる。
【０００８】
【発明が解決しようとする課題】
本発明は、ユーザがグラフィカルディスプレイシステムの作業面を複数の矩形領域にテッセレート（切りばめ処理）することを可能にする。
【０００９】
【課題を解決するための手段】
作業面は、構造化ボーダーを使用してテッセレートされる。構造化ボーダーは、電子ホワイトボードとの対話の経過の際にユーザによって動的に生成される。構造化ボーダーは、領域を画定する区切りとして使用される。構造化ボーダーによって区切られた領域は、構造操作の範囲を画定する。このような構造操作の影響は、この領域に制限される。
【００１０】
異なるタイプの領域画定を提供する様々な構造化ボーダータイプが使用可能である。全ての方向又はいくつかの方向に拡張可能である領域を画定することができる。拡張可能ではない領域を画定することもできる。最後に、「フロー」領域として領域を画定することによって、これに含まれるリストアイテムを隣接フロー領域間でフローさせることができる。構造化ボーダーは、視覚的に直線で表される。様々な領域タイプは、異なるタイプのライン（例えば、標準線、太線及び破線）として表される構造化ボーダーを有する。
【００１１】
例えばボーダーの伸張、縮小又は削除など、様々なグラフィカル操作を構造化ボーダーに対して行うことができる。しかし、システムは常に作業面の完全な直線テッセレーションを維持するように動作する。従って、「依存」ボーダーの削除、伸張又は縮小を行って直線テッセレーションを維持することができる。
【００１２】
本発明の請求項１の態様は、作業面を別個の領域に編成して編集操作の影響を局所に限定するようにコンピュータ制御ディスプレイシステムを操作する方法であって、ａ）ユーザが前記作業面上に１つ又はそれより多くの構造化ボーダーを生成し、前記作業面を複数の領域にテッセレートするステップと、ｂ）前記ユーザが前記作業面上の１つ又はそれより多くのグラフィックオブジェクトを選択するステップと、ｃ）前記システムが前記選択された１つ又はそれより多くのグラフィックオブジェクトに関連するソース領域を識別するステップと、ｄ）前記ユーザが前記選択された１つ又はそれより多くのグラフィックオブジェクトに対して行われるべき編集操作を指示するステップと、ｅ）前記システムが前記編集操作を行う指定領域を識別するステップと、ｆ）前記編集操作が前記ソース領域、前記指定領域及び前記テッセレートされた作業面に及ぼすスペースの影響を前記システムが決定するステップと、ｇ）前記編集操作を行うことができるかどうかを前記システムが前記スペースの影響に基づいて決定するステップと、ｈ）前記編集動作を行うことができる場合、前記編集操作を行うステップと、を含む。
【００１３】
本発明の請求項２の態様は、グラフィカルオブジェクトを生成し表示するコンピュータ制御ディスプレイシステムであって、作業面を示すディスプレイと、前記作業面上に前記作業面の領域を画定するボーダーを生成するボーダー生成手段と、既存のボーダーを編集すると共に前記ボーダーによって前記作業スペースの直線テッセレーションを維持するボーダー編集手段と、前記作業面上にペンストロークを入力し、前記作業面上のグラフィカルオブジェクトに対して操作を開始する入力手段と、前記作業面上のグラフィカルオブジェクトに対する操作を処理すると共に、ボーダーの第１セットによって画定される第１領域内のグラフィックオブジェクトに対して行われる操作をボーダーの第２セットによって画定される第２領域内のグラフィックオブジェクトに及ぼす影響から分離する手段を有する操作処理手段と、を含む。
【００１４】
【発明の実施の形態】
グラフィックベースのコンピュータシステムにおいて作業スペースを編成するシステムが開示される。本発明の好適な実施の形態は、構造化ボーダーを使用してテッセレートされた作業スペースを生成し管理する技術において実施される。テッセレートされた作業スペースは作業スペースを非重複領域に完全に分割するものであり、グラフィックオブジェクトの操作はグラフィックオブジェクトを含む領域に制限される。このような操作は、作業スペース上に書き込んだアイテムのリストを操作する際に特に有益である。
【００１５】
本発明は、完全な直線テッセレーションを維持するように動作する。従って、ボーダーが削除されるか又は変更されると、「依存」ボーダーはこれに応じて削除されるか又は変更される。完全な直線テッセレーションは、構造操作を行う際に整然とした直覚的な結果を維持するために必要である。更に、構造化ボーダーは固定されていなくてもよい。ボーダーは、構造操作に応答して移動することができる。
【００１６】
以下の用語はこの記述において使用され、以下に示される意味を有する：
グラフィックオブジェクト：２Ｄ（２次元）空間において表示されるあらゆるオブジェクト
作業スペース：グラフィックオブジェクトが書き込まれ、かつディスプレイ上に全体又は一部が表示されるスクロール可能な２Ｄ空間
カーブ：ユーザによって手動で生成される（例えば、ペンストローク）か、又はジェスチャー（例えば、「[ 」ジェスチャーから得られる矩形）など他の手段によって生成されるか、あるいはシステム（例えばボーダー）によって生成される１次元グラフィックオブジェクト
ペンストローク：インクストローク又はジェスチャーとなる、ペンを用いる動作インクストローク：ペンストロークを用いて生じる固定したカーブ
ジェスチャー：ペンストロークを用いて生じる、一時的であり動作として解釈されるカーブ
選択物：選択されたものとしてタグが付けられたグラフィックオブジェクトのセット
直線テッセレーション：作業スペース上の各点が１つの領域内に位置するように作業スペースを矩形領域に分割すること
構造：構造とは、所定の関係を有するグラフィックオブジェクトのセットをいう。構造内のグラフィックオブジェクトに対して行われる操作は、所定の関係を保っている。本発明において使用することが可能な構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting The Implicit Structure Of Freeform Lists, Outlines, Text, Tables, and Diagrams In a Gesture-Based Input System And Editing System"というタイトルの共願特許出願番号０８／１７６，１５０に記載されている。
【００１７】
本発明において使用可能なグラフィックベースのコンピュータベースシステムは、図１を参照して示される。図１を参照すると、コンピュータベースシステムはバス１０１を介して結合した複数の構成要素を含む。ここに示されるバス１０１は、本発明を明確にするために簡略化されている。バス１０１は、複数のパラレルバス（例えば、アドレスバス、データバス及びステータスバス）及びバスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）からなる。いずれにせよ、コンピュータシステムは更に、内部メモリ１０３からバス１０１を介して提供される命令を実行するプロセッサ１０２を含む（通常、内部メモリはランダムアクセス又はＲＯＭの組み合わせであることに注意する）。動作の際、本発明の様々な機能構成要素を行うプログラム命令が内部メモリ１０３に記憶される。プロセッサ１０２及び内部メモリ１０３は別個の構成要素でもよいし、単一の一体化デバイスでもよい。プロセッサ１０２及び内部メモリ１０３は、本明細書中に説明される様々な処理機能を行う回路を含む。また、外部記憶装置１０７もバス１０１に結合している。外部記憶装置１０７は、通常は磁気又は光学ディスク記憶装置などの高容量記憶媒体である。
【００１８】
ディスプレイ１０４及びポインティングデバイス１０５もバス１０１に結合している。好適な本実施の形態では、ポインティングデバイス２０５はペンによって駆動されるタッチセンスパネルであり、これはタッチスクリーンディスプレイとしてディスプレイ１０４と一体化している。このようなタッチスクリーンディスプレイは当該技術において公知であり、ペンベースシステムのようなシステム及び電子ホワイトボードシステムにおいて使用されている。しかし、ポインティングデバイス１０５及びディスプレイ１０４は一体化されていなくてもよく、ポインティングデバイス１０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよい。
【００１９】
図２は、本発明での使用が可能なグラフィカルユーザインターフェイスの特定の実施を示している。図２を参照すると、グラフィカルユーザインターフェイスがディスプレイ１０４に表示されており、タッチパネル１０５を介して対話されている。グラフィカルユーザインターフェイスは作業面２０２を用いており、示されるように複数のアクセス可能機能２０１を用いることができる。作業面２０２は、ユーザが様々なカーブをドローすることができ、かつ他のグラフィックオブジェクトが表示される箇所である。アクセス可能機能２０１は、ディスプレイのボタン領域２０３に位置する。機能２０１は、グラフィックオブジェクトの編集操作（生成、削除、移動、縮小など）又はタッチパネル１０３の操作モードの変更操作（ドローモード及びジェスチャーモードからの切り換え）を含みうる。
【００２０】
あるいは、これらの機能は Windows指向アプリケーションにおいて共通して見られるプルダウンメニューによってアクセス可能である。しかし、これらの機能は指定が任意的であり、主要オブジェクトはシステムの操作に固有の操作を定めるべきである。これらの機能は、ジェスチャーによって呼び出される機能と同一の機能を行うことができる。
【００２１】
図３は、好適な本実施の形態の作業面の境界を概念的に示している。本発明を用いる作業面は境界が定められなくてもよく、このような実施は本発明の趣旨及び範囲から逸脱しないことに注意すべきである。図３を参照すると、作業面はＸ−Ｙ座標システム３０２の右下カドラント（1/4)３０１に位置すると考えることができる。作業面が右及び下方向に無限であり、左及び上方向において制限されるように、作業面は座標軸３０３及び３０４によって境界が定められている。従って、座標軸３０３及び３０４の各々は境界として動作する。
【００２２】
図４は、本発明の好適な実施の形態を操作するグラフィックベースコンピュータシステムの一般的な動作を非常に高次の項で示す状態図である。全体的な意図は、テッセレートされた作業スペース内のグラフィカルオブジェクトに対するあらゆる編集操作の結果が直覚的に一貫して行われる作業面を提供することである。前述の説明において明白になるように、好適な本実施の形態では、この編集操作は構造操作である。しかし、テッセレートされた作業面を利用することが可能なグラフィックオブジェクトに対する他のタイプの編集操作の実施は、本発明の趣旨及び範囲から逸脱しない。図４を参照すると、システムはユーザからの動作を検出する状態４０１にある。この状態にある間に、ユーザは追加、削除又は他の方法によるグラフィックオブジェクトの操作などの編集操作を作業スペースにおいて行っている。一般に、ユーザ対話状態４０１から４つの広いカテゴリーのジェスチャー又は動作が関連する：即ち、ボーダー選択動作４０２、ボーダー生成動作４０３、構造操作動作４０４及び領域選択動作４０５である。
【００２３】
ボーダー選択動作４０２が検出されると、構造化ボーダー更新状態４０６が入力される。構造化ボーダー状態４０６から、ボーダーを削除する（ボーダー削除状態４０７）か又は変更する（ボーダー変更状態４０８）ことができる。ボーダー削除状態４０７は、削除動作４１５の結果として又は領域削除（後述する）の結果として入力される。ボーダー変更状態４０８は、ボーダー変更動作４１６の結果として又は領域移動（後述する）の結果として入力される。ボーダーの変更は、ボーダーの移動、伸張又は縮小を含むことができる。削除及び変更の影響は、より詳しく後述される。
【００２４】
ボーダー追加動作４０３が検出されると構造化ボーダー生成状態４０９が入力され、ボーダーが生成されて作業面に追加される。
【００２５】
構造操作動作４０４が検出されると、領域内の構造操作状態４１０が入力される。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす操作であることを想起する。構造操作は１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから取り除くことでありうる。アイテムが挿入される際に予期されるように、挿入位置より下のアイテムは「下に移動する」ことができる。構造操作の経過の際、例えばリスト内のアイテムを移動させるなど様々な副作用４１１が生じる可能性があり、これによって領域が拡張したり縮小したりする。従って、領域拡張又は縮小状態４１９が入力される。このような領域拡張又は縮小によってボーダーの変更が生じうる。従って、ボーダー変更状態４０８が入力される。
【００２６】
領域選択動作４０５が検出されると、領域操作状態４１２が入力される。領域操作状態４１２から、領域を移動させるか（領域移動状態４１３）又は削除する（領域削除状態４１４）することができる。移動動作４１８が行われると、領域移動状態４１３が入力される。領域を移動させるか又は変更する場合、ボーダー変更状態４０８が入力されるようにボーダーを移動させることが通常必要である。領域を削除する場合、領域削除状態４０７が入力されるように１つ又はそれより多くのボーダーを削除することが通常必要である。
【００２７】
構造化ボーダーは、まっすぐな水平又は垂直のラインセグメントとして視覚的に表されるインクストロークであり、ラインセグメントの一方の端部は制限されており、もう一方の端部は制限されているか又は無制限である。好適な本実施の形態の作業面は、ｘ−ｙ座標システムの右下カドラントとして画定されていることを想起する。水平境界は、常にｙ軸によって少なくとも左側が制限されており、遮る垂直境界線がなければ右側端部は無制限でありうる。同様に、垂直境界は常にｘ軸によって少なくとも上部が制限されており、遮る水平境界線がなければ下部は無制限でありうる。
【００２８】
図５は、複数の構造化ボーダーによってテッセレートされた作業面を示している。図５を参照すると、標準、アンカー及びフロースルーの３つのタイプの構造化ボーダーを定義することができる。これらは、異なるタイプのラインとして表示される。標準ボーダーは、ボーダー５０１として示されている。標準ボーダーは、「標準」幅のラインで表示されている。前述のような直線ジェスチャーは、標準ボーダーを生成する。標準ボーダーは選択及び移動が可能であり、あるいは一定の操作（例えば、後述する自動領域拡張）の副作用として自動的に移動が可能である。
【００２９】
アンカーボーダーは、ボーダー５０２として示されている。アンカーボーダーは、「太」線として表示されている。アンカーボーダーは、構造操作の結果として移動しない（が、ユーザによる選択及び移動が可能である）。アンカーボーダーは、作業面のテッセレーションのあらゆる自動調節に対する「絶対的な」障害を表す。
【００３０】
フローボーダーは、ボーダー５０３として示されている。フロースルーボーダーは破線で表示されている。破線ボーダーは、（後述する）フロー領域内のコラム（列）を定める。
【００３１】
ボーダーはまた、ボーダー自体の間で関係を有する。このような関係は図５に示される。図５を参照すると、ボーダー５０４は依存ボーダー５０５を有する。ボーダー５０４が変更又は削除される場合、直線テッセレーションを維持するためにボーダー５０５も変更又は削除されなくてはならないため、ボーダー５０５はボーダー５０４に依存している。ボーダーの変更及び削除は、より詳しく後述される。
【００３２】
ボーダー５０６は、ボーダー５０７と直線の関係を有する。これらは、互いの線拡張と呼ばれる。
【００３３】
構造化ボーダーのタイプを変更できることは有用である。好適な本実施の形態では、既存のラインの太さ及びタイプの制御を使用してボーダーのタイプを変更する。
【００３４】
しかし、構造化ボーダーが（システムのドローモードの操作において通常生成される）通常のラインとは異なる特性を有することは有用である。例えば、構造化ボーダーは消去ツールを使用して容易に消去することができない（これは、行うことができる削除とは対照的である）。後述するように、構造化ボーダーの消去は依存ボーダーの消去などの望ましくない結果を生じうる。更に、操作をより迅速に識別して行うことができるように、構造化ボーダーは容易に識別可能でなくてはならない。従って、構造化ボーダーは、それが実際にボーダーであることを示す情報を含む内部表現を有する。
【００３５】
構造化ボーダーは、様々な方法で生成される。第１の方法は、フリーハンドの直線ジェスチャーを生成することによって行われる。新しく生成されるボーダーはジェスチャーの位置に配置され、ジェスチャーに対して垂直で両側にある最も近いボーダー（又は作業面の側面）につながるまでボーダーの両端部の箇所が伸ばされる。つなぐボーダーがない場合、ボーダーは制限されない（例えば、水平ボーダーが画定されていない場所の垂直ボーダー）。ジェスチャーによる生成は、図６〜図７に示される。
【００３６】
図６を参照すると、既存の垂直ボーダー６０１及び６０２はコラムを画定しており、ジェスチャー６０３が作られて作業面の第２コラムの中の水平ボーダーを生成している。図７は、結果として生じた水平ボーダー７０１を示している。
【００３７】
前述の方法では、新しいボーダーのために明確な水平スペースがなくてはならない。時として、ユーザは水平又は垂直ボーダーのための明確な水平又は垂直スペースがない場所でボーダーによってオブジェクトを分割したい場合がある。従って、ボーダーを生成する第２の方法は、１つのボーダーから別のボーダー（又は可視ディスプレイのエッジ）に任意のカーブジェスチャーをドローすることである。この場合、オブジェクトは移動されて新しいボーダーの明確な水平又は垂直スペースを生成する。結果として直線のボーダーが生成され、オブジェクトがジェスチャーによって示される領域に属するようにオブジェクトが自動的に調節される。これは、図８〜図９を参照して示される。
【００３８】
図８を参照すると、垂直ボーダー８０１と８０２との間にライン８０３がドローされている。ライン８０３は直線ではなく、領域の可視内容を２つの別個の部分に分割しており、一方は Tokyo、Shanghai及びToronto のマークを含み、他方は Vancouver及びMoscowを含んでいる。
【００３９】
図９を参照すると、２つのボーダーをつなぐラインをドローした結果が示される。ここでライン９０１は直線であり、Vancouver 及び Moscow のマークをライン９０１の下に押し下げている。
【００４０】
構造化ボーダーを生成する第３の方法を使用してフロー領域が作られ、これはフローボーダーを生成する。これは、より詳しく後述される。
【００４１】
ボーダーは、あらゆる他のグラフィカルオブジェクトのように操作が可能である。ボーダーを操作するには、ボーダーを「選択」しなくてはならない。好適な本実施の形態では、タップジェスチャー（又は「タッピングオンイット(tapping on it：タップすること）」）によって全てのボーダーを選択することができる。ボーダーを選択するとボーダーは「強調表示」される。
【００４２】
好適な本実施の形態では、構造化ボーダー及びその直線拡張は、ダブルタッピングオンイット（２度タップすること）によって選択が可能である。これは、図１０〜図１１に示される。図１０を参照すると、構造化ボーダー１００１は単一タップによって選択されている。図１１を参照すると、構造化ボーダー１００１は「ダブルタップ」され、結果としてボーダー１００１及びその直線拡張１１０１及び１１０２も選択されている。
【００４３】
ユーザによるボーダーの整列を助長するために、構造化ボーダーが生成又は移動される際、これらは小さい一定のグリッドサイズを有する不可視の背景グリッドに「スナップ (snap) 」する。
【００４４】
構造化ボーダーを選択することにより、それに依存するボーダーも強調表示される。所与のボーダーに対し、その依存物は、「親」ボーダーが除去される場合に作業面の直線テッセレーションを保つために除去される必要があるボーダーとして定義される。依存ボーダーはまた、親ボーダーが移動すると伸張又は縮小することができる。選択されたボーダーの依存ボーダーが図１２に示される。図１２を参照すると、ボーダー１２０２はボーダー１２０１に依存している。これは、ボーダー１２０１が削除されるとボーダー１２０２は作業面の直線テッセレーションを妨げるからである。図１２に示されるように、２つのボーダーが交差して「Ｔ」形を形成すると依存ボーダー状況が生じる。依存ボーダーは、「Ｔ」形の横棒を形成するボーダーである。
【００４５】
（例えば、ピッグテイルジェスチャーなどの削除ジェスチャーを使用して）選択されたボーダーを削除することができる。構造化ボーダーに関しては、削除によってその依存ボーダーも削除される。
【００４６】
選択されたボーダーは、ドラッグ操作によって移動が可能である。構造化ボーダーに関しては、（移動を止める物理的オブジェクトであるかのように）他のボーダー及びオブジェクトによって移動が遮られる。これは、図１３に示される。図１３を参照すると、選択されたボーダー１３０１はボーダー１３０２及びオブジェクト１３０３によって遮られる。従って、選択されたボーダー１３０１の移動範囲は、これらの２つのオブジェクトの間である。更に、全ての依存ボーダーを拡張又は縮小して直線テッセレーション構造を保つことができる。これは、図１４に示される。図１４を参照すると、選択されたボーダー１４０１が新しい位置に移動していると共に依存ボーダー１４０２は伸張しており、直線テッセレーション構造に従ってボーダー１４０１と接触したままである。
【００４７】
領域とは、ボーダーによって定められる作業スペース内の領域である。ボーダーが構造化ボーダーである場合、領域は矩形である。
【００４８】
領域及びそれに関連する境界は、選択されるグラフィカルオブジェクトに基づいて画定されることに注意すべきである。これは、複合領域に関する以下の論述において明らかになるであろう。
【００４９】
好適な本実施の形態では、リストアイテムをグループ化して操作する構造化操作が利用可能である。本発明は、これらの操作を領域の内部に制限する。最も基本的なケースでは、リスト操作は単一領域内のオブジェクトのみに影響し、残りの作業面上のオブジェクトのレイアウトを乱さない。これは、図１５〜図１６に示される。図１５を参照すると、領域１５０１においてリスト１０５２のアイテム１５０３が再位置づけされるべきである。この再位置づけは図１６に示される。領域１５０１以外のオブジェクトは影響を受けていないことに注意する。
【００５０】
別の基本的なケースは、２つの領域間のリスト操作を行うことである。これは、図１７〜図１８に示される。図１７を参照すると、領域１７０１からのアイテム１７０２は領域１７０３のリスト１７０４に移動される。結果は、図１８に示される。領域１７０１及び１７０３以外のオブジェクトは影響を受けていないことに注意する。
【００５１】
好適な本実施の形態では、領域は、特定の操作時間がすぐに計算されるという点で「暗黙的」なオブジェクトである。関連領域の位置、サイズ及び範囲は、ユーザの動作によって暗黙的に決定される。例えば、ユーザが選択を行うと、システムは選択物の位置及びサイズに基づいて計算をする。これは、選択物を囲む最も近い４つのボーダーによって制限される領域である。
【００５２】
複合領域とは、ボーダー又はサブ領域を含む領域である。ボーダーを含む領域が図１９に示される。図１９を参照すると、領域１９０１及び１９０２は構造化ボーダーによって定められている。ボーダー１９０５は、領域１９０２から領域１９０１を定めている。ユーザはリストアイテムを選択することができ、例えば選択物１９０３などのいくつかの領域をわたるリストアイテム又はリストアイテムのロー（行）全体などを選択することができる。ここでは、選択物はボーダーの上に重なっている。この場合、選択物の上に重なるボーダー、即ちボーダー１９０５は「アンビエント」であると一時的に考えられ、次に続くリスト操作時間のために１つの領域があると解釈する。
【００５３】
フロー領域とは、リストが１つのコラムから次のコラムへと続いているコラムのシーケンスである。コラムは、破線ボーダーとして示されるフロースルーボーダーによって分割される。これは、図２０を参照して示される。図２０を参照すると、コラム２００１〜２００３はアイテムのリストを有するフロー領域を含む。フロー領域のリスト操作によってリストを再フォーマット化し、アイテムはフロースルーボーダーをわたって（アニメーションによって）「フロー」してギャップを満たすか又は挿入のためのスペースを作る。リスト操作は、単一フロー領域内又は２つのフロー領域間で生じることができる。これは、図２１〜図２２及び図２３〜図２４に示される。
【００５４】
図２１を参照すると、リストアイテム２１０１（"Singapore")はコラム２１０２からコラム２１０４に移動される。図２２は、リストアイテム２１０１（"Singapore")の移動後に生じた「フロー」を示している。様々なコラム内のアイテムが移動したことに注意すべきである。コラム２１０２から移動して出たものはリストアイテム２１０１（"Singapore")であり、コラム２１０３から移動してコラム２１０２に入ったものはリストアイテム２２０１（"Toronto")である。コラム２１０３から移動して出たものはリストアイテム２２０１（"Toronto")であり、移動してコラム２１０３に入ったものはリストアイテム２２０２（"Moscow") である。コラム２１０４から移動して出たものはリストアイテム２２０２（"Moscow") であり、移動してコラム２１０４に入ったものはリストアイテム２１０１（"Singapore")である。影響を受けた他のリストアイテムはコラム内でシフトされ、それに応じて上又は下に移動される。
【００５５】
図２３を参照すると、リストアイテム２３０１（"Paris")は第１フロー領域２３０５のコラム２３０２から第２フロー領域２３０４のコラム２３０３に移動される。図２４は、リストアイテム２３０１（"Paris")の移動がフロー領域２３０４及び２３０５の様々なコラムに及ぼす影響を示している。フロー領域２３０４に関しては、アイテムのリストが増加しており、結果として生じたフローによって追加のアイテムがコラム２４０１に配置されている。フロー領域２３０５に関しては、アイテムのリストが減少しており、結果として生じたフローによってコラム２４０２内の全てのアイテムが取り除かれている。実際に２つのアイテムがより大きなサイズの単一アイテムに代わっているため、コラム２４０２に及ぼす影響は、アイテムのフローがアイテムのサイズに基づいていることを更に示している。
【００５６】
フロー領域は、長いリストの操作に特に有用である。これは、単一ページに列挙され、ディスプレイウィンドウが短すぎて全体を眺めることができない長いリストを処理する方法を提供する。このようなリストの一般的な例は、ブレインストーミングセッションの結果である。好適な本実施の形態では、フロー領域を生成し、リストアイテムをスケーリングし、全てのアイテムがディスプレイウィンドウ上で可視になるようにフロー領域に配置することにより、長いリストを再フォーマット化する操作が提供される。
【００５７】
これは、図２５〜図２６に示される。図２５を参照すると、作業スペース２５０１はリスト２５０２を含む。リスト２５０２は、ディスプレイの範囲（ここではディスプレイ範囲２５０３として示される）を越えて延びている。従って、一度にリスト全体をスクリーン上で眺めることができない。ここで図２６を参照すると、リストはディスプレイ上で全体を表示することができるフロー領域内に再フォーマット化されている。
【００５８】
リストのフォーマット化という基本的な操作がある。これは、リストを選んでこれを所与のサイズのフロー領域内にはめ込むことを含む。必要数のコラムがフロー領域内に生成され、リストアイテムは必要なサイズに一様にスケーリングされる。リストをフォーマット化する技術は、アイテムのスケールを最大にしたコラムの数を選択する。
【００５９】
好適な本実施の形態では、フロー領域の生成は以下の技術のうち１つを使用して達成される：
【００６０】
１．既存のボーダーをフロースルーボーダーに変える
ａ）ユーザは、タッピングによって既存のボーダーを選択する。
ｂ）ユーザは、ライン特性をフロースルーボーダーの破線に編集する。
後に続くリスト操作は、フロースルーボーダーをわたってフローする１つのリストに属するものとしてアイテムを解釈する。
【００６１】
２．リストを含む領域を圧縮する
領域の圧縮は、領域のサイズを減少させ、領域内のアイテムのスケーリングを伴い、領域内の未使用領域の量を減少させる技術である。領域がリストを含む場合、領域をフロー領域に変換するようにこれを圧縮することができる。圧縮の一般的な概念は、より詳しく後述する。いずれにせよ、フロー領域を生成するために以下のステップに従う：
ａ）ユーザは、リストを含む領域の底部ボーダーを選択する。
ｂ）ユーザは、選択されたボーダーをリスト内で最も下に位置するアイテムの底部を通過するようにドラッグする。
ｃ）システムは新しいフロースルーボーダーを自動的に生成し、追加のコラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。
【００６２】
これは、図２７〜図２９に示される。図２７を参照すると、ユーザはリスト２７０２を含む領域の底部ボーダー２７０１をドラッグする。図２８を参照すると、臨界高さ、即ちリストアイテムの合計の高さ２８０１よりも小さい高さを通過するようにユーザが選択された底部ボーダー２７０１をドラッグすると、フローボーダーを間もなく生成し、かつリストをフロー領域内に再フォーマット化することを示すユーザへのフィードバックとして強調表示されたフローボーダー２８０２が現れる。結果として生じたフロー領域は、図２９に示される。
【００６３】
好適な本実施の形態では、リストアイテムをスケーリングすることができるため、ユーザが領域を圧縮してフロー領域を生成できる範囲は制限されていない。しかし、ユーザが眺めることができるものに基づいて実質上の範囲が存在する。好適な本実施の形態では、ユーザにこの実質上の範囲を決定させる。
【００６４】
好適な本実施の形態は更に、底部ボーダーを下に移動し、より大きなフロー領域を生成することによってフロー領域内のコラムの数を減少させる「非圧縮」操作を支持することにも注意すべきである。
【００６５】
３．「リストを圧縮して可視作業面にはめ込む」操作を行う
ａ）ユーザは、ボーダーのない作業面上の全てのリストアイテムを選択する（例えば、リストはブレインストーミングセッションの結果である）。
ｂ）ユーザは、メニューによって、あるいは選択物をわたる「ダブル水平線」ジェスチャー（これは、リストを分割するためのニーモニックである）を形成することによって「リストを圧縮して可視作業面にはめ込む」を呼び出す。
ｃ）システムは、可視作業面の底部に新しいボーダーを生成すると共にフロースルーボーダーのセットを自動的に生成し、コラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。これは、リストアイテムのスケーリングを含みうる。
【００６６】
図３０は、リストをフロー領域内にフォーマット化するステップを説明するフローチャートである。まず、（前述の）フロー領域を生成した技術によってフロー領域のサイズを決定する（ステップ３００１）。次に、リストをフロー領域にはめ込むことを可能にする縦列（コラム状）編集を決定する。初めに、フロー領域のサイズ及びリストアイテムに基づいて、リストをフロー領域内のｎ個のコラムにはめ込む最大の倍率を有するコラムの数 "ｎ" を決定する（ステップ３００２）。一般に、様々な数のコラムをテストし、リスト全体をフロー領域にはめ込むことができる倍率（即ち、アイテムを縮小しなくてはならない程度）を各々に対して決定することにより、ステップ３００２を行うことができる。最大倍率を有するコラムの数を選択する。
【００６７】
次に、領域内に表示されるフローボーダーによってフロー領域を "ｎ" 個の均等なコラムに分割する（ステップ３００３）。最後に、リストアイテムをスケーリングし、各々のコラム内に配置する（ステップ３００４）。最後に、フロー領域及びリストを表示する（ステップ３００５）。好適な本実施の形態では、この配置は最も左のコラムから最も右のコラムへ行われる。従って、最も右のコラムは底部にギャップを有しうる。もちろん、アイテムをコラム内に均等に配置するなど、他のマッピングを使用することもできる。
【００６８】
ボーダーのように、領域を選択して移動することが可能である。領域の移動によって、領域内に含まれるグラフィックオブジェクトも移動する。好適な本実施の形態では、選択された領域を示す角括弧（「［」）又はＬ形のジェスチャーを生成することによって領域の選択が行われる。角括弧を用いた選択は、図３１〜図３２に示される。図３１を参照すると、括弧ジェスチャー３１０１の角３１０５及び３１０６が領域３１０４の水平ボーダー３１０２及び３１０３と合うように角括弧ジェスチャー３１０１が呼び出される。選択物は、領域３１０４を囲む破線として図３２に示される。
【００６９】
Ｌ形ジェスチャーを用いた選択は、図３３〜図３４に示される。図３３を参照すると、領域３３０４が選択される。第１のＬ形ジェスチャー３３０１によって、ボーダー３３０２及び３３０３ならびにこれらの直線拡張が選択される。これは、領域３３０４の境界を明らかに越えている。ここで図３４を参照すると、第２のＬ形ジェスチャーは更に選択物を領域３３０４に制限している。
【００７０】
選択されたボーダーと共に、選択された領域をドラッギングによって移動させることができる。移動は、水平方向及び垂直方向に制限される。垂直方向では、これは図３５〜図３６に示される。図３５を参照すると、選択された領域３５０１はポイント３５０２に移動される（ここでは例示のために示される）。移動の結果は図３６に示される。図３５では、水平ボーダー３５０３は直線拡張３５０４を有することに注意すべきである。しかし、図３６からわかるように、直線拡張は領域３５０１と共に移動しない。しかし、垂直ボーダー３５０９及び３５１０が移動されると、これらの拡張は変更される。ここでは、直線拡張３５０７及び３５０８は短くされ、直線拡張３５０５及び３５０６は伸張される。
【００７１】
領域の水平方向移動が図３７〜図３８に示される。図３７を参照すると、領域３７０１はポイント３７０２に移動される（ここでは例示のために示される）。移動の結果は図３７に示される。垂直移動の場合と同じように、垂直ボーダー３７０３及び３７０４の直線拡張は移動せず、水平直線拡張はこれに応じて短くされるか又は伸張される。
【００７２】
領域の移動は、既存のオブジェクト又はボーダーによっても制限される。これは、図３９〜図４０に示される。図３９を参照すると、垂直方向において、領域３９０１の移動は上方向の上部水平ボーダー３９０２及び下方向のグラフィックオブジェクト３９０３によって制限されている。図４０を参照すると、水平方向において、領域４００１の移動は左ボーダー４００２によって左側が制限され、グラフィックオブジェクト４００３によって右側が制限されている。
【００７３】
最後に、選択された領域を削除することができる。削除の影響は、テッセレートされた作業面の構成に依存する。通常、選択された領域がグリッド編成（例えば、表又はスプレッドシート）の一部ではない場合、領域内のグラフィックオブジェクトも削除され、削除されたオブジェクトによってあいたスペースと同じ量のスペースが縮小される。好適な本実施の形態では、このような縮小は自動的に行われ、これによって様々なボーダーの位置がシフトされる。選択された領域がグリッド編成の一部である場合、領域内のグラフィックオブジェクトは削除されるが、選択された領域はそのままである。これは、どちらの方向（即ち、垂直方向又は水平方向）に領域をコラプスさせるかという曖昧さを回避するために行われる。
【００７４】
構造化リスト操作が領域内により多くのスペースを必要とする場合、リストなどの暗黙的な構造に対して操作をすることによって構造化ボーダー領域は右方向又は下方向に自動的に拡張する。これらの操作は以下の通りである：ａ）アイテムを領域内に移動させる／複写する、ｂ）領域内のアイテムをスケーリングする、ｃ）リストの注釈／脚注を表示（又は拡張）する。これらの操作は、図４１〜図４２、図４３〜図４４及び図４５〜図４６に示される。
【００７５】
図４１を参照すると、領域４１０２内のリストアイテム４１０１は領域４１０４内のリスト４１０３に移動される。結果は図４２に示されており、ここで領域４１０４は水平方向及び垂直方向の双方に拡張している。結果として、領域４１０５も垂直方向に拡張していることに注意すべきである。これは、拡張が最も高いレベルのボーダーの直線テッセレーション構造を保つためである。左又は下方向に押される必要のある構造化ボーダーは、そのボーダーの直線拡張を有する。移動されたボーダーの右又は下にある領域内の全てのオブジェクトも移動される。
【００７６】
図４３を参照すると、領域４３０２内のリストアイテム４３０１はより大きなサイズにスケーリングされる。結果が図４４に示されており、ここで領域４３０２は拡張して拡大されたアイテムを収容している。
【００７７】
図４５を参照すると、領域４５０２内のリストアイテム４５０１は脚注４５０３と関連している。表示（又は拡張）操作が脚注４５０３に対して行われる。結果が図４６に示されており、ここで領域４５０２は拡張して脚注の内容を表示している。
【００７８】
同様にして、リスト操作がリスト内のあいたスペースの削除を必要とする場合は領域が縮小される。これらの操作は以下の通りである：ａ）アイテムを領域から移動させる、ｂ）アイテムを削除する、ｃ）アイテムを縮小する、ｄ）リストの注釈／脚注をコラプスさせる。縮小は単なる拡張の反対であるため、縮小に関する更なる説明は不要とみなされる。
【００７９】
通常は、領域をその内容の外範囲と同じくらいにしか小さくすることができない。物理的なオブジェクトによって停止されるかのように、ボーダードラッギング操作はそこで停止する。しかし、ユーザは、余剰内部スペースを取り除く（又は前述のように狭い１コラムのリストを複数コラムのフロー領域内に再フォーマット化する）ことによって領域のサイズを更に縮小したい場合がある。これは、領域の「圧縮」と呼ばれる。ユーザが（拡張があるか又はない）ボーダーを選択してこれを上方向にドラッグすると、ユーザは、ボーダーが妨害オブジェクトに当たる箇所において一定のフィードバック（ドラッギングに対する「抵抗」及びボーダーの外観の視覚的変化）を受ける。この時点で、ユーザはボーダーを更に上にドラッグし続けることができる。ユーザがドラッグを離すと、より短い領域内にアイテムが入るようにリストアイテム間のスペースが均等に減少される。これは、図４７〜図４９に示される。図４７を参照すると、ボーダー４７０１が選択されており、上方向にドラッグされてリスト４７０２を圧縮している。図４７では、ボーダー４７０１はリスト４７０２の底部のすぐ下の位置に移動されている。図４８を参照すると、ボーダー４７０１はリスト４７０２の底部より上の位置に移動されている。最後に、図４９を参照すると、リスト４７０２全体を表示できるように領域が圧縮されている。
【００８０】
もちろん、ボーダーをドラッグすることができる範囲がある。この範囲は予め計算されており、リストアイテムの全体的な高さに基づいている。しかし、前述のように、ボーダーを更にドラッグしてフロー領域を生成してもよい。
【００８１】
好適な本実施の形態は、未使用スペースを手動で追加するジェスチャー（ウェッジジェスチャー）又は未使用スペースを削除するジェスチャー（ピッグテイルジェスチャー）を提供することにも注意すべきである。各インスタンスは、所定サイズの対応領域にラインを追加するか又は該領域からラインを削除する。
【００８２】
好適な本実施の形態では、構造操作はテッセレートされた作業面を利用する編集操作である。構造操作を実施する際、構造化ボーダーを移動させることができる。これは、自動領域拡張及び縮小に関連して前述した。図５０のフロー図は、本発明の好適な実施の形態において構造操作を分析し、これを実施できるかどうかを調べるための基本技術を示している。図５０を参照すると、電子ホワイトボードを使用している際に、ユーザは構造化ボーダーとして解釈可能な１つ又はそれより多くのグラフィックオブジェクトを生成する（ステップ５００１）。次に、電子ホワイトボードとの対話のある時点において、ユーザは１つ又はそれより多くのグラフィックオブジェクトを選択する（ステップ５００２）。この選択は、通常は構造操作を行うための準備である。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす動作であることを想起する。構造操作とは、１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから削除することでありうる。アイテムを挿入する際に予期されるように、挿入位置の下にあるアイテムは「下に移動する」ことができる。
【００８３】
選択が生じると、システムは「ソース」領域を識別する（ステップ５００３）。ソース領域は、簿記の目的で識別される。選択が生じた後、一定の構造操作を行う（ステップ５００４）。例えば、リストにアイテムを挿入する。操作を行う前に、システムは「指定」領域を識別する（ステップ５００５）。指定領域に基づいて、システムは操作を行えるかどうかをスペースの見地から決定する（ステップ５００６）。前述のように、構造操作は領域拡張を生じることができる。領域拡張は、アンカーボーダー又は他のグラフィックオブジェクトの存在によって制限されうる。従って、拡張に利用可能なスペースの量が限られている場合がある。いずれにせよ、システムはこのような制約の存在を調べ、構造操作の実施に十分なスペースがあるかどうかを推定する。
【００８４】
スペースがあるとシステムが決定した場合、構造操作を行う（ステップ５００７）。前述のように、これは領域拡張（例えば、アイテムを領域内のリストに移動する）又は縮小（例えば、領域内のリストからアイテムを移動させる）を生じうる。スペースがないとシステムが決定した場合は構造操作を行わず、操作を行うことができない理由に関する指示をユーザに返す（ステップ５００８）。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態において使用可能であるグラフィックベースコンピュータシステムのブロック図である。
【図２】ディスプレイ上に表示でき、かつ図２のタッチセンスパネルによってインターフェイスすることができる基本的なグラフィカルユーザインターフェイスの表現である。
【図３】本発明の好適な実施の形態において使用可能な、作業面のマッピングを示すＸ−Ｙ座標システムの図である。
【図４】本発明の好適な実施の形態の基本動作を示す状態図である。
【図５】作業面をテッセレートする構造化ボーダーの図である。
【図６】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図７】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図８】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図９】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図１０】本発明の好適な実施の形態において行われうる、タップジェスチャーによって構造化ボーダーを選択する図である。
【図１１】本発明の好適な実施の形態において行われうる、ダブルタップジェスチャーによって構造化ボーダー及びその拡張を選択する図である。
【図１２】本発明の好適な実施の形態において行われうる、依存ボーダーを有する構造化ボーダーを選択する図である。
【図１３】本発明の好適な実施の形態における構造化ボーダーの移動範囲の図である。
【図１４】本発明の好適な実施の形態において行われうる、構造化ボーダーを移動させて依存ボーダーを調節する図である。
【図１５】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１６】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１７】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１８】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１９】本発明の好適な実施の形態において行われうる、「アンビエント」ボーダーをまたがる選択が行われる複合領域の図である。
【図２０】本発明の好適な実施の形態におけるフロー領域の図である。
【図２１】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２２】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２３】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２４】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２５】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２６】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２７】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２８】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２９】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図３０】本発明の好適な実施の形態において行われうる、リストをフロー領域内にフォーマット化するステップを示すフローチャートである。
【図３１】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３２】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３３】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３４】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３５】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３６】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３７】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３８】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３９】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４０】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４１】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４２】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４３】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４４】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４５】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４６】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４７】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４８】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４９】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図５０】本発明の好適な実施の形態において構造操作を行うことができるかどうかを決定する基本的なステップを示すフローチャートである。
【符号の説明】
１０１ バス
１０２ プロセッサ
１０３ 内部メモリ
１０４ ディスプレイ
１０５ ポインティングデバイス
１０７ 外部記憶装置
【発明の属する技術分野】
本発明はコンピュータ制御ディスプレイシステム用のユーザインターフェイスの分野に関し、特にユーザインターフェイスの作業スペースのより効率的な編成に関する。
【０００２】
【従来の技術】
ペンベースシステム及び「電子ホワイトボード」（例えば、ゼロックス社（Xerox Corporation)の一部門である LiveWorksから利用可能な LiveBoard（商品名))などのコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスなどの入力デバイスの使用に基づいたグラフィカルユーザインターフェイスを提供する。このようなシステムでは、「ディスプレイ」はデータを示す手段及び入力媒体として動作する作業スペースを示す。入力デバイスを使用して生成されるペンのストロークによって、グラフィックオブジェクトをディスプレイ上に「ドローする（描く、線などを引く）」ことができる。グラフィックオブジェクトは、単語、数字又は表示できるあらゆるものを表すことができる。次に、ジェスチャーとして既知の入力技術を使用して、様々な操作をグラフィックオブジェクトに対して行うことができる。ジェスチャー自体は、命令として解釈される単なるペンのストロークにすぎない。時として、このようなシステムはドローモードの操作とジェスチャーモードの操作を有し、ペンストロークが固定グラフィックオブジェクトを生成する場合とペンストロークをジェスチャーとして処理する場合とを区別している。
【０００３】
ユーザとの対話を容易にするため、LiveBoard システムは構造の概念を提供する。LiveBoard システムが用いる様々なタイプの構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System"というタイトルの EPA 0 667 567 A2 に記載されている。概念的に、構造とは特定の関係を有するグラフィックオブジェクトの集まり、例えば LiveBoardに書き込まれるアイテムのリストなどである。構造の操作が生じると、アイテム間の関係は維持される。例えば、リストの中間にアイテムを入力すると挿入箇所より下のアイテムは下に移動し、挿入されたアイテムのためのスペースをつくる。
【０００４】
電子ホワイトボードを使用する場合、リスト及び他の構造は明確な領域においてクラスタ化される。これは、オブジェクトを生成する際又は標準の編集機能を用いてグラフィックオブジェクトを移動させることによって意識的に行われうる。オブジェクト及び構造が配置される位置が近いため、ユーザが操作によって一定のオブジェクト又は構造のみに影響を及ぼしたいときに問題が生じうる。
【０００５】
簡潔な例がリストの操作においてみられる。アイテムをリスト内の異なる位置に移動させることによってリストを再順序づけするなどのリスト操作を支援するには、システムはリストを含む領域を計算できなければならない。次に、リストの再順序づけ操作は、リストを含む領域内のオブジェクトのみに影響を及ぼし、他の領域内のオブジェクトをそのままにする。しかし、アイテム及び構造が密接してクラスタ化されると、この領域を決定することが困難な場合がある。更に、この領域が正確に決定されていても、操作を行うことによってリストアイテムを他のオブジェクト上に重ね書きしてしまう可能性がある。
【０００６】
この問題に対処する１つの方法は、アイテムを手動で選択し、これらをグループ化して作業スペース内の別の位置に移動させることである。しかし、これは面倒であり、多少非生産的である。
【０００７】
領域を決定する別の技術が前述の EPA 0 667 567 A2 に記載されており、ここでは、ユーザがドローしたボーダーラインを使用して選択操作の空間範囲を制限している。ボーダーラインは、ボーダーラインがドローされる箇所に固定される。従って、例えばボーダーがリストの底部に設定された場合、リストの選択はそのボーダーにおいて終わる。しかし、アイテムがリストに追加される場合、リストの後に続く選択がボーダーによって妨げられないようにボーダーを手動で移動させなくてはならない。これは、選択操作の範囲を制限するには有用であるが、リストを更新しなくてはならない場合に面倒になりうる。
【０００８】
【発明が解決しようとする課題】
本発明は、ユーザがグラフィカルディスプレイシステムの作業面を複数の矩形領域にテッセレート（切りばめ処理）することを可能にする。
【０００９】
【課題を解決するための手段】
作業面は、構造化ボーダーを使用してテッセレートされる。構造化ボーダーは、電子ホワイトボードとの対話の経過の際にユーザによって動的に生成される。構造化ボーダーは、領域を画定する区切りとして使用される。構造化ボーダーによって区切られた領域は、構造操作の範囲を画定する。このような構造操作の影響は、この領域に制限される。
【００１０】
異なるタイプの領域画定を提供する様々な構造化ボーダータイプが使用可能である。全ての方向又はいくつかの方向に拡張可能である領域を画定することができる。拡張可能ではない領域を画定することもできる。最後に、「フロー」領域として領域を画定することによって、これに含まれるリストアイテムを隣接フロー領域間でフローさせることができる。構造化ボーダーは、視覚的に直線で表される。様々な領域タイプは、異なるタイプのライン（例えば、標準線、太線及び破線）として表される構造化ボーダーを有する。
【００１１】
例えばボーダーの伸張、縮小又は削除など、様々なグラフィカル操作を構造化ボーダーに対して行うことができる。しかし、システムは常に作業面の完全な直線テッセレーションを維持するように動作する。従って、「依存」ボーダーの削除、伸張又は縮小を行って直線テッセレーションを維持することができる。
【００１２】
本発明の請求項１の態様は、作業面を別個の領域に編成して編集操作の影響を局所に限定するようにコンピュータ制御ディスプレイシステムを操作する方法であって、ａ）ユーザが前記作業面上に１つ又はそれより多くの構造化ボーダーを生成し、前記作業面を複数の領域にテッセレートするステップと、ｂ）前記ユーザが前記作業面上の１つ又はそれより多くのグラフィックオブジェクトを選択するステップと、ｃ）前記システムが前記選択された１つ又はそれより多くのグラフィックオブジェクトに関連するソース領域を識別するステップと、ｄ）前記ユーザが前記選択された１つ又はそれより多くのグラフィックオブジェクトに対して行われるべき編集操作を指示するステップと、ｅ）前記システムが前記編集操作を行う指定領域を識別するステップと、ｆ）前記編集操作が前記ソース領域、前記指定領域及び前記テッセレートされた作業面に及ぼすスペースの影響を前記システムが決定するステップと、ｇ）前記編集操作を行うことができるかどうかを前記システムが前記スペースの影響に基づいて決定するステップと、ｈ）前記編集動作を行うことができる場合、前記編集操作を行うステップと、を含む。
【００１３】
本発明の請求項２の態様は、グラフィカルオブジェクトを生成し表示するコンピュータ制御ディスプレイシステムであって、作業面を示すディスプレイと、前記作業面上に前記作業面の領域を画定するボーダーを生成するボーダー生成手段と、既存のボーダーを編集すると共に前記ボーダーによって前記作業スペースの直線テッセレーションを維持するボーダー編集手段と、前記作業面上にペンストロークを入力し、前記作業面上のグラフィカルオブジェクトに対して操作を開始する入力手段と、前記作業面上のグラフィカルオブジェクトに対する操作を処理すると共に、ボーダーの第１セットによって画定される第１領域内のグラフィックオブジェクトに対して行われる操作をボーダーの第２セットによって画定される第２領域内のグラフィックオブジェクトに及ぼす影響から分離する手段を有する操作処理手段と、を含む。
【００１４】
【発明の実施の形態】
グラフィックベースのコンピュータシステムにおいて作業スペースを編成するシステムが開示される。本発明の好適な実施の形態は、構造化ボーダーを使用してテッセレートされた作業スペースを生成し管理する技術において実施される。テッセレートされた作業スペースは作業スペースを非重複領域に完全に分割するものであり、グラフィックオブジェクトの操作はグラフィックオブジェクトを含む領域に制限される。このような操作は、作業スペース上に書き込んだアイテムのリストを操作する際に特に有益である。
【００１５】
本発明は、完全な直線テッセレーションを維持するように動作する。従って、ボーダーが削除されるか又は変更されると、「依存」ボーダーはこれに応じて削除されるか又は変更される。完全な直線テッセレーションは、構造操作を行う際に整然とした直覚的な結果を維持するために必要である。更に、構造化ボーダーは固定されていなくてもよい。ボーダーは、構造操作に応答して移動することができる。
【００１６】
以下の用語はこの記述において使用され、以下に示される意味を有する：
グラフィックオブジェクト：２Ｄ（２次元）空間において表示されるあらゆるオブジェクト
作業スペース：グラフィックオブジェクトが書き込まれ、かつディスプレイ上に全体又は一部が表示されるスクロール可能な２Ｄ空間
カーブ：ユーザによって手動で生成される（例えば、ペンストローク）か、又はジェスチャー（例えば、「[ 」ジェスチャーから得られる矩形）など他の手段によって生成されるか、あるいはシステム（例えばボーダー）によって生成される１次元グラフィックオブジェクト
ペンストローク：インクストローク又はジェスチャーとなる、ペンを用いる動作インクストローク：ペンストロークを用いて生じる固定したカーブ
ジェスチャー：ペンストロークを用いて生じる、一時的であり動作として解釈されるカーブ
選択物：選択されたものとしてタグが付けられたグラフィックオブジェクトのセット
直線テッセレーション：作業スペース上の各点が１つの領域内に位置するように作業スペースを矩形領域に分割すること
構造：構造とは、所定の関係を有するグラフィックオブジェクトのセットをいう。構造内のグラフィックオブジェクトに対して行われる操作は、所定の関係を保っている。本発明において使用することが可能な構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting The Implicit Structure Of Freeform Lists, Outlines, Text, Tables, and Diagrams In a Gesture-Based Input System And Editing System"というタイトルの共願特許出願番号０８／１７６，１５０に記載されている。
【００１７】
本発明において使用可能なグラフィックベースのコンピュータベースシステムは、図１を参照して示される。図１を参照すると、コンピュータベースシステムはバス１０１を介して結合した複数の構成要素を含む。ここに示されるバス１０１は、本発明を明確にするために簡略化されている。バス１０１は、複数のパラレルバス（例えば、アドレスバス、データバス及びステータスバス）及びバスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）からなる。いずれにせよ、コンピュータシステムは更に、内部メモリ１０３からバス１０１を介して提供される命令を実行するプロセッサ１０２を含む（通常、内部メモリはランダムアクセス又はＲＯＭの組み合わせであることに注意する）。動作の際、本発明の様々な機能構成要素を行うプログラム命令が内部メモリ１０３に記憶される。プロセッサ１０２及び内部メモリ１０３は別個の構成要素でもよいし、単一の一体化デバイスでもよい。プロセッサ１０２及び内部メモリ１０３は、本明細書中に説明される様々な処理機能を行う回路を含む。また、外部記憶装置１０７もバス１０１に結合している。外部記憶装置１０７は、通常は磁気又は光学ディスク記憶装置などの高容量記憶媒体である。
【００１８】
ディスプレイ１０４及びポインティングデバイス１０５もバス１０１に結合している。好適な本実施の形態では、ポインティングデバイス２０５はペンによって駆動されるタッチセンスパネルであり、これはタッチスクリーンディスプレイとしてディスプレイ１０４と一体化している。このようなタッチスクリーンディスプレイは当該技術において公知であり、ペンベースシステムのようなシステム及び電子ホワイトボードシステムにおいて使用されている。しかし、ポインティングデバイス１０５及びディスプレイ１０４は一体化されていなくてもよく、ポインティングデバイス１０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよい。
【００１９】
図２は、本発明での使用が可能なグラフィカルユーザインターフェイスの特定の実施を示している。図２を参照すると、グラフィカルユーザインターフェイスがディスプレイ１０４に表示されており、タッチパネル１０５を介して対話されている。グラフィカルユーザインターフェイスは作業面２０２を用いており、示されるように複数のアクセス可能機能２０１を用いることができる。作業面２０２は、ユーザが様々なカーブをドローすることができ、かつ他のグラフィックオブジェクトが表示される箇所である。アクセス可能機能２０１は、ディスプレイのボタン領域２０３に位置する。機能２０１は、グラフィックオブジェクトの編集操作（生成、削除、移動、縮小など）又はタッチパネル１０３の操作モードの変更操作（ドローモード及びジェスチャーモードからの切り換え）を含みうる。
【００２０】
あるいは、これらの機能は Windows指向アプリケーションにおいて共通して見られるプルダウンメニューによってアクセス可能である。しかし、これらの機能は指定が任意的であり、主要オブジェクトはシステムの操作に固有の操作を定めるべきである。これらの機能は、ジェスチャーによって呼び出される機能と同一の機能を行うことができる。
【００２１】
図３は、好適な本実施の形態の作業面の境界を概念的に示している。本発明を用いる作業面は境界が定められなくてもよく、このような実施は本発明の趣旨及び範囲から逸脱しないことに注意すべきである。図３を参照すると、作業面はＸ−Ｙ座標システム３０２の右下カドラント（1/4)３０１に位置すると考えることができる。作業面が右及び下方向に無限であり、左及び上方向において制限されるように、作業面は座標軸３０３及び３０４によって境界が定められている。従って、座標軸３０３及び３０４の各々は境界として動作する。
【００２２】
図４は、本発明の好適な実施の形態を操作するグラフィックベースコンピュータシステムの一般的な動作を非常に高次の項で示す状態図である。全体的な意図は、テッセレートされた作業スペース内のグラフィカルオブジェクトに対するあらゆる編集操作の結果が直覚的に一貫して行われる作業面を提供することである。前述の説明において明白になるように、好適な本実施の形態では、この編集操作は構造操作である。しかし、テッセレートされた作業面を利用することが可能なグラフィックオブジェクトに対する他のタイプの編集操作の実施は、本発明の趣旨及び範囲から逸脱しない。図４を参照すると、システムはユーザからの動作を検出する状態４０１にある。この状態にある間に、ユーザは追加、削除又は他の方法によるグラフィックオブジェクトの操作などの編集操作を作業スペースにおいて行っている。一般に、ユーザ対話状態４０１から４つの広いカテゴリーのジェスチャー又は動作が関連する：即ち、ボーダー選択動作４０２、ボーダー生成動作４０３、構造操作動作４０４及び領域選択動作４０５である。
【００２３】
ボーダー選択動作４０２が検出されると、構造化ボーダー更新状態４０６が入力される。構造化ボーダー状態４０６から、ボーダーを削除する（ボーダー削除状態４０７）か又は変更する（ボーダー変更状態４０８）ことができる。ボーダー削除状態４０７は、削除動作４１５の結果として又は領域削除（後述する）の結果として入力される。ボーダー変更状態４０８は、ボーダー変更動作４１６の結果として又は領域移動（後述する）の結果として入力される。ボーダーの変更は、ボーダーの移動、伸張又は縮小を含むことができる。削除及び変更の影響は、より詳しく後述される。
【００２４】
ボーダー追加動作４０３が検出されると構造化ボーダー生成状態４０９が入力され、ボーダーが生成されて作業面に追加される。
【００２５】
構造操作動作４０４が検出されると、領域内の構造操作状態４１０が入力される。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす操作であることを想起する。構造操作は１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから取り除くことでありうる。アイテムが挿入される際に予期されるように、挿入位置より下のアイテムは「下に移動する」ことができる。構造操作の経過の際、例えばリスト内のアイテムを移動させるなど様々な副作用４１１が生じる可能性があり、これによって領域が拡張したり縮小したりする。従って、領域拡張又は縮小状態４１９が入力される。このような領域拡張又は縮小によってボーダーの変更が生じうる。従って、ボーダー変更状態４０８が入力される。
【００２６】
領域選択動作４０５が検出されると、領域操作状態４１２が入力される。領域操作状態４１２から、領域を移動させるか（領域移動状態４１３）又は削除する（領域削除状態４１４）することができる。移動動作４１８が行われると、領域移動状態４１３が入力される。領域を移動させるか又は変更する場合、ボーダー変更状態４０８が入力されるようにボーダーを移動させることが通常必要である。領域を削除する場合、領域削除状態４０７が入力されるように１つ又はそれより多くのボーダーを削除することが通常必要である。
【００２７】
構造化ボーダーは、まっすぐな水平又は垂直のラインセグメントとして視覚的に表されるインクストロークであり、ラインセグメントの一方の端部は制限されており、もう一方の端部は制限されているか又は無制限である。好適な本実施の形態の作業面は、ｘ−ｙ座標システムの右下カドラントとして画定されていることを想起する。水平境界は、常にｙ軸によって少なくとも左側が制限されており、遮る垂直境界線がなければ右側端部は無制限でありうる。同様に、垂直境界は常にｘ軸によって少なくとも上部が制限されており、遮る水平境界線がなければ下部は無制限でありうる。
【００２８】
図５は、複数の構造化ボーダーによってテッセレートされた作業面を示している。図５を参照すると、標準、アンカー及びフロースルーの３つのタイプの構造化ボーダーを定義することができる。これらは、異なるタイプのラインとして表示される。標準ボーダーは、ボーダー５０１として示されている。標準ボーダーは、「標準」幅のラインで表示されている。前述のような直線ジェスチャーは、標準ボーダーを生成する。標準ボーダーは選択及び移動が可能であり、あるいは一定の操作（例えば、後述する自動領域拡張）の副作用として自動的に移動が可能である。
【００２９】
アンカーボーダーは、ボーダー５０２として示されている。アンカーボーダーは、「太」線として表示されている。アンカーボーダーは、構造操作の結果として移動しない（が、ユーザによる選択及び移動が可能である）。アンカーボーダーは、作業面のテッセレーションのあらゆる自動調節に対する「絶対的な」障害を表す。
【００３０】
フローボーダーは、ボーダー５０３として示されている。フロースルーボーダーは破線で表示されている。破線ボーダーは、（後述する）フロー領域内のコラム（列）を定める。
【００３１】
ボーダーはまた、ボーダー自体の間で関係を有する。このような関係は図５に示される。図５を参照すると、ボーダー５０４は依存ボーダー５０５を有する。ボーダー５０４が変更又は削除される場合、直線テッセレーションを維持するためにボーダー５０５も変更又は削除されなくてはならないため、ボーダー５０５はボーダー５０４に依存している。ボーダーの変更及び削除は、より詳しく後述される。
【００３２】
ボーダー５０６は、ボーダー５０７と直線の関係を有する。これらは、互いの線拡張と呼ばれる。
【００３３】
構造化ボーダーのタイプを変更できることは有用である。好適な本実施の形態では、既存のラインの太さ及びタイプの制御を使用してボーダーのタイプを変更する。
【００３４】
しかし、構造化ボーダーが（システムのドローモードの操作において通常生成される）通常のラインとは異なる特性を有することは有用である。例えば、構造化ボーダーは消去ツールを使用して容易に消去することができない（これは、行うことができる削除とは対照的である）。後述するように、構造化ボーダーの消去は依存ボーダーの消去などの望ましくない結果を生じうる。更に、操作をより迅速に識別して行うことができるように、構造化ボーダーは容易に識別可能でなくてはならない。従って、構造化ボーダーは、それが実際にボーダーであることを示す情報を含む内部表現を有する。
【００３５】
構造化ボーダーは、様々な方法で生成される。第１の方法は、フリーハンドの直線ジェスチャーを生成することによって行われる。新しく生成されるボーダーはジェスチャーの位置に配置され、ジェスチャーに対して垂直で両側にある最も近いボーダー（又は作業面の側面）につながるまでボーダーの両端部の箇所が伸ばされる。つなぐボーダーがない場合、ボーダーは制限されない（例えば、水平ボーダーが画定されていない場所の垂直ボーダー）。ジェスチャーによる生成は、図６〜図７に示される。
【００３６】
図６を参照すると、既存の垂直ボーダー６０１及び６０２はコラムを画定しており、ジェスチャー６０３が作られて作業面の第２コラムの中の水平ボーダーを生成している。図７は、結果として生じた水平ボーダー７０１を示している。
【００３７】
前述の方法では、新しいボーダーのために明確な水平スペースがなくてはならない。時として、ユーザは水平又は垂直ボーダーのための明確な水平又は垂直スペースがない場所でボーダーによってオブジェクトを分割したい場合がある。従って、ボーダーを生成する第２の方法は、１つのボーダーから別のボーダー（又は可視ディスプレイのエッジ）に任意のカーブジェスチャーをドローすることである。この場合、オブジェクトは移動されて新しいボーダーの明確な水平又は垂直スペースを生成する。結果として直線のボーダーが生成され、オブジェクトがジェスチャーによって示される領域に属するようにオブジェクトが自動的に調節される。これは、図８〜図９を参照して示される。
【００３８】
図８を参照すると、垂直ボーダー８０１と８０２との間にライン８０３がドローされている。ライン８０３は直線ではなく、領域の可視内容を２つの別個の部分に分割しており、一方は Tokyo、Shanghai及びToronto のマークを含み、他方は Vancouver及びMoscowを含んでいる。
【００３９】
図９を参照すると、２つのボーダーをつなぐラインをドローした結果が示される。ここでライン９０１は直線であり、Vancouver 及び Moscow のマークをライン９０１の下に押し下げている。
【００４０】
構造化ボーダーを生成する第３の方法を使用してフロー領域が作られ、これはフローボーダーを生成する。これは、より詳しく後述される。
【００４１】
ボーダーは、あらゆる他のグラフィカルオブジェクトのように操作が可能である。ボーダーを操作するには、ボーダーを「選択」しなくてはならない。好適な本実施の形態では、タップジェスチャー（又は「タッピングオンイット(tapping on it：タップすること）」）によって全てのボーダーを選択することができる。ボーダーを選択するとボーダーは「強調表示」される。
【００４２】
好適な本実施の形態では、構造化ボーダー及びその直線拡張は、ダブルタッピングオンイット（２度タップすること）によって選択が可能である。これは、図１０〜図１１に示される。図１０を参照すると、構造化ボーダー１００１は単一タップによって選択されている。図１１を参照すると、構造化ボーダー１００１は「ダブルタップ」され、結果としてボーダー１００１及びその直線拡張１１０１及び１１０２も選択されている。
【００４３】
ユーザによるボーダーの整列を助長するために、構造化ボーダーが生成又は移動される際、これらは小さい一定のグリッドサイズを有する不可視の背景グリッドに「スナップ (snap) 」する。
【００４４】
構造化ボーダーを選択することにより、それに依存するボーダーも強調表示される。所与のボーダーに対し、その依存物は、「親」ボーダーが除去される場合に作業面の直線テッセレーションを保つために除去される必要があるボーダーとして定義される。依存ボーダーはまた、親ボーダーが移動すると伸張又は縮小することができる。選択されたボーダーの依存ボーダーが図１２に示される。図１２を参照すると、ボーダー１２０２はボーダー１２０１に依存している。これは、ボーダー１２０１が削除されるとボーダー１２０２は作業面の直線テッセレーションを妨げるからである。図１２に示されるように、２つのボーダーが交差して「Ｔ」形を形成すると依存ボーダー状況が生じる。依存ボーダーは、「Ｔ」形の横棒を形成するボーダーである。
【００４５】
（例えば、ピッグテイルジェスチャーなどの削除ジェスチャーを使用して）選択されたボーダーを削除することができる。構造化ボーダーに関しては、削除によってその依存ボーダーも削除される。
【００４６】
選択されたボーダーは、ドラッグ操作によって移動が可能である。構造化ボーダーに関しては、（移動を止める物理的オブジェクトであるかのように）他のボーダー及びオブジェクトによって移動が遮られる。これは、図１３に示される。図１３を参照すると、選択されたボーダー１３０１はボーダー１３０２及びオブジェクト１３０３によって遮られる。従って、選択されたボーダー１３０１の移動範囲は、これらの２つのオブジェクトの間である。更に、全ての依存ボーダーを拡張又は縮小して直線テッセレーション構造を保つことができる。これは、図１４に示される。図１４を参照すると、選択されたボーダー１４０１が新しい位置に移動していると共に依存ボーダー１４０２は伸張しており、直線テッセレーション構造に従ってボーダー１４０１と接触したままである。
【００４７】
領域とは、ボーダーによって定められる作業スペース内の領域である。ボーダーが構造化ボーダーである場合、領域は矩形である。
【００４８】
領域及びそれに関連する境界は、選択されるグラフィカルオブジェクトに基づいて画定されることに注意すべきである。これは、複合領域に関する以下の論述において明らかになるであろう。
【００４９】
好適な本実施の形態では、リストアイテムをグループ化して操作する構造化操作が利用可能である。本発明は、これらの操作を領域の内部に制限する。最も基本的なケースでは、リスト操作は単一領域内のオブジェクトのみに影響し、残りの作業面上のオブジェクトのレイアウトを乱さない。これは、図１５〜図１６に示される。図１５を参照すると、領域１５０１においてリスト１０５２のアイテム１５０３が再位置づけされるべきである。この再位置づけは図１６に示される。領域１５０１以外のオブジェクトは影響を受けていないことに注意する。
【００５０】
別の基本的なケースは、２つの領域間のリスト操作を行うことである。これは、図１７〜図１８に示される。図１７を参照すると、領域１７０１からのアイテム１７０２は領域１７０３のリスト１７０４に移動される。結果は、図１８に示される。領域１７０１及び１７０３以外のオブジェクトは影響を受けていないことに注意する。
【００５１】
好適な本実施の形態では、領域は、特定の操作時間がすぐに計算されるという点で「暗黙的」なオブジェクトである。関連領域の位置、サイズ及び範囲は、ユーザの動作によって暗黙的に決定される。例えば、ユーザが選択を行うと、システムは選択物の位置及びサイズに基づいて計算をする。これは、選択物を囲む最も近い４つのボーダーによって制限される領域である。
【００５２】
複合領域とは、ボーダー又はサブ領域を含む領域である。ボーダーを含む領域が図１９に示される。図１９を参照すると、領域１９０１及び１９０２は構造化ボーダーによって定められている。ボーダー１９０５は、領域１９０２から領域１９０１を定めている。ユーザはリストアイテムを選択することができ、例えば選択物１９０３などのいくつかの領域をわたるリストアイテム又はリストアイテムのロー（行）全体などを選択することができる。ここでは、選択物はボーダーの上に重なっている。この場合、選択物の上に重なるボーダー、即ちボーダー１９０５は「アンビエント」であると一時的に考えられ、次に続くリスト操作時間のために１つの領域があると解釈する。
【００５３】
フロー領域とは、リストが１つのコラムから次のコラムへと続いているコラムのシーケンスである。コラムは、破線ボーダーとして示されるフロースルーボーダーによって分割される。これは、図２０を参照して示される。図２０を参照すると、コラム２００１〜２００３はアイテムのリストを有するフロー領域を含む。フロー領域のリスト操作によってリストを再フォーマット化し、アイテムはフロースルーボーダーをわたって（アニメーションによって）「フロー」してギャップを満たすか又は挿入のためのスペースを作る。リスト操作は、単一フロー領域内又は２つのフロー領域間で生じることができる。これは、図２１〜図２２及び図２３〜図２４に示される。
【００５４】
図２１を参照すると、リストアイテム２１０１（"Singapore")はコラム２１０２からコラム２１０４に移動される。図２２は、リストアイテム２１０１（"Singapore")の移動後に生じた「フロー」を示している。様々なコラム内のアイテムが移動したことに注意すべきである。コラム２１０２から移動して出たものはリストアイテム２１０１（"Singapore")であり、コラム２１０３から移動してコラム２１０２に入ったものはリストアイテム２２０１（"Toronto")である。コラム２１０３から移動して出たものはリストアイテム２２０１（"Toronto")であり、移動してコラム２１０３に入ったものはリストアイテム２２０２（"Moscow") である。コラム２１０４から移動して出たものはリストアイテム２２０２（"Moscow") であり、移動してコラム２１０４に入ったものはリストアイテム２１０１（"Singapore")である。影響を受けた他のリストアイテムはコラム内でシフトされ、それに応じて上又は下に移動される。
【００５５】
図２３を参照すると、リストアイテム２３０１（"Paris")は第１フロー領域２３０５のコラム２３０２から第２フロー領域２３０４のコラム２３０３に移動される。図２４は、リストアイテム２３０１（"Paris")の移動がフロー領域２３０４及び２３０５の様々なコラムに及ぼす影響を示している。フロー領域２３０４に関しては、アイテムのリストが増加しており、結果として生じたフローによって追加のアイテムがコラム２４０１に配置されている。フロー領域２３０５に関しては、アイテムのリストが減少しており、結果として生じたフローによってコラム２４０２内の全てのアイテムが取り除かれている。実際に２つのアイテムがより大きなサイズの単一アイテムに代わっているため、コラム２４０２に及ぼす影響は、アイテムのフローがアイテムのサイズに基づいていることを更に示している。
【００５６】
フロー領域は、長いリストの操作に特に有用である。これは、単一ページに列挙され、ディスプレイウィンドウが短すぎて全体を眺めることができない長いリストを処理する方法を提供する。このようなリストの一般的な例は、ブレインストーミングセッションの結果である。好適な本実施の形態では、フロー領域を生成し、リストアイテムをスケーリングし、全てのアイテムがディスプレイウィンドウ上で可視になるようにフロー領域に配置することにより、長いリストを再フォーマット化する操作が提供される。
【００５７】
これは、図２５〜図２６に示される。図２５を参照すると、作業スペース２５０１はリスト２５０２を含む。リスト２５０２は、ディスプレイの範囲（ここではディスプレイ範囲２５０３として示される）を越えて延びている。従って、一度にリスト全体をスクリーン上で眺めることができない。ここで図２６を参照すると、リストはディスプレイ上で全体を表示することができるフロー領域内に再フォーマット化されている。
【００５８】
リストのフォーマット化という基本的な操作がある。これは、リストを選んでこれを所与のサイズのフロー領域内にはめ込むことを含む。必要数のコラムがフロー領域内に生成され、リストアイテムは必要なサイズに一様にスケーリングされる。リストをフォーマット化する技術は、アイテムのスケールを最大にしたコラムの数を選択する。
【００５９】
好適な本実施の形態では、フロー領域の生成は以下の技術のうち１つを使用して達成される：
【００６０】
１．既存のボーダーをフロースルーボーダーに変える
ａ）ユーザは、タッピングによって既存のボーダーを選択する。
ｂ）ユーザは、ライン特性をフロースルーボーダーの破線に編集する。
後に続くリスト操作は、フロースルーボーダーをわたってフローする１つのリストに属するものとしてアイテムを解釈する。
【００６１】
２．リストを含む領域を圧縮する
領域の圧縮は、領域のサイズを減少させ、領域内のアイテムのスケーリングを伴い、領域内の未使用領域の量を減少させる技術である。領域がリストを含む場合、領域をフロー領域に変換するようにこれを圧縮することができる。圧縮の一般的な概念は、より詳しく後述する。いずれにせよ、フロー領域を生成するために以下のステップに従う：
ａ）ユーザは、リストを含む領域の底部ボーダーを選択する。
ｂ）ユーザは、選択されたボーダーをリスト内で最も下に位置するアイテムの底部を通過するようにドラッグする。
ｃ）システムは新しいフロースルーボーダーを自動的に生成し、追加のコラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。
【００６２】
これは、図２７〜図２９に示される。図２７を参照すると、ユーザはリスト２７０２を含む領域の底部ボーダー２７０１をドラッグする。図２８を参照すると、臨界高さ、即ちリストアイテムの合計の高さ２８０１よりも小さい高さを通過するようにユーザが選択された底部ボーダー２７０１をドラッグすると、フローボーダーを間もなく生成し、かつリストをフロー領域内に再フォーマット化することを示すユーザへのフィードバックとして強調表示されたフローボーダー２８０２が現れる。結果として生じたフロー領域は、図２９に示される。
【００６３】
好適な本実施の形態では、リストアイテムをスケーリングすることができるため、ユーザが領域を圧縮してフロー領域を生成できる範囲は制限されていない。しかし、ユーザが眺めることができるものに基づいて実質上の範囲が存在する。好適な本実施の形態では、ユーザにこの実質上の範囲を決定させる。
【００６４】
好適な本実施の形態は更に、底部ボーダーを下に移動し、より大きなフロー領域を生成することによってフロー領域内のコラムの数を減少させる「非圧縮」操作を支持することにも注意すべきである。
【００６５】
３．「リストを圧縮して可視作業面にはめ込む」操作を行う
ａ）ユーザは、ボーダーのない作業面上の全てのリストアイテムを選択する（例えば、リストはブレインストーミングセッションの結果である）。
ｂ）ユーザは、メニューによって、あるいは選択物をわたる「ダブル水平線」ジェスチャー（これは、リストを分割するためのニーモニックである）を形成することによって「リストを圧縮して可視作業面にはめ込む」を呼び出す。
ｃ）システムは、可視作業面の底部に新しいボーダーを生成すると共にフロースルーボーダーのセットを自動的に生成し、コラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。これは、リストアイテムのスケーリングを含みうる。
【００６６】
図３０は、リストをフロー領域内にフォーマット化するステップを説明するフローチャートである。まず、（前述の）フロー領域を生成した技術によってフロー領域のサイズを決定する（ステップ３００１）。次に、リストをフロー領域にはめ込むことを可能にする縦列（コラム状）編集を決定する。初めに、フロー領域のサイズ及びリストアイテムに基づいて、リストをフロー領域内のｎ個のコラムにはめ込む最大の倍率を有するコラムの数 "ｎ" を決定する（ステップ３００２）。一般に、様々な数のコラムをテストし、リスト全体をフロー領域にはめ込むことができる倍率（即ち、アイテムを縮小しなくてはならない程度）を各々に対して決定することにより、ステップ３００２を行うことができる。最大倍率を有するコラムの数を選択する。
【００６７】
次に、領域内に表示されるフローボーダーによってフロー領域を "ｎ" 個の均等なコラムに分割する（ステップ３００３）。最後に、リストアイテムをスケーリングし、各々のコラム内に配置する（ステップ３００４）。最後に、フロー領域及びリストを表示する（ステップ３００５）。好適な本実施の形態では、この配置は最も左のコラムから最も右のコラムへ行われる。従って、最も右のコラムは底部にギャップを有しうる。もちろん、アイテムをコラム内に均等に配置するなど、他のマッピングを使用することもできる。
【００６８】
ボーダーのように、領域を選択して移動することが可能である。領域の移動によって、領域内に含まれるグラフィックオブジェクトも移動する。好適な本実施の形態では、選択された領域を示す角括弧（「［」）又はＬ形のジェスチャーを生成することによって領域の選択が行われる。角括弧を用いた選択は、図３１〜図３２に示される。図３１を参照すると、括弧ジェスチャー３１０１の角３１０５及び３１０６が領域３１０４の水平ボーダー３１０２及び３１０３と合うように角括弧ジェスチャー３１０１が呼び出される。選択物は、領域３１０４を囲む破線として図３２に示される。
【００６９】
Ｌ形ジェスチャーを用いた選択は、図３３〜図３４に示される。図３３を参照すると、領域３３０４が選択される。第１のＬ形ジェスチャー３３０１によって、ボーダー３３０２及び３３０３ならびにこれらの直線拡張が選択される。これは、領域３３０４の境界を明らかに越えている。ここで図３４を参照すると、第２のＬ形ジェスチャーは更に選択物を領域３３０４に制限している。
【００７０】
選択されたボーダーと共に、選択された領域をドラッギングによって移動させることができる。移動は、水平方向及び垂直方向に制限される。垂直方向では、これは図３５〜図３６に示される。図３５を参照すると、選択された領域３５０１はポイント３５０２に移動される（ここでは例示のために示される）。移動の結果は図３６に示される。図３５では、水平ボーダー３５０３は直線拡張３５０４を有することに注意すべきである。しかし、図３６からわかるように、直線拡張は領域３５０１と共に移動しない。しかし、垂直ボーダー３５０９及び３５１０が移動されると、これらの拡張は変更される。ここでは、直線拡張３５０７及び３５０８は短くされ、直線拡張３５０５及び３５０６は伸張される。
【００７１】
領域の水平方向移動が図３７〜図３８に示される。図３７を参照すると、領域３７０１はポイント３７０２に移動される（ここでは例示のために示される）。移動の結果は図３７に示される。垂直移動の場合と同じように、垂直ボーダー３７０３及び３７０４の直線拡張は移動せず、水平直線拡張はこれに応じて短くされるか又は伸張される。
【００７２】
領域の移動は、既存のオブジェクト又はボーダーによっても制限される。これは、図３９〜図４０に示される。図３９を参照すると、垂直方向において、領域３９０１の移動は上方向の上部水平ボーダー３９０２及び下方向のグラフィックオブジェクト３９０３によって制限されている。図４０を参照すると、水平方向において、領域４００１の移動は左ボーダー４００２によって左側が制限され、グラフィックオブジェクト４００３によって右側が制限されている。
【００７３】
最後に、選択された領域を削除することができる。削除の影響は、テッセレートされた作業面の構成に依存する。通常、選択された領域がグリッド編成（例えば、表又はスプレッドシート）の一部ではない場合、領域内のグラフィックオブジェクトも削除され、削除されたオブジェクトによってあいたスペースと同じ量のスペースが縮小される。好適な本実施の形態では、このような縮小は自動的に行われ、これによって様々なボーダーの位置がシフトされる。選択された領域がグリッド編成の一部である場合、領域内のグラフィックオブジェクトは削除されるが、選択された領域はそのままである。これは、どちらの方向（即ち、垂直方向又は水平方向）に領域をコラプスさせるかという曖昧さを回避するために行われる。
【００７４】
構造化リスト操作が領域内により多くのスペースを必要とする場合、リストなどの暗黙的な構造に対して操作をすることによって構造化ボーダー領域は右方向又は下方向に自動的に拡張する。これらの操作は以下の通りである：ａ）アイテムを領域内に移動させる／複写する、ｂ）領域内のアイテムをスケーリングする、ｃ）リストの注釈／脚注を表示（又は拡張）する。これらの操作は、図４１〜図４２、図４３〜図４４及び図４５〜図４６に示される。
【００７５】
図４１を参照すると、領域４１０２内のリストアイテム４１０１は領域４１０４内のリスト４１０３に移動される。結果は図４２に示されており、ここで領域４１０４は水平方向及び垂直方向の双方に拡張している。結果として、領域４１０５も垂直方向に拡張していることに注意すべきである。これは、拡張が最も高いレベルのボーダーの直線テッセレーション構造を保つためである。左又は下方向に押される必要のある構造化ボーダーは、そのボーダーの直線拡張を有する。移動されたボーダーの右又は下にある領域内の全てのオブジェクトも移動される。
【００７６】
図４３を参照すると、領域４３０２内のリストアイテム４３０１はより大きなサイズにスケーリングされる。結果が図４４に示されており、ここで領域４３０２は拡張して拡大されたアイテムを収容している。
【００７７】
図４５を参照すると、領域４５０２内のリストアイテム４５０１は脚注４５０３と関連している。表示（又は拡張）操作が脚注４５０３に対して行われる。結果が図４６に示されており、ここで領域４５０２は拡張して脚注の内容を表示している。
【００７８】
同様にして、リスト操作がリスト内のあいたスペースの削除を必要とする場合は領域が縮小される。これらの操作は以下の通りである：ａ）アイテムを領域から移動させる、ｂ）アイテムを削除する、ｃ）アイテムを縮小する、ｄ）リストの注釈／脚注をコラプスさせる。縮小は単なる拡張の反対であるため、縮小に関する更なる説明は不要とみなされる。
【００７９】
通常は、領域をその内容の外範囲と同じくらいにしか小さくすることができない。物理的なオブジェクトによって停止されるかのように、ボーダードラッギング操作はそこで停止する。しかし、ユーザは、余剰内部スペースを取り除く（又は前述のように狭い１コラムのリストを複数コラムのフロー領域内に再フォーマット化する）ことによって領域のサイズを更に縮小したい場合がある。これは、領域の「圧縮」と呼ばれる。ユーザが（拡張があるか又はない）ボーダーを選択してこれを上方向にドラッグすると、ユーザは、ボーダーが妨害オブジェクトに当たる箇所において一定のフィードバック（ドラッギングに対する「抵抗」及びボーダーの外観の視覚的変化）を受ける。この時点で、ユーザはボーダーを更に上にドラッグし続けることができる。ユーザがドラッグを離すと、より短い領域内にアイテムが入るようにリストアイテム間のスペースが均等に減少される。これは、図４７〜図４９に示される。図４７を参照すると、ボーダー４７０１が選択されており、上方向にドラッグされてリスト４７０２を圧縮している。図４７では、ボーダー４７０１はリスト４７０２の底部のすぐ下の位置に移動されている。図４８を参照すると、ボーダー４７０１はリスト４７０２の底部より上の位置に移動されている。最後に、図４９を参照すると、リスト４７０２全体を表示できるように領域が圧縮されている。
【００８０】
もちろん、ボーダーをドラッグすることができる範囲がある。この範囲は予め計算されており、リストアイテムの全体的な高さに基づいている。しかし、前述のように、ボーダーを更にドラッグしてフロー領域を生成してもよい。
【００８１】
好適な本実施の形態は、未使用スペースを手動で追加するジェスチャー（ウェッジジェスチャー）又は未使用スペースを削除するジェスチャー（ピッグテイルジェスチャー）を提供することにも注意すべきである。各インスタンスは、所定サイズの対応領域にラインを追加するか又は該領域からラインを削除する。
【００８２】
好適な本実施の形態では、構造操作はテッセレートされた作業面を利用する編集操作である。構造操作を実施する際、構造化ボーダーを移動させることができる。これは、自動領域拡張及び縮小に関連して前述した。図５０のフロー図は、本発明の好適な実施の形態において構造操作を分析し、これを実施できるかどうかを調べるための基本技術を示している。図５０を参照すると、電子ホワイトボードを使用している際に、ユーザは構造化ボーダーとして解釈可能な１つ又はそれより多くのグラフィックオブジェクトを生成する（ステップ５００１）。次に、電子ホワイトボードとの対話のある時点において、ユーザは１つ又はそれより多くのグラフィックオブジェクトを選択する（ステップ５００２）。この選択は、通常は構造操作を行うための準備である。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす動作であることを想起する。構造操作とは、１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから削除することでありうる。アイテムを挿入する際に予期されるように、挿入位置の下にあるアイテムは「下に移動する」ことができる。
【００８３】
選択が生じると、システムは「ソース」領域を識別する（ステップ５００３）。ソース領域は、簿記の目的で識別される。選択が生じた後、一定の構造操作を行う（ステップ５００４）。例えば、リストにアイテムを挿入する。操作を行う前に、システムは「指定」領域を識別する（ステップ５００５）。指定領域に基づいて、システムは操作を行えるかどうかをスペースの見地から決定する（ステップ５００６）。前述のように、構造操作は領域拡張を生じることができる。領域拡張は、アンカーボーダー又は他のグラフィックオブジェクトの存在によって制限されうる。従って、拡張に利用可能なスペースの量が限られている場合がある。いずれにせよ、システムはこのような制約の存在を調べ、構造操作の実施に十分なスペースがあるかどうかを推定する。
【００８４】
スペースがあるとシステムが決定した場合、構造操作を行う（ステップ５００７）。前述のように、これは領域拡張（例えば、アイテムを領域内のリストに移動する）又は縮小（例えば、領域内のリストからアイテムを移動させる）を生じうる。スペースがないとシステムが決定した場合は構造操作を行わず、操作を行うことができない理由に関する指示をユーザに返す（ステップ５００８）。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態において使用可能であるグラフィックベースコンピュータシステムのブロック図である。
【図２】ディスプレイ上に表示でき、かつ図２のタッチセンスパネルによってインターフェイスすることができる基本的なグラフィカルユーザインターフェイスの表現である。
【図３】本発明の好適な実施の形態において使用可能な、作業面のマッピングを示すＸ−Ｙ座標システムの図である。
【図４】本発明の好適な実施の形態の基本動作を示す状態図である。
【図５】作業面をテッセレートする構造化ボーダーの図である。
【図６】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図７】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図８】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図９】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図１０】本発明の好適な実施の形態において行われうる、タップジェスチャーによって構造化ボーダーを選択する図である。
【図１１】本発明の好適な実施の形態において行われうる、ダブルタップジェスチャーによって構造化ボーダー及びその拡張を選択する図である。
【図１２】本発明の好適な実施の形態において行われうる、依存ボーダーを有する構造化ボーダーを選択する図である。
【図１３】本発明の好適な実施の形態における構造化ボーダーの移動範囲の図である。
【図１４】本発明の好適な実施の形態において行われうる、構造化ボーダーを移動させて依存ボーダーを調節する図である。
【図１５】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１６】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１７】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１８】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１９】本発明の好適な実施の形態において行われうる、「アンビエント」ボーダーをまたがる選択が行われる複合領域の図である。
【図２０】本発明の好適な実施の形態におけるフロー領域の図である。
【図２１】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２２】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２３】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２４】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２５】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２６】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２７】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２８】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２９】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図３０】本発明の好適な実施の形態において行われうる、リストをフロー領域内にフォーマット化するステップを示すフローチャートである。
【図３１】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３２】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３３】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３４】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３５】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３６】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３７】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３８】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３９】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４０】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４１】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４２】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４３】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４４】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４５】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４６】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４７】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４８】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４９】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図５０】本発明の好適な実施の形態において構造操作を行うことができるかどうかを決定する基本的なステップを示すフローチャートである。
【符号の説明】
１０１ バス
１０２ プロセッサ
１０３ 内部メモリ
１０４ ディスプレイ
１０５ ポインティングデバイス
１０７ 外部記憶装置
Claims (1)
- グラフィカルオブジェクトを生成し表示するコンピュータ制御ディスプレイシステムであって、
作業面を示すディスプレイと、
前記作業面上に前記作業面の領域を画定するボーダーを生成するボーダー生成手段と、
既存のボーダーを編集すると共に前記ボーダーによって画定された領域を維持するボーダー編集手段と、
前記作業面上にペンストロークを入力し、前記作業面上のグラフィカルオブジェクトに対して操作を開始する入力手段と、
前記作業面上のグラフィカルオブジェクトに対する操作を処理すると共に、ボーダーの第１セットによって画定される第１領域のグラフィックオブジェクトに対して行われる操作をボーダーの第２セットによって画定される第２領域内のグラフィックオブジェクトに及ぼす影響から分離する手段を有する操作処理手段と、
編集されるべきボーダーを選択するボーダー選択手段と、
選択された前記ボーダーの依存ボーダーを識別する依存ボーダー識別手段と、
選択された前記ボーダーが削除されると、前記依存ボーダーを削除する依存ボーダー削除手段と、
選択された前記ボーダーが移動すると、前記依存ボーダーを伸張または縮小する依存ボーダー伸張縮小手段と、
を含み、
前記ボーダー選択手段、依存ボーダー識別手段、依存ボーダー削除手段、依存ボーダー伸張縮小手段は、前記ボーダー編集手段に含まれ、
２つのボーダーが交差して形成された「Ｔ」字型の縦棒に該当するボーダーが横棒に該当するボーダーの依存ボーダーである、
コンピュータ制御ディスプレイシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/670,966 US5914718A (en) | 1996-06-26 | 1996-06-26 | Method and apparatus for organizing a work space for a computer controlled display system using borders and regions |
| US670966 | 1996-06-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10105364A JPH10105364A (ja) | 1998-04-24 |
| JP4001660B2 true JP4001660B2 (ja) | 2007-10-31 |
Family
ID=24692617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17775497A Expired - Lifetime JP4001660B2 (ja) | 1996-06-26 | 1997-06-18 | コンピュータ制御ディスプレイシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5914718A (ja) |
| EP (1) | EP0821313B1 (ja) |
| JP (1) | JP4001660B2 (ja) |
| DE (1) | DE69707070T2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6819345B1 (en) * | 1998-02-17 | 2004-11-16 | Microsoft Corporation | Managing position and size for a desktop component |
| US6356287B1 (en) * | 1998-03-20 | 2002-03-12 | Nuvomedia, Inc. | Citation selection and routing feature for hand-held content display device |
| US6154214A (en) * | 1998-03-20 | 2000-11-28 | Nuvomedia, Inc. | Display orientation features for hand-held content display device |
| US6181344B1 (en) * | 1998-03-20 | 2001-01-30 | Nuvomedia, Inc. | Drag-and-release method for configuring user-definable function key of hand-held computing device |
| US6473102B1 (en) * | 1998-05-11 | 2002-10-29 | Apple Computer, Inc. | Method and system for automatically resizing and repositioning windows in response to changes in display |
| US6470095B2 (en) | 1998-10-13 | 2002-10-22 | Xerox Corporation | Automatic extraction of text regions and region borders for an electronic work surface |
| US6424338B1 (en) * | 1999-09-30 | 2002-07-23 | Gateway, Inc. | Speed zone touchpad |
| US20020111969A1 (en) * | 2000-09-28 | 2002-08-15 | Halstead Robert H. | System and method for processing graphical objects for layout using an elastic difference operation |
| US6919890B2 (en) * | 2000-09-28 | 2005-07-19 | Curl Corporation | Grid and table layout using elastics |
| FI20010817A (fi) * | 2001-04-20 | 2003-02-14 | Nokia Corp | Menetelmä informaation esittämiseksi elektroniikkalaitteen näytöllä ja elektroniikkalaite |
| US7237187B2 (en) * | 2002-01-31 | 2007-06-26 | Requisite Technology, Inc. | Interactively comparing records in a database |
| US20040033253A1 (en) * | 2002-02-19 | 2004-02-19 | Ihor Shevchuk | Acyl opioid antagonists |
| US7576756B1 (en) * | 2002-02-21 | 2009-08-18 | Xerox Corporation | System and method for interaction of graphical objects on a computer controlled system |
| US7360156B1 (en) * | 2002-10-09 | 2008-04-15 | Microsoft Corporation | Method and system for performing actions on content in a region within a free form two-dimensional workspace |
| US20040119762A1 (en) * | 2002-12-24 | 2004-06-24 | Fuji Xerox Co., Ltd. | Systems and methods for freeform pasting |
| JP4611031B2 (ja) * | 2003-01-30 | 2011-01-12 | 富士通株式会社 | 手書き入力装置及び方法 |
| US20040225965A1 (en) * | 2003-05-06 | 2004-11-11 | Microsoft Corporation | Insertion location tracking for controlling a user interface |
| JP4491249B2 (ja) * | 2003-01-31 | 2010-06-30 | マイクロソフト コーポレーション | ユーザインタフェースを制御するための挿入位置の追跡 |
| DE10352341A1 (de) | 2003-11-06 | 2005-11-03 | Mediacare Gmbh & Co. Kg | Verfahren zur Veränderung der Abmessungen eines elektronisch gespeicherten Bildes |
| KR100702414B1 (ko) * | 2005-02-11 | 2007-04-02 | 후지쯔 가부시끼가이샤 | 수기 입력 장치 및 방법 |
| US7934156B2 (en) | 2006-09-06 | 2011-04-26 | Apple Inc. | Deletion gestures on a portable multifunction device |
| US8091045B2 (en) * | 2007-01-07 | 2012-01-03 | Apple Inc. | System and method for managing lists |
| US8065603B2 (en) | 2007-04-30 | 2011-11-22 | Google Inc. | Hiding portions of display content |
| US9050120B2 (en) | 2007-09-30 | 2015-06-09 | Intuitive Surgical Operations, Inc. | Apparatus and method of user interface with alternate tool mode for robotic surgical tools |
| US20090132939A1 (en) * | 2007-11-19 | 2009-05-21 | International Business Machines Corporation | Method and apparatus for a floating island for user navigation in an interactive environment |
| KR101789331B1 (ko) * | 2011-04-11 | 2017-10-24 | 삼성전자주식회사 | 가상 공간에서의 정보 공유 장치 및 방법 |
| JP2012243116A (ja) | 2011-05-20 | 2012-12-10 | Kyocera Corp | 携帯端末、制御方法及びプログラム |
| JP5360140B2 (ja) * | 2011-06-17 | 2013-12-04 | コニカミノルタ株式会社 | 情報閲覧装置及び制御プログラム並びに制御方法 |
| US9477650B2 (en) | 2011-08-30 | 2016-10-25 | Microsoft Technology Licensing, Llc | Underlying grid structure and animation of tables |
| US9400592B2 (en) | 2012-03-26 | 2016-07-26 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for digital-marking-surface space and display management |
| KR20140120211A (ko) * | 2013-04-02 | 2014-10-13 | 엘지전자 주식회사 | 영상 표시 장치 및 그것의 제어 방법 |
| JP5939285B2 (ja) * | 2014-08-28 | 2016-06-22 | 日本電気株式会社 | 描画制御装置、情報共有システム、描画制御方法、及び、描画制御プログラム |
| JP2015165441A (ja) * | 2015-06-26 | 2015-09-17 | 京セラ株式会社 | 携帯端末、制御方法及びプログラム |
| US10637986B2 (en) | 2016-06-10 | 2020-04-28 | Apple Inc. | Displaying and updating a set of application views |
| US11131967B2 (en) | 2019-05-06 | 2021-09-28 | Apple Inc. | Clock faces for an electronic device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8618664D0 (en) * | 1986-07-31 | 1986-09-10 | British Telecomm | Computer aided design system |
| DE69428675T2 (de) * | 1993-12-30 | 2002-05-08 | Xerox Corp | Apparat und Verfahren zur Unterstützung einer impliziten Strukturation von Freiform-Listen, Übersichten, Texten, Tabellen und Diagrammen in einem auf Handzeichen basierenden Eingabesystem und Editiersystem |
| US5487143A (en) * | 1994-04-06 | 1996-01-23 | Altera Corporation | Computer user interface having tiled and overlapped window areas |
-
1996
- 1996-06-26 US US08/670,966 patent/US5914718A/en not_active Expired - Lifetime
-
1997
- 1997-06-18 JP JP17775497A patent/JP4001660B2/ja not_active Expired - Lifetime
- 1997-06-25 EP EP97304468A patent/EP0821313B1/en not_active Expired - Lifetime
- 1997-06-25 DE DE69707070T patent/DE69707070T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0821313B1 (en) | 2001-10-04 |
| JPH10105364A (ja) | 1998-04-24 |
| DE69707070T2 (de) | 2002-03-07 |
| US5914718A (en) | 1999-06-22 |
| DE69707070D1 (de) | 2001-11-08 |
| EP0821313A1 (en) | 1998-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4001660B2 (ja) | コンピュータ制御ディスプレイシステム | |
| JP3992788B2 (ja) | コンピュータ制御ディスプレイシステム | |
| JP4602487B2 (ja) | グラフィックオブジェクトのグループを作成し操作するための方法及びコンピュータ制御グラフィックディスプレイシステム | |
| EP0694829B1 (en) | A method and apparatus for visualization of database search results | |
| US10175854B2 (en) | Interaction in chain visualization | |
| EP0816999B1 (en) | Method and apparatus for collapsing and expanding selected regions on work space on a computer controlled display system | |
| JP4880334B2 (ja) | スクロール可能かつサイズ変更可能な数式バー | |
| US7576756B1 (en) | System and method for interaction of graphical objects on a computer controlled system | |
| US8839142B2 (en) | Desktop system object removal | |
| EP0185905B1 (en) | Method of creating a document | |
| US7911465B2 (en) | Techniques for displaying information for collection hierarchies | |
| US7068288B1 (en) | System and method for moving graphical objects on a computer controlled system | |
| US20020097270A1 (en) | Selection handles in editing electronic documents | |
| JP2003330733A (ja) | 情報仮置き場管理方法、情報仮置き場管理装置、画像形成装置、プログラム及び記憶媒体 | |
| JP2007128261A (ja) | 情報処理方法およびその装置 | |
| Plimmer et al. | Beautifying Sketching-based Design Tool Content: Issues and Experiences. | |
| CN108268201B (zh) | 一种基于拖拽重计算的电力数据图表处理方法 | |
| US20220114328A1 (en) | Dynamic project views of a virtual workspace to facilitate active reading | |
| Schwab et al. | Easypz. js: Interaction binding for pan and zoom visualizations | |
| AU2016343938A1 (en) | Method of computerized presentation of a legend of object symbols on a document | |
| Hutchings et al. | New operations for display space management and window management | |
| JP2008076667A (ja) | 画像表示装置、画像表示方法、およびプログラム | |
| JP2019109797A (ja) | 情報処理端末、情報処理方法およびプログラム | |
| JP2990764B2 (ja) | 文書処理装置 | |
| JPH01109475A (ja) | Ｃａｄシステムのコマンド入力方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |