JP3992788B2 - コンピュータ制御ディスプレイシステム - Google Patents
コンピュータ制御ディスプレイシステム Download PDFInfo
- Publication number
- JP3992788B2 JP3992788B2 JP17774997A JP17774997A JP3992788B2 JP 3992788 B2 JP3992788 B2 JP 3992788B2 JP 17774997 A JP17774997 A JP 17774997A JP 17774997 A JP17774997 A JP 17774997A JP 3992788 B2 JP3992788 B2 JP 3992788B2
- Authority
- JP
- Japan
- Prior art keywords
- border
- list
- region
- area
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はコンピュータ制御ディスプレイシステム用のユーザインターフェイスの分野に関し、特にユーザインターフェイスの作業スペースのより効率的な編成に関する。
【０００２】
【従来の技術】
ペンベースシステム及び「電子ホワイトボード」（例えば、ゼロックス社（Xerox Corporation)の一部門である LiveWorksから利用可能な LiveBoard（商品名))などのコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスなどの入力デバイスの使用に基づいたグラフィカルユーザインターフェイスを提供する。このようなシステムでは、「ディスプレイ」はデータを示す手段及び入力媒体として動作する作業スペースを示す。入力デバイスを使用して生成されるペンのストロークによって、グラフィックオブジェクトをディスプレイ上に「ドローする（描く、線などを引く）」ことができる。グラフィックオブジェクトは、単語、数字又は表示できるあらゆるものを表すことができる。次に、ジェスチャーとして既知の入力技術を使用して、様々な操作をグラフィックオブジェクトに対して行うことができる。ジェスチャー自体は、命令として解釈される単なるペンのストロークにすぎない。時として、このようなシステムはドローモードの操作とジェスチャーモードの操作を有し、ペンストロークが固定グラフィックオブジェクトを生成する場合とペンストロークをジェスチャーとして処理する場合とを区別している。
【０００３】
ユーザとの対話を容易にするため、LiveBoard システムは構造の概念を提供する。LiveBoard システムが用いる様々なタイプの構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System"というタイトルの EPA 0 667 567 A2 に記載されている。概念的に、構造とは特定の関係を有するグラフィックオブジェクトの集まり、例えば LiveBoardに書き込まれるアイテムのリストなどである。構造の操作が生じると、アイテム間の関係は維持される。例えば、リストの中間にアイテムを入力すると挿入箇所より下のアイテムは下に移動し、挿入されたアイテムのためのスペースをつくる。
【０００４】
電子ホワイトボードを使用する場合、リスト及び他の構造は明確な領域においてクラスタ化される。これは、オブジェクトを生成する際又は標準の編集機能を用いてグラフィックオブジェクトを移動させることによって意識的に行われうる。オブジェクト及び構造が配置される位置が近いため、ユーザが操作によって一定のオブジェクト又は構造のみに影響を及ぼしたいときに問題が生じうる。
【０００５】
簡潔な例がリストの操作においてみられる。アイテムをリスト内の異なる位置に移動させることによってリストを再順序づけするなどのリスト操作を支援するには、システムはリストを含む領域を計算できなければならない。次に、リストの再順序づけ操作は、リストを含む領域内のオブジェクトのみに影響を及ぼし、他の領域内のオブジェクトをそのままにする。しかし、アイテム及び構造が密接してクラスタ化されると、この領域を決定することが困難な場合がある。更に、この領域が正確に決定されていても、操作を行うことによってリストアイテムを他のオブジェクト上に重ね書きしてしまう可能性がある。
【０００６】
この問題に対処する１つの方法は、アイテムを手動で選択し、これらをグループ化して作業スペース内の別の位置に移動させることである。しかし、これは面倒であり、多少非生産的である。
【０００７】
領域を決定する別の技術が前述の EPA 0 667 567 A2 に記載されており、ここでは、ユーザがドローしたボーダーラインを使用して選択操作の空間範囲を制限している。ボーダーラインは、ボーダーラインがドローされる箇所に固定される。従って、例えばボーダーがリストの底部に設定された場合、リストの選択はそのボーダーにおいて終わる。しかし、アイテムがリストに追加される場合、リストの後に続く選択がボーダーによって妨げられないようにボーダーを手動で移動させなくてはならない。これは、選択操作の範囲を制限するには有用であるが、リストを更新しなくてはならない場合に面倒になりうる。
【０００８】
【発明が解決しようとする課題】
ユーザがグラフィカルディスプレイシステムの作業面上のデータアイテムの長いリストを眺めることを可能にする方法が開示される。例えば電子ホワイトボードのようなグラフィカルディスプレイシステムを操作する多くの場合において、アイテムの長いリストが生成されるブレインストーミングが生じる。不都合なことに、リストが非常に長くなってリスト上の全てのアイテムを一度に眺めることができない場合がある。これは、リスト内のアイテムの操作、例えばリストの再順序づけを非常に面倒にしうる。
【０００９】
【課題を解決するための手段】
本発明は、リストが含まれる領域をユーザがフロー領域に変えることを可能にすることによってこの問題を対処する。フロー領域において、通常眺めることが可能な作業面領域のサイズである矩形領域は縦状コラム内に編成される。長いリスト内のアイテムは縦状コラムにマッピングされる。アイテムをリストに追加するか又はリストから削除すると、縦状コラム内に含まれるアイテムは他のコラムに「フローする」ことができる。リストアイテムのこの縦列（コラム状）編成はユーザにとって非常に直覚的であり、リスト操作を非常に自然に行うことを可能にする。この編成において、リストの最上部のアイテムは第１コラムにあり、リストは左から右に縦状に表示される。
【００１０】
領域からフロー領域への変換は、予め定められた平行移動操作を使用するか又は領域をフロー領域内に「圧縮する（squeeze)」ことによって行われる。領域を「圧縮する」ことにより、底部ボーダーが選択され、垂直方向に移動されて垂直方向により短い領域を生成する。次に、システムはリストアイテムをフロー領域に変換する。フロー領域を生成する際に、アイテムのサイズと、アイテムのリストの表示に必要なコラムの数を決定する。リストアイテムのサイズの再スケーリングも結果として生じうる。フロー領域は、破線で表示される構造化ボーダーによって示される。
【００１１】
本発明の請求項１の態様は、コンピュータ制御ディスプレイシステムにおいてデータアイテムのリストを表示する方法であって、ａ）データアイテムの直線リストを選択するステップと、ｂ）前記選択されたデータアイテムの直線リストを含む第１領域を識別するステップと、ｃ）サブステップを行うことによって前記領域をフロー領域に変換するステップと、を含み、前記サブステップは、ｃ１）前記データアイテムの直線リスト内の各アイテムのアイテムサイズを決定し、ｃ２）前記フロー領域のサイズを決定し、ｃ３）前記データアイテムの直線リスト内の各アイテムを表示するために必要な縦状コラムの数を決定し、ｃ４）前記フロー領域内の前記縦状コラムの数を生成し、ｃ５）前記リストと同一の順序で前記データアイテムを前記縦状コラムにマッピングする。
【００１２】
本発明の請求項２の態様は、ディスプレイ上のデータアイテムの長いリストを示すコンピュータ制御ディスプレイシステムであって、ディスプレイデータを生成する処理手段と、ユーザが入力データ及び操作コマンドを提供することを可能にする入力手段と、前記データアイテムの長いリストを表示すると共に、各々が前記データアイテムの長いリストのサブセットを含む複数の縦状フローコラムから構成されるフロー領域を作業面上に示すディスプレイと、を含む。
【００１３】
【発明の実施の形態】
グラフィックベースのコンピュータシステムにおいて作業スペースを編成するシステムが開示される。本発明の好適な実施の形態は、構造化ボーダーを使用してテッセレートされた作業スペースを生成し管理する技術において実施される。テッセレートされた作業スペースは作業スペースを非重複領域に完全に分割するものであり、グラフィックオブジェクトの操作はグラフィックオブジェクトを含む領域に制限される。このような操作は、作業スペース上に書き込んだアイテムのリストを操作する際に特に有益である。
【００１４】
本発明は、完全な直線テッセレーションを維持するように動作する。従って、ボーダーが削除されるか又は変更されると、「依存」ボーダーはこれに応じて削除されるか又は変更される。完全な直線テッセレーションは、構造操作を行う際に整然とした直覚的な結果を維持するために必要である。更に、構造化ボーダーは固定されていなくてもよい。ボーダーは、構造操作に応答して移動することができる。
【００１５】
以下の用語はこの記述において使用され、以下に示される意味を有する：
グラフィックオブジェクト：２Ｄ（２次元）空間において表示されるあらゆるオブジェクト
作業スペース：グラフィックオブジェクトが書き込まれ、かつディスプレイ上に全体又は一部が表示されるスクロール可能な２Ｄ空間
カーブ：ユーザによって手動で生成される（例えば、ペンストローク）か、又はジェスチャー（例えば、「[ 」ジェスチャーから得られる矩形）など他の手段によって生成されるか、あるいはシステム（例えばボーダー）によって生成される１次元グラフィックオブジェクト
ペンストローク：インクストローク又はジェスチャーとなる、ペンを用いる動作インクストローク：ペンストロークを用いて生じる固定したカーブ
ジェスチャー：ペンストロークを用いて生じる、一時的であり動作として解釈されるカーブ
選択物：選択されたものとしてタグが付けられたグラフィックオブジェクトのセット
直線テッセレーション：作業スペース上の各点が１つの領域内に位置するように作業スペースを矩形領域に分割すること
構造：構造とは、所定の関係を有するグラフィックオブジェクトのセットをいう。構造内のグラフィックオブジェクトに対して行われる操作は、所定の関係を保っている。本発明において使用することが可能な構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting The Implicit Structure Of Freeform Lists, Outlines, Text, Tables, and Diagrams In a Gesture-Based Input System And Editing System"というタイトルの共願特許出願番号０８／１７６，１５０に記載されている。
【００１６】
本発明において使用可能なグラフィックベースのコンピュータベースシステムは、図１を参照して示される。図１を参照すると、コンピュータベースシステムはバス１０１を介して結合した複数の構成要素を含む。ここに示されるバス１０１は、本発明を明確にするために簡略化されている。バス１０１は、複数のパラレルバス（例えば、アドレスバス、データバス及びステータスバス）及びバスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）からなる。いずれにせよ、コンピュータシステムは更に、内部メモリ１０３からバス１０１を介して提供される命令を実行するプロセッサ１０２を含む（通常、内部メモリはランダムアクセス又はＲＯＭの組み合わせであることに注意する）。動作の際、本発明の様々な機能構成要素を行うプログラム命令が内部メモリ１０３に記憶される。プロセッサ１０２及び内部メモリ１０３は別個の構成要素でもよいし、単一の一体化デバイスでもよい。プロセッサ１０２及び内部メモリ１０３は、本明細書中に説明される様々な処理機能を行う回路を含む。また、外部記憶装置１０７もバス１０１に結合している。外部記憶装置１０７は、通常は磁気又は光学ディスク記憶装置などの高容量記憶媒体である。
【００１７】
ディスプレイ１０４及びポインティングデバイス１０５もバス１０１に結合している。好適な本実施の形態では、ポインティングデバイス２０５はペンによって駆動されるタッチセンスパネルであり、これはタッチスクリーンディスプレイとしてディスプレイ１０４と一体化している。このようなタッチスクリーンディスプレイは当該技術において公知であり、ペンベースシステムのようなシステム及び電子ホワイトボードシステムにおいて使用されている。しかし、ポインティングデバイス１０５及びディスプレイ１０４は一体化されていなくてもよく、ポインティングデバイス１０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよい。
【００１８】
図２は、本発明での使用が可能なグラフィカルユーザインターフェイスの特定の実施を示している。図２を参照すると、グラフィカルユーザインターフェイスがディスプレイ１０４に表示されており、タッチパネル１０５を介して対話されている。グラフィカルユーザインターフェイスは作業面２０２を用いており、示されるように複数のアクセス可能機能２０１を用いることができる。作業面２０２は、ユーザが様々なカーブをドローすることができ、かつ他のグラフィックオブジェクトが表示される箇所である。アクセス可能機能２０１は、ディスプレイのボタン領域２０３に位置する。機能２０１は、グラフィックオブジェクトの編集操作（生成、削除、移動、縮小など）又はタッチパネル１０３の操作モードの変更操作（ドローモード及びジェスチャーモードからの切り換え）を含みうる。
【００１９】
あるいは、これらの機能は Windows指向アプリケーションにおいて共通して見られるプルダウンメニューによってアクセス可能である。しかし、これらの機能は指定が任意的であり、主要オブジェクトはシステムの操作に固有の操作を定めるべきである。これらの機能は、ジェスチャーによって呼び出される機能と同一の機能を行うことができる。
【００２０】
図３は、好適な本実施の形態の作業面の境界を概念的に示している。本発明を用いる作業面は境界が定められなくてもよく、このような実施は本発明の趣旨及び範囲から逸脱しないことに注意すべきである。図３を参照すると、作業面はＸ−Ｙ座標システム３０２の右下カドラント（1/4)３０１に位置すると考えることができる。作業面が右及び下方向に無限であり、左及び上方向において制限されるように、作業面は座標軸３０３及び３０４によって境界が定められている。従って、座標軸３０３及び３０４の各々は境界として動作する。
【００２１】
図４は、本発明の好適な実施の形態を操作するグラフィックベースコンピュータシステムの一般的な動作を非常に高次の項で示す状態図である。全体的な意図は、テッセレートされた作業スペース内のグラフィカルオブジェクトに対するあらゆる編集操作の結果が直覚的に一貫して行われる作業面を提供することである。前述の説明において明白になるように、好適な本実施の形態では、この編集操作は構造操作である。しかし、テッセレートされた作業面を利用することが可能なグラフィックオブジェクトに対する他のタイプの編集操作の実施は、本発明の趣旨及び範囲から逸脱しない。図４を参照すると、システムはユーザからの動作を検出する状態４０１にある。この状態にある間に、ユーザは追加、削除又は他の方法によるグラフィックオブジェクトの操作などの編集操作を作業スペースにおいて行っている。一般に、ユーザ対話状態４０１から４つの広いカテゴリーのジェスチャー又は動作が関連する：即ち、ボーダー選択動作４０２、ボーダー生成動作４０３、構造操作動作４０４及び領域選択動作４０５である。
【００２２】
ボーダー選択動作４０２が検出されると、構造化ボーダー更新状態４０６が入力される。構造化ボーダー状態４０６から、ボーダーを削除する（ボーダー削除状態４０７）か又は変更する（ボーダー変更状態４０８）ことができる。ボーダー削除状態４０７は、削除動作４１５の結果として又は領域削除（後述する）の結果として入力される。ボーダー変更状態４０８は、ボーダー変更動作４１６の結果として又は領域移動（後述する）の結果として入力される。ボーダーの変更は、ボーダーの移動、伸張又は縮小を含むことができる。削除及び変更の影響は、より詳しく後述される。
【００２３】
ボーダー追加動作４０３が検出されると構造化ボーダー生成状態４０９が入力され、ボーダーが生成されて作業面に追加される。
【００２４】
構造操作動作４０４が検出されると、領域内の構造操作状態４１０が入力される。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす操作であることを想起する。構造操作は１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから取り除くことでありうる。アイテムが挿入される際に予期されるように、挿入位置より下のアイテムは「下に移動する」ことができる。構造操作の経過の際、例えばリスト内のアイテムを移動させるなど様々な副作用４１１が生じる可能性があり、これによって領域が拡張したり縮小したりする。従って、領域拡張又は縮小状態４１９が入力される。このような領域拡張又は縮小によってボーダーの変更が生じうる。従って、ボーダー変更状態４０８が入力される。
【００２５】
領域選択動作４０５が検出されると、領域操作状態４１２が入力される。領域操作状態４１２から、領域を移動させるか（領域移動状態４１３）又は削除する（領域削除状態４１４）することができる。移動動作４１８が行われると、領域移動状態４１３が入力される。領域を移動させるか又は変更する場合、ボーダー変更状態４０８が入力されるようにボーダーを移動させることが通常必要である。領域を削除する場合、領域削除状態４０７が入力されるように１つ又はそれより多くのボーダーを削除することが通常必要である。
【００２６】
構造化ボーダーは、まっすぐな水平又は垂直のラインセグメントとして視覚的に表されるインクストロークであり、ラインセグメントの一方の端部は制限されており、もう一方の端部は制限されているか又は無制限である。好適な本実施の形態の作業面は、ｘ−ｙ座標システムの右下カドラントとして画定されていることを想起する。水平境界は、常にｙ軸によって少なくとも左側が制限されており、遮る垂直境界線がなければ右側端部は無制限でありうる。同様に、垂直境界は常にｘ軸によって少なくとも上部が制限されており、遮る水平境界線がなければ下部は無制限でありうる。
【００２７】
図５は、複数の構造化ボーダーによってテッセレートされた作業面を示している。図５を参照すると、標準、アンカー及びフロースルーの３つのタイプの構造化ボーダーを定義することができる。これらは、異なるタイプのラインとして表示される。標準ボーダーは、ボーダー５０１として示されている。標準ボーダーは、「標準」幅のラインで表示されている。前述のような直線ジェスチャーは、標準ボーダーを生成する。標準ボーダーは選択及び移動が可能であり、あるいは一定の操作（例えば、後述する自動領域拡張）の副作用として自動的に移動が可能である。
【００２８】
アンカーボーダーは、ボーダー５０２として示されている。アンカーボーダーは、「太」線として表示されている。アンカーボーダーは、構造操作の結果として移動しない（が、ユーザによる選択及び移動が可能である）。アンカーボーダーは、作業面のテッセレーションのあらゆる自動調節に対する「絶対的な」障害を表す。
【００２９】
フローボーダーは、ボーダー５０３として示されている。フロースルーボーダーは破線で表示されている。破線ボーダーは、（後述する）フロー領域内のコラム（列）を定める。
【００３０】
ボーダーはまた、ボーダー自体の間で関係を有する。このような関係は図５に示される。図５を参照すると、ボーダー５０４は依存ボーダー５０５を有する。ボーダー５０４が変更又は削除される場合、直線テッセレーションを維持するためにボーダー５０５も変更又は削除されなくてはならないため、ボーダー５０５はボーダー５０４に依存している。ボーダーの変更及び削除は、より詳しく後述される。
【００３１】
ボーダー５０６は、ボーダー５０７と直線の関係を有する。これらは、互いの線拡張と呼ばれる。
【００３２】
構造化ボーダーのタイプを変更できることは有用である。好適な本実施の形態では、既存のラインの太さ及びタイプの制御を使用してボーダーのタイプを変更する。
【００３３】
しかし、構造化ボーダーが（システムのドローモードの操作において通常生成される）通常のラインとは異なる特性を有することは有用である。例えば、構造化ボーダーは消去ツールを使用して容易に消去することができない（これは、行うことができる削除とは対照的である）。後述するように、構造化ボーダーの消去は依存ボーダーの消去などの望ましくない結果を生じうる。更に、操作をより迅速に識別して行うことができるように、構造化ボーダーは容易に識別可能でなくてはならない。従って、構造化ボーダーは、それが実際にボーダーであることを示す情報を含む内部表現を有する。
【００３４】
構造化ボーダーは、様々な方法で生成される。第１の方法は、フリーハンドの直線ジェスチャーを生成することによって行われる。新しく生成されるボーダーはジェスチャーの位置に配置され、ジェスチャーに対して垂直で両側にある最も近いボーダー（又は作業面の側面）につながるまでボーダーの両端部の箇所が伸ばされる。つなぐボーダーがない場合、ボーダーは制限されない（例えば、水平ボーダーが画定されていない場所の垂直ボーダー）。ジェスチャーによる生成は、図６〜図７に示される。
【００３５】
図６を参照すると、既存の垂直ボーダー６０１及び６０２はコラムを画定しており、ジェスチャー６０３が作られて作業面の第２コラムの中の水平ボーダーを生成している。図７は、結果として生じた水平ボーダー７０１を示している。
【００３６】
前述の方法では、新しいボーダーのために明確な水平スペースがなくてはならない。時として、ユーザは水平又は垂直ボーダーのための明確な水平又は垂直スペースがない場所でボーダーによってオブジェクトを分割したい場合がある。従って、ボーダーを生成する第２の方法は、１つのボーダーから別のボーダー（又は可視ディスプレイのエッジ）に任意のカーブジェスチャーをドローすることである。この場合、オブジェクトは移動されて新しいボーダーの明確な水平又は垂直スペースを生成する。結果として直線のボーダーが生成され、オブジェクトがジェスチャーによって示される領域に属するようにオブジェクトが自動的に調節される。これは、図８〜図９を参照して示される。
【００３７】
図８を参照すると、垂直ボーダー８０１と８０２との間にライン８０３がドローされている。ライン８０３は直線ではなく、領域の可視内容を２つの別個の部分に分割しており、一方は Tokyo、Shanghai及びToronto のマークを含み、他方は Vancouver及びMoscowを含んでいる。
【００３８】
図９を参照すると、２つのボーダーをつなぐラインをドローした結果が示される。ここでライン９０１は直線であり、Vancouver 及び Moscow のマークをライン９０１の下に押し下げている。
【００３９】
構造化ボーダーを生成する第３の方法を使用してフロー領域が作られ、これはフローボーダーを生成する。これは、より詳しく後述される。
【００４０】
ボーダーは、あらゆる他のグラフィカルオブジェクトのように操作が可能である。ボーダーを操作するには、ボーダーを「選択」しなくてはならない。好適な本実施の形態では、タップジェスチャー（又は「タッピングオンイット(tapping on it：タップすること）」）によって全てのボーダーを選択することができる。ボーダーを選択するとボーダーは「強調表示」される。
【００４１】
好適な本実施の形態では、構造化ボーダー及びその直線拡張は、ダブルタッピングオンイット（２度タップすること）によって選択が可能である。これは、図１０〜図１１に示される。図１０を参照すると、構造化ボーダー１００１は単一タップによって選択されている。図１１を参照すると、構造化ボーダー１００１は「ダブルタップ」され、結果としてボーダー１００１及びその直線拡張１１０１及び１１０２も選択されている。
【００４２】
ユーザによるボーダーの整列を助長するために、構造化ボーダーが生成又は移動される際、これらは小さい一定のグリッドサイズを有する不可視の背景グリッドに「スナップ (snap) 」する。
【００４３】
構造化ボーダーを選択することにより、それに依存するボーダーも強調表示される。所与のボーダーに対し、その依存物は、「親」ボーダーが除去される場合に作業面の直線テッセレーションを保つために除去される必要があるボーダーとして定義される。依存ボーダーはまた、親ボーダーが移動すると伸張又は縮小することができる。選択されたボーダーの依存ボーダーが図１２に示される。図１２を参照すると、ボーダー１２０２はボーダー１２０１に依存している。これは、ボーダー１２０１が削除されるとボーダー１２０２は作業面の直線テッセレーションを妨げるからである。図１２に示されるように、２つのボーダーが交差して「Ｔ」形を形成すると依存ボーダー状況が生じる。依存ボーダーは、「Ｔ」形の横棒を形成するボーダーである。
【００４４】
（例えば、ピッグテイルジェスチャーなどの削除ジェスチャーを使用して）選択されたボーダーを削除することができる。構造化ボーダーに関しては、削除によってその依存ボーダーも削除される。
【００４５】
選択されたボーダーは、ドラッグ操作によって移動が可能である。構造化ボーダーに関しては、（移動を止める物理的オブジェクトであるかのように）他のボーダー及びオブジェクトによって移動が遮られる。これは、図１３に示される。図１３を参照すると、選択されたボーダー１３０１はボーダー１３０２及びオブジェクト１３０３によって遮られる。従って、選択されたボーダー１３０１の移動範囲は、これらの２つのオブジェクトの間である。更に、全ての依存ボーダーを拡張又は縮小して直線テッセレーション構造を保つことができる。これは、図１４に示される。図１４を参照すると、選択されたボーダー１４０１が新しい位置に移動していると共に依存ボーダー１４０２は伸張しており、直線テッセレーション構造に従ってボーダー１４０１と接触したままである。
【００４６】
領域とは、ボーダーによって定められる作業スペース内の領域である。ボーダーが構造化ボーダーである場合、領域は矩形である。
【００４７】
領域及びそれに関連する境界は、選択されるグラフィカルオブジェクトに基づいて画定されることに注意すべきである。これは、複合領域に関する以下の論述において明らかになるであろう。
【００４８】
好適な本実施の形態では、リストアイテムをグループ化して操作する構造化操作が利用可能である。本発明は、これらの操作を領域の内部に制限する。最も基本的なケースでは、リスト操作は単一領域内のオブジェクトのみに影響し、残りの作業面上のオブジェクトのレイアウトを乱さない。これは、図１５〜図１６に示される。図１５を参照すると、領域１５０１においてリスト１０５２のアイテム１５０３が再位置づけされるべきである。この再位置づけは図１６に示される。領域１５０１以外のオブジェクトは影響を受けていないことに注意する。
【００４９】
別の基本的なケースは、２つの領域間のリスト操作を行うことである。これは、図１７〜図１８に示される。図１７を参照すると、領域１７０１からのアイテム１７０２は領域１７０３のリスト１７０４に移動される。結果は、図１８に示される。領域１７０１及び１７０３以外のオブジェクトは影響を受けていないことに注意する。
【００５０】
好適な本実施の形態では、領域は、特定の操作時間がすぐに計算されるという点で「暗黙的」なオブジェクトである。関連領域の位置、サイズ及び範囲は、ユーザの動作によって暗黙的に決定される。例えば、ユーザが選択を行うと、システムは選択物の位置及びサイズに基づいて計算をする。これは、選択物を囲む最も近い４つのボーダーによって制限される領域である。
【００５１】
複合領域とは、ボーダー又はサブ領域を含む領域である。ボーダーを含む領域が図１９に示される。図１９を参照すると、領域１９０１及び１９０２は構造化ボーダーによって定められている。ボーダー１９０５は、領域１９０２から領域１９０１を定めている。ユーザはリストアイテムを選択することができ、例えば選択物１９０３などのいくつかの領域をわたるリストアイテム又はリストアイテムのロー（行）全体などを選択することができる。ここでは、選択物はボーダーの上に重なっている。この場合、選択物の上に重なるボーダー、即ちボーダー１９０５は「アンビエント」であると一時的に考えられ、次に続くリスト操作時間のために１つの領域があると解釈する。
【００５２】
フロー領域とは、リストが１つのコラムから次のコラムへと続いているコラムのシーケンスである。コラムは、破線ボーダーとして示されるフロースルーボーダーによって分割される。これは、図２０を参照して示される。図２０を参照すると、コラム２００１〜２００３はアイテムのリストを有するフロー領域を含む。フロー領域のリスト操作によってリストを再フォーマット化し、アイテムはフロースルーボーダーをわたって（アニメーションによって）「フロー」してギャップを満たすか又は挿入のためのスペースを作る。リスト操作は、単一フロー領域内又は２つのフロー領域間で生じることができる。これは、図２１〜図２２及び図２３〜図２４に示される。
【００５３】
図２１を参照すると、リストアイテム２１０１（"Singapore")はコラム２１０２からコラム２１０４に移動される。図２２は、リストアイテム２１０１（"Singapore")の移動後に生じた「フロー」を示している。様々なコラム内のアイテムが移動したことに注意すべきである。コラム２１０２から移動して出たものはリストアイテム２１０１（"Singapore")であり、コラム２１０３から移動してコラム２１０２に入ったものはリストアイテム２２０１（"Toronto")である。コラム２１０３から移動して出たものはリストアイテム２２０１（"Toronto")であり、移動してコラム２１０３に入ったものはリストアイテム２２０２（"Moscow") である。コラム２１０４から移動して出たものはリストアイテム２２０２（"Moscow") であり、移動してコラム２１０４に入ったものはリストアイテム２１０１（"Singapore")である。影響を受けた他のリストアイテムはコラム内でシフトされ、それに応じて上又は下に移動される。
【００５４】
図２３を参照すると、リストアイテム２３０１（"Paris")は第１フロー領域２３０５のコラム２３０２から第２フロー領域２３０４のコラム２３０３に移動される。図２４は、リストアイテム２３０１（"Paris")の移動がフロー領域２３０４及び２３０５の様々なコラムに及ぼす影響を示している。フロー領域２３０４に関しては、アイテムのリストが増加しており、結果として生じたフローによって追加のアイテムがコラム２４０１に配置されている。フロー領域２３０５に関しては、アイテムのリストが減少しており、結果として生じたフローによってコラム２４０２内の全てのアイテムが取り除かれている。実際に２つのアイテムがより大きなサイズの単一アイテムに代わっているため、コラム２４０２に及ぼす影響は、アイテムのフローがアイテムのサイズに基づいていることを更に示している。
【００５５】
フロー領域は、長いリストの操作に特に有用である。これは、単一ページに列挙され、ディスプレイウィンドウが短すぎて全体を眺めることができない長いリストを処理する方法を提供する。このようなリストの一般的な例は、ブレインストーミングセッションの結果である。好適な本実施の形態では、フロー領域を生成し、リストアイテムをスケーリングし、全てのアイテムがディスプレイウィンドウ上で可視になるようにフロー領域に配置することにより、長いリストを再フォーマット化する操作が提供される。
【００５６】
これは、図２５〜図２６に示される。図２５を参照すると、作業スペース２５０１はリスト２５０２を含む。リスト２５０２は、ディスプレイの範囲（ここではディスプレイ範囲２５０３として示される）を越えて延びている。従って、一度にリスト全体をスクリーン上で眺めることができない。ここで図２６を参照すると、リストはディスプレイ上で全体を表示することができるフロー領域内に再フォーマット化されている。
【００５７】
リストのフォーマット化という基本的な操作がある。これは、リストを選んでこれを所与のサイズのフロー領域内にはめ込むことを含む。必要数のコラムがフロー領域内に生成され、リストアイテムは必要なサイズに一様にスケーリングされる。リストをフォーマット化する技術は、アイテムのスケールを最大にしたコラムの数を選択する。
【００５８】
好適な本実施の形態では、フロー領域の生成は以下の技術のうち１つを使用して達成される：
【００５９】
１．既存のボーダーをフロースルーボーダーに変える
ａ）ユーザは、タッピングによって既存のボーダーを選択する。
ｂ）ユーザは、ライン特性をフロースルーボーダーの破線に編集する。
後に続くリスト操作は、フロースルーボーダーをわたってフローする１つのリストに属するものとしてアイテムを解釈する。
【００６０】
２．リストを含む領域を圧縮する
領域の圧縮は、領域のサイズを減少させ、領域内のアイテムのスケーリングを伴い、領域内の未使用領域の量を減少させる技術である。領域がリストを含む場合、領域をフロー領域に変換するようにこれを圧縮することができる。圧縮の一般的な概念は、より詳しく後述する。いずれにせよ、フロー領域を生成するために以下のステップに従う：
ａ）ユーザは、リストを含む領域の底部ボーダーを選択する。
ｂ）ユーザは、選択されたボーダーをリスト内で最も下に位置するアイテムの底部を通過するようにドラッグする。
ｃ）システムは新しいフロースルーボーダーを自動的に生成し、追加のコラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。
【００６１】
これは、図２７〜図２９に示される。図２７を参照すると、ユーザはリスト２７０２を含む領域の底部ボーダー２７０１をドラッグする。図２８を参照すると、臨界高さ、即ちリストアイテムの合計の高さ２８０１よりも小さい高さを通過するようにユーザが選択された底部ボーダー２７０１をドラッグすると、フローボーダーを間もなく生成し、かつリストをフロー領域内に再フォーマット化することを示すユーザへのフィードバックとして強調表示されたフローボーダー２８０２が現れる。結果として生じたフロー領域は、図２９に示される。
【００６２】
好適な本実施の形態では、リストアイテムをスケーリングすることができるため、ユーザが領域を圧縮してフロー領域を生成できる範囲は制限されていない。しかし、ユーザが眺めることができるものに基づいて実質上の範囲が存在する。好適な本実施の形態では、ユーザにこの実質上の範囲を決定させる。
【００６３】
好適な本実施の形態は更に、底部ボーダーを下に移動し、より大きなフロー領域を生成することによってフロー領域内のコラムの数を減少させる「非圧縮」操作を支持することにも注意すべきである。
【００６４】
３．「リストを圧縮して可視作業面にはめ込む」操作を行う
ａ）ユーザは、ボーダーのない作業面上の全てのリストアイテムを選択する（例えば、リストはブレインストーミングセッションの結果である）。
ｂ）ユーザは、メニューによって、あるいは選択物をわたる「ダブル水平線」ジェスチャー（これは、リストを分割するためのニーモニックである）を形成することによって「リストを圧縮して可視作業面にはめ込む」を呼び出す。
ｃ）システムは、可視作業面の底部に新しいボーダーを生成すると共にフロースルーボーダーのセットを自動的に生成し、コラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。これは、リストアイテムのスケーリングを含みうる。
【００６５】
図３０は、リストをフロー領域内にフォーマット化するステップを説明するフローチャートである。まず、（前述の）フロー領域を生成した技術によってフロー領域のサイズを決定する（ステップ３００１）。次に、リストをフロー領域にはめ込むことを可能にする縦列（コラム状）編集を決定する。初めに、フロー領域のサイズ及びリストアイテムに基づいて、リストをフロー領域内のｎ個のコラムにはめ込む最大の倍率を有するコラムの数 "ｎ" を決定する（ステップ３００２）。一般に、様々な数のコラムをテストし、リスト全体をフロー領域にはめ込むことができる倍率（即ち、アイテムを縮小しなくてはならない程度）を各々に対して決定することにより、ステップ３００２を行うことができる。最大倍率を有するコラムの数を選択する。
【００６６】
次に、領域内に表示されるフローボーダーによってフロー領域を "ｎ" 個の均等なコラムに分割する（ステップ３００３）。最後に、リストアイテムをスケーリングし、各々のコラム内に配置する（ステップ３００４）。最後に、フロー領域及びリストを表示する（ステップ３００５）。好適な本実施の形態では、この配置は最も左のコラムから最も右のコラムへ行われる。従って、最も右のコラムは底部にギャップを有しうる。もちろん、アイテムをコラム内に均等に配置するなど、他のマッピングを使用することもできる。
【００６７】
ボーダーのように、領域を選択して移動することが可能である。領域の移動によって、領域内に含まれるグラフィックオブジェクトも移動する。好適な本実施の形態では、選択された領域を示す角括弧（「［」）又はＬ形のジェスチャーを生成することによって領域の選択が行われる。角括弧を用いた選択は、図３１〜図３２に示される。図３１を参照すると、括弧ジェスチャー３１０１の角３１０５及び３１０６が領域３１０４の水平ボーダー３１０２及び３１０３と合うように角括弧ジェスチャー３１０１が呼び出される。選択物は、領域３１０４を囲む破線として図３２に示される。
【００６８】
Ｌ形ジェスチャーを用いた選択は、図３３〜図３４に示される。図３３を参照すると、領域３３０４が選択される。第１のＬ形ジェスチャー３３０１によって、ボーダー３３０２及び３３０３ならびにこれらの直線拡張が選択される。これは、領域３３０４の境界を明らかに越えている。ここで図３４を参照すると、第２のＬ形ジェスチャーは更に選択物を領域３３０４に制限している。
【００６９】
選択されたボーダーと共に、選択された領域をドラッギングによって移動させることができる。移動は、水平方向及び垂直方向に制限される。垂直方向では、これは図３５〜図３６に示される。図３５を参照すると、選択された領域３５０１はポイント３５０２に移動される（ここでは例示のために示される）。移動の結果は図３６に示される。図３５では、水平ボーダー３５０３は直線拡張３５０４を有することに注意すべきである。しかし、図３６からわかるように、直線拡張は領域３５０１と共に移動しない。しかし、垂直ボーダー３５０９及び３５１０が移動されると、これらの拡張は変更される。ここでは、直線拡張３５０７及び３５０８は短くされ、直線拡張３５０５及び３５０６は伸張される。
【００７０】
領域の水平方向移動が図３７〜図３８に示される。図３７を参照すると、領域３７０１はポイント３７０２に移動される（ここでは例示のために示される）。移動の結果は図３７に示される。垂直移動の場合と同じように、垂直ボーダー３７０３及び３７０４の直線拡張は移動せず、水平直線拡張はこれに応じて短くされるか又は伸張される。
【００７１】
領域の移動は、既存のオブジェクト又はボーダーによっても制限される。これは、図３９〜図４０に示される。図３９を参照すると、垂直方向において、領域３９０１の移動は上方向の上部水平ボーダー３９０２及び下方向のグラフィックオブジェクト３９０３によって制限されている。図４０を参照すると、水平方向において、領域４００１の移動は左ボーダー４００２によって左側が制限され、グラフィックオブジェクト４００３によって右側が制限されている。
【００７２】
最後に、選択された領域を削除することができる。削除の影響は、テッセレートされた作業面の構成に依存する。通常、選択された領域がグリッド編成（例えば、表又はスプレッドシート）の一部ではない場合、領域内のグラフィックオブジェクトも削除され、削除されたオブジェクトによってあいたスペースと同じ量のスペースが縮小される。好適な本実施の形態では、このような縮小は自動的に行われ、これによって様々なボーダーの位置がシフトされる。選択された領域がグリッド編成の一部である場合、領域内のグラフィックオブジェクトは削除されるが、選択された領域はそのままである。これは、どちらの方向（即ち、垂直方向又は水平方向）に領域をコラプスさせるかという曖昧さを回避するために行われる。
【００７３】
構造化リスト操作が領域内により多くのスペースを必要とする場合、リストなどの暗黙的な構造に対して操作をすることによって構造化ボーダー領域は右方向又は下方向に自動的に拡張する。これらの操作は以下の通りである：ａ）アイテムを領域内に移動させる／複写する、ｂ）領域内のアイテムをスケーリングする、ｃ）リストの注釈／脚注を表示（又は拡張）する。これらの操作は、図４１〜図４２、図４３〜図４４及び図４５〜図４６に示される。
【００７４】
図４１を参照すると、領域４１０２内のリストアイテム４１０１は領域４１０４内のリスト４１０３に移動される。結果は図４２に示されており、ここで領域４１０４は水平方向及び垂直方向の双方に拡張している。結果として、領域４１０５も垂直方向に拡張していることに注意すべきである。これは、拡張が最も高いレベルのボーダーの直線テッセレーション構造を保つためである。左又は下方向に押される必要のある構造化ボーダーは、そのボーダーの直線拡張を有する。移動されたボーダーの右又は下にある領域内の全てのオブジェクトも移動される。
【００７５】
図４３を参照すると、領域４３０２内のリストアイテム４３０１はより大きなサイズにスケーリングされる。結果が図４４に示されており、ここで領域４３０２は拡張して拡大されたアイテムを収容している。
【００７６】
図４５を参照すると、領域４５０２内のリストアイテム４５０１は脚注４５０３と関連している。表示（又は拡張）操作が脚注４５０３に対して行われる。結果が図４６に示されており、ここで領域４５０２は拡張して脚注の内容を表示している。
【００７７】
同様にして、リスト操作がリスト内のあいたスペースの削除を必要とする場合は領域が縮小される。これらの操作は以下の通りである：ａ）アイテムを領域から移動させる、ｂ）アイテムを削除する、ｃ）アイテムを縮小する、ｄ）リストの注釈／脚注をコラプスさせる。縮小は単なる拡張の反対であるため、縮小に関する更なる説明は不要とみなされる。
【００７８】
通常は、領域をその内容の外範囲と同じくらいにしか小さくすることができない。物理的なオブジェクトによって停止されるかのように、ボーダードラッギング操作はそこで停止する。しかし、ユーザは、余剰内部スペースを取り除く（又は前述のように狭い１コラムのリストを複数コラムのフロー領域内に再フォーマット化する）ことによって領域のサイズを更に縮小したい場合がある。これは、領域の「圧縮」と呼ばれる。ユーザが（拡張があるか又はない）ボーダーを選択してこれを上方向にドラッグすると、ユーザは、ボーダーが妨害オブジェクトに当たる箇所において一定のフィードバック（ドラッギングに対する「抵抗」及びボーダーの外観の視覚的変化）を受ける。この時点で、ユーザはボーダーを更に上にドラッグし続けることができる。ユーザがドラッグを離すと、より短い領域内にアイテムが入るようにリストアイテム間のスペースが均等に減少される。これは、図４７〜図４９に示される。図４７を参照すると、ボーダー４７０１が選択されており、上方向にドラッグされてリスト４７０２を圧縮している。図４７では、ボーダー４７０１はリスト４７０２の底部のすぐ下の位置に移動されている。図４８を参照すると、ボーダー４７０１はリスト４７０２の底部より上の位置に移動されている。最後に、図４９を参照すると、リスト４７０２全体を表示できるように領域が圧縮されている。
【００７９】
もちろん、ボーダーをドラッグすることができる範囲がある。この範囲は予め計算されており、リストアイテムの全体的な高さに基づいている。しかし、前述のように、ボーダーを更にドラッグしてフロー領域を生成してもよい。
【００８０】
好適な本実施の形態は、未使用スペースを手動で追加するジェスチャー（ウェッジジェスチャー）又は未使用スペースを削除するジェスチャー（ピッグテイルジェスチャー）を提供することにも注意すべきである。各インスタンスは、所定サイズの対応領域にラインを追加するか又は該領域からラインを削除する。
【００８１】
好適な本実施の形態では、構造操作はテッセレートされた作業面を利用する編集操作である。構造操作を実施する際、構造化ボーダーを移動させることができる。これは、自動領域拡張及び縮小に関連して前述した。図５０のフロー図は、本発明の好適な実施の形態において構造操作を分析し、これを実施できるかどうかを調べるための基本技術を示している。図５０を参照すると、電子ホワイトボードを使用している際に、ユーザは構造化ボーダーとして解釈可能な１つ又はそれより多くのグラフィックオブジェクトを生成する（ステップ５００１）。次に、電子ホワイトボードとの対話のある時点において、ユーザは１つ又はそれより多くのグラフィックオブジェクトを選択する（ステップ５００２）。この選択は、通常は構造操作を行うための準備である。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす動作であることを想起する。構造操作とは、１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから削除することでありうる。アイテムを挿入する際に予期されるように、挿入位置の下にあるアイテムは「下に移動する」ことができる。
【００８２】
選択が生じると、システムは「ソース」領域を識別する（ステップ５００３）。ソース領域は、簿記の目的で識別される。選択が生じた後、一定の構造操作を行う（ステップ５００４）。例えば、リストにアイテムを挿入する。操作を行う前に、システムは「指定」領域を識別する（ステップ５００５）。指定領域に基づいて、システムは操作を行えるかどうかをスペースの見地から決定する（ステップ５００６）。前述のように、構造操作は領域拡張を生じることができる。領域拡張は、アンカーボーダー又は他のグラフィックオブジェクトの存在によって制限されうる。従って、拡張に利用可能なスペースの量が限られている場合がある。いずれにせよ、システムはこのような制約の存在を調べ、構造操作の実施に十分なスペースがあるかどうかを推定する。
【００８３】
スペースがあるとシステムが決定した場合、構造操作を行う（ステップ５００７）。前述のように、これは領域拡張（例えば、アイテムを領域内のリストに移動する）又は縮小（例えば、領域内のリストからアイテムを移動させる）を生じうる。スペースがないとシステムが決定した場合は構造操作を行わず、操作を行うことができない理由に関する指示をユーザに返す（ステップ５００８）。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態において使用可能であるグラフィックベースコンピュータシステムのブロック図である。
【図２】ディスプレイ上に表示でき、かつ図２のタッチセンスパネルによってインターフェイスすることができる基本的なグラフィカルユーザインターフェイスの表現である。
【図３】本発明の好適な実施の形態において使用可能な、作業面のマッピングを示すＸ−Ｙ座標システムの図である。
【図４】本発明の好適な実施の形態の基本動作を示す状態図である。
【図５】作業面をテッセレートする構造化ボーダーの図である。
【図６】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図７】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図８】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図９】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図１０】本発明の好適な実施の形態において行われうる、タップジェスチャーによって構造化ボーダーを選択する図である。
【図１１】本発明の好適な実施の形態において行われうる、ダブルタップジェスチャーによって構造化ボーダー及びその拡張を選択する図である。
【図１２】本発明の好適な実施の形態において行われうる、依存ボーダーを有する構造化ボーダーを選択する図である。
【図１３】本発明の好適な実施の形態における構造化ボーダーの移動範囲の図である。
【図１４】本発明の好適な実施の形態において行われうる、構造化ボーダーを移動させて依存ボーダーを調節する図である。
【図１５】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１６】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１７】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１８】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１９】本発明の好適な実施の形態において行われうる、「アンビエント」ボーダーをまたがる選択が行われる複合領域の図である。
【図２０】本発明の好適な実施の形態におけるフロー領域の図である。
【図２１】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２２】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２３】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２４】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２５】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２６】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２７】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２８】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２９】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図３０】本発明の好適な実施の形態において行われうる、リストをフロー領域内にフォーマット化するステップを示すフローチャートである。
【図３１】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３２】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３３】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３４】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３５】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３６】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３７】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３８】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３９】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４０】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４１】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４２】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４３】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４４】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４５】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４６】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４７】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４８】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４９】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図５０】本発明の好適な実施の形態において構造操作を行うことができるかどうかを決定する基本的なステップを示すフローチャートである。
【符号の説明】
１０１ バス
１０２ プロセッサ
１０３ 内部メモリ
１０４ ディスプレイ
１０５ ポインティングデバイス
１０７ 外部記憶装置
【発明の属する技術分野】
本発明はコンピュータ制御ディスプレイシステム用のユーザインターフェイスの分野に関し、特にユーザインターフェイスの作業スペースのより効率的な編成に関する。
【０００２】
【従来の技術】
ペンベースシステム及び「電子ホワイトボード」（例えば、ゼロックス社（Xerox Corporation)の一部門である LiveWorksから利用可能な LiveBoard（商品名))などのコンピュータベースシステムは、ペン、スタイラス又はカーソル制御デバイスなどの入力デバイスの使用に基づいたグラフィカルユーザインターフェイスを提供する。このようなシステムでは、「ディスプレイ」はデータを示す手段及び入力媒体として動作する作業スペースを示す。入力デバイスを使用して生成されるペンのストロークによって、グラフィックオブジェクトをディスプレイ上に「ドローする（描く、線などを引く）」ことができる。グラフィックオブジェクトは、単語、数字又は表示できるあらゆるものを表すことができる。次に、ジェスチャーとして既知の入力技術を使用して、様々な操作をグラフィックオブジェクトに対して行うことができる。ジェスチャー自体は、命令として解釈される単なるペンのストロークにすぎない。時として、このようなシステムはドローモードの操作とジェスチャーモードの操作を有し、ペンストロークが固定グラフィックオブジェクトを生成する場合とペンストロークをジェスチャーとして処理する場合とを区別している。
【０００３】
ユーザとの対話を容易にするため、LiveBoard システムは構造の概念を提供する。LiveBoard システムが用いる様々なタイプの構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting the Implicit Structure of Freeform Lists, Outlines, Text, Tables, and Diagrams In A Gesture-Based Input System and Editing System"というタイトルの EPA 0 667 567 A2 に記載されている。概念的に、構造とは特定の関係を有するグラフィックオブジェクトの集まり、例えば LiveBoardに書き込まれるアイテムのリストなどである。構造の操作が生じると、アイテム間の関係は維持される。例えば、リストの中間にアイテムを入力すると挿入箇所より下のアイテムは下に移動し、挿入されたアイテムのためのスペースをつくる。
【０００４】
電子ホワイトボードを使用する場合、リスト及び他の構造は明確な領域においてクラスタ化される。これは、オブジェクトを生成する際又は標準の編集機能を用いてグラフィックオブジェクトを移動させることによって意識的に行われうる。オブジェクト及び構造が配置される位置が近いため、ユーザが操作によって一定のオブジェクト又は構造のみに影響を及ぼしたいときに問題が生じうる。
【０００５】
簡潔な例がリストの操作においてみられる。アイテムをリスト内の異なる位置に移動させることによってリストを再順序づけするなどのリスト操作を支援するには、システムはリストを含む領域を計算できなければならない。次に、リストの再順序づけ操作は、リストを含む領域内のオブジェクトのみに影響を及ぼし、他の領域内のオブジェクトをそのままにする。しかし、アイテム及び構造が密接してクラスタ化されると、この領域を決定することが困難な場合がある。更に、この領域が正確に決定されていても、操作を行うことによってリストアイテムを他のオブジェクト上に重ね書きしてしまう可能性がある。
【０００６】
この問題に対処する１つの方法は、アイテムを手動で選択し、これらをグループ化して作業スペース内の別の位置に移動させることである。しかし、これは面倒であり、多少非生産的である。
【０００７】
領域を決定する別の技術が前述の EPA 0 667 567 A2 に記載されており、ここでは、ユーザがドローしたボーダーラインを使用して選択操作の空間範囲を制限している。ボーダーラインは、ボーダーラインがドローされる箇所に固定される。従って、例えばボーダーがリストの底部に設定された場合、リストの選択はそのボーダーにおいて終わる。しかし、アイテムがリストに追加される場合、リストの後に続く選択がボーダーによって妨げられないようにボーダーを手動で移動させなくてはならない。これは、選択操作の範囲を制限するには有用であるが、リストを更新しなくてはならない場合に面倒になりうる。
【０００８】
【発明が解決しようとする課題】
ユーザがグラフィカルディスプレイシステムの作業面上のデータアイテムの長いリストを眺めることを可能にする方法が開示される。例えば電子ホワイトボードのようなグラフィカルディスプレイシステムを操作する多くの場合において、アイテムの長いリストが生成されるブレインストーミングが生じる。不都合なことに、リストが非常に長くなってリスト上の全てのアイテムを一度に眺めることができない場合がある。これは、リスト内のアイテムの操作、例えばリストの再順序づけを非常に面倒にしうる。
【０００９】
【課題を解決するための手段】
本発明は、リストが含まれる領域をユーザがフロー領域に変えることを可能にすることによってこの問題を対処する。フロー領域において、通常眺めることが可能な作業面領域のサイズである矩形領域は縦状コラム内に編成される。長いリスト内のアイテムは縦状コラムにマッピングされる。アイテムをリストに追加するか又はリストから削除すると、縦状コラム内に含まれるアイテムは他のコラムに「フローする」ことができる。リストアイテムのこの縦列（コラム状）編成はユーザにとって非常に直覚的であり、リスト操作を非常に自然に行うことを可能にする。この編成において、リストの最上部のアイテムは第１コラムにあり、リストは左から右に縦状に表示される。
【００１０】
領域からフロー領域への変換は、予め定められた平行移動操作を使用するか又は領域をフロー領域内に「圧縮する（squeeze)」ことによって行われる。領域を「圧縮する」ことにより、底部ボーダーが選択され、垂直方向に移動されて垂直方向により短い領域を生成する。次に、システムはリストアイテムをフロー領域に変換する。フロー領域を生成する際に、アイテムのサイズと、アイテムのリストの表示に必要なコラムの数を決定する。リストアイテムのサイズの再スケーリングも結果として生じうる。フロー領域は、破線で表示される構造化ボーダーによって示される。
【００１１】
本発明の請求項１の態様は、コンピュータ制御ディスプレイシステムにおいてデータアイテムのリストを表示する方法であって、ａ）データアイテムの直線リストを選択するステップと、ｂ）前記選択されたデータアイテムの直線リストを含む第１領域を識別するステップと、ｃ）サブステップを行うことによって前記領域をフロー領域に変換するステップと、を含み、前記サブステップは、ｃ１）前記データアイテムの直線リスト内の各アイテムのアイテムサイズを決定し、ｃ２）前記フロー領域のサイズを決定し、ｃ３）前記データアイテムの直線リスト内の各アイテムを表示するために必要な縦状コラムの数を決定し、ｃ４）前記フロー領域内の前記縦状コラムの数を生成し、ｃ５）前記リストと同一の順序で前記データアイテムを前記縦状コラムにマッピングする。
【００１２】
本発明の請求項２の態様は、ディスプレイ上のデータアイテムの長いリストを示すコンピュータ制御ディスプレイシステムであって、ディスプレイデータを生成する処理手段と、ユーザが入力データ及び操作コマンドを提供することを可能にする入力手段と、前記データアイテムの長いリストを表示すると共に、各々が前記データアイテムの長いリストのサブセットを含む複数の縦状フローコラムから構成されるフロー領域を作業面上に示すディスプレイと、を含む。
【００１３】
【発明の実施の形態】
グラフィックベースのコンピュータシステムにおいて作業スペースを編成するシステムが開示される。本発明の好適な実施の形態は、構造化ボーダーを使用してテッセレートされた作業スペースを生成し管理する技術において実施される。テッセレートされた作業スペースは作業スペースを非重複領域に完全に分割するものであり、グラフィックオブジェクトの操作はグラフィックオブジェクトを含む領域に制限される。このような操作は、作業スペース上に書き込んだアイテムのリストを操作する際に特に有益である。
【００１４】
本発明は、完全な直線テッセレーションを維持するように動作する。従って、ボーダーが削除されるか又は変更されると、「依存」ボーダーはこれに応じて削除されるか又は変更される。完全な直線テッセレーションは、構造操作を行う際に整然とした直覚的な結果を維持するために必要である。更に、構造化ボーダーは固定されていなくてもよい。ボーダーは、構造操作に応答して移動することができる。
【００１５】
以下の用語はこの記述において使用され、以下に示される意味を有する：
グラフィックオブジェクト：２Ｄ（２次元）空間において表示されるあらゆるオブジェクト
作業スペース：グラフィックオブジェクトが書き込まれ、かつディスプレイ上に全体又は一部が表示されるスクロール可能な２Ｄ空間
カーブ：ユーザによって手動で生成される（例えば、ペンストローク）か、又はジェスチャー（例えば、「[ 」ジェスチャーから得られる矩形）など他の手段によって生成されるか、あるいはシステム（例えばボーダー）によって生成される１次元グラフィックオブジェクト
ペンストローク：インクストローク又はジェスチャーとなる、ペンを用いる動作インクストローク：ペンストロークを用いて生じる固定したカーブ
ジェスチャー：ペンストロークを用いて生じる、一時的であり動作として解釈されるカーブ
選択物：選択されたものとしてタグが付けられたグラフィックオブジェクトのセット
直線テッセレーション：作業スペース上の各点が１つの領域内に位置するように作業スペースを矩形領域に分割すること
構造：構造とは、所定の関係を有するグラフィックオブジェクトのセットをいう。構造内のグラフィックオブジェクトに対して行われる操作は、所定の関係を保っている。本発明において使用することが可能な構造は、本願と同一の譲渡人に譲渡された "Apparatus and Method For Supporting The Implicit Structure Of Freeform Lists, Outlines, Text, Tables, and Diagrams In a Gesture-Based Input System And Editing System"というタイトルの共願特許出願番号０８／１７６，１５０に記載されている。
【００１６】
本発明において使用可能なグラフィックベースのコンピュータベースシステムは、図１を参照して示される。図１を参照すると、コンピュータベースシステムはバス１０１を介して結合した複数の構成要素を含む。ここに示されるバス１０１は、本発明を明確にするために簡略化されている。バス１０１は、複数のパラレルバス（例えば、アドレスバス、データバス及びステータスバス）及びバスの階層（例えば、プロセッサバス、ローカルバス及びＩ／Ｏバス）からなる。いずれにせよ、コンピュータシステムは更に、内部メモリ１０３からバス１０１を介して提供される命令を実行するプロセッサ１０２を含む（通常、内部メモリはランダムアクセス又はＲＯＭの組み合わせであることに注意する）。動作の際、本発明の様々な機能構成要素を行うプログラム命令が内部メモリ１０３に記憶される。プロセッサ１０２及び内部メモリ１０３は別個の構成要素でもよいし、単一の一体化デバイスでもよい。プロセッサ１０２及び内部メモリ１０３は、本明細書中に説明される様々な処理機能を行う回路を含む。また、外部記憶装置１０７もバス１０１に結合している。外部記憶装置１０７は、通常は磁気又は光学ディスク記憶装置などの高容量記憶媒体である。
【００１７】
ディスプレイ１０４及びポインティングデバイス１０５もバス１０１に結合している。好適な本実施の形態では、ポインティングデバイス２０５はペンによって駆動されるタッチセンスパネルであり、これはタッチスクリーンディスプレイとしてディスプレイ１０４と一体化している。このようなタッチスクリーンディスプレイは当該技術において公知であり、ペンベースシステムのようなシステム及び電子ホワイトボードシステムにおいて使用されている。しかし、ポインティングデバイス１０５及びディスプレイ１０４は一体化されていなくてもよく、ポインティングデバイス１０５はスタイラス、マウス、トラックボール又は他のカーソル制御デバイスでもよい。
【００１８】
図２は、本発明での使用が可能なグラフィカルユーザインターフェイスの特定の実施を示している。図２を参照すると、グラフィカルユーザインターフェイスがディスプレイ１０４に表示されており、タッチパネル１０５を介して対話されている。グラフィカルユーザインターフェイスは作業面２０２を用いており、示されるように複数のアクセス可能機能２０１を用いることができる。作業面２０２は、ユーザが様々なカーブをドローすることができ、かつ他のグラフィックオブジェクトが表示される箇所である。アクセス可能機能２０１は、ディスプレイのボタン領域２０３に位置する。機能２０１は、グラフィックオブジェクトの編集操作（生成、削除、移動、縮小など）又はタッチパネル１０３の操作モードの変更操作（ドローモード及びジェスチャーモードからの切り換え）を含みうる。
【００１９】
あるいは、これらの機能は Windows指向アプリケーションにおいて共通して見られるプルダウンメニューによってアクセス可能である。しかし、これらの機能は指定が任意的であり、主要オブジェクトはシステムの操作に固有の操作を定めるべきである。これらの機能は、ジェスチャーによって呼び出される機能と同一の機能を行うことができる。
【００２０】
図３は、好適な本実施の形態の作業面の境界を概念的に示している。本発明を用いる作業面は境界が定められなくてもよく、このような実施は本発明の趣旨及び範囲から逸脱しないことに注意すべきである。図３を参照すると、作業面はＸ−Ｙ座標システム３０２の右下カドラント（1/4)３０１に位置すると考えることができる。作業面が右及び下方向に無限であり、左及び上方向において制限されるように、作業面は座標軸３０３及び３０４によって境界が定められている。従って、座標軸３０３及び３０４の各々は境界として動作する。
【００２１】
図４は、本発明の好適な実施の形態を操作するグラフィックベースコンピュータシステムの一般的な動作を非常に高次の項で示す状態図である。全体的な意図は、テッセレートされた作業スペース内のグラフィカルオブジェクトに対するあらゆる編集操作の結果が直覚的に一貫して行われる作業面を提供することである。前述の説明において明白になるように、好適な本実施の形態では、この編集操作は構造操作である。しかし、テッセレートされた作業面を利用することが可能なグラフィックオブジェクトに対する他のタイプの編集操作の実施は、本発明の趣旨及び範囲から逸脱しない。図４を参照すると、システムはユーザからの動作を検出する状態４０１にある。この状態にある間に、ユーザは追加、削除又は他の方法によるグラフィックオブジェクトの操作などの編集操作を作業スペースにおいて行っている。一般に、ユーザ対話状態４０１から４つの広いカテゴリーのジェスチャー又は動作が関連する：即ち、ボーダー選択動作４０２、ボーダー生成動作４０３、構造操作動作４０４及び領域選択動作４０５である。
【００２２】
ボーダー選択動作４０２が検出されると、構造化ボーダー更新状態４０６が入力される。構造化ボーダー状態４０６から、ボーダーを削除する（ボーダー削除状態４０７）か又は変更する（ボーダー変更状態４０８）ことができる。ボーダー削除状態４０７は、削除動作４１５の結果として又は領域削除（後述する）の結果として入力される。ボーダー変更状態４０８は、ボーダー変更動作４１６の結果として又は領域移動（後述する）の結果として入力される。ボーダーの変更は、ボーダーの移動、伸張又は縮小を含むことができる。削除及び変更の影響は、より詳しく後述される。
【００２３】
ボーダー追加動作４０３が検出されると構造化ボーダー生成状態４０９が入力され、ボーダーが生成されて作業面に追加される。
【００２４】
構造操作動作４０４が検出されると、領域内の構造操作状態４１０が入力される。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす操作であることを想起する。構造操作は１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから取り除くことでありうる。アイテムが挿入される際に予期されるように、挿入位置より下のアイテムは「下に移動する」ことができる。構造操作の経過の際、例えばリスト内のアイテムを移動させるなど様々な副作用４１１が生じる可能性があり、これによって領域が拡張したり縮小したりする。従って、領域拡張又は縮小状態４１９が入力される。このような領域拡張又は縮小によってボーダーの変更が生じうる。従って、ボーダー変更状態４０８が入力される。
【００２５】
領域選択動作４０５が検出されると、領域操作状態４１２が入力される。領域操作状態４１２から、領域を移動させるか（領域移動状態４１３）又は削除する（領域削除状態４１４）することができる。移動動作４１８が行われると、領域移動状態４１３が入力される。領域を移動させるか又は変更する場合、ボーダー変更状態４０８が入力されるようにボーダーを移動させることが通常必要である。領域を削除する場合、領域削除状態４０７が入力されるように１つ又はそれより多くのボーダーを削除することが通常必要である。
【００２６】
構造化ボーダーは、まっすぐな水平又は垂直のラインセグメントとして視覚的に表されるインクストロークであり、ラインセグメントの一方の端部は制限されており、もう一方の端部は制限されているか又は無制限である。好適な本実施の形態の作業面は、ｘ−ｙ座標システムの右下カドラントとして画定されていることを想起する。水平境界は、常にｙ軸によって少なくとも左側が制限されており、遮る垂直境界線がなければ右側端部は無制限でありうる。同様に、垂直境界は常にｘ軸によって少なくとも上部が制限されており、遮る水平境界線がなければ下部は無制限でありうる。
【００２７】
図５は、複数の構造化ボーダーによってテッセレートされた作業面を示している。図５を参照すると、標準、アンカー及びフロースルーの３つのタイプの構造化ボーダーを定義することができる。これらは、異なるタイプのラインとして表示される。標準ボーダーは、ボーダー５０１として示されている。標準ボーダーは、「標準」幅のラインで表示されている。前述のような直線ジェスチャーは、標準ボーダーを生成する。標準ボーダーは選択及び移動が可能であり、あるいは一定の操作（例えば、後述する自動領域拡張）の副作用として自動的に移動が可能である。
【００２８】
アンカーボーダーは、ボーダー５０２として示されている。アンカーボーダーは、「太」線として表示されている。アンカーボーダーは、構造操作の結果として移動しない（が、ユーザによる選択及び移動が可能である）。アンカーボーダーは、作業面のテッセレーションのあらゆる自動調節に対する「絶対的な」障害を表す。
【００２９】
フローボーダーは、ボーダー５０３として示されている。フロースルーボーダーは破線で表示されている。破線ボーダーは、（後述する）フロー領域内のコラム（列）を定める。
【００３０】
ボーダーはまた、ボーダー自体の間で関係を有する。このような関係は図５に示される。図５を参照すると、ボーダー５０４は依存ボーダー５０５を有する。ボーダー５０４が変更又は削除される場合、直線テッセレーションを維持するためにボーダー５０５も変更又は削除されなくてはならないため、ボーダー５０５はボーダー５０４に依存している。ボーダーの変更及び削除は、より詳しく後述される。
【００３１】
ボーダー５０６は、ボーダー５０７と直線の関係を有する。これらは、互いの線拡張と呼ばれる。
【００３２】
構造化ボーダーのタイプを変更できることは有用である。好適な本実施の形態では、既存のラインの太さ及びタイプの制御を使用してボーダーのタイプを変更する。
【００３３】
しかし、構造化ボーダーが（システムのドローモードの操作において通常生成される）通常のラインとは異なる特性を有することは有用である。例えば、構造化ボーダーは消去ツールを使用して容易に消去することができない（これは、行うことができる削除とは対照的である）。後述するように、構造化ボーダーの消去は依存ボーダーの消去などの望ましくない結果を生じうる。更に、操作をより迅速に識別して行うことができるように、構造化ボーダーは容易に識別可能でなくてはならない。従って、構造化ボーダーは、それが実際にボーダーであることを示す情報を含む内部表現を有する。
【００３４】
構造化ボーダーは、様々な方法で生成される。第１の方法は、フリーハンドの直線ジェスチャーを生成することによって行われる。新しく生成されるボーダーはジェスチャーの位置に配置され、ジェスチャーに対して垂直で両側にある最も近いボーダー（又は作業面の側面）につながるまでボーダーの両端部の箇所が伸ばされる。つなぐボーダーがない場合、ボーダーは制限されない（例えば、水平ボーダーが画定されていない場所の垂直ボーダー）。ジェスチャーによる生成は、図６〜図７に示される。
【００３５】
図６を参照すると、既存の垂直ボーダー６０１及び６０２はコラムを画定しており、ジェスチャー６０３が作られて作業面の第２コラムの中の水平ボーダーを生成している。図７は、結果として生じた水平ボーダー７０１を示している。
【００３６】
前述の方法では、新しいボーダーのために明確な水平スペースがなくてはならない。時として、ユーザは水平又は垂直ボーダーのための明確な水平又は垂直スペースがない場所でボーダーによってオブジェクトを分割したい場合がある。従って、ボーダーを生成する第２の方法は、１つのボーダーから別のボーダー（又は可視ディスプレイのエッジ）に任意のカーブジェスチャーをドローすることである。この場合、オブジェクトは移動されて新しいボーダーの明確な水平又は垂直スペースを生成する。結果として直線のボーダーが生成され、オブジェクトがジェスチャーによって示される領域に属するようにオブジェクトが自動的に調節される。これは、図８〜図９を参照して示される。
【００３７】
図８を参照すると、垂直ボーダー８０１と８０２との間にライン８０３がドローされている。ライン８０３は直線ではなく、領域の可視内容を２つの別個の部分に分割しており、一方は Tokyo、Shanghai及びToronto のマークを含み、他方は Vancouver及びMoscowを含んでいる。
【００３８】
図９を参照すると、２つのボーダーをつなぐラインをドローした結果が示される。ここでライン９０１は直線であり、Vancouver 及び Moscow のマークをライン９０１の下に押し下げている。
【００３９】
構造化ボーダーを生成する第３の方法を使用してフロー領域が作られ、これはフローボーダーを生成する。これは、より詳しく後述される。
【００４０】
ボーダーは、あらゆる他のグラフィカルオブジェクトのように操作が可能である。ボーダーを操作するには、ボーダーを「選択」しなくてはならない。好適な本実施の形態では、タップジェスチャー（又は「タッピングオンイット(tapping on it：タップすること）」）によって全てのボーダーを選択することができる。ボーダーを選択するとボーダーは「強調表示」される。
【００４１】
好適な本実施の形態では、構造化ボーダー及びその直線拡張は、ダブルタッピングオンイット（２度タップすること）によって選択が可能である。これは、図１０〜図１１に示される。図１０を参照すると、構造化ボーダー１００１は単一タップによって選択されている。図１１を参照すると、構造化ボーダー１００１は「ダブルタップ」され、結果としてボーダー１００１及びその直線拡張１１０１及び１１０２も選択されている。
【００４２】
ユーザによるボーダーの整列を助長するために、構造化ボーダーが生成又は移動される際、これらは小さい一定のグリッドサイズを有する不可視の背景グリッドに「スナップ (snap) 」する。
【００４３】
構造化ボーダーを選択することにより、それに依存するボーダーも強調表示される。所与のボーダーに対し、その依存物は、「親」ボーダーが除去される場合に作業面の直線テッセレーションを保つために除去される必要があるボーダーとして定義される。依存ボーダーはまた、親ボーダーが移動すると伸張又は縮小することができる。選択されたボーダーの依存ボーダーが図１２に示される。図１２を参照すると、ボーダー１２０２はボーダー１２０１に依存している。これは、ボーダー１２０１が削除されるとボーダー１２０２は作業面の直線テッセレーションを妨げるからである。図１２に示されるように、２つのボーダーが交差して「Ｔ」形を形成すると依存ボーダー状況が生じる。依存ボーダーは、「Ｔ」形の横棒を形成するボーダーである。
【００４４】
（例えば、ピッグテイルジェスチャーなどの削除ジェスチャーを使用して）選択されたボーダーを削除することができる。構造化ボーダーに関しては、削除によってその依存ボーダーも削除される。
【００４５】
選択されたボーダーは、ドラッグ操作によって移動が可能である。構造化ボーダーに関しては、（移動を止める物理的オブジェクトであるかのように）他のボーダー及びオブジェクトによって移動が遮られる。これは、図１３に示される。図１３を参照すると、選択されたボーダー１３０１はボーダー１３０２及びオブジェクト１３０３によって遮られる。従って、選択されたボーダー１３０１の移動範囲は、これらの２つのオブジェクトの間である。更に、全ての依存ボーダーを拡張又は縮小して直線テッセレーション構造を保つことができる。これは、図１４に示される。図１４を参照すると、選択されたボーダー１４０１が新しい位置に移動していると共に依存ボーダー１４０２は伸張しており、直線テッセレーション構造に従ってボーダー１４０１と接触したままである。
【００４６】
領域とは、ボーダーによって定められる作業スペース内の領域である。ボーダーが構造化ボーダーである場合、領域は矩形である。
【００４７】
領域及びそれに関連する境界は、選択されるグラフィカルオブジェクトに基づいて画定されることに注意すべきである。これは、複合領域に関する以下の論述において明らかになるであろう。
【００４８】
好適な本実施の形態では、リストアイテムをグループ化して操作する構造化操作が利用可能である。本発明は、これらの操作を領域の内部に制限する。最も基本的なケースでは、リスト操作は単一領域内のオブジェクトのみに影響し、残りの作業面上のオブジェクトのレイアウトを乱さない。これは、図１５〜図１６に示される。図１５を参照すると、領域１５０１においてリスト１０５２のアイテム１５０３が再位置づけされるべきである。この再位置づけは図１６に示される。領域１５０１以外のオブジェクトは影響を受けていないことに注意する。
【００４９】
別の基本的なケースは、２つの領域間のリスト操作を行うことである。これは、図１７〜図１８に示される。図１７を参照すると、領域１７０１からのアイテム１７０２は領域１７０３のリスト１７０４に移動される。結果は、図１８に示される。領域１７０１及び１７０３以外のオブジェクトは影響を受けていないことに注意する。
【００５０】
好適な本実施の形態では、領域は、特定の操作時間がすぐに計算されるという点で「暗黙的」なオブジェクトである。関連領域の位置、サイズ及び範囲は、ユーザの動作によって暗黙的に決定される。例えば、ユーザが選択を行うと、システムは選択物の位置及びサイズに基づいて計算をする。これは、選択物を囲む最も近い４つのボーダーによって制限される領域である。
【００５１】
複合領域とは、ボーダー又はサブ領域を含む領域である。ボーダーを含む領域が図１９に示される。図１９を参照すると、領域１９０１及び１９０２は構造化ボーダーによって定められている。ボーダー１９０５は、領域１９０２から領域１９０１を定めている。ユーザはリストアイテムを選択することができ、例えば選択物１９０３などのいくつかの領域をわたるリストアイテム又はリストアイテムのロー（行）全体などを選択することができる。ここでは、選択物はボーダーの上に重なっている。この場合、選択物の上に重なるボーダー、即ちボーダー１９０５は「アンビエント」であると一時的に考えられ、次に続くリスト操作時間のために１つの領域があると解釈する。
【００５２】
フロー領域とは、リストが１つのコラムから次のコラムへと続いているコラムのシーケンスである。コラムは、破線ボーダーとして示されるフロースルーボーダーによって分割される。これは、図２０を参照して示される。図２０を参照すると、コラム２００１〜２００３はアイテムのリストを有するフロー領域を含む。フロー領域のリスト操作によってリストを再フォーマット化し、アイテムはフロースルーボーダーをわたって（アニメーションによって）「フロー」してギャップを満たすか又は挿入のためのスペースを作る。リスト操作は、単一フロー領域内又は２つのフロー領域間で生じることができる。これは、図２１〜図２２及び図２３〜図２４に示される。
【００５３】
図２１を参照すると、リストアイテム２１０１（"Singapore")はコラム２１０２からコラム２１０４に移動される。図２２は、リストアイテム２１０１（"Singapore")の移動後に生じた「フロー」を示している。様々なコラム内のアイテムが移動したことに注意すべきである。コラム２１０２から移動して出たものはリストアイテム２１０１（"Singapore")であり、コラム２１０３から移動してコラム２１０２に入ったものはリストアイテム２２０１（"Toronto")である。コラム２１０３から移動して出たものはリストアイテム２２０１（"Toronto")であり、移動してコラム２１０３に入ったものはリストアイテム２２０２（"Moscow") である。コラム２１０４から移動して出たものはリストアイテム２２０２（"Moscow") であり、移動してコラム２１０４に入ったものはリストアイテム２１０１（"Singapore")である。影響を受けた他のリストアイテムはコラム内でシフトされ、それに応じて上又は下に移動される。
【００５４】
図２３を参照すると、リストアイテム２３０１（"Paris")は第１フロー領域２３０５のコラム２３０２から第２フロー領域２３０４のコラム２３０３に移動される。図２４は、リストアイテム２３０１（"Paris")の移動がフロー領域２３０４及び２３０５の様々なコラムに及ぼす影響を示している。フロー領域２３０４に関しては、アイテムのリストが増加しており、結果として生じたフローによって追加のアイテムがコラム２４０１に配置されている。フロー領域２３０５に関しては、アイテムのリストが減少しており、結果として生じたフローによってコラム２４０２内の全てのアイテムが取り除かれている。実際に２つのアイテムがより大きなサイズの単一アイテムに代わっているため、コラム２４０２に及ぼす影響は、アイテムのフローがアイテムのサイズに基づいていることを更に示している。
【００５５】
フロー領域は、長いリストの操作に特に有用である。これは、単一ページに列挙され、ディスプレイウィンドウが短すぎて全体を眺めることができない長いリストを処理する方法を提供する。このようなリストの一般的な例は、ブレインストーミングセッションの結果である。好適な本実施の形態では、フロー領域を生成し、リストアイテムをスケーリングし、全てのアイテムがディスプレイウィンドウ上で可視になるようにフロー領域に配置することにより、長いリストを再フォーマット化する操作が提供される。
【００５６】
これは、図２５〜図２６に示される。図２５を参照すると、作業スペース２５０１はリスト２５０２を含む。リスト２５０２は、ディスプレイの範囲（ここではディスプレイ範囲２５０３として示される）を越えて延びている。従って、一度にリスト全体をスクリーン上で眺めることができない。ここで図２６を参照すると、リストはディスプレイ上で全体を表示することができるフロー領域内に再フォーマット化されている。
【００５７】
リストのフォーマット化という基本的な操作がある。これは、リストを選んでこれを所与のサイズのフロー領域内にはめ込むことを含む。必要数のコラムがフロー領域内に生成され、リストアイテムは必要なサイズに一様にスケーリングされる。リストをフォーマット化する技術は、アイテムのスケールを最大にしたコラムの数を選択する。
【００５８】
好適な本実施の形態では、フロー領域の生成は以下の技術のうち１つを使用して達成される：
【００５９】
１．既存のボーダーをフロースルーボーダーに変える
ａ）ユーザは、タッピングによって既存のボーダーを選択する。
ｂ）ユーザは、ライン特性をフロースルーボーダーの破線に編集する。
後に続くリスト操作は、フロースルーボーダーをわたってフローする１つのリストに属するものとしてアイテムを解釈する。
【００６０】
２．リストを含む領域を圧縮する
領域の圧縮は、領域のサイズを減少させ、領域内のアイテムのスケーリングを伴い、領域内の未使用領域の量を減少させる技術である。領域がリストを含む場合、領域をフロー領域に変換するようにこれを圧縮することができる。圧縮の一般的な概念は、より詳しく後述する。いずれにせよ、フロー領域を生成するために以下のステップに従う：
ａ）ユーザは、リストを含む領域の底部ボーダーを選択する。
ｂ）ユーザは、選択されたボーダーをリスト内で最も下に位置するアイテムの底部を通過するようにドラッグする。
ｃ）システムは新しいフロースルーボーダーを自動的に生成し、追加のコラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。
【００６１】
これは、図２７〜図２９に示される。図２７を参照すると、ユーザはリスト２７０２を含む領域の底部ボーダー２７０１をドラッグする。図２８を参照すると、臨界高さ、即ちリストアイテムの合計の高さ２８０１よりも小さい高さを通過するようにユーザが選択された底部ボーダー２７０１をドラッグすると、フローボーダーを間もなく生成し、かつリストをフロー領域内に再フォーマット化することを示すユーザへのフィードバックとして強調表示されたフローボーダー２８０２が現れる。結果として生じたフロー領域は、図２９に示される。
【００６２】
好適な本実施の形態では、リストアイテムをスケーリングすることができるため、ユーザが領域を圧縮してフロー領域を生成できる範囲は制限されていない。しかし、ユーザが眺めることができるものに基づいて実質上の範囲が存在する。好適な本実施の形態では、ユーザにこの実質上の範囲を決定させる。
【００６３】
好適な本実施の形態は更に、底部ボーダーを下に移動し、より大きなフロー領域を生成することによってフロー領域内のコラムの数を減少させる「非圧縮」操作を支持することにも注意すべきである。
【００６４】
３．「リストを圧縮して可視作業面にはめ込む」操作を行う
ａ）ユーザは、ボーダーのない作業面上の全てのリストアイテムを選択する（例えば、リストはブレインストーミングセッションの結果である）。
ｂ）ユーザは、メニューによって、あるいは選択物をわたる「ダブル水平線」ジェスチャー（これは、リストを分割するためのニーモニックである）を形成することによって「リストを圧縮して可視作業面にはめ込む」を呼び出す。
ｃ）システムは、可視作業面の底部に新しいボーダーを生成すると共にフロースルーボーダーのセットを自動的に生成し、コラムを提供してリストを収容し、リストを新しいフロー領域内に再フォーマット化する。これは、リストアイテムのスケーリングを含みうる。
【００６５】
図３０は、リストをフロー領域内にフォーマット化するステップを説明するフローチャートである。まず、（前述の）フロー領域を生成した技術によってフロー領域のサイズを決定する（ステップ３００１）。次に、リストをフロー領域にはめ込むことを可能にする縦列（コラム状）編集を決定する。初めに、フロー領域のサイズ及びリストアイテムに基づいて、リストをフロー領域内のｎ個のコラムにはめ込む最大の倍率を有するコラムの数 "ｎ" を決定する（ステップ３００２）。一般に、様々な数のコラムをテストし、リスト全体をフロー領域にはめ込むことができる倍率（即ち、アイテムを縮小しなくてはならない程度）を各々に対して決定することにより、ステップ３００２を行うことができる。最大倍率を有するコラムの数を選択する。
【００６６】
次に、領域内に表示されるフローボーダーによってフロー領域を "ｎ" 個の均等なコラムに分割する（ステップ３００３）。最後に、リストアイテムをスケーリングし、各々のコラム内に配置する（ステップ３００４）。最後に、フロー領域及びリストを表示する（ステップ３００５）。好適な本実施の形態では、この配置は最も左のコラムから最も右のコラムへ行われる。従って、最も右のコラムは底部にギャップを有しうる。もちろん、アイテムをコラム内に均等に配置するなど、他のマッピングを使用することもできる。
【００６７】
ボーダーのように、領域を選択して移動することが可能である。領域の移動によって、領域内に含まれるグラフィックオブジェクトも移動する。好適な本実施の形態では、選択された領域を示す角括弧（「［」）又はＬ形のジェスチャーを生成することによって領域の選択が行われる。角括弧を用いた選択は、図３１〜図３２に示される。図３１を参照すると、括弧ジェスチャー３１０１の角３１０５及び３１０６が領域３１０４の水平ボーダー３１０２及び３１０３と合うように角括弧ジェスチャー３１０１が呼び出される。選択物は、領域３１０４を囲む破線として図３２に示される。
【００６８】
Ｌ形ジェスチャーを用いた選択は、図３３〜図３４に示される。図３３を参照すると、領域３３０４が選択される。第１のＬ形ジェスチャー３３０１によって、ボーダー３３０２及び３３０３ならびにこれらの直線拡張が選択される。これは、領域３３０４の境界を明らかに越えている。ここで図３４を参照すると、第２のＬ形ジェスチャーは更に選択物を領域３３０４に制限している。
【００６９】
選択されたボーダーと共に、選択された領域をドラッギングによって移動させることができる。移動は、水平方向及び垂直方向に制限される。垂直方向では、これは図３５〜図３６に示される。図３５を参照すると、選択された領域３５０１はポイント３５０２に移動される（ここでは例示のために示される）。移動の結果は図３６に示される。図３５では、水平ボーダー３５０３は直線拡張３５０４を有することに注意すべきである。しかし、図３６からわかるように、直線拡張は領域３５０１と共に移動しない。しかし、垂直ボーダー３５０９及び３５１０が移動されると、これらの拡張は変更される。ここでは、直線拡張３５０７及び３５０８は短くされ、直線拡張３５０５及び３５０６は伸張される。
【００７０】
領域の水平方向移動が図３７〜図３８に示される。図３７を参照すると、領域３７０１はポイント３７０２に移動される（ここでは例示のために示される）。移動の結果は図３７に示される。垂直移動の場合と同じように、垂直ボーダー３７０３及び３７０４の直線拡張は移動せず、水平直線拡張はこれに応じて短くされるか又は伸張される。
【００７１】
領域の移動は、既存のオブジェクト又はボーダーによっても制限される。これは、図３９〜図４０に示される。図３９を参照すると、垂直方向において、領域３９０１の移動は上方向の上部水平ボーダー３９０２及び下方向のグラフィックオブジェクト３９０３によって制限されている。図４０を参照すると、水平方向において、領域４００１の移動は左ボーダー４００２によって左側が制限され、グラフィックオブジェクト４００３によって右側が制限されている。
【００７２】
最後に、選択された領域を削除することができる。削除の影響は、テッセレートされた作業面の構成に依存する。通常、選択された領域がグリッド編成（例えば、表又はスプレッドシート）の一部ではない場合、領域内のグラフィックオブジェクトも削除され、削除されたオブジェクトによってあいたスペースと同じ量のスペースが縮小される。好適な本実施の形態では、このような縮小は自動的に行われ、これによって様々なボーダーの位置がシフトされる。選択された領域がグリッド編成の一部である場合、領域内のグラフィックオブジェクトは削除されるが、選択された領域はそのままである。これは、どちらの方向（即ち、垂直方向又は水平方向）に領域をコラプスさせるかという曖昧さを回避するために行われる。
【００７３】
構造化リスト操作が領域内により多くのスペースを必要とする場合、リストなどの暗黙的な構造に対して操作をすることによって構造化ボーダー領域は右方向又は下方向に自動的に拡張する。これらの操作は以下の通りである：ａ）アイテムを領域内に移動させる／複写する、ｂ）領域内のアイテムをスケーリングする、ｃ）リストの注釈／脚注を表示（又は拡張）する。これらの操作は、図４１〜図４２、図４３〜図４４及び図４５〜図４６に示される。
【００７４】
図４１を参照すると、領域４１０２内のリストアイテム４１０１は領域４１０４内のリスト４１０３に移動される。結果は図４２に示されており、ここで領域４１０４は水平方向及び垂直方向の双方に拡張している。結果として、領域４１０５も垂直方向に拡張していることに注意すべきである。これは、拡張が最も高いレベルのボーダーの直線テッセレーション構造を保つためである。左又は下方向に押される必要のある構造化ボーダーは、そのボーダーの直線拡張を有する。移動されたボーダーの右又は下にある領域内の全てのオブジェクトも移動される。
【００７５】
図４３を参照すると、領域４３０２内のリストアイテム４３０１はより大きなサイズにスケーリングされる。結果が図４４に示されており、ここで領域４３０２は拡張して拡大されたアイテムを収容している。
【００７６】
図４５を参照すると、領域４５０２内のリストアイテム４５０１は脚注４５０３と関連している。表示（又は拡張）操作が脚注４５０３に対して行われる。結果が図４６に示されており、ここで領域４５０２は拡張して脚注の内容を表示している。
【００７７】
同様にして、リスト操作がリスト内のあいたスペースの削除を必要とする場合は領域が縮小される。これらの操作は以下の通りである：ａ）アイテムを領域から移動させる、ｂ）アイテムを削除する、ｃ）アイテムを縮小する、ｄ）リストの注釈／脚注をコラプスさせる。縮小は単なる拡張の反対であるため、縮小に関する更なる説明は不要とみなされる。
【００７８】
通常は、領域をその内容の外範囲と同じくらいにしか小さくすることができない。物理的なオブジェクトによって停止されるかのように、ボーダードラッギング操作はそこで停止する。しかし、ユーザは、余剰内部スペースを取り除く（又は前述のように狭い１コラムのリストを複数コラムのフロー領域内に再フォーマット化する）ことによって領域のサイズを更に縮小したい場合がある。これは、領域の「圧縮」と呼ばれる。ユーザが（拡張があるか又はない）ボーダーを選択してこれを上方向にドラッグすると、ユーザは、ボーダーが妨害オブジェクトに当たる箇所において一定のフィードバック（ドラッギングに対する「抵抗」及びボーダーの外観の視覚的変化）を受ける。この時点で、ユーザはボーダーを更に上にドラッグし続けることができる。ユーザがドラッグを離すと、より短い領域内にアイテムが入るようにリストアイテム間のスペースが均等に減少される。これは、図４７〜図４９に示される。図４７を参照すると、ボーダー４７０１が選択されており、上方向にドラッグされてリスト４７０２を圧縮している。図４７では、ボーダー４７０１はリスト４７０２の底部のすぐ下の位置に移動されている。図４８を参照すると、ボーダー４７０１はリスト４７０２の底部より上の位置に移動されている。最後に、図４９を参照すると、リスト４７０２全体を表示できるように領域が圧縮されている。
【００７９】
もちろん、ボーダーをドラッグすることができる範囲がある。この範囲は予め計算されており、リストアイテムの全体的な高さに基づいている。しかし、前述のように、ボーダーを更にドラッグしてフロー領域を生成してもよい。
【００８０】
好適な本実施の形態は、未使用スペースを手動で追加するジェスチャー（ウェッジジェスチャー）又は未使用スペースを削除するジェスチャー（ピッグテイルジェスチャー）を提供することにも注意すべきである。各インスタンスは、所定サイズの対応領域にラインを追加するか又は該領域からラインを削除する。
【００８１】
好適な本実施の形態では、構造操作はテッセレートされた作業面を利用する編集操作である。構造操作を実施する際、構造化ボーダーを移動させることができる。これは、自動領域拡張及び縮小に関連して前述した。図５０のフロー図は、本発明の好適な実施の形態において構造操作を分析し、これを実施できるかどうかを調べるための基本技術を示している。図５０を参照すると、電子ホワイトボードを使用している際に、ユーザは構造化ボーダーとして解釈可能な１つ又はそれより多くのグラフィックオブジェクトを生成する（ステップ５００１）。次に、電子ホワイトボードとの対話のある時点において、ユーザは１つ又はそれより多くのグラフィックオブジェクトを選択する（ステップ５００２）。この選択は、通常は構造操作を行うための準備である。構造操作は、固有の関係を有するグラフィックオブジェクトのグループに影響を及ぼす動作であることを想起する。構造操作とは、１）構造にとって「自然な」操作であり、２）構造の固有の関係を保つ。例えば、操作はアイテムをリストに挿入するか又はリストから削除することでありうる。アイテムを挿入する際に予期されるように、挿入位置の下にあるアイテムは「下に移動する」ことができる。
【００８２】
選択が生じると、システムは「ソース」領域を識別する（ステップ５００３）。ソース領域は、簿記の目的で識別される。選択が生じた後、一定の構造操作を行う（ステップ５００４）。例えば、リストにアイテムを挿入する。操作を行う前に、システムは「指定」領域を識別する（ステップ５００５）。指定領域に基づいて、システムは操作を行えるかどうかをスペースの見地から決定する（ステップ５００６）。前述のように、構造操作は領域拡張を生じることができる。領域拡張は、アンカーボーダー又は他のグラフィックオブジェクトの存在によって制限されうる。従って、拡張に利用可能なスペースの量が限られている場合がある。いずれにせよ、システムはこのような制約の存在を調べ、構造操作の実施に十分なスペースがあるかどうかを推定する。
【００８３】
スペースがあるとシステムが決定した場合、構造操作を行う（ステップ５００７）。前述のように、これは領域拡張（例えば、アイテムを領域内のリストに移動する）又は縮小（例えば、領域内のリストからアイテムを移動させる）を生じうる。スペースがないとシステムが決定した場合は構造操作を行わず、操作を行うことができない理由に関する指示をユーザに返す（ステップ５００８）。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態において使用可能であるグラフィックベースコンピュータシステムのブロック図である。
【図２】ディスプレイ上に表示でき、かつ図２のタッチセンスパネルによってインターフェイスすることができる基本的なグラフィカルユーザインターフェイスの表現である。
【図３】本発明の好適な実施の形態において使用可能な、作業面のマッピングを示すＸ−Ｙ座標システムの図である。
【図４】本発明の好適な実施の形態の基本動作を示す状態図である。
【図５】作業面をテッセレートする構造化ボーダーの図である。
【図６】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図７】ジェスチャーを用いた構造化ボーダーの生成を示す。
【図８】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図９】作業面上のグラフィックオブジェクトの空間的位置を調節することを必要とする構造化ボーダーの生成を示す。
【図１０】本発明の好適な実施の形態において行われうる、タップジェスチャーによって構造化ボーダーを選択する図である。
【図１１】本発明の好適な実施の形態において行われうる、ダブルタップジェスチャーによって構造化ボーダー及びその拡張を選択する図である。
【図１２】本発明の好適な実施の形態において行われうる、依存ボーダーを有する構造化ボーダーを選択する図である。
【図１３】本発明の好適な実施の形態における構造化ボーダーの移動範囲の図である。
【図１４】本発明の好適な実施の形態において行われうる、構造化ボーダーを移動させて依存ボーダーを調節する図である。
【図１５】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１６】本発明の好適な実施の形態において行われうる、領域内のリストアイテムを移動させる図である。
【図１７】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１８】本発明の好適な実施の形態において行われうる、第１領域から第２領域にリストアイテムを移動させる図である。
【図１９】本発明の好適な実施の形態において行われうる、「アンビエント」ボーダーをまたがる選択が行われる複合領域の図である。
【図２０】本発明の好適な実施の形態におけるフロー領域の図である。
【図２１】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２２】本発明の好適な実施の形態において行われうる、単一フロー領域内のリストアイテムを移動させる図である。
【図２３】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２４】本発明の好適な実施の形態において行われうる、第１フロー領域から第２フロー領域にリストアイテムを移動させる図である。
【図２５】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２６】本発明の好適な実施の形態において行われうる、長いリストをフロー領域内に再フォーマット化する図である。
【図２７】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２８】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図２９】本発明の好適な実施の形態において行われうる、領域を圧縮してフロー領域に入れる図である。
【図３０】本発明の好適な実施の形態において行われうる、リストをフロー領域内にフォーマット化するステップを示すフローチャートである。
【図３１】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３２】本発明の好適な実施の形態において行われうる、括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３３】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３４】本発明の好適な実施の形態において行われうる、Ｌ−括弧ジェスチャーを用いて構造化領域を選択する図である。
【図３５】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３６】本発明の好適な実施の形態において行われうる、構造化領域を垂直方向に移動させる図である。
【図３７】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３８】本発明の好適な実施の形態において行われうる、構造化領域を水平方向に移動させる図である。
【図３９】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４０】本発明の好適な実施の形態における構造化領域の移動範囲の図である。
【図４１】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４２】本発明の好適な実施の形態において行われうる、リストアイテムを移動させる際の自動領域拡張の図である。
【図４３】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４４】本発明の好適な実施の形態において行われうる、スケーリングの際の自動領域拡張の図である。
【図４５】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４６】本発明の好適な実施の形態において行われうる、脚注の内容を表示する際の自動領域拡張の図である。
【図４７】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４８】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図４９】本発明の好適な実施の形態において行われうる、領域を圧縮する図である。
【図５０】本発明の好適な実施の形態において構造操作を行うことができるかどうかを決定する基本的なステップを示すフローチャートである。
【符号の説明】
１０１ バス
１０２ プロセッサ
１０３ 内部メモリ
１０４ ディスプレイ
１０５ ポインティングデバイス
１０７ 外部記憶装置
Claims (1)
- ディスプレイ上のデータアイテムの長いリストを示すコンピュータ制御ディスプレイシステムであって、
ディスプレイデータを生成する処理手段と、
ユーザが入力データ及び操作コマンドを提供することを可能にする入力手段と、
前記データアイテムの長いリストを表示すると共に、各々が前記データアイテムの長いリストのサブセットを含む複数の縦状フローコラムから構成され、リストが１つのコラムから次のコラムへと続いているコラムのシーケンスであるフロー領域を作業面上に示すディスプレイと、
を含み、
前記処理手段は、
前記フロー領域のサイズを決定し、
前記長いリストの全体が前記フロー領域にはまる最大の倍率を有するコラムの数を決定し、
前記フロー領域を決定された数のコラムに分割し、
前記データアイテムをスケーリングし、各々のコラムに配置する、
ことによって、前記ディスプレイデータを生成する、
コンピュータ制御ディスプレイシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US670950 | 1996-06-26 | ||
| US08/670,950 US5923323A (en) | 1996-06-26 | 1996-06-26 | Method and apparatus for organizing and displaying long lists of data items on a work space of a computer controlled display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1097398A JPH1097398A (ja) | 1998-04-14 |
| JP3992788B2 true JP3992788B2 (ja) | 2007-10-17 |
Family
ID=24692557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17774997A Expired - Lifetime JP3992788B2 (ja) | 1996-06-26 | 1997-06-18 | コンピュータ制御ディスプレイシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5923323A (ja) |
| EP (1) | EP0821300B1 (ja) |
| JP (1) | JP3992788B2 (ja) |
| DE (1) | DE69718721T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8875037B2 (en) | 2008-06-16 | 2014-10-28 | Samsung Electronics Co., Ltd. | Terminal apparatus and method for performing function thereof |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3990744B2 (ja) * | 1995-09-08 | 2007-10-17 | キヤノン株式会社 | 電子機器及びその制御方法 |
| US7685520B2 (en) * | 2000-06-22 | 2010-03-23 | Intel Corporation | Electronic programming guide with selectable categories |
| US7117451B2 (en) * | 2001-05-24 | 2006-10-03 | International Business Machines Corporation | Method and apparatus in a data processing system for list ordering with multiple selection |
| US7843437B1 (en) * | 2002-01-14 | 2010-11-30 | Palm, Inc. | Hand-held browser transcoding |
| US7360156B1 (en) * | 2002-10-09 | 2008-04-15 | Microsoft Corporation | Method and system for performing actions on content in a region within a free form two-dimensional workspace |
| US7362311B2 (en) * | 2003-04-07 | 2008-04-22 | Microsoft Corporation | Single column layout for content pages |
| US7698632B2 (en) * | 2005-02-17 | 2010-04-13 | International Business Machines Corporation | System and method for dynamically updating web page displays |
| US20080079946A1 (en) * | 2006-09-29 | 2008-04-03 | Honeywell International, Inc. | Digital intensity suppression for vibration and radiation insensitivity in a fiber optic gyroscope |
| US9021402B1 (en) | 2010-09-24 | 2015-04-28 | Google Inc. | Operation of mobile device interface using gestures |
| US8635268B1 (en) * | 2011-01-13 | 2014-01-21 | Amazon Technologies, Inc | Content notification |
| US20120216152A1 (en) * | 2011-02-23 | 2012-08-23 | Google Inc. | Touch gestures for remote control operations |
| JP5650564B2 (ja) * | 2011-03-01 | 2015-01-07 | 株式会社ユビキタスエンターテインメント | スプレッドシート制御プログラム、スプレッドシート制御装置及びスプレッドシートの制御方法 |
| EP2506171A1 (en) * | 2011-04-01 | 2012-10-03 | Waters Technologies Corporation | Graphical user interfaces for scientific data information sytems |
| US9400592B2 (en) | 2012-03-26 | 2016-07-26 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for digital-marking-surface space and display management |
| US20140173528A1 (en) * | 2012-12-13 | 2014-06-19 | Microsoft Corporation | Contact environments with dynamically created option groups and associated command options |
| KR20140108995A (ko) * | 2013-03-04 | 2014-09-15 | 삼성전자주식회사 | 페이지의 일부 영역을 이용한 데이터 처리 방법 및 장치 |
| US20140279255A1 (en) * | 2013-03-15 | 2014-09-18 | Aaron Kardell | System and method for layered visualization of points of interest data |
| KR20160024583A (ko) * | 2014-08-26 | 2016-03-07 | 삼성전자주식회사 | 전자 장치 및 드로잉 기능 제공 방법 |
| US10691323B2 (en) | 2015-04-10 | 2020-06-23 | Apple Inc. | Column fit document traversal for reader application |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8618664D0 (en) * | 1986-07-31 | 1986-09-10 | British Telecomm | Computer aided design system |
| US5121477A (en) * | 1988-04-08 | 1992-06-09 | International Business Machines Inc. | System for interactively creating action bar pull-down windows of a user interface for use at program run time |
| US5546525A (en) * | 1989-11-13 | 1996-08-13 | Lotus Development Corporation | Computer user interface with multimode selection of displayed controls |
| US5396621A (en) * | 1991-05-10 | 1995-03-07 | Claris Corporation | Sorting a table by rows or columns in response to interactive prompting with a dialog box graphical icon |
| US5467448A (en) * | 1991-05-10 | 1995-11-14 | Claris Corporation | Text formatting by the direct selection of borders in an editing display |
| US5398310A (en) * | 1992-04-13 | 1995-03-14 | Apple Computer, Incorporated | Pointing gesture based computer note pad paging and scrolling interface |
| GB9223066D0 (en) * | 1992-11-04 | 1992-12-16 | Secr Defence | Children's speech training aid |
| JPH06342357A (ja) * | 1993-06-01 | 1994-12-13 | Mitsubishi Electric Corp | ユーザインタフェース方式 |
| EP0667567B1 (en) * | 1993-12-30 | 2001-10-17 | Xerox Corporation | Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables, and diagrams in a gesture-based input system and editing system |
| US5615346A (en) * | 1994-12-23 | 1997-03-25 | International Business Machines Corporation | Method and system for a piano bar browser of information sets |
-
1996
- 1996-06-26 US US08/670,950 patent/US5923323A/en not_active Expired - Lifetime
-
1997
- 1997-06-18 JP JP17774997A patent/JP3992788B2/ja not_active Expired - Lifetime
- 1997-06-25 DE DE69718721T patent/DE69718721T2/de not_active Expired - Lifetime
- 1997-06-25 EP EP97304467A patent/EP0821300B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8875037B2 (en) | 2008-06-16 | 2014-10-28 | Samsung Electronics Co., Ltd. | Terminal apparatus and method for performing function thereof |
| KR101477743B1 (ko) * | 2008-06-16 | 2014-12-31 | 삼성전자 주식회사 | 단말 및 그의 기능 수행 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69718721T2 (de) | 2003-06-12 |
| DE69718721D1 (de) | 2003-03-06 |
| EP0821300A1 (en) | 1998-01-28 |
| EP0821300B1 (en) | 2003-01-29 |
| JPH1097398A (ja) | 1998-04-14 |
| US5923323A (en) | 1999-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4001660B2 (ja) | コンピュータ制御ディスプレイシステム | |
| JP3992788B2 (ja) | コンピュータ制御ディスプレイシステム | |
| EP0816998B1 (en) | Method and apparatus for grouping graphic objects on a computer based system having a graphical user interface | |
| EP0816999B1 (en) | Method and apparatus for collapsing and expanding selected regions on work space on a computer controlled display system | |
| US10175854B2 (en) | Interaction in chain visualization | |
| US7576756B1 (en) | System and method for interaction of graphical objects on a computer controlled system | |
| EP0694829B1 (en) | A method and apparatus for visualization of database search results | |
| US7302650B1 (en) | Intuitive tools for manipulating objects in a display | |
| EP0632362B1 (en) | Method and apparatus for providing a two-dimensional position-sensitive scroll icon in a data processing system user interface | |
| EP0185905B1 (en) | Method of creating a document | |
| US6891551B2 (en) | Selection handles in editing electronic documents | |
| JP4880334B2 (ja) | スクロール可能かつサイズ変更可能な数式バー | |
| US5487143A (en) | Computer user interface having tiled and overlapped window areas | |
| US7068288B1 (en) | System and method for moving graphical objects on a computer controlled system | |
| US7028256B2 (en) | Adding white space to a document generating adjusted page sizing | |
| US20050015731A1 (en) | Handling data across different portions or regions of a desktop | |
| US20090091547A1 (en) | Information display device | |
| EP1975883A2 (en) | Techniques for displaying a collection of hierarchical elements | |
| Plimmer et al. | Beautifying Sketching-based Design Tool Content: Issues and Experiences. | |
| Cohen et al. | Automatic strategies in the Siemens RTL tiled window manager | |
| AU2016343938A1 (en) | Method of computerized presentation of a legend of object symbols on a document | |
| Schwab et al. | Easypz. js: Interaction binding for pan and zoom visualizations | |
| US20220114328A1 (en) | Dynamic project views of a virtual workspace to facilitate active reading | |
| US7703038B1 (en) | Methods and apparatus for creating a quick canvas | |
| JP2019109797A (ja) | 情報処理端末、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070725 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |