JPH086707A

JPH086707A - スクリーン指向ディスプレー処理システム

Info

Publication number: JPH086707A
Application number: JP32056994A
Authority: JP
Inventors: P Morand Thomas; ピー．モラントーマス; Chou Patrick; チウパトリック; Melle William Van; ヴァンメレウィリアム
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1993-12-30
Filing date: 1994-12-22
Publication date: 1996-01-12
Also published as: EP0667567A3; DE69428675D1; EP0667567B1; DE69428675T2; CA2139256A1; EP0667567A2; CA2139256C; US6525749B1

Abstract

(57)【要約】【目的】境界、画定入力領域や構造等の限定された束
縛なしに自由形態で如何なるタイプのデータの入力、及
び編集操作を可能にする。【構成】ディスプレー処理システムは、情報データの自
由形態エントリーのために、ディスプレー手段、前記デ
ィスプレー手段上に情報データを記入（入力）するため
のデータエントリー手段、前記ディスプレー上に自由形
態のジェスチュア的データを記入（入力）するためのジ
ェスチュア入力手段、該かるジェスチュア的データは前
記情報データの少なくとも一部に関連するジェスチュア
を前記ディスプレー上に表示し、前記ジェスチュアを表
示する操作を前記情報データの前記一部に割当てるた
め、前記ジェスチュアのエントリーに応答する割当て手
段、及び前記情報データの前記一部に関して前記操作を
実行するため前記割当て手段に応答する実行手段を含
む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は入力及び編集システムに
関し、より詳細には手動によるデータ記入（エントリ）
及び入力、編集及び表示機能を使用するジェスチャベー
スのコマンドシステムに関する。

【０００２】

【従来の技術】自由形態の図形（グラフィックス）シス
テムは、様々な手段でユーザーがグラフィックスデータ
対象物（オブジェクト）を二次元空間に入力することが
でき、その空間においてその対象物及びそれらの位置を
編集することができるシステムである。このシステムは
２つの意味で「自由形態」である。第一に、図形対象物
自体は如何なる形状でもよく、入力方法により提供され
る手段にのみ依存する。第二に、空間のどこに図形対象
物が位置してもよく、束縛されない；対象物を入力及び
編集する手段によりユーザーが自由に対象物を位置付け
たり、再位置付けできるようになる。全ての図形対象物
はお互いに独立しており、お互いの関係は二次元空間に
おけるそれらの配置によってのみ決定される。

【０００３】本明細書において「組織化されない」とも
称される、この自由形態の第二の意味はより重要であ
る。自由形態のグラフィックスシステムの１つの例は、
子供の「ゴム印」グラフィックスの応用であり、ユーザ
ーはボタン（ゴム印）と指示（ポインティング）装置を
使用して、製図表面のどこにでも図形対象物（グラフィ
ックオブジェクト）を入力（「押印」）することがで
き、また指示装置を使用して表面上で対象物を動かすこ
とができる。非自由形態（「組織化された」）システム
の例としては、１つのテキストエディターが挙げられ、
その場合全ての文字が基礎となる「ストリング」構造の
中に組織化される。文字はストリング構造に適合する位
置以外は、二次元空間のどこにも配置することができな
い（例えば、文字を右側に移動させるためには、それら
を押させるためにストリングの中に「スペース」文字を
タイプしなければならない）。

【０００４】非常に有益なタイプの自由形態の図形シス
テムは「なぐり書き」システムであり、この場合ユーザ
ーは随意の方法でそれらを単に描く（「インクで書
く」）だけで自由形態のマークを入力することができ
る。記入される該かるマークはシステムにおける自由形
態の図形対象物である；つまり、そのマークはユーザー
がそれを描くために選ぶ如何なる形状でもよく、製図表
面上のどの場所にも描くことができる。入力はスタイラ
ス、マウス等の自由に動かすことのできる入力装置、あ
るいは（圧力もしくは光学的手段で感知される）指等の
様々な感知手段によって遂行される。

【０００５】編集及び制御操作は、そのシステムに対し
てコマンドを与えることにより、自由形態の図形システ
ムにおいて図形対象物に対して行うことができる。コマ
ンドはキーボードベース及びメニューベースの技術等の
従来の技術により与えられる。しかし、ペンベースのノ
ートブック型コンピューターもしくは（ゼロックス・コ
ーポレーションの商標である）ライブボード（Ｌｉｖｅ
ｂｏａｒｄ）として知られる大規模なディスプレー等の
「ジェスチュアベースの」入力システムにおいては、該
かる制御機能はコマンドジェスチュアによって始められ
る。コマンドジェスチュアはスタイラス入力装置で作ら
れ、システムが実施する動作を指定するものとしてシス
テムにより翻訳される手書きのストロークである。

【０００６】ジェスチュアベースのシステムは、通常ユ
ーザーの側で取るある動作によって、ユーザーがデータ
の代わりに製図（描画）表面上にジェスチュアコマンド
を記入（入力）しているのを探知することができる。該
かる入力動作はスタイラス上のボタンに圧力を保持する
か、あるいは働かせることを必然的に伴うかもしれな
い。ユーザーは製図表面から入力装置（例えばスタイラ
ス）を持ち上げることにより、コマンドを実行するよう
にシステムに指示する。他の方法も可能である。システ
ムはユーザーの特別な動作なしに実行できるコマンドと
して入力を認識することもできるし、あるいは製図表面
上で２回たたくこと（タップ）に応答して行動すること
もできる。

【０００７】ホワイトボード規模であれ、ノートブック
規模であれ、ジェスチュアベースの計算システムのユー
ザーにとって共通の活動は、他の人との通信目的であ
れ、自身のためにノートを作るためであれ、手書き及び
スケッチでの非公式ななぐり書きである。ライブボード
のホワイトボードシステムはこの種の活動を支持するた
めのシステムの第一の例である。なぐり書きシステムは
この材料を組織化されていないイメージとして、あるい
はストローク対象物の収集物として処理する。

【０００８】該かるなぐり書き活動の多くは一般的な構
造、例えばリスト、アウトライン、テキスト、表及び線
図を含む。効果的であるためには、なぐり書き（ｓｃｒ
ｉｂｂｌｉｎｇ）システムはこれらの構造の作成及び編
集を支持しなければならない。該かる支持がなければ、
例えば、リストの中で１つのアイテムを動かすという単
純な仕事も長たらしくなる（そのアイテムのために新た
な場所に空間を作るため、リストのセグメントを動か
し、アイテムを動かし、古い空間を閉じる）であろう。
これはあまりに時間がかかりすぎてユーザーが実際に遂
行することはほとんどできない。

【０００９】もちろん、ユーザーにはこれらの一般的な
構造用の一組の明示された設備（機能）を提供すること
もできるであろう。このように、例えば、ユーザーは表
を使って作業をしたいと表示し、システムはユーザーが
記入して巧みに処理する表の配列を提供する。しかしな
がら、問題は、「なぐり書き方法」で作業をしているユ
ーザーが前もって自分がどの構造を望んでいるかを常に
知っているとは限らないことである。これらの構造は急
に現れる。例えば、ユーザーは幾つかの語句を急いで書
き留める；そしてもっと広範囲に亙るリストを作ろうと
する；そしてリストの数個のアイテムの性質をマークし
始める；それからこれらの性質を第２のカラム（つまり
表）に作りたいと思う；そしてリストもしくは表の規定
を侵害するスケッチを作りたいと思う；等々である。

【００１０】このように、組織化は部分的であり、一時
的かつ空間的であることが解る。時には、ユーザーは材
料をリストとして考える、例えば、それを並び変えるこ
とを希望し、時にはそれを文字画像として考え、その上
にスケッチすることを望む。更に、ユーザーが材料をリ
ストとして考えても、全ページをリストとしてみなした
いと思わないかもしれない、例えば、ページの左半分だ
けをリストとして考えたいと思うかもしれない。この種
の流動的プロセスを支持することができるシステムを持
つことが望ましい。しかしながら、ユーザーが明示して
構造を指示することを求めることは、この種の作業の自
然の流れを阻害することがある。

【００１１】テキスト、リスト、アウトライン、表及び
線図（ダイヤグラム）を支援する図形システムのスコア
がある。しかしながら、スタイラスやペン等の手に持っ
て手動で操作する入力装置で該かる入力を処理すること
は希である。通常、ペン入力は直ちに文字として認識さ
れ、従来のテキストとして処理される。ペンベースの計
算の商業分野は非常に活発で、ストロークベースのアウ
トラインシステムが出現し始めている。該かるシステム
は線で区画されたペーパーの観念に基づいているように
思われる。ユーザーがページをリストであると表示する
と、線が現れ、リストアイテム用の広い方形のセルのカ
ラムを作る。該かるシステムの一例として図３を参照す
る。全てのストロークはセル５０の１つに属し、この方
法で全てのストロークがリストアイテム（リスト項目）
の中にグループ分けされる。空でない全てのセルはセル
５０におけるストロークのグループを表すブレット（ｂ
ｕｌｌｅｔ）５２を有する。リスト構造を巧みに操作す
るためにライン及びブレット上に幾つかのジェスチュア
がある、例えば、ブレットからラインに至るラインジェ
スチュアはアイテムを動かし、ブレット上のピグテール
ジェスチュアはアイテムを削除し、ラインから上下する
ジェスチュアはラインを上下に動かす（つまり、セルの
大きさを変える）。

【００１２】しかしながらこのシステムは、他の従来の
システムと同様に、自由形態の情報を受け入れ、修正
し、もしくは変更することができないという欠点があ
る。該かる情報はテキスト、グラフィックス、表データ
の形態、及び前述のフォーマット内に含まれる他の情報
形態を取ることができる。従来のデータエントリーは不
幸なことに、限定された境界とか限定された入力領域等
の束縛なしには、自由形態で書き入れることができな
い。編集操作は限定された境界もしくは入力領域内に含
まれる全情報にのみ作用することができ、該かる境界内
の個々のストロークには作用することができない。

【００１３】必ずしも目に見える必要はないが、境界、
画定された入力領域、もしくはテキスト等の構造等の限
定された束縛なしに、自由形態方法で如何なるタイプの
データをも書き入れられる（入力される）ようにし、ま
た同様の方法で編集操作ができるようにするシステムを
持つことが望ましく、編集操作は記入された編集コマン
ドにより決定され、束縛は編集コマンドのエントリーの
前ではなく、後に発生するデータの性質を決定する。

【００１４】

【発明が解決しようとする課題】本発明の目的は上述し
た従来のシステムに関連する欠点を克服することであ
る。

【００１５】

【課題を解決するための手段】上記目的は、データ入力
計画（スキーム：方式）を特徴とするシステムにより達
成され、その計画においては、記入（入力）されたデー
タの構造は、そのデータに関する操作を実行するという
要求が為されるまで、不適切なものとなる。そのデータ
の構造の決定が重要なものとなるのは、そのデータに関
する操作を実行することが必要になった時である。編
集、再配列、移動等を含む所望の操作が、その特定の操
作の実施を可能にするためにデータ構造の決定をするこ
とになる。データ構造はリスト、表もしくは線図の形態
であると判断される。記入（入力）されたデータは自由
形態であり、その構造は記入時に決定されないことを意
味する。記入時のデータは自由裁量であってよく、走査
されたもの、図形的、テキスト的、絵画的、タイプされ
たもの等であってよい。それは自由形態としてシステム
によって処理される、つまり単に一連のストロークとし
て処理されることを意味する。特に、上記スキームは該
かる形態のデータのために柔軟な方法で、（ユーザーが
永久的に構造モードを「宣言する」必要がないように）
一時的に、また（ユーザーが組織化された材料の範囲を
定めることができるように）空間的に、支援を提供す
る。スキームはディスプレー表面にあらゆるタイプの情
報に対する一セット（組）の構造的／空間的のモデル、
特定の構造を選択し、該かる構造により限定される情報
を操作するための一セットのジェスチュア、及び構造を
認識し、構造的モデルに従って操作を実行するための一
組のシステム手順を指定するための一セットのデザイン
原則、に基づいている。これらのデザイン原則は手書き
のリスト（簡単な縦のリスト）、アウトライン（インデ
ンテッド（字下げ）・リスト）、テキスト（リスト及び
アウトラインの中にある）、表（ロウ（行）及びカラム
（列））、及び線図（ノード及びリンク）を支援するた
めに使用される。

【００１６】本発明によれば、情報データの自由形態エ
ントリーのために、ディスプレー手段、前記ディスプレ
ー手段上に情報データを記入（入力）するためのデータ
エントリー手段、前記ディスプレー上に自由形態のジェ
スチュア的データを記入（入力）するためのジェスチュ
ア入力手段、該かるジェスチュア的データは前記情報デ
ータの少なくとも一部に関連するジェスチュアを前記デ
ィスプレー上に表示し、前記ジェスチュアを表示する操
作を前記情報データの前記一部に割当てるため、前記ジ
ェスチュアのエントリーに応答する割当て手段、及び前
記情報データの前記一部に関して前記操作を実行するた
め前記割当て手段に応答する実行手段を含むスクリーン
指向のディスプレー処理システムが提供される。割当て
手段は該かる操作を実行するために充分な情報データの
構造を決定する手段を含む。

【００１７】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を生成するためのユ
ーザーが制御できる手段を含む図形編集システムが提供
される。このシステムは前記情報の少なくとも一部に関
して操作を遂行するために、前記表面上にラインイメー
ジを作り出すユーザー動作に応答する第１の手段を有
し、該かるラインイメージはそれに関連する一セットの
命令を持ち；該かる一セットの命令に答えて、前記表面
上に表示される情報を選択的に分析し、組織化し、再配
列する第２の手段を有し、該かる命令に従って、前記情
報に関する操作を実行するための第３の手段を有する。

【００１８】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含む図形編集システムが提供され
る。このシステムは前記情報の少なくとも一部を選択す
るために、表面上にラインイメージを作り出すユーザー
動作に答える第１の手段を有し、該かる第１のラインは
それに関連する一セットの命令を持ち；該かる一セット
の命令に答えて、前記表面上の情報を選択的に分析し、
組織化し、再配列する第２の手段を有し、該かる命令に
従って、前記情報に関する操作を実行するための第３の
手段を有する。

【００１９】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含む図形編集システムが提供され
る。このシステムは、その上でデータを選択するため前
記表面上に第１のラインを作り出す第１のユーザー動作
に答える第１の手段を有し、第１のユーザー動作に引き
続いて、それに関連する一セットの命令を持つ第２のラ
インイメージを作り出す第２のユーザー動作に答える第
２の手段を有し、それに関連して前記表面上で情報を分
析し、組織化し、再配列するため前記命令に答える第３
の手段を有し、該かる命令に従って、前記表面上で前記
情報を翻訳（解釈）する手段を有する。

【００２０】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含む図形編集システムが提供され
る。このシステムは前記情報の少なくとも一部に関する
操作を実行するため、表面上にラインイメージを作り出
すユーザー動作に答える第１の手段を有し、該かる操作
に従って、前記表面上の情報のために表、線図、リス
ト、及びアウトラインモデル構造を選択的に決定するた
め、前記ラインイメージ生成に答える第２の手段を有
し、前記組織（構造）的モデルに関する操作により影響
される前記情報を識別する第３の手段を有し、識別され
る対象物の関数として前記操作用の構造パラメーターを
計算する第３の手段を有し、前記情報に関する操作を実
行するための第４の手段を有する。

【００２１】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含むシステムのために図形編集方
法が提供される。この方法は、前記情報の少なくとも一
部に関する操作を実行するためのユーザー動作に答え
て、表面上にラインイメージを描くステップを有し、前
記操作に従って前記表面上の情報のための前記ラインイ
メージ作成に答えて、表、線図、リスト、及びアウトラ
インモデル構造を選択的に決定するステップを有し、前
記構造モデルに関する操作により影響される前記情報を
識別するステップを有し、識別される対象物の関数とし
て前記操作用の構造パラメーターを計算するステップを
有し、前記情報に関する操作を実施するステップを有す
る。

【００２２】本発明の別の態様によれば、データインタ
ーフェイス表面、この表面上に情報を表すためのユーザ
ーが制御できる手段、及び情報を記憶する記憶手段を含
む図形編集システムが提供される。このシステムは、表
面上にラインイメージを作り出すユーザー動作に答える
第１の手段を有し、前記情報の少なくとも一部に関する
操作を実行するために、コマンドジェスチュアとして前
記ラインを記憶装置を通して探索し、認識するため、前
記ラインイメージ作成に答える第２の手段を有し、該か
る操作に従って、表、線図、リスト、及びアウトライン
モデル構造として前記情報を選択的に限定（定義）する
第３の手段を有し、前記コマンドジェスチュアに関連し
て前記操作を実施する第４の手段を有し、その実施に従
って前記情報を表示する第５の手段を有する。

【００２３】本発明の別の態様によれば、データインタ
ーフェイス表面、この表面上に情報を表すためのユーザ
ーが制御できる手段、及び情報を記憶する記憶手段を含
むシステムのために図形編集方法が提供される。この方
法は、ユーザー動作に答えて表面上にラインイメージを
作り出すステップを有し、前記ライン作成に答えて記憶
装置を通して探索し、前記情報の少なくとも一部に関す
る操作を実施するため、前記ラインをコマンドジェスチ
ュアとして認識するステップを有し、前記操作に従って
表、線図、リスト、及びアウトラインモデル構造として
前記情報を選択的に限定（定義）するステップを有し、
前記コマンドジェスチュアに従って前記操作を実施する
ステップを有し、その実施に従って前記情報を表示する
ステップを有する。

【００２４】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含む図形編集システムが提供され
る。このシステムは、前記表面上にラインイメージを作
り出すためユーザー動作に答える第１の手段を有し、前
記情報の少なくとも一部に関する操作を実行するため
に、コマンドとして前記ラインを認識する、前記ライン
イメージ作成に答える第２の手段を有し、コマンド認識
に答えて、該かる操作に従って、スペースにより分離さ
れるラインアイテムの内少なくとも１つの縦のカラムか
ら成るリストとして前記表面上で前記情報を限定（定
義）する第３の手段を有し、前記コマンドジェスチュア
に関連する操作を実施する第４の手段を有する。

【００２５】本発明の別の態様によれば、データインタ
ーフェイス表面とこの表面上に情報を表すためのユーザ
ーが制御できる手段を含む図形編集システムが提供され
る。このシステムは、表面上にラインイメージを作り出
すためユーザー動作に答える第１の手段を有し、前記情
報の少なくとも一部に関する操作を実行するために、コ
マンドとして前記ラインを認識する、前記ラインイメー
ジ作成に答える第２の手段を有し、コマンド認識に答え
て、該かる操作に従って、各々が特定のインデンテーシ
ョン（字下げ）レベルを持つ、複数のラインアイテムか
ら成るリストとして前記表面上で前記情報を限定（定
義）する第３の手段を有し、及び前記コマンドジェスチ
ュアに関連する操作を実施する第４の手段を有する。

【００２６】

【実施例】上述のデザインは設定された原則によって限
定（定義）することができる。該かるデザインの原則に
は以下のものが含まれる：１．描画領域は常に、ユーザーがいつでも、自由形態
で、如何なる対象物をも記入することができる平坦な二
次元表面とみなされる。その使用に関して如何なる制限
もない。２．ストロークのグループを選択し、それらを操作する
ために一セットのジェスチュア（つまり、システムによ
り翻訳されるストローク）がある。例えば、ループジェ
スチュアがいくつかのストロークを選択し、ピグテール
（ｐｉｇｔａｉｌ）ジェスチュアがそれらを削除する。３．（選択ジェスチュアによって限定（定義）される）
セレクションエンクロージャー（選択囲み）以外は、デ
ィスプレー上の全ての情報は単にストロークから構成さ
れ、それらは着色する、薄くする、移動させる、縮小さ
せる、削除する等の一般的なストローク操作に従う。ブ
レットもしくはセルライン等の特別な種類の対象物（オ
ブジェクト）はない。４．システムによって予め限定（定義）されたストロー
クの組織的（構造的）グルーピングはない。しかしなが
ら、システムは要求があれば、現行セットのストローク
を幾つかの異なる種類の構造の１つとして翻訳すること
ができる。５．ジェスチュアによって、ユーザーは現行のディスプ
レーの一部を一時的に特定の種類の構造とみなす意向を
指示することができる。例えば、左側の括弧ジェスチュ
アが一群のストロークを選択し、それらをリスト中のア
イテムとみなす。６．セレクション（選択）が特定の種類の構造とみなさ
れる場合、その構造に関する操作はその構造の組織的仮
定に従って遂行される。例えば、平坦なセレクションが
動かされる場合、それは単に新しい場所に置かれるだけ
であるが、リストアイテムが動かされる場合、そのため
の空間が作成され、残りの空間が閉じられる。７．特定のタイプのセレクションが捨てられると、組織
的（構造的）仮定はもはや認められない。つまり、組織
化（構造化）の記録は保持されない。

【００２７】これらの原則がありながら、モードもしく
は予め宣言された構造はない。組織的仮定はユーザーの
その場その場の裁量による。つまり、これらの原則はユ
ーザーに一時的な柔軟性を与える。ユーザーは更に空間
的な柔軟性、つまり、組織化されたものと見なされるも
のの空間的範囲を定める能力を必要とする。更に２つの
原則がある：８．ディスプレー上の材料の回りに「境界」を置くため
の技術が提供され、それは構造の空間的範囲を制限す
る。最も簡単な技術は（呼び出される構造の種類に対し
て）非常に長いストロークを単に境界線とみなすことで
ある。例えば、ユーザーはページのまん中に長い線を引
くことによって、ページの左側にリスト操作を制限する
ことができ、その線が境界として作用する。ユーザーが
ページの左側のリストアイテムを選択すると、アイテム
の範囲は境界線で止められる。９．ディスプレー上に、呼び出される現行の構造に適合
しない対象物がある場合がある（例えば、表のカラム間
の垂直な線は、たとえロウを通過しても、選択されるロ
ウには属さない）。該かる対象物は「周囲」のものであ
ると考えられ、組織的操作においては乱されずに残され
る。

【００２８】多くの組織的仮定を共有する一連の共通す
る、包括的な構造 - リスト、アウトライン、テキス
ト、表、及び線図があり、該かる構造は統一されたデザ
インで、例えば共通のジェスチュア及び異なる構造を横
切る類似したジェスチュアの属を用いて、一緒に処理さ
れる。最後に、システムはディスプレー上の材料が実際
その構造に（「雑音」のレベルにまで）適合する場合に
のみ、ユーザーが特定の構造を呼び出すものと仮定す
る。こうして、ユーザーはノード・リンク線図に関する
表操作を呼び出すことができ、システムはそれが意味を
なすことを調べることなく、それを遂行するであろう。
これらの原則は以下のシステムの説明の中で生かされ
る。

【００２９】図１において、ＣＲＴディスプレー１２を
含むジェスチュアベースの入力システム１０のブロック
線図を示す。透明の圧力感知型製図（描画）表面１４、
つまりタッチパネルがＣＲＴディスプレー１２の表面上
に取り付けられる。ユーザーが製図表面１４に触れる
と、その接触が接触検出回路１８により検出される。

【００３０】接触検出回路１８からの検出信号はＸ−Ｙ
検出回路２０に入力される。Ｘ−Ｙ検出回路２０は入力
信号を処理し、算術演算等を実行する。このように、Ｘ
−Ｙ検出回路２０は製図表面１４の表面上の接触した入
力点の（ｘ、ｙ）座標を検出し、該かる情報をＣＰＵ２
２に送る。タッチパネル検出回路１８、Ｘ−Ｙ検出回路
２０、及びＣＰＵ２２は組み合わされて制御装置１６を
形成する。制御装置１６は記憶装置２４のプログラムＲ
ＯＭ２６に記憶されている制御プログラムに従って制御
を行う。記憶装置２４のＲＯＭセクションはプログラム
ＲＯＭ２６を含み、そこではＣＰＵ２２の制御プログラ
ムが記憶され、パターンデータ領域が様々な種類の文字
パターン等を記憶する。記憶装置２４のＲＡＭセクショ
ン２８はＣＰＵ２２の作業領域及び文字位置データ領域
３０として使用されるＲＡＭ部分を含み、文字パターン
等のディスプレー位置を記憶する。

【００３１】特に、図２において、描画表面１４は作業
表面を使用し、図示されるように複数のアクセス可能機
能４０を使用することができる電子スケッチパッド、ラ
イブボードもしくはホワイトボード等の電子入力装置で
ある。作業表面は製図表面１４の上部部分３６であり、
アクセス可能機能４０は製図表面１４の底部分３８に置
かれている。これらの機能４０は新操作（製図（描画）
モード）、削除、移動、収縮等を含むことができる。あ
るいはその代わりに、これらの機能はポップアップメニ
ューによってアクセスすることもできる。しかしなが
ら、これらの機能は指定が任意であり、それらの主な目
的はシステムの操作に固有の操作を明確にすることであ
る。これらの機能は多くの指定されたコマンドジェスチ
ュアにより表される同じ機能の幾つかを共有してもよ
い。

【００３２】スタイラスもしくはライトペン４２等の、
適当なユーザーが操作できる制御装置もしくは相互作用
装置を使用して入力シンボルを描き、機能を選択し、あ
るいは特定の機能を表示するジェスチュアを描く。明ら
かに、当業界の技術に含まれる他の変形物も使用するこ
とができる。

【００３３】図２において、ユーザーは対象物３４を作
り出し、これらの対象物をその回りに自由形態のループ
３２を描くことによって選択した。

【００３４】システムの基礎をなす手順は、まず陰（暗
黙）構造に関する一般的操作を実施するプロセスを調べ
ることによって最も良く理解できる。その手順の主な詳
細を以下に述べる。

【００３５】陰構造に関する操作を支援するため、シス
テムは図４に示すように、以下の３つの基本的特徴を含
むように幅広く特徴付けることができる。

【００３６】（１）ジェスチュア／データエントリー５
４：データ情報又は描画表面１４上のストロークとして
描かれるコマンドジェスチュアを受け取り、ユーザーが
取る行為（動作）に答えて、個々のストロークをコマン
ドジェスチュアとして翻訳する。該かる行為はスタイラ
ス４２の把持部分近くに位置するボタンに圧力を加える
ことであるかもしれない。他にもストロークをコマンド
として翻訳するようシステムに命令するために利用でき
る手段がある。しかしながら、ここで説明する目的のた
めに、システムはユーザーが望む時にストロークをコマ
ンドジェスチュアとして翻訳することができるものと仮
定する。

【００３７】（２）操作割当て５６：コマンドジェスチ
ュア（単数又は複数）が一旦ユーザーから発せられる
と、システムはプログラムメモリーを走査して、これ
（又はこれらの）ジェスチュアに割当てられた操作（単
数又複数）を判別し、ジェスチュアに従って組織的（構
造的）モデルのタイプを表示／決定する。

【００３８】（３）操作実施５８：所望のデータに関す
る操作（単数又は複数）を実行または遂行する手段。

【００３９】特徴（２）と（３）は図５のブロック６
０、６２、６４、６６により示される以下の４つの副特
徴から構成される。

【００４０】（１）組織的モデルを決定する；（２）操作によって影響されるであろう組織的モデルの
下の局部的対象物を識別する；（３）識別された対象物の関数として、操作用の組織的
パラメーターを計算する；そして（４）操作実施

【００４１】ブロック６０において、組織的モデルが表
示され、選択するために使用され、選択された情報に作
用を及ぼすために使用されるジェスチュアの組合せに従
って、特定のモデルタイプが選択される。

【００４２】まず操作を定義するために使用されるジェ
スチュアによりモデル構造が呼び出される。つまり、デ
ィスプレー上で所望の情報を選択するための特定のジェ
スチュアが、該かる情報が基本的な組織的モデル関係内
で処理されることをシステムに警告する。これらの特定
の選択ジェスチュアが、図６に示す組織化（構造化）さ
れた、つまり方形のエンクロージャー６７を作成する。
好ましい実施例では、組織化されたエンクロージャーは
括弧ジェスチュア（上下の括弧６８、７０、及び左右の
括弧７２、７４）、下線ジェスチュア７５、あるいはＬ
字型ジェスチュア７６を描くことによって作成される。
これらの選択ジェスチュアはひとまとめにして、組織化
された選択ジェスチュアとして知られている。これらの
ジェスチュアの認識技術は、コーナーとか方位（配向）
等の該かるジェスチュアの簡単に見分けられる特徴故
に、全く簡単である。

【００４３】組織化された選択ジェスチュアが描かれた
後、システムはプロジェクション（ｐｒｏｊｅｃｔｉｏ
ｎ：突出）として知られるコンセプトにより組織化され
るエンクロージャーを作成する。この図法の主題は、上
述の１９９３年１２月３０日に出願され、ジェスチュア
ベースの入力システムにおけるエンクロージャーセレク
ションを変更するための装置及び方法と題された米国特
許出願 No. 08/175,841 に開示されている。構造選択ジ
ェスチュアにより、ジェスチュアのセグメント（脚部
分）が部分的にある所定の境界にむけて突き出される。
これらの突出したセグメントはエクステンション（延長
部）と呼ばれる。突出した境界により画定される領域に
当てはまるデータのすべてが選択される。例えば、左側
の括弧ジェスチュア”［”が水平に右側に突き出し、あ
る所定の境界に達するとその突出が終了する。突出した
括弧ジェスチュアのエクステンション境界に当てはまる
データの全てが選択される。Ｌ字型ジェスチュアも同様
の方法で作用する。下線ジェスチュアの場合、システム
は下線上のテキストまたは下線に接触するテキストの
「ライン」を識別し、ジェスチュアの終了点の間にある
ライン上の対象物を選択する。

【００４４】他方、自由形態ループ３２により行われる
選択は、しかしながら、組織的モデルに従って該かる情
報を指定及び／もしくは組織するための事項を持たない
将来の操作に対するアイテムの選択にすぎない。行われ
た選択を動かすためには、ユーザーは（組織化されてい
ない）移動ジェスチュア７７を使用できる。

【００４５】ほとんどの状況において、モデルタイプ、
つまり正確な情報構造は、ユーザーがアイテムの選択に
関する第２のコマンドを実施して始めて、つまり第２の
（組織化された）ジェスチュアを描いて始めて決定され
る。これらのジェスチュアの例をやはり図６に示す。該
かるジェスチュアは削除８２、移動８４、縮小８８、コ
ピー７９、及び（動的）牽引（ドラグ）８６を含む。し
かしながら、このリストは制限されない。特定のモデ
ル、その操作及びこれらジェスチュアと付加的なジェス
チュアの詳細を以下に説明する。幾つかのコマンドジェ
スチュア、特にクサビや脱字記号もその前の選択ジェス
チュアなしに使用することができる。

【００４６】しかしながら、別の態様では、第１のジェ
スチュア（及び時には第２のジェスチュア）がモデルを
指示し、モデルの中の幾つかのストロークを選択し、第
２のジェスチュアが選択されたストロークに関して遂行
されるべき動作を指定する。

【００４７】ブロック６２において、システムは組織的
モデルに関する操作により影響を受けるであろう局部的
対象物を識別する。この時点で、ストロークを構造（例
えばラインアイテム）にグループ分けし、これらの構造
に対して一セットのストロークを分割することにより、
システムが操作する。例えば、ラインアイテムを動かす
ためには、システムはどのストロークがラインアイテム
に属するかを識別し、（ライン間ギャップを決定するた
め）デスティネーション（宛先）においてラインアイテ
ムを識別し、それらがソースラインの上にあるか下にあ
るか、及びデスティネーションギャップの上にあるか下
にあるかによって、スクリーン上で残りのストロークを
分割する。これらの分割から、ラインスペースが容易に
引き出される。ライングルーピング（グループ分け）技
術について下記に説明する。

【００４８】カラム構造の場合、ライン用のものに類似
する手順が、ストロークをカラムにグループ分けし、カ
ラムギャップを見付け、カラムの左右にストロークを分
割するために使用される。しかしながら、テキストモデ
ル用には、セレクションの左右もしくは移動のデスティ
ネーションの左右にライン内のストロークを分割する一
セットの手順がある。ユーザーは括弧ジェスチュアによ
って明白にワードをグループ分けするので、ワードグル
ーピング手順は必要ではない。一群のワードを移動させ
るために、システムはソース及びデスティネーションに
おいてライングルーピングを行うためにのみ必要であ
り、左側及び右側のラインサブセグメントをデスティネ
ーションで別々に移動させ、ソースで一緒に戻すことが
できる。部分的なグループセレクションだけが行われる
場合、システムはグルーピングを完了するためにある仮
定をする。例えば、下線ジェスチュアはシステムがライ
ン境界を見つけることを要求するであろう。

【００４９】全ての場合において、周囲及び境界のスト
ロークは選択された構造に対して非常の大きい対象物を
探すことにより識別される。

【００５０】ブロック６４では、システムは上記におい
て識別された局部的対象物の関数として、操作用の組織
的モデルパラメーターを計算する。求められる手順はベ
ースライン、ライン、カラムスペーシング（間隔）、ワ
ードスペーシングを計算することを含む。更に、アウト
ライン構造においてサブツリーを崩壊させるためのパラ
メーターを計算するためのもの等の特定のアルゴリズム
がある。

【００５１】要するに、システムは組織的モデル、影響
を受けた対象物、及び組織的モデルパラメーターを決定
した。最後の機能は、操作６６を実施すること、つまり
描画表面１４上で対象物の明瞭な操作を含む所望の操作
を実施することである。例えば、ページ上の高い位置に
ラインを移動するために、ソースとデスティネーション
間のラインを下方に動かし、その結果生じるスペースに
ラインを動かし、空になったラインスペースを取り除
く。

【００５２】主要な（キー）手順もしくはステップは陰
（暗黙）構造を見つけるものである、典型的な手順はラ
インをグルーピングするものである。関連手順がベース
ラインを決定する。これらの手順の両方にとって基本的
なものは、スクリーンの水平の横断面の中の「インク
（ｉｎｋ）」の濃度を判別するものである。これらの手
順の上下の説明を下記に記し、その付属部分を付録（参
考文献）Ａの記載する。

【００５３】ポイント、例えば移動ジェスチュアの終了
点、もしくは（ワードスペースを開くための）脱字記号
ジェスチュアの上部ポイントが与えられると、ライング
ルーピング（ＬｉｎｅＧｒｏｕｐｉｎｇ）手順は与え
られたポイントのｙ座標を含むラインに属するストロー
クを見つける。該手順はラインの上下の境界を計算し、
スクリーン上で全てのストロークをテストし、ライン上
に「存在する」ものを集める。ライン上に存在するスト
ローク用の基準は、ストロークの垂直範囲の半分以上が
上下のライン境界間になければならないことである。

【００５４】FindLineBoundaries（ライン境界検出）手
順はインク濃度機能に基づいている。この濃度は配列に
よって別々に表示される。スクリーンは水平のストリッ
プに分割され、「インク濃度」が各々のストリップ毎に
計算される。この値の配列が次にしきい値を適用するこ
とによって二値（０または１）に変換され、それは平均
濃度の分数として表示される。より小さな、または大き
なしきい値を使用することにより、ラインの境界もしく
はテキストのベースラインを発見するためにインク濃度
を使用することができる。

【００５５】その他の、より複雑な手順（例えば、斜め
のラインを処理できるステップ）も使用できることに注
目すべきである。

【００５６】図７は上述のシステム手順を実施する基本
的な制御操作のフローチャートである。これらの操作は
以下の通りである。

【００５７】ブロック８１において、ユーザーが上述の
手段（スタイラス、走査、タイプされたエントリー等）
のいずれかによって、データ８２を記入（入力）するま
で、システムは活動しない。一旦データがシステムに入
力されると、ユーザーはユーザーアクション形態で描画
表面１４上にジェスチュアを描くことができる（ブロッ
ク８３）。ブロック８４で、システムはジェスチュアが
記入（入力）されたことを検出し、ジェスチュアの形状
を分析してシステムに知られているジェスチュアの１つ
としてそれを類別する。判別ダイヤモンド（ブロック）
８５において、ジェスチュアがシステムによって認識さ
れなければ、エラーメッセージがブロック８６で表示さ
れ、システムは新しいジェスチュアエントリー（入力）
のためにユーザーアクション形態（ブロック８３）に戻
る。ジェスチュアが認識されれば、システムはジェスチ
ュアが所望のデータを選択するためのものであるか否か
を判別する。この点において、更にシステムはセレクシ
ョン（選択）ジェスチュアのタイプを判別することに注
目すべきである。なぜなら、セレクションジェスチュア
のタイプはシステムが標準のデータ操作を実行するか、
もしくは組織的関係にあるデータ操作を実行するかを判
別するからである。しかしながら、セレクションジェス
チュアのタイプの詳細及びその属性については、図８の
フローチャートに関して下記において説明する。

【００５８】ジェスチュアが選択のためのコマンドであ
れば、システムはブロック８８においてその選択により
画定されたデータ情報を識別し、ブロック８９で選択操
作を実行し、ブロック９０で実施された操作の結果を表
示するであろう。それからシステムはユーザーアクショ
ン形態（ブロック８３）に戻り、そこでユーザーは別の
ジェスチュアを入力することができる。

【００５９】さて、もしセレクションジェスチュア以外
のジェスチュアが検出されれば、システムはブロック９
１においてジェスチュアにより画定された情報を識別
し、ブロック９２において識別後の残りの情報データを
識別し、ジェスチュア及び識別された前の情報に基づい
て情報のための組織的（構造的）モデルを画定するであ
ろう。組織的モデルがリスト、表、線図もしくはアウト
ラインであってよい。例えば、リストはカラムラインア
イテムとして特徴付けられ（各アイテムは図形対象物の
ロウ（行）から成る）、アイテムが移動すると、カラム
は再配置されてアイテム用のスペースを作り、移動後に
残るスペースを閉じる。ブロック９４において、システ
ムは識別されたジェスチュア（移動、収縮、削除等）に
関連する操作を実行する。その後、システムはブロック
９５においてその操作に従って情報の変更プロセスを表
示し（アニメーションと呼ばれる）、更にブロック９６
においてその実施に従って情報の結果を表示する。それ
から、システムはブロック８１に戻り、そこでシステム
は入力を待つ。

【００６０】図７に示したフローチャートの操作及びそ
の説明は、図８に示したフローチャートの中の拡大形態
に示される。図８のフローチャートの中の各要素のため
のテキスト、及び対応する参照番号を以下に記す。

【００６１】１００：ユーザー入力を待つ；システムは
この段階（ステップ）では活動していない。

【００６２】１０２：ジェスチュアは入力されたか？；
一度ユーザーが情報を入力すると、システムはその情報
がジェスチュアであるか否かを判別する。情報がジェス
チュアでなければ、システムはブロック１２４に移動
し、他の操作を遂行する。そうでなければ、システムは
決定ダイヤモンド（ブロック）１０４に進む。

【００６３】１０４：自由形態のセレクションエンクロ
ージャーは既に存在するか？；自由形態のセレクション
エンクロージャーが存在すれば、システムはブロック１
１０に進む。そうでなくて、自由形態のセレクションが
存在しなければ、システムは決定ダイヤモンド１０６へ
と移動する。

【００６４】１０６：組織化されたセレクションエンク
ロージャーは既に存在するか？；組織的セレクションが
存在すれば、システムは決定ダイヤモンド１１８に進
む。組織化されたセレクションが存在しなければ、シス
テムは決定ダイヤモンド１０８に移動する。

【００６５】１０８：入力は選択ジェスチュアであるか
？；もし入力情報が選択ジェスチュアであれば、システ
ムは決定ダイヤモンド１１２に進む。選択ジェスチュア
でなければ、システムは決定ダイヤモンド１２２に進
む。

【００６６】１１０：入力は自由形態の変更ジェスチュ
アであるか？；入力情報が自由形態の変更ジェスチュア
であれば、システムはブロック１２６に進み、現在の自
由形態の選択ジェスチュアを変更する。もし自由形態の
変更ジェスチュアでなければ、システムは決定ダイヤモ
ンド１１２に進む。

【００６７】１１２：入力は自由形態の選択ジェスチュ
アであるか？；入力情報が自由形態の選択ジェスチュア
であれば、システムはブロック１２８に進み、新しい自
由形態のループを作り、ブロック１００に戻る。もし入
力情報が選択ジェスチュアでなければ、システムは決定
ダイヤモンド１１４に進む。

【００６８】１１４：入力は組織化された選択ジェスチ
ュアであるか？；入力情報が組織化された選択ジェスチ
ュアであれば、システムはブロック１３２に進み、新し
い組織化されたセレクションを作る。（組織化された選
択ジェスチュアは組織的モデルの１つに従って考慮され
るべき情報を囲む。これらのジェスチュアは括弧及びＬ
字型形状を含む。これらのジェスチュアの詳細は以下に
記す。）もし入力が組織化された選択ジェスチュアでな
ければ、システムは決定ダイヤモンド１１６に移動す
る。

【００６９】１１６：入力は選択関連操作ジェスチュア
であるか？；入力が自由形態の選択ジェスチュアに関す
る操作であれば、システムはブロック１３０に進み、操
作を実行する。そうでなければ、システムは翻訳不可能
なジェスチュアを示すエラー信号を出現させる。

【００７０】１１８：入力は組織化された選択ジェスチ
ュアであるか？；ここでは組織化された選択は既に存在
している。そこで、入力情報が組織化された選択ジェス
チュアであれば、システムは決定ダイヤモンド１２０に
移動し、組織化された選択が現在の選択ジェスチュアと
「整合する（ｍａｔｃｈ）」か否かを判別する。「整合
（ｍａｔｃｈｉｎｇ）」という言葉は下記において説明
する。入力が組織化された選択ジェスチュアでなけれ
ば、システムは決定ダイヤモンド１１２に戻り、入力が
自由形態の選択であるか否かを判別する。

【００７１】１２０：組織化された選択ジェスチュアは
現在（既存）の組織化された選択と「整合する」か？；
入力された組織化選択が現在の組織化ジェスチュアと調
和すれば、システムはブロック１３４に進み、現在の選
択ジェスチュアを変更する。そうでなければ、システム
はブロック１３２に進み、新しい組織化選択を作成し、
前に存在したセレクションエンクロージャーを取り除
く。「整合」という言葉は、新しいジェスチュアにより
選択される材料が、選択のタイプに適切な方法で現在の
組織化セレクションに重なる（オーバーラップ）ことを
意味する。例えば、突出した選択ジェスチュアにより画
定される領域が現在の方形セレクションの領域と交差す
れば、そのセレクションは「整合」し、現在のセレクシ
ョンは、突出した選択ジェスチュアがその境界の１つに
なるように、延長されるか、収縮される。しかしなが
ら、精密な交差は必要ではない。例えば、現在の組織化
セレクションが「テキストのまわりを包む」モデル（ラ
インからラインへと続くテキスト）に適合すれば、ジェ
スチュアはラインからラインへの流れにおけるポイント
をマークするものとして翻訳（解釈）されるであろう。

【００７２】１２２：入力は無選択操作ジェスチュアで
あるか？；入力が選択ジェスチュアなしに作用するジェ
スチュアであれば、システムはブロック１３６に進み、
操作を遂行する。そうでなければ、エラーメッセージが
現れ、翻訳不可能なジェスチュアが入力されたことを指
示する。

【００７３】１２４：他の操作を遂行する；自己画定。１２６：現在の自由形態のセレクションを変更する；同
上。

【００７４】１２８：新しい自由形態のセレクションを
作成する；同上。１３０：現在のセレクションに関する操作を遂行する；
同上。

【００７５】１３２：新しい組織化セレクションを作成
する；同上。１３４：現在の組織化セレクションを変更する；現在の
組織化セレクションエンクロージャーは変更ジェスチュ
アを含むように造り直される。

【００７６】１３６：操作を遂行する；自己限定。１３８：ユーザーに翻訳不可能なジェスチュアであるこ
とを合図する；同上。

【００７７】支援される陰構造の詳細１．手書きのリストＡ．組織的（構造的）モデルリストはラインスペースによって分離されるラインアイ
テム（もしくは略してアイテム）の垂直のカラムである
と仮定する。アイテムは通常はテキストのラインであ
る。従って、幅が広く背は高くないと仮定する。このよ
うに、アイテムの左側の左側括弧はテキストを選択する
ための効果的な方法であるので、このジェスチュアはこ
のモデルにおける好ましい選択形態である。リストにお
いて、アイテム間の垂直のスペースは最小にする。アイ
テムを削除すると、残りのスペースは取り除かれる（つ
まりその下のアイテムが上に上げられる）。しかしなが
ら、アイテムはお互いの上には置かれない。従って、ラ
インアイテムが他の２つのアイテムの間に移動すると、
新しいアイテムのためにスペースが作られる。リスト操
作は現在のラインスペーシングを局部的にそのまま保と
うとする。しかしラインスペーシングは明白に開かれる
か、あるいは閉じられる。更に、アイテムは水平に移動
させて他のアイテムと適切に整列させることができる。

【００７８】Ｂ．操作及びジェスチュア上述のように、”［”ジェスチュアが組織化ジェスチュ
アとして選択され、アイテムもしくはアイテムのライン
を選択するために描かれる。”［”の高さはアイテムに
含まれると考えられるものを画定する。しかしながら、
複数のラインを「ジェスチュア」内に含むことができる
ことに注意しなければならない。図６（ａ）及び６
（ｂ）は新聞名のリストを示す。図９において、左側の
括弧は”ＵＳＡＴｏｄａｙ”の左に置かれて、その全
アイテムを選択する。図１０は全アイテムのまわりの方
形のセレクションエンクロージャー１５０を示す。ライ
ンアイテムを含む（もしくは除外）するためにセレクシ
ョンを延長（もしくは収縮）させるには、セレクション
形状がどのように造り直されるべきかを示すＬ字型のジ
ェスチュア１５２を描く。こうして、Ｌ字型のジェスチ
ュアを含み、また”ＵＳＡＴｏｄａｙ”と”Ｌｏｓ
ＡｎｇｅｌｅｓＴｉｍｅｓ”と含むように方形のセレ
クションが造り直される。このジェスチュア１５２を図
１１に示し、その結果延長されたセレクションエンクロ
ージャー１５０を図１２に示す。

【００７９】ユーザーが選択アイテムを削除したいと望
む場合、セレクションエンクロージャー内からピグテー
ルジェスチュアを描けばよい。図１３はこのジェスチュ
ア１５４を示す。一度削除ジェスチュアが出されると、
アイテムが削除され、残りの２つのアイテムがお互いに
近付けられ、これらのアイテム間の空のスペースが取り
除かれる。図１４はリストの中の残りの２つのアイテム
を示す。

【００８０】選択アイテムをリストの中の別の位置に動
かすには、ユーザーはセレクションエンクロージャー１
５０から目標位置、例えば図１５のアイテム”Ｌｏｓ
ＡｎｇｅｌｅｓＴｉｍｅｓ”の真下までラインジェス
チュア１５６を描けばよい。その結果生じる移動を図１
６に示す。あるいはその代わりに、ユーザーは（図示し
ない）目標位置において”＞”ジェスチュアを描くこと
により、目標位置に選択アイテムを移動させることもで
きる。

【００８１】選択アイテムを水平に移動させるには、ユ
ーザーは水平ラインジェスチュアを描けばよい。選択ア
イテムをリストの別の位置にコピーするには、ユーザー
は目標位置で”＜”を描けばよい。選択アイテムを縮小
／拡大するには、ユーザーは図６に示すように、内向き
／外向きの螺旋形ジェスチュア８８を描けばよい。

【００８２】選択がない場合、新しいラインアイテム用
に素早くスペースを作るには、ライン間のスペースにく
さび”＞”ジェスチュアを描けばよい。このジェスチュ
アの例を図１７に示す。くさび１５８は”ＵＳＡＴｏ
ｄａｙ”と”ＬｏｓＡｎｇｅｌｅｓＴｉｍｅｓ”の
間に置く。図１８はこれらのアイテム間に挿入されたス
ペースを示す。

【００８３】選択された対象物を引っ張るには、ユーザ
ーはセレクション領域のまん中を触る。一度ユーザーが
まん中に触ると、セレクションはペンに「くっつき」、
ペンは持ち上げられるまで、セレクションの画像を滑ら
せ、その時にスペースが適当に開かれたり閉じられて、
選択アイテムがその適当な位置に移動する。牽引操作の
例を図１９、２０、２１に示す。

【００８４】図１９において、”ＷａｌｌＳｔｒｅｅ
ｔＪｏｕｒｎａｌ”が選択される。図２０は、このア
イテムが牽引された後、”ＵＳＡＴｏｄａｙ”と”Ｌ
ｏｓＡｎｇｅｌｅｓＴｉｍｅｓ”の間に置かれ、これ
らの２つのアイテムに重なるように置かれる様子を示
す。図２１は”ＵＳＡＴｏｄａｙ”、”ＷａｌｌＳｔ
ｒｅｅｔＪｏｕｒｎａｌ””ＬｏｓＡｎｇｅｌｅｓ
Ｔｉｍｅｓ”の順にリストを整理する様子を示す。図
６の矢印８６が牽引操作の運動を表すことに注目するこ
とが大事である。しかしながら、ユーザーが利用できる
１つの操作として図６に示しただけである。

【００８５】重要なことは、セレクションの組織化され
た性質に依存しない操作を応用するために他のユーザー
行為も使用できることである。例えば、ストロークを赤
に変更するには、メイクレッド・ボタンに触ればよい。

【００８６】手書きのアウトラインＡ．組織的モデルアウトライン構造は簡単なリスト構造の延長である。ラ
インアイテムはアイテムの階層型構造を決定するインデ
ンテーションレベルを持っている。固定された「タブ」
位置はなく；アイテムのインデンテーションレベルは、
左端のストロークの水平位置がその上のアイテムの左端
のストロークの水平位置に「近接する」かもしくはそれ
とは「大幅に」異なるかによって決定される。アイテム
を移動させる、つまり左の最も近い各アイテムのストロ
ークの端を、その前のアイテムと全く同じに、もしくは
それとは大幅に異なって整列させる整列操作がある。こ
の操作はインデンテーション（字下げ）構造に関するシ
ステムの翻訳（解釈）を示す。

【００８７】ユーザーはインデンテーションレベルを調
節するためにアイテムを移動させることができる。アウ
トラインサブツリーは１つのアイテムと、それより大き
なインデンテーションレベルを持ったその下にある全て
のアイテムの組合せである。サブツリーはアウトライン
のより高いレベル構造を示すために崩壊させることがで
きる。崩壊されたサブツリーは物理的に（縦寸法のみ
が）縮小し、サブツリーの最上部のアイテムの下で、コ
ンテナー対象物（オブジェクト）と呼ばれる、薄い物理
的ラインのように見える。コンテナー対象物は元の大き
さに拡大し直すことができる。コンテナー対象物の存在
を示すために、厚めのライン等のアイコンを使用するこ
とができる。適切なサブツリーもしくはサブツリーまた
はアイテムの連続だけを崩壊させられることが重要であ
る。セレクションが適切なサブツリーもしくは適切なサ
ブツリーの連続（シーケンス）でなければ、崩壊させる
前に拡大されるであろう。セレクションが適切なサブツ
リーに拡大できない不適切なアイテムのセットであれ
ば、崩壊操作は阻止される。コンテナー対象物はリスト
アイテムのように処理される、つまりブロックとして動
かすことができ、そうでなければ所望のように操縦でき
る。

【００８８】Ｂ．操作及びジェスチュア：セレクションにおいてラインアイテムを水平に整列させ
るには、ユーザーはセレクションの左端で垂直の（ライ
ン）ジェスチュアを描けばよい。この例を図２２に示
す。第１レベルの表題（ヘッディング）は”Ｎｅｗｓｐ
ａｐｅｒ”であり、”ＮｅｗＹｏｒｋ”はサブツリー
の表題である。垂直のラインジェスチュア１６０は”Ｎ
ｅｗＹｏｒｋ”で始まる選択アイテムの左端に描かれ
る。システムはセレクションの中の全てのラインアイテ
ムのインデンテーションを比較し、おおまかに等間隔で
引っ込んだラインが正確に等間隔で引っ込むように、ラ
インアイテムの水平位置を調節する。この結果生じるア
ウトラインを図２３に示す。

【００８９】選択サブツリーの１つのレベルを崩壊させ
る（つまり、サブツリーにおいて最も低いレベルを崩壊
させる）ためには、メニューからコラプス・ワン・レベ
ル・アイテム（−レベルアイテム崩壊）を選ぶ。図２４
はサブツリーにおける最低レベルが崩壊される前のアウ
トラインの選択アイテムを示し、図２５は最低レベルが
崩壊した後のアウトラインを示す。サブツリーの最低レ
ベルが一度崩壊すれば、選択されていない他のアイテ
ム、つまり”ＲａｄｉｏＳｔａｔｉｏｎｓ”が上方向
に移動して、サブツリーから残されたスペースを閉じ
る。

【００９０】選択されたサブツリーの中の全てのレベル
を崩壊させる（つまり、最上部レベルだけを残す）ため
には、ユーザーはコラプス・オール・レベルスのメニュ
ーアイテムを選べばよい。セレクションの中の崩壊アイ
テムを１レベルだけ拡大する（つまり、崩壊アイテムの
最高レベルだけを拡大する）には、ユーザーはエクスパ
ンド・ワン・レベルのメニューアイテムを選べばよい。

【００９１】セレクションの中の崩壊アイテムを完全に
拡大するには、エクスパンド・オール・レベルスのメニ
ューアイテムを選ぶ。これは図２６と２７に示される。

【００９２】手書きのテキストＡ．組織化モデル手書きの「テキスト」はリスト及びアウトラインの関係
内の制限されたテキストのモデルである。手書きのスト
ロークはまずラインアイテムとしてグループ分けされ、
次にラインアイテム内でワードスペースにより分離され
るワードとしてグループ分けされると仮定する。本明細
書において使用される「ワード（ｗｏｒｄ）」という言
葉は、通常の言語の言葉ではなく、空のスペースにより
分離される対象物の水平の群れ（クラスタ）を指す。ス
ペースにより範囲が定められるタイプ打ちされた文字の
連続（シーケンス）は該かる「ワード」の特別な場合で
ある。ライン上のワード及びワードのスペースは縦寸法
におけるラインアイテム及びラインスペースのものに類
似する方法で横寸法において処理される。ワードスペー
シングはワードが削除される時に閉じられ、ワードを挿
入するために場所を空けるために開かれる。ワードは１
つのラインに含まれ、ユーザーによってライン間で明白
に移動されなければならない。同じライン上で隣接する
ワードは、左右の括弧ジェスチュアで、あるいは下線ジ
ェスチュアにより選択できる。ワードが動かされると、
システムはワードスペースもしくはラインスペースを作
成すべきか否か、つまりそれらを収容するために開かれ
るべきか否かを判断する。更に、ラインアイテムもこの
方法で処理される。つまり、ラインアイテムはライン上
の全てのワードをたまたま含むものである。

【００９３】Ｂ．操作及びジェスチュアライン上のワードを選択するには、ユーザーはワードの
下に線を引くか、あるいは括弧”［”と”］”ジェスチ
ュアを描けばよい。（選択されるワードがラインの左端
もしくは右端まで伸びている場合、１つの括弧だけでよ
い。）この例を図２８、２９に示す。ワード”Ａｎｇｅ
ｌｅｓ”は選択のために括弧で囲まれている。図３０に
示すように、ユーザーは選択アイテムを削除するために
エンクロージャー１５０からピグテールジェスチュア１
６２を描けばよい。その結果を図３１に示す。

【００９４】現在のライン上の別の場所、もしくは別の
ライン上の場所に選択ワードを移動させるには、ユーザ
ーはセレクションからワードスペースまでラインジェス
チュアを描くか、あるいはワードスペースに脱字記号ジ
ェスチュア”∧”を作ればよい。この例を図３２及び３
３に示す。セレクション”Ａｎｇｅｌｅｓ”及びライン
ジェスチュア１６４はセレクションエンクロージャー１
５０から、”ＵＳＡ”と”Ｔｏｄａｙ”の間の所望の場
所まで伸びていることに注意。システムは選択情報を適
合させるために所望の場所にスペースを作る。新しいラ
インに選択ワードを動かすためには、ユーザーはライン
スペースにラインジェスチュアを描くか、あるいはライ
ンスペースに”＞”ジェスチュアを作ればよい。これは
図３４に示されている。ラインジェスチュア１６６は選
択情報、つまり”Ａｎｇｅｌｅｓ”からテキストの最初
の２つのラインの間の場所まで伸びている。システムは
テキストのこれらのライン間にスペースを作り、選択情
報を移動させる。図３５はこれらの操作の結果を示す。

【００９５】選択ワードを新しいラインにコピーするに
は、ラインスペースに”＜”ジェスチュアを描けばよ
い。テキストを挿入するためにスペースを素早く開くに
は、脱字記号ジェスチュアを挿入してもよい。脱字記号
ジェスチュア１６８を図３６に示す。図３７では、スペ
ースが”ＵＳＡ”と”Ｔｏｄａｙ”の間に作られてい
る。システムは隣接テキストの大きさの関数として決定
される固定された量のスペースを作る。

【００９６】注目すべき重要なことは、選択ワードに通
常の操作を適用することができることである。例えば、
ストロークを赤に変更するには、メイク・レッドボタン
に触る。

【００９７】手書きの表Ａ．組織化モデル表はロウとカラムから構成される二次元構造である。ロ
ウはリストモデルからの正確なラインアイテムである。
カラムはロウと同様であるが、ジェスチュアと操作によ
り横寸法から縦寸法に置き換えられる。例えば、左の括
弧がロウを選択するように、最上部の括弧はカラムを選
択する；ロウが垂直に動かされるように、カラムは水平
に動かすことができる。カラムスペースはカラム間の垂
直のスペースである。更に、（日本語もしくは中国語書
きのように）垂直のテキストがあり、それは上と下の括
弧で選択される；カラムの中の材料は垂直のテキストが
動かされる時に垂直に開いたり閉じたりする。純粋のロ
ウもしくはカラム操作に加えて、やはり左右の括弧もし
くは上下の括弧を用いて、ユーザーは材料のブロック -
１つ以上のロウもしくはカラムから材料の方形選択 -
を選択することが認められる。これは表のより大きな部
分に簡単なコマンド（例えば、メイク・レッド）を適用
する便利な方法を提供する。しかしながら、ブロック選
択には特別な表の翻訳（解釈）は配置されない。

【００９８】Ｂ．操作及びジェスチュアカラム（単数又は複数）を選択するには、図３８に示す
ように、上部括弧ジェスチュア１７２を描けばよい。図
３９はこのジェスチュアに答えて取られる動作の結果を
示す。選択カラムを削除するには、ピグテールジェスチ
ュアを描けばよい。選択カラムを移動させるには、図４
０に示すように新しい場所までラインジェスチュアを引
く（あるいは”∧”ジェスチュアを作る）ことができ
る。図４１では、中央のカラム全体が”３”で始まるカ
ラムの右側に移されていることに注意。選択カラムをコ
ピーするには、”＜”ジェスチュアを新しい位置に描け
ばよい。

【００９９】縦のブロックを選択するには、上下の括弧
ジェスチュアを描いて所望の情報を囲むことができる。
これは図４２と４３に示される。（縦もしくは横の）選
択ブロックを削除するには、セレクションエンクロージ
ャーからピグテールジェスチュアを描けばよい。これは
自動的にスペース（縦もしくは横に）を閉じることにな
る。（縦もしくは横の）選択ブロックを移動させるに
は、セレクションエンクロージャーから目標場所までラ
インジェスチュアを描けばよい。ラインジェスチュアの
例を図４４に示し、動かされる対応する縦のブロックを
図４５に示す。ブロックをコピーするには、目標位置
で”＜”ジェスチュアを描けばよい。

【０１００】最後に、通常の操作を選択されるロウ、カ
ラム、もしくはブロックに通常の方法で適用することが
できる。例えば、ブロック内のストロークを赤に変更す
るには、メイク・レッドボタンに触る。

【０１０１】構造の範囲を空間的に定めるには、ユーザ
ーは境界線として作用するように長いストロークを単に
描くだけでよい。境界の機能は構造セレクションの空間
的範囲及び組織化操作の結果を制限することである。シ
ステムはジェスチュアを翻訳する間に、それが「突き当
たる」長いストロークを境界線とみなす。選択される構
造の範囲は自動的に境界で止められる。例えば、図４６
において括弧によりリスト中のアイテムを選択する場
合、境界１７４に至るまでのストロークが図４７におけ
るセレクションに含まれる。境界の侵害を生じるであろ
う組織化操作は阻止される。例えば、図４８の”ＵＳＡ
Ｔｏｄａｙ”と”ＬＡＴｉｍｅｓ”の間に示される
（脱字記号を用いる）開スペース操作は、スペースがリ
ストの最後のライン、つまり”ＬＡＴｉｍｅｓ”を下
の境界から追い出すようになるので、阻止される。

【０１０２】しかしながら、境界を横切って操作を行う
ことができる。例えば、図４９に示すように、多重カラ
ムリストにおいて、アイテム（ＵＳＡＴｏｄａｙ）を
１つのカラムから他のカラムへと（境界はカラムの間に
ある）動かすことができる。図５０において、アイテ
ム”ＵＳＡＴｏｄａｙ”のために”Ｐａｐｅｒ”と”
Ｒａｄｉｏ”の間の境界の他方の側のカラム内にスペー
スが作られていることに注意。

【０１０３】セレクションを境界を通り抜けて伸ばすた
めには、コーナー型のジェスチュアもしくは括弧ジェス
チュアを描いて、セレクションをどこまで伸ばすかを示
せばよい。これは図５１と５２に示されている。元のセ
レクションエンクロージャーが２つの境界を突き抜けて
情報を含むために伸ばされていることに注目。境界線は
この方法で突き抜けられると、もはや境界とは認められ
ず、周囲対象物とみなされる。周囲対象物は如何なる操
作中にも無視される。例えば、表のカラム間の周囲ライ
ンはロウを動かしても影響を受けない。図５３と５４に
おいて、ラインジェスチュア１７６はシステムに２つの
境界に影響を与えずにロウを動かすことを指示してい
る。周囲性は現在のセレクションの生命のためにのみ保
持される。

【０１０４】手書きの線図Ａ．組織的モデル線図はノード・リンク構造としての意味を持つ。ノード
は単位とみなされるべき一群の図形対象物であり、リン
クは２つのノード間を通過する（結合する、接続する）
ラインである。リンクとノードは数学的（位相幾何学
的）構造を形成し、それは幾何学的構造よりも抽象的で
ある。つまり、位相幾何学はノードがどこに置かれてい
るか、あるいはリンクの形状等には関係せず、ノード間
のリンクのパターンがどのようなものであるかだけに関
係する。ユーザーはリンクを編集することにより位相幾
何を変更したいと望むかもしれないが、時には位相幾何
を保持しながら、（より明確にするため、あるいはより
整然とさせるため）線図の幾何学的配列を変更したいと
望むかもしれない。

【０１０５】ユーザーが位相幾何を乱さずにノードを動
かしたいと望む場合、そのノードから他のノードへのリ
ンクはリンク構造を維持するためにゆがめられ（造り直
され）なければならない。リンク対象物をゆがめること
は、それが接続するノードの新しい位置を適合させるた
めに、「引っ張り」ながら、その特徴的形状を保持する
リンクの形状の線形の幾何学的変形を含む。更に、移動
がそれを要求する場合、リンクの終了点はそのノードに
対して変更される。例えば、図５５（ａ）は３つのノー
ド（Ａ、Ｂ、Ｃ）と２つのリンク（Ａ−Ｂ、Ａ−Ｃ）を
持つ簡単な線図を示す。図５５（ｂ）は幾何学的に変更
された線図--ノードＢとＣの位置は保持され、ノードＢ
は少し下げられる--であるが、その位相幾何は保持され
る：ＡはＢ及びＣに連接されている。リンクＡ−Ｂ及び
Ａ−Ｃの特徴的な形状は保持されていることに注目。更
に、リンクＡ−Ｃは図５５（ａ）のノードＡの右側か
ら、及び図５５（ｂ）のノードＡの左側から放射されて
いることに注目。

【０１０６】Ｂ．操作及びジェスチュアユーザーは方形のジェスチュアを作ることにより、ノー
ドとしてディスプレー上の対象物を選択することができ
る。システムはこの形状を認識し、他の全ての組織化選
択のために行うのと全く同様に、描かれたジェスチュア
を完全に幾何学的な方形で置き換える。ノード選択は他
の組織化選択が持っていない１つの付加的な特徴を有す
る。ノード選択はそれがノードとして囲む全ての対象物
を選択し、セレクションから伸びる全てのラインはリン
クとして選択される。選択リンクはリンクがそれを横切
る場所のセレクション方形上の小さな円によって指示さ
れる。ユーザーは横断するラインがリンクとみなされる
べきか否かを変更することができる。例えば、図５５
（ｃ）は選択されたノードＡと、リンクとして選択され
たラインＡ−Ｂを示すが、ラインＡ−Ｃはリンクとして
選択されていない。図５５（ｄ）はリンクを変更するた
めのジェスチュアを示す。小さな円を通るスラッシュジ
ェスチュアはラインＡ−Ｂのリンク状態を取り除き、ラ
インＡ−Ｃがセレクション方形を横切る場所の小さな円
ジェスチュアが、ラインＡ−Ｃをリンクとみなすように
変更する。これらの２つのジェスチュアの結果を図５５
（ｅ）に示す。ノードＡが右側に動かされると、リンク
Ａ−Ｃは接続を保持するためにゆがめられるが、ライン
Ａ−Ｂは変更されず（なぜならそれはリンクと考えられ
ていないので）、ＡとＢの間の接続は失われる。

【０１０７】更に、グルーピング（ｇｒｏｕｐｉｎｇ）
と呼ばれる操作（メニューから利用できる）がある。一
セットの対象物が選択され、グループ分けされると、セ
レクションの中の全ての対象物は１つの対象物、グルー
プ対象物とみなされる。グループ対象物のユーザーにと
っての利点は、それに触るだけで、つまりドットジェス
チュアによって選択できることである。これはユーザー
がグループ対象物を操縦することを非常に容易にする。
線図の中のノードがグループ分けされる（しかしリンク
はグループ分けされない）と、線図は位相幾何を保持し
ながら容易に再配列される。更に、システムはどの対象
物がリンクを構成するか知っているので、リンクが適切
な方位でノードから放射する。

【０１０８】この技術の更に１つの延長は、実際にはリ
ンクではないストローク対象物に関する幾何学的変形を
実行するために、リンク湾曲可能性を使用できることで
ある。例えば、図５５（ｇ）は３つの文字対象物とそれ
らのまわりのストローク対象物を示す。文字対象物Ｃは
ノードとして選択されている。囲んでいるストローク対
象物が２つの場所でエンクロージャー方形と交差するの
で、それは「リンク」とみなされる。ラインジェスチュ
アはノード（Ｃ）が右に動かされることを示している。
しかし、それが動かされると、ストローク対象物はＣに
従うために、図５５（ｈ）に示すように、ゆがめられ
る。この延長は陰組織化の原則を--構造が図形データに
固有のものではなく、むしろ構造はユーザーがデータの
中に見るものであり、ジェスチュアによってシステムに
見つけるように「告げる」ものであることを示してい
る。

【０１０９】混合構造及び自由形態のコマンドデータの複数（ｍｕｌｔｉｐｌｅ）領域を使用するディ
スプレーにおいて、編集操作の相互適用（クロスアプリ
ケーション）をする際にある問題が生じる。図５６はシ
ステムが境界として翻訳する縦線により分離された２つ
のリストを含むスクリーンを示す。このように、各々の
側のリストが別個に編集できる（例えば、Ｇａｉｌをリ
ストの一番上に移動させることができるであろう）。更
に両方のリストに影響を及ぼす操作もできる。図５６は
Ｊａｎｅが選択され、”＞”ジェスチュアがシステムに
ＢｏｂとＴｏｍの間にＪａｎｅを移動させる--Ｇａｉｌ
が上に上がり、ＴｏｍとＢｉｌｌがこの移動を受け入れ
るように下に移動するように告げている。境界の各々の
側に構造があり、移動は完全に組織化されていることに
注目。

【０１１０】さて、左側にリストがあり、右側に部分的
な事務所のフロアプランがある図５７の場合を考えてみ
よう。フロアプランは自由形態の線図であり、構造では
ない。ＪａｎｅをＴｏｍの事務所に移したいとしよう。
図５６と同じジェスチュアを使用すれば、システムは線
図を適切に変更する方法を知らないであろう。システム
はそれをリストとして翻訳し、--最善の場合、Ｔｏｍを
Ｂｉｌｌの事務所に移し、Ｂｉｌｌは事務所から追い出
されるであろうし；最悪の場合、線図の中の壁を移動さ
せ、混乱を招くであろう、この場合、システムは線図を
リストとしてグループ分けできないので操作を拒否する
であろう。このように、問題は自由形態としての線図を
如何に処理し、同時にリストをリストとして如何に処理
するかである。

【０１１１】解決法は混合操作を可能にすることであ
る。選択ジェスチュアは移動ジェスチュアと異なるの
で、各々のジェスチュアは移動の各々の端で材料を如何
に処理すべきかを指示することができる。セレクション
を（括弧及びＬ字型）もしくは自由形態（ループ）で組
織化することができ、移動を（＞もしくは∧）あるいは
自由形態（∨）で組織化することができる。これらはあ
らゆる可能性のある組合せで混合することができる。

【０１１２】従って、図５７において、最初にＴｏｍを
ループジェスチュアで選択し、彼をＪａｎｅの前に組織
的に挿入する（＞）。Ｔｏｍは選択された自由形態であ
るので、彼を移動させても、線図においては何も変更さ
れない。Ｔｏｍは組織的にリストに挿入されるので、Ｊ
ａｎｅとＧａｉｌは下に移動する。図５８を参照のこ
と。次にＪａｎｅを組織化アイテムとして選択し、線図
において自由形態の移動（∨）を指示する。Ｊａｎｅは
組織化されたセレクションなので、Ｇａｉｌが上に移動
する。移動は自由形態なので、Ｊａｎｅが空の事務所に
移動しても線図の中は何も移動しない。

【０１１３】表の整列（位置合せ）上述したように、配列（整列）操作はリストのインデン
テーションレベルを「整列する」（簡単なリストを片付
けるためにも使用できる）。同様の操作を表にも使用で
きる。問題は、表がきれいに配列されていることが少な
いことである。表はしばしばカラム様式で作成される。
人々はアイテムを１つのカラムに上から下へと書き進
み、次のカラムへと進む。その結果、ロウのアイテムは
きれいに整列されておらず、ロウを選択して移動させる
ことができない。解決法は水平の配列操作を作ることで
ある。全体の表を選択し、セレクションの上部で水平ジ
ェスチュアを作る。システムはセレクションを表として
分析し、各々のカラムのアイテムを左側のカラムのアイ
テムと水平に整列するように連続して移動させる。その
結果ロウ様式で操縦できるこぎれいな表が出来上がる。
図５９はユーザーが作成した表を示し、図６０はシステ
ムがそれを整列させた後の表を示す。整列にはスペーシ
ングが含まれ、ロウ及びカラムの縦と横の整列が含まれ
る。

【０１１４】自由形態テキストとしてのタイプ打ちされ
た文字このシステムはキーボードで文字をタイプ打ちすること
を可能にする。各々の文字はストロークと同様に自由形
態の図形対象物であり、つまりディスプレー上でｘｙ位
置を占めるにすぎない。ストロークと同様に、それらは
自由形態として、あるいは使用されるジェスチュアに応
じて組織化されるものとして処理される。文字対象物及
びストローク対象物は混合することができる；例えば、
ユーザーはタイプされたテキストのラインにギリシャ文
字を手書きすることができる。

【０１１５】文字対象物はループ選択ジェスチュアでそ
れらを選択することにより、（組織化されていない）自
由形態として処理することができる。この方法で選択さ
れた文字対象物が標準のピグテールジェスチュアで削除
されると、削除された文字対象物を囲む文字（及び他の
種類の）対象物は移動しない。（つまり、ストローク対
象物と全く同じ行為である。）同様に、文字対象物はど
こにでも移動することができ、他の文字またはストロー
ク対象物の上に置くこともできる。図６１（ａ）、６１
（ｂ）を参照。

【０１１６】文字対象物は、構造選択ジェスチュア（例
えば括弧やＬジェスチュア）の１つによってそれらを選
択することにより、組織化されるものとして処理するこ
とができる。文字対象物がこの方法で選択されると、そ
れらはストローク対象物に関する組織化操作（つまり、
リスト、アウトライン、テキスト及び表と同様に操作で
きる。例えば、一連の水平に関連する文字対象物を括弧
ジェスチュアで選択することができ、それからラインジ
ェスチュアで別の場所に移動させることができる；文字
対象物は適当に閉じたり開いたりする。図６１（ｃ）及
び６１（ｄ）を参照。しかしながら、文字対象物が選択
された場合、それらは近くの文字対象物と整列するよう
に「ぷっつり切られる」という特別な処理をされる。

【０１１７】例えば、ユーザーが文字ＡＢＣを近くの文
字ＤＥＦに移動させると、ＡＢＣは、基準線が整列し、
ＤＥＦがＡＢＣの真後ろにくるか、あるいはＣとＤの間
に正確に１つの通常の文字スペースが空くように、最も
適切な方法でＤＥＦと整列するようにぷっつりと切られ
る。

【０１１８】キーボードでテキストのエントリー及び編
集ができるように、追加操作が提供される。まず、ユー
ザーはタイプされた文字対象物をディスプレーのどこに
置くべきかをシステムに告げる方法を必要とする。この
ように、「タイプイン・ポイント」と呼ばれる特別な対
象物（小さな脱字記号型の対象物）がある。ユーザーは
ペンを用いたドットジェスチュアを作るか、もしくはマ
ウスボタンを指示または押すことにより、タイプイン・
ポイントを配置または再配置することができる。文字作
成キーボードのキーが押された時はいつでも、文字対象
物はタイプイン・ポイントの右側に置かれ、タイプイン
・ポイントは挿入された対象物の右側に移動される。こ
うして、一連のキーストロークが文字対象物の左右の連
続（シーケンス）を作り出す。

【０１１９】「特別」キー（例えばスペース、タブ、リ
ターン、バックスペース）が押されると、特別動作が提
供される。スペースキーが押されると、タイプイン・ポ
イントが１文字スペースを右側に動かす。「スペース文
字」は作成されないことに注意；タイプイン・ポイント
を動かすだけである。（スペースキーを押すことは、マ
ウスでタイプイン・ポイントを再配置するのに等し
い。）タイプイン・ポイントがそのすぐ右側に文字対象
物を持っている場合、それらは新しい文字対象物のため
に場所を作るために右に押される。リターンキーを押す
と、タイプイン・ポイントを現在の文字列の左端の文字
の左に移動させ、次の文字が次のテキストラインに行く
ように１列下に移動させる（すぐ下に文字がある場合
は、それらは１列だけ下に押される）。タブキーはタイ
プイン・ポイントを上にある文字対象物と、それらの左
にスペースを置いて整列させるために右に移動させる；
配列が見つからない場合は、タイプイン・ポイントはデ
フォールトテーブル位置に移動する。タイプイン・ポイ
ントが境界に押されるか、あるいはディスプレーの右端
に押されると、それは（文字対象物に沿って、すぐ左
に）１列下にそして左に移動する、つまりテキストにと
って通常の「ラインラッピング」行為をする。同様に、
他の特別キー（例えば、バックスペース、ラインフィー
ド）が適切に定義された行為をする。

【０１２０】文字のこの処理は簡単なテキストエディタ
ーの一般に期待される能力及び行為を生み出す。しかし
ながら、文字対象物はどういう風に入力されようと、全
体的に自由形態である。例えば、ユーザーはタイプされ
たパラグラフの中央に一連の文字対象物をループ選択
し、それらを削除し、パラグラフの中央に空のスペース
を残すことができる。図６１（ｅ）、６１（ｆ）を参
照。ユーザーは更に、文字対象物を入力する方法とは異
なる組織化された方法で、それらを処理することができ
る。例えば、いくつかのテキストが左から右にタイプさ
れてあっても、文字対象物は（従来のテキストエディタ
ーの従来の「ストリング」構造等の）特別な左右関係を
持たない；同じテキストの一部がカラムとして選択さ
れ、文字対象物の２つのカラムが切り換えられる。図６
１（ｇ）、６１（ｈ）を参照。これはテキストを処理す
る新規の柔軟な方法であり、それは自由形態の編集応用
例にとって適当なものである。

【０１２１】発明を好ましい態様に関連して説明してき
たが、発明の精神及び範囲内において多くの変形及び修
正が企図されることが当業者には自明であろう。好まし
い態様の図及び説明は例として取り上げたものであり、
発明の範囲を制限するものではなく、発明の精神及び範
囲の中に全ての変更及び修正を含むものである。

【図面の簡単な説明】

【図１】本発明によるシステムが使用されるジェスチュ
アベースの入力装置の１形態を示すブロック線図であ
る。

【図２】幾つかの対象物を囲む自由形態のループジェス
チュアを示すディスプレースクリーンの正面図である。

【図３】従来のペンベースのアウトライニングシステム
を示す図である。

【図４】本発明に従って図１に示したシステムの基本的
操作の簡単なフローチャートを示す図である。

【図５】図４に示した操作の拡大フローチャートを示す
図である。

【図６】本発明を組み込んだシステムにおいて使用され
るジェスチュアを示す図である。

【図７】本発明に従って陰構造を支持するシステムの基
本的制御操作のフローチャートを示す図である。

【図８】図５（ｃ）に示した操作の拡大フローチャート
を示す図である。

【図９】手書きのリスト上の操作及びジェスチュアを示
す図である。

【図１０】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１１】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１２】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１３】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１４】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１５】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１６】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１７】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１８】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図１９】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図２０】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図２１】手書きのリスト上の操作及びジェスチュアを
示す図である。

【図２２】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２３】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２４】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２５】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２６】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２７】手書きのアウトライン上の操作及びジェスチ
ュアを示す図である。

【図２８】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図２９】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３０】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３１】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３２】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３３】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３４】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３５】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３６】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３７】手書きのテキスト上の操作及びジェスチュア
を示す図である。

【図３８】手書きの表の操作及びジェスチュアを示す図
である。

【図３９】手書きの表の操作及びジェスチュアを示す図
である。

【図４０】手書きの表の操作及びジェスチュアを示す図
である。

【図４１】手書きの表の操作及びジェスチュアを示す図
である。

【図４２】手書きの表の操作及びジェスチュアを示す図
である。

【図４３】手書きの表の操作及びジェスチュアを示す図
である。

【図４４】手書きの表の操作及びジェスチュアを示す図
である。

【図４５】手書きの表の操作及びジェスチュアを示す図
である。

【図４６】境界線のある操作及びジェスチュアを示す図
である。

【図４７】境界線のある操作及びジェスチュアを示す図
である。

【図４８】境界線のある操作及びジェスチュアを示す図
である。

【図４９】境界線のある操作及びジェスチュアを示す図
である。

【図５０】境界線のある操作及びジェスチュアを示す図
である。

【図５１】境界線のある操作及びジェスチュアを示す図
である。

【図５２】境界線のある操作及びジェスチュアを示す図
である。

【図５３】境界線のある操作及びジェスチュアを示す図
である。

【図５４】境界線のある操作及びジェスチュアを示す図
である。

【図５５】（ａ）〜（ｈ）は、手書きの線図のためのノ
ード・リンク組織的操作及びジェスチュアを示す図であ
る。

【図５６】完全に組織化されたデータの操作を示す図で
ある。

【図５７】混合された構造及び自由形態のコマンドに関
する操作を示す図である。

【図５８】混合された構造及び自由形態のコマンドに関
する操作を示す図である。

【図５９】表に関する整列操作を示す図である。

【図６０】表に関する整列操作を示す図である。

【図６１】（ａ）〜（ｈ）は、自由形態のテキストに関
する操作及びその行為を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者パトリックチウアメリカ合衆国カリフォルニア州 94025 メンロパークユニバーシティードライヴ 564 ナンバー３ (72)発明者ウィリアムヴァンメレアメリカ合衆国カリフォルニア州 94022 ロスアルトスディステルドライヴ 651

Claims

【特許請求の範囲】

【請求項１】情報データのエントリーのためのスクリ
ーン指向ディスプレー処理システムであって、ディスプレー手段を有し、前記ディスプレー手段上に情報データを入力するための
データエントリー手段を有し、前記ディスプレー上にジェスチュア的データを入力する
ためのジェスチュア入力手段を有し、該ジェスチュア的
データは前記情報データの少なくとも一部に関連するコ
マンドを前記ディスプレー上に表示し、前記ジェスチュアを表示する操作を前記情報データの前
記一部に割り当てるため、前記ジェスチュアのエントリ
ーに応答する割当手段を有し、該割当手段は前記操作に
従って、前記情報をリスト、表、線図及びアウトライン
として選択的に定義する手段を含み、及び前記情報デー
タの前記一部に関して前記操作を実施するため前記割当
手段に応答する実施手段を有することを含むスクリーン
指向ディスプレー処理システム。