JP3974196B2 - オブジェクト指向グラフィック入力及びディスプレイシステム - Google Patents
オブジェクト指向グラフィック入力及びディスプレイシステム Download PDFInfo
- Publication number
- JP3974196B2 JP3974196B2 JP17527894A JP17527894A JP3974196B2 JP 3974196 B2 JP3974196 B2 JP 3974196B2 JP 17527894 A JP17527894 A JP 17527894A JP 17527894 A JP17527894 A JP 17527894A JP 3974196 B2 JP3974196 B2 JP 3974196B2
- Authority
- JP
- Japan
- Prior art keywords
- objects
- image
- routine
- user
- data structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
【産業上の利用分野】
本発明は、一般にコンピュータグラフィックスに係り、特に、ユーザがマウス、スタイラス、オペレータの手又は他の形態のポインティングデバイスを用いてグラフィカル画像を作成し且つ編集するのを可能とするシステムと方法に関する。
【0002】
【従来の技術】
一般にポインティングデバイスによるコンピュータグラフィックスの動作は二つのタイプがある。描画動作と制御動作である。描画動作は、ペンに表面と接触するようにモーションを起こさせることによって一枚のペーパー(用紙)に描画するのと同じ様に画像上に可視のマークを配するための場所を記述する。制御動作は可視のマークの変更につながるコンピュータ機能の実行を開始し且つ案内するために使用される。制御動作は画像内の可視のマークの視覚的画質(例えば、線幅)を消去したり、移動したり、又は変更するような編集機能の実行に対して特に重要である。
【0003】
このような対話型コンピュータ支援グラフィカル編集ツールの基底にあるのは、ユーザ制御下で選択され且つ変更されてもよい画像のグラフィック要素(エレメント)に関する情報を保持するための手段である。種々の現存のコンピュータ支援描画ツールは、操作可能なグラフィカルエレメントの粒状度によって定義されるスペクトルに沿って分類されてもよい。一方、いわゆるペイント(着色)プログラムは個々の画素のレベルにおける画像の視覚的内容を操作し、且つ各画素の明度及び/又はカラー特性は他の画素から独立するように変更可能である。ペイントスタイルプログラムは画像の細かい改良を可能とするが、これらのプログラムは画素のグループ全体を定義し且つ幾何学的に変換するが不可能なので、多くの動作の実行には飽き飽きするほどの時間を掛かることになる。これに対して、構造化されたグラフィック編集プログラムは、画像形成面上のその描写が多くの画素を含み、これらの画素は、オブジェクトが移動し、削除され、さもなれければ、変更される時、これらの画素の全てが一致するように変更される、線、円、及び多角形のようなより大きな抽象オブジェクトのレベルで動作する。構造化グラフィックス編集プログラムに対する原理は、ユーザが通常実行したいとする画像の変更の種類が抽象レベルのオブジェクト内に反映される幾何学的ストラクチュアを保護するものであると仮定した場合に存在する。
【0004】
【発明が解決しようとする課題】
本発明は、コンピュータ支援描画ツールのスペクトルへグラフィカル画像エディタのペイントと構造化グラフィックスの極値の両方からの利点を含む新しいポイントを提供する。
【0005】
本発明の目的は、個々の画素エレメントよりももっと抽象的であるが、現存の構造化グラフィックスエディタによって許容されるよりももっとフレキシブルなレベルにおいてグラフィカルエレメントの操作を可能とすることにある。
【0006】
【課題を解決するための手段】
上記の目的は、ユーザが個々に又はグループでアクセスできる抽象オブジェクトの豊富且つオーバーラップしたセットを保持し、さらにユーザが描画を変更する時に抽象オブジェクトのこのセットをダイナミックに更新し且つ再構築するためのグラフィカル編集ツールに基づいた本発明によって達成される。これらの背景機能は編集ツールにより且つユーザの知識又は注意を必要とせずに自動的に実行される。要するに、これらの機能は、知覚的に自然な「チャンク(塊)」において画像内の可視のマークを操作するため、ユーザが迅速且つ丁度良くアクセスし得る抽象オブジェクトの一定の新鮮な資源を保持する。構造化グラフィックススタイルエディタの原理とは対象的に、本発明による原理は、ユーザが最多頻度で操作したいとするより大きな抽象画像ストラクチュアが、局所的、画素レベルの、明及び暗のパターンを、小、中、大のスケール(大きさ)の知覚チャンクに類似した線、曲線、領域、及び他の「ゲシュタルト(Gestalt )」エンティテイへ編成しようとする人間の知覚経過から得られるものであることである。本明細書中に用いられているグラフィカルオブジェクトが上記のエンティテイだけでなく英数字テキストに関するように意図されていることが理解されよう。本発明によって支援される操作可能なオブジェクトは、可視画像エレメントの複数であり且つオーバーラップ(重畳)する抽象オブジェクトレベルの変換を許容することによって人間の知覚過程のフレキシブルで時には不明瞭な性質を反映する。画像編成及び操作のこれらの自然なユニットは画像内に存在するマークのセット間の空間的関係から発生し、且つこれらの作成時におけるグラフィカルオブジェクトに起因する特性のみから得ることはできない。結果的に、本発明に貢献する核心的テクノロジは従来のコンピュータグラフィックスからだけでなくコンピュータビジョン又は画像分析から決定的に得られる。
【0007】
より詳細には、本発明の目的は、入力手段、ディスプレイ手段、及び機能選択手段を含むデータストラクチュアを有し、前記入力手段が、グラフィカルオブジェクトを前記ディスプレイ上へ入力し且つ前記グラフィカルオブジェクトを操作するために前記機能選択手段上で機能を選択するためにユーザ操作可能であり、前記データストラクチュアからのデータ信号に応答する格子データストラクチュアを有し、このデータストラクチュアが前記抽象オブジェクトを要素オブジェクトへ分解するために前記ディスプレイ上へ入力されたオブジェクトを表示し、エレメンタルオブジェクトを要素オブジェクトのグループへ編成するための手段と、エレメンタルオブジェクトの前記グループを要素グループのさらなるグループへ再編成するための手段を有し、前記グラフィカルデータストラクチュア及び機能選択手段が前記オブジェクトの全て又は部分上で実行されるように機能のユーザ選択によって前記再編成を調整することを含む、ユーザ選択操作機能に応答して、グラフィカル抽象オブジェクトのためのオブジェクト指向グラフィック入力とディスプレイシステムを提供する。
【0008】
本発明は、ユーザ選択の操作機能に応答する、グラフィカル抽象オブジェクトに対するオブジェクト指向グラフィック入力及びディスプレイシステムであって、入力手段、ディスプレイ手段、及び、機能選択手段を含み、該入力手段はグラフィカル抽象オブジェクトを該ディスプレイ手段へ入力するため、及び、該機能選択手段でグラフィカル抽象オブジェクトを操作する機能を選択するために操作される、データストラクチュアと、前記データストラクチュアから送信される、前記ディスプレイ手段に入力されるグラフィカル抽象オブジェクトを表現するデータ信号へ応答し、入力された該グラフィカル抽象オブジェクトを該グラフィカル抽象オブジェクトの特徴に基づいて、複数の要素オブジェクトへ分解する格子データストラクチュアと、分解された複数の該要素オブジェクトの少なくとも一が少なくとも一の要素オブジェクトのグループに含まれる様に、複数の該要素オブジェクトを要素オブジェクトのグループへ編成する手段と、前記グラフィカル抽象オブジェクトの全体又は部分になされるべき機能のユーザ選択に基づいて、前記データストラクチャ又は前記機能選択手段の調整により、編成された前記要素オブジェクトのグループを別の要素オブジェクトのグループへ再編成する手段と、を備えるシステムである。
【0009】
【実施例】
図1の(a)及び(b)並びに図2の(a)及び(b)は、本発明によって可能とされる機能性をそれぞれ示している。本発明を組み込んだグラフィカルエディタアプリケーションツールを用いたプロトタイプの描画作成及び編集セッションは、好ましくは以下のように進められる。図1の(a)に関しては、描画(DRAW)モードにおいてポインティングデバイスを使用することによって、ユーザが画像形成面12に見られる”L”型曲線10を描画する。バックグラウンドをランしながら、コンピュータプログラムは、”L”型曲線に対応する抽象オブジェクト14を作成する。コンピュータプログラムはまたこの曲線内に突角した鋭いコーナ(角:かど)16の存在を検出する。この結果、コンピュータプログラムはこの曲線の垂直と水平のセグメント(部分)に対応する抽象オブジェクト18と20を作成する。ユーザは何時でもコマンド(COMMAND )モードへトグル(切替え)するためにポインティングデバイスのボタンを押すか又はキー・ストロークをタイプしてもよい。コマンドモードにおける画像形成面上で行われるジェスチュア(身振り)は当該プログラムが作成した一つ又はそれより多くの抽象オブジェクトを識別するのに役立つ。本願の同日に出願され且つ本発明の譲受人に譲渡された米国特許出願番号第08,101,645号はポインティングデバイスの単純且つ自然なジェスチュアを用いたオブジェクト選択を記述している。ユーザは今度は、削除、移動、複写移動、回転、太さ変更、サイズ測定を行うか、さもなければ、選択されたオブジェクト(単数又は複数)を変更するため、ポインティングデバイス及び/又はキーボードを使ってさらなる命令を発してもよい。
【0010】
図1の(b)に関しては、描画モードでポインティングデバイスを用いてユーザは反転した”L”24を描画することを選ぶ。このコンピュータプログラムは、このストロークのコーナ(角)と共に、このストロークとその前のストロークの近接性から出現する追加の有効な空間ストラクチュアを検出する。これらのストラクチュアは、図の右下に形成されるコーナと上部左に形成される交差連結部を有する。このプログラムは、(i)一つ一つの線が短くて相対的に真っ直ぐなセグメント26、(ii)交差又はT字連結部によって境界付けられる曲線セグメント28、(iii)コーナによって境界付けられる曲線セグメント30、(iv)連結セグメントとコーナ(角)を通って連続する曲線セグメント32、及び(v) いくつかの突角した凸型経路を追跡することによって作成される曲線セグメントに対応する抽象オブジェクトを作成する。
【0011】
図2の(a)に示されているように、コマンドモードにおけるポインティングデバイスを使用して、ユーザは、矩形24の頂部に対応する短線セグメント40を選択し、且つこのセグメントを矩形の側の下の中間の位置まで並進するため、「移動」動作を実行する。このプログラムは、いくつかの抽象レベルのグラフィカルオブジェクトが他のセグメントに相対するこのセグメントの前の位置に依存して当該移動動作によって不要とされて、これらのオブジェクトが選択可能なオブジェクトのセットから取り去られることを認識する。このプログラムは、新しい突角した空間事象、特にセグメントの新しい配置によって作成される新しいT字連結部も認識する。新しい短いセグメント44、46、48、50、及び識別可能な矩形を反映する新しい凸型経路オブジェクトを含む適切な新しい抽象レベルオブジェクトが作成される。
【0012】
図2の(b)に示されているように、コマンドモードでポインティングデバイスを用いて、ユーザは矩形60を選択して、それを遠くへ移動する。このプログラムは、オブジェクト62及び64を残して、画像内のこの変更によって不要とされたいくつかの抽象レベルのオブジェクトを認識し、且つこのプログラムはユーザが操作するのに使用可能なオブジェクトのセットからこれらの(不要となった)オブジェクトを取り去る。
【0013】
この簡単なユーザ対話セッションは、本発明が、ユーザが彼らが画像形成装置上に存在する要素的画素値を知覚的に変換することができる多数の方法によって、オブジェクトを選択し且つ操作するのを許容することを示している。さらに、このユーザ対話セッションは、緊急の空間特性が生成されそして消去される場合、操作可能なオブジェクトのセットをダイナミックに更新することの重要性を示している。ペイント(着色)スタイル又は構造化グラフィックスタイルを用いて、上記のセッションにおいて実行されるように、目に見える変更の同じシーケンスを画像へ複写するため、画像編集ツールははるかに多数の相当に困難で且つより手間のかかるユーザアクション(動作)を必要とするであろう。
【0014】
図3の(a)及び(b)は、本発明がフリーハンド(手描きの)線描画エディタ又はあらゆる幾何学的エディタを補助する二つのシナリオを提示する。図3において、グラフィック入力ステーションで電気エンジニアは、アナログ入力信号がクロック信号によってゲート処理された時の結果を正確に構築する。図3の(b)においては、表にないロー(列)は、既に終了した表のその部分を、消去せずに再び書き込み、端に移動することによって埋め込まれる。特に、図3の(a)においては、ディスプレイスケッチパッド又は「ホワイトボード」のような電子データエントリディスプレイデバイス70で電気エンジニアが、アナログ入力信号72とクロック信号74を描画し、且つクロック信号によってゲート処理された時、このアナログ入力信号がどのように見えるか(ゲート処理された信号76)を見たいと思う。エンジニアは以下の工程を実行することによってこれを遂行する。(1)アナログ信号の描画を結果位置へ「複写移動(copy move )」78する。(2)クロック信号を結果位置へ「複写移動」80し、前記アナログ信号とオーバーラップする。(3)無関係なセグメントを選択し且つ削除(デリート)し、且つ図示されている結果82を残す。図3の(b)において、グループブレーンストーミングセッションにおいてミーティングファシリテータ(促進機:facilitator )が電子データ入力デバイス84におけるエントリの表を構築するようなオブジェクト選択システムの他の例が示されている。このグループは他のローがテーブル90の中間のエリア86に属することを決定する。新しいローが入る場所を開けるため、この表の部分を消去し且つ再描画しなければならないが、ファシリテータは、表90の適切な部分92を選択し且つ下へ移動し、且つ新しいエントリ94のみを描画することができる。
【0015】
グラフィカル入力及びディスプレイコンポーネント70は、一般に図3の(a)及び(b)に図示されているような作業面及び複数のアクセス可能な機能を用いる電子スケッチパッド又は「ライブボード」若しくは「ホワイトボード」のような電子入力デバイスである。作業面エリア110は、コンポーネント70の上部エリアであり、機能(ファンクション)アクセスは下部エリア112に沿って配置される。代表的なファンクションはデリート(削除)、移動、縮小、拡大、その他である。これらのファンクションは指示がオプショナル(選択可能)であり、且つこれらのファンクションの主要目的は、本発明の動作において固有である動作を定義することである。スタイラス又はライトペン、その他114のような好適なユーザ操作可能制御は入力シンボルを描画すると共にファンクションを選択するために用いられる。当技術の範囲における他の変換が用いられてもよいことが明確である。例えば、近接センサは、ディスプレイボードの近隣で使用されることができ且つ手又は他のタイプのポインタの動作が実行するのを感知することができる。さらに、データ入力は、ハードコピーからグラフィカルデータを入力するために走査デバイスによって行われてもよい。「ライブボード」構築の例は、同時係属出願である、1992年4月15日に出願された米国特許出願番号第 869,554号と、同日に出願された米国特許出願番号第 869,559号に見られ、本発明の譲受人に譲渡され、その内容が本明細書中に参照されることによって組み込まれている。これらのデバイスにおいて、上面領域全体110は、要するに、ユーザ操作制御などから入力されたデータに応答してその内部から画像が生成される対話型ディスプレイである。再画像形成(リイメージング)は、定義されたオブジェクトのユーザ操作から得られ、且つ図3の(a)及び(b)に示された実施例によって示されているように、同一面上にディスプレイされる。
【0016】
図4に関しては、図3の(a)に関して記述されているように、入力、ファンクション選択、及びディスプレイエリアを含むグラフィカル入力及びディスプレイコンポーネント70がマイクロプロセッサCPU(中央処理装置)96と結合されている本発明を実行するためのシステムが示されている。CPU96は、プログラムメモリ98から受け取られた命令によってコンポーネント70から信号を受け取り且つ処理する。データはプログラム操作によって編成され且つデータメモリ100内に記憶される。
【0017】
本発明は、機能的に指定された知覚のグループ化ルールのオープンエンド(開放端)セットが、グラフィカル画像データが入力され且つ編集される時、CPU96いよってダイナミック(動的)に用いられるのを可能にするデータストラクチュア及び動作の構成に対する新しく且つ独特の方法及び装置を提供する。図5に関して、データの入力及び編集に用いられることが要求される連続的に操作可能なコンポーネント(構成要素)は、(1)階層的格子データストラクチュア100と、第1次及び第2次のオブジェクト又はオブジェクトのセットにアクセスするために対応する動作、(2)空間的及びスケールインデックス付けされたブラックボードデータストラクチュア102と、トークンへアクセスするために対応する動作、(3)ビットマップデータストラクチュア104とその内部の画素の値へアクセスするために対応する動作、(4)空間的画像アナライザ106、及び(5)オブジェクトをオブジェクトのセットへグループ分けするための収集デバイス108、である。入力ディスプレイコンポーネント70は、CPU96へデータを提供し、次いで、CPU96は、グループ化ルールが、データストラクチュア100、102、104、106、及び108だけでなく、あらゆる追加のデータストラクチュア110へ用いられるように、調整し且つ実行するために動作する。
【0018】
これらのコンポーネントは、ユーザのアクセスの為に、抽象オブジェクトの、正確で、一貫しており、且つ知覚的に有効なセットを維持するため、基本的な動作を適切な回数だけ用いる制御アーキテクチュアのクラスの下で編成される。以下のセクション1は制御アーキテクチュアの発行について記述し、セクション2.1〜2.5は利用可能なコンポーネントデータストラクチュア及びそれらのファンクションについて記述し、最後に、セクション2.6〜2.7はコンポーネントが臨界的制御レベルの基本的動作を支援するために用いられる方法を詳しく説明している。
【0019】
本発明の目的のため、本発明は手描きの線描画エディタの関係において説明されている。しかしながら、本発明の原理及び技術は、ユーザが所定のクラスの構造化されたオブジェクトタイプ(例:円、矩形、多角形)から選択することによってオブジェクトの描画を開始する構造化されたグラフィックススタイル画像エディタのような他のグラフィック環境に等しく良好に適用される。例えば、ユーザが、1次元の平面曲線からなるオブジェクトテキストとは異なって、画像の空間的に拡大した(2次元において)領域を操作するペイントスタイル画像エディタへ、及びテキストがキーボードによって入力され且つ適切なジェスチュアによって選択され且つ配列されるテキストエディタに適用される。
【0020】
1.制御アーキテクチュア及び基本動作
【0021】
線描画エディタアプリケーションは、本発明を含むコンピュータ支援グラフィカル編集ツールに対するプロトタイプの制御ストラクチュアが示されている図6に示されている以下の基本動作を利用することによって本発明を組み込むことができる。ユーザ動作は丸いボックスで囲まれて示されており、コンピュータ実行機能は矩形ボックスで示されている。オペレーショナル機能の基本シーケンスは、
1. ストローク又は曲線を描画せよ、120
2. ストローク又は曲線上のコーナ(角)を検出せよ、122
3. オブジェクトを選択せよ、124
4. オブジェクトを画像へ追加せよ、126
5. 画像からオブジェクトを取り去れ、130
6. 所望される変換を指定せよ、132
7. オブジェクト(単数又は複数)を変換せよ、128
8. 変換されたオブジェクトを画像へ追加せよ、134
9. 記憶及び/又はディスプレイせよ、136
である。これらの動作はユーザ/機械の対話及び/又は変換サイクルのダイナミックスを支配するあらゆるクラスの制御アーキテクチュア下で用いられてもよい。
【0022】
このストラクチュアにおいて、ユーザは、新しい曲線が画像内へ繰り返し描画されるか又は現存の曲線が選択され且つ変更され、次いで画像へ追加される、サイクルへ参加する。この図形における矩形のボックスは、画像内のマークの外観及び編成に関して正確且つ首尾一貫した情報を保持するのに必要な基本動作だけでなく、知覚的に自然なユニットに関するグラフィックオブジェクトを操作するためにユーザが利用可能な抽象レベルの構築
(構成)を識別する。上記の制御ストラクチュア下で、ユーザ描画(DRAW)モード又はコマンド(COMMAND )モード命令は、システム描画変更とストラクチュア変換動作を交互に行う。
【0023】
本発明を組み込むコンピュータ支援グラフィカル編集ツールに対するアドバンスト(最新)制御ストラクチュアを示す図7に示されているストラクチュアのように、より複雑な制御ストラクチュアも本発明によって支援される。図7に示されているストラクチュアは、ユーザ定義動作として丸いボックスを有し、且つコンピュータ実行機能として矩形のボックスを有する。この制御ストラクチュアは、二つの手段によって非常に大きなストラクチュア変換ルールの簡単なアプリケーションを可能とする。第1に、少ないセットの「コア」ストラクチュア変換ルールのみが各ユーザジェスチュア(身振り)又は命令の後で自動的に用いられ、且つより複雑なストラクチュアを識別しようとする残りのもっと多くのアドバンストルールが、「使用可能サイクル(cycles-available)」を基本としてそのバックグラウンド(背景)で動作する。このストラクチュアを明示的に表わす抽象オブジェクトは、階層的格子データストラクチュア100(図5)とそれが発見された時のグラフィカルデータストラクチュアへ加えられる。第2に、アドバンストルールは、複雑なストラクチュアがユーザがもっとも関心を持ちそうな画像領域内で求められる空間的にフォーカス(焦点合わせ)された方法で用いられる。ユーザが関心を持つ場所(軌跡)、即ち、ユーザが最も最近描画又は移動コマンドを実行した位置、ユーザが最近ポインティングデバイスを指示した領域、又は物理的画像形成面の近隣で一組の近接性センサがユーザが彼の手によってジェスチュアを示したことを決定した領域、がヒューリスティック(発見的)ベーシスで決定される。図7に関しては、ディスプレイコンポーネント138へ入力されたデータが、入力されたオブジェクトとして機能ブロック146へ提供される。非活動状態の非決定ブロック140の期間中に感知されたオブジェクトの描画が終了すると、ルーチン141において、ユーザによってこのようにヒューリスティックに定義されたエリアに基づいてコンピュータによって当該領域が推論される。これは、タイムラインベーシスで、入力されたデータの位置を単純に記憶する基本ルーチンを介して実行され、最新データが入力し、最初のデータが出力される。ルーチン142において、コンピュータは、複雑なストラクチュア変換ルールを、推論された空間的にフォーカスされたエリア内で検索されるオブジェクトへ用いる。得られる定義されたオブジェクトは、ルーチン144において、ディスプレイするために記憶される。次いでユーザは、ルーチン146においてオブジェクトを描画すること、ルーチン148においてオブジェクト選択を開始してオブジェクトを取り去ることよって定義されたオブジェクトと対話する。次いで、描画されたオブジェクトは、ルーチン150において、分解されるか又はこれ以降定義されるプライムオブジェクト(Prime Objects )へ分解される。これらの分解された又はプライムオブジェクトは、ルーチン152において、プライムオブジェクトストラクチュアだけでなくコンポジットオブジェクトストラクチュアを更新するために使用される。ルーチン154において、基本構造的変換ルールが、コンポジット(合成)オブジェクトストラクチュア144を更新するため、更新されたプライムオブジェクトストラクチュアへ用いられる。オブジェクトを取り去る時、ルーチン148において、ユーザは画像内のオブジェクトを最初に選択する。次いで、ルーチン156において、コンピュータはオブジェクトを取り去るために動作する。ルーチン158において、移動、削除、形状変更、その他のような所望される変換が選択される。ルーチン160において、コンピュータは所望される変換を実行し、これによってルーチン152においてプライムオブジェクトストラクチュアを更新し、且つルーチン154において基本的なストラクチュア変換ルールを適用する。
【0024】
ルーチン130及びルーチン156における「画像からオブジェクトを取り去れ」動作とルーチン126における「オブジェクトを画像へ追加せよ」動作が以下に詳細に説明されている。描画オブジェクトルーチン146はポインティングデバイスの位置をトラッキングすることによって実行される。ルーチン122における「コーナを検出せよ」動作を実行するための多数の方法がコンピュータビジョンの文献において見られる。ルーチン160における「オブジェクトを選択せよ」動作は、本願と同日に出願された米国特許出願番号08/101,645号により詳細に記述されており、その開示内容が本明細書中に参照することによって組み込まれている。最終的に、ルーチン160における「オブジェクトを変換せよ」動作は、曲線への単純なアフィン変換又は他の変換によって実行される。
【0025】
2.データストラクチュア及び基本動作
【0026】
2.1 オブジェクト格子
【0027】
図5に関して、並びに図8の(a)乃至(c)及び図9のチャートと結び付いて、オブジェクト格子データストラクチュア100は、画像内の画素のレベルにおける要素のオブジェクトとユーザによって選択され且つ操作されることができる画像オブジェクトの関係を保持する。プライムオブジェクト(Prime Object)とコンポジット(合成)オブジェクト( Composite Object )の二つのタイプのオブジェクトが定義される。プライムオブジェクト(PO)はより大きなグラフィカルストラクチュアが合成される最小のグラフィカルエレメント(要素)である。フリーハンド描画エディタにおいて、POは、画像内の「黒」又は「オン」(オン状態の)画素の鎖状の外観を記述する単純な途切れないで且つ交差しない曲線セグメントと対応している。POはしかしながら(画素は不変だが)不変ではない。POは、一般に、同一画像空間をカバーするより小さなPOのセットへ分割されることにより又は他のPOによって併合されることにより破壊されることもある。コンポジットオブジェクト(CO)は、一組のプライムオブジェクトと対応しており、これによって個別の又は結合した初期の(基本の)グラフィカルエンティテイと関連する(例えば、フリーハンド描画エディタにおける曲線)。この変換下で、プライムオブジェクトは画像内の画素の描写された外観と直接的に対応しているが、コンポジットオブジェクトはそれらが構成されるPO(プライムオブジェクト)を介してのみ画像の物理的外観と関連する。画像と対応するCOのセットは、ユーザが、画像マークの知覚的にコヒーレントな集合へのアクセスを得るように抽象オブジェクトのセットを構築する。両タイプのオブジェクトは、空間位置、大体の配向、及びサイズの特性、並びに任意の他の特性の属性をとる。POとCOの関係はポインタによって維持され、各COは当該COと関連するPOの支持リストを保持し、各POは当該POが支援するCOのリストを保持する。図8の(a)乃至(c)及び図9は、単純な画像に対するオブジェクトラティス(格子)を描いている。図8の(a)は、ディスプレイされた画像又はオブジェクトを示す。図8の(b)は、図8の(a)のプライムオブジェクトへのオブジェクトの分解(ブレークダウン)を示す。図8の(c)は、プライムオブジェクト(PO)が一連のコンポジットオブジェクト(CO)としてさらに定義される過程を示す。図9は、プライムオブジェクト(PO)とコンポジットオブジェクト(CO)の関係を示す。POとCOのマッピングは一般に多対多(関連)であることに注目されたい。この特性は、所与のパターンの「オン」状態の画像画素の複数の知覚的変換のフレキシビリティを達成する。さらに、各プライムオブジェクトは、POによって記述される曲線の各端の位置及び配向を明示的に記述する、ペアのオブジェクトを有する双方向ポインタのストロークエンド(Stroke-End)(SE)を保持する。
【0028】
オブジェクト格子内に用いられるルーチンを定義する図13に示されている動作のシーケンスは以下の通りである。
【0029】
1. 画像データを記憶せよ、202
2. 画像データから画素識別を記憶せよ、204
3. POを識別せよ、206
4. COを識別せよ、208
5. POのリストを作成せよ、210
6. COのリストを作成せよ、212
7. COに対応するPOのリストを作成せよ、214
8. POに対応するCOのリストを作成せよ、216、
9. POに対応する一連のペアのSEを作成せよ、218
【0030】
2.2 インデックス付けされたグラフィカルデータストラクチュア
【0031】
プライムオブジェクト、コンポジットオブジェクト、及びストロークエンドは画像内の特性の位置、配向、及びサイズを有するグラフィックエンティテイである。例えば、POの位置は当該POが対応する平面曲線の重心として定義される。本発明の多くの重要な動作は、画像の所与の近隣にあり、及び/又は所与の範囲内のサイズを有するオブジェクトのサブセットへの迅速なアクセスに依存する。図14に関して、この理由のために、空間的/スケールのインデックス付けされたグラフィカルデータストラクチュア102は、ルーチン220において、それらの位置及びサイズによってオブジェクト又はトークンを編成する。データストラクチュア102はより大きなサイズのオブジェクトを連続的に保持する2次元アレイ(配列)のスタックに類似している。これらのアレイの各要素的アレイは、そのサイズがデータストラクチュア102のスライスのサイズの範囲、又はスケールに依存する、制限された空間的近隣内にあるオブジェクトのリストを維持する。オブジェクトは適切なアレイビンにアクセスすることによって空間的位置及びサイズによってインデックス付けされる。データストラクチュア102を利用する一般的な動作は、「PO−Nのいづれかの端の距離d内のすべてのトークンをリターンせよ」である。スケール−スペースブラックボードと呼ばれるデータストラクチュア102は、例えば、Eric Saund著の1990年発行のPAMIにおけるIEEEのトランザクションの第12巻、第 8号の817 乃至830 頁の"Symbolic Construction of 2D Scale-space Images"と題された公開文献に記述されている。
【0032】
図14に示されているスケール−スペースブラックボード内にオブジェクトを置くステップは以下のように示されている。
【0033】
1. サイズによってオブジェクトを編成せよ、220
2. サイズによってオブジェクトのリストを作成せよ、222
3. 位置によってオブジェクトを編成せよ、224
4. 位置によってオブジェクトのリストを作成せよ、226
5. オブジェクトのグループに対して空間的近隣を定義せよ、228
6. 各オブジェクトへトークンを割当てよ、230、
及び
7. データストラクチュアアレイ内のそれぞれのトークンをグループ毎に配列せよ、232
【0034】
2.3 ユーティリティビットマップ
【0035】
手描きの線描画を操作可能なユニットへ小分けするために本発明において識別される基準の中には、有効な知覚的事象が曲線の交差において発生するということがある。結果的に、POによって記述されるように、曲線のセグメントの交差部及び連結部を迅速且つ効率的に識別することが必要である。この機能を容易にするため、ユーティリテイビットマップデータストラクチュア104は画像内に存在する全ての曲線の中央線路を含む。新しい曲線が導入される時、描画モードでストークを作成するユーザによって、又はコマンドモードにおいて現在ストロークを移動するユーザによって、新しく配置された曲線の経路はユーティリテイビットマップ内に追跡され、且つ現在曲線とのあらゆる交差がすでに「オン」状態の画素の存在によって検出される。すでに存在する曲線と対応するPOの識別は、交差画素の近隣における全てのPOをスケール−スペースブラックボード102から収集し次いで順にそれぞれを検査することによって容易に設定される。
【0036】
ユーティリテイビットマップ内に用いられるルーチンを定義する動作のシーケンス即ちルールは以下の通りである。
【0037】
1. データ入力、250
2. パス追跡、252
3. 現在曲線との交差を選択せよ、254
4. 交差画素の近隣において全てのPOを収集せよ、256
5. 現在の曲線に対応するPOを識別せよ、258
【0038】
2.4 空間的分析動作
【0039】
本発明の目的は、ユーザへユーザの下位レベルの内部的ビジュアル知覚を反映する画像の「チャンク(塊)」への明示的アクセスを提供することであるので、空間的画像分析コンポーネント106は、上記のデータストラクチュア内に保持されるグラフィックオブジェクトの間の空間的な関係へアクセスし且つこの関係を変換するために必要とされる。例えば、二つのプライムオブジェクトがそれらの対応するストロークエンドの二つが互いに非常に近接しており且つ互いに約90°の角度で配向されているような近接性を生じる時、これらの曲線がコーナで整合するような視覚的な外観が生成される。図10の(b)を参照されたい。この幾何学的な特性は、適切な抽象グラフィックオブジェクト(CO)が、ユーザがこの角を形成するのに参与するPOの内の両方を包囲するために使用可能とされることができるようにプログラムにより検出及び記録されなければならない。本発明は図10の(a)〜(e)に示されているように以下の空間的分析動作を利用する。
【0040】
−ユーザによって描画された単一曲線上でコーナを検出せよ。図10の(a)。
【0041】
−二つのPO間でコーナ構成を検出せよ。図10の(b)。
−二つのPO間で孤立した連結部構成を検出せよ。図10の(c)。
【0042】
−T型連結部を横切ってPOの整合を検出せよ。図10の(d)。
−交差連結部を横切ってPOの整合を検出せよ。図10の(e)。
【0043】
これらの機能を実行するためのプログラムルーチンは直接的であり、且つ従来の技術における当業者に理解されよう。専門用語の「連結部を「分解」すること」は、相互の空間的関係がユーザ動作によって変わってしまったと疑われるPOのセットへのこれらの空間的分析動作の適用に関連する。
【0044】
空間的分析(Spatial Analysis)において用いられるルーチンを定義する動作のシーケンスは以下に示されている。
【0045】
1. 単一曲線上でコーナを検出せよ。270。
2. 二つのPO間でコーナを検出せよ。272。
【0046】
3. 二つのPO間で孤立した連結部構成を検出せよ。274。
4. T連結部を横切ってPOの整合を検出せよ。276。
【0047】
5. X連結部を横切ってPOの整合を検出せよ。278。
【0048】
2.5 グループ化動作
【0049】
ルーチン108において、ユーザは、各々がその構成要素のプライムオブジェクト(PRIME-OBJECT)へのポインタを保持するコンポジットオブジェクト(COMPOSITE-OBJECTS )のレベルでグラフィックオブジェクトへアクセスし且つ変更する。画像が線の描画、消去、又は移動によって変更される時、「オン」状態の画素の位置の記述がPOのレベルで変化する。これらの変化は、ユーザアクセス可能なオブジェクトが曲線セグメントの有効且つ知覚的に顕著な集合を常に反映するようにCOレベルまで上方伝搬しなければならない。POとCOの正確且つ首尾一貫した関係を保つためにそれらが支援する責任は、一組のトークングループ化動作から始まる。これらの動作は、所与のPOの集合に対してオブジェクト格子100内で何のCOが構築されるべきかに対するルールを実行する。本発明の設計アーキテクチュアの下では、ルールセットは拡張可能であり且つ指定されたルールは特定の描画アーキテクチュア定義域のストラクチュア特性の特定の種類を利用可能とするために蓄積されてもよい。特に、以下の基本ルールは手描き及び構造化曲線編集アプリケーションへ適している。図11の(a)〜(c)及び図12の(a)〜(c)を参照されたい。図11の(a)の基本オブジェクトは以下のように分解される。
【0050】
1. 一つのCOが全てのPOと固有に対応する。図11の(b)。
2. COはコーナを介してPOを連結する全ての経路に対して表明されるが、孤立した端部及び連結部において停止する。図11の(c)。
【0051】
3. COは連結部を横切って整合するPOを連結する全ての経路に対して表明されるが、コーナで停止する。図12の(a)。
【0052】
4. COは連結部を横切って整合するPOを連結する全ての経路に対して表明されるか又はコーナで連結される。図12の(b)。
【0053】
5. 一つのCOが凸部経路に沿って連結するPOの全てのセットに対して表明される。図12の(c)。
【0054】
これらのルールは、PO間のコーナと整合リンクがそれらの対応するストロークエンド(STROKE-END)トークン内で保持される、POのセットを介して経路を追跡することにより主に実行される。これらのルールの実行には、一つを超えるルールを満たすPOの経路又はセットが一つ及び一つだけのCOと対応することに注意されたい。
【0055】
図17に示され且つグループ化動作において用いられるルーチンを定義する動作のシーケンスは以下の通りである。
【0056】
1. 操作を定義せよ、302。
2. 新しい画素を囲むためにPOを変更せよ、304。
【0057】
3. 新しい画素に対応するためにCOを変更せよ、306。
4. オブジェクト格子における結果を記憶せよ、308。
【0058】
2.6 基本的制御レベル動作:画像へオブジェクト(単数又は複数)を追加せよ
【0059】
画像へ一つ又はそれより多くの曲線セグメントを追加するためのルーチンは図18に概略的に示されている。各曲線セグメントは対応するストロークエンドトークンを含むプライムオブジェクトとして記述されていると仮定される。
【0060】
1. 追加されたPOが前もって存在するPOによって新しい交差連結部を形成する場所を検出せよ、ルーチン310。これは、セクション2.3に記述されているように、ユーティリテイビットマップデータストラクチュア104を用いて行われる。各POと対応する交差場所はそのPOに対する中断点として記録される。
【0061】
2. 追加されたPOが前もって存在するPOによるT型連結部を形成する場所を検出せよ、ルーチン312。T型連結部がいくらかの距離許容範囲をもって検出されるのが所望される。即ち、この場合曲線セグメントは実際には接触しない。是に対して、Tの「水平バー」を形成する前もって存在するPOによって形成されるT型連結部は、ユーティリティビットマップ(前もって存在するPOの経路が既に着色されている)を用いて且ついくつかの許容範囲距離に対して各追加されたPOの各端より上の経路を追跡することによって検出される。当該Tの水平棒を形成する追加されたPOによって形成されるT連結部は全ての追加されたPOが着色されているスクラッチユティリティビットマップを用いて検出される。次いで、追加されたPOのいづれかの近隣の前もって存在するPOはスケールスペースブラックボード(Scale-Space Blackboard)102を用いて発見される。これらの各々はそのエンドポイント(端点)より上のスクラッチユーティリティビットマップへ追跡され、且つ追加されたPOの内の一つによって既に着色された画素を捜し求める。あらゆるこのようなT型交差部が検出された場合、Tの水平棒を形成する追加のPOの一致は、全ての追加されたPOをスクラッチスケールスペースブラックボードへ書き込み、交差部の近隣において追加されたPOを集め、且つどのPOの鎖コード曲線がそのポイントを通過するかを見るためにこれらを順にテストすることによって見つけられる。中断点はステップ1で発見された交差連結部に対する場合、T連結部に対して表明される。
【0062】
3. 交差部分又はT型連結部によって形成された少なくとも一つの中断点を有する前から存在しているPOと追加されたPOの各々は不要となる、ルーチン314。各々は、ルーチン316において、中断点に従って、POの新しいセットへ細分割される。オブジェクト格子データストラクチュア100の双方向ポインタはルーチン318において更新され、これによって現在不要のPOによって以前は支援されたCOは、不要のPOが細分割された新しいPOのセットによって支援されるようになる。しかしながら、各不要のPOと固有に対応するCOはそれ自体が不要となり、ルーチン320においてオブジェクト格子100から取り去られる。不要POと対応する全てのSEはルーチン322においてスケールスペースブラックボード102から取り去られ、且つルーチン324において全ての新しく作成されたSEがスケールスペースブラックボード102へ書き込まれる。ルーチン326において、この手続きによって作成されるか或いはこの手続きによって影響されたPOと対応する全てのSEが「影響されたSE」としてマーキングされる。
【0063】
4. ルーチン326において、影響されたSEのセットは「連結部を分解せよ」手続き104へパスされ、影響されたSEとそれらが対応するPOの空間的な関係がセクション2.4に説明されているように分析される。各SEは、あるとすれば、近隣のどのSEがどれと孤立した連結部、整合連結部、又はコーナ連結部を形成するかによってラベル付けされる。すべての新しく設定されたSE、及びその空間的な関係状態が分解手続きによって画像変更によって影響を受けたと判別されたSEのセットは「変更されたSE」とマーキングされる。
【0064】
5. ルーチン328において、孤立した連結タイプの連結を形成する変更されたSEの全てのペアが検出され且つそれらのそれぞれのPOは一緒に併合される。ルーチン330においてこれらの現在不要なPOはオブジェクト格子データストラクチュアから取り去られ、前はPOと固有に対応していたCOもルーチン332で除去される。これらは、ルーチン334において単一の新しいPOによって、及びルーチン336においては固有に対応する単一の新しいCOによって置換される。
【0065】
6. ルーチン338において、変更されたSEと対応するPOは抽出され、且つルーチン340において、セクション2.5内に記述されているルールに従ってユーザアクセス可能なCOを生じる空間的に関連したPOを通った経路を更新するためにシードとして記憶され且つ使用される。
【0066】
「画像へオブジェクトを追加せよ」において用いられるルーチンを定義する図18の動作のシーケンスは以下の通りである。
【0067】
1. 古いPOによって新しいPOの交差位置を検出せよ、310。
2. 現存POによってJの追加されたPOのTの機能を検出せよ、312。
【0068】
3. 交差又はTによって形成された前から存在しているPO及び追加されたPOを削除せよ、314。
【0069】
4. 新しいPOセットを作成せよ、316。
5. 双方向ポインタを更新せよ、318。
【0070】
6. 不要POと対応するCOを取り去れ、320。
7. 不要POと対応するCOを取り去れ、322。
【0071】
8. 新しいSEをデータストラクチュアへ書き込み、マークせよ、324。
9. 変更されたSEとしてマークされたSEを分解せよ、326。
10. 変更されたSEを検出し且つ対応するPOと併合せよ、328。
11. 不要POを削除せよ、330。
12. 不要COを削除せよ、332。
13. 不要POを新しいPOと置換せよ、334。
14. 不要POを新しいPOと置換せよ、336。
15. 変更されたSEと対応するPOを抽出せよ、338。
16. 抽出されたPOを記憶せよ、340。
【0072】
2.7 基本的制御レベル動作:画像からオブジェクトを取り去れ
【0073】
画像から一つ又はそれより多くの曲線セグメントを取り去るためのルーチンが図19において概略的に示されている。各曲線セグメントは、対応するストロークエンドトークンを含むプライムオブジェクトとして記述されると仮定される。
ヒューマンユーザはコンポジットオブジェクトのレベルで画像と対話するが、取り去られるべきCOと対応するPOはオブジェクト格子データストラクチュアにおける親及び/又は子の関係を用いて容易に推論できる。
【0074】
1. ルーチン352において、取り去られるべきあらゆるPOを、スケール−スペースデータストラクチュアから及びオブジェクト格子データストラクチュアから削除せよ。
【0075】
2. ルーチン354において、そのサポートがオブジェクト格子からあらゆる取り去られるべきPOを含む全てのCOを削除せよ。
【0076】
3. ルーチン356において、スケール−スペースデータストラクチュアから取り去られるべきあらゆるPOと対応するSEを削除せよ。これらの取り去られるべきSEが取り去られないあらゆるSEと整合を形成するか又はコーナ連結を形成するか、又はあらゆる取り去られないSEがあらゆる取り去られるべきSEからの閾値距離内にあるか否かに注意されたい。これらはルーチン358において「影響されたSE」とマークされる。
【0077】
4. ルーチン360において、全ての影響されたSEにおいて「連結部を分解せよ」動作を実行せよ。取り去られようとするPOの除去の結果として、どの影響されたSEが他のSEと異なる整合の又はコーナの空間的関係を割当てられるかに注意されたい。これらは、ルーチン362において「変更されたSE」としてマークされる。
【0078】
5. ルーチン364において、孤立した連結タイプの連結を形成する変更されたSEの全てのペアが検出され且つそれらの各POが共に併合される。新しく不要となったPOは、ルーチン366において、オブジェクト格子データストラクチュアから取り去られ、前もって固有にそれらと対応していたCOもルーチン368で除去される。それらは単一の新しいPO及び固有に対応する単一の新しいCOによって置換される。
【0079】
6. ルーチン370において変更されたSEと対応するPOが抽出され、且つこれらはセクション2.5に記述されているルールによってユーザアクセス可能なCOを発生する空間的に関連するPOを介して経路を更新するためにシードとして使用される。
【0080】
図19における「画像からオブジェクトを取り去れ」において用いられるルーチンを定義する動作のシーケンスは以下の通りである。
【0081】
1. データストラクチュアから不要POを削除せよ、352。
2. オブジェクト格子から不要POを削除せよ、354。
【0082】
3. データストラクチュアから不要POと対応するSEを削除せよ、356。
【0083】
4. 連結SEを「影響された」とマークせよ、358。
5. 影響されたSE上に連結解除を実行せよ、360。
【0084】
6. 取り去られたPOによって変更された影響されたSEを「変更されたSE」とマークせよ、362。
【0085】
7. 変更されたSEのペアを検出し且つPOと併合せよ、364。
8. 不要POを取り去り且つ置換せよ、366。
【0086】
9. 不要COを取り去り且つ置換せよ、368。
10. 変更されたSEと対応するPOを抽出せよ、370。
【0087】
本発明によれば、いくつかのオブジェクトが複数の役割を遂行する(即ち格子内に複数の親を有する時)。「移動」などのいくつかの動作の後で、これらのオブジェクトはこれらの複数の役割を保護するために複写されることができる。
【0088】
複数の役割の例が図20の(a)、(b)、及び(c)に示されている。ここで、矩形の位置AとBの間に共用の境界を形成するように意図されている分割中央線382を有する矩形のようなオブジェクト380が示されている。この意図はユーザ定義又はコンテクスト定義であってもよい。図20の(b)における移動動作においては、部分Aは部分Bから引き離される。線382は固定部分B上に保持されるが、部分Aは移動の間は点線で描かれた境界384において示されている。移動が終了した後、線382の複写である境界384はオブジェクトのパーマネント部分から作成されている。複数の役割概念を定義するグループ化ルールは他の動作に関して上記に説明されているように新しい境界に対してデータベースを提供する。
【0089】
いくつかのエレメントは効率性の目的のためだけに必要とされる。従って、図5に関して記述されているブラックボード及びビットマップデータストラクチュアは本発明の広い態様に対して不可欠である。画像アナライザ(分析器)は空間的関係が演算されるのを可能とするあらゆるデータストラクチュアを使用することができる。
【0090】
本明細書中に開示されている本発明の実施例のいくつかの変更及び訂正は当技術の平均的な当業者に容易に理解されよう。さらに、ディジタイザシステムにおける調整決定以外に本発明を使用できることも当業者に容易に理解されよう。
【0091】
【発明の効果】
本発明は、個々の画素エレメントよりももっと抽象的であるが、現存の構造化グラフィックスエディタによって許容されるよりももっとフレキシブルなレベルにおいてグラフィカルエレメントの操作を可能とする。
【図面の簡単な説明】
【図1】(a)はディスプレイされた画像のオブジェクト分析を示す図である。
(b)はディスプレイされた画像のオブジェクト分析を示す図である。
【図2】(a)はディスプレイされた画像のオブジェクト分析を示す図である。
(b)はディスプレイされた画像のオブジェクト分析を示す図である。
【図3】(a)は操作された画像の電子的ディスプレイを示す図である。
(b)は操作された画像の電子的ディスプレイを示す図である。
【図4】本発明のシステム動作を示すルーチン図である。
【図5】オブジェクトをグループ化するための動作の主なシーケンスを示す編成図である。
【図6】オブジェクト操作のための動作のシーケンスを示すフローチャートである。
【図7】オブジェクトの変換及び更新を示すフローチャートである。
【図8】(a)は画像オブジェクトとサブオブジェクトの関係を図形的に示す図である。
(b)は画像オブジェクトとサブオブジェクトの関係を図形的に示す図である。
(c)は画像オブジェクトとサブオブジェクトの関係を図形的に示す図である。
【図9】画像オブジェクトとサブオブジェクトの関係を図形的に示す図である。
【図10】(a)はストローク分析を示す図である。
(b)はストローク分析を示す図である。
(c)はストローク分析を示す図である。
(d)はストローク分析を示す図である。
(e)はストローク分析を示す図である。
【図11】(a)はサブオブジェクトの選択を示す図である。
(b)はサブオブジェクトの選択を示す図である。
(c)はサブオブジェクトの選択を示す図である。
【図12】(a)はサブオブジェクトの選択を示す図である。
(b)はサブオブジェクトの選択を示す図である。
(c)はサブオブジェクトの選択を示す図である。
【図13】オブジェクト格子動作に対するルーチンを示す図である。
【図14】グラフィカルデータストラクチュア動作に対するルーチンを示す図である。
【図15】ユーティリティビットマップ動作に対するルーチンを示す図である。
【図16】空間的分析動作に対するルーチンを示す図である。
【図17】グループ化動作に対するルーチンを示す図である。
【図18】「画像動作へオブジェクトを追加せよ」動作に対するルーチンを示す図である。
【図19】「画像動作からオブジェクトを取り去れ」動作に対するルーチンを示す図である。
【図20】(a)は共用境界オブジェクトに対する複数の役割を示す図である。
(b)は共用境界オブジェクトに対する複数の役割を示す図である。
(c)は共用境界オブジェクトに対する複数の役割を示す図である。
【符号の説明】
10 ”L”型曲線
12 画像形成面
14 抽象オブジェクト
16 コーナー(かど)
18 抽象オブジェクト
Claims (1)
- ユーザ選択の操作機能に応答する、グラフィカル抽象オブジェクトに対するオブジェクト指向グラフィック入力及びディスプレイシステムであって、
入力手段、ディスプレイ手段、及び、機能選択手段を含み、該入力手段はグラフィカル抽象オブジェクトを該ディスプレイ手段へ入力するため、及び、該機能選択手段でグラフィカル抽象オブジェクトを操作する機能を選択するために操作される、データストラクチュアと、
前記データストラクチュアから送信される、前記ディスプレイ手段に入力されるグラフィカル抽象オブジェクトを表現するデータ信号へ応答し、入力された該グラフィカル抽象オブジェクトを該グラフィカル抽象オブジェクトの特徴に基づいて、複数の要素オブジェクトへ分解する格子データストラクチュアと、
分解された複数の該要素オブジェクトの少なくとも一が少なくとも一の要素オブジェクトのグループに含まれる様に、複数の該要素オブジェクトを要素オブジェクトのグループへ編成する手段と、
前記グラフィカル抽象オブジェクトの全体又は部分になされるべき機能のユーザ選択に基づいて、前記データストラクチャ又は前記機能選択手段の調整により、前記グループへ編成する手段において編成された前記要素オブジェクトのグループを別の要素オブジェクトのグループへ再編成する手段と、
を備えるシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/101,646 US5553224A (en) | 1993-08-04 | 1993-08-04 | Method for dynamically maintaining multiple structural interpretations in graphics system |
US101646 | 1993-08-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0793527A JPH0793527A (ja) | 1995-04-07 |
JP3974196B2 true JP3974196B2 (ja) | 2007-09-12 |
Family
ID=22285716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17527894A Expired - Lifetime JP3974196B2 (ja) | 1993-08-04 | 1994-07-27 | オブジェクト指向グラフィック入力及びディスプレイシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US5553224A (ja) |
EP (1) | EP0637812B1 (ja) |
JP (1) | JP3974196B2 (ja) |
DE (1) | DE69426281T2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3660366B2 (ja) * | 1993-12-28 | 2005-06-15 | 富士通株式会社 | 図形を用いたプログラミングシステム |
JP3483333B2 (ja) * | 1995-02-23 | 2004-01-06 | キヤノン株式会社 | 図形処理方法及び装置 |
US5664180A (en) * | 1995-03-20 | 1997-09-02 | Framework Technologies Corporation | Design tool for complex objects which links object structures of a design object in multiple design domains |
US6047309A (en) * | 1995-10-02 | 2000-04-04 | International Business Machines Corporation | Recording observed and reported response characteristics at server and/or client nodes in a replicated data environment, and selecting a server to provide data based on the observed and/or reported response characteristics |
US6366921B1 (en) | 1999-02-09 | 2002-04-02 | International Business Machines Corporation | System and method for data manipulation in a dynamic object-based format |
US6459442B1 (en) * | 1999-09-10 | 2002-10-01 | Xerox Corporation | System for applying application behaviors to freeform data |
JP2001236051A (ja) * | 1999-11-30 | 2001-08-31 | Nokia Corp | 背面対話式ハンドヘルド・ディスプレイ装置 |
US8806319B1 (en) * | 2000-04-12 | 2014-08-12 | Ptc Inc. | Method and apparatus for linking non-geometric data to geometric elements of a CAD file independent of the proprietary CAD file format |
US6883201B2 (en) * | 2002-01-03 | 2005-04-26 | Irobot Corporation | Autonomous floor-cleaning robot |
US7136082B2 (en) * | 2002-01-25 | 2006-11-14 | Xerox Corporation | Method and apparatus to convert digital ink images for use in a structured text/graphics editor |
US6903751B2 (en) * | 2002-03-22 | 2005-06-07 | Xerox Corporation | System and method for editing electronic images |
US20070162848A1 (en) * | 2006-01-09 | 2007-07-12 | Apple Computer, Inc. | Predictive styling |
US7907141B2 (en) * | 2007-03-23 | 2011-03-15 | Palo Alto Research Center Incorporated | Methods and processes for recognition of electronic ink strokes |
US8014607B2 (en) * | 2007-03-23 | 2011-09-06 | Palo Alto Research Center Incorporated | Method and apparatus for creating and editing node-link diagrams in pen computing systems |
US7725493B2 (en) * | 2007-03-23 | 2010-05-25 | Palo Alto Research Center Incorporated | Optimization method and process using tree searching operation and non-overlapping support constraint requirements |
US8261200B2 (en) * | 2007-04-26 | 2012-09-04 | Fuji Xerox Co., Ltd. | Increasing retrieval performance of images by providing relevance feedback on word images contained in the images |
ES2818348T3 (es) * | 2008-08-07 | 2021-04-12 | Mitsubishi Electric Corp | Dispositivo de circuito integrado de semiconductores, dispositivo de control de aparato de instalación y dispositivo de visualización de estado del aparato |
US8466879B2 (en) * | 2008-10-26 | 2013-06-18 | Microsoft Corporation | Multi-touch manipulation of application objects |
US8477103B2 (en) | 2008-10-26 | 2013-07-02 | Microsoft Corporation | Multi-touch object inertia simulation |
KR101784877B1 (ko) * | 2010-07-12 | 2017-11-07 | 삼성전자주식회사 | 휴대용 단말기에서 메뉴 항목 관리 방법 및 장치 |
JP2013003596A (ja) * | 2011-06-10 | 2013-01-07 | Sony Corp | 情報処理装置、プログラム及び情報処理方法 |
US9317937B2 (en) * | 2013-12-30 | 2016-04-19 | Skribb.it Inc. | Recognition of user drawn graphical objects based on detected regions within a coordinate-plane |
US10121232B1 (en) * | 2015-12-23 | 2018-11-06 | Evernote Corporation | Visual quality of photographs with handwritten content |
US10755029B1 (en) | 2016-01-05 | 2020-08-25 | Quirklogic, Inc. | Evaluating and formatting handwritten input in a cell of a virtual canvas |
US11587346B2 (en) | 2020-12-10 | 2023-02-21 | Microsoft Technology Licensing, Llc | Detecting ink gestures based on spatial and image data processing |
US11531454B2 (en) * | 2020-12-10 | 2022-12-20 | Microsoft Technology Licensing, Llc | Selecting content in ink documents using a hierarchical data structure |
US20230315271A1 (en) * | 2022-03-18 | 2023-10-05 | Sony Group Corporation | Collaborative whiteboard for meetings |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4683468A (en) * | 1985-03-11 | 1987-07-28 | International Business Machines Corp. | Method for manipulation of graphic sub-objects in an interactive draw graphic system |
US4703321A (en) * | 1985-09-30 | 1987-10-27 | International Business Machines Corporation | Method for editing a graphic object in an interactive draw graphic system |
JPH0229886A (ja) * | 1988-07-20 | 1990-01-31 | Ricoh Co Ltd | 特徴量抽出方法 |
-
1993
- 1993-08-04 US US08/101,646 patent/US5553224A/en not_active Expired - Lifetime
-
1994
- 1994-07-27 JP JP17527894A patent/JP3974196B2/ja not_active Expired - Lifetime
- 1994-08-02 DE DE69426281T patent/DE69426281T2/de not_active Expired - Lifetime
- 1994-08-02 EP EP94305717A patent/EP0637812B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0793527A (ja) | 1995-04-07 |
DE69426281T2 (de) | 2001-03-15 |
DE69426281D1 (de) | 2000-12-21 |
EP0637812A3 (en) | 1996-09-04 |
EP0637812A2 (en) | 1995-02-08 |
US5553224A (en) | 1996-09-03 |
EP0637812B1 (en) | 2000-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3974196B2 (ja) | オブジェクト指向グラフィック入力及びディスプレイシステム | |
CA2187470C (en) | Image structure maps as image representations | |
Saund et al. | A perceptually-supported sketch editor | |
CN105723358B (zh) | 用于交互式站点与应用的自动转换的系统和方法 | |
EP0715281B1 (en) | Modifying a graphics display image | |
US5467441A (en) | Method for operating on objects in a first image using an object-based model data structure to produce a second contextual image having added, replaced or deleted objects | |
EP0635808B1 (en) | Method and apparatus for operating on the model data structure on an image to produce human perceptible output in the context of the image | |
US5945982A (en) | Data administration apparatus that can search for desired image data using maps | |
EP0194442B1 (en) | Method for manipulation of graphic sub-objects in an interactive draw graphic system | |
US10475223B2 (en) | Generating multiple data-bound graphic objects | |
US10613725B2 (en) | Fixing spaced relationships between graphic objects | |
US5852442A (en) | Method of drawing a three-dimensional object | |
US5345544A (en) | Data base system | |
JP3599198B2 (ja) | 図形編集装置 | |
JP3564371B2 (ja) | 図形編集装置及び方法 | |
US11023110B2 (en) | Creating an axis for data-bound objects | |
JPH08255221A (ja) | 文字図形入力編集装置 | |
US6430583B1 (en) | Scenario editing apparatus for performing editing of multimedia using figure feature points | |
JP3647075B2 (ja) | 画像検索方法及びその装置 | |
Boutin et al. | Multilevel compound tree–construction visualization and interaction | |
JP2005234610A (ja) | 手書き入力図形編集システム | |
JP3476886B2 (ja) | 仮想空間におけるオブジェクト操作装置 | |
Ruby | Information Visualization for Financial Analysis | |
JPH08171646A (ja) | 図形作成装置 | |
JPH11272869A (ja) | ラスターデータ編集方法及びラスターデータ編集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050323 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070614 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |