JPH07200837A - 画像データ解析方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像を定義するデータを解析するための方法
を提供すること。 【構成】 グラフィカル表現１２を示す入力画像１０は
人間が生成した画像であってもよく、且つ該グラフィカ
ル表現１２はスケッチを得るために用紙や他の媒体など
をマーキングすることによって作成されてもよい。入力
画像１０を定義するデータを受け取るマシンは入力画像
１０がカテゴリＸにおいてグラフィカル表現を表すこと
を示すカテゴリデータ２０を自動的に得ることによって
応答することができ、且つ該マシンはグラフィカル表現
１２が値Ｙを表現する構成を有することを示す内容デー
タ３０を得るためにカテゴリデータ２０を自動的に使用
することができる。次いで、該マシンはカテゴリＸ内に
あり且つ値Ｙを表現するグラフィカル表現４２を示す出
力画像４０を定義するデータを得るために内容データ３
０を使用することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像を定義するデータを
解析するための技術に関する。

【０００２】

【従来の技術】米国特許第 5,228,100号において、タケ
ダその他は、ブランクフィールドを有するフォームディ
スプレイとプログラムを文書画像から生成して、データ
をブランクフィールドへ入力するための技術を開示して
いる。その特許では、図２に関して図示して且つ説明し
たように、文書フォーマット認識ステップは、フォーマ
ット情報項目を決定するために文書フォーマットの画像
を認識し、文書構築ステップは文書フォーマットに対応
する文書内容データを発生し、システムは得られたフォ
ーマットと内容データに基づいて文書データに対する出
力データを生成し、且つ文書出力ステップはプリントフ
ォーム上に出力文書データを印刷するか又はそれをデー
タファイル内に記憶する。

【０００３】

【発明が解決しようとする課題】本発明は、グラフィカ
ル（図形）表現が二つのタイプの情報を含んでいるよう
にビューされる（見える）という観測に基づいている。
本明細書中で「カテゴリ」と呼ばれる一つのタイプの情
報は、有向グラフ、棒グラフ、パイ図表、その他のよう
なグラフィカル表現の多数の容認されたカテゴリの内の
一つを示す。本明細書中で「内容」と呼ばれる他のタイ
プの情報は、容認されたカテゴリの内の一つの特定の用
例によって表現される情報を示す。

【０００４】この点において、グラフィカル表現は、線
やカーブなどの単純なグラフィカルエレメント（要素）
とは異なっている。即ち、これらの要素のグラフィカル
な形状は、長さ、厚み（太さ）、曲率、その他のような
それら自体に関する内因性の情報を含んでいるが、（こ
れらの要素のグラフィカルな形状は）それらが組み合わ
されなければ、通常は、容認されたカテゴリの内の一つ
においてグラフィカル表現を形成するためにそれら自体
に関する外因性の情報を表現する為に使用されない。グ
ラフィカル表現はまた、文字及び数字のようなシンボル
（記号）とも異なっている。即ち、これらのシンボルの
グラフィカルな形状は、一般に、一つのカテゴリのみを
伝達するために使用される。要するに、本明細書中にお
いては、「構成（コンフィギュレーション）」と呼ばれ
るグラフィカル表現における要素同士の間の空間的関係
が、カテゴリ以外の情報を伝達することの容認された方
法を提供する。

【０００５】グラフィカル表現が解釈される方法は、そ
のカテゴリに依存する。従って、グラフィカル表現のカ
テゴリは、その内容を抽出する方法に関する情報を得る
ために使用され得る。各カテゴリを識別するために使用
される基準は、本明細書中では、集合的に、カテゴリの
「モデル」と呼ばれる。一組のグラフィカル表現のカテ
ゴリのモデルは、これらのカテゴリが確実に識別され且
つ効率的に抽出され得るように選択され得る。

【０００６】

【課題を解決するための手段】本発明はこの観測を利用
する技術の開示にさらに基づいている。この技術は出力
グラフィカル表現を示す入力画像に応答する。この技術
はグラフィカル表現のカテゴリを得るためにこの画像を
使用し、且つ入力グラフィカル表現の構成によって表現
される情報を得るためにこのカテゴリを使用する。次い
で、この技術はカテゴリ内にあり且つ情報を表現する構
成を有する出力グラフィカル表現を示す出力画像を得
る。

【０００７】上記の技術は、それがグラフィカル表現の
モデルベースの解析を提供する点で有利である。結果的
に、グラフィカル表現のカテゴリがその全体的なグラフ
ィカル構成から認識され得る場合、その内容を抽出する
方法に関する多くの情報が判明するのである。これによ
って、グラフィカル表現のスケッチのより正確に形成さ
れたバージョンが生成され、グラフィカル表現中の異な
るカテゴリ内のグラフィカル表現の内容を示す出力画像
が生成され、又はグラフィカル表現に基づくシステムへ
制御信号が提供されるのが可能となる。従って、単純な
スケッチから複雑な表現が得られる。さらに、この技術
はグラフィカル表現内の追加のカテゴリへ簡単にエクス
テンド（拡張）され得る。

【０００８】本発明は、構成が情報を表現する入力グラ
フィカル表現を示す入力画像を定義する入力画像データ
を得るステップを有し、グラフィカル表現のカテゴリを
示すカテゴリデータを得るために前記入力画像データを
使用するステップを有し、前記入力グラフィカル表現の
前記構成によって表現された情報を示す内容データを得
るために前記カテゴリデータを使用するステップを有
し、出力グラフィカル表現を含む出力画像を定義する出
力画像データを得るために前記内容データを使用するス
テップを有し、前記出力グラフィカル表現が前記内容デ
ータによって示された前記情報を表現する構成を有して
いる、画像データ解析方法である。

【０００９】

【実施例】「グラフィカル表現のカテゴリ」は、例え
ば、有向グラフ、無向グラフ、ツリー、フローチャー
ト、回線図、又は状態遷移図のようなノード−リンク構
造や、例えば、棒グラフ、ヒストグラム、ガント・チャ
ート、タイミング・チャート、又はタイムラインのよう
な平行長グラフや、例えば、パイ図表又は全棒グラフの
ような比例部分グラフや、例えば、表、マトリックス、
アレイ、カレンダー、２次元連結図、パズル、又はゲー
ム図のような行／列表現や、例えば、ベン図若しくはセ
ット・メンバシップ図又は等高地図のような周辺関係表
現や、例えば、線グラフ又は散布図のような２次元グラ
フなどのグラフィカル表現の容認されるカテゴリであ
る。一般に、各カテゴリ内のグラフィカル表現は、グラ
フィカル表現内の要素間の一組の構成又は空間関係のう
ちの一つを有し得る。従って、グラフィカル表現のカテ
ゴリ内の各グラフィカル表現は、このカテゴリの特徴で
ある方法において情報を表現する構成を有している。

【００１０】用語「内容」はグラフィカル表現の構成
（コンフィギュレーション）によって表現される情報を
指す。そのグラフィカル表現がグラフィカル表現の容認
されたカテゴリの内の一つのインスタンスである場合、
その構成はカテゴリの特徴的な方法においてその情報を
表現する。

【００１１】図１は、グラフィカル表現の画像が、カテ
ゴリデータ、内容データ、及び内容を表現する構成を有
する他のグラフィカル表現の画像を定義するデータを得
るためにいかにして使用され得るかを概略的に示してい
る。図２は、カテゴリデータ、内容データ、及び内容を
表現する構成を有する他のグラフィカル表現の画像を定
義するデータを得るためにグラフィカル表現を示す画像
を定義するデータを使用する時の一般的な動作を示して
いる。図３は、ソフトウェア製品と、ソフトウェア製品
が使用され得るマシンの一般的な構成要素を示してい
る。

【００１２】図１において、入力画像１０はグラフィカ
ル表現１２を示す。入力画像１０は人間が生成した画像
であってもよいし、且つグラフィカル表現１２は、スケ
ッチを得るため、例えば、用紙や他のマーキング媒体を
マーキングすることによって作成されてもよい。入力画
像１０を定義するデータを受け取るマシンは、入力画像
１０がカテゴリＸにおいてグラフィカル表現を表すこと
を示すカテゴリデータ２０を自動的に得ることによって
応答することができる。次いで、このマシンは、グラフ
ィカル表現１２が値Ｙを表現する構成を有することを示
す内容データ３０を得るためにカテゴリデータ２０を自
動的に使用することができる。次いで、このマシンは、
カテゴリＸ内にあり且つ値Ｙを表現するグラフィカル表
現４２を示す出力画像４０を定義するデータを得るため
に内容データ３０を使用することができる。

【００１３】図２における一般的な動作は、ボックス５
０において、入力グラフィカル表現を示す入力画像を定
義する入力画像データを得ることによって開始される。
これに応答して、ボックス５２における動作は、グラフ
ィカル表現のカテゴリを表すカテゴリデータを得るため
に入力画像データを使用する。次いで、ボックス５４に
おける動作は、入力グラフィカル表現の構成によって表
現される情報を示す内容データを得るためにこのカテゴ
リデータを使用する。ボックス５６における動作は、示
されたカテゴリ又は他のカテゴリ内にあり、且つ示され
た情報を表現する構成を有する、出力グラフィカル表現
を含む出力画像を定義する出力画像データを得るために
内容データを使用する。

【００１４】図３は、ソフトウェア製品６０、即ち図３
に示した構成要素のような構成要素を含むシステムにお
いて使用され得る製造の品目を示す。ソフトウェア製品
６０は、記憶媒体アクセスデバイス６４によってアクセ
スされ得るデータ記憶媒体６２を含む。例えば、データ
記憶媒体６２は、一つ又はそれより多くのテープ、ディ
スケット、若しくはフロッピディスクのセットのような
磁気媒体か、一つ又はそれより多くのＣＤ−ＲＯＭのセ
ットのような光学的媒体か、又はデータを記憶するため
のあらゆる他の適切な媒体であってもよい。

【００１５】データ記憶媒体６２は、記憶媒体アクセス
デバイス６４がプロセッサ６６へ提供することができる
データを記憶する。プロセッサ６６は、プロセッサ６６
が実行できる命令を示すデータを記憶するプログラムメ
モリと共に、これらの命令を実行するときにプロセッサ
６６がアクセスできるデータを記憶するデータメモリ
も、有し得るメモリ６８へアクセスするために接続され
ている。

【００１６】プロセッサ６６はまた画像入力サーキット
リ７０からの画像を定義するデータを受け取るために接
続されている。データは、ファクシミリ（ファクス）マ
シン７２、スキャナー７４、キーボード及びマウス又は
ペン型若しくはスタイラスベースの入力デバイスによっ
て制御されるフォルムズ（書式）エディタ又は他のイン
タラクティブ画像エディタであってもよいエディタ７
６、又は画像を定義するデータを転送することが可能な
ローカルエリアネットワーク又は他のネットワークであ
ってもよいネットワーク７８から得ることができる。

【００１７】ディスプレイ記憶媒体６２に加えて、ソフ
トウェア製品６０は記憶媒体６２によって記憶されるデ
ータを含む。記憶されたデータは、図２における動作の
ような動作を実行するため、プロセッサ６６が実行する
ことができる画像処理命令８０を示すデータを含む。命
令８０を実行するにあたって、プロセッサ６６は画像入
力回路７０からの入力画像セットを定義する入力画像デ
ータを受け取る。入力画像セットは入力グラフィカル表
現を示す。プロセッサ６６は、グラフィカル表現のカテ
ゴリをカテゴリデータを得るために入力画像データを使
用する。次いで、プロセッサ６６は、このカテゴリデー
タを使用して、入力グラフィカル表現の構成によって表
現された情報を示す内容データを得る。プロセッサ６６
は、この内容データを使用して、示された情報を表現す
る構成を有する示されたカテゴリ内に出力グラフィカル
表現を有する出力画像を定義する出力画像データを得
る。

【００１８】プロセッサ６６はまた、出力画像データを
画像出力サーキットリ９０へ提供するために接続され得
る。この出力画像は、入力スケッチのより正確に形成さ
れたバージョンを示すことができるか、又は、異なる特
定カテゴリ内、例えば、異なる総称カテゴリ内ではない
同じ総称カテゴリ内に表現を示すことができる。この出
力画像データは、画像出力サーキットリ９０へ提供され
得て、且つファックスマシン９２、プリンタ９４、ディ
スプレイ９６、又はネットワーク９８へ提供され得る。

【００１９】内容データは、制御信号を提供するために
も使用され得る。例えば、メモリ６８は、プロセッサ６
６が実行可能な制御命令を記憶することができて、制御
信号を定義する制御データを得るためにこの内容データ
を使用する。この制御データは、制御信号をシステム１
０２へ提供することによって応答し得る制御出力サーキ
ットリ１００へ提供され得る。

【００２０】内容データは、直接使用されるのではな
く、起こり得る今後の使用の為にメモリ６８に記憶され
てもよい。これは、例えば、入力画像がセット中の一つ
であり、且つその画像のセット上で実行されるべき動作
を示す情報が、入力画像を定義するデータが受け取られ
ている時に得られなかった場合に有用である。

【００２１】図４は、ユーザがグラフィカル表現の手描
きスケッチを示す画像を提供し得る方法を示す。図５
は、ユーザがマシンと対話することによってグラフィカ
ル表現を示す画像を提供し得る方法を示す。

【００２２】図４は、グラフィカル表現を示す画像のい
くつかの例を左側に示している。画像１００は垂直棒図
表を示し、画像１０２は水平棒図表を示し、画像１０４
は線グラフを示し、画像１０６は散布図を示し、画像１
０８は表を示し、画像１１０はアレイ（配列）を示し、
画像１１２は状態遷移図のような有向グラフを示し、画
像１１４はフローチャートを示し、画像１１６はツリー
を示し、画像１１８は、中心成分と、境界や中心成分と
連結していないスポークと、を有するパイ図表を示し、
画像１２０は境界と連結し且つ中心で相互連結している
スポークを有するパイ図表を示し、且つ画像１２２はベ
ン（Venn）図表を示す。図４におけるあらゆる画像は、
手によってマーキング媒体上で実行されるマーキング動
作により作成されるスケッチを示す人間が生成した画像
であってもよい。さもなければ、画像はあらゆる他の適
切な方法で得られてもよい。

【００２３】マーキング媒体がシートである場合、スキ
ャナー１３０はシートを受け取ることができる。スキャ
ナー１３０はグラフィカル表現を示す画像を定義するデ
ータを提供するためにシート上で動作する。

【００２４】マーキング媒体がマークを感知できる電子
的デバイスのマーキング面である場合、エンコーダ１３
２は、この電子的デバイスから信号を受け取り、且つこ
の信号をグラフィカル表現を示す画像を定義するデータ
を得るために使用することができる。次いで、このデー
タは、マークがプリントされるシートを得るためにプリ
ンタ１３４へ提供され得て、且つこのシートはスキャナ
ー１３０へ提供され得る。スキャナー１３０はグラフィ
カル表現を示す画像を定義するデータを提供する。

【００２５】図４はまた、エンコーダ１３２からのデー
タがグラフィカル表現を示す画像を定義するデータとし
て直接使用され得ることを示す。これは、エンコーダ１
３２がマーキング動作に応答して画像を定義するデータ
を提供し得る場合に適切である。

【００２６】図５はパーソナルコンピュータ、ワークス
テーション、又は他のデータ処理システムであってもよ
いマシン１５０を示す。マシン１５０は、プロセッサ１
５２、ディスプレイ１５４、キーボード１５６、マウス
で示されているポインティングデバイス１５８、及びス
タイラスで示されているスクリーン位置指示デバイス１
６０を含む。ユーザは信号をプロセッサ１５２へ送るた
めにキーボード１５６及びポインティングデバイス１５
８を操作することができる。そうでなければ、ユーザ
は、信号をプロセッサ１５２へ送るためにディスプレイ
１５４の表面上にスクリーン位置表示デバイス１６０に
よってマーキング動作を実行することができる。これに
応答して、プロセッサ１５２はディスプレイ１５４上に
画像１６２を提供し且つ変更し、これによってユーザ
は、画像１６２が所望されるグラフィカル表現を示すま
で信号を送り続けることができる。次いで、ユーザは、
プロセッサ１５２が画像１６２を定義するデータを提供
することを要求する信号を提供し得る。

【００２７】プロセッサ１５２はユーザが上記の方法で
画像を生成するのを可能とするために多数のタイプのソ
フトウェアを実行することができる。プロセッサ１５２
は例えば文書編集ソフトウェア又は画像編集ソフトウェ
アを実行することができる。

【００２８】上記の一般的な機能を実行するにあたっ
て、グラフィカル表現を示す画像は図４及び図５に示し
たあらゆる方法又は他のあらゆる適切な方法で生成され
得る。グラフィカル表現の画像を生成するにあたって、
ユーザは表現がカテゴリ制約条件及び内容制約条件を満
たすことを確実し得る。次いで、画像を定義するデータ
を受け取るマシンは、これらの制約条件に適している基
準を適用したり又は計測を行うことにより、カテゴリデ
ータ及び内容データを自動的に得ることができる。

【００２９】図６は上記の一般的な機能が実行されてい
るシステムを示す。図７は、第１の実行において図６に
おける分類／レンダリング命令を実行するときに行われ
る動作を示す。図８は第２の実行において図６の分類／
レンダリング命令を実行するときに行われる動作を示
す。

【００３０】図６におけるシステム１８０はワークステ
ーション１８２、サンスパークステーション１０のワー
クステーション（Sun SPARKCStation １０ workstatio
n）を含む。スキャナ１８４はゼロックスデータコピー
ＧＳプラススキャナ（Xerox Datacopy GS Plus scanne
r）のような従来のスキャナーでもよい。プリンタ１８
６はXerox Laser Printer のような従来のプリンタであ
ってもよい。ネットワーク１８８は、エサーネット（Et
hernet）プロトコルのようなスタンダードプロトコルに
よって動作する従来のネットワークでもよい。

【００３１】ワークステーションＣＰＵ１９０は、スキ
ャナー１８４及びネットワーク１８８からデータを受け
取るために接続されており且つプリンタ１８６及びネッ
トワーク１８８へデータを提供するために接続されてい
る。例えば、ＣＰＵ１９０は図４に関して上記に説明さ
れているようにスキャナー１８４から手描きスケッチを
示す人間が生成した画像を定義するデータを受け取るこ
とができる。同様に、ＣＰＵ１９０は図５に関して上記
に説明されているようにして得られた人間が生成した画
像を定義するデータをネットワーク１８８から受け取る
ことができる。さらに、ワークステーションＣＰＵ１９
０はプログラムメモリ１９２及びデータメモリ１９４並
びにその他の従来のワークステーション周辺機器（図示
しない）へアクセスするために接続されている。データ
メモリ１９４は図のようにグラフィカル表現を示す画像
を定義する入力画像データ１９６を記憶している。

【００３２】プログラムメモリ１９２は、図２における
一般的な動作を実行する演算を実行するためにＣＰＵ１
９０が実行可能な命令を記憶する。ＣＰＵ１９０はユニ
ックス（Unix）オペレーティングシステム又は他の適切
なオペレーティングシステムを提供するオペレーティン
グシステム命令２００を実行する。プログラムメモリ１
９２によって記憶された他のセットの命令の各々は、従
来のコンパイラ又はインタープリタ技術を有するLisp、
C 、その他のような従来のプログラミング言語における
ソースコードから得ることができる。実行されると、こ
れらの他の命令は、従来の方法でオペレーティングシス
テム命令２００を呼び出す。概して、命令はオブジェク
トコードを生成する従来のコンパイラ又はインタープリ
タ技術を有するLisp、C 、その他のような従来のプログ
ラミング言語におけるソースコードから得ることができ
る。マシンは、図３に関して上記に説明されているよう
に、ソフトウェア製品を製造する時にデータ記憶媒体上
でソースコード又は得られたオブジェクトコードを示す
データを記憶することができ、且つソースコード又は得
られたオブジェクトコードはソフトウェア製品がシステ
ム１８０のようなマシンにおいて使用される時に記憶媒
体アクセス装置によってアクセスするために記憶されて
いる。

【００３３】画像受け取り命令２０２を実行するにあた
って、画像データ１９６によって図示したように、ＣＰ
Ｕ１９０は画像を定義するデータを受け取り且つデータ
メモリ１９４内にそれを記憶する。画像を定義するデー
タはスキャナー１８４又はネットワーク１８８から受け
取られてもよい。

【００３４】画像処理命令２０４を実行するにあたっ
て、ＣＰＵ１９０は、分類／レンダリング命令２０６を
呼び出すことができる。分類／レンダリング命令２０６
を実行するにあたって、ＣＰＵ１９０は、入力画像デー
タ１９６によって定義された画像内に示されるグラフィ
カル表現の基本的な幾何学的解析を実行するために解析
命令２０８を呼び出し、且つグラフィカル表現のカテゴ
リを示すカテゴリデータ２２０、グラフィカル表現の構
成によって表現される情報を示す内容データ２２２、及
び示されたカテゴリ又は他のカテゴリ内のグラフィカル
表現を有し且つこの示された情報を表現する構成を有す
る出力画像を示す出力画像データ２２４を生成する。

【００３５】概して、図７及び図８における動作は、各
々が画像を定義するデータの項目上で実行されてきた。
各項目は「データ画像」と呼ばれる。いくつかのデータ
画像は他のデータ画像を得るときに使用され得る。概し
て、データ画像の全ては、同数の画素を有する画像を定
義し、且つ各動作は同数の画素を有する画像を生成す
る。二つの画像上の動作は、一般に、各ペアごとに、生
成されている画像内の画素値を生成するためにペアの画
素の値を使用する。各ペアの内、一つの画素は各画像か
ら生成され、且つペアの二つの画素は共に、生成されて
いる画像内の画素値と同じ位置にある。

【００３６】図７のボックス２５０における動作は、グ
ラフィカル表現がＸ−Ｙグラフ基準を満たしているか否
かを決定することによって開始される。Ｘ−Ｙグラフ基
準を満たしている場合、ボックス２５２における動作
は、グラフィカル表現が垂直棒グラフ基準を満たしてい
るか否か決定する。グラフィカル表現が両方の基準を満
たしている場合、この表現は垂直棒グラフ上の制約条件
を満たす。従って、ボックス２５４における動作は、棒
グラフ内の棒の高さを示す内容データを得て、次いで、
ボックス２５６における動作は、ボックス２５４からの
高さを用いて垂直棒グラフをレンダリング（描画）す
る。ボックス２５２における動作がグラフィカル表現が
垂直棒グラフではないことを決定する場合、ボックス２
５８における動作は、この実行がＸ−Ｙグラフ基準を満
たしている他のタイプのグラフィカル表現を解析するこ
とはできないので、故障メッセージを提供する。

【００３７】ボックス２５０における動作がＸ−Ｙグラ
フ基準を満たしていないと決定した場合、ボックス２６
０における動作は、グラフィカル表現が第１のパイ図表
基準を満たしているか否かを決定する。グラフィカル表
現がこの基準を満たしている場合、その表現はパイ図表
の第１のカテゴリ上の制約条件を満たす。従って、ボッ
クス２６２における動作はパイ図表における方向を示す
内容データを得て、次いで、ボックス２６４における動
作はボックス２６２からの方向を用いてパイ図表をレン
ダリングする。

【００３８】ボックス２６０における動作が、グラフィ
カル表現が第１のパイ図表基準を満たしていないことを
決定する場合、ボックス２７０における動作はグラフィ
カル表現が第２のパイ図表基準を満たしているか否かを
決定する。グラフィカル表現がこの基準を満たしている
場合、グラフィカル表現はパイ図表の第２のカテゴリ上
の制約条件を満たす。従って、ボックス２７２における
動作は、パイ図表における角度サイド方向を示す内容デ
ータを得て、次いで、ボックス２７４における動作は、
ボックス２７２からの角度サイド方向を用いてパイ図表
をレンダリングする。

【００３９】ボックス２７０における動作がグラフィカ
ル表現が第２のパイ図表基準を満たしていないことを決
定する場合、ボックス２８０における動作は、グラフィ
カル表現が有向グラフ基準を満たしているか否かを決定
する。グラフィカル表現がこの基準を満たしている場
合、それは有向グラフ上の制約条件を満たす。従って、
ボックス２８２における動作は、どの連結成分が有向グ
ラフ内の頂点及びエッジであるかを示す内容データを得
て、且つその内容データを用いて有向グラフをレンダリ
ングする。

【００４０】ボックス２８０における動作は、グラフィ
カル表現がノード及びリンクに対する基準を満たしてい
るか否かを決定することによって、このグラフィカル表
現が有向グラフであるか否かを示すカテゴリデータを得
ることができる。ボックス２８０における動作は、類似
ノードデータ画像と類似リンクデータ画像を得ることに
よって、次いで、ノード−リンク構造上の制約条件を満
たす類似ノード及び類似リンクデータ画像において示さ
れた部分のサブセットを繰り返して得ることによって、
実行されることができる。次いで、ノード及びリンクに
対する基準が適用され得る。

【００４１】ボックス２８２における動作は、ボックス
２８０における動作によって得られたノード及びリンク
を用いて実行され得る。

【００４２】ボックス２８０における動作がグラフィカ
ル表現が有向グラフ基準を満たしていないと決定した場
合、ボックス２８４における動作は、図７に示した実行
が他のカテゴリ内のグラフィカル表現を解析できないの
で、故障メッセージを提供する。

【００４３】図８に示した実行は、比例部分グラフ及び
平行長グラフの多数のカテゴリの内の一つを示すカテゴ
リ・データを得る。この実行は、最初に、カテゴリごと
に、一つ又はそれより多くの特徴候補データ画像を得
て、次いで、この特徴候補データ画像がそのカテゴリに
対する基準を満たしているか否かをテストする。この特
徴候補データ画像がそのカテゴリに対する基準を満たし
ている場合、グラフィカル表現はカテゴリに対する制約
条件を満たし、これによって、この実行は、内容データ
を得て、且つこの内容データにおける情報の正確に形成
されたグラフィカル表現をレンダリングする。

【００４４】ボックス３００における動作は、第１の平
行長グラフ（ＰＬＧ）カテゴリに対する特徴候補データ
画像を得ることによって開始される。

【００４５】ボックス３０２における動作は、平行長グ
ラフ（ＰＬＧ）基準を特徴候補データ画像に適用する。
ボックス３０２における動作は、伸び基準及び平行度基
準を満たす特徴候補を示す平行特徴データ画像を得るた
め、特徴候補データ画像を使用することができる。ボッ
クス３０２における動作は、あらゆる特徴候補が伸び基
準及び平行度基準を満たしているか否かを決定するため
に平行特徴データ画像を論理和（ＯＲ）演算することが
できる。あらゆる特徴候補がこれらの基準を満たしてい
る場合、ボックス３０２における動作は、ベースデータ
画像を得ることができ、ベース点の位置合わせを測定す
ることができ、且つこの位置合わせが位置合わせ基準を
満たしているか否かを決定することができる。

【００４６】伸び、平行度、及び位置合わせ基準がすべ
て合った場合、グラフィカル表現がＰＬＧ基準を満た
す。従って、ボックス３０４における動作は、長（レン
グス）データを得ることができる。次いで、ボックス３
０６における動作は、図７に関して上記に示したよう
に、正確に形成された平行長グラフを得るためにこの長
データを使用することができる。

【００４７】ダッシュラインによって示したように、ボ
ックス３００、３０２、３０４、及び３０６における動
作と類似する動作が、他のＰＬＧカテゴリの各々に対し
ても実行され得る。

【００４８】ボックス３１０における動作は、第１の比
例部分グラフ（ＰＰＧ）カテゴリに対する特徴候補デー
タ画像を得る。

【００４９】ボックス３１２における動作は、比例部分
グラフ（ＰＰＧ）基準を特徴候補データ画像へ適用す
る。ボックス３１２における動作は、ＰＰＧカテゴリに
適しているように、方向ユニット基準又は角度ユニット
基準のいづれかを満たす特徴候補を示す分割された特徴
データ画像を得るために特徴候補データ画像を使用する
ことができる。ボックス３１２における動作は、方向ユ
ニット（単位）によって又は角度ユニットへ分割された
特徴がセグメント数の基準を満たす二つ又はそれより多
くのユニットを含むか否かをテストすることができる。

【００５０】方向ユニット又は角度ユニット基準のうち
の一つが合っており、且つセグメント数の基準が合って
いる場合、グラフィカル表現はＰＰＧ基準を満たす。従
って、ボックス３１４における動作は、比例データを得
ることができる。次いで、ボックス３１６における動作
は、図７に関して上記に説明したように、正確に形成さ
れた比例部分グラフを得るために比例データを使用する
ことができる。

【００５１】ダッシュラインによって示したように、ボ
ックス３１０、３１２、３１４、及び３１６における動
作と類似する動作は、他のＰＬＧカテゴリの各々に対し
て実行され得る。

【００５２】グラフィカル表現がＰＬＧ基準又はＰＰＧ
基準のいづれも満たしていない場合、ボックス３２０に
おける動作は、図７のボックス２８４におけるように、
故障メッセージをリターンする。

【００５３】図８の方式が棒グラフのために非常に有用
であることが発見されている。グルーピング（グループ
化）技術が、距離、サイズ、伸び、その他に基づいて、
入力画像の部分を簡単にグループ化するために使用され
ることができ、これによって、ボックス３００における
ように、各グルーピングが棒候補上の制約条件を満た
す。次いで、グルーピングは、ボックス３０２における
ように、ＰＬＧ基準を用いることによってテストされ得
る。ＰＬＧ基準は、棒が互いに平行でなければならない
こと及びそれらのベースが位置合わせされてなければな
らないことなどがが例としてあげられる。

【００５４】この方式はまた、パイ図表のいくつかのカ
テゴリに対して有用である。パイ図表が最も大きな円形
の成分のような基準を提供する成分を含んでいる場合、
ボックス３１０におけるように、中心基準を満たす中心
候補及び方向候補又は角度候補がその基準成分を用いて
簡単に得られる。次いでこれらの候補は、ボックス３１
２におけるように、ＰＰＧ基準を用いることによってテ
ストされ得る。しかし、基準成分がない場合、中心候補
及び方向候補又は角度候補を得ることは難しいかもしれ
ない。

【００５５】図９におけるシステム３９０は、ネットワ
ーク３９２、ワークステーション３９４、記憶装置サー
バ３９６、及び画像処理サーバ３９８を有する。ユーザ
はスキャナー又は他のソースなどからの画像を定義する
データを記憶するための要求をネットワーク３９２へ提
供するようにワークステーション３９４を動作すること
ができる。これに応答して、記憶装置サーバ３９６はデ
ータを記憶することができる。次いで、ユーザは上記に
説明した動作のような画像処理動作を要求するためにワ
ークステーション３９４を動作することができる。これ
に応答して、画像処理サーバ３９８は要求された動作を
実行して、且つ図６に関して上記に示したような命令を
実行することができる。

【００５６】上記の実行は、表現の手描きスケッチに基
づいて、グラフィカル表現の上手にレンダリングされた
グラフィカル原稿を迅速に組み立てるためのツール（道
具）を提供する。このタイプのツールは、例えば、ポス
タのレイアウト又は書類の挿絵ページを有する会議や実
験用スライドを生成するために有用である。このツール
は手描きスケッチからスタートし、且つ、このツールは
上記の実行において文字又は数字の認識を含まないの
で、内容において質的には正確であるが量的には不正確
であるかもしれない正確に描かれた画像を生成する。こ
のようにして生成された画像を定義するデータは、ユー
ザによって引き続き編集されて、質的に正確なイラスト
を量的に正確なイラストへ変換することができる。

【００５７】図１０は本発明がファックスサーバとして
動作し得るパソコンにおいていかにして用いられ得るか
を示す。図１１は本発明が複写機においていかにして用
いられ得るかを示す。

【００５８】図１０におけるシステム４００はＣＰＵ４
０２を含み、且つこのＣＰＵ４０２は、ＩＢＭ（アイビ
ーエム社）のパソコン（ＰＣ）と互換可能な装置のよう
なパソコンのＣＰＵであってもよい。ＣＰＵ４０２は、
キーボード４０４及びマウス４０６からユーザ入力信号
を受け取るように接続されており、且つディスプレイ４
０８を介してユーザへ画像を提供し得る。ＣＰＵ４０２
は、図示するように、ディスクドライブ４１０、モデム
４１２、スキャナ４１４、及びプリンタ４１６を含む多
数の他の周辺機器装置とも接続されている。

【００５９】プログラムメモリ４２０は、ＤＯＳのバー
ジョンであってもよいオペレーティングシステム（Ｏ
Ｓ）命令４２２、ユーザインターフェース命令４２４、
ファックスサーバ命令４２６、画像処理命令４２８、編
集命令４３０、及び画像処理命令４３２を記憶する。フ
ァックスサーバ命令４２６は、ゼロックスコーポレーシ
ョン（Xerox Corporation ）のソフトウェア製品"Paper
Works （ペーパーワークス）（登録商標）" と同様であ
ってもよい。画像処理命令４２８は、図６に関して上記
に示したように、画像処理命令２０４、分類／レンダリ
ング命令２０６、及び解析命令２０８と同様に実行され
てもよいし、且つファックスサーバ命令４２６によって
呼び出されて画像解析を実行することができる。ファッ
クスサーバ命令４２６及び画像処理命令４２８は、フロ
ッピディスク、ディスケット、又はＣＤ−ＲＯＭ上に記
憶されるソフトウェア製品の形状で得られ、且つディス
クドライブ４１０によってプログラムメモリ４２０へ記
憶するためにアクセスされ得る。

【００６０】データメモリ４３０は、図６に関して上記
に説明したように、入力画像データ４３２、カテゴリデ
ータ４３４、内容データ４３６、及び出力画像データ４
３８を記憶する。

【００６１】システム４００は多くの方法でグラフィカ
ル表現を示す画像セットを定義する入力画像データ４４
２を得ることができる。グラフィカル表現を示す画像を
定義するデータは、図５に関して上記に示したように、
ユーザインタフェース命令４２４を実行したりして対話
的に生成され得る。ペンベースの技術を含むあらゆる適
切なユーザインタフェース技術が使用され得る。グラフ
ィカル表現を示す前もって生成された画像を定義するデ
ータは、ディスクドライブ４１０により記憶媒体から検
索され得る。グラフィカル表現を示す画像を定義するデ
ータは、図４に関して上記に示したように、スキャナー
４１４から得ることができる。ユーザはあらゆる場所で
グラフィカル表現を示す画像を定義するデータを生成す
ることができ且つ例えば、モデム４１２へファクシミリ
送信を行うことによって、モデム４１２を介してこのデ
ータをシステム４００へ提供し得る。

【００６２】ＣＰＵ４０２はモデム４１２を介してファ
クシミリ転送によって受け取られた要求に応答してファ
ックスサーバ命令４２６を実行することができる。この
要求は、画像処理動作を示し、さらにファックス装置又
はプリンタ４１６のような出力画像の宛て先を示す形態
を有し得る。この要求はさらに、グラフィカル表現を表
す画像を定義するデータを含むこともできるし、又はシ
ステム４００によって前もって得られた画像を示すこと
もできる。

【００６３】ファックスサーバ４２６は、図７又は図８
に示した動作のような動作を実行するために画像処理命
令４２８に対する呼び出しを含む。ファックスサーバ命
令４２６の実行は、図７におけるボックス２５６、２６
４、２７４、及び２８２の内の一つにおいて又は図８に
おけるボックス３０６及び３１６の内の一つにおいて生
成されたレンダリングされた画像を定義するデータをさ
らに提供することができる。このレンダリングされた画
像を定義するデータは、ファクシミリ送信のためにモデ
ム４１２へ提供されるか又はプリントのためにプリンタ
４１６へ提供され得る。

【００６４】図１１において、複写機４６０はディジタ
ルコピア（複写機）又は他の電子写真印刷システムであ
ってもよい。走査サーキットリ４６２はグラフィカル表
現のスケッチ４６６を示す画像４６４を定義するデータ
を得る。ユーザインタフェースサーキットリ４７０は、
タッチ感知デバイス４７２を含む。このタッチ感知デバ
イス４７２は、押しボタン、熱又は圧力感知素子、容量
性感知素子、又は他の接触動作感知装置が用いられても
よい。ユーザがデバイス４７２にタッチすると、ユーザ
インタフェースサーキットリ４７０は、デバイス４７２
がタッチされたことを示すタッチデータを提供する。

【００６５】処理サーキットリ４８０はタッチデータを
使用して、画像処理動作に対する要求を示す要求データ
を得る。次いで、この要求に応答して、処理サーキット
リ４８０は画像４６４を定義するデータを使用して、グ
ラフィカル表現のカテゴリを示すカテゴリデータを自動
的に得る。処理サーキットリ４８０は、カテゴリデータ
と画像４６４を定義するデータを使用して、スケッチ４
６６によって示される情報を示す内容データを自動的に
得る。この内容データを使用して、処理サーキットリ４
８０は、カテゴリデータによって示されるがスケッチ４
６６より正確に形成されたカテゴリにおいてグラフィカ
ル表現を有するレンダリングされた画像を定義するデー
タを自動的に得る。このデータは、正確に形成されたグ
ラフィカル表現４９４と共に画像４９２を印刷するため
に印刷サーキットリ４９０へ提供される。

【００６６】

【発明の効果】本発明は画像を定義するデータを解析す
るための方法を提供する。

【図面の簡単な説明】

【図１】グラフィカル表現を示す画像が、カテゴリデー
タ、内容データ、及び構成が同一内容を表現する他のグ
ラフィカル表現を示す出力画像を定義するデータを得る
ためにいかにして使用され得るかを概略的に示す図であ
る。

【図２】グラフィカル表現を示す画像が、カテゴリデー
タ、内容データ、及び構成が同一内容を表現する他のグ
ラフィカル表現を示す出力画像を定義するデータを得る
ためにグラフィカル表現の画像を使用するときの一般的
な動作を示すフローチャートである。

【図３】ソフトウェア製品とソフトウェア製品が図２の
一般的な動作を実行するために使用され得るマシンの一
般的な構成要素を示すブロック図である。

【図４】種々のカテゴリ内のグラフィカル表現と、手描
きにより作成したグラフィカル表現を示す画像を定義す
るデータをユーザが提供し得る方法を概略的に示すブロ
ック図である。

【図５】マシンによって対話的に生成されたグラフィカ
ル表現を示す画像を定義するデータをユーザがいかにし
て提供し得るかを概略的に示すブロック図である。

【図６】グラフィカル表現を示す画像を解析することが
できるマシンを概略的に示すブロック図である。

【図７】第１の実行において図６のマシンによって実行
され得る動作を示すフローチャートである。

【図８】第２の実行において図６のマシンによって実行
され得る動作を示すフローチャートである。

【図９】画像処理サーバによる実行を概略的に示すブロ
ック図である。

【図１０】ファックス・サーバ・アプリケーションを概
略的に示すブロック図である。

【図１１】複写機アプリケーションを概略的に示すブロ
ック図である。

【符号の説明】

１０ 入力画像 １２、４２ グラフィカル表現 ２０ カテゴリデータ ３０ 内容データ ４０ 出力画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 サティヤジット ラオ アメリカ合衆国 マサチューセッツ州 02139ケンブリッジ メモリアル ドライ ヴ 550 アパートメント 17エイ２

Claims (1)

【特許請求の範囲】
1. 【請求項１】 構成が情報を表現する入力グラフィカル
   表現を示す入力画像を定義する入力画像データを得るス
   テップを有し、 グラフィカル表現のカテゴリを示すカテゴリデータを得
   るために前記入力画像データを使用するステップを有
   し、 前記入力グラフィカル表現の前記構成によって表現され
   た情報を示す内容データを得るために前記カテゴリデー
   タを使用するステップを有し、 出力グラフィカル表現を含む出力画像を定義する出力画
   像データを得るための前記内容データを使用するステッ
   プを有し、前記出力グラフィカル表現が前記内容データ
   によって示された前記情報を表現する構成を有してい
   る、 画像データ解析方法。