JPH07200839A - 画像データ解析方法 - Google Patents

Abstract

(57)【要約】 【目的】 図的表現を示す画像を解析するための方法を
提供する。 【構成】 画像データを解析するための方法であって、
行及び列を備える行／列表現を示す入力画像を定義する
入力画像データを得るステップと、前記入力画像データ
を用いて行及び列データを得るステップであって、前記
行データが前記行／列表現の行内の入力画像の部分を示
し、前記列データが前記行／列表現の列内の入力画像の
部分を示し、前記行／列表現が前記行及び前記行の組合
せに関する情報を表現するステップと、前記行データ及
び前記列データを用いて内容データを得るステップであ
って、前記内容データが前記行及び前記列の前記組合せ
について前記行／列表現によって表現された情報を示す
ステップと、を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、図形（グラフィカル）
表現を示す画像を解析するための技術に関する。

【０００２】

【従来の技術】米国特許第５、２２８、１００号は文書
構造を認識する技法について記述する。

【０００３】

【発明が解決しようとする課題及び課題を解決するため
の手段と作用】本発明は、行(row) ／列(column)表現を
示す画像を解析するための技法の開示に基づいており、
その行(row) ／列(column)表現は、表；マトリックス
（行列）；配列（アレイ）; カレンダ; プログラマブル
ロジックアレイ（ＰＬＡ）図のような２次元接続図; ク
ロスワードパズル、チェス若しくはチェッカの図表、ゲ
ーム進行図(go game diagram) 、又は三目並べ(ticktac
ktoe) のようなパズル若しくはゲーム図; 又は行と列を
含み、行／列の組合せに関する情報を表現する別の図形
表現のようなものがある。

【０００４】この技法は、行／列表現がその表現(repre
sentation)を横切るように直交方向に延出する特徴を含
むという認識に基づいており、各々の行／列の組合せに
関する情報は、一方の特徴が行であり、他方の特徴が列
である、２つのこのような特徴の交点である表現の一部
分に表現される。従って、技法は、先ず行に関するライ
ン又はバンド及び列に関するライン又はバンドを得るこ
とによって、画像を解析し、次にそのライン又はバンド
を用いて、行／列の組合せについて表される情報を得る
ことができる。

【０００５】技法は、行／列表現を示す入力画像を定義
する入力画像データを得る。技法は、その入力画像デー
タを使用して、行データ及び列データを得る。行データ
は、行／列表現の行内の入力画像の部分を示す。列デー
タは、列内の入力画像の部分を示す。技法はその行デー
タ及び列データを使用して、行／列の組合せ(row/colum
n combination)について表現する情報を示す内容データ
を得る。

【０００６】上述された技法は、その技法が様々な行／
列表現を自動的に解析することを可能にするので、有用
である。その技法によって得られた内容データは、ユー
ザの単純なスケッチに応答して正確に形成される行／列
表現を示す画像を生成するために使用できる。

【０００７】請求項１の発明は、画像データを解析する
ための方法であって、行及び列を備える行／列表現を示
す入力画像を定義する入力画像データを得るステップ
と、前記入力画像データを用いて行及び列データを得る
ステップであって、前記行データが前記行／列表現の行
内の入力画像の部分を示し、前記列データが前記行／列
表現の列内の入力画像の部分を示し、前記行／列表現が
前記行及び前記行の組合せに関する情報を表現するステ
ップと、前記行データ及び前記列データを用いて内容デ
ータを得るステップであって、前記内容データが前記行
及び前記列の前記組合せについて前記行／列表現によっ
て表現された情報を示すステップと、を備えることを特
徴とする。

【０００８】請求項２に記載の画像データを解析するた
めの方法は、請求項１記載の画像解析方法において、前
記入力画像データを用いて行及び列データを得る動作で
あって、前記入力画像データを用いて、水平方向及び垂
直方向のデータを得るステップであって、前記水平方向
のデータが入力画像における水平方向の線を示し、前記
垂直方向のデータが入力画像における垂直方向の線を示
すステップと、前記行データを得るために前記水平方向
データを用い、且つ前記列データを得るために前記垂直
方向データを用いるステップと、を備えることを特徴と
する。

【０００９】

【実施例】”行と列の組合せ”即ち”行／列組合せ”
は、情報を表現できる１つの位置を共に含む１対の列と
行である。その位置は、組合わせによる行と列の”共通
部分(intersection ; 交点) ”と呼ばれ得る。

【００１０】”行／列表現”は行と列を含み、且つ行／
列組合せに関する情報を表す図形表現である。次のよう
な図形表現のカテゴリは行／列表現の例；表、マトリッ
クス、配列、カレンダ、２次元接続図、クロスワードパ
ズルのようなパズル、又はチェス若しくはチェッカ図、
ゲーム進行図、３目並べゲームのようなゲーム図、を示
す。

【００１１】図１は、行／列表現を示す画像がどの様に
解析され得るかを概略的に示す。図２は、行／列表現を
示す画像を解析する際の一般的な動作を示す。図３は、
ソフトウェアプロダクト（製品）及びそのソフトウェア
プロダクトを使用できる機械の一般的な構成要素を示
す。

【００１２】図１における画像１０は、行／列表現１２
を示す。画像１０は例えば、スケッチ（下書き、略図）
であり得る。行／列表現１２は、示されているように、
行と列が水平方向と垂直方向の線同士の間の特徴である
場合、２行２列で、行と列が水平方向と垂直方向の線を
含む特徴である場合、３行と３列を含む。画像１０を定
義するデータを受け取るマシンは、行ｍ内のにある画像
１０の部分を示す行データ２０を自動的に得ることによ
って、応答できる。そのマシンはまた、列ｎ内にある画
像１０の部分を示す列データ２２を自動的に得ることが
できる。マシンは行データ２０と列データ２２を自動的
に使用して、行ｍと列ｎの組合せに対して行／列表現１
２が表現する情報を示す内容データ２４を得ることがで
きる。

【００１３】図２における一般的な動作は、行／列表現
を示す入力画像を定義する入力画像データを得ることで
ボックス４０から始まる。それに応答してボックス４２
の動作は、その入力画像データを用いて、行／列表現の
行内の入力画像の部分を示す行データ、及び行／列表現
の列内の入力画像の部分を示す列データを得る。次にボ
ックス４４における動作は、その行データ及び列データ
を使用して、行と列の組合せに対して行／列表現が表現
した情報を示す内容データを得る。

【００１４】図３は、図３に示される構成要素と同様の
構成要素を含むシステムで使用可能である製品の１つで
あるソフトウェアプロダクト６０を示す。ソフトウェア
プロダクト６０は、記憶媒体アクセスデバイス６４がア
クセスできるデータ記憶媒体６２を含む。データ記憶媒
体６２は、一つ以上のテープ、ディスケット、フロッピ
ーデスクのセット等の磁気媒体、一つ以上のＣＤ−ＲＯ
Ｍのセット等の光学媒体、又はデータを記憶するための
あらゆる他の適切な媒体等であり得る。

【００１５】データ記憶媒体６２は、記憶媒体アクセス
装置６４がプロセッサ６６へ提供できるデータを記憶す
る。プロセッサ６６はメモリ６８にアクセスするために
接続され、メモリ６８はプロセッサ６６が実行できる命
令を示すプログラムメモリ記憶データ、と共にプロセッ
サ６６が命令を実行する際にアクセスできるデータメモ
リ記憶データを含むこたができる。

【００１６】プロセッサ６６はまた、画像を定義するデ
ータを画像入力回路７０から受け取るために接続され
る。そのデータは、ファクシミリ（ファックス）マシン
７２、スキャナ７４、キーボード及びマウス又はペン若
しくはスタイラスベースの入力装置等のユーザ入力装置
によって制御されるフォームエディタ又は他の対話型画
像エディタであり得るエディタ７６、又は画像を定義す
るデータを転送できるローカルエリアネットワーク又は
他のネットワークであり得るネットワーク７８から得る
ことができる。

【００１７】データ記憶媒体６２に加えて、ソフトウェ
アプロダクト６０は記憶媒体６２が記憶するデータを含
む。記憶されたデータは画像処理命令８０を示すデータ
を含み、プロセッサ６６が図２における動作のような動
作を実行するために実行できる。命令８０を実行する場
合に、プロセッサ６６は、画像入力回路７０から入力画
像を定義する入力画像データを受け取る。その入力画像
は行／列表現を示す。プロセッサ６６はその入力画像デ
ータを使用して、行／列表現の行内の入力画像の部分を
示す行データ及び、行／列表現の列内の入力画像の部分
を示す列データを得る。プロセッサ６６は次に、その行
データ及び列データを使用して、行／列の組合せに対し
て行／列表現が表現した情報を示す内容データを得る。

【００１８】プロセッサ６６は、画像を定義するデータ
を提供するために画像出力回路９０に接続可能である。
例えば、ソフトウェアプロダクト６０は、プロセッサ６
６が行／列データを使用して、出力画像を定義する出力
画像データを得るように実行できる命令を示すデータを
含み得る。例えば出力画像は、各行／列組合せについて
表現される情報を示す表又は他の表現を示すことができ
る。出力画像データを、画像出力回路９０へ提供するこ
とができ、次いでファックスマシン９２、プリンタ９
４、ディスプレイ９６又はネットワーク９８へ提供する
ことができる。

【００１９】その内容データはまた制御信号を提供する
ために使用され得る。例えばメモリ６８は、プロセッサ
６６が内容データを使用して、制御信号を定義する制御
データを得るように実行できる制御命令を記憶できる。
制御データは、制御出力回路１００に提供されることが
でき、その回路は制御信号を提供することでシステム１
０２に応答可能である。

【００２０】行／列データは、直ぐに使用されるという
よりもむしろ、可能性のある将来の使用のためにメモリ
６８に記憶されてもよい。例えば、入力画像に対して行
われる動作を示す情報が入力画像を定義するデータが受
け取られた時点で得られていなかった場合に有用であ
る。

【００２１】図４は、ユーザが、行／列表現の手書きの
ケッチ（略図）を示す画像を提供できる方法を示す。図
５は、機械と対話することによって行／列表現を示す画
像をユーザが提供できる方法を示す。

【００２２】図４は、行／列表現を示す画像の幾つかの
例を図面の上部に示す。画像１００は、２行２列の配列
を示す。各行／列の組合せとして、その配列は例として
文字である特徴を含む。画像１０２は２行２列の表を示
す。その各行／列の組合せとして、その表は例として文
字である特徴が入っている矩形を含む。画像１０４は左
右を大括弧で囲まれた２行２列のマトリックスを示す。
その各行／列の組合せとして、マトリックスは例として
文字である特徴を含む。画像１０６は３行２列のクロス
ワードパズルを示す。その各行／列の組合せとして、そ
のパズルは正方形を含んでおり、ある正方形は斜線をひ
かれ、他の正方形は文字で埋められている。画像１０８
は週に行を及び曜日に列を備えるカレンダからの抜粋を
示す。その各行／列の各組合せとして、カレンダは日に
ちを示す数字と、例として月の最初の日を示す文字であ
る追加情報とを含むのに十分な大きさの矩形を含む。画
像１１０は、チェス図からの抜粋である。その各行／列
の組合せとして、図はチェッカボードのように白と斜線
が互い違いになっている四角形を含み、ある四角形はチ
ェスの駒のシンボルを含んでいる。画像１１２は、３行
３列の三目並べゲームを示す。その各行／列の組合せと
して、パズルは少なくとも２辺に境を接する領域を含ん
でおり、ある領域は空白で、他の領域は”Ｏ”又は”
Ｘ”で埋められている。画像１１４は、プログラマブル
論理アレイ（ＰＬＡ）又はこのような配列の別の回路の
回路図からの抜粋を示す。入力線が一方向に延出し、且
つ出力線が他方向に延出するので、共通部分（交点）の
行列を定義する。幾つかの共通部分は印付けされていな
いが、他は接続を示すために”Ｘ”で印付けされてい
る。画像１１６は、行列の共通部分を形成する水平方向
及び垂直方向の線を有するゲーム進行図からの抜粋を示
す。幾つかの共通部分は空いているが、他は白又は黒の
石を表す白又は黒の円で覆われている。これらの例によ
って提案されているように、広範な行／列表現が作成さ
れ得る。

【００２３】一般的に、あらゆる適切な方法で図４の画
像を得ることができる。例えば、行／列表現は手書きで
書き示す（マーキング）媒体上に行われる書き示し動作
によって生成されたスケッチであり得る。

【００２４】書き示す媒体がシートである場合、スキャ
ナ１３０はシートを受け取ることができる。スキャナ１
３０は、行／列表現を示す画像を定義するデータを提供
するためにシートに対して動作する。

【００２５】書き示し媒体が、マーク（印）を感知でき
る電子装置の書き示し（マーキング）表面であれば、エ
ンコーダ１３２は電子装置から信号を受け取り、それら
の信号を用いて行／列表現を示す画像を定義するデータ
を得ることができる。次に、このデータはマークが印刷
されるシートを得るためにプリンタ１３４へ提供され、
そしてこのシートはスキャナ１３０へ提供されることが
できる。スキャナ１３０は、行／列表現を示す画像を定
義するデータを提供する。

【００２６】図４はまたエンコーダ１３２からのデータ
が、行／列表現を示す画像を定義するデータとして、直
接使用されてもよいことを示す。このことは、エンコー
ダ１３２が書き示し動作に応答して画像を定義するデー
タを提供できれば、適切であろう。

【００２７】図５は、パーソナルコンピュータ、ワーク
ステーション、又は別のデータ処理システムであり得る
マシン１５０を示す。マシン１５０は、プロセッサ１５
２、ディスプレイ１５４、キーボード１５６、図示され
ているマウスのような位置決め装置１５８及び、図示さ
れているスタイラスのようなスクリーン位置指示装置１
６０を含む。ユーザはキーボード１５６及び位置決め装
置１５８を動作して、信号をプロセッサ１５２へ提供で
きる。又はユーザはディスプレイ１５４の表面にスクリ
ーン指示装置１６０で書き示し動作を行い、信号をプロ
セッサ１５２へ提供できる。それに応答して、画像１６
２に所望される行／列表現が示されるまで、ユーザが信
号を提供しつづけることができるように、プロセッサ１
５２はディスプレイ１５４上に画像１６２を呈し、変更
する。次に、ユーザは、プロセッサ１５２が画像１６２
を定義するデータ提供することを要求する信号を提供で
きる。

【００２８】プロセッサ１５２は、上述された方法でユ
ーザが画像を生成できる多くのタイプのソフトウェアを
実行できる。例えば、プロセッサ１５２は、文書編集ソ
フトウェア又は画像編集ソフトウェアを実行できる。

【００２９】図６は上述された一般的な特徴が実施され
ているシステムを示す。

【００３０】図６のシステム１８０は、Ｓｕｎ ＳＰＡ
ＣＥＳｔａｔｉｏｎ１０ワークステーションであるワー
クステーション１８２を含む。スキャナ１８４は、ゼロ
ックスデータコピーＧＳプラス（Xerox Datacopy GS Pl
us) スキャナのような従来のスキャナであり得る。プリ
ンタ１８６は、ゼロックスレーザプリンタのような従来
のプリンタであり得る。ネットワーク１８８は、イーサ
ネット（Ethernet) プロトコルのような標準的なプロト
コルに従って動作する従来のネットワークであり得る。

【００３１】ワークステーションＣＰＵ１９０は、スキ
ャナ１８４及びネットワーク１８８からデータを受け取
ると共に、プリンタ１８６及びネットワーク１８８へデ
ータを提供するために接続される。例えば、ＣＰＵ１９
０は、図４について上述されたようにスキャナ１８４か
ら行／列表現を示す画像を定義するデータを受け取れ
る。同様にＣＰＵ１９０は、図５について上述された方
法でネットワーク１８８から得られた画像を定義するデ
ータを受け取れる。更に、ワークステーションＣＰＵ１
９０はプログラムメモリ１９２、データメモリ１９４、
及び他の従来のワークステーション周辺装置（図示され
ていない）をアクセスできるように接続される。データ
メモリ１９４は、図示されているように行／列表現を示
す画像を定義する画像データ１９６を記憶する。

【００３２】プログラムメモリ１９２は、ＣＰＵ１９０
が図２の一般的な動作を実現させる動作を実行するため
に実行できる命令を記憶する。ＣＰＵ１９０は、ユニッ
クス（Unix) オペレーティングシステム又は他の適切な
オペレーティングシステムを提供するオペレーティング
システム命令２００を実行する。プログラムメモリ１９
２が記憶した他の命令は、従来の方法でオペレーティン
グシステム２００への呼び出しを行う。一般的に命令
は、リスト処理プログラム、Ｃ言語、又はオブジェクト
コードを生成する従来のコンパイラ若しくはインタプリ
タ技術を備えるその他同種物等の従来のプログラム言語
によって、ソースコードから得ることができる。マシン
はソースコード又はソースコードから得られたオブジェ
クトコードを示すデータを、図３について上述されたソ
フトウェアプロダクトを製造する際にデータ記憶媒体に
記憶でき、ソフトウェアプロダクトがシステム１８０の
様なマシンで使用される場合に、ソースコード又はオブ
ジェクトコードは、アクセスのために記憶媒体アクセス
デバイスによって記憶されている。

【００３３】画像受け取り命令２０２を実行する際に、
ＣＰＵ１９０は、画像データ１９６に関して説明された
ように、画像を定義するデータを受け取り、データメモ
リ１９４に記憶する。画像を定義するデータは、スキャ
ナ１８４又はネットワーク１８８から受け取られても良
い。

【００３４】画像処理命令２０４を実行する場合、ＣＰ
Ｕ１９０は、指標付け(indexing)命令２０６及び内容抽
出命令２０８を呼び出す。画像処理命令２０４はまた行
／列表現の解析に関する他の動作を実行する。

【００３５】指標付け命令２０６を実行する場合、ＣＰ
Ｕ１９０は解析命令２１０を呼び出し、画像データ１９
６が定義した画像の基本的な幾何学的解析を実行し、行
データ２２０及び列データ２２２を生成する。行データ
２２０は行内の画像の部分を示す。列データ２２２は列
内の画像の部分を示す。

【００３６】内容抽出命令２０８を実行する場合、ＣＰ
Ｕ１９０は解析命令２１０を呼び出し、内容データ２２
４を生成する行データ２２０及び列データ２２２が定義
した画像の基本的な幾何学的解析を実行できる。内容デ
ータ２２４は、行／列の組合せに対して行／列表現が表
現する情報を示す。

【００３７】図７は、図６における画像処理命令を実行
する際の動作を示す。図８は図６における指標付け命令
を実行する際の動作を示す。

【００３８】図７及び図８における動作は、それぞれが
画像を定義するデータ項目（アイテム）に対して実行さ
れる。各項目は”データ画像(data image)" と呼ばれ
る。幾つかのデータ画像は他のデータ画像を得るために
使用できる。一般的に、全てのデータ画像は、同じ数の
画素を備える画像を定義し、各動作は同数の画素を備え
る画像を生成する。２つの画像に対する動作は、一般的
に複数対の画素の値を使用し、生成される画像の画素値
を各対毎に生成する。即ち、各対の内で、１つの画素が
各画像から得られ、且つ１対の内の２つの画素は共に生
成されている画像内の画素値と同じ位置（ロケーショ
ン）にある。

【００３９】図７のボックス２４０の動作は、入力画像
を定義するデータを受け取ることによって開始する。入
力画像データは、画像受け取り命令２０２を実行するこ
とで予め受け取られることができ、画像処理命令２０４
への呼び出しが備えられてもよい。

【００４０】ボックス２４２における動作は、ボックス
２４０からの入力画像データを使用して指標付行データ
画像及び指標付列データ画像を得る。その入力画像があ
る種の制約条件を満たす行／列表現を示す場合、指標付
行データ画像は行毎に連結成分を含み、その連結成分内
の各画素は行のために固有の識別子（一意の名前）でラ
ベル付けされる。同様に、指標付列データは、列ごと連
結成分を含み、その連結成分内の各画素は列のために個
有の識別子でラベル付けされる。ボックス２４２におけ
る動作の実現については、以下に更に詳細に記述され
る。

【００４１】ボックス２５０における動作は外部反復ル
ープを開始し、指標付行データ画像における行の連結成
分ごとに反復を行う。ボックス２５２における動作は、
内部反復ループを開始し、指標付列データ画像における
列連結成分ごとに反復を行う。

【００４２】ボックス２５４における動作は、現在ハン
ドル（処理）されている行及び列の両方の中にある表項
目を示す表項目データ画像を得ることによって、各内部
反復を開始する。ボックス２５４における動作は、現在
の行の固有の識別子を指標付行データ画像内の各画素の
ラベルと比較することによって実行され、現在の行連結
成分内の各画素がＯＮである現在の行データ画像を得る
ことができる。ボックス２５４における動作はまた、現
在の列の固有の識別子を、指標付列データ画像内の各画
素のラベルと比較することによって実行され、現在の列
連結成分内の各画素がＯＮである現在の列データ画像を
得ることができる。次にボックス２５４における動作
は、現在の行データ画像、現在の列データ画像、及び表
の項目を示す表項目データ画像の論理積（ＡＮＤ）をと
り、表項目データ画像を得ることができる。表項目デー
タ画像は、ボックス２４２における動作の実行について
以下に記述されるように得られることができる。

【００４３】ボックス２５６における動作は次に、ボッ
クス２５４からのその表項目データ画像を使用して、表
項目の境界ボックス（bounding box) を示すボックスデ
ータを得る。ボックスデータは左部ｘ座標、上部ｙ座
標、幅及び、高さの４項目のリストであり得る。ボック
ス２５８における動作は次に、ボックス２５６からのそ
のボックスデータを現在ハンドルされている行用のボッ
クスのサブリストへ加える。全列が現在の行に関してハ
ンドルされると、ボックス２６０における動作は現在の
行のサブリストをサブリストのリストへ加え、全行がハ
ンドルされた時、ボックス２６２における動作はサブリ
ストのリストを内容データとして戻す。サブリストのリ
ストは、行／列組合せ毎に項目用の境界ボックスを示
し、その示された境界ボックスはボックス２４０からの
入力画像データと共に使用され、項目の画像を定義する
データを得ることができる。

【００４４】図８は、図７のボックス２４２における動
作がどの様に実行されるかを示す。図８の各ボックス
は、データ画像を表す。入力画像データ２７０は、図７
のボックス２４０から受け取られる。

【００４５】ボックス２４２における動作は、最大境界
ボックスを有する連結成分を選択することによって、表
境界データ画像(table boundary data image) ２７２を
得ることができる。ボックス２４２における動作は、入
力画像２７０内の各連結成分を固有の識別子でラベル付
けできる。次に、各連結成分は別々にハンドルされ、ボ
ックスの幅と高さの積である境界ボックス領域を得るこ
とができる。ボックス２４２における動作はスプレッド
（拡がり）動作（演算）を行い、各連結成分内の画素を
連結成分の境界ボックス領域でラベル付けできる。ボッ
クス２４２の動作は、最大境界ボックス領域を得ること
ができ、且つスプレッド動作からの各画素のラベルを最
大境界ボックス領域と比較し、そのラベルが最大境界ボ
ックス領域と等しい場合、画素ＯＮを維持し、表境界デ
ータ画像２７２を得ることができる。

【００４６】ボックス２４２の動作は次に境界データ画
像２７２を使用してギャップが埋められた水平方向及び
垂直方向データ画像２７４を得ることができる。ボック
ス２４２の動作はまず表境界データ画像２７２を使用し
て、水平方向のノンギャップ(non-gap) データ画像及び
垂直方向のノンギャップデータ画像を得ることができ
る。ボックス２４２における動作は次に、その水平方向
及び垂直方向ノンギャップデータ画像を使用して、水平
位置及び垂直位置データ画像を得ることができる。ボッ
クス２４２における動作は次に、これらのデータ画像の
各々に対してギャップ埋め動作を行い、ギャップが埋め
られた水平位置及び垂直位置データ画像２７４を得るこ
とができる。

【００４７】ボックス２４２における動作は、先ず表境
界データ画像２７２を用いてその水平方向のノンギャッ
プデータ画像を得て、スケルトン（骨格線）データ画像
を得ることができる。ボックス２４２における動作は先
ず、表境界線データ２７２の連結成分の補集合(complem
ent)を得て、次にその補集合を用いて４部分エッジデー
タ画像を得ることができる。次にその部分エッジデータ
画像を用いて、エッジ方向データ画像を得ることができ
る。このエッジ方向データ画像において反対方向の各エ
ッジ上の画素は異なるようにラベル付けされる。

【００４８】ボックス２４２における動作は、各画素に
おいて、−ｘ部分エッジデータ画像からの値の最大値、
及び＋ｘ部分エッジデータ画像からの値の２倍の値を取
ることによって、水平方向の最大データ画像を得ること
ができる。同様にボックス２４２における動作は、各画
素において−ｙ部分エッジデータ画像からの値の最大
値、及び＋ｙ部分エッジデータ画像からの値の２倍の値
を取ることによって、垂直方向の最大データ画像を得る
ことができる。非論理的なエッジが抑制される修正され
た水平方向及び垂直方向最大データ画像を得るために、
ボックス２４２における動作は、水平及び垂直データ画
像のそれぞれについて差データ画像を得ることができる
と共に、水平方向及び垂直方向の最大データ画像の各画
素の値を、それぞれの差データ画像の補集合内の同一画
素の値によってゲートできる。その差データ画像におい
て、画素は、画素が得られた最大データ画像内に明確な
（離散的な）非ゼロ値を備える４近傍を有すれば、画素
はＯＮである。最終的に、ボックス２４２における動作
は、読み取り動作を実行し、その結果としてデータ画像
を得る。そのデータ画像において、各画素は表境界デー
タ画像２７２の補集合内の最近接ＯＮ画素にある、修正
された水平方向及び垂直方向の最大データ画像の値でラ
ベル付けされる。その結果として得られた各データ画像
毎に差データを得て、差データ画像の和集合(union) と
してスケルトンデータ画像を得る。

【００４９】ボックス２４２における動作は、スケルト
ンデータ画像を使用して、＋ｙ及び−ｙ方向の２つの部
分エッジデータ画像を得ることができる。ボックス２４
２における動作は、２つの共通部分データ画像を得るこ
とができ、１つは＋ｙ部分エッジデータ画像を、−ｙ方
向に１画素だけ移動する−ｙ部分エッジデータ画像と交
差することによって得られ、他方は−ｙ部分エッジデー
タ画像を、＋ｙ方向に１画素だけ移動する＋ｙ部分エッ
ジデータ画像と交差することによって得られる。次にボ
ックス２４２の動作は、その共通部分（交差）データ画
像の和集合をとり、和集合データ画像を得ることができ
る。

【００５０】ボックス２４２における動作は、その和集
合データ画像を使用して、水平方向に成長したデータ画
像を得る。このデータ画像において、あらゆる画素は、
画素が、水平方向の最近接ＯＮ画素とＯＦＦ画素の間の
エッジから水平方向に２画素の範囲内にあったとすれば
ＯＮになる。ボックス２４２における動作は、スケルト
ンデータ画像と水平方向に成長したデータ画像の共通部
分をとることができ、その結果として得られたデータ画
像と和集合データ画像の和集合をとり、交差点の２画素
の広いギャップが除去された水平方向のノンギャップデ
ータを得ることができる。

【００５１】ボックス２４２の動作は同様に、垂直方向
のノンギャップデータ画像を得ることができる。即ち、
同一スケルトンデータ画像を使用して＋ｘ及び−ｘ方向
の２つの部分エッジデータ画像を得る；２つの共通部分
データ画像を得る; 共通部分データ画像の和集合をと
る; スケルトンデータ画像とその和集合データ画像から
得られた垂直方向成長データ画像との共通部分をとる;
そして、その結果として得られたデータ画像と和集合デ
ータ画像との和集合をとり、垂直方向のノンギャップデ
ータ画像を得る。

【００５２】ボックス２４２における動作は次に、垂直
方向のノンギャップデータ画像における連結成分を示す
垂直方向の部分集合データ画像を得ることができる。こ
の連結成分は水平方向のノンギャップデータ画像におけ
る連結成分内に完全に含まれる。ボックス２４２の動作
は次に差集合演算(set difference operation)を行い、
垂直方向の部分集合データ画像を水平方向のノンギャッ
プデータ画像から除去し、垂直方向フリー水平位置デー
タ画像を得ることができる。

【００５３】ボックス２４２における動作は同様に、水
平方向のノンギャップデータ画像における連結成分を示
す水平方向の部分集合データ画像を得ることができる。
この連結成分は垂直方向のノンギャップデータ画像にお
ける連結成分内に完全に含まれる。ボックス２４２の動
作は次に差集合演算を行い、水平方向の部分集合データ
画像を垂直方向のノンギャップデータ画像から除去し、
水平方向フリー垂直位置データ画像を得ることができ
る。

【００５４】各部分集合データ画像は、先ず差集合演算
を実行することによって第２の画像から第１の画像を除
去し、シード（種）データ画像を得ることにより第１及
び第２の画像から得られる。このシードデータ画像は次
に、第２の画像バージョンを得るために彩色（着色）演
算(coloring operation)において用いられる。この第２
の画像バージョンの場合、画素は、第１画像において連
結成分内にない第２画像の部分を含む連結成分内でＯＮ
である。このバージョンは次に、第２画像から除去さ
れ、第２画像の連結成分を示す部分集合データ画像を得
ることができ、この第２画像の連結成分は第１画像にお
ける連結成分の部分集合である。

【００５５】ボックス２４２の動作は次に垂直方向フリ
ー水平位置データ画像及び水平方向フリー垂直位置デー
タ画像を用いて、水平位置及び垂直位置のデータ画像を
それぞれ得ることができる。例えば、ボックス２４２に
おける動作は、２つの距離データ画像を得ることがで
き、第１距離データ画像において、各画素は垂直方向フ
リー水平位置データ画像における最近接連結成分までの
距離でラベル付けされ、第２距離データ画像において、
各画素はスケルトンデータ画像における最近接連結成分
距離でラベル付けされる。距離データ画像は、排他的密
接データ画像(exclusive closer data image) を得るた
めに使用される。この画像内で、第１距離データ画像中
の上記画素の距離が第２距離データ画像中の上記画素の
距離よりも短い場合、画素はＯＮになる。従って、スケ
ルトンは水平方向フリー垂直位置データ画像によって示
された部分のフル幅の曲線まで成長する。ボックス２４
２の動作は次に、表境界データ画像２７２と排他的密接
データ画像との共通（交差）部分を得て、水平方向のデ
ータ画像を得る。ボックス２４２の動作は同様に、水平
方向フリー垂直位置データ画像を使用して、垂直位置デ
ータ画像を得る。

【００５６】ボックス２４２の動作は、５画素等、ギャ
ップ埋め距離範囲（半径範囲）を用いて、ギャップ埋め
動作を水平位置データ画像及び表境界データ画像２７２
に対して行う。水平位置データ画像内の２つのＯＮ画素
の間のギャップが、ギャップ埋め距離範囲よりも小さい
場合、及びその２つのＯＮ画素が表境界データ画像２７
２における同一連結成分内にある場合、ギャップ埋め動
作は２つのＯＮ画素をそれら２つの間に延出する他のＯ
Ｎ画素と連結し、ギャップが埋められた水平方向のデー
タ画像を得る。同様に、ボックス２４２の動作は、同様
のギャップ埋め距離範囲を用いて、ギャップ埋め動作を
垂直位置データ画像及び表境界データ画像２７２に対し
て行って、ギャップが埋められた垂直方向のデータ画像
を得ることができる。

【００５７】ボックス２４２における動作は、ギャップ
埋めされた水平方向及び垂直方向のデータ画像２７４を
使用し、ｈ−バンド（水平方向帯）及びｖ−バンド（垂
直方向帯）データ画像２７６を得ることができる。画素
がギャップ埋めされた水平方向データ画像において、＋
ｙと−ｙの両方向に最近接点を有していれば、画素はｈ
−バンド内でＯＮ画素となる。同様に、画素がギャップ
埋めされた垂直方向データ画像において、＋ｘと−ｘの
両方向に最近接点を有していれば、画素はｖ−バンド内
でＯＮ画素となる。

【００５８】ボックス２４２における動作はまた、表境
界データ画像２７２を用いて、埋められたデータ画像２
７８を得ることができる。

【００５９】ボックス２４２の動作は次に、ｈ−バンド
及びｖ−バンドデータ画像２７６と、埋められたデータ
画像２７８とのＡＮＤ（論理積）をとり、表ｈ−バンド
及びｖ−バンドデータ画像２８０を得ることができる。
画素が、ｈ−バンドデータ画像と埋められたデータ画像
２７８の両画像内においてＯＮであれば、画素は表ｈ−
バンドデータ画像においてＯＮになる。画素が、ｖ−バ
ンドデータ画像と埋められたデータ画像２７８の両画像
内においてＯＮであれば、画素は表ｖ−バンドデータ画
像においてＯＮになる。

【００６０】ボックス２４２における動作は、表境界デ
ータ画像２７２を使用して、表のます(panes) データ画
像２８２を得ることができる。ボックス２４２の動作
は、表境界データ画像２７２を使用して、表の穴（ホー
ル）データ画像及び内部データ画像を得ることができ
る。次にボックス２４２の動作は、穴データ画像と内部
データ画像の和集合をとって、埋められたデータ画像と
して表のますデータ画像２８２を得ることができる。

【００６１】ボックス２４２における動作は、入力画像
２７０と表ますデータ画像２８２のＡＮＤをとり、表項
目データ画像２８４を得ることができる。言い換えれ
ば、表項目データ画像２８４は、表のます内にある連結
成分を示す。

【００６２】或いは、ボックス２４２における動作は、
内部データ画像を表境界データ画像２７２から得ること
によって、表項目データ画像２８４を得ることができ
る。

【００６３】ボックス２４２における動作は、表のｈ−
バンド及びｖ−バンドデータ画像２８０、及び表項目デ
ータ画像２８４を使用して、適宜に行制約条件及び列制
約条件を適用することによって、行列データ画像２８６
を得ることができる。例えば、行と列を狭いセパレータ
バンドから識別するために、列の制約条件は、列が全列
の項目の最小幅集合よりも広くなることを必要とする幅
基準と、列が全列の項目の最低高さ集合よりも高い高さ
を有することを必要とする高さ基準と、を含み得る。同
様に、行の制約条件は、行が全行の項目の集合の最低高
さよりも高くなることを必要とする高さ基準と、行が全
行の項目の集合の最小幅よりも広い幅を有することを必
要とする幅基準と、を含み得る。

【００６４】このような基準を適用する結果として、画
素が、表のｈ−バンドデータ画像における連結成分の内
の１つのｘ及びｙスパン内にあり、このスパンが表ｈ−
バンドデータ画像の同一連結成分内にある表項目データ
画像２８４の連結成分の集合の最小スパンよりも大きな
ｘとｙのスパンを有する場合、各画素は行データ画像に
おいてＯＮになる。同様に、画素が、表のｖ−バンドデ
ータ画像における連結成分の１つのｘ及びｙスパン内に
あり、このスパンが表ｖ−バンドデータ画像の同一成分
内にある表項目データ画像２８４の連結成分の集合の最
小スパンよりも大きなｘとｙのスパンを有する場合、各
画素は列データ画像においてＯＮになる。

【００６５】最終的に、ボックス２４２における動作
は、行及び列データ画像２８６を用いて、指標付行及び
列データ画像２８８を得ることができる。

【００６６】ボックス２４２の動作はその行データ画像
を用いて、アップ（上昇）エッジデータ画像を得ること
ができ、この画像において各画素は、画素が行データ画
像における連結成分の上向きエッジにある場合、ＯＮに
なる。次に、ボックス２４２の動作はプロジェクト（射
影）（project)演算を実行でき、アップエッジデータ画
像においてＯＮである各画素を、その画素より上にある
ＯＮの画素の数よりも１つ多い数でラベル付けできる。
次にボックス２４２における動作は、その結果として得
られたデータ画像を使用して、スプレッド演算を実行
し、行データ画像における連結成分内の各画素をプロジ
ェクト演算から得られたデータ画像におけるその全画素
の内の最大値でラベル付けできる。次に、一連のラベル
を得るために、ボックス２４２における動作は、各画素
を１で始まる固有の識別子でラベル付けし、この固有の
識別子はスプレッド演算からのラベルと同じ順番に割り
当てられ、指標付行データ画像を得ることができる。

【００６７】同様に、ボックス２４２の動作は、列デー
タ画像を用いて、左エッジデータ画像を得ることがで
き、この画像において、画素が列データ画像の連結成分
の左側エッジにあれば、各画素はＯＮになる。ボックス
２４２の動作は次に、プロジェクト演算を実行でき、左
エッジデータ画像においてＯＮである各画素を、その画
素の左側にあるＯＮの画素の数よりも１つ多い数でラベ
ル付けできる。次にボックス２４２における動作は、そ
の結果として得られたデータ画像を使用して、スプレッ
ド演算を実行し、列データ画像における連結成分内の各
画素を、プロジェクト演算から得られたデータ画像にお
けるその全画素の内の最大値でラベル付けできる。次
に、ボックス２４２における動作は、各画素を１で始ま
る固有の識別子でラベル付けし、この固有の識別子はス
プレッド演算からのラベルと同じ順番に割り当てられ、
指標付行データ画像を得ることができる。

【００６８】各行／列の組合せ毎の項目を示す図７のボ
ックス２６２からのリストは、様々な目的のために使用
され得る。例えば、そのリストを使用して、表のような
正確に形成された行／列表現を得ることができる。図９
は、表のスケッチから得られたリストが、そのスケッチ
内からコピーされた項目を用いて正確に形成された表を
得るために、どの様に用いられたかを示す。

【００６９】図９において、入力画像３１０は表である
行／列表現のスケッチを示す。そのスケッチは上部に渡
った分離タイトルバー、４行、及び３列を含む。第１行
は列に関してのヘッディング（見出し）を含み、第２列
のヘッディングは２つの部分に再分割されている。表
は、第１と第２列の間に二重線を含む。

【００７０】図７に関して上述されたように、部分リス
トのリストが入力画像３１０から得られると、そのリス
トを用いて出力画像３１２を生成できる。図示されてい
るように、出力画像３１２はまた、入力画像３１０中の
スケッチされた表の行及び列内からの項目を含む表を示
す。ここで、出力画像３１２は、分離したタイトルバー
を含んでおらず、第１及び第２列の間の二重線は単一の
線にかわり、そして、第２列のヘッディングは、その再
分割を形成する線を含んでコピーされている。

【００７１】描画動作(rendering operation) は図７の
ボックス２６２で戻されたサブリストのリストのような
サブリストのリストを用いて、出力画像３１２のような
表を作成する。描画動作は、ＬａＴｅｘコマンドストリ
ング又は他のページ記述言語（ＰＤＬ:page descriptio
n language) ファイルをセットアップすることにより開
始でき、その動作が終了すると、プリンタへ提供でき
る。描画動作は次に、サブリストのリストを得ることが
できる。描画動作はサブリストのリストを調べ、境界ボ
ックスの最大高さを見つけることができる。次にその最
大高さを使用して、全ての他の高さを出力サイズにスケ
ール（基準化）できる。次いで描画動作は反復ループを
実行し、数学モードのＬａＴｅｘコマンドストリング内
に含まれ得る表ストリングを作成できる。

【００７２】反復ループは、サブリストのリストの境界
ボックスを調べ、そらぞれが行／列組合せに対する項目
を定義するポストスクリプトファイルのリストを得て、
ＬａＴｅｘ表ストリングを作成する。その境界ボックス
高さを項目の最大高さで割って、次に得られたその結果
に正確に形成された表の行について決められた高さを掛
けることによって、各項目をスケールすることができ
る。

【００７３】図１０は、画像処理サーバを使用する別法
の実施を示す。図１０のシステム３９０は、ネットワー
ク３９２、ワークステーション３９４、記憶サーバ３９
６、及び画像処理サーバ３９８を含む。ユーザは、ワー
クステーション３９４を動作して、例えばスキャナ又は
他のソース等からの画像を定義するデータを記憶するた
めに、ネットワーク３９２に対してリクエスト（要求）
を提供できる。これに応答して、記憶サーバ３９６は、
そのデータを記憶できる。次に、ユーザはワークステー
ション３９４を動作して、上述された画像処理動作のよ
うな画像処理動作のためのリクエストを提供できる。こ
れに応答して、画像処理サーバ３９８は、リクエストさ
れた動作を実行し、図６について上述された命令のよう
な命令を実行できる。

【００７４】図１１は、上述された技法がファックスサ
ーバとして動作可能であるパーソナルコンピュータでど
の様に使用され得るかを示す。図１２は上述された技法
がコピー機にどの様に使用され得るかを示す。

【００７５】図１１のシステム４００は、ＣＰＵ４０２
を含み、このＣＰＵはＩＢＭ ＰＣコンパチブルマシン
等のパーソナルコンピュータのＣＰＵであり得る。ＣＰ
Ｕ４０２はキーボード４０４及びマウス４０６からのユ
ーザ入力信号を受け取るように接続され、ディスプレイ
４０８を介してユーザに画像を呈することができる。Ｃ
ＰＵ４０２はまた、図示されているようなディスクドラ
イブ４１０、モデム４１２、スキャナ４１４、及びプリ
ンタ４１６を含む他の多種多様の周辺装置と接続され
る。

【００７６】プログラムメモリ４２０は、ＤＯＳバーシ
ョンであり得るオペーレーティングシステム（ＯＳ）命
令４２２、ユーザインタフェース命令４２４、ファック
スサーバ命令４２６、及び画像処理命令４２８を記憶す
る。ファックスサーバ命令４２６は、ゼロックスコーポ
レーションのPaperWorks^TMソフトウェアプロダクトと同
様のものであり得る。画像処理命令４２８は図６の画像
処理命令２０４及び図７乃至９について上述されたよう
に実現され得る。ファックスサーバ命令４２６及び画像
処理命令４２８は、フロッピーディスク、ディスケッ
ト、又はＣＤ−ＲＯＭに記憶されるソフトウェア形式で
得られ、ディスクドライブ４１０によってプログラムメ
モリ４２０に記憶のためにアクセスされることができ
る。

【００７７】データメモリ４４０は、図６乃至８につい
て上述されたように、入力画像データ４４２、行データ
４４４、列データ４４６及び内容データ４４８を記憶す
る。図９について上述されたように画像処理命令４２８
が出力画像を定義するデータを得る場合、データメモリ
４４０はまた、出力画像データ４５０を記憶できる。

【００７８】システム４００は、多くの方法で行／列表
現を示す画像を定義する入力画像データ４４２を得るこ
とができる。即ち、行／列表現を示す画像を定義するデ
ータは、図５について上述されたように、例えばユーザ
インタフェース命令４２４を実行することによって等、
対話型で生成され得る。ペンベースの技術を含むあらゆ
る適切なユーザインタフェース技術は使用可能である。
行／列表現を示す予め生成された画像を定義するデータ
は記憶媒体からディスクドライブ４１０によって検索可
能である。行／列表現を示す画像を定義するデータは、
図４について上述されたように、スキャナ４１４から得
ることもできる。ユーザは行／列表現を示す画像を定義
するデータを他の場所で生成し、そのデータを例えば、
モデム４１２へファクシミリ伝送することによって等、
モデム４１２を介してシステム４００へ提供できる。

【００７９】ＣＰＵ４０２は、モデム４１２を介してフ
ァクシミリ伝送によって受け取られたリクエスト（要
求）に応答して、ファックスサーバ命令４２６を実行で
きる。そのリクエストは、解析動作、及びファックスマ
シンやプリンタ４１６などの出力画像デスティネーショ
ン（宛て先）を示す形式を含み得る。そのリクエストは
また、行／列表現を示す画像を定義するデータを含み得
る又はシステム４００によって前に得られた画像を示し
得る。

【００８０】ファックスサーバ命令４２６は、画像処理
命令４２８への呼び出しを含み、リクエストが解析動作
を示す場合、図７乃至９に示された動作のような動作を
実行する。ファックスサーバ命令４２６の実行は更に、
出力画像を定義するデータを提供できる。そのデータは
ファクシミリ伝送のためにモデム４１２へ、又は印刷の
ためにプリンタ４１６へ提供され得る。

【００８１】図１２において複写機４６０は、デジタル
コピー機又は電子複写（複製）システムであり得る。走
査回路４６２は、行／列表現を示す入力画像４６４を定
義するデータを得る。ユーザインタフェース回路４７０
は、押しボタン、熱もしくは圧力感応素子、キャパシタ
ンス感応素子、又は接触動作を感知する他の装置であり
得るタッチセンス装置４７２を含む。ユーザが装置４７
２をタッチすると、ユーザインタフェース回路４７０
は、装置４７２がタッチされたことを示すタッチデータ
を提供する。

【００８２】処理回路４８０は、タッチデータを用い
て、解析動作についてのリクセストを示すリクエストデ
ータを得る。次にそのリクエストに応答して、処理回路
４８０は入力画像４６４を定義するデータを使用し、行
／列表現の行と列を示す行／列データを自動的に得る。
プロセッサ回路４８０は次に、その行／列データを使用
し、行／列組合せの集合毎に項目を示す内容データを得
る。プロセッサ回路４８０は次に、その内容データを使
用し、集合内の行／列組合せ毎に表又は項目の他の表現
を示す出力画像を定義するデータを得る。このデータは
出力画像４９２を印刷するために印刷回路４９０に提供
される。

【００８３】

【発明の効果】本発明によって、図形表現を示す画像を
解析するための技術が提供される。

【図面の簡単な説明】

【図１】行／列表現を表す画像の解析を示す概略図。

【図２】行／列表現を表す画像を解析する場合の一般的
な動作を示すフロチャート。

【図３】ソフトウェアプロダクトと、そのソフトウェア
プロダクトを用いて図２における一般的な動作を実行で
きるマシンとの一般的な構成要素を示す概略ブロック
図。

【図４】ユーザが、手書きの行／列表現を示す画像を定
義するデータを提供できる方法を示す概略ブロック図を
示す。

【図５】ユーザが、マシンとの対話により生成される行
／列表現を示す画像を定義するデータをどのように定義
できるかを示す概略ブロック図。

【図６】行／列表現を示す画像を解析できる機械の概略
ブロック図。

【図７】図６の機械が実行する動作のフローチャート。

【図８】図７の指標付行／列データ画像を得るために使
用されるデータ画像の概略フローチャート。

【図９】表のスケッチ及び図６乃至８で示された技法を
用いて得られる正確に形成された表の例を示す。

【図１０】画像処理サーバを備える実施の概略ブロック
図。

【図１１】ファックスサーバアップリケーションの概略
ブロック図。

【図１２】コピー機サーバアップリケーションの概略ブ
ロック図。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像データを解析するための方法であっ
   て、 行及び列を備える行／列表現を示す入力画像を定義する
   入力画像データを得るステップと、 前記入力画像データを用いて行及び列データを得るステ
   ップであって、前記行データが前記行／列表現の行内の
   入力画像の部分を示し、前記列データが前記行／列表現
   の列内の入力画像の部分を示し、前記行／列表現が前記
   行及び前記行の組合せに関する情報を表現するステップ
   と、 前記行データ及び前記列データを用いて内容データを得
   るステップであって、前記内容データが前記行及び前記
   列の前記組合せについて前記行／列表現によって表現さ
   れた情報を示すステップと、 を備える画像データ解析方法。
2. 【請求項２】画像データを解析するための方法におい
   て、前記入力画像データを用いて行及び列データを得る
   動作であって、 前記入力画像データを用いて、水平方向及び垂直方向の
   データを得るステップであって、前記水平方向のデータ
   が入力画像における水平方向の線を示し、前記垂直方向
   のデータが入力画像における垂直方向の線を示すステッ
   プと、 前記行データを得るために前記水平方向データを用い、
   且つ前記列データを得るために前記垂直方向データを用
   いるステップと、 を備える請求項１に記載の画像データ解析方法。