JP4100746B2 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP4100746B2 JP4100746B2 JP00339698A JP339698A JP4100746B2 JP 4100746 B2 JP4100746 B2 JP 4100746B2 JP 00339698 A JP00339698 A JP 00339698A JP 339698 A JP339698 A JP 339698A JP 4100746 B2 JP4100746 B2 JP 4100746B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- block
- attribute
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Character Input (AREA)
- User Interface Of Digital Computer (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字認識装置）、複写機、ファクシミリ、電子データベース化の処理装置等の電子装置において、特に文書画像より特定の所望領域を抽出するための画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
一般に、文書から所望の領域を抽出するには次の２とおりの方法がある。第１の方法は、入力画像に対してオペレータが所望の抽出すべき領域をその都度指定する。例えば、スキャナで文書画像を読み取り、読み取った画像をディスプレイ上に表示して、オペレータが所望の領域をマウス等を用いて指定する方法である。
【０００３】
また、第２の方法は、あらかじめ矩形の位置情報を定めたテンプレートを作成しておき、このテンプレートに定められた矩形領域をそのまま入力画像に当てはめて抽出するものである。この場合、読み取られた文書画像中から、テンプレートで定められた位置及び大きさの矩形領域が抽出されることになり、オペレータが一つ一つ抽出領域を指定するという手間が省けることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の第１の方法では、オペレータが所望の領域をその都度指定しなければならず、大量文書の処理には不向きである。またテンプレートを用いる第２の方法においても、入力画像の抽出すべき所望の領域とテンプレートで設定されている領域との間に、位置や大きさのずれがある場合には、所望領域が欠けて抽出されてしまうという問題がある。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、テンプレートを採用しつつ、入力した文書画像中より所望の領域を確実に抽出することが可能な画像処理装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による画像処理装置は例えば以下の構成を備える。すなわち、
画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持手段と、
前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択手段と、
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出手段と、
前記領域抽出手段で抽出されたブロック領域のうち、前記選択手段でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出手段とを備える。
【０００７】
また、上記の目的を達成するための本発明の他の態様による画像処理方法は例えば以下の工程を備えている。すなわち、
保持手段が、画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持工程と、
選択手段が、前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択工程と、
画像入力手段が、文書画像を入力する画像入力工程と、
領域抽出手段が、前記画像入力工程で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出工程と、
抽出手段が、前記領域抽出工程で抽出されたブロック領域のうち、前記選択工程でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出工程とを備える。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【０００９】
［第１の実施形態］
図１は第１の実施形態による画像処理装置の構成を示すブロック図である。図１において、１０１は画像原稿に光を照射し、その反射光を読み取り電気信号に変換するスキャナ、１０２はスキャナ１０１で得られた電気信号を２値のデジタル電気信号に変換し他の装置構成要素に伝送するためのスキャナインタフェース回路、１０３はディスプレイのウィンドウ上で所望とする座標を入力するためのポインティングデバイス（本例ではマウスを用いるので、以下マウス１０３と称する）、１０４はマウス１０３からの信号を受け、それを他の装置構成要素に伝送するためのインターフェース回路である。
【００１０】
１０５はＣＰＵであり、装置全体の制御及び領域分割処理等を実行する。１０６はＲＯＭであり、ＣＰＵ１０５が実行する制御プログラム、各種処理プログラムやフォントデータなどを格納する。１０７はＲＡＭであり、文書画像の展開や領域分割処理のための作業領域などとして用いられる。
【００１１】
また、１０８は入力イメージ等を表示するためのディスプレイ、１０９はディスプレイインターフェース回路である。ディスプレイ１０８には、ＲＡＭ１０７の所定アドレスエリアに格納されているＶＲＡＭ領域のイメージが表示される。１１０は、データ等が格納されるハードディスク等の外部記憶装置で、１１１はそのインタフェースである。そして１１２は各装置構成要素を接続するバスである。
【００１２】
次に、第１の実施形態における処理の流れについて、図２のフローチャートおよび図３のフローチャートに沿って説明する。図２は第１の実施形態におけるテンプレート保存処理の手順を説明するフローチャートである。また、図３は、第１の実施形態における領域抽出処理の手順を説明するフローチャートである。
【００１３】
まず、領域抽出に用いるテンプレート保存処理について図２を参照して説明する。ステップＳ２０１で保存したい書式をもった図４の如き文書Ａをスキャナ１０１で読み込み、後の領域分割処理のために２値の画像データに変換する。次に、ステップＳ２０２において、得られた入力画像に対して、“テキスト”や“表”や“図形”等の属性をもった小領域（以後、領域或はブロックと呼ぶ）ごとに領域設定を行う。なお、ステップＳ２０２で用いられる領域分割処理は、当業者に知られた手法を採用すればよい。
【００１４】
本例では、図４の文書Ａをスキャナで読み取り、読み取った画像をディスプレイ１０８に表示する。図５は第１の実施形態によるテンプレート保存処理における領域設定操作画面の表示例を示す図である。ディスプレイ１０８中には、文書Ａの画像と共に属性メニュー５１も表示される。マウス１０３を操作して属性メニュー５１から所望の属性を選択し、マウス１０３で矩形領域を示す枠を指定する。このようにして、所望の位置にその属性の枠を描くことで、各矩形領域毎に属性が設定される。なお、マウス１０３の操作によって描画される矩形枠の線色は、属性メニュー５１から所望の属性を指定すると、指定された属性に対応付けられた色に設定される。図５において、矩形枠５０１の線色は黒であり、当該領域の属性が「テキスト」であることを表している。また、矩形枠５０２の線色は赤であり、当該領域の属性が「表」であることを表している。更に、矩形枠５０４の線色は黄であり、当該矩形領域の属性が「図形」であることを表している。
【００１５】
図６は、上述した領域指定及び属性設定によって生成されるテンプレートデータのデータ構成を説明する図である。図６（ａ）に示すように、各領域毎（ブロック毎）に領域データが格納される。領域データは、当該領域の始点Ｘ、Ｙ座標、幅、高さ（すなわちマウス１０３で描画した矩形枠の位置情報）を登録すると共に、「属性」の欄には当該矩形枠に設定された属性に対応する識別番号が設定される。各属性と識別番号は図６（ｂ）に示す通りである。
【００１６】
次に、ステップＳ２０３で、以上のようにして設定した各ブロックの領域データの集合をテンプレートとして登録保存する。たとえば、図７では既存のテンプレート群の４番目に新規に「文書Ａテンプレート」という名称で登録される例を表わしている。
【００１７】
図８はテンプレートデータへの「文書Ａテンプレート」の登録状態を示す図である。図５で示したように文書Ａには矩形枠５０１〜５０５で示される領域が設定されているので、文書Ａテンプレートには５つのブロックが登録されることになる。なお、ブロック１〜５のどのブロックにどの矩形枠が対応するかは、例えば、矩形枠の指定の順番に従って決定すればよい。
【００１８】
以上のようにして登録されたテンプレートを用いて、新たに読み込まれた画像から所望の領域を抽出する処理について図３のフローチャートを参照して説明する。
【００１９】
まず、ステップＳ３０１で所望の領域を抽出するのに必要なテンプレートを選択する。本例では、図７の如く登録されているテンプレートのテンプレート名をディスプレイ１０８上に表示し、マウス１０３を用いて所望のテンプレートをオペレータに選択させる。次に、ステップＳ３０２で処理対象の文書をスキャナ１０１で読み取り、後の領域分割処理のためにこれを２値の画像データに変換する。本例では図５の如く設定された文書テンプレートＡを選択し、処理対象の文書として図９に示す文書Ｂを読み込んだものとして説明を行う。
【００２０】
ステップＳ３０３では、得られた入力画像に対して、当業者には知られた領域分割処理を行ない、ブロックを抽出するとともに各ブロックの属性を判定する。図１０は、文書Ｂについて領域分割処理を実行した結果例を示す図である。ブロックＡ〜Ｅの各ブロックは抽出領域情報として、図６に示した領域情報と同じデータ構造で格納される。すなわち、抽出された各ブロックの位置と属性を表す情報が格納される。
【００２１】
次に、ステップＳ３０４で、文書Ｂから抽出されたブロックと、選択したテンプレート（文書Ａテンプレート）に保存されているブロックとで、夫々の領域データを比較する。そして、ステップＳ３０５において、領域の少なくとも一部が重複するとともに、重複した領域どうしの属性が一致するブロックを抽出する。ステップＳ３０５で抽出されたブロックがあれば、そのブロックが所望のブロックと同一のブロックとみなされ、当該ブロックの領域内の画像が出力される（ステップＳ３０６）。
【００２２】
図１１はテンプレートと文書の各ブロックの比較の様子を説明する図である。図１１において、文書Ａテンプレートに記録されているブロックが点線で、文書Ｂの画像から抽出されたブロックが２点破線で示されている。文書Ｂより抽出されたブロックＡ及びブロックＢは、文書Ａテンプレートのブロック位置と多少ずれているが、重複する部分が存在している。また、これら領域の属性はともに「テキスト」であるので、これらブロックＡ、ブロックＢはステップＳ３０５で抽出される。結局、図１０で得られた文書Ｂの全てのブロックＡ〜Ｅの領域データが出力されることとなる。
【００２３】
以上説明したように、第１の実施形態によれば、テンプレートにおいて設定されている領域の位置と実際に読み取った文書画像から抽出すべき領域の位置が多少ずれていても、確実に所望領域を抽出することができる。
【００２４】
［第２の実施形態］
上述の第１の実施形態では、テンプレートに保存する領域の設定をマウス１０３を用いてマニュアルにて行っていたが、このようなテンプレート保存のための領域設定処理を、ステップＳ３０３で行うような領域分割処理を用いて自動化することも可能である。
【００２５】
処理の流れについて図１２のフローチャートに従って説明する。図１２は第２の実施形態によるテンプレート保存処理の手順を表すフローチャートである。
【００２６】
ステップＳ１２０１で保存したい書式をもった文書Ａ（図４）をスキャナで読み込み２値の画像データに変換する。得られた入力画像に対してステップＳ１２０２で領域分割処理を行い、テキスト領域、図形領域、表領域、タイトル領域等の各種領域（ブロック）を抽出する。この場合の領域分割処理の結果を図１３に示す。このように各ブロックが抽出され、ブロック毎に領域分割データとして、各種属性に対応した識別番号および、位置情報が得られる。このときの当該文書に対する領域データの構造は図６に示した構造と同じものとすることができる。そして、ステップＳ１２０３では、抽出した各ブロックの領域データを図８に示すように「文書Ａテンプレート」として登録保存する。
【００２７】
以上のように構成すれば、テンプレートとなる文書をスキャナ１０１によって読みとらせるだけで、自動的にテンプレートが生成されるので、操作性が向上する。
【００２８】
［第３の実施形態］
第２の実施形態では、テンプレート保存処理における領域分割処理によって抽出された全領域をテンプレートとして保存したが、抽出された領域のうちの所望の領域を選択してテンプレートとして保存するようにすることもできる。第３の実施形態では、領域分割処理において抽出したブロックのうちの特定のブロックをマウス１０３等で指示し、そのブロックの領域分割データのみをテンプレートとして保存する。
【００２９】
図１４は第３の実施形態におけるテンプレート保存処理の手順を示すフローチャートである。以下、第３の実施形態の処理の流れについて
図１４のフローチャートに従って説明する。
【００３０】
ステップＳ１４０１で、保存したい書式をもった文書Ａ（図４）をスキャナ１０１で読み込み２値の画像データに変換する。ステップＳ１４０２では、得られた入力画像に対して領域分割処理を行い、テキスト領域、タイトル領域、図形領域、表領域等の各種領域（ブロック）を抽出する。この抽出の結果は、第２の実施形態（図１３）で説明したとおりである。
【００３１】
次に、ステップＳ１４０３では、抽出したブロックのうち特定のブロックをマウス１０３を用いて選択する。図１５は、ブロック３及びブロック５が選択された状態を表す図である。図１５の例の場合、選択されたブロックは斜線でハッチングされ、それ以外のブロックと区別される。
【００３２】
ステップＳ１４０４では、ステップＳ１４０４で選択されたブロックの領域分割データ（属性と位置情報等）のみをテンプレートとして保存する。本例では、図１６に示されるように、ブロック３とブロック５の領域分割データのみが文書Ａテンプレートとして保存される。
【００３３】
以上のようにして保存された文書Ａテンプレートを用いて図９に示した文書Ｂを処理した場合を説明する。図１７は、図１５で選択したブロックのみのテンプレートを用いて文書Ｂから所望の領域を抽出する場合の、テンプレートと文書の各ブロックの比較結果を説明する図である。この例の場合、テンプレートに記録されているブロック（点線）と文書Ｂのブロック（２点破線）のうち、重複しかつ同一属性であると判定されたブロックＣおよびブロックＥの領域分割データのみが出力されることになる。
【００３４】
以上説明したように、第３の実施形態によれば、自動的に抽出された領域データから所望の領域を選択してテンプレートとすることができる。
【００３５】
［第４の実施形態］
上記第３の実施形態では、テンプレートとして保存すべき領域を指定したが、テンプレートとして保存しない領域を指定するようにしてももちろん良い。第４の実施形態では、領域分割処理によって抽出したブロックのうちの所望の領域をマウス等で指示し、指示されたブロック以外のブロックの領域データををテンプレートとして保存する。
【００３６】
図１８は第４の実施形態によるテンプレート保存処理を説明するフローチャートである。まず、ステップＳ１８０１で、保存したい書式をもった文書Ａ（図４）をスキャナ１０１で読み込み、２値の画像データに変換する。ステップＳ１８０２では、得られた入力画像に対して領域分割処理を行い、テキスト領域、タイトル領域、図形領域、表領域等の各種領域（ブロック）を抽出する。この抽出によって、第２の実施形態（図１３）で説明したとおりの結果が得られる。
【００３７】
次に、ステップＳ１８０３では、抽出したブロックのうち、所望のブロックをマウス１０３を用いて選択する。図１５は、ブロック３及びブロック５が選択された状態を表す図である。選択されたブロックは、図１５で説明したように、斜線でハッチングされ、それ以外のブロックと区別されるとともに、選択されたブロックの領域データは削除される。なお、上記では選択されたブロックの矩形領域内にハッチングを施しているが、これに限られるものではない。例えば、領域データの削除と共に、当該ブロックの矩形を表す枠線を消去するようにしてもよい。
【００３８】
ステップＳ１８０４では、ステップＳ１８０４で選択されなかったブロックの領域分割データ（属性と位置情報等）のみをテンプレートとして保存する。本例では、図１５のように選択した結果、ブロック１、２、４の領域分割データのみが文書Ａテンプレートとして保存される。
【００３９】
［第５の実施形態］
上記各実施形態では、処理対象の文書を逐一スキャナ１０１にセットして、読み込ませているが、ＡＤＦ（オートドキュメントフィーダー）等を用いて大量の文書をスキャナ１０１で入力した場合のテンプレートによる自動抽出も可能である。図１９は第５の実施形態における領域抽出処理の手順を説明するフローチャートである。以下、処理の流れについて図１９のフローチャートに従って説明する。なお、ステップＳ１９０１、Ｓ１９０３〜Ｓ１９０７の各処理は、第１の実施形態（図３）におけるステップＳ３０１〜Ｓ３０６と同様である。
【００４０】
ステップＳ１９０１で所望の領域を抽出するのに用いる所望のテンプレートを選択する。ステップＳ１９０２では入力すべき文書があるか否か、すなわちＡＤＦ上に文書があるか否かを判断する。入力すべき文書があればステップＳ１９０３へ進み、文書をスキャナ１０１で読み込み、２値の画像データに変換する。一方、ステップＳ１９０２で入力すべき文書が無ければ本処理を終了する。
【００４１】
次に、得られた入力画像に対しステップＳ１９０４で領域分割を行ない、ブロックを抽出する。例えば、ステップＳ１９０３において図９の如き文書Ｂを読み込んだ場合、ステップＳ１９０４における領域分割処理によって図１０に示すような結果が得られる。
【００４２】
ステップＳ１９０５では、ステップＳ１９０４の領域分割処理によって抽出されたブロックと、ステップＳ１９０１で選択したテンプレートに保存されているブロックとで、領域データを比較する。そして、ステップＳ１９０６において、領域が重複しかつ同一の属性の領域データを有するブロックを抽出する。ここで抽出されたブロックは、テンプレートに定義されている所望のブロックと同一のブロックであるとみなされ、ブロックの領域分割データが出力される（ステップＳ１９０７）。
【００４３】
例えば図５に示した文書Ａに基づいて得られた文書Ａテンプレートを選択し、図９の如き文書Ｂをスキャナ１０１で読み込んで処理すると、図１１のように領域が重複する（文書Ａテンプレートに記録されているブロックを破線で、文書Ｂより抽出されたブロックを２点鎖線で示した）。そして、夫々領域が重複しているブロックの属性が等しい（図５と図１０を参照）ので、図１０で得られた文書Ｂの全てのブロックの領域のデータが出力されることとなる。そして、ステップＳ１９０２に戻り、処理を続行する。
【００４４】
以上説明した様に、上記各実施形態によればテンプレートによって文書画像から所望の領域を抽出する際の、▲１▼オペレータの介在の削減、▲２▼所望領域抽出の正確性の向上、▲３▼大量文書の自動処理、▲４▼操作性の向上、▲５▼処理全体の時間の短縮等がはかれる効果がある。
【００４５】
なお、上記各実施形態では、ブロック領域を矩形領域で設定しているが、円形、楕円形等、閉領域であればどのような形状でもよいであろう。
【００４６】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００４７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
【発明の効果】
以上説明したように本発明によれば、テンプレートを採用しつつ、入力した文書画像中より所望の領域を確実に抽出することが可能となる。
【００５３】
【図面の簡単な説明】
【図１】第１の実施形態による画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態におけるテンプレート保存処理の手順を説明するフローチャートである。
【図３】第１の実施形態における領域抽出処理の手順を説明するフローチャートである。
【図４】テンプレートデータ生成のために読み込む文書例（文書Ａ）を示す図である。
【図５】第１の実施形態によるテンプレート保存処理における領域設定操作画面の表示例を示す図である。
【図６】上述した領域指定及び属性設定によって生成されるテンプレートデータのデータ構成を説明する図である。
【図７】テンプレートデータの登録状態を説明する図である。
【図８】テンプレートデータへの「文書Ａテンプレート」の登録状態を示す図である。
【図９】処理対象例である文書Ｂを示す図である。
【図１０】図９の文書Ｂについて領域分割処理を実行した結果例を示す図である。
【図１１】テンプレートと文書の各ブロックの比較の様子を説明する図である。
【図１２】第２の実施形態によるテンプレート保存処理の手順を表すフローチャートである。
【図１３】この場合の領域分割処理の結果を示す図である。
【図１４】第３の実施形態におけるテンプレート保存処理の手順を示すフローチャートである。
【図１５】第３の実施形態のテンプレート保存処理において、ブロック３及びブロック５が選択された状態を表す図である。
【図１６】第３の実施形態における文書Ａテンプレートのデータ構成を示す図である。
【図１７】図１６の文書Ａテンプレートを用いて文書Ｂから所望の領域を抽出する場合の、各ブロックの比較結果を説明する図である。
【図１８】第４の実施形態によるテンプレート保存処理を説明するフローチャートである。
【図１９】第５の実施形態における領域抽出処理の手順を説明するフローチャートである。
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字認識装置）、複写機、ファクシミリ、電子データベース化の処理装置等の電子装置において、特に文書画像より特定の所望領域を抽出するための画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
一般に、文書から所望の領域を抽出するには次の２とおりの方法がある。第１の方法は、入力画像に対してオペレータが所望の抽出すべき領域をその都度指定する。例えば、スキャナで文書画像を読み取り、読み取った画像をディスプレイ上に表示して、オペレータが所望の領域をマウス等を用いて指定する方法である。
【０００３】
また、第２の方法は、あらかじめ矩形の位置情報を定めたテンプレートを作成しておき、このテンプレートに定められた矩形領域をそのまま入力画像に当てはめて抽出するものである。この場合、読み取られた文書画像中から、テンプレートで定められた位置及び大きさの矩形領域が抽出されることになり、オペレータが一つ一つ抽出領域を指定するという手間が省けることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の第１の方法では、オペレータが所望の領域をその都度指定しなければならず、大量文書の処理には不向きである。またテンプレートを用いる第２の方法においても、入力画像の抽出すべき所望の領域とテンプレートで設定されている領域との間に、位置や大きさのずれがある場合には、所望領域が欠けて抽出されてしまうという問題がある。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、テンプレートを採用しつつ、入力した文書画像中より所望の領域を確実に抽出することが可能な画像処理装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による画像処理装置は例えば以下の構成を備える。すなわち、
画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持手段と、
前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択手段と、
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出手段と、
前記領域抽出手段で抽出されたブロック領域のうち、前記選択手段でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出手段とを備える。
【０００７】
また、上記の目的を達成するための本発明の他の態様による画像処理方法は例えば以下の工程を備えている。すなわち、
保持手段が、画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持工程と、
選択手段が、前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択工程と、
画像入力手段が、文書画像を入力する画像入力工程と、
領域抽出手段が、前記画像入力工程で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出工程と、
抽出手段が、前記領域抽出工程で抽出されたブロック領域のうち、前記選択工程でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出工程とを備える。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【０００９】
［第１の実施形態］
図１は第１の実施形態による画像処理装置の構成を示すブロック図である。図１において、１０１は画像原稿に光を照射し、その反射光を読み取り電気信号に変換するスキャナ、１０２はスキャナ１０１で得られた電気信号を２値のデジタル電気信号に変換し他の装置構成要素に伝送するためのスキャナインタフェース回路、１０３はディスプレイのウィンドウ上で所望とする座標を入力するためのポインティングデバイス（本例ではマウスを用いるので、以下マウス１０３と称する）、１０４はマウス１０３からの信号を受け、それを他の装置構成要素に伝送するためのインターフェース回路である。
【００１０】
１０５はＣＰＵであり、装置全体の制御及び領域分割処理等を実行する。１０６はＲＯＭであり、ＣＰＵ１０５が実行する制御プログラム、各種処理プログラムやフォントデータなどを格納する。１０７はＲＡＭであり、文書画像の展開や領域分割処理のための作業領域などとして用いられる。
【００１１】
また、１０８は入力イメージ等を表示するためのディスプレイ、１０９はディスプレイインターフェース回路である。ディスプレイ１０８には、ＲＡＭ１０７の所定アドレスエリアに格納されているＶＲＡＭ領域のイメージが表示される。１１０は、データ等が格納されるハードディスク等の外部記憶装置で、１１１はそのインタフェースである。そして１１２は各装置構成要素を接続するバスである。
【００１２】
次に、第１の実施形態における処理の流れについて、図２のフローチャートおよび図３のフローチャートに沿って説明する。図２は第１の実施形態におけるテンプレート保存処理の手順を説明するフローチャートである。また、図３は、第１の実施形態における領域抽出処理の手順を説明するフローチャートである。
【００１３】
まず、領域抽出に用いるテンプレート保存処理について図２を参照して説明する。ステップＳ２０１で保存したい書式をもった図４の如き文書Ａをスキャナ１０１で読み込み、後の領域分割処理のために２値の画像データに変換する。次に、ステップＳ２０２において、得られた入力画像に対して、“テキスト”や“表”や“図形”等の属性をもった小領域（以後、領域或はブロックと呼ぶ）ごとに領域設定を行う。なお、ステップＳ２０２で用いられる領域分割処理は、当業者に知られた手法を採用すればよい。
【００１４】
本例では、図４の文書Ａをスキャナで読み取り、読み取った画像をディスプレイ１０８に表示する。図５は第１の実施形態によるテンプレート保存処理における領域設定操作画面の表示例を示す図である。ディスプレイ１０８中には、文書Ａの画像と共に属性メニュー５１も表示される。マウス１０３を操作して属性メニュー５１から所望の属性を選択し、マウス１０３で矩形領域を示す枠を指定する。このようにして、所望の位置にその属性の枠を描くことで、各矩形領域毎に属性が設定される。なお、マウス１０３の操作によって描画される矩形枠の線色は、属性メニュー５１から所望の属性を指定すると、指定された属性に対応付けられた色に設定される。図５において、矩形枠５０１の線色は黒であり、当該領域の属性が「テキスト」であることを表している。また、矩形枠５０２の線色は赤であり、当該領域の属性が「表」であることを表している。更に、矩形枠５０４の線色は黄であり、当該矩形領域の属性が「図形」であることを表している。
【００１５】
図６は、上述した領域指定及び属性設定によって生成されるテンプレートデータのデータ構成を説明する図である。図６（ａ）に示すように、各領域毎（ブロック毎）に領域データが格納される。領域データは、当該領域の始点Ｘ、Ｙ座標、幅、高さ（すなわちマウス１０３で描画した矩形枠の位置情報）を登録すると共に、「属性」の欄には当該矩形枠に設定された属性に対応する識別番号が設定される。各属性と識別番号は図６（ｂ）に示す通りである。
【００１６】
次に、ステップＳ２０３で、以上のようにして設定した各ブロックの領域データの集合をテンプレートとして登録保存する。たとえば、図７では既存のテンプレート群の４番目に新規に「文書Ａテンプレート」という名称で登録される例を表わしている。
【００１７】
図８はテンプレートデータへの「文書Ａテンプレート」の登録状態を示す図である。図５で示したように文書Ａには矩形枠５０１〜５０５で示される領域が設定されているので、文書Ａテンプレートには５つのブロックが登録されることになる。なお、ブロック１〜５のどのブロックにどの矩形枠が対応するかは、例えば、矩形枠の指定の順番に従って決定すればよい。
【００１８】
以上のようにして登録されたテンプレートを用いて、新たに読み込まれた画像から所望の領域を抽出する処理について図３のフローチャートを参照して説明する。
【００１９】
まず、ステップＳ３０１で所望の領域を抽出するのに必要なテンプレートを選択する。本例では、図７の如く登録されているテンプレートのテンプレート名をディスプレイ１０８上に表示し、マウス１０３を用いて所望のテンプレートをオペレータに選択させる。次に、ステップＳ３０２で処理対象の文書をスキャナ１０１で読み取り、後の領域分割処理のためにこれを２値の画像データに変換する。本例では図５の如く設定された文書テンプレートＡを選択し、処理対象の文書として図９に示す文書Ｂを読み込んだものとして説明を行う。
【００２０】
ステップＳ３０３では、得られた入力画像に対して、当業者には知られた領域分割処理を行ない、ブロックを抽出するとともに各ブロックの属性を判定する。図１０は、文書Ｂについて領域分割処理を実行した結果例を示す図である。ブロックＡ〜Ｅの各ブロックは抽出領域情報として、図６に示した領域情報と同じデータ構造で格納される。すなわち、抽出された各ブロックの位置と属性を表す情報が格納される。
【００２１】
次に、ステップＳ３０４で、文書Ｂから抽出されたブロックと、選択したテンプレート（文書Ａテンプレート）に保存されているブロックとで、夫々の領域データを比較する。そして、ステップＳ３０５において、領域の少なくとも一部が重複するとともに、重複した領域どうしの属性が一致するブロックを抽出する。ステップＳ３０５で抽出されたブロックがあれば、そのブロックが所望のブロックと同一のブロックとみなされ、当該ブロックの領域内の画像が出力される（ステップＳ３０６）。
【００２２】
図１１はテンプレートと文書の各ブロックの比較の様子を説明する図である。図１１において、文書Ａテンプレートに記録されているブロックが点線で、文書Ｂの画像から抽出されたブロックが２点破線で示されている。文書Ｂより抽出されたブロックＡ及びブロックＢは、文書Ａテンプレートのブロック位置と多少ずれているが、重複する部分が存在している。また、これら領域の属性はともに「テキスト」であるので、これらブロックＡ、ブロックＢはステップＳ３０５で抽出される。結局、図１０で得られた文書Ｂの全てのブロックＡ〜Ｅの領域データが出力されることとなる。
【００２３】
以上説明したように、第１の実施形態によれば、テンプレートにおいて設定されている領域の位置と実際に読み取った文書画像から抽出すべき領域の位置が多少ずれていても、確実に所望領域を抽出することができる。
【００２４】
［第２の実施形態］
上述の第１の実施形態では、テンプレートに保存する領域の設定をマウス１０３を用いてマニュアルにて行っていたが、このようなテンプレート保存のための領域設定処理を、ステップＳ３０３で行うような領域分割処理を用いて自動化することも可能である。
【００２５】
処理の流れについて図１２のフローチャートに従って説明する。図１２は第２の実施形態によるテンプレート保存処理の手順を表すフローチャートである。
【００２６】
ステップＳ１２０１で保存したい書式をもった文書Ａ（図４）をスキャナで読み込み２値の画像データに変換する。得られた入力画像に対してステップＳ１２０２で領域分割処理を行い、テキスト領域、図形領域、表領域、タイトル領域等の各種領域（ブロック）を抽出する。この場合の領域分割処理の結果を図１３に示す。このように各ブロックが抽出され、ブロック毎に領域分割データとして、各種属性に対応した識別番号および、位置情報が得られる。このときの当該文書に対する領域データの構造は図６に示した構造と同じものとすることができる。そして、ステップＳ１２０３では、抽出した各ブロックの領域データを図８に示すように「文書Ａテンプレート」として登録保存する。
【００２７】
以上のように構成すれば、テンプレートとなる文書をスキャナ１０１によって読みとらせるだけで、自動的にテンプレートが生成されるので、操作性が向上する。
【００２８】
［第３の実施形態］
第２の実施形態では、テンプレート保存処理における領域分割処理によって抽出された全領域をテンプレートとして保存したが、抽出された領域のうちの所望の領域を選択してテンプレートとして保存するようにすることもできる。第３の実施形態では、領域分割処理において抽出したブロックのうちの特定のブロックをマウス１０３等で指示し、そのブロックの領域分割データのみをテンプレートとして保存する。
【００２９】
図１４は第３の実施形態におけるテンプレート保存処理の手順を示すフローチャートである。以下、第３の実施形態の処理の流れについて
図１４のフローチャートに従って説明する。
【００３０】
ステップＳ１４０１で、保存したい書式をもった文書Ａ（図４）をスキャナ１０１で読み込み２値の画像データに変換する。ステップＳ１４０２では、得られた入力画像に対して領域分割処理を行い、テキスト領域、タイトル領域、図形領域、表領域等の各種領域（ブロック）を抽出する。この抽出の結果は、第２の実施形態（図１３）で説明したとおりである。
【００３１】
次に、ステップＳ１４０３では、抽出したブロックのうち特定のブロックをマウス１０３を用いて選択する。図１５は、ブロック３及びブロック５が選択された状態を表す図である。図１５の例の場合、選択されたブロックは斜線でハッチングされ、それ以外のブロックと区別される。
【００３２】
ステップＳ１４０４では、ステップＳ１４０４で選択されたブロックの領域分割データ（属性と位置情報等）のみをテンプレートとして保存する。本例では、図１６に示されるように、ブロック３とブロック５の領域分割データのみが文書Ａテンプレートとして保存される。
【００３３】
以上のようにして保存された文書Ａテンプレートを用いて図９に示した文書Ｂを処理した場合を説明する。図１７は、図１５で選択したブロックのみのテンプレートを用いて文書Ｂから所望の領域を抽出する場合の、テンプレートと文書の各ブロックの比較結果を説明する図である。この例の場合、テンプレートに記録されているブロック（点線）と文書Ｂのブロック（２点破線）のうち、重複しかつ同一属性であると判定されたブロックＣおよびブロックＥの領域分割データのみが出力されることになる。
【００３４】
以上説明したように、第３の実施形態によれば、自動的に抽出された領域データから所望の領域を選択してテンプレートとすることができる。
【００３５】
［第４の実施形態］
上記第３の実施形態では、テンプレートとして保存すべき領域を指定したが、テンプレートとして保存しない領域を指定するようにしてももちろん良い。第４の実施形態では、領域分割処理によって抽出したブロックのうちの所望の領域をマウス等で指示し、指示されたブロック以外のブロックの領域データををテンプレートとして保存する。
【００３６】
図１８は第４の実施形態によるテンプレート保存処理を説明するフローチャートである。まず、ステップＳ１８０１で、保存したい書式をもった文書Ａ（図４）をスキャナ１０１で読み込み、２値の画像データに変換する。ステップＳ１８０２では、得られた入力画像に対して領域分割処理を行い、テキスト領域、タイトル領域、図形領域、表領域等の各種領域（ブロック）を抽出する。この抽出によって、第２の実施形態（図１３）で説明したとおりの結果が得られる。
【００３７】
次に、ステップＳ１８０３では、抽出したブロックのうち、所望のブロックをマウス１０３を用いて選択する。図１５は、ブロック３及びブロック５が選択された状態を表す図である。選択されたブロックは、図１５で説明したように、斜線でハッチングされ、それ以外のブロックと区別されるとともに、選択されたブロックの領域データは削除される。なお、上記では選択されたブロックの矩形領域内にハッチングを施しているが、これに限られるものではない。例えば、領域データの削除と共に、当該ブロックの矩形を表す枠線を消去するようにしてもよい。
【００３８】
ステップＳ１８０４では、ステップＳ１８０４で選択されなかったブロックの領域分割データ（属性と位置情報等）のみをテンプレートとして保存する。本例では、図１５のように選択した結果、ブロック１、２、４の領域分割データのみが文書Ａテンプレートとして保存される。
【００３９】
［第５の実施形態］
上記各実施形態では、処理対象の文書を逐一スキャナ１０１にセットして、読み込ませているが、ＡＤＦ（オートドキュメントフィーダー）等を用いて大量の文書をスキャナ１０１で入力した場合のテンプレートによる自動抽出も可能である。図１９は第５の実施形態における領域抽出処理の手順を説明するフローチャートである。以下、処理の流れについて図１９のフローチャートに従って説明する。なお、ステップＳ１９０１、Ｓ１９０３〜Ｓ１９０７の各処理は、第１の実施形態（図３）におけるステップＳ３０１〜Ｓ３０６と同様である。
【００４０】
ステップＳ１９０１で所望の領域を抽出するのに用いる所望のテンプレートを選択する。ステップＳ１９０２では入力すべき文書があるか否か、すなわちＡＤＦ上に文書があるか否かを判断する。入力すべき文書があればステップＳ１９０３へ進み、文書をスキャナ１０１で読み込み、２値の画像データに変換する。一方、ステップＳ１９０２で入力すべき文書が無ければ本処理を終了する。
【００４１】
次に、得られた入力画像に対しステップＳ１９０４で領域分割を行ない、ブロックを抽出する。例えば、ステップＳ１９０３において図９の如き文書Ｂを読み込んだ場合、ステップＳ１９０４における領域分割処理によって図１０に示すような結果が得られる。
【００４２】
ステップＳ１９０５では、ステップＳ１９０４の領域分割処理によって抽出されたブロックと、ステップＳ１９０１で選択したテンプレートに保存されているブロックとで、領域データを比較する。そして、ステップＳ１９０６において、領域が重複しかつ同一の属性の領域データを有するブロックを抽出する。ここで抽出されたブロックは、テンプレートに定義されている所望のブロックと同一のブロックであるとみなされ、ブロックの領域分割データが出力される（ステップＳ１９０７）。
【００４３】
例えば図５に示した文書Ａに基づいて得られた文書Ａテンプレートを選択し、図９の如き文書Ｂをスキャナ１０１で読み込んで処理すると、図１１のように領域が重複する（文書Ａテンプレートに記録されているブロックを破線で、文書Ｂより抽出されたブロックを２点鎖線で示した）。そして、夫々領域が重複しているブロックの属性が等しい（図５と図１０を参照）ので、図１０で得られた文書Ｂの全てのブロックの領域のデータが出力されることとなる。そして、ステップＳ１９０２に戻り、処理を続行する。
【００４４】
以上説明した様に、上記各実施形態によればテンプレートによって文書画像から所望の領域を抽出する際の、▲１▼オペレータの介在の削減、▲２▼所望領域抽出の正確性の向上、▲３▼大量文書の自動処理、▲４▼操作性の向上、▲５▼処理全体の時間の短縮等がはかれる効果がある。
【００４５】
なお、上記各実施形態では、ブロック領域を矩形領域で設定しているが、円形、楕円形等、閉領域であればどのような形状でもよいであろう。
【００４６】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００４７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
【発明の効果】
以上説明したように本発明によれば、テンプレートを採用しつつ、入力した文書画像中より所望の領域を確実に抽出することが可能となる。
【００５３】
【図面の簡単な説明】
【図１】第１の実施形態による画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態におけるテンプレート保存処理の手順を説明するフローチャートである。
【図３】第１の実施形態における領域抽出処理の手順を説明するフローチャートである。
【図４】テンプレートデータ生成のために読み込む文書例（文書Ａ）を示す図である。
【図５】第１の実施形態によるテンプレート保存処理における領域設定操作画面の表示例を示す図である。
【図６】上述した領域指定及び属性設定によって生成されるテンプレートデータのデータ構成を説明する図である。
【図７】テンプレートデータの登録状態を説明する図である。
【図８】テンプレートデータへの「文書Ａテンプレート」の登録状態を示す図である。
【図９】処理対象例である文書Ｂを示す図である。
【図１０】図９の文書Ｂについて領域分割処理を実行した結果例を示す図である。
【図１１】テンプレートと文書の各ブロックの比較の様子を説明する図である。
【図１２】第２の実施形態によるテンプレート保存処理の手順を表すフローチャートである。
【図１３】この場合の領域分割処理の結果を示す図である。
【図１４】第３の実施形態におけるテンプレート保存処理の手順を示すフローチャートである。
【図１５】第３の実施形態のテンプレート保存処理において、ブロック３及びブロック５が選択された状態を表す図である。
【図１６】第３の実施形態における文書Ａテンプレートのデータ構成を示す図である。
【図１７】図１６の文書Ａテンプレートを用いて文書Ｂから所望の領域を抽出する場合の、各ブロックの比較結果を説明する図である。
【図１８】第４の実施形態によるテンプレート保存処理を説明するフローチャートである。
【図１９】第５の実施形態における領域抽出処理の手順を説明するフローチャートである。
Claims (11)
- 画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持手段と、
前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択手段と、
文書画像を入力する画像入力手段と、
前記画像入力手段で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出手段と、
前記領域抽出手段で抽出されたブロック領域のうち、前記選択手段でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出手段と
を備えることを特徴とする画像処理装置。 - 前記保持手段は、
入力された画像に対して領域及び各領域の属性を設定する設定手段と、
前記設定手段で設定された各領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録手段と
を備えることを特徴とする請求項１に記載の画像処理装置。 - 前記設定手段は、前記入力された画像からブロック領域とその属性を領域分割処理により自動的に抽出することによって、前記テンプレート情報とすべき領域及び各領域の属性の設定を行う
ことを特徴とする請求項２に記載の画像処理装置。 - 前記保持手段は、
入力された画像に領域分割処理を行うことにより、複数のブロック領域とその属性を獲得する領域獲得手段と、
前記領域獲得手段によって得られた複数のブロック領域から、１乃至複数のブロック領域をオペレータに選択させる領域選択手段と、
前記領域選択手段で選択されたブロック領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録手段と
を備えることを特徴とする請求項１に記載の画像処理装置。 - 前記保持手段は、
入力された画像に領域分割処理を行うことにより、複数のブロック領域とその属性を獲得する領域獲得手段と、
前記領域獲得手段によって得られた複数のブロック領域から、１乃至複数のブロック領域をオペレータに選択させる領域選択手段と、
前記領域選択手段で選択されたブロック領域以外のブロック領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録手段と
を備えることを特徴とする請求項１に記載の画像処理装置。 - 保持手段が、画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持工程と、
選択手段が、前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択工程と、
画像入力手段が、文書画像を入力する画像入力工程と、
領域抽出手段が、前記画像入力工程で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出工程と、
抽出手段が、前記領域抽出工程で抽出されたブロック領域のうち、前記選択工程でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出工程と
を備えることを特徴とする画像処理方法。 - 前記保持工程は、
設定手段が、入力された画像に対して領域及び各領域の属性を設定する設定工程と、
登録手段が、前記設定工程で設定された各領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録工程と
を備えることを特徴とする請求項６に記載の画像処理方法。 - 前記設定工程では、前記入力された画像からブロック領域とその属性を領域分割処理により自動的に抽出することによって、前記テンプレート情報とすべき領域及び各領域の属性の設定を行う
ことを特徴とする請求項７に記載の画像処理方法。 - 前記保持工程は、
領域獲得手段が、入力された画像に領域分割処理を行うことにより、複数のブロック領域とその属性を獲得する領域獲得工程と、
領域選択手段が、前記領域獲得工程によって得られた複数のブロック領域から、１乃至複数のブロック領域をオペレータに選択させる領域選択工程と、
前記領域選択工程で選択されたブロック領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録工程と
を備えることを特徴とする請求項６に記載の画像処理方法。 - 前記保持工程は、
領域獲得手段が、入力された画像に領域分割処理を行うことにより、複数のブロック領域とその属性を獲得する領域獲得工程と、
領域選択手段が、前記領域獲得工程で得られた複数のブロック領域から、１乃至複数のブロック領域をオペレータに選択させる領域選択肯定と、
登録手段が、前記領域選択工程で選択されたブロック領域以外のブロック領域の位置と大きさと属性とに関する情報を前記テンプレート情報として登録する登録工程と
を備えることを特徴とする請求項６に記載の画像処理方法。 - コンピュータに、
保持手段が、画像上の１つまたは複数の領域についての位置と大きさと各領域の属性とに関する情報をテンプレート情報として、複数種類のテンプレート情報を保持する保持工程、
選択手段が、前記保持手段に保持されている複数種類のテンプレート情報のうちの１つをオペレータに選択させる選択工程、
画像入力手段が、文書画像を入力する画像入力工程、
領域抽出手段が、前記画像入力工程で入力された文書画像に領域分割処理を実行することによってブロック領域を抽出するとともに、抽出された各ブロック領域の属性が、テキスト属性と表属性と図形属性とを含む複数種類の属性のうちのいずれであるかを判定する領域抽出工程、
抽出手段が、前記領域抽出工程で抽出されたブロック領域のうち、前記選択工程でオペレータにより選択されたテンプレート情報によって示される領域と少なくとも一部が重なり、その属性が該テンプレート情報の該少なくとも一部が重なった領域に設定されている属性と一致するブロック領域を抽出する抽出工程、
を実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00339698A JP4100746B2 (ja) | 1998-01-09 | 1998-01-09 | 画像処理装置及び方法 |
| US09/221,840 US6411731B1 (en) | 1998-01-09 | 1998-12-29 | Template-based image recognition and extraction |
| EP98310810A EP0929183B1 (en) | 1998-01-09 | 1998-12-31 | Image processing apparatus and method |
| DE69838579T DE69838579T2 (de) | 1998-01-09 | 1998-12-31 | Bildverarbeitungsvorrichtung und -verfahren |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00339698A JP4100746B2 (ja) | 1998-01-09 | 1998-01-09 | 画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11203491A JPH11203491A (ja) | 1999-07-30 |
| JP4100746B2 true JP4100746B2 (ja) | 2008-06-11 |
Family
ID=11556211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00339698A Expired - Fee Related JP4100746B2 (ja) | 1998-01-09 | 1998-01-09 | 画像処理装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6411731B1 (ja) |
| EP (1) | EP0929183B1 (ja) |
| JP (1) | JP4100746B2 (ja) |
| DE (1) | DE69838579T2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3913985B2 (ja) * | 1999-04-14 | 2007-05-09 | 富士通株式会社 | 文書画像中の基本成分に基づく文字列抽出装置および方法 |
| JP3756719B2 (ja) | 2000-01-20 | 2006-03-15 | 理想科学工業株式会社 | 文書修飾装置及び画像処理装置 |
| CA2310943A1 (en) * | 2000-06-02 | 2001-12-02 | Michael J. Sikorsky | Methods, techniques, software and systems for providing context independent, protocol independent portable or reusable development tools |
| JP2002032770A (ja) * | 2000-06-23 | 2002-01-31 | Internatl Business Mach Corp <Ibm> | 文書処理方法、文書処理システムおよび媒体 |
| JP5033277B2 (ja) * | 2000-09-12 | 2012-09-26 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
| JP2002259991A (ja) * | 2001-02-28 | 2002-09-13 | Sony Corp | 画像処理装置およびその方法 |
| FR2831752A1 (fr) * | 2001-10-30 | 2003-05-02 | Laurent Michel | Procede et installation de saisie de fiches a l'aide d'un poste de saisie |
| US6840666B2 (en) | 2002-01-23 | 2005-01-11 | Marena Systems Corporation | Methods and systems employing infrared thermography for defect detection and analysis |
| US7538815B1 (en) | 2002-01-23 | 2009-05-26 | Marena Systems Corporation | Autofocus system and method using focus measure gradient |
| JP3624186B2 (ja) * | 2002-03-15 | 2005-03-02 | Ｔｄｋ株式会社 | スイッチング電源装置用の制御回路及びこれを用いたスイッチング電源装置 |
| US7538903B2 (en) * | 2002-07-11 | 2009-05-26 | Stone Cheng | Method for scanning by using a virtual frame holder |
| US8849031B2 (en) * | 2005-10-20 | 2014-09-30 | Xerox Corporation | Document analysis systems and methods |
| CN101173853B (zh) * | 2006-11-01 | 2011-02-02 | 鸿富锦精密工业（深圳）有限公司 | 定位测量装置及方法 |
| US7778953B2 (en) * | 2007-02-19 | 2010-08-17 | Kabushiki Kaisha Toshiba | Document management apparatus and document management method |
| US10916043B2 (en) * | 2007-11-26 | 2021-02-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for generating a template for arranging at least one object at at least one place |
| US20090279127A1 (en) * | 2008-05-08 | 2009-11-12 | Infoprint Solutions Company Llc | Mechanism for data extraction of variable positioned data |
| JP2010033360A (ja) * | 2008-07-29 | 2010-02-12 | Canon Inc | 情報処理装置、ジョブ処理方法、記憶媒体及びプログラム |
| JP2010044544A (ja) | 2008-08-12 | 2010-02-25 | Canon Inc | 画像処理装置、情報処理装置、情報処理方法、及びプログラム |
| JP5300534B2 (ja) * | 2009-03-10 | 2013-09-25 | キヤノン株式会社 | 画像処理装置および画像処理方法及びプログラム |
| JP2010211466A (ja) * | 2009-03-10 | 2010-09-24 | Canon Inc | 画像処理装置および画像処理方法及びプログラム |
| US20110029914A1 (en) * | 2009-07-30 | 2011-02-03 | Whitby Laura R | Apparatus for generating artistic image template designs |
| US8854395B2 (en) * | 2009-07-30 | 2014-10-07 | Intellectual Ventures Fund 83 Llc | Method for producing artistic image template designs |
| US20110029635A1 (en) * | 2009-07-30 | 2011-02-03 | Shkurko Eugene I | Image capture device with artistic template design |
| US20110029562A1 (en) * | 2009-07-30 | 2011-02-03 | Whitby Laura R | Coordinating user images in an artistic design |
| US8422794B2 (en) | 2009-07-30 | 2013-04-16 | Intellectual Ventures Fund 83 Llc | System for matching artistic attributes of secondary image and template to a primary image |
| US8849853B2 (en) * | 2009-07-30 | 2014-09-30 | Intellectual Ventures Fund 83 Llc | Method for matching artistic attributes of a template and secondary images to a primary image |
| CN102023966B (zh) * | 2009-09-16 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 用于合约比较的计算机系统及合约比较方法 |
| TR200907868A2 (tr) * | 2009-10-16 | 2011-05-23 | Vestel Elektron�K Sanay� Ve T�Caret Anon�M ��Rket�@ | Siyah transparan bölgeler içeren otomatik test metodu |
| JP6010744B2 (ja) * | 2012-05-31 | 2016-10-19 | 株式会社Pfu | 文書作成システム、文書作成装置、文書作成方法、及びプログラム |
| JP6233142B2 (ja) * | 2014-03-28 | 2017-11-22 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
| KR20160027862A (ko) * | 2014-09-02 | 2016-03-10 | 삼성전자주식회사 | 이미지 데이터를 처리하는 방법과 이를 지원하는 전자 장치 |
| JP2016200967A (ja) | 2015-04-09 | 2016-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6113760A (ja) | 1984-06-29 | 1986-01-22 | Dainippon Screen Mfg Co Ltd | 画像走査記録方法 |
| JPS62181570A (ja) | 1986-02-05 | 1987-08-08 | Minolta Camera Co Ltd | 画像編集装置 |
| US5038392A (en) | 1990-02-12 | 1991-08-06 | International Business Machines Corporation | Method and apparatus for adaptive image processing by recognizing a characterizing indicium in a captured image of a document |
| US6002798A (en) * | 1993-01-19 | 1999-12-14 | Canon Kabushiki Kaisha | Method and apparatus for creating, indexing and viewing abstracted documents |
| JPH07131641A (ja) * | 1993-11-08 | 1995-05-19 | Canon Inc | 画像処理装置 |
| US5987171A (en) | 1994-11-10 | 1999-11-16 | Canon Kabushiki Kaisha | Page analysis system |
| US5852676A (en) * | 1995-04-11 | 1998-12-22 | Teraform Inc. | Method and apparatus for locating and identifying fields within a document |
| US5774579A (en) * | 1995-08-11 | 1998-06-30 | Canon Kabushiki Kaisha | Block selection system in which overlapping blocks are decomposed |
| US5892843A (en) * | 1997-01-21 | 1999-04-06 | Matsushita Electric Industrial Co., Ltd. | Title, caption and photo extraction from scanned document images |
-
1998
- 1998-01-09 JP JP00339698A patent/JP4100746B2/ja not_active Expired - Fee Related
- 1998-12-29 US US09/221,840 patent/US6411731B1/en not_active Expired - Lifetime
- 1998-12-31 DE DE69838579T patent/DE69838579T2/de not_active Expired - Lifetime
- 1998-12-31 EP EP98310810A patent/EP0929183B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0929183B1 (en) | 2007-10-17 |
| EP0929183A3 (en) | 2000-05-10 |
| DE69838579T2 (de) | 2008-07-24 |
| DE69838579D1 (de) | 2007-11-29 |
| US6411731B1 (en) | 2002-06-25 |
| EP0929183A2 (en) | 1999-07-14 |
| JPH11203491A (ja) | 1999-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4100746B2 (ja) | 画像処理装置及び方法 | |
| JP4533273B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
| US8422796B2 (en) | Image processing device | |
| JP4785655B2 (ja) | 文書処理装置及び文書処理方法 | |
| US20130326341A1 (en) | Digital comic editor, method and non-transitorycomputer-readable medium | |
| JP6938318B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US8144988B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
| US20060290964A1 (en) | Image processing system and image processing method, and computer program | |
| US8355577B2 (en) | Image processing apparatus and method | |
| JPH05189336A (ja) | 文書認識装置および認識処理方法 | |
| JPH032979A (ja) | 画像修正方法及び装置 | |
| US20050102327A1 (en) | Data file processor, data file processing method and program | |
| US8194982B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
| JP4136282B2 (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| JP4756650B2 (ja) | 画像処理装置、読み順設定方法及びプログラム | |
| US6996293B1 (en) | Reduced image forming method and apparatus | |
| JP2003046746A (ja) | 画像処理方法及び画像処理装置 | |
| JP6481204B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
| JP4334987B2 (ja) | 領域指定機能およびデータ切り出し機能を備えたｄｔｐ編集装置 | |
| JP6795770B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
| JP3412998B2 (ja) | 画像処理装置及びその方法 | |
| JPH103516A (ja) | 情報処理方法及び装置 | |
| JP2005043995A (ja) | 情報処理装置、文字認識プログラム及び記録媒体 | |
| JPH11224308A (ja) | 文字認識装置及びその方法 | |
| JP2000312290A (ja) | データ処理方法及び装置及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041210 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20041210 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |