JP4603658B2 - 画像処理装置及び画像処理方法並びに記憶媒体 - Google Patents
画像処理装置及び画像処理方法並びに記憶媒体 Download PDFInfo
- Publication number
- JP4603658B2 JP4603658B2 JP2000207087A JP2000207087A JP4603658B2 JP 4603658 B2 JP4603658 B2 JP 4603658B2 JP 2000207087 A JP2000207087 A JP 2000207087A JP 2000207087 A JP2000207087 A JP 2000207087A JP 4603658 B2 JP4603658 B2 JP 4603658B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- axis coordinate
- processing apparatus
- image
- vertical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、基準画像に対する入力画像の位置ずれを補正する画像処理装置及び画像処理方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
帳票を一括して大量処理するような帳票処理の分野では、帳票の種類毎にあらかじめ固定的に設定された処理制御情報、すなわち帳票のどの位置を文字認識させるか、あるいはどの領域を切取るべきか等の情報を入力された帳票画像に当てはめて処理するのが通常である。
【０００３】
一方、スキャナから読込む大量の帳票画像を一枚一枚厳密に同じ位置で読込ませることは読取り機構の物理的誤差、紙帳票自体の不安定性を考慮すれば不可能に近く、さらに近年スキャナの高速化によりこの傾向がますます強まっている。
【０００４】
このような状況下で先に述べた如く固定的な位置情報による処理を施そうとすると、位置ずれによるその後の処理、例えば文字認識等の精度の低下は避けられない。
【０００５】
こうした弊害を避けるため、従来は帳票自体に位置合わせ用のマーキングを施し、帳票毎の基準位置を求め、この基準位置とあらかじめ定められている処理対象領域の相対位置により各種処理を行ったり、帳票自体のレイアウトを工夫して位置ずれのマージンを大きく取ったり、精度の高いスキャナを用いたりしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら前記従来例で述べた帳票位置ずれ防止方法は、帳票設計上の制約が大きく、また精度の高いスキャナはコスト上昇につながり、効率的な帳票処理を阻害する大きな要因となっていた。さらに大きな問題として昨今主流になりつつある異種帳票混在読取り処理システムにこれを適用することも不可能に近い。
【０００７】
本発明は以上の問題点に対して鑑みてなされたものであり、例えば帳票の画像に対して基準位置の設定に予め何らかの処理、例えばマーキングの設定などを施すことなく、画像の位置ずれを補正することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、基準画像に対する入力画像の位置ずれを補正する画像処理装置であって、
前記基準画像の基準位置を記憶する記憶手段と、
前記入力画像内から属性毎の領域を複数抽出し、該抽出した複数の属性毎の領域のそれぞれについて、左端の水平軸座標と上端の垂直軸座標とを特定する領域情報特定手段と、
前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、前記最も左端の水平軸座標と前記最も上端の垂直軸座標との組み合わせで決まる座標位置を注目位置として設定する注目位置設定手段と、
前記記憶手段に記憶されている基準画像の基準位置と、前記注目位置設定手段で設定した注目位置との位置ずれ量を算出する算出手段と、
前記算出手段で算出された位置ずれ量を用いて、前記入力画像内の前記複数の属性毎の領域の位置ずれを補正する補正手段と
を備えることを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面に従って、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
［第１の実施形態］
図１は、後述の帳簿処理を行う本実施形態における画像処理装置の概略構成を示す図である。
【００１１】
２は帳票画像を入力するスキャナ、カメラ、あるいはファイル読み込み装置などの画像入力手段、４は後述の帳票処理を行うプロセッサ、６はプロセッサ４への命令を入力するキーボードやマウスなどのポインティングデバイス、８は帳票認識用の参照データ、あるいは帳票固有の処理制御情報を保存するディスクである。１０はプロセッサ４が帳票処理用のデータ記憶を一時的に行ったり、あるいは画像入力手段２で読み込んだ帳票画像を蓄積するメモリ、１２は処理の結果を出力するディスプレイ、プリンタ等の出力手段、１４はプロセッサ４が各処理を実行するためのプログラムコードを格納するＲＯＭである。
【００１２】
次に上述の構成を備える本実施形態における画像処理装置の動作について説明する。ポインティングデバイス６から入力された命令に従い、まず、画像入力手段２より電子化された帳票画像を取得し、メモリ１０に展開する。展開された帳票画像はプロセッサ４により領域識別が施され、その後帳票認識、位置ずれ検出、および各種帳票処理（文字認識等）が施される。処理結果はディスプレイ、プリンタ等の出力手段１２を通して出力される。
【００１３】
以下図２，３を参照して本実施形態の画像処理装置、特にプロセッサ４が実行する各種制御処理の動作を説明する。
【００１４】
図２は、プロセッサ４が１枚の帳票を処理する際のフローチャートである。なお同図のフローチャートに従ったプログラムコードはＲＯＭ１４に格納され、プロセッサ４により読み出され、実行することで、本実施形態における画像処理装置は後述する各処理を実行する。
【００１５】
ステップＳ２００では、画像入力手段４から帳票画像を取込み、画像データとしてメモリ１０に転送する。
【００１６】
ステップＳ２０２では、ステップＳ２００においてメモリ１０に展開された帳票画像の領域識別を行う。これは例えば特開平６−０６８３０１号公報に記述されているブロックセレクション技術等を応用して実現させることができる。ここでは入力された画像情報に応じて帳票上の同一属性の領域（ブロック）を抽出し、属性、大きさ、位置等の領域識別情報を特定する。
【００１７】
ステップＳ２０４では、ステップＳ２０２で抽出された領域識別情報より入力帳票がどのような帳票なのかを識別するための帳票識別を行う。
【００１８】
ステップＳ２０６では、ステップＳ２０４で識別された帳票固有の処理制御情報（オリジナル帳票原点を含む）をディスク８内のデータベースより抽出し、メモリ８に転送する。
【００１９】
ステップＳ２０８では、ステップＳ２０２で抽出された領域識別情報より入力帳票原点を生成する。
【００２０】
ステップＳ２１０では、ステップＳ２０８で求められた入力帳票原点と、ステップＳ２０６でメモリ８内に転送されたオリジナル帳票原点から、これらの点の位置ずれ量（帳票のずれ）を算出する。
【００２１】
ステップＳ２１２では、ステップＳ２１０で算出された位置ずれ量をもって、オリジナル帳票の処理制御情報内にある被処理領域の位置情報を補正する。
【００２２】
ステップＳ２１０とステップＳ２１２については後ほど詳しく説明する。
【００２３】
ステップＳ２１４では、ステップＳ２１２で補正された当該帳票の被処理領域の位置情報により文字認識などの各種処理を行う。各種処理の具体的指示については処理制御情報内に記憶されている。
【００２４】
ステップＳ２１６では、ステップＳ２１４で行われた各種処理の結果を出力手段１２により出力する。
【００２５】
図３は、ステップＳ２１０におけるプロセッサ４内の位置ずれ量算出の処理工程と、ステップＳ２１２における処理位置補正の処理工程を説明するための図である。
【００２６】
図３（ａ）は、オリジナル帳票を上述のデータベースに登録した時の画像の状況を示したものである。登録する画像を読み取ると、読み取った画像に対して領域識別を行う。図３（ａ）においては、ＯＣＲ領域及び画像切取り領域が識別され、領域識別情報として取得される。次にこの領域識別情報を用いてオリジナル帳票原点を決定する。本実施形態では、この図において、オリジナル帳票原点はステップＳ２０８における処理内容と同様にして原点を設定すると（５０，５０）となったとする。このオリジナル帳票原点を当該帳票の処理制御情報として、図中ＯＣＲ領域におけるＯＣＲ適用位置（１００，１００）、画像切り取り領域における画像切取り位置（２００，４００）と共に上述のデータベースに登録しておく。この他この帳票の例であると、ＯＣＲ領域の大きさと、文字認識処理の指示、及び画像切取り領域の大きさと、切取り指示も処理制御情報として上述のデータベースに登録しておく。
【００２７】
図３（ｂ）は、処理される帳票が入力された状態例を表し、処理される帳票が入力されると、領域識別が行われてＯＣＲ領域と画像切取り領域とを識別し（ステップＳ２０２）、該入力帳票がどのような帳票か識別し（ステップＳ２０４）、領域識別で取得した領域識別情報を用いて入力帳票原点を生成し（ステップＳ２０８）、この入力帳票原点とステップＳ２０６で読み出したオリジナル帳票原点とを比較すると、オリジナル帳票を上述のデータベースに登録した場合の画像と読取り位置のずれが発生していることが、図３（ａ）に示したオリジナル帳票原点位置と図３（ｂ）に示した入力帳票原点位置とがずれていることにより分かる（ステップＳ２１０）。
【００２８】
このずれている量に対して、プロセッサ４内の位置ずれ量算出の処理工程（ステップＳ２１０）において、図３下部に示されているように位置ずれ量を、ステップＳ２０８で求めた入力帳票原点からオリジナル帳票原点を差し引いて求め、処理位置補正の処理工程（ステップＳ２１２）でその位置ずれ量をＯＣＲ適用位置座標、画像切取り位置座標に加えることにより正確な処理適用位置（同図ではＯＣＲ位置（１６０，１６０）、画像切取り位置（２６０，４６０））を求めている。
【００２９】
以上述べてきたように本実施形態における画像処理装置及び画像処理方法は、帳票ずれ補正のための基準位置設定をマーキング等に頼ることなく、異種帳票混在一括処理においても、帳票固有の普遍的な特徴を抽出し、帳票原点を定めることにより、オリジナル帳票と入力帳票の間に生じる位置ずれ量を算出できるようになり、帳票位置ずれを補正することができる。
【００３０】
［第２の実施形態］
第１の実施形態では、帳票原点を帳票の左上に設定していたが、何もこれに限ることはなく、例えば、右下、あるいはオブジェクト毎の重心の平均値等に設定しても良い。
【００３１】
［第３の実施形態］
第１の実施形態では、帳票内の処理内容として文字認識や画像切取りを用いたが、何もこれに限ることはなく、例えば、画像圧縮指示、要約指示、翻訳指示、読上げ指示、印鑑照合指示等帳票処理に関連するあらゆる指示を含むことは言うまでもない。
【００３２】
［第４の実施形態］
本実施形態では、第１の実施形態における帳票原点（オリジナル帳票原点、入力帳票原点）の算出の処理工程の一例を示し、説明する。
【００３３】
上述の処理工程のフローチャートを図４に示し、以下このフローチャートを用いて説明する。
【００３４】
ステップＳ４００では、領域識別情報より帳票原点作成のためのブロックとして、テーブル属性、テキスト属性、タイトル属性、フレーム属性を有するものを選別する。その結果、帳票の画像は図５（ａ）に示すように、各属性のブロック領域を特定することができる。
【００３５】
ステップＳ４０２では、ステップＳ４００で選別されたブロック領域のうち、不安定なブロック（本実施形態ではノイズ混じりのテキストブロックとする）を除去する。ここでは、例えばステップＳ４００で選別された各テキストブロックをブロック毎に文字認識させ、その平均スコアが一定以上のブロックだけ帳票原点作成用のテキストブロックとして残す。これは具体的にはノイズ領域そのもの、あるいはノイズ領域を含むテキストブロックが帳票原点作成精度を低下させるため、それを除去することを目的としている。その結果、帳票の画像は図５（ｂ）に示したようになる。
【００３６】
ステップＳ４０４では、ステップＳ４００，Ｓ４０２で選別して最終的に残ったブロック領域の中から最左端、最上端座標を求め、それを帳票原点と決定する（図５（ｃ））。
【００３７】
以上の方法により、帳票原点を算出することができる。
【００３８】
［第５の実施形態］
第４の実施形態では、ステップＳ４００においてブロック属性がテキスト、タイトル、フレーム、テーブルの領域を選別していたが、何もこれに限ることはなく、例えばテーブルとフレーム、あるいはテキストとタイトルのみを選別させても良い。すなわち組み合わせは自由であり、ブロック属性も帳票の特徴を表すもの（テーブル内のセル等）であれば良い。
【００３９】
［第６の実施形態］
第４の実施形態では、ステップＳ４０２において不安定領域の除去として、文字認識の平均スコアを使用していたが、何もこれに限ることはなく、例えば文字サイズが小さいものとか、テキスト領域の位置などを使用しても良い。
【００４０】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２，４に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００４４】
【発明の効果】
以上述べてきたように本発明によれば、例えば帳票の画像に対して基準位置の設定に予め何らかの処理、例えばマーキングの設定などを施すことなく、画像の位置ずれを補正することができ、同補正処理を行う際のユーザの負担を従来より軽減させる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像処理装置の概略構成を示す図である。
【図２】プロセッサ４が一枚の帳票を処理する際のフローチャートである。
【図３】プロセッサ４内の位置ずれ量算出の処理工程と、処理位置補正の処理工程を説明するための図である。
【図４】帳票原点を算出する処理工程のフローチャートである。
【図５】ブロック選別を説明するための図である。
【発明の属する技術分野】
本発明は、基準画像に対する入力画像の位置ずれを補正する画像処理装置及び画像処理方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
帳票を一括して大量処理するような帳票処理の分野では、帳票の種類毎にあらかじめ固定的に設定された処理制御情報、すなわち帳票のどの位置を文字認識させるか、あるいはどの領域を切取るべきか等の情報を入力された帳票画像に当てはめて処理するのが通常である。
【０００３】
一方、スキャナから読込む大量の帳票画像を一枚一枚厳密に同じ位置で読込ませることは読取り機構の物理的誤差、紙帳票自体の不安定性を考慮すれば不可能に近く、さらに近年スキャナの高速化によりこの傾向がますます強まっている。
【０００４】
このような状況下で先に述べた如く固定的な位置情報による処理を施そうとすると、位置ずれによるその後の処理、例えば文字認識等の精度の低下は避けられない。
【０００５】
こうした弊害を避けるため、従来は帳票自体に位置合わせ用のマーキングを施し、帳票毎の基準位置を求め、この基準位置とあらかじめ定められている処理対象領域の相対位置により各種処理を行ったり、帳票自体のレイアウトを工夫して位置ずれのマージンを大きく取ったり、精度の高いスキャナを用いたりしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら前記従来例で述べた帳票位置ずれ防止方法は、帳票設計上の制約が大きく、また精度の高いスキャナはコスト上昇につながり、効率的な帳票処理を阻害する大きな要因となっていた。さらに大きな問題として昨今主流になりつつある異種帳票混在読取り処理システムにこれを適用することも不可能に近い。
【０００７】
本発明は以上の問題点に対して鑑みてなされたものであり、例えば帳票の画像に対して基準位置の設定に予め何らかの処理、例えばマーキングの設定などを施すことなく、画像の位置ずれを補正することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、基準画像に対する入力画像の位置ずれを補正する画像処理装置であって、
前記基準画像の基準位置を記憶する記憶手段と、
前記入力画像内から属性毎の領域を複数抽出し、該抽出した複数の属性毎の領域のそれぞれについて、左端の水平軸座標と上端の垂直軸座標とを特定する領域情報特定手段と、
前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、前記最も左端の水平軸座標と前記最も上端の垂直軸座標との組み合わせで決まる座標位置を注目位置として設定する注目位置設定手段と、
前記記憶手段に記憶されている基準画像の基準位置と、前記注目位置設定手段で設定した注目位置との位置ずれ量を算出する算出手段と、
前記算出手段で算出された位置ずれ量を用いて、前記入力画像内の前記複数の属性毎の領域の位置ずれを補正する補正手段と
を備えることを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面に従って、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
［第１の実施形態］
図１は、後述の帳簿処理を行う本実施形態における画像処理装置の概略構成を示す図である。
【００１１】
２は帳票画像を入力するスキャナ、カメラ、あるいはファイル読み込み装置などの画像入力手段、４は後述の帳票処理を行うプロセッサ、６はプロセッサ４への命令を入力するキーボードやマウスなどのポインティングデバイス、８は帳票認識用の参照データ、あるいは帳票固有の処理制御情報を保存するディスクである。１０はプロセッサ４が帳票処理用のデータ記憶を一時的に行ったり、あるいは画像入力手段２で読み込んだ帳票画像を蓄積するメモリ、１２は処理の結果を出力するディスプレイ、プリンタ等の出力手段、１４はプロセッサ４が各処理を実行するためのプログラムコードを格納するＲＯＭである。
【００１２】
次に上述の構成を備える本実施形態における画像処理装置の動作について説明する。ポインティングデバイス６から入力された命令に従い、まず、画像入力手段２より電子化された帳票画像を取得し、メモリ１０に展開する。展開された帳票画像はプロセッサ４により領域識別が施され、その後帳票認識、位置ずれ検出、および各種帳票処理（文字認識等）が施される。処理結果はディスプレイ、プリンタ等の出力手段１２を通して出力される。
【００１３】
以下図２，３を参照して本実施形態の画像処理装置、特にプロセッサ４が実行する各種制御処理の動作を説明する。
【００１４】
図２は、プロセッサ４が１枚の帳票を処理する際のフローチャートである。なお同図のフローチャートに従ったプログラムコードはＲＯＭ１４に格納され、プロセッサ４により読み出され、実行することで、本実施形態における画像処理装置は後述する各処理を実行する。
【００１５】
ステップＳ２００では、画像入力手段４から帳票画像を取込み、画像データとしてメモリ１０に転送する。
【００１６】
ステップＳ２０２では、ステップＳ２００においてメモリ１０に展開された帳票画像の領域識別を行う。これは例えば特開平６−０６８３０１号公報に記述されているブロックセレクション技術等を応用して実現させることができる。ここでは入力された画像情報に応じて帳票上の同一属性の領域（ブロック）を抽出し、属性、大きさ、位置等の領域識別情報を特定する。
【００１７】
ステップＳ２０４では、ステップＳ２０２で抽出された領域識別情報より入力帳票がどのような帳票なのかを識別するための帳票識別を行う。
【００１８】
ステップＳ２０６では、ステップＳ２０４で識別された帳票固有の処理制御情報（オリジナル帳票原点を含む）をディスク８内のデータベースより抽出し、メモリ８に転送する。
【００１９】
ステップＳ２０８では、ステップＳ２０２で抽出された領域識別情報より入力帳票原点を生成する。
【００２０】
ステップＳ２１０では、ステップＳ２０８で求められた入力帳票原点と、ステップＳ２０６でメモリ８内に転送されたオリジナル帳票原点から、これらの点の位置ずれ量（帳票のずれ）を算出する。
【００２１】
ステップＳ２１２では、ステップＳ２１０で算出された位置ずれ量をもって、オリジナル帳票の処理制御情報内にある被処理領域の位置情報を補正する。
【００２２】
ステップＳ２１０とステップＳ２１２については後ほど詳しく説明する。
【００２３】
ステップＳ２１４では、ステップＳ２１２で補正された当該帳票の被処理領域の位置情報により文字認識などの各種処理を行う。各種処理の具体的指示については処理制御情報内に記憶されている。
【００２４】
ステップＳ２１６では、ステップＳ２１４で行われた各種処理の結果を出力手段１２により出力する。
【００２５】
図３は、ステップＳ２１０におけるプロセッサ４内の位置ずれ量算出の処理工程と、ステップＳ２１２における処理位置補正の処理工程を説明するための図である。
【００２６】
図３（ａ）は、オリジナル帳票を上述のデータベースに登録した時の画像の状況を示したものである。登録する画像を読み取ると、読み取った画像に対して領域識別を行う。図３（ａ）においては、ＯＣＲ領域及び画像切取り領域が識別され、領域識別情報として取得される。次にこの領域識別情報を用いてオリジナル帳票原点を決定する。本実施形態では、この図において、オリジナル帳票原点はステップＳ２０８における処理内容と同様にして原点を設定すると（５０，５０）となったとする。このオリジナル帳票原点を当該帳票の処理制御情報として、図中ＯＣＲ領域におけるＯＣＲ適用位置（１００，１００）、画像切り取り領域における画像切取り位置（２００，４００）と共に上述のデータベースに登録しておく。この他この帳票の例であると、ＯＣＲ領域の大きさと、文字認識処理の指示、及び画像切取り領域の大きさと、切取り指示も処理制御情報として上述のデータベースに登録しておく。
【００２７】
図３（ｂ）は、処理される帳票が入力された状態例を表し、処理される帳票が入力されると、領域識別が行われてＯＣＲ領域と画像切取り領域とを識別し（ステップＳ２０２）、該入力帳票がどのような帳票か識別し（ステップＳ２０４）、領域識別で取得した領域識別情報を用いて入力帳票原点を生成し（ステップＳ２０８）、この入力帳票原点とステップＳ２０６で読み出したオリジナル帳票原点とを比較すると、オリジナル帳票を上述のデータベースに登録した場合の画像と読取り位置のずれが発生していることが、図３（ａ）に示したオリジナル帳票原点位置と図３（ｂ）に示した入力帳票原点位置とがずれていることにより分かる（ステップＳ２１０）。
【００２８】
このずれている量に対して、プロセッサ４内の位置ずれ量算出の処理工程（ステップＳ２１０）において、図３下部に示されているように位置ずれ量を、ステップＳ２０８で求めた入力帳票原点からオリジナル帳票原点を差し引いて求め、処理位置補正の処理工程（ステップＳ２１２）でその位置ずれ量をＯＣＲ適用位置座標、画像切取り位置座標に加えることにより正確な処理適用位置（同図ではＯＣＲ位置（１６０，１６０）、画像切取り位置（２６０，４６０））を求めている。
【００２９】
以上述べてきたように本実施形態における画像処理装置及び画像処理方法は、帳票ずれ補正のための基準位置設定をマーキング等に頼ることなく、異種帳票混在一括処理においても、帳票固有の普遍的な特徴を抽出し、帳票原点を定めることにより、オリジナル帳票と入力帳票の間に生じる位置ずれ量を算出できるようになり、帳票位置ずれを補正することができる。
【００３０】
［第２の実施形態］
第１の実施形態では、帳票原点を帳票の左上に設定していたが、何もこれに限ることはなく、例えば、右下、あるいはオブジェクト毎の重心の平均値等に設定しても良い。
【００３１】
［第３の実施形態］
第１の実施形態では、帳票内の処理内容として文字認識や画像切取りを用いたが、何もこれに限ることはなく、例えば、画像圧縮指示、要約指示、翻訳指示、読上げ指示、印鑑照合指示等帳票処理に関連するあらゆる指示を含むことは言うまでもない。
【００３２】
［第４の実施形態］
本実施形態では、第１の実施形態における帳票原点（オリジナル帳票原点、入力帳票原点）の算出の処理工程の一例を示し、説明する。
【００３３】
上述の処理工程のフローチャートを図４に示し、以下このフローチャートを用いて説明する。
【００３４】
ステップＳ４００では、領域識別情報より帳票原点作成のためのブロックとして、テーブル属性、テキスト属性、タイトル属性、フレーム属性を有するものを選別する。その結果、帳票の画像は図５（ａ）に示すように、各属性のブロック領域を特定することができる。
【００３５】
ステップＳ４０２では、ステップＳ４００で選別されたブロック領域のうち、不安定なブロック（本実施形態ではノイズ混じりのテキストブロックとする）を除去する。ここでは、例えばステップＳ４００で選別された各テキストブロックをブロック毎に文字認識させ、その平均スコアが一定以上のブロックだけ帳票原点作成用のテキストブロックとして残す。これは具体的にはノイズ領域そのもの、あるいはノイズ領域を含むテキストブロックが帳票原点作成精度を低下させるため、それを除去することを目的としている。その結果、帳票の画像は図５（ｂ）に示したようになる。
【００３６】
ステップＳ４０４では、ステップＳ４００，Ｓ４０２で選別して最終的に残ったブロック領域の中から最左端、最上端座標を求め、それを帳票原点と決定する（図５（ｃ））。
【００３７】
以上の方法により、帳票原点を算出することができる。
【００３８】
［第５の実施形態］
第４の実施形態では、ステップＳ４００においてブロック属性がテキスト、タイトル、フレーム、テーブルの領域を選別していたが、何もこれに限ることはなく、例えばテーブルとフレーム、あるいはテキストとタイトルのみを選別させても良い。すなわち組み合わせは自由であり、ブロック属性も帳票の特徴を表すもの（テーブル内のセル等）であれば良い。
【００３９】
［第６の実施形態］
第４の実施形態では、ステップＳ４０２において不安定領域の除去として、文字認識の平均スコアを使用していたが、何もこれに限ることはなく、例えば文字サイズが小さいものとか、テキスト領域の位置などを使用しても良い。
【００４０】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２，４に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００４４】
【発明の効果】
以上述べてきたように本発明によれば、例えば帳票の画像に対して基準位置の設定に予め何らかの処理、例えばマーキングの設定などを施すことなく、画像の位置ずれを補正することができ、同補正処理を行う際のユーザの負担を従来より軽減させる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像処理装置の概略構成を示す図である。
【図２】プロセッサ４が一枚の帳票を処理する際のフローチャートである。
【図３】プロセッサ４内の位置ずれ量算出の処理工程と、処理位置補正の処理工程を説明するための図である。
【図４】帳票原点を算出する処理工程のフローチャートである。
【図５】ブロック選別を説明するための図である。
Claims (8)
- 基準画像に対する入力画像の位置ずれを補正する画像処理装置であって、
前記基準画像の基準位置を記憶する記憶手段と、
前記入力画像内から属性毎の領域を複数抽出し、該抽出した複数の属性毎の領域のそれぞれについて、左端の水平軸座標と上端の垂直軸座標とを特定する領域情報特定手段と、
前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記領域情報特定手段で特定した前記複数の属性毎の領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、前記最も左端の水平軸座標と前記最も上端の垂直軸座標との組み合わせで決まる座標位置を注目位置として設定する注目位置設定手段と、
前記記憶手段に記憶されている基準画像の基準位置と、前記注目位置設定手段で設定した注目位置との位置ずれ量を算出する算出手段と、
前記算出手段で算出された位置ずれ量を用いて、前記入力画像内の前記複数の属性毎の領域の位置ずれを補正する補正手段と
を備えることを特徴とする画像処理装置。 - 前記属性には、テーブル属性、テキスト属性、タイトル属性、フレーム属性が含まれていることを特徴とする請求項１に記載の画像処理装置。
- 更に、
前記領域情報特定手段で抽出された複数の属性毎の領域のうち、予め定められた属性を有する領域を選別する選別手段を備え、
前記注目位置設定手段は、
前記選別手段で選別した予め定められた属性を有する領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記選別手段で選別した予め定められた属性を有する領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、当該求めた最も左端の水平軸座標と最も上端の垂直軸座標との組み合わせで決まる座標位置を前記注目位置として設定する
ことを特徴とする請求項１に記載の画像処理装置。 - 更に、
前記領域情報特定手段で前記入力画像から抽出された複数の属性毎の領域のうち、不安定な領域を除去する除去手段を備え、
前記注目位置設定手段は、前記除去手段によって除去した後に残った領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記除去手段によって除去した後に残った領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、当該求めた最も左端の水平軸座標と最も上端の垂直軸座標との組み合わせで決まる座標位置を前記注目位置として設定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記不安定な領域はノイズ領域であることを特徴とする請求項４に記載の画像処理装置。
- 前記除去手段は、前記入力画像内の複数の属性毎の領域のうち、予め定められたスコアに満たないスコアを有する領域を除去することを特徴とする請求項４に記載の画像処理装置。
- 基準画像の基準位置を記憶する記憶部を有し、当該基準画像に対する入力画像の位置ずれを補正する画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する領域情報特定手段が、前記入力画像内から属性毎の領域を複数抽出し、該抽出した複数の属性毎の領域のそれぞれについて、左端の水平軸座標と上端の垂直軸座標とを特定する領域情報特定工程と、
前記画像処理装置が有する注目位置設定手段が、前記領域情報特定工程で特定した前記複数の属性毎の領域それぞれの左端の水平軸座標の中から最も左端の水平軸座標を求め、前記領域情報特定工程で特定した前記複数の属性毎の領域それぞれの上端の垂直軸座標の中から最も上端の垂直軸座標を求め、前記最も左端の水平軸座標と前記最も上端の垂直軸座標との組み合わせで決まる座標位置を注目位置として設定する注目位置設定工程と、
前記画像処理装置が有する算出手段が、前記記憶部に記憶されている基準画像の基準位置と、前記注目位置設定工程で設定した注目位置との位置ずれ量を算出する算出工程と、
前記画像処理装置が有する補正手段が、前記算出工程で算出された位置ずれ量を用いて、前記入力画像内の前記複数の属性毎の領域の位置ずれを補正する補正工程と
を備えることを特徴とする画像処理方法。 - コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム、を格納したコンピュータ読み取り可能な記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207087A JP4603658B2 (ja) | 2000-07-07 | 2000-07-07 | 画像処理装置及び画像処理方法並びに記憶媒体 |
| US09/899,283 US6885778B2 (en) | 2000-07-07 | 2001-07-06 | Image processing method and apparatus and storage medium |
| US11/092,846 US7120316B2 (en) | 2000-07-07 | 2005-03-30 | Image processing method and apparatus and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207087A JP4603658B2 (ja) | 2000-07-07 | 2000-07-07 | 画像処理装置及び画像処理方法並びに記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002024838A JP2002024838A (ja) | 2002-01-25 |
| JP2002024838A5 JP2002024838A5 (ja) | 2010-04-22 |
| JP4603658B2 true JP4603658B2 (ja) | 2010-12-22 |
Family
ID=18703908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000207087A Expired - Lifetime JP4603658B2 (ja) | 2000-07-07 | 2000-07-07 | 画像処理装置及び画像処理方法並びに記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6885778B2 (ja) |
| JP (1) | JP4603658B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3733310B2 (ja) * | 2000-10-31 | 2006-01-11 | キヤノン株式会社 | 文書書式識別装置および識別方法 |
| JP2007160785A (ja) * | 2005-12-15 | 2007-06-28 | Fujifilm Corp | プリンタ |
| JP2007279828A (ja) * | 2006-04-03 | 2007-10-25 | Toshiba Corp | 帳票処理装置、帳票様式作成装置、帳票、帳票処理用のプログラム、帳票様式作成用のプログラム |
| US8213687B2 (en) * | 2006-04-28 | 2012-07-03 | Hewlett-Packard Development Company, L.P. | Image processing methods, image processing systems, and articles of manufacture |
| US20080162602A1 (en) * | 2006-12-28 | 2008-07-03 | Google Inc. | Document archiving system |
| US20090086275A1 (en) * | 2007-09-28 | 2009-04-02 | Jian Liang | Processing a digital image of content |
| CN109255300B (zh) * | 2018-08-14 | 2023-12-01 | 中国平安财产保险股份有限公司 | 票据信息提取方法、装置、计算机设备及存储介质 |
| CN113554687B (zh) * | 2021-09-18 | 2021-12-07 | 四川赛狄信息技术股份公司 | 无人机弹载发射偏移校准控制方法、系统、终端及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192087A (ja) * | 1993-12-27 | 1995-07-28 | Nec Corp | 光学文字読取装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01283682A (ja) * | 1988-05-11 | 1989-11-15 | Toshiba Corp | 文字読取装置 |
| JP3320759B2 (ja) * | 1991-12-26 | 2002-09-03 | 株式会社東芝 | 文書画像傾き検出装置およびその方法 |
| US5452374A (en) * | 1992-04-06 | 1995-09-19 | Ricoh Corporation | Skew detection and correction of a document image representation |
| US5680479A (en) | 1992-04-24 | 1997-10-21 | Canon Kabushiki Kaisha | Method and apparatus for character recognition |
| US5625711A (en) * | 1994-08-31 | 1997-04-29 | Adobe Systems Incorporated | Method and apparatus for producing a hybrid data structure for displaying a raster image |
| US5517587A (en) * | 1994-09-23 | 1996-05-14 | International Business Machines Corporation | Positioning method and apparatus for line scanned images |
| US5822454A (en) * | 1995-04-10 | 1998-10-13 | Rebus Technology, Inc. | System and method for automatic page registration and automatic zone detection during forms processing |
| KR0158123B1 (ko) * | 1995-09-26 | 1998-12-15 | 김광호 | 팩시밀리장치의 화상테이타 자동정렬방법 |
| JP3636809B2 (ja) * | 1996-03-12 | 2005-04-06 | 株式会社リコー | 画像処理方法 |
| JP3797404B2 (ja) * | 1998-02-03 | 2006-07-19 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理方法 |
| JP4095166B2 (ja) * | 1998-06-04 | 2008-06-04 | キヤノン株式会社 | 画像処理装置およびその方法 |
-
2000
- 2000-07-07 JP JP2000207087A patent/JP4603658B2/ja not_active Expired - Lifetime
-
2001
- 2001-07-06 US US09/899,283 patent/US6885778B2/en not_active Expired - Fee Related
-
2005
- 2005-03-30 US US11/092,846 patent/US7120316B2/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192087A (ja) * | 1993-12-27 | 1995-07-28 | Nec Corp | 光学文字読取装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050185858A1 (en) | 2005-08-25 |
| US7120316B2 (en) | 2006-10-10 |
| US6885778B2 (en) | 2005-04-26 |
| US20020003909A1 (en) | 2002-01-10 |
| JP2002024838A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3580670B2 (ja) | 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体 | |
| JP4183527B2 (ja) | 帳票定義データ作成方法および帳票処理装置 | |
| US7120316B2 (en) | Image processing method and apparatus and storage medium | |
| JP2010009509A (ja) | 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体 | |
| JPH08287184A (ja) | 画像切り出し装置及び文字認識装置 | |
| JP3728224B2 (ja) | 文書処理装置及び方法 | |
| US6968501B2 (en) | Document format identification apparatus and method | |
| JP4281236B2 (ja) | 画像認識装置、画像認識方法、および、画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体 | |
| JP4804433B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラム | |
| JPH10207981A (ja) | 帳票認識方法 | |
| JP2000339407A (ja) | 画像処理装置及び画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP5343584B2 (ja) | 情報処理装置及びプログラム | |
| JP4083723B2 (ja) | 画像処理装置 | |
| US20240193217A1 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
| JP2005208934A (ja) | 文書配信処理装置及び文書配信処理プログラム | |
| JP2009193170A (ja) | 文字認識装置及び文字認識方法 | |
| JPH10208040A (ja) | 画像処理方法及び記録媒体 | |
| JP4651407B2 (ja) | 画像処理装置およびコンピュータプログラムおよび記憶媒体 | |
| JP2003271897A (ja) | 文字認識装置、画像処理装置、画像処理方法及び同方法の実行に用いるプログラム | |
| JPH11250179A (ja) | 文字認識装置および文字認識方法 | |
| JPH11242716A (ja) | 画像処理方法および記録媒体 | |
| JPH1166225A (ja) | 表情報抽出装置及び方法並びに記録媒体 | |
| JPH0954813A (ja) | 文字切り出し装置 | |
| JPH10116314A (ja) | 表処理方法及び表処理装置 | |
| JP2002157550A (ja) | 文字認識装置、文字認識方法、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070709 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070709 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100927 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4603658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |