JP4143245B2

JP4143245B2 - 画像処理方法および装置並びに記憶媒体

Info

Publication number: JP4143245B2
Application number: JP2000132734A
Authority: JP
Inventors: 裕章池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-05-01
Filing date: 2000-05-01
Publication date: 2008-09-03
Anticipated expiration: 2020-05-01
Also published as: JP2001312691A

Description

【０００１】
【発明の属する技術分野】
本発明は、テンプレートを用いることなく、帳票内の特定の領域を取り出すことが可能な画像処理装置および画像処理方法、およびコンピュータが読み出し可能なプログラムを格納した記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、例えば帳票上の特定の領域に存在する情報を取り出す場合、あらかじめその領域の位置や大きさなどの情報を持つテンプレートを用意し、イメージスキャナなど光電変換装置で読み取られた画像にテンプレートを当てはめ、領域内の画像を取り出す方法および装置が知られている。
【０００３】
例えば、登録されている印影と照合するために帳票上の印影を取り出す場合、まず、その帳票に対応するテンプレート情報を取り出し、テンプレートに格納された印影領域の位置・大きさ情報を用いて、帳票画像の印影領域を特定することで印影の画像を得ることができる。
【０００４】
この場合、帳票に対応するテンプレートを選択するため、帳票上のあらかじめ定められた位置に記録されている帳票ＩＤを最初に読み込み、その結果を用いてテンプレートを特定するように構成されている。帳票ＩＤとは、帳票の種類を特定する個別に定められた番号であり、帳票ＩＤには、文字やマーク、バーコードなどが用いられる。
【０００５】
また、入力した帳票画像を通信により遠隔地へ送り、送り先の装置で画像を表示しながら入力作業を行う場合、通信量を減らすため、帳票画像全体ではなく、必要な領域のみを取り出して画像データを送るように構成されているものもある。しかし、この場合でも上記公知の技術と同様に、テンプレートを用いて送信すべき領域を特定している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の従来の技術では、テンプレートが既に存在する帳票しか読み込ませることができず、新規の帳票が入力された場合は、手動で領域を指定するか、新たにテンプレートを作成しなければならないという問題があった。
【０００７】
本発明は上記の問題点を解消するためになされたもので、テンプレートが存在しなくても、帳票上の特定の領域を自動的に取り出すことを可能にすることを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による画像処理装置は例えば以下の構成を備える。すなわち、
原稿上の所定の線図で囲まれた領域をセル領域として抽出するセル領域抽出手段と、
前記セル領域内の文字画像を抽出する文字画像抽出手段と、
前記抽出された文字画像について文字認識する文字認識手段と、
前記文字認識手段による文字認識結果から指定キーワードに対応する文字列を検索する検索手段と、
前記検索手段によって検索された文字列の領域の、該文字列を含むセル領域中に占める割合が所定値を越えるか否かを判定する判定手段と、
前記検索手段によって検索された文字列を含むセル領域に基づいて指定されたセルを決定する決定手段とを備え、
前記決定手段は、前記判定手段により前記割合が所定値を越えると判定された場合は、該セル領域に隣接する別のセル領域を指定されたセルとして決定し、前記判定手段により前記割合が所定値を越えないと判定された場合は、該セル領域を指定されたセルとして決定する。
【０００９】
また、上記の目的を達成するための本発明の一態様による画像処理方法は、例えば以下の工程を有する。すなわち、
原稿上の所定の線図で囲まれた領域をセル領域として抽出するセル領域抽出工程と、
前記セル領域内の文字画像を抽出する文字画像抽出工程と、
前記抽出された文字画像について文字認識する文字認識工程と、
前記文字認識工程による文字認識結果から指定キーワードに対応する文字列を検索する検索工程と、
前記検索工程によって検索された文字列の領域の、該文字列を含むセル領域中に占める割合が所定値を越えるか否かを判定する判定工程と、
前記検索工程によって検索された文字列を含むセル領域に基づいて指定されたセルを決定する決定工程とを有し、
前記決定工程では、前記判定工程により前記割合が所定値を越えると判定された場合は、該セル領域に隣接する別のセル領域を指定されたセルとして決定し、前記判定工程により前記割合が所定値を越えないと判定された場合は、該セル領域を指定されたセルとして決定する。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１１】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。１０１はＣＰＵで、ＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行う。１０３はＲＡＭで、ＣＰＵ１０１の主記憶として機能する。１０４は磁気ディスク等の外部記憶装置であり、テキストファイルやイメージファイルなどのファイルが記憶される。また、１０５はディスプレイ、１０６はキーボード、１０７はマウス等のポインティングデバイスである。１０８はイメージスキャナなどの光電変換装置であり、この装置により帳票が読み取られ、ＲＡＭ１０３または外部記憶装置１０４に記憶される。１０９はネットワークインタフェースで、不図示のネットワークを介して他の外部記憶装置にファイルの読み書きをすることも可能である。なお、汎用コンピュータなどで本発明を実施する場合は、本発明に係る処理をプログラムコード化し、このプログラムを、コンピュータ読み出し可能な記録媒体により供給し、前記の汎用コンピュータなどのＣＰＵ１０１で実施されるように構成される。
【００１２】
図４は、本発明を実施する装置の処理対象となる帳票４０１の一例を示す図である。帳票は通常、罫線でフィールドが分割されていて、その中に記述する内容を示すタグ文字、例えば、住所、氏名などが書かれている。図４では、４０２は住所フィールド、４０３は電話番号フィールド、４０４は氏名のふりがなフィールド、４０５は氏名フィールド、４０６は印鑑フィールドであり、それぞれタグ文字として「住所」、「電話番号」、「フリガナ」、「氏名」、「印鑑」を有する。そして、例えば記入者は、それぞれのフィールドに必要事項を記入し、印鑑フィールド４０６に押印する。
【００１３】
本実施の形態に係る処理の概略を図２のフローチャートを用いて説明する。
【００１４】
ステップＳ２０１では、光電変換装置１０８、あるいは、外部記憶装置１０４に記憶されたファイルから対象となる帳票画像を読み込む。
【００１５】
ステップＳ２０２では、読み込まれた画像からセルを抽出する。ここでのセルとは、罫線で囲まれた矩形領域のこととする。ステップＳ２０３では、抽出されたセルに対し、その中に含まれるタグ文字領域（または、タグ文字画像）を抽出する。セルの抽出は、画素の連続性から罫線を抽出し、この罫線の形状や結合状態を基に行う。文字領域（または、文字画像）は、近隣画素との結合状態から抽出する。なお、具体的なセルの抽出あるいは文字領域（または、文字画像）の抽出については、例えば、特開平１０−８３４３１公報に記載の方法などを用いることで実現可能である。タグ文字は、記入文字に比べ小さく、セルの領域内の左上にあるなどの大きさや位置情報を用いることで、タグ文字と記入文字を区別することが可能である。
【００１６】
タグ文字の抽出ができたら、ステップＳ２０４では、タグ文字の文字認識を行う。認識終了後、ステップＳ２０５では、事前に決定しているキーワードを用いて文字認識されたタグ文字の中からキーワードで指定されるものを検索する。キーワードは、抽出する領域を特定するためのもので、例えば、印影部分を抽出したい場合は、”印鑑”などをキーワードとする。ここで、”印鑑”と“ご捺印”や、”住所”と”おところ”など、同一対象の異なる表現は同一視し、それら複数の文字列で検索するように構成しておく。例えば、”印鑑”というキーワードが指定されると、セル４０６のタグ文字は、”印鑑”、“ご捺印”などの実質上同義の文字で検索される。
【００１７】
ステップＳ２０６では、この検索されたキーワードを含むセルを特定し、そのセルを抽出する。更に、ステップＳ２０７では、抽出された領域内の画像を外部記憶装置１０４に保存する。
なお、抽出された画像が文字画像の場合は、ステップＳ２０７で文字認識を行って、文字コード列にした後、外部記憶装置１０４に保存するようにしてもよい。
【００１８】
以上説明したように、本実施の形態によれば、罫線で囲まれた形式の帳票から、特定のタグ文字を含むセルを特定することができ、複数の表現がある同一の意味を持つ情報に対しても、正しく読み取りができる効果がある。
【００１９】
なお、本実施の形態および以下に示す第２の実施の形態に係る装置は、ネットワークインタフェース１０９を介し、通信手段を用いて遠隔地にある記憶装置等にあるイメージファイルやプログラムを使用するものでも良い。また、文字認識の処理または手段は、認識精度を向上するための処理または手段を含むものであっても良い。
【００２０】
以上説明したように、第１の実施形態によれば、フィールドを特定する文字（タグ）を認識し、その認識結果を検索することにより所望のセルを抽出できる。このため、テンプレートがあらかじめ用意されていなくても、帳票上の特定の領域を自動的に取り出すことが可能となる効果がある。
【００２１】
また、本実施形態によれば、テンプレートを特定する必要性がなくなり、帳票のフォーマットの制限を無くすことができる効果がある。
【００２２】
更に、本実施形態によれば、帳票全体を扱うことなく、必要な一部分だけの画像を扱うことになるため、これを保存する場合は保存領域が少なくてすみ、送信する場合は、送信量が少なくてすむ効果がある。
【００２３】
［第２の実施の形態］
本発明の第２の実施の形態について説明する。本実施の形態に係る画像処理装置の構成は、図１に示す上記第１の実施の形態にかかる装置の構成と同じであることから、この画像処理装置の構成についての説明は省略する。
【００２４】
図５は、本実施の形態に係る装置の処理対象となる帳票５０１の一例を示す図である。図５の帳票では、５０２は住所タグ、５０３は住所フィールド、５０４は電話番号タグ、５０５は電話番号フィールド、５０６は氏名タグ、５０７は氏名フィールド、５０８は印鑑タグ、５０９は印鑑フィールドというように、タグ文字がそれぞれセルになっていて、文字記入するフィールドとは別のセルになっている。
【００２５】
本発明の第２の実施の形態に係る処理の概略を図３のフローチャートを用いて説明する。
【００２６】
第１の実施の形態を説明する際に用いた図２に示した処理と同様に、ステップＳ３０１では帳票画像を読み込み、ステップＳ３０２では読み込まれた画像からセルを抽出する。ステップＳ３０３ではセルに含まれるタグ文字領域（または、タグ文字画像）を抽出し、ステップＳ３０４ではタグ文字の文字認識を行う。ステップＳ３０５では認識結果の文字からキーワードを検索し、キーワードを含むセルを特定する。
【００２７】
ステップＳ３０６では、特定したセルがタグ文字のみかどうかを判定する。タグ文字の領域がセルの大きさに比べ十分大きく、他の情報が記入される余地がない場合は、セル内にはタグ文字のみであると判定する。また、ステップＳ３０３でタグ文字領域（または、タグ文字画像）の抽出の際、同一セル内にタグ以外の画像領域（または、文字画像）が存在した場合、ステップＳ３０６では、そのセルはタグ文字のみではないと判定する。
【００２８】
ステップＳ３０６で、セル内にタグ文字のみが存在すると判定した場合、ステップＳ３０７に進み、ステップＳ３０７では近傍のセルを、抽出するセルと特定する。横書きの場合、求めるセルは一般的にタグを含んだセルの右隣、または下に存在する。セルの高さが同一で右に接しているセルがあれば右のセルを、セルの幅が同一で下に接しているセルがあれば下のセルを、それを特定セルとする。
【００２９】
ステップＳ３０６でセルがタグ文字のみでないと判定された場合は、ステップＳ３０６からステップＳ３０８に進み、ステップＳ３０７では、図２に示す上記第１の実施の形態に係る処理であるステップＳ２０６と同様、タグ文字を含むセルを特定セルとする。
【００３０】
ステップＳ３０９では、ネットワークインタフェース１０９を介して、抽出された領域内の画像を送信する。
【００３１】
以上説明したように、第２の実施形態によれば、第１の実施形態の効果に加え、セル内にタグとなる文字がなくても、近隣の対応するセルを特定し、必要とするタグが存在する領域を抽出することができる効果がある。
【００３２】
なお、上記実施形態では、処理対象の文書として帳票を例に挙げたが、これに限られるものではなく、種々の文書フォーマットに適用可能であることはいうまでもない。
【００３３】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２および/または図３に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、テンプレートが存在しなくても、帳票上の特定の領域を自動的に取り出すことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態全体に係る画像処理装置のブロック図である。
【図２】第１の実施の形態に係る画像処理装置が行う、処理ステップの一例を示すフローチャートである。
【図３】第２の実施の形態に係る画像処理装置が行う、処理ステップの一例を示すフローチャートである。
【図４】第１の実施の形態に係る画像処理装置の処理の対象となる帳票画像を説明する図である。
【図５】第２の実施の形態に係る画像処理装置の処理の対象となる帳票画像を説明する図である。

Claims

原稿上の所定の線図で囲まれた領域をセル領域として抽出するセル領域抽出手段と、
前記セル領域内の文字画像を抽出する文字画像抽出手段と、
前記抽出された文字画像について文字認識する文字認識手段と、
前記文字認識手段による文字認識結果から指定キーワードに対応する文字列を検索する検索手段と、
前記検索手段によって検索された文字列の領域の、該文字列を含むセル領域中に占める割合が所定値を越えるか否かを判定する判定手段と、
前記検索手段によって検索された文字列を含むセル領域に基づいて指定されたセルを決定する決定手段とを備え、
前記決定手段は、前記判定手段により前記割合が所定値を越えると判定された場合は、該セル領域に隣接する別のセル領域を指定されたセルとして決定し、前記判定手段により前記割合が所定値を越えないと判定された場合は、該セル領域を指定されたセルとして決定することを特徴とする画像処理装置。
原稿上の所定の線図で囲まれた領域をセル領域として抽出するセル領域抽出工程と、
前記セル領域内の文字画像を抽出する文字画像抽出工程と、
前記抽出された文字画像について文字認識する文字認識工程と、
前記文字認識工程による文字認識結果から指定キーワードに対応する文字列を検索する検索工程と、
前記検索工程によって検索された文字列の領域の、該文字列を含むセル領域中に占める割合が所定値を越えるか否かを判定する判定工程と、
前記検索工程によって検索された文字列を含むセル領域に基づいて指定されたセルを決定する決定工程とを有し、
前記決定工程では、前記判定工程により前記割合が所定値を越えると判定された場合は、該セル領域に隣接する別のセル領域を指定されたセルとして決定し、前記判定工程により前記割合が所定値を越えないと判定された場合は、該セル領域を指定されたセルとして決定することを特徴とする画像処理方法。
請求項２に記載の画像処理方法をコンピュータによって実行させるための制御プログラムを格納したコンピュータ読み取り可能な記憶媒体。