JP5988149B2 - 項目記入装置、項目記入システム及びプログラム - Google Patents

Description

本発明は、項目記入装置、項目記入システム及びプログラムに関する。

特許文献１は、帳票に印刷された印字フォーマットを読取ったイメージスキャナからのデジタル画像データをＬＣＤに画像表示し、この画像表示において、右へのサーチ及び改行を繰返して、水平罫線を順次検出し、この検出された水平罫線の直上の余白領域が印字可能領域か否かを順次判断し、印字可能領域と判断された時に、その印字可能領域を領域カーソルで指示し、その印字可能領域に対して標準領域情報を算出して表示し、＋キーの押下により領域情報が確定され、この＋キーの押下によりにより順次確定された全ての領域情報が、ＳＡＶＥキーの押下により印字フォーマットとしてフロッピー（登録商標）ディスクに記憶されるものについて開示している。

特許文献２は、入力用紙に表示された文字等の形象情報を光学的手段によって読み取って記憶し、この記憶内容の指定された領域のみを切り出し、この切り出された領域の出力位置を指定して出力印字することにより、前記入力用紙とはフォーマットを異にした出力用紙を作成する方法であって、入力用紙にあらかじめ設けられた補正マークの位置を検出し、この検出位置を基準として切り出すべき領域を決定することを特徴とする入出力用紙間のフォーマット変換処理方法について開示している。

特開平０６−２２２８９５号公報 特開昭６２−０９９８８８号公報

本発明の目的は、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入装置、項目記入システム及びプログラムを提供することである。

請求項１に係る本発明は、画像から罫線を抽出する罫線抽出手段と、前記罫線抽出手段により抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類手段と、前記領域分類手段により分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付け手段と、前記対応付け手段により項目欄と対応付けられた記入欄に、該項目欄が示す項目に対する予め記憶された項目値を読み出して記入する記入手段とを有する項目記入装置である。

請求項２に係る本発明は、前記対応付け手段は、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに基づいて、対応付ける請求項１記載の項目記入装置である。

請求項３に係る本発明は、前記領域分類手段は、予め定めた画素値の画素が領域内において占める割合に基づいて分類する請求項１又は２記載の項目記入装置である。

請求項４に係る本発明は、前記画像に含まれる画素のうち、予め定めた画素値以外の画素値を有する画素について、予め定めた画素値へと補正する補正手段をさらに有し、前記領域分類手段は、前記補正手段により補正された画素値を用いて分類する請求項３記載の項目記入装置である。

請求項５に係る本発明は、前記罫線抽出手段は、予め定めた間隔以内の複数本の罫線については、１本の罫線として抽出する請求項１乃至４いずれか記載の項目記入装置である。

請求項６に係る本発明は、前記対応付け手段は、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに、該項目欄と該記入欄との隣接する方向により定まる重み付けをして、対応付ける記入欄を決定する請求項２乃至５いずれか記載の項目記入装置である。

請求項７に係る本発明は、前記対応付け手段は、前記領域分類手段により分類された項目欄に、該項目欄を構成する線分及び該線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、複数の記入欄を対応付ける請求項２乃至５いずれか記載の項目記入装置である。

請求項８に係る本発明は、前記画像に対して、文字列が表された領域を囲う枠線と、該文字列が表された領域に隣接する領域を囲う、少なくとも一辺が罫線により構成される枠線とを作成する枠線作成手段をさらに有し、前記罫線抽出手段は、前記枠線作成手段により作成された枠線を抽出する請求項１乃至７いずれか記載の項目記入装置である。

請求項９に係る本発明は、前記画像と前記対応付け手段による対応付けについての情報とを記憶する記憶手段をさらに有し、前記記入手段は、前記記憶手段が記憶する前記画像及び対応付けの情報に基づいて、記入欄に項目値を記入する請求項１乃至８いずれか記載の項目記入装置である。

請求項１０に係る本発明は、使用者の情報を管理する使用者管理装置と、画像から罫線を抽出する罫線抽出手段と、前記罫線抽出手段により抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類手段と、前記領域分類手段により分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付け手段と、使用者を識別する情報を受付ける識別情報受付手段と、前記対応付け手段により項目欄と対応付けられた記入欄に、該項目欄が示す項目に対する、前記識別情報受付手段により受付けられた識別情報により定まる使用者についての予め記憶された項目値を前記使用者管理装置から読み出して記入する記入手段とを有する項目記入装置とを備える項目記入システムである。

請求項１１に係る本発明は、画像から罫線を抽出する罫線抽出ステップと、抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類ステップと、分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付けステップと、対応付けられた記入欄に、該項目欄が示す項目に対する予め記憶された項目値を読み出して記入する記入ステップとをコンピュータに実行させるプログラムである。

請求項１に係る本発明によれば、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入装置を提供することができる。

請求項２に係る本発明によれば、請求項１に係る本発明の効果に加え、本構成を有しない場合に比較して、間違った記入欄に項目値が記入されることを防ぐことができる項目記入装置を提供することができる。

請求項３に係る本発明によれば、請求項１又は２に係る本発明の効果に加え、本構成を有しない場合に比較して、項目欄と記入欄との分類において、誤った分類がなされることを低減することができる項目記入装置を提供することができる。

請求項４に係る本発明によれば、請求項３に係る本発明の効果に加え、本構成を有しない場合に比較して、領域内の画素値が予め定めた画素値以外であっても、項目欄と記入欄との分類において、誤った分類がなされることを低減することができる項目記入装置を提供することができる。

請求項５に係る本発明によれば、請求項１乃至４いずれかに係る本発明の効果に加え、画像に表された項目欄の罫線と記入欄の罫線とが接していない場合であっても、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入装置を提供することができる。

請求項６に係る本発明によれば、請求項２乃至５いずれかに係る本発明の効果に加え、本構成を有しない場合に比べ、項目欄に対し、誤った記入欄が対応されることを防ぐことができる項目記入装置を提供することができる。

請求項７に係る本発明によれば、請求項２乃至５いずれかに係る本発明の効果に加え、項目欄が示す項目に対する項目値を記入する記入欄が複数設けられている場合においても、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入装置を提供することができる。

請求項８に係る本発明によれば、請求項１乃至７いずれかに係る本発明の効果に加え、画像において項目欄及び記入欄が罫線により囲われていない場合においても、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入装置を提供することができる。

請求項９に係る本発明によれば、請求項１乃至８いずれかに係る本発明の効果に加え、本構成を有しない場合に比較して、既に項目欄と記入欄との対応付けがなされている画像についての項目値の記入をする場合に、処理負荷を低減することができる項目記入装置を提供することができる。

請求項１０に係る本発明によれば、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができる項目記入システムを提供することができる。

請求項１１に係る本発明によれば、項目ごとの項目値を、当該項目値を記入するために設けられた記入欄に記入することができるプログラムを提供することができる。

本発明の実施形態に係る項目記入システム２を示す模式図である。 本発明の実施形態に係る画像形成装置４を示す断面図である。 本発明の実施形態に係る画像形成装置４のハードウェア構成を示すブロック図である。 本発明の実施形態に係る使用者管理装置６のハードウェア構成を示す模式図である。 プログラムが実行されることにより実現される画像形成装置４の機能構成を示すブロック図である。 罫線抽出部８２による罫線及び罫線で区切られた領域の抽出について説明する模式図であり、（ａ）は、画像に含まれる項目欄及び記入欄の一例を示し、（ｂ）は、抽出される罫線を示し、（ｃ）は、抽出した各領域の採番について示している。 領域を区切る罫線が２本の場合における罫線の抽出について説明する模式図であり、（ａ）は、画像に含まれる罫線を示し、（ｂ）は、罫線抽出部８２により抽出される罫線を示している。 項目欄及び記入欄の他の態様を例示する模式図であり、（ａ）は、記入欄が項目欄の下段に設けられる態様を示し、（ｂ）は、縦書きの態様を示している。 対応付け部８６による対応付けを説明する模式図であり、（ａ）は、項目欄と分類された領域に対し記入欄を対応付ける例を示し、（ｂ）は、項目を示す欄でもなく記入するための欄でもない余白の欄が存在する場合において、記入欄を対応付ける例を示し、（ｃ）は、１つの項目欄に対し複数の記入欄を対応付ける例を示している。 本発明の実施形態に係る項目記入システムの動作を例示するフローチャートである。 本発明の実施形態の第１の変形例における画像形成装置４の機能構成を示すブロック図である。 本発明の実施形態の第１の変形例における補正部１３０による補正を説明する模式図であり、（ａ）は、項目欄及び記入欄のいずれもグレー画像の場合を例示し、（ｂ）は、項目欄のみがグレー画像の場合を例示し、（ｃ）は、（ａ）及び（ｂ）に示される項目欄及び記入欄に対し、補正部１３０による補正を行った結果を示している。 本発明の実施形態の第２の変形例における画像形成装置４の機能構成を示すブロック図である。 本発明の実施形態の第２の変形例における枠線作成部１３２による枠線の作成を説明する模式図であり、（ａ）及び（ｂ）は、それぞれ、枠線作成部１３２により枠線が作成される前の画像を例示し、（ｃ）は、枠線作成部１３２により枠線が作成された後の画像を示している。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る項目記入システム２を示す模式図である。図１に示すように、項目記入システム２は、項目記入装置として機能する画像形成装置４と、使用者管理装置６とから構成されており、画像形成装置４と、使用者管理装置６とは、ＬＡＮ，ＷＡＮ，インターネット等により構成されるネットワーク８により接続されている。

図２は、画像形成装置４を示す断面図である。画像形成装置４は、ＵＩ装置１０、印刷装置１２、読取装置１４及び通信装置１６を有している。

ＵＩ装置１０は、例えばタッチパネルなどとして構成され、情報を表示する表示装置としての機能、及び、操作者によってなされる入力を受付ける入力受付装置としての機能を備える。

印刷装置１２は、印刷を行う装置である。印刷装置１２は、例えば３段の記録媒体供給カセット１８を有し、これら記録媒体供給カセット１８のそれぞれには供給ヘッド２０が設けられている。

記録媒体供給カセット１８の一つが選択されると、供給ヘッド２０が作動して選択された記録媒体供給カセット１８から記録媒体供給路２２を介して画像形成機構部２４に供給される。

画像形成機構部２４は、イエロー、マゼンタ、シアン及びブラックの各感光体２６が併設されていると共に、中間転写ベルト２８が設けられている。

各感光体２６の周囲には、帯電装置、露光装置、現像装置、一次転写装置及びクリーニング装置など（図示せず）が配置され、各感光体２６に形成されたトナー像が中間転写ベルト２８に転写される。白黒設定された場合は、ブラックのみが作動可能であるようにされる。

中間転写ベルト２８のトナー像は、二次転写ロール３０により、送られてきた記録媒体に転写され、定着装置３２により定着され、このトナー像が定着された記録媒体が記録媒体排出路３４を通って排出部３６に排出される。

ただし、両面印刷が設定された場合は、定着装置３２により表面が定着された記録媒体は、記録媒体排出路３４から反転装置３８に送られ、この反転装置３８で反転され、記録媒体反転路４０に送られ、再び記録媒体供給路２２に戻され、画像形成機構部２４に送られて裏面の印刷がなされる。

読取装置１４は、両面原稿の読み取りが可能な自動原稿送り装置４２を有し、この自動原稿送り装置４２により原稿はプラテン４４に送られ、このプラテン４４上でＣＣＤ等からなる読取部４６により原稿の画像が読み取られる。

自動原稿送り装置４２に原稿がセットされたか否かを検出する原稿セット検出器４８が設けられている。また、自動原稿送り装置４２はプラテンカバーを兼ねており、このプラテンカバーを開けることにより原稿をプラテン４４上に置くことができる。このプラテンカバーの開閉は、プラテンカバー開閉検出器５０により検出できるようになっている。

通信装置１６は、ネットワーク８を介して使用者管理装置６などの外部の装置と通信を行う装置であり、例えば、データ回線終端装置が該当する。画像形成装置４は、例えば、通信装置１６を用いることで、使用者管理装置６に記憶された、使用者についての情報を取得する。

図３は、画像形成装置４のハードウェア構成を示すブロック図である。

図３に示すように、画像形成装置４は、上述の印刷装置１２、読取装置１４、ＵＩ装置１０、及び通信装置１６のほか、ＣＰＵ６０、メモリ６２及び記憶装置６４がバス接続された構成となっている。

このように、画像形成装置４は、使用者管理装置６及び他の装置との通信が可能なコンピュータとしての構成部分を有している。

ＣＰＵ６０は、メモリ６２又は記憶装置６４に書き込まれたプログラムを実行することにより、画像形成装置４の動作を制御する。また、ＵＩ装置１０を介して受け付けられた入力は、ＣＰＵ６０に伝達され、ＣＰＵ６０からの表示情報がＵＩ装置１０に伝達される。

なお、ＣＰＵ６０は、図示しないＣＤ−ＲＯＭなどの可搬型の記憶媒体に記憶されたプログラムを実行してもよいし、又は通信装置１６を通じて提供されるプログラムを実行してもよい。

記憶装置６４は、例えばハードディスクなどに、データを書き込み及び読み出し可能に記憶する。本実施形態では、記憶装置６４には、後述する画像受付部８０が受付けた画像、この画像に対する後述する対応付け部８６による対応付けについての情報、後述する項目特定部８８により特定された項目などの情報が記憶される。

次に、使用者管理装置６について説明する。
使用者管理装置は、制御プログラムを実行することにより、使用者の情報を管理する装置であり、例えば、ＬＤＡＰ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｄｉｒｅｃｔｏｒｙ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）サーバ、Ｗｉｎｄｏｗｓ（登録商標）のＡｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙなどにより構成される。

図４は、使用者管理装置６のハードウェア構成を示す模式図である。使用者管理装置６は、図４に示されるように、ＣＰＵ７０、メモリ７２、ハードディスクドライブ（ＨＤＤ）等の記憶装置７４、ネットワーク８を介して外部の装置等との間でデータの送信及び受信を行うデータ回線終端装置などの通信装置７６、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置７８を有する。これらの構成要素が、バス接続された構成となっている。

ＣＰＵ７０は、メモリ７２または記憶装置７４に格納された制御プログラムに基づいて処理を実行して、使用者管理装置６の動作を制御する。なお、本実施形態では、ＣＰＵ７０は、メモリ７２または記憶装置７４内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ７０に提供することも可能であるし、当該プログラムを通信装置７６を介してＣＰＵ７０に提供することも可能である。

次に、画像形成装置４の項目記入装置としての機能構成について説明する。
図５は、プログラムが実行されることにより実現される画像形成装置４の機能構成を示すブロック図である。

本実施形態の画像形成装置４は、図５に示されるように、画像受付部８０と、罫線抽出部８２と、領域分類部８４と、対応付け部８６と、項目特定部８８と、識別情報受付部９０と、項目値読出部９２と、記入部９４と、記憶部９６とを備えている。

画像受付部８０は、画像を受け付ける。本実施形態では、画像受付部８０は、項目欄と、項目欄に対する記入欄とを含む文書の画像を受付ける。項目欄と、項目欄に対する記入欄とを含む文書としては、例えば、申請書などが該当する。画像受付部８０は、読取装置１４により読み取った文書原稿の画像を受付けてもよいし、通信装置１６を介して、ネットワーク８経由で送信された画像を受付けてもよい。また、画像受付部８０は、文書の電子データをプリンタドライバなどにより画像データに変換したものを受付けてもよい。

罫線抽出部８２は、画像受付部８０が受付けた画像に含まれる罫線を抽出する。また、罫線抽出部８２は、抽出した罫線により定まる領域を特定する。具体的には、罫線抽出部は、罫線により区切られる領域を抽出する。なお、例えば、罫線抽出部８２は、画像における座標情報を用いて罫線及び領域を抽出する。

図６は、罫線抽出部８２による罫線及び罫線で区切られた領域の抽出について説明する模式図である。ここでは、氏名、社員番号及び所属の３つの項目について記入欄が設けられた申請書の画像を例に説明する。図６（ａ）には、画像に含まれる項目欄及び記入欄の一例が示されている。罫線抽出部８２は、画像受付部８０が受付けた画像のうち、例えば、図６（ａ）に示す部分から、図６（ｂ）に示すように、罫線を抽出し、罫線に区切られた領域として、領域１００、１０２、１０４、１０６、１０８及び１１０を特定する。

また、図６（ｃ）に示すように、罫線抽出部８２は、予め定めた順序で、抽出した領域について採番し、領域についての情報を表す領域情報を作成する。横書きのフォーマットであれば、罫線抽出部８２は、例えば、左から右、上から下の順に、抽出した領域について採番し、領域情報を作成し管理する。図６（ｃ）に示した例では、罫線抽出部８２は、領域「１」（領域１００）、領域「２」（領域１０２）、…、領域「６」（領域１１０）について、それぞれ、領域情報を生成し、管理する。また、縦書きのフォーマットであれば、罫線抽出部８２は、例えば、上から下、右から左の順に、抽出した領域について採番し、領域情報を管理する。なお、領域情報は、例えば、領域を特定するための座標情報からなる。

縦書きのフォーマットであるか、横書きのフォーマットであるかは、画像受付部８０が、画像を受付ける際に付加情報として取得してもよいし、画像を解析することにより判定してもよい。

図６に示した例では、領域を区切る罫線が１本の場合について説明したが、罫線抽出部８２は、予め定めた間隔以内の複数本の罫線については、１本の罫線として抽出してもよい。

図７は、領域を区切る罫線が２本の場合における罫線の抽出について説明する模式図であり、図７（ａ）は、画像に含まれる罫線を示し、図７（ｂ）は、罫線抽出部８２により抽出される罫線を示す。図７に示されるように、罫線抽出部８２は、複数本の罫線の間隔が予め定めた間隔以内である場合には、これら複数本の罫線を１本の罫線として扱い、罫線の抽出を行う。

また、罫線抽出部８２は、図６に示した例の他、図８に示すように、種々の態様の項目欄及び記入欄について罫線を抽出する。
図８は、項目欄及び記入欄の他の態様を例示する模式図であり、図８（ａ）は、記入欄が項目欄の下段に設けられる態様を示し、図８（ｂ）は、縦書きの態様を示している。

領域分類部８４は、罫線抽出部８２により抽出された罫線により定まる領域を、項目欄と記入欄とに分類する。本実施形態では、領域分類部８４は、予め定めた画素値の画素が領域内において占める割合に基づいて分類する。

具体的には、例えば、領域の面積と余白の面積を算出し、領域の面積に占める余白の面積の比を算出し、領域の面積に占める余白の面積の比が予め定めた閾値未満であれば項目欄であると分類し、領域の面積に占める余白の面積の比が予め定めた閾値以上であれば記入欄であると分類する。余白を構成する画素であるか否かについては、予め定めた画素値（例えば、白色を示す画素値）の画素であるか否かに基づいて判定される。なお、予め定めた画素値には、１つの画素値（例えば、画素値ｘ）に限らず、範囲をもった画素値（例えば、画素値ｘ以上ｙ未満）であってもよい。

例えば、領域１００について、領域分類部８４は、次のように分類する。領域１００には、図６に示すように「氏名」という文字列が示されており、ここでは、領域の面積を２００であり、余白の面積が１９０であったものとし、閾値は０．９９であるとする。この場合、領域の面積に占める余白の面積の比は、０．９５であり、閾値０．９９未満であるから、項目欄として分類される。このように、領域分類部８４によれば、図６に示される領域について、領域１００、１０４及び１０８は項目欄と分類され、領域１０２、１０６及び１１０は記入欄と分類される。

このように閾値により分類することで、記入欄に文字が予め記載されている場合にも項目欄と記入欄との分類を適切に行うことが期待される。例えば、項目欄に「生年月日」と記載されており、この項目欄に対する記入欄に記入箇所に空白を設けて「 年 月 日」と予め記載されている場合（記入欄に、生年月日における数字のみを記入すればよい場合）には、文字が記載されていたとしても余白が大半を占めているため、項目欄と分類することなく記入欄と分類されることが期待される。

なお、本実施形態では、このように、領域分類部８４は、予め定めた画素値の画素が領域内において占める割合に基づいて分類するが、他の方法により分類してもよい。例えば、領域分類部８４は、「氏名」、「社員番号」、「所属」などの予め定めた文字列が領域内に表されている場合に、その領域を項目欄と分類し、予め定めた文字列が領域内に表されている場合には、記入欄と分類するようにしてもよい。

対応付け部８６は、領域分類部８４により分類された項目欄に、この項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける。本実施形態では、対応付け部８６は、対応付け対象の項目欄を構成する線分と記入欄を構成する線分との重なり度合い及び対応付け対象の項目欄を構成する線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、対応付けを行う。なお、対応付け部８６は、項目欄として分類された領域それぞれについて、順番に対応付けを行う。図６に示した例では、領域１００、１０４、１０８の順で対応付けが行われる。

図９は、対応付け部８６による対応付けを説明する模式図である。なお、図９において、ハッチングされている領域は、領域分類部８４により項目欄と分類された領域を示し、ハッチングされていない領域は、領域分類部８４により記入欄と分類された領域を示す。

図９（ａ）は、領域分類部８４により項目欄と分類された領域に対し、記入欄を対応付ける例を示している。図９（ａ）に示した例では、図６に示した領域１０４で表される項目欄に対し、記入欄を対応付ける例を示している。対応付け部８６は、領域１０４で表される項目欄を構成する線分及びこの線分の延長線と、記入欄を構成する線分との重なり度合いに基づいて、対応付ける。なお、図９において、項目欄を構成する線分及びこの線分の延長線は、いずれも太線で表されている。

対応付け部８６は、例えば、罫線抽出部８２が作成した領域情報により、対応付け対象の項目欄に隣接する記入欄について、重なり度合いを判定するが、対応付け部８６は、領域分類部８４により記入欄と分類された全ての記入欄について重なり度合いを判定してもよいし、既に対応付けがなされた記入欄については判定の対象から除外してもよい。

図９（ａ）に示した例では、領域１０４に隣接する領域１０２、１０６及び１１０において、領域１０２については、下部の線分のみが太線と重なり合っており（例えば、重なり度合いを１とする）、領域１０６については、上部、下部、左部の線分が太線と重なり合っており（例えば、重なり度合いを３とする）、領域１１０については、上部の線分のみが太線と重なり合っている（例えば、重なり度合いを１とする）。この場合、対応付け部８６は、重なり度合いが３である、領域１０６で表される記入欄を、領域１０４で表される項目欄に対応付ける。

図９（ｂ）は、項目を示す欄でもなく記入するための欄でもない余白の欄が存在する場合において、項目欄と分類された領域に対し、記入欄を対応付ける例を示している。項目を示す欄でもなく記入するための欄でもない余白の欄の領域１１２及び１１４は、領域分類部８４により記入欄として分類されるが、本来、領域１１２及び１１４は、いずれの項目欄にも対応付けられてはならない欄である。

図９（ｂ）において、領域１０８で表される項目欄に対し記入欄を対応付ける場合、領域１１０及び１１２の重なり度合いが、ともに３となる。このような場合、対応付け部８６は、重なり度合いに、項目欄と記入欄との隣接する方向により定まる重み付けをして、対応付ける記入欄を決定する。

例えば、図９（ｂ）に示すように、横書きのフォーマットに対しては、項目欄に対して、上側にある記入欄、左側にある記入欄、右側にある記入欄、下側にある記入欄について、それぞれ、０，０，５，３といった値を乗算し、重み付けを行い、重み付け結果が最大の値である記入欄をこの項目欄に対して対応付ける。この例では、重み付け後の重なり度合いは、領域１１０が１５となり、領域１１２が９となるから、領域１１０で表される記入欄が領域１０８で表される項目欄に対応付けられる。

また、図９（ｃ）は、１つの項目欄に対し、この項目欄を構成する線分及びこの線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、複数の記入欄を対応付ける例を示している。

例えば、対応付け部８６は、領域分類部８４により項目欄と分類された領域について、項目欄を構成する線分及びこの線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、順次、１つの記入欄を対応付ける。そして、全ての項目欄に記入欄が対応付けられた後、次に、再度、項目欄を構成する線分及びこの線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、各項目欄に対し順次、２つ目の記入欄を対応付ける。なお、２つ目の記入欄を対応付けても、対応付けがなされていない記入欄が残されている場合には、再度、対応付けを行う。

図９（ｃ）に示す例では、項目欄である領域１１６に対し、１つ目の記入欄である領域１１８が対応付け部８６により対応付けられており、さらに、対応付け部８６は、領域１１６で表される項目欄を構成する線分及びこの線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、２つ目の記入欄を対応付ける。この例では、領域１２０及び領域１２２の重なり度合いは、それぞれ、２、１であり、重なり度合いが２である領域１１０が２つ目の記入欄として項目欄に対応付けられる。

項目特定部８８は、領域分類部８４により項目欄と分類された領域に示される項目を特定する。項目特定部８８は、例えば、ＯＣＲ（Optical Character Recognition）技術により、画像受付部８０が受付けた画像の項目欄に示される文字列を認識することにより、項目を特定する。また、画像受付部８０が受付けた画像に対応する文書の電子データに含まれる文字情報から項目欄に示される文字列を特定してもよい。例えば、図６に示した例では、「氏名」、「社員番号」、「所属」が項目として特定される。

識別情報受付部９０は、使用者を識別する識別情報を受付ける。例えば、識別情報受付部９０は、画像形成装置４に設けられた図示しない記憶媒体読取装置を介して取得された識別情報を受付ける。記憶媒体読取装置では、例えば、使用者により提示されたＩＣカード、磁気カードなどの記憶媒体の読取りなどによって識別情報を取得する。なお、識別情報受付部９０は、ＵＩ装置１０を介して入力された識別情報を受付けてもよい。

項目値読出部９２は、識別情報受付部９０が受付けた識別情報に基づいて、項目特定部８８により特定された項目についての予め記憶された項目値を読み出す。本実施形態では、項目値読出部９２は、識別情報受付部９０が受付けた識別情報及び項目特定部８８により特定された項目により、使用者管理装置６のデータベースに項目値の問い合わせを行い、使用者管理装置６のデータベースに予め記憶された項目値を取得する。例えば、項目値読出部９２は、使用者Ａの識別情報であるユーザＩＤに基づき、項目である「氏名」、「社員番号」、「所属」の値をデータベースから読み出す。

記入部９４は、対応付け部８６により項目欄と対応付けられた記入欄に、この項目欄が示す項目に対する予め記憶された項目値を読み出して記入する。具体的には、画像受付部８０が受付けた画像に対し、対応付け部８６により項目欄と対応付けられた記入欄に、項目値読出部９２が読み出した項目値を記入する。

記憶部９６は、画像受付部８０が受付けた画像と、この画像に対する対応付け部８６による対応付けについての情報とを関連付けて記憶する。記憶部９６は、例えば、複数の申請書ごとに、画像と、この画像に対する対応付けについての情報とを関連付けて記憶する。また、本実施形態では、記憶部９６は、項目特定部８８により特定された項目についても、画像ごとに関連付けて記憶する。

既に、画像の受付け処理、この画像に対する項目欄と記入欄との対応付け処理、項目の特定処理が行われている場合には、再度、これらの処理を行わなくても、記憶部９６が記憶する情報を用いることで、項目値の記入を行うことができる。この場合、項目値読出部９２は、識別情報受付部９０が受付けた識別情報と、記憶部９６が記憶する項目とに基づいて、項目値を読出し、記入部９４は、記憶部９６が記憶している画像と、この画像における項目欄及び記入欄の対応付け情報に基づいて、項目値を画像に記入する。

図１０は、項目記入システムの動作を例示するフローチャートである。

ステップ１００（Ｓ１００）において、画像受付部８０は、画像として、例えば申請書の画像を受付ける。

ステップ１０２（Ｓ１０２）において、罫線抽出部８２は、画像受付部８０が受付けた画像に含まれる罫線をし、抽出した罫線により定まる領域を特定する。

ステップ１０４（Ｓ１０４）において、領域分類部８４は、罫線抽出部８２により抽出された罫線により定まる領域を、項目欄と記入欄とに分類する。

ステップ１０６（Ｓ１０６）において、対応付け部８６は、領域分類部８４により分類された項目欄に、この項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける。

ステップ１０８（Ｓ１０８）において、項目特定部８８は、項目欄と分類された領域に示される項目を特定する。

ステップ１１０（Ｓ１１０）において、項目値読出部９２は、識別情報受付部９０が受付けた識別情報及び項目特定部８８により特定された項目により、使用者管理装置６のデータベースに項目値の問い合わせを行い、使用者管理装置６のデータベースに予め記憶された項目値を取得する。

ステップ１１２（Ｓ１１２）において、記入部９４は、対応付け部８６により項目欄と対応付けられた記入欄に、この項目欄が示す項目に対するステップ１１０で取得した項目値を記入する。

ステップ１１４（Ｓ１１４）において、記入部９４により項目値が記入された画像を印刷装置１２により印刷出力する。

なお、本実施形態では、項目値読出部９２は、使用者管理装置６から項目値を取得する構成を例示しているが、例えば、ＩＣカード、磁気カードなどの記憶媒体に記憶された項目値を、画像形成装置４に設けられた図示しない記憶媒体読取装置により読取り、項目値を読み出してもよい。なお、この場合のＩＣカード、磁気カードなどの記憶媒体は、使用者を識別する識別情報が記憶された記憶媒体と同じものであってもよい。

また、記入部９４により項目値が記入された画像については、印刷装置１２により印刷出力されてもよいし、通信装置１６により他の装置に送信されてもよい。

次に、本実施形態の第１の変形例について説明する。
図１１は、第１の変形例における画像形成装置４の機能構成を示すブロック図である。第１の変形例では、補正部１３０が追加されている点で、上記実施形態と異なる。

補正部１３０は、画像受付部８０が受付けた画像に含まれる画素のうち、予め定めた画素値以外の画素値を有する画素について、予め定めた画素値へと補正する。例えば、多値の画素値を有する画素を含む画像に対し、補正部１３０は、画像を２値化し、白色を示す画素値又は黒色を示す画素値のいずれかへと補正する。なお、領域分類部８４は、補正部１３０により補正された結果に基づいて、領域の面積に占める余白（白色を示す画素値の画素）の面積の比を算出し、領域を項目欄又は記入欄へと分類する。

図１２は、第１の変形例における補正部１３０による補正を説明する模式図である。図１２（ａ）では、項目欄及び記入欄のいずれもグレー画像となっており、図１２（ｂ）では、項目欄のみがグレー画像となっている。図１２（ｃ）は、図１２（ａ）及び図１２（ｂ）に対し、補正部１３０による補正を行った結果を示している。

次に、本実施形態の第２の変形例について説明する。
図１３は、第２の変形例における画像形成装置４の機能構成を示すブロック図である。第２の変形例では、枠線作成部１３２が追加されている点で、上記実施形態と異なる。

枠線作成部１３２は、画像受付部８０が受付けた画像に対して、文字列が表された領域を囲う枠線の作成と、この文字列が表された領域に隣接する領域を囲う、少なくとも一辺が罫線により構成される枠線の作成とを行う。

図１４は、第２の変形例における枠線作成部１３２による枠線の作成を説明する模式図である。図１４（ａ）及び図１４（ｂ）は、枠線作成部１３２により枠線が作成される前の画像を示し、図１４（ｃ）は、枠線作成部１３２により枠線が作成された後の画像を示す。

図１４（ａ）及び図１４（ｂ）に示される画像からわかるように、図６に示した項目欄及び記入欄とは異なり、項目欄及び記入欄が罫線により囲まれていない。枠線作成部１３２では、画像における文字列及び文字列に隣接する罫線を抽出し、文字列が表された領域を囲う枠線と、この文字列が表された領域に隣接する領域を囲う、少なくとも一辺が罫線により構成される枠線とを作成する。

図１４（ｃ）に示されるような枠線が、枠線作成部１３２により作成され、この枠線が付加された画像について、上述の罫線抽出部８２による罫線の抽出及び領域の抽出がなされ、さらには上述の領域分類部８４による項目欄と記入欄とへの分類がなされることとなる。

以上において、画像形成装置４を項目記入装置として機能させる例について説明したが、項目記入装置は、画像形成装置４に限らず、コンピュータとしての機能を備えた他の装置により実現されてもよい。

２ ：項目記入システム
４ ：画像形成装置
６ ：使用者管理装置
８０ ：画像受付部
８２ ：罫線抽出部
８４ ：領域分類部
８６ ：対応付け部
８８ ：項目特定部
９０ ：識別情報受付部
９２ ：項目値読出部
９４ ：記入部
９６ ：記憶部
１３０ ：補正部
１３２ ：枠線作成部

Claims (10)

1. 画像から罫線を抽出する罫線抽出手段と、
   前記罫線抽出手段により抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類手段と、
   前記領域分類手段により分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付け手段と、
   前記対応付け手段により項目欄と対応付けられた記入欄に、該項目欄が示す項目に対する予め記憶された項目値を読み出して記入する記入手段と、を有し、
   前記対応付け手段は、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに基づいて、対応付ける項目記入装置。
2. 前記領域分類手段は、予め定めた画素値の画素が領域内において占める割合に基づいて分類する
   請求項１記載の項目記入装置。
3. 前記画像に含まれる画素のうち、予め定めた画素値以外の画素値を有する画素について、予め定めた画素値へと補正する補正手段
   をさらに有し、
   前記領域分類手段は、前記補正手段により補正された画素値を用いて分類する
   請求項２記載の項目記入装置。
4. 前記罫線抽出手段は、予め定めた間隔以内の複数本の罫線については、１本の罫線として抽出する
   請求項１乃至３いずれか記載の項目記入装置。
5. 前記対応付け手段は、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに、該項目欄と該記入欄との隣接する方向により定まる重み付けをして、対応付ける記入欄を決定する
   請求項１乃至４いずれか記載の項目記入装置。
6. 前記対応付け手段は、前記領域分類手段により分類された項目欄に、該項目欄を構成する線分及び該線分の延長線と記入欄を構成する線分との重なり度合いに基づいて、複数の記入欄を対応付ける
   請求項１乃至４いずれか記載の項目記入装置。
7. 前記画像に対して、文字列が表された領域を囲う枠線と、該文字列が表された領域に隣接する領域を囲う、少なくとも一辺が罫線により構成される枠線とを作成する枠線作成手段
   をさらに有し、
   前記罫線抽出手段は、前記枠線作成手段により作成された枠線を抽出する
   請求項１乃至６いずれか記載の項目記入装置。
8. 前記画像と前記対応付け手段による対応付けについての情報とを記憶する記憶手段
   をさらに有し、
   前記記入手段は、前記記憶手段が記憶する前記画像及び対応付けの情報に基づいて、記入欄に項目値を記入する
   請求項１乃至７いずれか記載の項目記入装置。
9. 使用者の情報を管理する使用者管理装置と、
   画像から罫線を抽出する罫線抽出手段と、
   前記罫線抽出手段により抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類手段と、
   前記領域分類手段により分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付け手段と、
   使用者を識別する情報を受付ける識別情報受付手段と、
   前記対応付け手段により項目欄と対応付けられた記入欄に、該項目欄が示す項目に対する、前記識別情報受付手段により受付けられた識別情報により定まる使用者についての予め記憶された項目値を前記使用者管理装置から読み出して記入する記入手段と、を有し、
   前記対応付け手段は、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに基づいて、対応付ける
   項目記入装置と
   を備える項目記入システム。
10. 画像から罫線を抽出する罫線抽出ステップと、
    抽出された罫線により定まる複数の領域を、項目欄と記入欄とに分類する領域分類ステップと、
    分類された項目欄に、該項目欄が示す項目に対する項目値を記入するための記入欄を対応付ける対応付けステップであって、対応付け対象の項目欄を構成する線分及び該線分の延長線と、記入欄を構成する線分との重なり度合いに基づいて対応付ける対応付けステップと、
    対応付けられた記入欄に、該項目欄が示す項目に対する予め記憶された項目値を読み出して記入する記入ステップと
    をコンピュータに実行させるプログラム。

Images