JPWO2004084539A1 - 記入用文書作成装置及び作成方法、記入内容抽出装置及び抽出方法、記入用文書 - Google Patents

Abstract

特殊な用紙が不要で、人件費を抑えることができ、かつ高速に処理することのできる記入用文書作成装置および記入内容抽出装置を実現する。文書画像作成部１０２は、所定の記入箇所を有する文書の文書画像データを作成する。埋め込み情報作成部１０３は、文書上の記入箇所と記入内容とを示すフォーマット情報と、記入箇所検出情報とを文書画像データへの埋め込み情報として作成する。文書データ作成部１０４は、文書画像データと埋め込み情報とを合成して文書データを作成し、文書出力部１０５でこれを記入用文書３００として出力する。記入内容抽出装置２００では、埋め込み情報を取り出し、この埋め込み情報のフォーマット情報と記入箇所検出情報とに基づいて、記入内容を判定する。

Description

本発明は、例えばアンケート調査票や答案用紙等の書面に記入された回答を自動的に抽出しデータ化するための記入用文書作成装置及び作成方法、記入内容抽出装置及び抽出方法、記入用文書に関する。

従来、アンケート調査票や答案用紙等に記入された回答内容を抽出する方法として次のようなものがあった。
（１）マークシートを用いるもの（例えば、非特許文献１参照）。
（２）答案用紙をＯＣＲ装置を用いて回答を抽出するもの（例えば、特許文献１、２、非特許文献２参照）。
特開平８−３１５０６６号公報 特開平１０−４９５９３号公報 Ｅｄｕｃａｔｉｏｎ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ"ＯＭＩＲ−３００"［ｏｎｌｉｎｅ］、２００２年、［２００３年３月７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｄｓｏｆｔ．ｃｏ．ｊｐ／２／３／７／ｉｎｄｅｘ．ｈｔｍｌ＞ Ｍｅｄｉａ Ｄｒｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ "採点くん"［ｏｎｌｉｎｅ］、２００１年、［２００３年３月７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｍｅｄｉａｄｒｉｖｅ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔｓ／ｓｏｌｕｔｉｏｎ／ｓａｉｔｅｎ／ｉｎｄｅｘ．ｈｔｍｌ＞

従来、アンケート調査票や答案用紙の書面に記入された内容をデータ化するためには、記入内容をキーボード入力するか、または、上記の（１）や（２）の方法を利用する必要があった。
しかしながら、キーボード入力を行うためにはオペレータの操作ミスが避けられないため、通常は入力を行うオペレータを２名用意して同一の内容をそれぞれが入力し、その結果を突き合わせて入力ミスを検出する、といった、いわゆる「ベリファイ方式」が用いられている。その結果、人件費がかさむ、また、手入力のため時間がかかるという問題があった。
一方、上記従来の（１）の方法では、ドロップアウトカラーを用いて印刷した特殊な用紙（マークシート用紙）を用意する必要があり、そこに回答を記入させる必要があった。このような方式では、マークシート用紙は特殊なためコスト高となり、また、通常、このような方式では問題用紙と回答用マークシート用紙が別々に配布されるため物量が増えることでもコストを押し上げる要因となり、また、回答者にとっても回答欄を間違えやすいという問題があった。
また、（２）の方法の場合は、用紙は普通紙でよく、問題用紙に回答欄を設けることもできるので、上記（１）のような方式に比べて低コストで扱いやすいものとなっている。また、手書き文字も認識しデータ化できる利点もある。しかしながら、一般に手書き文字認識の性能は低く（ＯＣＲのみによる精確な認識は非常に困難であり）、また、認識用辞書も用意しなければならないという問題があった。また、認識対象の文字位置や処理方法（どの設問に対する回答欄か）を表すフォーマット情報をシステムに保持しておく必要があり、例えば、問題作成者とデータ化業者が異なる場合（例えば、作成を外部に委託するような場合等）、このフォーマット情報をどうやって伝達するかが問題であった。また、このような方式では、文字認識を行うため、処理速度が遅いという問題があった。

本発明は、前述の課題を解決するため、予め文書に設けた回答欄に関するフォーマット情報を作成し、また、文書に対する記入箇所を検出するための記入箇所検出情報を作成し、これらの情報を文書に埋め込むようにしたものである。即ち、本発明は、次のような構成を採用する。
〈構成１〉
本発明は、所定の記入箇所を有する文書の文書画像データを作成する文書画像作成部と、文書上の記入箇所と記入内容とを示すフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを文書画像データへの埋め込み情報として作成する埋め込み情報作成部と、文書画像データと埋め込み情報とを合成して、文書データを作成する文書データ作成部とを備えたことを特徴とする記入用文書作成装置である。
〈構成２〉
また本発明は、所定の記入箇所を有する文書の文書画像データを作成する文書画像作成部と、文書上の記入箇所と記入内容とを示すフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを文書画像データへの埋め込み情報として作成する埋め込み情報作成部と、文書画像データと埋め込み情報とを一体の文書データとして記憶するデータ記憶部と、データ記憶部に記憶された文書画像データと埋め込み情報とを合成して文書データを作成し、かつ、文書データを印刷して記入用文書を出力する印刷処理装置とを備えたことを特徴とする記入用文書作成装置である。
〈構成３〉
また本発明は、構成１または２に記載の記入用文書作成装置において、文書画像データに、ドットパターンで表される埋め込み情報を埋め込んで文書データを作成する文書データ作成部を備えたことを特徴とする記入用文書作成装置である。
〈構成４〉
また本発明は、構成１〜３のいずれかに記載の記入用文書作成装置において、文書識別情報を含めて文書データを作成する文書データ作成部とを備えたことを特徴とする記入用文書作成装置である。
〈構成５〉
また本発明は、記入用文書作成装置を用いて、所定の記入箇所を有する文書の文書画像データを作成する文書画像データ作成ステップと、記入箇所と記入内容とを示すフォーマット情報を作成するフォーマット情報作成ステップと、記入箇所に記入があったか否かを検出するための記入箇所検出情報を作成する記入箇所検出情報作成ステップと、文書画像データとフォーマット情報と記入箇所検出情報とを一体の文書データとして作成する文書データ作成ステップとを実行することを特徴とする記入用文書作成方法である。
〈構成６〉
また本発明は、構成５に記載の記入用文書作成方法において、文書データ作成ステップは、文書画像データに、ドットパターンで表される埋め込み情報を埋め込んで文書データを作成するステップであることを特徴とする記入用文書作成方法である。
〈構成７〉
また本発明は、文書中の記入箇所の位置と記入箇所への記入内容を判定するためのフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有する記入用文書から記入内容を抽出する記入内容抽出装置であって、記入用文書のフォーマット情報と記入箇所検出情報を取り出す埋め込み情報取出部と、フォーマット情報における記入位置の情報と、記入箇所検出情報とを用いて記入箇所を検出する記入箇所検出部と、検出した記入箇所とフォーマット情報の記入内容の判定情報とを用いて、記入内容を判定する回答データ変換部とを備えたことを特徴とする記入内容抽出装置である。
〈構成８〉
また本発明は、構成７に記載の記入内容抽出装置において、記入箇所検出情報はドットパターンで表され、記入箇所検出部は、ドットパターンの検出状態の変化に基づいて記入の有無を判定するよう構成されたことを特徴とする記入内容抽出装置である。
〈構成９〉
また本発明は、構成７または８に記載の記入内容抽出装置において、自由記載欄を有する記入用文書に対して、自由記載欄への記入内容を目視確認するためのイメージ出力を行う目視情報出力部を備えたことを特徴とする記入内容抽出装置である。
〈構成１０〉
また本発明は、記入内容抽出装置を用いて、文書中の記入箇所の位置と記入箇所への記入内容を判定するためのフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有する記入用文書から記入内容を抽出する記入内容抽出方法であって、記入用文書のフォーマット情報と記入箇所検出情報を取り出す埋め込み情報取出ステップと、フォーマット情報における記入位置の情報と、記入箇所検出情報とを用いて記入箇所を検出する記入箇所検出ステップと、検出した記入箇所とフォーマット情報の記入内容の判定情報とを用いて、記入内容を判定する回答データ変換ステップとを備えたことを特徴とする記入内容抽出方法である。
〈構成１１〉
また本発明は、構成１０に記載の記入内容抽出方法において、記入箇所検出情報はドットパターンで表され、記入箇所検出ステップは、ドットパターンの検出状態の変化に基づいて記入の有無を判定するステップであることを特徴とする記入内容抽出方法である。
〈構成１２〉
また本発明は、構成１０または１１に記載の記入内容抽出方法において、自由記載欄を有する記入用文書に対して、自由記載欄への記入内容を目視確認するためのイメージ出力を行う目視情報出力ステップを備えたことを特徴とする記入内容抽出方法である。
〈構成１３〉
また本発明は、文書中の記入箇所の位置と記入箇所への記入内容を判定するためのフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有することを特徴とする記入用文書である。

第１図は、本発明の記入内容抽出装置と記入用文書作成装置の具体例１を示す構成図である。
第２図は、具体例１の記入用文書作成処理を示すフローチャートである。
第３図は、調査票画像の説明図である。
第４図は、回答記入領域の説明図である。
第５図は、フォーマット情報の説明図である。
第６図は、信号ユニットの一例を示す図である。
第７図は、画素値の変化を示す説明図である。
第８図は、背景画像の説明図である。
第９図は、ユニットパターンとそのユニットパターンが表すシンボルの一例を示す説明図である。
第１０図は、透かし画像の形成処理を示すフローチャートである。
第１１図は、シンボルユニット配置可否行列作成の説明図である。
第１２図は、ユニットパターン配置可否行列の作成過程の例を示す説明図である。
第１３図は、ユニットパターン行列の一例を示す説明図である。
第１４図は、ユニット行列の一例を示す説明図である。
第１５図は、透かし入り画像作成の一例を示す説明図である。
第１６図は、埋め込み信号数記録処理のフローチャートである。
第１７図は、ステップＳ２１の説明図である。
第１８図は、ステップＳ２２およびステップＳ２３の説明図である。
第１９図は、具体例１における記入内容抽出処理のフローチャートである。
第２０図は、埋め込み情報取り出し処理の動作フローチャートである。
第２１図は、信号領域の検出方法の説明図である。
第２２図は、属性領域に埋め込まれたユニット行列の大きさを復元する方法の例を示す説明図である。
第２３図は、ステップＳ４２とステップＳ４３の説明図である。
第２４図は、ユニットパターン行列から符号語を取り出す方法の例を示す説明図である。
第２５図は、埋め込み信号数検出処理の説明図である。
第２６図は、フィルタ出力値算出処理の説明図である。
第２７図は、最適閾値の判定処理の説明図である。
第２８図は、検出信号計数処理の説明図である。
第２９図は、画面表示の一例を示す説明図である。
第３０図は、具体例２の構成図である。
第３１図は、具体例２における記入内容抽出処理の説明図である。
第３２図は、具体例３の構成図である。
第３３図は、具体例３における記入用文書の作成処理を示すフローチャートである。

以下、本発明の実施の形態を具体例を用いて詳細に説明する。
《具体例１》
〈構成〉
第１図は、本発明の記入用文書作成装置と記入内容抽出装置の具体例１を示す構成図である。
図において、１００は記入用文書作成装置、２００は記入内容抽出装置、３００は、記入用文書を示している。記入用文書作成装置１００は、文書作成部１０１、文書画像作成部１０２、埋め込み情報作成部１０３、文書データ作成部１０４、文書出力部１０５からなる。
文書作成部１０１は、アンケート調査票といった文書（書面）を作成する機能部であり、例えば、一般的なワードプロセッサソフトウェアを用いて実現されるものである。文書画像作成部１０２は、文書作成部１０１で作成した文書のデータを画像データに変換する機能部である。これは、例えば文書の印刷イメージを画像として記録する画像化ソフトウェアを用いることにより実現することができる。埋め込み情報作成部１０３は、文書画像作成部１０２で画像化された文書データを用いて次の三つの情報からなる埋め込み情報を作成する機能部である。
１．記入箇所検出を行うための情報である「記入箇所検出情報」
２．回答欄の位置や設問番号との対応を示す「フォーマット情報」
３．文書の識別番号を示す「識別情報」
文書データ作成部１０４は、上記埋め込み情報を、用紙上のドットパターン（地紋パターン）として記録し、文書の画像データとこれらの埋め込み情報を一体の文書データとして作成する機能部である。
文書出力部１０５は、例えばプリンタ等からなり、文書データ作成部１０４で作成された文書データを印刷して記入用文書３００として出力する機能部である。
記入内容抽出装置２００は、文書読み込み部２０１、埋め込み情報取り出し部２０２、記入箇所検出部２０３、回答データ変換部２０４、目視情報出力部２０５を備えている。文書読み込み部２０１は、スキャナを備え、回答記入済みの記入用文書３００の画像を読み込み、このスキャン画像データを出力する機能部である。埋め込み情報取り出し部２０２は、文書読み込み部２０１から出力されたスキャン画像データから、埋め込み情報を取り出す機能部である。即ち、記入用文書作成装置１００の埋め込み情報作成部１０３で作成された上記三つの情報（記入箇所検出情報、フォーマット情報、識別情報）を取り出す機能を有している。記入箇所検出部２０３は、埋め込み情報取り出し部２０２によって取り出された埋め込み情報の記入箇所検出情報とフォーマット情報とに基づいて、文書読み込み部２０１から出力されたスキャン画像データから記入箇所を検出する機能部である。
回答データ変換部２０４は、記入箇所検出部２０３で検出された検出箇所の情報に対して、フォーマット情報を用いて回答内容に変換する機能部である。目視情報出力部２０５は、回答データ変換部２０４で得られた回答内容とスキャン画像とをディスプレイ等に出力し、オペレータが回答内容の変換結果が正しいか否かを目視確認するための目視情報を表示させるための機能部である。
上記記入用文書作成装置１００における文書作成部１０１〜文書データ作成部１０４、記入内容抽出装置２００における文書読み込み部２０１〜目視情報出力部２０５は、それぞれ各機能に対応したソフトウェアと、これらソフトウェアを実行するための、ＣＰＵやメモリ等のハードウェアとによって実現されているものである。
〈動作〉
次に、具体例１の動作を、記入用文書作成装置１００と記入内容抽出装置２００の動作に分けて説明する。尚、具体例１における記入用文書３００はアンケート調査票であるとして以下の動作を説明する。
［記入用文書作成装置１００の動作］
第２図は、具体例１の記入用文書作成装置１００の動作を示すフローチャートである。
先ず、文書作成部１０１により調査票の書面を作成する（ステップＳ１）。即ち、設問と回答欄とを含む書面を作成する。次に、文書画像作成部１０２は、文書作成部１０１で作成された書面データを画像データに変換し、調査票画像を作成する（ステップＳ２）。
第３図は、作成した調査票画像の説明図である。
このような調査票では、回答欄はチェック記入欄（図中、例えばＡで示す）と自由記載欄（図中、Ｂで示す）を含み、チェック記入欄への回答記入は、その記入欄へのチェック記入、自由記載欄への記入は文字入力等で行うものである。
次に、埋め込み情報作成部１０３にて、フォーマット情報作成（ステップＳ３）、記入箇所検出情報作成（ステップＳ４）、識別情報作成（ステップＳ５）を行ってこれらの情報を含む埋め込み情報を作成する（ステップＳ６）。そして、文書データ作成部１０４にて、これらの埋め込み情報と文書画像作成部１０２で作成された文書画像データとを合成した文書データを作成する（ステップＳ７）。
第４図は、回答記入領域の説明図である。
この第４図は、第３図の調査票画像における回答記入領域を示したものである。図において、チェック記入欄を順にＣ_１１、Ｃ_１２などと呼び、自由記載欄をＦ_２、Ｆ_３などと呼ぶ。各自由記載欄は同図に示す通りブロックＢ_１からＢ_２８まで分割されているものとする。また、各欄の座標位置をそれぞれ同図に示す通りとする。但し、座標系は左上端を原点（０，０）とする。
先ず、ステップＳ３のフォーマット情報の作成について説明する。フォーマット情報とは各回答欄の位置とその回答欄がどの設問の何番目の回答欄であるかを示すものであり、第４図に示す回答記入領域に関するフォーマット情報は次の通りとなる。
第５図は、フォーマット情報の説明図である。
図示のように、フォーマット情報は、回答欄の左上と右下の座標（Ａ_ｘ，Ａ_ｙ）（Ｂ_ｘ，Ｂ_ｙ）と設問番号および回答判定の情報からなる。
また、記入箇所検出情報の作成については、チェック記入欄や自由記載欄の画像特徴情報を作成するものであり、これについては後述する。尚、記入箇所検出のための情報は、チェック記入欄については各欄毎に個別に作成し、自由記載欄については各ブロック毎に個別に作成する。
次に、ステップＳ５における識別情報の作成処理について説明する。
識別情報とは、調査票の種別番号、部単位のＩＤやページ番号などであり、回答データを分類するためのキーとして用いるものである。これは手動で付与してもよく、また、通し番号としてシステムが自動的に付与してもよい。
また、ステップＳ６における埋め込み情報の作成については、本具体例では文書データ作成部１０４によるステップＳ７の文書データ作成処理と一体の処理として行う。以下、埋め込み情報の作成処理と文書データ作成処理について詳細に説明する。
先ず、埋め込み情報をドットパターンからなる透かし画像で表すための原理について説明する。
透かし画像を構成する透かし信号は、ドット（黒画素）の配列によって任意の波長と方向を持つ波を表現した信号ユニットで表される。
第６図は、信号ユニットの一例を示す図である。
以下、幅と高さがＳｗ，Ｓｈの矩形を一つの信号の単位として信号ユニットと称する。幅Ｓｗと高さＳｈは異なっていてもよいが、本具体例では説明を容易にするためＳｗ＝Ｓｈとする。長さの単位は画素数であり、第６図の例ではＳｗ＝Ｓｈ＝１２である。これらの信号が紙面に印刷されたときの大きさは、画像情報の解像度に依存しており、例えば、画像情報が６００ｄｐｉの画像であるとした場合、第６図の信号ユニットの幅と高さは、印刷文書上で、１２／６００＝０．０２（インチ）となる。
第６図（１）は、ドット間の距離が水平軸に対してａｒｃｔａｎ（３）の方向に密であり、波の伝搬方向はａｒｃｔａｎ（−１／３）である。以下、この信号ユニットをユニットＡと称する。第６図（２）は、ドット間の距離が水平軸に対してａｒｃｔａｎ（−３）の方向に密であり、波の伝搬方向はａｒｃｔａｎ（１／３）である。以下、この信号ユニットをユニットＢと称する。
第７図は、画素値の変化をａｒｃｔａｎ（１／３）方向から見た断面図である。
第７図において、ドットが配列されている部分が波の最小値の腹（振幅が最大となる点）となり、ドットが配列されていない部分は波の最大値の腹となっている。また、ドットが密に配列されている領域はそれぞれ１ユニットの中に二つ存在するため、この例では１ユニット当たりの周波数は２となる。波の伝搬方向はドットが密に配列されている方向に垂直になるため、ユニットＡの波は水平方向に対してａｒｃｔａｎ（−１／３）、ユニットＢの波はａｒｃｔａｎ（１／３）となる。尚、ａｒｃｔａｎ（ａ）の方向とａｒｃｔａｎ（ｂ）の方向が垂直のとき、ａ×ｂ＝−１である。尚、信号ユニットにはこれ以外のドット配列による信号ユニットも考えられる。
信号ユニットに符号語のシンボルを割り当て、信号ユニットを透かし画像に埋め込むことにより、埋め込み情報を透かし画像に埋め込むことができる。以下、符号語のシンボルを割り当てた信号ユニットを「シンボルユニット」と称する。
埋め込み情報を符号語に変換する際の次元数により、必要なシンボルユニットの数が定まる。埋め込み情報を２元符号化（Ｎ＝２）する場合には、シンボルユニットを２種類（例えば、ユニットＡ、ユニットＢ）用意し、例えば、ユニットＡにシンボル０を割り当て、ユニットＢにシンボル１を割り当てることができる。また、埋め込み情報を更に多くの次元数の符号化を行う場合には、その次元数に対応した種類のシンボルユニットを用意する。
また、例えば、ユニットＣに符号語のシンボルとは無関係のシンボル（例えば、機密語をＮ元符号化する場合、シンボルＮ）を割り当て、これを背景ユニットと定義し、これを隙間なく並べて透かし画像の背景とすることができる。以下、符号語のシンボルとは無関係のシンボルを割り当てた信号ユニットを「背景ユニット」と称する。背景ユニットを隙間なく並べて、そこにシンボルユニットを埋め込む場合には、埋め込もうとする位置の背景ユニットと、埋め込むシンボルユニットを入れ替える。
第８図は、背景画像の説明図である。
第８図（１）はユニットＣを背景ユニットと定義し、これを隙間なく並べて透かし画像の背景とした場合を示している。第８図（２）は、第８図（１）の背景画像の中にシンボルユニットとしてのユニットＡを埋め込んだ一例を示し、第８図（３）は、第８図（１）の背景画像の中にシンボルユニットとしてのユニットＢを埋め込んだ一例を示している。
これら第８図（１）〜第８図（３）に示すように、各信号ユニット中のドットの数を全て等しくしているため、これら信号ユニットを隙間なく並べることにより、透かし画像の見かけの濃淡が均一となる。従って、印刷された紙面上では、単一の濃度を持つグレー画像が背景として埋め込まれているように見える。また、信号ユニットに対するシンボルの割り当ての組み合わせは無数に考えられる。このようにして、回答者あるいは第三者（不正者）に埋め込み情報を簡単に解読できないようにすることができる。
埋め込み情報を符号化した符号語の各シンボルについて、単に対応するシンボルユニットを配置していくことによっても、透かし画像に埋め込み情報を埋め込むことは可能である。本具体例では、更に、第三者による不正な解読を防止効果を高めるため、符号語の各シンボルに対して、信号ユニットの配置パターン（以下、ユニットパターンと称する）を定義し、ユニットパターンを配置することによって透かし画像に埋め込み情報を埋め込む方法について説明する。
第９図は、ユニットパターンとそのユニットパターンが表すシンボルの一例を示す説明図である。
ここで、一つのユニットパターンを幅（列）×高さ（行）＝４×２の信号ユニットの行列とする。また、背景ユニットをユニットＣ（シンボル２）とし、これに埋め込まれるシンボルユニットをユニットＡ（シンボル０）およびシンボルＢ（１）とする。
第９図（１）では、ユニットＡ（シンボル０）を所定の閾値（例えば６）以上配置して、ユニットパターン全体としてシンボル０を表す。第９図（２）では、ユニットＢ（シンボル１）を所定の閾値（例えば６）以上配置して、ユニットパターン全体としてシンボル１を表す。第９図（３）では、ユニットＡとユニットＢをほぼ同数（同数あるいはいずれかのシンボルユニットが一つ多い）配置して、ユニットパターン全体としてシンボル２を表す。
次に、実際の透かし画像の作成処理について説明する。
尚、調査票で表すデータは白黒２値であり、例えば、回答欄の枠や文字は黒（１）、背景は白（０）であるとする。
第１０図は、透かし画像の形成処理を示すフローチャートである。
先ず、ステップＳ１１において、埋め込み情報をＮ元符号に変換する。Ｎは任意であるが、以下では説明を簡単にするため、Ｎ＝２（埋め込み情報を２元符号に変換する）とする。従って、このステップＳ１１で生成される符号語は、０と１のビット列で表現されているものとする。また、埋め込み情報はそのまま符号化しても良いし、暗号化したものを符号化しても良い。また、誤り訂正符号を用いて符号化しても良い。
次に、符号語の各シンボルに対して、第９図に示したようにユニットパターンを割り付ける（ステップＳ１２）。
次に、シンボルユニット配置可否行列を定義する（ステップＳ１３）。シンボルユニット配置可否行列は文書画像を一つのブロックの大きさがＳｗ（幅）×Ｓｈ（高さ）画素のブロック画像に分割した画像を行列で表したものであり、文書画像の対応するブロックにシンボルユニットを埋め込めるかどうかを表すものである。これは文字領域（実際の文字部分や枠部分も含むものとする）にシンボルユニットを挿入した場合には検出不可能となるため、予めシンボルユニットを埋め込むことが可能な場所を指定するための行列である。行列の要素の値が１であれば、文書画像の対応するブロックにはシンボルユニットを埋め込むことが可能であり、値が０であれば背景ユニットを埋め込むことになる。ここで、Ｓｗ，Ｓｈはそれぞれ信号ユニットの幅と高さであり、入力文書画像の大きさをＷ×Ｈとすると、ユニット行列Ｕｍの要素数は、幅（列）×高さ（行）＝Ｍｗ×Ｍｈ＝Ｗ／Ｓｗ×Ｈ／Ｓｈとなる。
シンボルユニット配置可否行列の各要素は文書画像の対応するブロック中に文字領域が存在するかどうかによって決定する。例えば、シンボルユニット配置可否行列の任意の要素（Ｘ，Ｙ）（Ｙ行，Ｘ列）は入力文書画像のｘ＝Ｘ×Ｓｗ〜（Ｘ＋１）×Ｓｗ，ｙ＝Ｙ×Ｓｈ〜（Ｙ＋１）×Ｓｈの中に含まれている文字領域（輝度値が０の画素）がＴｎ画素以下である場合には１、文字領域がＴｎ画素より大きい場合には０とする。Ｔｎは閾値であり、Ｓｗ×Ｓｈ×０．５以下の小さな数とする。
第１１図は、シンボルユニット配置可否行列作成の説明図である。
第１１図（１）は、シンボルユニット配置可否行列の各要素に対応するブロックを入力文書画像上に重ねて示したものである。第１１図（２）では、各ブロックに文字領域が含まれている場合に、対応するブロックの値を０としていることを示している。第１１図（３）では、文字領域判定結果からシンボルユニット配置可否行列の各要素の値を決定している。
次に、ユニットパターン配置可否行列を作成する（ステップＳ１４）。これは、文書画像中のこの行列に対応する領域にユニットパターンを挿入可能な場合には要素の値が１となり、挿入不可能な場合は０となる。ユニットパターンを幅（列）×高さ（行）＝４×２の信号ユニットの行列と定義すると、ユニットパターン挿入可否の判定は以下のように行う。先ず、第１１図（３）に示したシンボルユニット配置可否行列を４×２の領域に区分する。一つの領域を構成する８個の信号ユニットのうち、所定の閾値Ｔｕ個（Ｔｕは６程度）以上がシンボルユニット埋め込み可能（シンボルユニット配置可否行列の値が１）であればユニットパターン埋め込み可能とし、それ以外の場合はユニットパターン埋め込み不可能とする。
第１２図は、ユニットパターン配置可否行列の作成過程の例を示す説明図である。
第１２図（１）は一つのユニットパターンが８個の信号ユニットから構成されていることを示している。第１２図（２）は、各ユニットパターンに対し、対応するシンボルユニット配置可否行列の要素が１である数がＴｕ（＝６）以上のユニットパターンには１が、それ以外のユニットパターンには０が与えられていることを示している。第１２図（３）はユニットパターン配置可否行列の各要素の値をセットしていることを示している。
次に、ユニットパターン配置可否行列を参照してユニットパターン行列を作成する（ステップＳ１５）。符号語のシンボルは、ユニットパターン行列中に繰り返しセットされるが、ユニットパターンが埋め込み不可能な要素にはセットされない。
第１３図は、ユニットパターン行列の一例を示す説明図である。
例えば、この第１３図に示すように、ユニットパターン行列およびユニットパターン配置可否行列の大きさをＰｗ×Ｐｈ＝４×３であるとし、符号語のシンボルが（００１１）の４ビットであったとする。この図ではユニットパターン配置可否行列の１行２列目の要素の値が０であるため、符号語のシンボルの２ビット目（シンボル０）はセットされずにシンボル２がセットされ、１行３列目に符号語のシンボルの２ビット目がセットされる。
次に、ユニットパターン行列とシンボルユニット配置可否行列を基にユニット行列Ｕｍを作成する（ステップＳ１６）。ユニット行列Ｕｍはシンボルユニット配置可否行列と同じ大きさであり、信号ユニットの配置パターンを記述する行列である。信号ユニットの配置のルールを以下のように定める。
第１４図は、ユニット行列の一例を示す説明図である。
・ルール１：シンボルユニット配置可否行列において要素が０の位置には背景ユニット（シンボル２）をセットする（第１４図（１））。
・ルール２：ユニットパターン行列の要素が符号語のシンボルの場合には、ユニット行列Ｕｍの対応する領域にそのシンボルに対応するシンボルユニットをセットする（第１４図（２））。
・ルール３：ユニットパターン行列が符号語のシンボル以外（ユニットパターン配置可否行列の値が０）の場合には、０を表すシンボルユニットと１を表すシンボルユニットを同じ数だけセットする（第１４図（３））。
・ルール４：信号ユニットがセットされていない領域に背景ユニットをセットする（第１４図（４））。
要約すれば、文字領域には背景シンボルをセットし、任意のユニットパターンのうち背景領域がＴｕ（＝６）以上あれば符号語のシンボルを割り当て、それ以外の場合は背景領域に２種類のシンボルユニットを同じ数だけ割り当てる。背景領域が奇数の場合は残りの一つには背景シンボルをセットすることになる。これにより、符号語のシンボルが割り当てられているユニットパターンには同じユニットパターンが６個以上セットされているため、検出時には埋め込んだシンボルユニットに対するフィルタの出力値の合計値が、もう片方のフィルタの出力の合計値よりも大幅に大きくなり、符号語のシンボルが割り当てられていないユニットパターンは二つのフィルタの出力値の合計の差が小さくなる。従って、符号語を割り当てたユニットパターンであるか割り当てていないユニットパターンであるかの判定が容易になる効果がある。
次に透かし入り画像（文書画像データと埋め込み情報を重ね合わせた画像）を作成する（ステップＳ１７）。
第１５図は、透かし入り画像作成の一例を示す説明図である。
このステップＳ１７では、ステップＳ１６で作成したユニット行列Ｕｍ（第１５図（１））に従って信号ユニットを背景画像に配置する（第１５図（２））。信号ユニットを並べることにより作成した背景画像に文書画像を重ね合わせ、透かし入り文書画像を作成する（第１５図（３））。
次に、埋め込み信号数を記録する。
第１６図は、埋め込み信号数記録処理のフローチャートである。
先ず、ユニット行列のブロック化を行う（ステップＳ２１）。
第１７図は、ステップＳ２１の説明図である。
ステップＳ２１では、先ず、ユニット行列Ｕｍ（第１７図（２））の左端のＩｗ個分の要素を埋め込みシンボルユニット数の記録用のユニット（記録用ユニット帯と呼ぶ）として使用する（第１７図（３））。次に、ユニット行列Ｕｍの記録用ユニット帯を除いた部分を（横×縦＝）Ｂｗ×Ｂｈ個のブロックに分割する（これをユニット数記録単位行列Ｎｕ（ｘ，ｙ）ｘ＝１〜Ｂｗ，ｙ＝１〜Ｂｈと呼ぶ）。各ブロックの大きさはユニット行列Ｕｍの要素数を大きさの単位として（幅×高さ＝）ｂｗ×ｂｈとする（第１７図（４））。
ユニット行列Ｕｍの左端に記録用ユニット帯を配置する場合、ユニット数記録単位行列に関して設定可能なパラメータは、横方向のブロック数、ブロックの高さ方向の大きさである。残りの縦方向のブロック数とブロックの幅方向の大きさは、設定したパラメータおよび記録用ユニット帯の幅、ユニット行列Ｕｍのパラメータから自動的に決定される。
以下の説明では、ユニット行列Ｕｍの大きさ（要素数）をＭｗ×Ｍｈとしたとき、横方向のブロック数をＢｗ＝４、ブロック高さ方向の大きさをｂｈ＝１６、記録用ユニット帯の幅をＩｗ＝４とする。従って、縦方向のブロック数はＢｈ＝Ｍｈ／ｂｈ＝Ｍｈ／１６、ブロックの幅方向の大きさはｂｗ＝（Ｍｈ−Ｉｗ）／Ｂｗ＝（Ｍｈ−４）／４となる。
次に、各ブロックの信号数を計測し（ステップＳ２２）、更に、信号数をコード化し、これを記録する（ステップＳ２３）。
第１８図は、ステップＳ２２およびステップＳ２３の説明図である。
ステップＳ２２では、ユニット行列Ｕｍにおいてユニット数記録単位行列の各要素に対応する領域に含まれるシンボルユニットの数を計測する。第１８図の例ではユニット数記録単位行列Ｎｕ（Ｘ，Ｙ）におけるシンボルユニット数の計測方法を示しており、以下のステップにより実行される。
・ステップ１：Ｎｕ（Ｘ，Ｙ）に対応するユニット行列Ｕｍでの領域を取り出す（第１８図▲１▼、▲２▼）。
・ステップ２：ステップ１で取り出された領域内に埋め込まれているシンボルユニットの数を計測する（第１８図▲３▼、▲４▼）。尚、ここで、シンボルユニットの埋め込み規則は前述したように、入力文書画像の文字領域にはシンボルユニットは埋め込まれていないものとする。第１８図の例では、この領域に埋め込まれたシンボルユニット数は７１であったものとする。
ステップＳ２３では、ステップＳ２２で計測されたシンボルユニット数を記録用ユニット帯に記録する。以下にそのステップを示す。
・ステップ３：Ｎ（Ｘ，Ｙ）＝７１を２進数で表現する（第１８図▲６▼）。
・ステップ４：ステップ３の結果を記録用ユニット帯の対応する領域にセットする（第１８図▲７▼、▲８▼）。
ここで示した例は、ユニット数記録単位行列の１行に対応するユニット行列Ｕｍの行数ｂｈを１６、記録用ユニット帯の幅Ｉｗを４としているため、ユニット数記録単位行列の各行に対して記録用のユニット数はＩｗ×ｂｈ＝４×１６＝６４となる。また、ユニット数記録単位行列の列数Ｂｗは４であるため、ユニット数記録単位行列の一つの要素に割り当てられる記録用のユニット数（単位記録ユニット数と呼ぶ）はＩｗ×ｂｈ／Ｂｗ＝６４／４＝８となる。従って、ユニット記録単位行列の各行に対応する記録用ユニット帯の１〜２行目にはユニット記録単位行列の１列目の情報を、３〜４行目には２列目、５〜６行目には３列目、７〜８行目には４列目の情報をそれぞれ単位記録ユニット数（８ビット）で記録することになる。
この具体例ではユニット数を記録しているが、ユニット記録単位行列の「各要素に対応するユニット行列Ｕｍの領域中に埋め込むことができる信号ユニット数の最大値」に対する「シンボルユニット数」の割合を記録しても良い。割合を記録する方式は、「ユニット記録単位行列の各要素に対応するユニット行列Ｕｍの範囲が大きく、その中に含まれるユニット数も多くなり、この数を表現するために必要なビット数が単位記録ユニット数を超えるような場合」や「ユニット記録単位行列の列数を増やしたため、ユニット記録単位行列の一つの要素の情報を表現するために割り当てられる単位記録ユニット数が少なくなった場合」に有効となる。また、記入箇所の特定はユニット記録単位行列の要素単位に行うため、同じ入力文書画像に対してユニット記録単位行列の行数や列数を増やすことにより、印刷文書に対する記入箇所の特定の詳細に行うことができる利点があるが、それだけ記録用ユニット帯を大きく取るか、または単位記録ユニット数を小さくする必要がある。
尚、記録用ユニット帯は文書画像の文字領域に重ならないよう、文書画像の余白部分に設定する。また、記録用ユニット帯はユニット行列Ｕｍの右端、または上端、下端に設定しても、以降の処理を「記録用ユニット帯が文書画像の上下にある」という前提で行えば同様の効果が得られる。
更に、ユニット行列Ｕｍの左右に記録用ユニット帯を設定し、それぞれ同じ情報をセットしても良い。この場合、用紙が汚れたりして片方の記録用ユニット帯の情報が読み取れなくなった場合でも、もう一方の記録用ユニット帯から情報を読み取ることにより、安定して記入箇所検出処理を行うことができる。これは上下方向についても同様である。
第２図に戻り、ステップＳ８において、文書出力部１０５は文書データ作成部１０４から出力された文書データを印刷し、記入用文書３００として出力する。尚、記入用文書３００としては、第３図で示した調査票画像に、例えば第８図で示したようなパターンが地紋パターンとして印刷されたものである。
［記入内容抽出装置２００の動作］
第１９図は、具体例１における記入内容抽出装置２００の動作フローチャートである。
先ず、文書読み込み部２０１は、回答記入のなされた調査票（記入用文書３００）を読み込む（ステップＳ３１）。この結果、調査票のスキャン画像が得られる。次に、埋め込み情報取り出し部２０２にて埋め込み情報を取り出し（ステップＳ３２）、更に、記入箇所検出情報、フォーマット情報、識別情報のそれぞれの情報を分離する（ステップＳ３３）。
次に、記入箇所検出部２０３において、記入箇所検出情報を用いて調査票に対する記入箇所の検出を行う（ステップＳ３４）。記入箇所検出情報はチェック記入欄毎、または自由記載欄のブロック毎に記録されているため、この情報を用いた記入箇所検出の結果、チェックされた欄や自由記入されたブロックの識別ができる。即ち、記入箇所検出は、ドットパターンの検出状態の変化に基づいて記入の有無を検出することにより行う。
以下、これらの埋め込み情報の取り出し（ステップＳ３２）〜記入箇所検出（ステップＳ３４）の動作を詳細に説明する。
第２０図は、埋め込み情報の取り出し処理を示す動作フローチャートである。
先ず、スキャン画像から信号ユニットが埋め込まれている領域（以下、信号領域と称する）の輪郭線を検出し、画像の回転などの補正を行う。
第２１図は、信号領域の検出方法の説明図である。
第２１図（１）は、例えば上記ステップＳ３１で読み込まれたスキャン画像であるとする。ここでは、信号領域の上端を検出する例を示している。入力された画像をＩｍｇ（ｘ，ｙ），ｘ＝０〜Ｗｉ−１，ｙ＝０〜Ｈｉ−１とする。また、記入用文書作成装置１００によって文書中に埋め込んだ信号ユニットの大きさが幅×高さ＝Ｓｗ×Ｓｈ（画素）、文書出力部１０５の印刷解像度をＤｏｕｔ（ｄｐｉ）、文書読み込み部２０１におけるスキャナの読み取り解像度をＤｉｎ（ｄｐｉ）として、
ｔＳｗ＝Ｓｗ×Ｄｉｎ／Ｄｏｕｔ
ｔＳｈ＝Ｓｈ×Ｄｉｎ／Ｄｏｕｔ
とする。即ち、ｔＳｗとｔＳｈはＩｍｇにおける理論上の信号ユニットの大きさであり、フィルタＡやフィルタＢといった信号検出フィルタはこの値を基に設計される。
この画像Ｉｍｇから信号領域の上端検出のためのサンプル領域Ｓ（ｘ），ｘ＝１〜Ｓｎを設定する。ＳｎはＷｉ／Ｎｐ（Ｎｐは１０〜２０程度の整数）であるものとする。また、Ｓ（ｘ）の幅はＷｓ＝ｔＳｗ×Ｎｔ（Ｎｔは２〜５程度の整数）、高さはＨｓ＝Ｈｉ／Ｎｈ（Ｎｈは８程度）とし、Ｓ（ｘ）のＩｍｇにおける水平方向の位置はｘ×Ｎｐとする。
任意のＳ（ｎ）における信号領域の上端ＳＹ０（ｎ）の検出方法を次に説明する。
・ステップ１：ＩｍｇからＳ（ｎ）に対応する領域を切り取る（第２１図▲１▼）。
・ステップ２：Ｓ（ｎ）に対してフィルタＡとフィルタＢを施し、Ｓ（ｎ）内の水平方向における最大値をＦｓ（ｙ）に記録する（第２１図▲２▼）。
・ステップ３：ある閾値Ｔｙを設定し、Ｆｓ（１）〜Ｆｓ（Ｔｙ−１）の平均値をＶ０（Ｔｙ）、Ｆｓ（Ｔｙ）−Ｆｓ（Ｔｙ）〜Ｆｓ（Ｈｓ）の平均値をＶ１（Ｔｙ）とする。Ｖ１（Ｔｙ）−Ｖ０（Ｔｙ）が最大となるＴｙをＳ（ｎ）における信号領域の上端の位置としてＳＹ０（ｎ）にセットする（第２１図▲３▼）。
第２１図（４）は、Ｆｓ（ｙ）のｙに対する値の変化を示した図である。図示のように、Ｉｍｇの信号ユニットのない領域は信号検出フィルタの出力値の平均値は小さく、一方、記入用文書作成装置１００によって調査票の背景部分にはシンボルユニット（ユニットＡまたはユニットＢ）を密に配置しているため、信号検出フィルタの出力値が大きくなる（文書の余白部分は背景部分であり、ここにも密に埋め込んである）。従って、信号領域とそれ以外の領域の境界付近を境に信号検出フィルタの出力値が大きく変動し、これを領域検出に利用している。
上記のステップ１〜ステップ３をＳ（ｘ）、ｘ＝１〜Ｓｎについて行い、ＳＹ０（ｘ）、ｘ＝１〜Ｓｎを得る。信号領域の上端はこれによって得られたサンプル点Ｓ０（ｘ×Ｎｐ，ＳＹ０（ｘ））、ｘ＝１〜Ｓｎを最小二乗法などを用いて直線近似して得る。他の輪郭線も上記と同様の方法を用いて検出し、例えば、信号領域の上端が水平になるように信号領域を回転移動した画像を以下では入力画像と呼ぶ。
第２２図は、属性領域に埋め込まれたユニット行列の大きさを復元する方法の例を示す説明図である。
ここでは、入力画像の信号領域は（Ｉｘ０，Ｉｙ０）〜（Ｉｘ１，Ｉｙ１）とし、属性記録領域の情報を復元する例を示す。
・ステップ１：入力画像の（Ｉｘ０，Ｉｙ０）付近の領域を切り取る（第２２図▲１▼）。
・ステップ２：切り取られた領域に対して属性領域を設定する（第２２図▲２▼）。属性領域は記入用文書作成装置１００で設定したものと同じものであるとし、例えばＭｗを１６ビットで表したときの最上位ビットは（Ｉｘ０＋ｔＳｗ，Ｉｙ０）に、最下位ビットは（Ｉｘ０＋ｔＳｗ×１７，Ｉｙ０）に埋め込まれているものとして検出する。
・ステップ３：ステップ２で設定したＭｗの埋め込み領域に対し、フィルタＡとフィルタＢを施し、各ビット位置でフィルタＡとフィルタＢの出力値の大きい方に対応するシンボルユニットが、そのビット位置に埋め込まれているものと判定する（第２２図▲３▼）。
・ステップ４：記入用文書作成装置１００でセットしたときと逆の順序でＭｗの値を復元する（第２２図▲４▼、▲５▼）。
入力画像における信号ユニットの大きさの理論値ｔＳｗ，ｔＳｈは誤差が含まれているものの、属性記録領域における信号検出位置は、第２１図で検出した境界線をそれぞれ基準としているため、例えばＳｗ＝Ｓｈ＝１２、Ｄｏｕｔ＝６００、Ｄｉｎ＝４００の場合では、ｔＳｗ＝ｔＳｈ＝１２×４００／６００＝８であるため、属性記録領域は８×１７＝１３６画素程度の大きさしかなく、仮に誤差が１％（実際はこれより少ない）程度であっても、属性領域の基準点から最も離れた位置でも１画素程度の誤差となり、ほぼ正確に信号検出位置を設定することができる。
入力画像における信号ユニットの真の幅Ｓｉｗは、属性記録領域から取り出されたユニット行列の幅Ｍｗと第２１図から得られた信号領域の幅Ｉｘ１−Ｉｘ０を基に、
Ｓｉｗ＝Ｍｗ／（Ｉｘ１−Ｉｘ０）
によって算出できる。同様に信号ユニットの真の幅Ｓｉｈは、
Ｓｉｈ＝Ｍｈ／（Ｉｙ１−Ｉｙ０）
によって算出できる。
第２３図は、第２０図におけるステップＳ４２とステップＳ４３の説明図である。
ステップＳ４２では、ユニットパターン毎にフィルタ出力値の合計を計算する。第２３図において、ユニットパターンＵ（ｘ，ｙ）を構成する信号ユニット毎にフィルタＡとのコンボリューション（たたみこみ積分）を計算し、それぞれの信号ユニットに対するコンボリューションの出力値の総和をユニットパターンに対するフィルタＡの出力値Ｆｕ（Ａ，ｘ，ｙ）と定義する。但し、信号ユニット毎のコンボリューションは、フィルタＡの位置を信号ユニット毎に水平・垂直方向にずらしながら計算した結果の最大値とする。
フィルタＢについても同様にしてユニットパターンＵ（ｘ，ｙ）に対する出力値Ｆｕ（Ｂ，ｘ，ｙ）を計算する。
ステップＳ４３では、Ｆｕ（Ａ，ｘ，ｙ）とＦｕ（Ｂ，ｘ，ｙ）を比較し、これらの差の絶対値｜Ｆｕ（Ａ，ｘ，ｙ）−Ｆｕ（Ｂ，ｘ，ｙ）｜が予め定められた閾値Ｔｐより小さければ符号語のシンボルが割り当てられていないものとする。それ以外の場合は、Ｆｕ（Ａ，ｘ，ｙ）とＦｕ（Ｂ，ｘ，ｙ）の大きい方のシンボルが割り当てられているものと判定する。即ち、Ｆｕ（Ａ，ｘ，ｙ）＞Ｆｕ（Ｂ，ｘ，ｙ）であれば、Ｕ（ｘ，ｙ）にはシンボル０が埋め込まれ、Ｆｕ（Ａ，ｘ，ｙ）＜Ｆｕ（Ｂ，ｘ，ｙ）であればＵ（ｘ，ｙ）にはシンボル１が埋め込まれているものとする。
入力画像から得られる全てのユニットパターンに対して第２３図の処理を行い、ユニットパターン行列Ｕを作成する。
ステップＳ４４では、判定されたシンボルを基に埋め込まれた情報を復号する。
第２４図は、ユニットパターン行列から符号語を取り出す方法の例を示す説明図である。
第２４図ではシンボルが割り当てられていない要素にはシンボル２がセットされているものとし、シンボル２がセットされている要素を無視してシンボルを取り出して符号語を復元する。
次に、記入箇所検出の動作について説明する。
以下の説明では、
・記入用文書作成装置１００で文書中に埋め込んだ信号ユニットの大きさがＳｗ×Ｓｈ（画素）である。
・埋め込んだ信号ユニット数は、横×高さ＝ｎｗ×ｎｈである。
・埋め込んだシンボルユニットはユニットＡとユニットＢの二種類である。
・入力画像における信号ユニットの大きさはＳｉｗ×Ｓｉｈである。
という前提で説明を行う。
第２５図は、埋め込み信号数検出処理の説明図である。
埋め込み信号数の検出は以下のステップで行う。
・ステップ１：入力画像をＳｗ×Ｓｈ個のブロックに分割して、ユニット行列Ｕｍを設定する（第２５図▲１▼）。
・ステップ２：ユニット行列Ｕｍの記録用ユニット帯に相当する部分を取り出す（第２５図▲２▼）。
・ステップ３：記録用ユニット帯に信号検出フィルタを施すことによって、埋め込んだビット列を復元する（第２５図▲３▼、▲４▼）。第２５図▲３▼において、記録用ユニット帯に相当するユニット行列Ｕｍの各要素に対応する入力画像上の領域に対し、二つのフィルタ（フィルタＡとフィルタＢ）の出力値を計算し、出力値が大きい方のフィルタに対応するシンボルユニットが埋め込まれているものとする。この例ではフィルタＡの出力値が大きいため、ユニットＡ（シンボル０）が埋め込まれていると判定されている。
・ステップ４：復元されたビット列を基にユニット数記録単位行列を復元する（第２５図▲５▼）。
次に、フィルタ出力値の算出処理を行う。
第２６図は、フィルタ出力値算出処理の説明図である。
ここでは、埋め込み信号数の検出処理で設定したユニット行列Ｕｍの各要素に対して、以下のステップにより信号検出フィルタの出力値を記録する。
・ステップ１：ユニット行列Ｕｍの任意の要素に対応する入力画像の領域に対して信号検出フィルタ（フィルタＡとフィルタＢ）の出力値を計算する（第２６図▲１▼）。信号検出フィルタはそれぞれ対象とする領域に対して上下左右にずらしながら出力値を計算し、フィルタＡによる出力値の最大値とフィルタＢによる出力値の最大値の大きい方を求める。
・ステップ２：ユニット行列Ｕｍの全ての要素についてステップ１を行い、出力値をフィルタ出力値行列Ｆｍ（ｘ，ｙ）、ｘ＝１〜Ｓｗ、ｙ＝１〜Ｓｈの対応する要素に記録する。
次に、最適閾値を判定する。
第２７図は、最適閾値の判定処理の説明図である。
ここでの閾値は、ユニット行列Ｕｍの各領域に対応する入力画像の領域にユニットシンボルが埋め込まれているかどうかを判定するための閾値（Ｔｓと呼ぶ）であり、フィルタ出力値行列の任意の要素の値が閾値Ｔｓを超えたならば、入力画像のそれに対応する位置にはシンボルユニットが埋め込まれているものと判定する。
・ステップ１：フィルタ出力値行列の要素（信号検出フィルタの出力値）の平均Ｆａ、標準偏差Ｆｓなどから閾値ｔｓの初期値を設定する（第２７図▲１▼）。ここでは例えば初期値をｔｓ＝Ｆａ−Ｆｓ＊３とする。
・ステップ２：フィルタ出力値行列をｔｓによって二値化し、ユニット抽出画像を形成する（第２１図▲２▼）。
・ステップ３：ユニット抽出画像に対してユニット数記録単位行列を当てはめる（第２７図▲３▼）。
・ステップ４：ユニット抽出画像のユニット数記録単位行列の各要素に対応する領域中のシンボルユニット数を数え、ユニット数記録単位行列に記録する（第２７図▲４▼）。
・ステップ５：埋め込み信号数検出処理で復号された記録用ユニット帯に記録されていたシンボルユニット数とステップ４から得られたシンボルユニット数の差分の絶対値をユニット数記録単位行列の要素毎に計算し、全ての要素についての合計値をＳｆ（ｔｓ）とする（第２７図▲５▼）。
・ステップ６：Ｓｆ（ｔｓ）が最小となるｔｓをＴｓとして記録する（第２７図▲６▼）。
・ステップ７：ｔｓにΔｔを加え、ｔｓを更新する（第２７図▲７▼）。Δｔは予め定めた値が、ステップ１で求めた標準偏差Ｆｓ（例えばΔｔ＝Ｆｓ×０．１とするなど）から算出してもよい。
・ステップ８：Ｔｓが予定した値に達したならば終了する。そうでなければステップ１に戻る（第２７図▲８▼）。
次に、検出信号の計数処理を行う。
第２８図は、検出信号計数処理の説明図である。
この部分の処理は、最適閾値判定処理で得られた最適閾値Ｔｓによってフィルタ出力値行列を二値化したユニット抽出画像を用いて、最適閾値判定処理とほぼ同一の処理を行う。
・ステップ１：フィルタ出力値行列をＴｓによって二値化し、ユニット抽出画像を作成する（第２８図▲１▼）。
・ステップ２：ユニット抽出画像に対してユニット数記録単位行列を当てはめる（第２８図▲２▼）。
・ステップ３：ユニット抽出画像のユニット数記録単位行列の各要素に対応する領域中のシンボルユニット数を数え、ユニット数記録単位行列に記録する（第２８図▲３▼）。
・ステップ４：埋め込み信号数検出処理で復号された記録用ユニット帯に記録されていたシンボルユニット数とステップ３から得られたシンボルユニット数の差分Ｄ（Ｘ，Ｙ）をユニット数記録単位行列の要素毎に計算する（第２８図▲４▼）。ユニット数記録単位行列の任意の要素Ｎｕ（Ｘ，Ｙ）におけるＤ（Ｘ，Ｙ）は、記録用ユニット帯から復元されたユニットシンボル数をＲ（Ｘ，Ｙ）、ステップ３で計測されたユニットシンボル数をＣ（Ｘ，Ｙ）としてＤ（Ｘ，Ｙ）＝Ｒ（Ｘ，Ｙ）−Ｃ（Ｘ，Ｙ）によって計算されるものとする。
次に、記入判定を行う。
ユニット数記録単位の任意の要素Ｎ（Ｘ，Ｙ）における記入判定は、Ｄ（Ｘ，Ｙ）を用いて以下のように行う。
・チェック印や文字等が追加された記入：Ｄ（Ｘ，Ｙ）＞ＴＡ（ＴＡは正の整数）「記録されていたユニットシンボル数より検出されたユニットシンボル数の方が少ない場合には、本来埋め込まれていたユニットシンボルの上にチェック印や文字等の追加があったために検出不能になったと判断する」。
尚、この判定方法によって、文字等の削除も検出可能であるが、本具体例では特に必要がないため、これを使用しない。
第１９図に戻って、記入位置が検出されると、回答データ変換部２０４は、記入から回答データへの変換を行う（ステップＳ３５）。ここでは、ステップＳ３３で取り出されたフォーマット情報を利用する。例えば、ステップＳ３４の記入箇所検出において、第４図中のＣ_１１がチェックされたものと識別されたとする。このとき、第５図に示すフォーマット情報を用いれば、Ｒ_１１の設問と回答の番号はそれぞれ１、１であることが分かる。従って、設問１に対する回答の記入内容は回答欄１（つまり男性）であったことが分かる。また、ステップＳ３４の記入箇所検出において自由記入されたと識別されたブロックの画像を切り抜き、これを回答データとして得ることもできる。
次に、目視情報出力部２０５は、回答のデータ変換結果を出力し、これが図示しないディスプレイ等で表示される（ステップＳ３６）。
第２９図は、画面表示の一例を示す説明図である。
図示例では、画面表示の一例として、スキャン画像と記入検出結果、調査票識別情報および回答データ変換結果を表示している。スキャン画像は、文書読み込み部２０１で読み取った調査票のイメージであり、記入検出結果は、埋め込み情報取り出し部２０２〜回答データ変換部２０４による上述した処理で得られた検出結果を示している。ここでは、設問１の「男」に対応するＣ_１１と、設問２の「会社員」に対応するＣ_２１が記入検出結果として表示されている。また、自由記載欄にはブロック毎の記入検出結果が表示されることにより、複数のブロックで「紫色」と記入された文字を表示している。更に、調査票識別情報は、埋め込まれていた識別情報を埋め込み情報取り出し部２０２によって取り出した調査票のＩＤ等の情報である。そして、回答データ変換結果は、回答データ変換部２０４によって変換された設問に対する回答番号や回答が記入されていた自由記載欄のブロックを切り抜いた画像である。
記入内容抽出装置２００のオペレータは、このような表示結果に対して、回答のデータ変換結果に対する目視確認および修正を行う（ステップＳ３７）。
〈効果〉
以上のように、具体例１によれば、記入用文書３００として、そのフォーマット情報や記入箇所検出のための情報および識別情報を全て備えているため、記入内容抽出装置２００側で、記入用文書３００のフォーマット情報等を保持しておく必要がない。従って、記入内容抽出装置２００側では、記入用文書３００がどのようなフォーマットであっても全て対応できるという効果がある。
また、ベリファイ入力のための人員確保や、マークシート用紙といった特殊な用紙の準備、およびＯＣＲでの処理に必要なフォーマット情報の伝達や識別番号の記載も不要である。しかも、記入内容の抽出処理では、文字認識を行うのではないため、ＯＣＲ等の処理に比べて高速にデータ化できるという効果がある。
また、埋め込み情報をドットパターンで表しているたあ、記入用文書３００としてレイアウト上の制約がほとんどなく、しかも、記入用文書３００で汚れや折り曲げ等があった場合でも、読み取りエラーが発生しにくく、従って、記入箇所検出の信頼性向上を図ることができる。
更に、具体例１によれば、スキャン画像や記入検出結果、回答データ変換結果を目視情報として出力するようにしたので、オペレータは、このような表示を見て容易に確認、修正を行うことができる。特に、自由記載欄への記入内容を出力するようにしているため、例えば、オペレータは、この部分のみに対して記入内容の確認、修正を集中して行うといったことが可能となる。
《具体例２》
具体例２は、上記具体例１の構成に対して、更に目視チェックを効率的に行えるよう、回答データ変換結果を外部記憶装置に蓄積し、別途目視チェックを行えるようにしたものである。
〈構成〉
第３０図は、具体例２の構成図である。
図において、記入用文書作成装置１００およびこれにより作成される記入用文書３００は具体例１と同様であるため、対応する部分に同一符号を付してその説明を省略する。記入内容抽出装置２００ａは、文書読み込み部２０１、埋め込み情報取り出し部２０２、記入箇所検出部２０３および回答データ変換部２０４からなり、これらの構成は具体例１における記入内容抽出装置２００の構成と同様であるため、ここでの説明は省略する。結果記憶部４００は、例えば、ハードディスク装置からなり、回答データ変換部２０４から出力された回答データ変換結果を格納する記憶部である。また、目視情報出力部５００は、結果記憶部４００に記憶されているデータを用いて、回答データ変換結果を表示出力する機能部であり、例えば、パーソナルコンピュータ等で構成されている。
〈動作〉
具体例２における記入用文書作成装置１００による文書作成処理は具体例１と同様であるため、その説明は省略する。
第３１図は、記入内容抽出処理の説明図である。
ステップＳ４１〜ステップＳ４５の動作は、具体例１におけるステップＳ３１〜ステップＳ３５の動作と同様である。即ち、調査票の読み込み、埋め込み情報の取り出し、取り出し情報の分離、記入箇所検出および回答データ変換を行う。
次に、回答データ変換部２０４の結果出力を結果記憶部４００に記憶する（ステップＳ４６）。データ変換結果は、第２９図に示したように、設問に対する回答番号と自由記載欄への回答内容を切り抜いた画像データであり、これをスキャン画像と共に記憶する。
次に、結果記憶部４００に記憶されたデータを用い、目視情報出力部５００にて回答のデータ変換結果を表示する（ステップＳ４７）。この表示内容は、第２９図に示したものと同様である。
記入内容をチェックするオペレータは、このような表示結果に対して、具体例１と同様に、回答のデータ変換結果に対する目視確認および修正を行う（ステップＳ４８）。
〈効果〉
以上のように、具体例２によれば、具体例１の効果に加えて次のような効果がある。即ち、回答データの変換結果を結果記憶部４００に記憶しておき、目視チェック時には記憶したデータを用いてそのチェックを行うようにしたため、例えば、回答データは調査票を用いて一拠点で高速に変換し、その結果の目視チェックは遠隔地にいる複数のオペレータで行うといった、記入内容の抽出処理とオペレータの目視確認作業を別の場所で行うといった形態が可能となる。その結果、記入内容抽出処理を更に効率的に行うことが可能となる。
《具体例３》
具体例３は、具体例１の記入用文書作成装置１００に対して、例えば、調査票の印刷データ作成および印刷を専門の業者が行えるよう、調査票画像および埋め込み情報を可搬型の外部記憶装置に蓄積し、これを用いて作業を行えるようにしたものである。
〈構成〉
第３２図は、具体例３の構成図である。
記入用文書作成装置１００ａは、文書作成部１０１、文書画像作成部１０２および埋め込み情報作成部１０３からなる。これら構成は具体例１と同様であるため、対応する部分に同一符号を付してその説明を省略する。データ記憶部６００は、可搬型の外部記憶装置であり、例えば、ＭＯ、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＡＭといった大容量の可搬型記憶媒体であることが望ましい。
印刷処理装置７００は、データ記憶部６００に格納されている調査票画像および埋め込み情報に基づいて、調査票を印刷する装置であり、文書データ作成部７０１と文書出力部７０２を備えている。尚、印刷処理装置７００は、例えば、記入用文書作成装置１００ａとは別の場所に設置されている装置である。印刷処理装置７００における文書データ作成部７０１は、具体例１、２における文書データ作成部１０４と同様に、文書画像データと埋め込み情報とを一体の文書データとして作成する機能を有している。また、文書出力部７０２は、具体例１、２における文書出力部１０５と同様に、文書データ作成部７０１で作成された文書データを印刷して、記入用文書３００を得る機能を有している。
また、具体例３の記入内容抽出装置２００については、具体例１と同様であるため、対応する部分に同一符号を付してその説明を省略する。
〈動作〉
第３３図は、記入用文書３００の作成処理を示すフローチャートである。
先ず、ステップＳ５１〜ステップＳ５６までの動作は、具体例１におけるステップＳ１〜ステップＳ６までの動作と同様である。即ち、調査票の作成および調査票画像の作成、フォーマット情報、記入箇所検出情報および識別情報の作成、更にこれらの情報を統合することによる埋め込み情報の作成が記入用文書作成装置１００ａで行われる。
次に、埋め込み情報作成部１０３から出力された調査票画像および埋め込み情報をデータ記憶部６００に格納する（ステップＳ５７）。
次に、印刷処理装置７００では、データ記憶部６００に格納された調査票画像および埋め込み情報のデータから、文書データ作成部７０１によって、埋め込み情報をドットパターンとして表現した画像データを作成し、これを調査票画像と重ね合わせた文書データを作成する（ステップＳ５８）。そして、文書出力部７０２は、文書データ作成部７０１によって作成された文書データを印刷し、記入用文書３００として出力する（ステップＳ５９）。
〈効果〉
以上のように、具体例３によれば、文書画像データと埋め込み情報を一体の文書データとして記憶するためのデータ記憶部６００を設け、このデータ記憶部６００の文書データを用いて印刷処理装置７００で記入用文書３００を印刷するようにしたので次のような効果がある。例えば記入用文書作成装置１００ａを調査会社に設置し、印刷処理装置７００を印刷業者に設置し、また、その間のデータの受け渡しをデータ記憶部６００とすることで、調査会社が調査票の印刷を印刷業者に依頼するといった、文書データの作成処理と印刷処理とを別々の場所で行うような形態にも柔軟に対処することが容易に可能となる。
《利用形態》
・上記各具体例では、埋め込み情報はドットパターンで表し、かつ、記入箇所検出をドットパターンの検出状態の変化に基づいて行うようにしたが、これらの構成に限定されるものではない。例えば、文書中の文字領域以外の部分に、埋め込み情報を二次元バーコード等を用いて記録するようにしてもよい。この場合、記入箇所検出情報は、例えば何も記入されていない回答欄の画像特徴情報（元画像特徴情報）とする。そして、記入箇所検出部２０３が行う記入位置の検出処理は、記入後の調査票の回答欄の画像特徴情報を同じように求め、これを元画像特徴情報と比較することで、記入の有無を検出することができる。
また、このような画像特徴情報の表し方として、調査票の対象となる領域を複数のブロックに分割し、各ブロックの画像の特徴を抽出する。これには次のような方法がある。
（１）ブロック画像を周波数変換し、周波数スペクトルをサンプリングした値。
（２）ブロック画像に対して、フィルタリング処理（帯域通過フィルタや任意のパターンのテンプレートなどによるフィルタリング処理）を行って得られる値。
（３）ブロック画像中の白い画素（背景領域）と、黒画素（文字領域）の面積の比。
更に、これ以外にも、文宇領域の画像特徴量のエッジの長さを用いて記入の有無を検出する、といった方法を用いてもよい。
更に、各具体例において、例えば、フォーマット情報と記入箇所検出情報は、具体例で説明したようにドットパターンで表し、識別情報はバーコードや二次元バーコード等の別手段を用いて表す等、埋め込み情報を複数の方法で表現するようにしてもよい。
また、各具体例では、記入箇所検出のための情報は各チェック記入欄および自由記載欄の各ブロック毎に個別に作成するものとして説明したが、これ以外の構成として次のようなものがある。即ち、調査票全体を自由記載欄と見なしてブロックに分割し、その各ブロック毎に個別に作成してもよい。この場合、記入位置と識別されたブロックの位置から、フォーマット情報を用いてどの回答記入位置に回答があったかを判別し、回答データへの変換を行えばよい。このような構成をとった場合、例えば、回答方法として、チェック回答欄にチェック印を記入するのではなく、番号に丸を付けるといった方式である場合、番号に大きく丸を付けたり、丸を付けた位置が多少ずれているような場合でも正確に回答記入位置を検出することができる効果がある。
更に、上記具体例３ではデータ記憶部６００を可搬型記憶媒体であるとしたが、記入用文書作成装置１００ａから印刷処理装置７００に文書データを転送することができる手段であればどのようなものであってもよく、例えば、これ以外にネットワークといった通信手段であってもよい。
以上のように本発明によれば、文書中の記入箇所の位置とその記入内容を判定するためのフォーマット情報と、記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有する記入用文書を作成し、これらフォーマット情報と記入箇所検出情報を用いて、記入文書の記入内容を判定するようにしたので、記入内容を抽出する場合に、予めフォーマット情報等を保持しておく必要がない。従って、どのようなフォーマットであっても対処できるという効果がある。また、ベリファイ入力のための人員確保や、マークシート用紙といった特殊な用紙の準備、およびＯＣＲでの処理に必要なフォーマット情報の伝達や識別番号の記載も不要である。しかも、記入内容の抽出処理では、文字認識を行うのではないため、ＯＣＲ等の処理に比べて高速にデータ化できるという効果がある。

Claims (13)

1. 所定の記入箇所を有する文書の文書画像データを作成する文書画像作成部と、
   前記文書上の記入箇所と記入内容とを示すフォーマット情報と、前記記入箇所に記入があったか否かを検出するための記入箇所検出情報とを前記文書画像データへの埋め込み情報として作成する埋め込み情報作成部と、
   前記文書画像データと埋め込み情報とを合成して、文書データを作成する文書データ作成部とを備えたことを特徴とする記入用文書作成装置。
2. 所定の記入箇所を有する文書の文書画像データを作成する文書画像作成部と、
   前記文書上の記入箇所と記入内容とを示すフォーマット情報と、前記記入箇所に記入があったか否かを検出するための記入箇所検出情報とを前記文書画像データへの埋め込み情報として作成する埋め込み情報作成部と、
   前記文書画像データと前記埋め込み情報とを一体の文書データとして記憶するデータ記憶部と、
   前記データ記憶部に記憶された前記文書画像データと埋め込み情報とを合成して文書データを作成し、かつ、当該文書データを印刷して記入用文書を出力する印刷処理装置とを備えたことを特徴とする記入用文書作成装置。
3. 請求の範囲第１項または第２項に記載の記入用文書作成装置において、
   文書画像データに、ドットパターンで表される埋め込み情報を埋め込んで文書データを作成する文書データ作成部を備えたことを特徴とする記入用文書作成装置。
4. 請求の範囲第１項〜第３項のいずれかに記載の記入用文書作成装置において、
   文書識別情報を含めて文書データを作成する文書データ作成部とを備えたことを特徴とする記入用文書作成装置。
5. 記入用文書作成装置を用いて、
   所定の記入箇所を有する文書の文書画像データを作成する文書画像データ作成ステップと、
   前記記入箇所と記入内容とを示すフォーマット情報を作成するフォーマット情報作成ステップと、
   前記記入箇所に記入があったか否かを検出するための記入箇所検出情報を作成する記入箇所検出情報作成ステップと、
   前記文書画像データと前記フォーマット情報と前記記入箇所検出情報とを一体の文書データとして作成する文書データ作成ステップとを実行することを特徴とする記入用文書作成方法。
6. 請求の範囲第５項に記載の記入用文書作成方法において、
   文書データ作成ステップは、文書画像データに、ドットパターンで表される埋め込み情報を埋め込んで文書データを作成するステップであることを特徴とする記入用文書作成方法。
7. 文書中の記入箇所の位置と当該記入箇所への記入内容を判定するためのフォーマット情報と、前記記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有する記入用文書から記入内容を抽出する記入内容抽出装置であって、
   前記記入用文書のフォーマット情報と記入箇所検出情報を取り出す埋め込み情報取出部と、
   前記フォーマット情報における記入位置の情報と、前記記入箇所検出情報とを用いて記入箇所を検出する記入箇所検出部と、
   前記検出した記入箇所と前記フォーマット情報の記入内容の判定情報とを用いて、記入内容を判定する回答データ変換部とを備えたことを特徴とする記入内容抽出装置。
8. 請求の範囲第７項に記載の記入内容抽出装置において、
   記入箇所検出情報はドットパターンで表され、
   記入箇所検出部は、前記ドットパターンの検出状態の変化に基づいて記入の有無を判定するよう構成されたことを特徴とする記入内容抽出装置。
9. 請求の範囲第７項または第８項に記載の記入内容抽出装置において、
   自由記載欄を有する記入用文書に対して、前記自由記載欄への記入内容を目視確認するためのイメージ出力を行う目視情報出力部を備えたことを特徴とする記入内容抽出装置。
10. 記入内容抽出装置を用いて、文書中の記入箇所の位置と当該記入箇所への記入内容を判定するためのフォーマット情報と、前記記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有する記入用文書から記入内容を抽出する記入内容抽出方法であって、
    前記記入用文書のフォーマット情報と記入箇所検出情報を取り出す埋め込み情報取出ステップと、
    前記フォーマット情報における記入位置の情報と、前記記入箇所検出情報とを用いて記入箇所を検出する記入箇所検出ステップと、
    前記検出した記入箇所と前記フォーマット情報の記入内容の判定情報とを用いて、記入内容を判定する回答データ変換ステップとを備えたことを特徴とする記入内容抽出方法。
11. 請求の範囲第１０項に記載の記入内容抽出方法において、
    記入箇所検出情報はドットパターンで表され、
    記入箇所検出ステップは、前記ドットパターンの検出状態の変化に基づいて記入の有無を判定するステップであることを特徴とする記入内容抽出方法。
12. 請求の範囲第１０項または第１１項に記載の記入内容抽出方法において、
    自由記載欄を有する記入用文書に対して、前記自由記載欄への記入内容を目視確認するためのイメージ出力を行う目視情報出力ステップを備えたことを特徴とする記入内容抽出方法。
13. 文書中の記入箇所の位置と当該記入箇所への記入内容を判定するためのフォーマット情報と、前記記入箇所に記入があったか否かを検出するための記入箇所検出情報とを一体に有することを特徴とする記入用文書。

Images