JP4738180B2 - 画像処理装置および電子ファイル生成方法 - Google Patents

Description

本発明は、符号化コードの含まれる紙文書を光学的読み取り処理（スキャン）して電子ファイル化する画像処理において、符号化コードに含まれる文書等の関連情報を電子ファイル内に埋め込み、電子ファイルの全文検索時には関連情報を含めて検索対象とし、実用性の高い検索を可能とした画像処理装置および電子ファイル生成方法に関するものである。

近年、インターネットに接続することにより、多くの情報を取得することが可能となっており、また、誰でも容易にインターネットに接続できる環境も整っている。そして、雑誌、新聞記事、広告等の視認可能に印刷された画像や文字の情報において、表示することのできないさらに詳細な情報を開示するために、この視認可能な情報に加えて２次元コードを付与して、これに関連するより詳細な情報を得られるように、関連情報のＵＲＬ（Uniform Resource Locator）、リンク先等を表示することが行われている。

これに伴い２次元コードを用いて、バイナリデータまたは文字データ等を符号化して画像データとすることが普及している。例えば、２次元コードの１つであるＱＲコード（登録商標）はエラーコレクションコードを有する信頼性の高い符号化手段であり、ＪＩＳ（日本工業標準調査会）により標準化されている（非特許文献１参照）。そして、従来の符号化コードとして用いられているバーコードと比較して、２次元コードは多くのデータをコード化することが可能となっている。

特許文献１には、前述したように２次元コードとしてＵＲＬを挿入した文書を紙文書に印刷し、紙文書をカメラにて読み取る際に２次元コードから復号したＵＲＬ情報を表示する情報閲覧システムが提案され特許登録されている。また、特許文献２には、紙文書内の２次元コード等の付加情報（格納場所を示すポインタ情報）を用いて、データベース内の関連文書を検索する画像処理システムに関する技術が公開されている。

さらに、紙文書等に印刷された状態で管理されていた文字情報も、光学的読取装置等により電子データとして画像データに変換され、さらにはＯＣＲ（Optical Character Recognition）処理することにより文字データに変換され、電子ファイル化することも行われている。

特許第３５１８３０４号 特開２００５−１４９０９６号公報 財団法人日本規格協会 番号：JIS X0510 「２次元コードシンボル（ＱＲコード基本仕様）」

しかしながら、前述の特許文献２に記載の技術によると、２次元コードなどの符号化コードを用いてデータベース内の文書を容易に検索することが可能となるが、例えば符号化コードを含む電子文書が、構築されたデータベースの外に持ち出された場合は、符号化された付加情報にアクセスするときに、再度符号化コードをデコードしてもアクセスすることができない。

また、特許文献１の場合にも、符号化コードの付加情報に含まれている情報は関連文書の位置情報を示したＵＲＬなどのリンク情報に過ぎないため、文書内の文字情報を検索する全文検索を行うシステムなどでは文書情報の符号化コードをデコードしてＵＲＬ等のリンク先にアクセスしない限り、そのリンク先の文書情報の内容についての検索結果を得ることは不可能であった。

本発明は、前記背景技術の問題を解決することに指向するものであり、紙文書において関連した情報としてファイル位置情報を含んだ符号化コードを有する場合に、この紙文書から読み取った画像データを電子ファイル化する際、紙文書に有する符号化コードの関連する情報から得られる文字データも含んだ文書ファイルを作成して、文書ファイルを全文検索する際には、紙文書の文字データと符号化コードの関連する情報の文字データに対して、高速なキーワード検索を実行することを可能とした画像処理装置および電子ファイル生成方法を提供することを目的とする。

（１）原稿の画像を読み取り該画像を表す画像データを生成する画像読取り装置(8)；
前記画像データの中の前記原稿上の２次元コード画像の２次元コードを検出する検出手段(901)；
前記２次元コードを抽出する抽出手段(902)；
該抽出手段が抽出した２次元コードを復号するデコーダ(903)；
該デコーダが復号したデータに基づき該データに関連するファイルを検索し、該ファイルの文字データを検索する文字データ検索手段(904);
画像データが表す画像の文字を検出四文字データを生成するＯＣＲ処理手段(905)；および、
原稿を読取った前記画像データから前記ＯＣＲ処理手段が生成した文字データに前記検索手段が検索した文字データを追加したテキストデータを電子ファイル化するファイル作成手段(910)；
を備えた画像処理装置(1)。

これによれば、電子ファイル化した紙文書から読み取った画像データに有する２次元コードに含まれる関連情報を、テキストデータの全文検索の対象とでき、実用性の高い検索ができる。

なお、理解を容易にする為に括弧内には、図面に示し後述する実施態様の対応又は相当要素の符号を、例示として参考までに付記した。以下も同様である。

（２）画像データが表す画像の文字を検出し文字データを生成するＯＣＲ処理手段(905)；および、前記文字データ検索手段(904)が文字データを検索しなかった場合に、前記ファイルに対して前記ＯＣＲ処理手段(905)を用いて文字認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとして前記ファイル作成手段(910)に与える文字データ作成手段(906)；を更に備える、上記（１）に記載の画像処理装置。

（３）前記文字データ作成手段(906)は、前記ＯＣＲ処理手段(905)が前記ファイルに対して文字認識をして生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとして前記ファイル作成手段(910)に与える；上記（２）に記載の画像処理装置。

（４）ファイルの音声情報を検出し該音声情報が表す文字の文字データを生成する音声処理手段(907)；および、前記文字データ検索手段(904)が文字データを検索しなかった場合に、前記ファイルに対して前記音声処理手段(907)を用いて音声認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとして前記ファイル作成手段(910)に与える文字データ作成手段(906)；を更に備える、上記（１）に記載の画像処理装置。

（５）前記文字データ作成手段(906)は、前記音声処理手段(907)が生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとして前記ファイル作成手段(910)に与える；上記（４）に記載の画像処理装置。

（６）前記ファイル作成手段(910)は、前記文字データ作成手段(906)が作成した文字データを、複数のレイヤーで構成された電子ファイルの、前記レイヤーの少なくとも１つに追加する；上記（２）〜（５）のいずれか１つに記載の画像処理装置。

（７）前記ファイル作成手段(910)は、前記文字データ作成手段(906)が作成した文字データを、テキストレイヤー，画像レイヤーで構成された電子ファイルの、前記テキストレイヤーに追加する；上記（２）〜（５）のいずれか１つに記載の画像処理装置。

（８）前記ファイル作成手段(910)は、前記原稿の前記２次元コード画像があった位置又はその近傍に、前記文字データ作成手段が作成した文字データを配置する；上記（６）または（７）記載の画像形成装置。

（９）前記２次元コード画像の２次元コードを検出する検出手段(901)は、前記画像読取り装置(8)が生成した画像データ内から前記２次元コード画像の矩形を抽出することにより、復号化する２次元コードの画像データを選択する；上記（１）に記載の画像処理装置。

（１０）原稿の画像を読み取り該画像を表す画像データを生成する画像読取り装置(8)，画像データが表す画像の文字を検出し文字データを生成するＯＣＲ処理手段(905)および該ＯＣＲ処理手段が生成した文字データを電子ファイル化する手段(A,B)を含む画像処理装置(1)の、
前記画像読取り装置(8)によって原稿の画像を読み取り該画像を表す画像データを生成し、
前記電子ファイル化する手段(A,B)によって、前記画像データの中の前記原稿上の２次元コード画像の２次元コードを検出し、検出した２次元コードを抽出し、抽出した２次元コードを復号し、復号したデータに基づき該データに関連するファイルを検索し、該ファイルの文字データを検索し、該文字データを、原稿を読取った前記画像データから前記ＯＣＲ処理手段が生成した文字データに追加したテキストデータを電子ファイル化する、電子ファイル生成方法。

これによれば、電子ファイル化した紙文書から読み取った画像データに有する２次元コードに含まれる関連情報を、テキストデータの全文検索の対象とでき、実用性の高い検索ができる。

（１１）前記画像処理装置(1)は、画像データが表す画像の文字を検出し文字データを生成するＯＣＲ処理手段(905)を含み；前記電子ファイル化する手段(A,B)は、前記ファイルの文字データの検索で文字データが得られない場合には、前記ファイルに対して前記ＯＣＲ処理手段(905)を用いて文字認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとする；上記（１０）に記載の電子ファイル生成方法。

（１２）前記電子ファイル化する手段(A,B)は、前記ＯＣＲ処理手段(905)が生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとする；上記（１１）に記載の電子ファイル生成方法。

（１３）前記画像処理装置(1)は、ファイルの音声情報を検出し該音声情報が表す文字の文字データを生成する音声処理手段(907)を含み；前記電子ファイル化する手段(A,B)は、前記ファイルの文字データの検索で文字データが得られない場合には、前記ファイルに対して前記音声処理手段(907)を用いて音声認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとする；上記（１０）に記載の電子ファイル生成方法。

（１４）前記電子ファイル化する手段(A,B)は、前記音声処理手段(907)が生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとする；上記（１３）に記載の電子ファイル生成方法。

（１５）前記電子ファイル化する手段(A,B)は、前記追加する文字データを、複数のレイヤーで構成された電子ファイルの、前記レイヤーの少なくとも１つに追加する；上記（１０）〜（１４）のいずれか１つに記載の電子ファイル生成方法。

（１６）前記電子ファイル化する手段(A,B)は、前記追加する文字データを、テキストレイヤー，画像レイヤーで構成された電子ファイルの、前記テキストレイヤーに追加する；上記（１０）〜（１４）のいずれか１つに記載の電子ファイル生成方法。

（１７）前記電子ファイル化する手段(A,B)は、前記原稿の前記２次元コード画像があった位置又はその近傍に、前記追加する文字データを配置する；上記（１５）又は（１６）に記載の電子ファイル生成方法。

（１８）前記電子ファイル化する手段(A,B)は、前記２次元コード画像の２次元コードの検出において、前記画像読取り装置(8)が生成した画像データ内から前記２次元コード画像の矩形を抽出することにより、復号化する２次元コードの画像データを選択する；上記（１０）に記載の電子ファイル生成方法。

本発明によれば、電子ファイル化した紙文書から読み取った画像データに有する２次元コードに含まれた関連情報も、テキストデータの全文検索の対象として実用性の高い検索ができるという効果を奏する。

以下、図面を参照して本発明における実施形態を詳細に説明する。また、本発明の実施形態においては、画像処理装置として、コピー機能，ファクシミリ（ＦＡＸ）機能，プリント機能，スキャナ機能および入力画像（前述の各機能において入力された画像）を配信する機能等を複合したいわゆるＭＦＰ（Multi Function Peripheral）と称されるデジタルカラー複合機に適用した例を示す。

図１は本実施形態の画像処理装置であるデジタルカラー複合機を概略的に示す外観斜視図である。デジタルカラー複合機１は、転写紙などの媒体に画像を形成する画像形成手段である印刷装置７の上部に、原稿から画像を読み取る画像読取手段である画像読取装置８を配設した構成とされている。

また、画像読取装置８の装置外面には、オペレータに対する表示とオペレータからの機能設定等の各種の入力を許容する操作パネルＰが設けられている。さらに、操作パネルＰの下部には、記憶媒体Ｍ（図示せず）に記憶されているプログラムコードや画像データ等を読み取る、または記憶媒体Ｍに対してプログラムコードや画像データ等を書き込む装置である外部メディア入出力装置９が、記憶媒体Ｍの挿入を許容する挿入口を外部に露出させて設けられている。

図２は本実施形態のデジタルカラー複合機の概略構成を示すブロック図である。図２に示すように、画像処理ユニット部Ａと情報処理ユニット部Ｂとに大別されており、図１に示した印刷装置７および画像読取装置８は画像処理ユニット部Ａに属し、操作パネルＰおよび外部メディア入出力装置９は情報処理ユニット部Ｂに属している。

まず、画像処理ユニット部Ａについて説明する。印刷装置７および画像読取装置８を備える画像処理ユニット部Ａは、画像処理ユニット部Ａにおける画像処理全般の制御を行う画像処理制御ユニット１０を備えており、この画像処理制御ユニット１０には、印刷装置７を制御する印刷制御ユニット１１と、画像読取装置８を制御する画像読取制御ユニット１２とが接続されている。

そして、印刷制御ユニット１１は、画像処理制御ユニット１０の制御に従って印刷装置７に対して画像データを含む印刷指示を出力し、印刷装置７に転写紙などの媒体に画像を形成して出力させる。また、画像読取制御ユニット１２は、画像処理制御ユニット１０の制御により画像読取装置８を駆動し、原稿の表面に対するランプ照射の反射光をミラーおよびレンズにより受光素子（例えば、ＣＣＤ（Charge Coupled Device）に集光して読み取り、Ａ／Ｄ変換してＲＧＢ各８ｂｉｔのデジタル画像データを生成する。

このような画像処理制御ユニット１０は、メインプロセッサであるＣＰＵ（Central Processing Unit）１３と、画像読取装置８から読み込んだ画像データを印刷装置７による作像に供すべく一旦格納しておくメモリデバイス（例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等）１４と、制御プログラム等を記憶したＲＯＭ（Read Only Memory）１５と、システムログ，システム設定，ログ情報等を記録しておく電源オフ時にもデータの保持が可能なNVRAM１６とをバス接続したマイクロコンピュータ構成とされている。

また、画像処理制御ユニット１０には、多量の画像データの蓄積やジョブ履歴等の記憶装置となるＨＤＤ（Hard Disk Drive）１７、装置内部に設けられた集線装置であるＨＵＢ１９を介して画像処理ユニット部ＡをＬＡＮ２に接続するためのＬＡＮ制御部１８、ＦＡＸ制御を行うＦＡＸ制御ユニット２０が接続されている。このＦＡＸ制御ユニット２０は、公衆電話網２１に通じる構内交換機（ＰＢＸ）２２に接続されており、デジタルカラー複合機１は、遠隔のファクシミリ装置と交信することができる。

加えて、画像処理制御ユニット１０には、表示制御ユニット２３および操作入力制御ユニット２４が接続されている。表示制御ユニット２３は、画像処理制御ユニット１０のコントロールによって制御パネルＩ／Ｆ２５に接続された通信ケーブル２６を介して情報処理ユニット部Ｂに対して画像表示制御信号を出力し、情報処理ユニット部Ｂの操作パネルＰに対して画像表示の制御を行う。

また、操作入力制御ユニット２４は、情報処理ユニット部Ｂの操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号を、画像処理制御ユニット１０のコントロールによって制御パネルＩ／Ｆ２５に接続された通信ケーブル２６を介して入力する。すなわち、画像処理ユニット部Ａは、情報処理ユニット部Ｂの操作パネルＰを通信ケーブル２６を介して直接モニタすることができる構成になっている。

したがって、画像処理ユニット部Ａは、従来の画像処理装置が備える画像処理ユニットに対して通信ケーブル２６を接続し、情報処理ユニット部Ｂの操作パネルＰを利用するようにしたものである。すなわち、画像処理ユニット部Ａの表示制御ユニット２３および操作入力制御ユニット２４は、操作パネルＰに接続されているものとして動作している。

このような構成により、画像処理ユニット部Ａは、外部（ＬＡＮ２を介してサーバーコンピュータ３，クライアントコンピュータ４と、公衆電話網２１を介してファクシミリ装置５等）からの画像情報である印刷データおよびプリント指示するコマンドを解析し、印刷データを出力画像データとして印刷できる状態にビットマップ展開し、印刷モードをコマンドから解析し動作を決定している。その印刷データおよびコマンドをＬＡＮ制御部１８あるいはＦＡＸ制御ユニット２０を通じて受信し動作する。

また、画像処理ユニット部Ａは、ＳＤＲＡＭ１４やＨＤＤ１７に記憶されている印刷データ、原稿読み取りデータ、これらを出力用に処理した出力画像データ、およびそれらを圧縮した圧縮データを外部（サーバーコンピュータ３，クライアントコンピュータ４，ファクシミリ装置５等）に転送することができる。

次に、操作パネルＰを備える情報処理ユニット部Ｂについて説明する。情報処理ユニット部Ｂは、一般にパーソナルコンピュータといわれるような情報処理装置に用いられる汎用のＯＳ（Operating System）によって制御されるマイクロコンピュータ構成とされている。情報処理ユニット部Ｂは、メインプロセッサであるＣＰＵ３１を有しており、このＣＰＵ３１には、ＣＰＵ３１の作業用領域となるＲＡＭや起動プログラムなどを記憶した読出し専用メモリであるＲＯＭで構成されるメモリユニット３２と、ＯＳやアプリケーションプログラムを記憶するＨＤＤ等の記憶装置３４に対するデータの入出力を制御する記憶装置制御ユニット３５とがバス接続されている。

また、ＣＰＵ３１には、情報処理ユニット部ＢをＨＵＢ１９を介してＬＡＮ２に接続するためのＬＡＮ制御部３３が接続されている。このＬＡＮ制御部３３に割り当てられるネットワークアドレスであるＩＰアドレスは、前述した画像処理ユニット部ＡのＬＡＮ制御部１８に割り当てられるＩＰアドレスとは異なるものである。すなわち、本実施形態のデジタルカラー複合機１には、２つのＩＰアドレスが割り当てられていることになる。つまり、画像処理ユニット部Ａと情報処理ユニット部ＢとはＬＡＮ２に接続されていることになり、画像処理ユニット部Ａと情報処理ユニット部Ｂとの間においてはデータ交換が可能な構成になっている。さらに、ＣＰＵ３１には、操作パネルＰを制御する表示制御ユニット３６および操作入力制御ユニット３７が接続されている。

また、図３は操作パネルの構成を示す平面図である。図３に示すように、操作パネルＰは、例えばＬＣＤ（Liquid Crystal Display）である表示装置４０と、操作入力装置４１とで構成されている。操作入力装置４１は、表示装置４０の表面に積層された超音波弾性波方式等のタッチパネル４１ａと、複数のキーを有するキーボード４１ｂとで構成されている。キーボード４１ｂには、画像読み取りの開始を宣言するためのスタートキー、数値入力を行うためのテンキー、読み取った画像データの送信先を設定する読取条件設定キー、クリアキー等が設けられている。

すなわち、図２に示すように表示制御ユニット３６は、画像表示制御信号を制御パネルＩ／Ｆ３８を介して表示装置４０に出力し、画像表示制御信号に応じた所定事項を表示装置４０に表示させる。一方、操作入力制御ユニット３７は、操作入力装置４１におけるオペレータからの機能設定や入力操作に応じた入力制御信号を、制御パネルＩ／Ｆ３８を介して受信する。

加えて、ＣＰＵ３１には、画像処理ユニット部Ａの制御パネルＩ／Ｆ２５と通信ケーブル２６を介して接続されている制御パネル通信ユニット３９が接続されている。制御パネル通信ユニット３９は、画像処理ユニット部Ａから出力された画像表示制御信号を受信し、また、操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号を画像処理ユニット部Ａに転送する。なお、詳細は後述するが、制御パネル通信ユニット３９で受信した画像処理ユニット部Ａからの画像表示制御信号は操作パネルＰの表示装置４０用にデータ変換処理されてから表示制御ユニット３６に出力され、
また、操作パネルＰからのオペレータによる機能設定や入力操作に応じた入力制御信号は画像処理ユニット部Ａでの仕様に応じた形式にデータ変換処理されてから制御パネル通信ユニット３９に入力される。上述したように記憶装置３４には、ＣＰＵ３１が実行するＯＳやアプリケーションプログラムが格納されている。この意味で、記憶装置３４は、アプリケーションプログラムを記憶する記憶媒体として機能する。

このデジタルカラー複合機１では、ユーザが電源を投入するとＣＰＵ３１がメモリユニット３２内の起動プログラムを起動させ、記憶装置３４よりＯＳをメモリユニット３２内のＲＡＭに読み込み、このＯＳを起動させる。このようなＯＳは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。ＯＳのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）等が知られている。これらのＯＳ上で走る動作プログラムをアプリケーションプログラムと呼んでいる。情報処理ユニット部ＢのＯＳは、外部の情報処理装置（サーバーコンピュータ３，クライアントコンピュータ４等）と同様のＯＳ、すなわち汎用のＯＳ（例えば、Windows（登録商標）等）とされている。

図４は本発明の実施形態１における画像処理装置において、紙文書からスキャンして電子ファイル化する処理を示すフローチャートである。

紙文書から読み取った画像データから原稿内にある２次元コードの領域を検索する（Ｓ４０１）。処理Ｓ４０１の２次元コードの領域検出は、画像データ内の矩形領域を抽出することで実施する。ここで、２次元コードの検索処理について、図５（ａ）〜（ｄ）を参照しながらＱＲコード（登録商標）の画像を例にとって説明する。図５（ａ）はスキャンした画像データの２次元コードの領域部分を示す例である。さらに、図５（ａ）に対して輪郭を抜き出す処理を行った画像が図５（ｂ）である。図５（ｂ）は輪郭部分が黒、それ以外を白色とした２値画像である。この例では「ロバートのオペレータ」と呼ばれる１次微分により輪郭画像を得た。矩形領域の検出は輪郭の連結成分を矩形で結ぶことで行う。図５（ｃ）は図５（ｂ）の輪郭部すなわち黒色部の連結成分を検出し連結部分を矩形で囲んだ図である。さらに、得られた矩形の連結部分を検出し連結矩形を形成させると図５（ｄ）のように１つの大きな矩形となり、２次元コードの領域の外接する矩形領域を得ることができる。さらに、ＱＲコード（登録商標）は規格上正方形であることから、検出した矩形領域のうち、正方形に近いものだけを２次元コード領域として抽出することができる。

処理Ｓ４０１において、２次元コード領域が検出されたか否か確認を行う（Ｓ４０２）。２次元コード領域が検出された場合（Ｓ４０２のＹｅｓ）、２次元コード領域の画像を抽出する（Ｓ４０３）。処理Ｓ４０３の２次元コード領域の抽出処理は、２次元コードが外接する矩形だけを抜き出して新たな画像データを作成する。処理４０３により抽出した２次元コードをデコードする（Ｓ４０４）。

処理Ｓ４０４において２次元コードのデコードが成功した否か確認を行う（Ｓ４０５）。処理Ｓ４０５でデコードの成功を確認した場合（Ｓ４０５のＹｅｓ）、デコード結果から２次元コードに関連する情報から文字データを作成する（Ｓ４０７）。２次元コードの文字データの作成処理については後述する。

また、前述した処理Ｓ４０２において、２次元コード領域が検出されなかった場合（Ｓ４０２のＮｏ）、また、処理Ｓ４０５において、２次元コードのデコードが成功しなかった場合（Ｓ４０５のＮｏ）、処理Ｓ４０８へと進む。

紙文書から読み取った画像データ全体をＯＣＲ処理する（Ｓ４０８）。このＯＣＲ処理した結果は文字の座標データを含む文字データである。さらに、文字データをテキストレイヤー化する（Ｓ４０９）。テキストレイヤーはＨＴＭＬ（Hyper Text Markup Language）のように文字の座標情報を埋め込めるフォーマットが望ましい。この際に、２次元コード部分の文字データがある場合は、処理Ｓ４０１で検索した２次元コードの存在する領域座標の位置および／または近傍に、処理Ｓ４０７にて作成した２次元コードの文字データを埋め込む。さらに、読み取った画像データの減色の処理を行う（Ｓ４１０）。画像データはユーザからの設定または固定的な設定値に基づく処理により、インデックスカラー、グレースケールおよび白黒２値化等の減色処理が施される。

画像データの圧縮の処理を行う（Ｓ４１１）。読み取った画像データのサイズが小さくなるようＪＰＥＧ（Joint Photographic Expert Group），ＭＭＲ（Modified Modified Read），ＰＮＧ（Portable Network Graphics）等の圧縮画像フォーマットに変換され画像レイヤー化する（Ｓ４１２）。さらに、文書ファイルの作成処理を行う（Ｓ４１３）。電子ファイル化した文書ファイルのフォーマットとしては、文書フォーマットとして広く普及しているＰＤＦ（Portable Document Format）を用いることでレイヤー構成の文書ファイルを作成することができる。なお、ここでは圧縮した画像データの画像レイヤーをデフォルトでの可視レイヤー、テキストレイヤーを不可視レイヤーとして設定するが、この可視レイヤーおよび不可視レイヤーの設定はＰＤＦファイルのリーダーソフトウェアであるAdobe Reader（アドビシステムズ社製）等で閲覧時に容易に選択することができる。

図６は２次元コードに関連する情報から文字データの作成について示したフローチャートであり、図４に示す処理Ｓ４０７の処理である。図６を参照しながら文字データの作成について説明する。

２次元コードに関連する情報がファイルの位置情報かそれ以外のものかの判定する（Ｓ６０１）。処理Ｓ６０１の判定結果が位置情報でない場合（Ｓ６０１のＮｏ）、処理Ｓ６１１へ移りデコード結果の文字データをそのまま文字データとして適用する。

処理Ｓ６０１においてデコード結果の関連する情報がファイルの位置情報の場合（Ｓ６０１のＹｅｓ）、ファイルの位置情報がリンク先の文書番号か否かを判定する（Ｓ６０２）。ここで意味する文書番号とは、例えばファイルサーバーとリンクしたプリンタが印刷しようとする文書に任意の桁数の通し番号を表現する情報を２次元コードとして付加し印刷した場合などで、文書にユニークな番号が付加されている場合である。

処理Ｓ６０２において文書番号の場合（Ｓ６０２のＹｅｓ）、前述したファイルサーバー内を検索対象として文書番号のファイルにアクセスする（Ｓ６０４）。一方、処理Ｓ６０２において文書番号でなく（Ｓ６０２のＮｏ）、さらにデコード結果のリンク先がＵＲＬであると判定された場合（Ｓ６０３）、画像処理装置はＷｅｂ上のＵＲＬの示すファイルにアクセスする（Ｓ６０５）。

前述の処理Ｓ６０４，Ｓ６０５においてアクセスした関連する情報のファイル参照が可能か否か確認し（Ｓ６０６）、参照可能な場合（Ｓ６０６のＹｅｓ）、さらに、関連する情報のファイルが文字データを含んでいるか否かを判定する（Ｓ６０７）。処理Ｓ６０７において文字データを含まない場合（Ｓ６０７のＮｏ）、関連する情報のファイルからＯＣＲ処理等により文字データの作成処理を行う（Ｓ６０８）。この処理Ｓ６０８において、関連する情報の文字データを作成する処理として、関連情報のファイル内容をテキスト化し文字データとして出力する。このテキスト化し文字データとする処理は後述する。

そして、前述の処理Ｓ６０７，Ｓ６０８における２次元コードの文字データから単語を検索し、単語の出現数の多い順にランキングを作成する（Ｓ６０９）。続いて、作成したランキングからキーワードとして抜き出す単語を選出する（Ｓ６１０）。

ここで、ランキングを用いたキーワードの選出について図７を用いて説明する。単語の抽出は予め画像処理装置内において固定の条件を有している。例えば、本実施形態１において図７に示すように、漢字２文字以上またはカタカナの単語を対象としている。この条件を満たした単語の出現数の上位の１０個をランキングした表の一部を図７に示す。図７において「スカイスクレーパー」が４回、「階調」が３回「タクシー」が３回、「イエロー」が２回、そして「摩天楼」が１回となった。また、予め画像処理装置内の固定条件としては、前述した例に限られるものではなく、抽出する単語としてカタカナと漢字を組み合わせた単語としても良い。

本実施形態１ではランキングデータのうち上位の３個までをキーワードとして選出するようにしている。この例では図７に示すように、「スカイスクレーパー」、「階調」、「タクシー」が上位の３個にランキングされていることから、キーワードとして選出されることになる。

そして、紙文書から読み取った画像データ上の２次元コードの領域に、この２次元コードに関連する情報に基づく文字データから選出したキーワードを埋め込んだ文字データとして作成する（Ｓ６１１）。また、処理Ｓ６１０において選出したキーワードを先にデコードした２次元コードのデータに加えて、新たな２次元コードを作成する（Ｓ６１２）。なお、作成した新たな２次元コードは、図４の処理Ｓ４１３で作成した文書ファイルの可視レイヤー上で、処理Ｓ４０１で検索した２次元コードの存在する領域の位置に上書きされる。

また、図８は関連する情報のファイルに文字データを含まない場合、この情報ファイルから文字データを作成するフローチャートを示す図であり、図６における処理Ｓ６０８の処理である。

まず、関連する情報のファイルが文字データか否かを確認するため、ファイルの拡張子からファイルフォーマットを判定する。このため、関連する情報のファイルがＢＭＰ，ＪＰＥＧなどの画像データか否かの確認を行う（Ｓ８０１）。処理Ｓ８０１においてファイルが画像データである場合（Ｓ８０１のＹｅｓ）、画像データのＯＣＲ処理を行い文字データを作成する（Ｓ８０２）。

また、処理Ｓ８０１において画像データでない場合（Ｓ８０１のＮｏ）、音声データか否かを判定する（Ｓ８０３）。処理Ｓ８０３においてファイルがＷＡＶなどの音声データである場合（Ｓ８０３のＹｅｓ）、例えば、Ｖｉａ Ｖｏｉｃｅ（ＩＢＭ社製）等のソフトウェアを用いる音声認識手段により音声データを再生し（Ｓ８０４）、さらに音声認識処理して文字データを作成する（Ｓ８０５）。

また、処理Ｓ８０３においてファイルのフォーマットが画像データ、音声データにも当てはまらない場合（Ｓ８０３のＮｏ）、文字データは出力されず処理は終了する。

以上のように、光学的に紙文書から読み取った画像データから電子ファイル化した文書ファイルを作成する場合、紙文書に有する２次元コードに含まれた関連情報の文字データも全文検索の対象とすることができ、実用性の高い全文検索を実行することが可能となる。

また、図９は本実施形態１における画像処理装置の概略構成を示すブロック図であり、図中の矢印はデータの流れの一例を示したもので、これにより機能が限定されるものではない。紙文書を光学的に読み取った（スキャン）入力である画像データは２次元コード領域検出部９０１で２次元コードの有無を判定される。画像抽出部９０２は２次元コードと判定された領域を抽出するモジュールで、２次元コード領域から抽出した画像を２次元コードデコーダ９０３へ渡す。

２次元コードデコーダ９０３は２次元コードを文字データに変換し、関連ファイル検索部９０４に文字データとして渡す。関連ファイル検索部９０４はデコードした文字データがファイル位置情報か否か判断してファイル検索を行うほか、検索したファイルに文字データがある場合、文字データを検索したファイルと共に２次元コード文字データ作成部９０６に出力する。

２次元コード文字データ作成部９０６は文字データを関連ファイル検索部９０４から受け取っていない場合は、同時に転送された関連ファイルのフォーマットに応じて、関連ファイルをＯＣＲ処理部９０５または音声処理部９０７に出力し文字データを得る。その後、文字データに対して単語検索を実施し、出現回数からキーワードのランキングを作成し、キーワードを抽出して文字データ化して文書ファイル作成部９１０へ出力する。

また、ＯＣＲ処理部９０５は、紙文書から読み取った画像データを入力としてＯＣＲ処理を行いＯＣＲ処理した結果を文書ファイル作成部９１０へ出力する。画像減色処理部９０８は読み取った画像データを適当な色数に減色した減色画像を画像圧縮処理部９０９に出力する。画像圧縮処理部９０９は入力された画像データを適当なフォーマットに圧縮した画像データを作成し、文書ファイル作成部９１０へ出力する。

そして、文書ファイル作成部９１０において、入力された圧縮した画像データ、ＯＣＲ処理した文字データ、２次元コードの関連する情報に基づく文字データを文書ファイルとして合成し、例えばＰＤＦなどのマルチレイヤーフォーマットの文書ファイルを生成する。

図１０（ａ）は本実施形態１における紙文書から読み取った画像データであり、（ｂ）は電子ファイル化した文字データ、（ｃ）は電子ファイル化した画像データとして作成された文書ファイルの模式図である。図１０（ａ）において、１００１は読み取った画像データに付加された２次元コードである。図１０（ｂ）は電子ファイル化したテキストレイヤーを示し、図１０（ａ）の画像データ上で２次元コード１００１の存在する位置に２次元コード１００１をデコードした結果の関連する情報のファイル内容から抽出した文字データ１００２が埋め込まれている。その他の文字データは図１０（ａ）に示す読み取った画像データをＯＣＲ処理して得られた文字データである。また、図１０（ｃ）は読み取った画像データを白黒２値化等の処理をして電子ファイル化した画像レイヤーである。作成される電子ファイル化された文書ファイルは、図１０（ｃ）を可視レイヤー、図１０（ｂ）を不可視レイヤーとしたマルチレイヤーフォーマットの文書ファイルとなる。

なお、図１０（ｃ）の画像データにおける２次元コード１００３は、図１０（ａ）の２次元コード１００１に代えて、図６の処理Ｓ６１２において作成した新たな２次元コードとする。これにより、図９の画像減色処理部９０８，画像圧縮処理部９０９における処理により劣化して、再印刷した２次元コードをデコードしたときにエラーすることを防ぎ、さらに、再作成時に２次元コード１００１をデコードした内容を含めることから、より詳細な関連情報を得るようにすることもできる。

また、図１０（ｂ），（ｃ）として、テキストレイヤーと画像レイヤーを可視，不可視レイヤーのマルチレイヤーとしたが、文字データのテキストレイヤーに画像レイヤーの画像部分を形成した１つの可視レイヤーとしても良く、さらには、２層以上のマルチレイヤーとしても良い。

図１１（ａ）〜（ｆ）は本実施形態１で作成されるテキストレイヤーの画像処理の過程を模式的に示した図である。図１１（ａ）は２次元コード１００１を有する読み取った画像データを示す図である。画像処理装置は前述の２次元コード１００１の領域を検出する処理によりを特定する（図１１（ｂ）参照）、２次元コード領域１００１’を用いて図１１（ａ）の読み取った画像データから２次元コード１００１を抽出した画像を作成する（図１１（ｃ）参照）。

２次元コード１００１は２次元コードデコーダ９０３（図９参照）で文字データ化され、さらに関連する情報のファイルを検索した結果から該当のファイル内容から出現頻度の高いキーワードの中から一部を追加した文字データ１００２を得る（図１１（ｄ）参照）。

一方、読み取った画像はＯＣＲ処理部９０５によって文字の領域をＯＣＲ処理して文字化された文字データを得る（図１１（ｅ）参照）。この図１１（ｅ）の文字データに図１１（ｄ）の文字データが追加されてテキストレイヤーが作成される（図１１（ｆ）参照）。

以上に説明したように、紙文書の文字データと２次元コードの文字データを含んだ電子ファイル化した文書ファイルが作成でき、この文書ファイルを検索する全文検索の際に２次元コードに含まれている紙文書に関連した情報も検索対象とすることができる。

図１２は本発明の実施形態２における画像処理装置において、紙文書から読み取った画像データを文字画像と背景画像に分離して処理を行うフローチャートである。図１２を参照しながら本実施形態２における読み取った画像データに対して文字部と背景部を分離して異なる圧縮を行う処理について説明する。

読み取った画像データから原稿内にある２次元コードの領域を検索する（Ｓ１２０１）。処理Ｓ１２０１の２次元コードの領域検出は、実施形態１と同様に画像データ内の矩形領域を抽出することで実施する。２次元コードの有無を確認し（Ｓ１２０２）、２次元コード領域が検出された場合（Ｓ１２０２のＹｅｓ）、２次元コード領域の画像を抽出する（Ｓ１２０３）。処理Ｓ１２０３における２次元コード領域の抽出処理は、２次元コードが外接する矩形だけを抜き出して新たな画像データを作成する。処理Ｓ１２０３により抽出した２次元コードをデコード処理する（Ｓ１２０４）。また、処理Ｓ１２０２において、２次元コード領域が検出されなかった場合（Ｓ１２０２のＮｏ）は処理Ｓ１２０８へと移行する。

処理Ｓ１２０４において２次元コードのデコードが成功したか否か確認を行う（Ｓ１２０５）。２次元コードのデコード処理が成功を確認した場合（Ｓ１２０５のＹｅｓ）はデコード結果に基づいた処理を行う（Ｓ１２０７）。この処理Ｓ１２０７において、２次元コードに関連する情報から文字データの作成は、前述の図６の処理Ｓ６０１〜Ｓ６１２で説明した処理と同一である。その後の処理として、２次元コードに関連する情報が画像、音声等のデータの場合においても、これらのデータから文字データを作成する。この文字データの作成する手段についても、図８の処理Ｓ８０１〜Ｓ８０５を用いて説明した処理と同一である。

次に、２次元コードを除く読み取った画像データの画像全体をＯＣＲ処理する（Ｓ１２０８）。ＯＣＲ処理した結果は文字の座標データを含む文字データである。この文字データをテキストレイヤー化する（Ｓ１２０９）。また、読み取った画像から文字部分を抽出し、文字画像と背景画像に分離する（Ｓ１２１０）。さらに、文字画像を減色し（Ｓ１２１１）、続いて文字画像を圧縮する（Ｓ１２１２）。文字画像の圧縮減色がインデックスカラーの場合はＰＮＧ、白黒２値の場合はMMR-TIFF（MMR-Tagged Image File Format）などを用いることができる。

また、分離した背景画像の解像度縮小処理を行う（Ｓ１２１３）。解像度縮小処理は背景画像のサイズを低減するために実施する。背景画像の圧縮処理を行う（Ｓ１２１４）。背景画像には写真など色数の多い領域が含まれる可能性が高いため、多くの色表現に適したＪＰＥＧなどを用いることができる。

処理した文字画像と背景画像から画像レイヤー化する（Ｓ１２１５）。その後、文書ファイルを作成する（Ｓ１２１６）。文書ファイルのフォーマットは文字画像の透過などの機能が使用できるＰＤＦが適当である。背景画像を可視レイヤーとし、この背景画像の上に透過色を用いた文字画像を不可視レイヤーとして重ねる。文字画像をＯＣＲ結果の文字データと２次元コードの関連する情報から得た文字データとすることにより、視認性が良くかつ文字データを含む文書ファイルを作成することができ、全文検索等が可能となる。

図１３は本実施形態２における画像処理装置の概略構成を示すブロック図である。紙文書を光学的に読み取った（スキャン）入力である画像データは２次元コード領域検出部１３０１で２次元コードの有無を判定される。画像抽出部１３０２は２次元コードと判定された領域を抽出するモジュールで、２次元コード領域から抽出した画像を２次元コードデコーダ１３０３へ渡す。

２次元コードデコーダ１３０３は２次元コードを文字データに変換し、関連ファイル検索部１３０４に文字データとして渡す。関連ファイル検索部１３０４はデコードした文字データがファイル位置情報か否か判断した上でファイル検索を行うほか、検索したファイルに文字データがある場合は文字データを検索したファイルと共に２次元コード文字データ作成部１３０７に出力する。

２次元コード文字データ作成部１３０７は文字データを関連ファイル検索部１３０４から受け取っていない場合は、同時に転送された関連ファイルのフォーマットに応じて、関連ファイルをＯＣＲ処理部１３０６または音声処理部１３０８に出力し文字データを得る。その後、文字データに対して単語検索を実施し、出現回数からキーワードのランキングを作成し、キーワードを抽出して文字データ化して文書ファイル作成部１３１１へ出力する。

また、ＯＣＲ処理部１３０６は、読み取った画像データを入力としてＯＣＲ処理を行いＯＣＲ処理した結果を文書ファイル作成部１３１１へ出力する。また、画像分離部１３０５は読み取った画像データを文字画像と背景画像に分離する。画像減色処理部１３０９は文字画像を適当な色数に減色し減色画像を画像圧縮処理部１３１０に出力する。画像解像度変更部１３１２は背景画像のサイズ縮小を目的とした解像度縮小を実施する。

画像圧縮処理部１３１０は文字画像および背景画像の各画像を適当なフォーマットに圧縮した画像データを作成し文書ファイル作成部１３１１へ出力する。文書ファイル作成部１３１１は、文字画像，背景画像からなる画像データ、およびＯＣＲ処理した文字データ，２次元コードの関連する情報から得た文字データを合成した文字データから、ＰＤＦなどのマルチレイヤーフォーマットの文書ファイルを生成する。

これにより、紙文書を電子ファイル化した文書ファイルに対して全文検索等を実行した際に、紙文書に２次元コードを用いて添付された補足資料等の情報を含めた検索を行うことができる。

以上のように、光学的に紙文書から読み取った画像データから電子ファイル化した文書ファイルを作成する場合、紙文書に有する２次元コードに含まれた関連情報の文字データも全文検索の対象とすることができ、実用性の高い全文検索を実行することが可能となる。

本発明に係る画像処理装置および電子ファイル生成方法は、電子ファイル化した紙文書から読み取った画像データに有する２次元コードに含まれた関連情報も全文検索の対象として実用性の高い検索ができ、符号化コードに含まれる関連情報を電子ファイル内に埋め込み、全文検索時には関連情報を含んだ検索を行う画像処理装置および処理方法として有用である。

本発明の実施形態の画像処理装置であるデジタルカラー複合機を概略的に示す外観斜視図 本実施形態のデジタルカラー複合機の概略構成を示すブロック図 本実施形態のデジタルカラー複合機の操作パネルの構成を示す平面図 本発明の実施形態１における画像処理装置の紙文書から電子ファイル化する処理を示すフローチャート （ａ）〜（ｄ）はＱＲコード（登録商標）を例とした２次元コードの検索処理を説明する図 本実施形態１における２次元コードの関連情報から文字データ作成のフローチャート 本実施形態１におけるキーワード選出する漢字２文字以上またはカタカナの単語の例を示す図 本実施形態１における関連情報ファイルに文字データを含まない場合の文字データ作成のフローチャート 本実施形態１における画像処理装置の概略構成を示すブロック図 本実施形態１における（ａ）は紙文書から読み取った画像データ、（ｂ）は電子ファイル化した文字データ、（ｃ）は電子ファイル化した画像データを示す模式図 （ａ）〜（ｆ）は作成されるテキストレイヤーの画像処理過程を示す模式図 本発明の実施形態２における画像処理装置の紙文書から読み取った画像データを文字画像と背景画像に分離処理するフローチャート 本実施形態２における画像処理装置の概略構成を示すブロック図

１ デジタルカラー複合機
２ ＬＡＮ
３ サーバーコンピュータ
４ クライアントコンピュータ
５ ファクシミリ装置
７ 印刷装置
８ 画像読取装置
９ 外部メディア入出装置
１０ 画像処理制御ユニット
１１ 印刷制御ユニット
１２ 画像読取制御ユニット
１３，３１ ＣＰＵ
１４ ＳＤＲＡＭ
１５ ＲＯＭ
１６ ＮＶＲＡＭ
１７ ＨＤＤ
１８，３３ ＬＡＮ制御部
１９ ＨＵＢ
２０ ＦＡＸ制御ユニット
２１ 公衆電話網
２２ 構内交換機（ＰＢＸ）
２３，３６ 表示制御ユニット
２４，３７ 操作入力制御ユニット
２５，３８ 制御パネルＩ／Ｆ
２６ 通信ケーブル
３２ メモリユニット
３４ 記憶装置
３５ 記憶装置制御ユニット
４０ 表示装置
４１ 操作入力装置
４１ａ タッチパネル
４１ｂ キーボード
Ａ 画像処理ユニット部
Ｂ 情報処理ユニット部
Ｐ 操作パネル

Claims (18)

1. 原稿の画像を読み取り該画像を表す画像データを生成する画像読取り装置；
   前記画像データの中の前記原稿上の２次元コード画像の２次元コードを検出する検出手段；
   前記２次元コードを抽出する抽出手段；
   該抽出手段が抽出した２次元コードを復号するデコーダ；
   該デコーダが復号したデータに基づき該データに関連するファイルを検索し、該ファイルの文字データを検索する文字データ検索手段;
   画像データが表す画像の文字を検出し文字データを生成するＯＣＲ処理手段；および、
   原稿を読取った前記画像データから前記ＯＣＲ処理手段が生成した文字データに前記検索手段が検索した文字データを追加したテキストデータを電子ファイル化するファイル作成手段；
   を備えた画像処理装置。
2. 前記文字データ検索手段が文字データを検索しなかった場合に、前記ファイルに対して前記ＯＣＲ処理手段を用いて文字認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとして前記ファイル作成手段に与える文字データ作成手段；を更に備える、請求項１に記載の画像処理装置。
3. 前記文字データ作成手段は、前記ＯＣＲ処理手段が前記ファイルに対して文字認識をして生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとして前記ファイル作成手段に与える；請求項２に記載の画像処理装置。
4. ファイルの音声情報を検出し該音声情報が表す文字の文字データを生成する音声処理手段；および、前記文字データ検索手段が文字データを検索しなかった場合に、前記ファイルに対して前記音声処理手段を用いて音声認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとして前記ファイル作成手段に与える文字データ作成手段；を更に備える、請求項１に記載の画像処理装置。
5. 前記文字データ作成手段は、前記音声処理手段が生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとして前記ファイル作成手段に与える；請求項４に記載の画像処理装置。
6. 前記ファイル作成手段は、前記文字データ作成手段が作成した文字データを、複数のレイヤーで構成された電子ファイルの、前記レイヤーの少なくとも１つに追加する；請求項２〜５のいずれか１つに記載の画像処理装置。
7. 前記ファイル作成手段は、前記文字データ作成手段が作成した文字データを、テキストレイヤー，画像レイヤーで構成された電子ファイルの、前記テキストレイヤーに追加する；請求項２〜５のいずれか１つに記載の画像処理装置。
8. 前記ファイル作成手段は、前記原稿の前記２次元コード画像があった位置又はその近傍に、前記文字データ作成手段が作成した文字データを配置する；請求項６または７記載の画像形成装置。
9. 前記２次元コード画像の２次元コードを検出する検出手段は、前記画像読取り装置が生成した画像データ内から前記２次元コード画像の矩形を抽出することにより、復号化する２次元コードの画像データを選択する；請求項１に記載の画像処理装置。
10. 原稿の画像を読み取り該画像を表す画像データを生成する画像読取り装置，画像データが表す画像の文字を検出し文字データを生成するＯＣＲ処理手段および該ＯＣＲ処理手段が生成した文字データを電子ファイル化する手段を含む画像処理装置の、
    前記画像読取り装置によって原稿の画像を読み取り該画像を表す画像データを生成し、
    前記電子ファイル化する手段によって、前記画像データの中の前記原稿上の２次元コード画像の２次元コードを検出し、検出した２次元コードを抽出し、抽出した２次元コードを復号し、復号したデータに基づき該データに関連するファイルを検索し、該ファイルの文字データを検索し、該文字データを、原稿を読取った前記画像データから前記ＯＣＲ処理手段が生成した文字データに追加したテキストデータを電子ファイル化する、電子ファイル生成方法。
11. 前記電子ファイル化する手段は、前記ファイルの文字データの検索で文字データが得られない場合には、前記ファイルに対して前記ＯＣＲ処理手段を用いて文字認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとする；請求項１０に記載の電子ファイル生成方法。
12. 前記電子ファイル化する手段は、前記ＯＣＲ処理手段が前記ファイルに対して文字認識して生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとする；請求項１１に記載の電子ファイル生成方法。
13. 前記画像処理装置は、ファイルの音声情報を検出し該音声情報が表す文字の文字データを生成する音声処理手段を含み；前記電子ファイル化する手段は、前記ファイルの文字データの検索で文字データが得られない場合には、前記ファイルに対して前記音声処理手段を用いて音声認識をして文字データを生成し出現回数が多い文字データを前記追加する文字データとする；請求項１０に記載の電子ファイル生成方法。
14. 前記電子ファイル化する手段は、前記音声処理手段が生成した文字データに対して単語検索して出現回数が多い単語を抽出して該単語を表す文字データを前記追加する文字データとする；請求項１３に記載の電子ファイル生成方法。
15. 前記電子ファイル化する手段は、前記追加する文字データを、複数のレイヤーで構成された電子ファイルの、前記レイヤーの少なくとも１つに追加する；請求項１０〜１４のいずれか１つに記載の電子ファイル生成方法。
16. 前記電子ファイル化する手段は、前記追加する文字データを、テキストレイヤー，画像レイヤーで構成された電子ファイルの、前記テキストレイヤーに追加する；請求項１０〜１４のいずれか１つに記載の電子ファイル生成方法。
17. 前記電子ファイル化する手段は、前記原稿の前記２次元コード画像があった位置又はその近傍に、前記追加する文字データを配置する；請求項１５または１６記載の電子ファイル生成方法。
18. 前記電子ファイル化する手段は、前記２次元コード画像の２次元コードの検出において、前記画像読取り装置が生成した画像データ内から前記２次元コード画像の矩形を抽出することにより、復号化する２次元コードの画像データを選択する；請求項１０に記載の電子ファイル生成方法。

Images