JP4934454B2 - 画像読取装置 - Google Patents

Description

本発明は、オフィスや家庭の文書、もしくは伝票や郵便物，紙幣などの帳票類、その他の立体物を、エリアイメージセンサを用いたカメラで読取り、補正，加工する画像読取装置に関するものである。

近年、上向きに置かれたドキュメントを支柱に固定されたカメラで真上から読取る読取装置が製品として出ている。これらの読取装置は、照明条件（天井蛍光燈のチラツキ，照明光の種類，特性，個数，支柱や操作者などの影）や文書の位置・形状（傾きや光軸からのずれによる変形など２次元的歪み）などによって読取った画像データには不要な歪みや影が発生しているため、キャリブレーションを行って環境光の影響を取り除く必要がある。一般的なキャリブレーション方法としては、白紙を読ませることでホワイトバランス調整やシェーディングデータの取得を行っている。

特許文献１のように、書画カメラなどは読取面を白にしてキャリブレーション時は読取面の白を読取るものがある。読取った画像に対してＯＣＲ認識を行うニーズがあるが、ＯＣＲ認識を行う際、原稿の切り出し処理を行う必要がある。原稿と原稿台が同じ色であると原稿の縁の見分けが難しいため、ＯＣＲ認識を主に行う読取装置では、反射率の高い原稿が多いので原稿台は黒にしている。そのため、ＯＣＲ認識を主に行う読取装置では白紙を用いてキャリブレーションを行っている。しかし、キャリブレーション時にはユーザーに白紙を置いてもらう手間が必要となる。そこでこの問題を解決する方法として、特許文献２のように、原稿台上に表示部を設けてキャリブレーション時には表示部に白を表示させ、読取時は黒を表示させることで白紙を不要とできる方法がある。

また、コンピュータグラフィックスの分野では、環境光の計測を行うために、画像取り込み時に、対象物の代わりに鏡面球や立体構造物を置いて、鏡面球に写った画像や立体構造物の影を利用した手法が提案されている。

特開２００１−０４５２４４号公報 特開２００４−２００８４２号公報

しかし、上記従来技術によれば、オープンスキャナの照明環境が変化するたびに、原稿台に基準シートを置いてシェーディング波形読込み、補正処理を実施する必要があり、基準シートの管理や操作法の習得が必要であり作業効率が悪かった。

また、特許文献２の方法は、表示部が必要になりコスト高になる。また原稿を置く部分が表示部になるので、本等重い物を置く際は耐圧の問題がある。さらに、表示部で白を表示させる際、高精細カメラで読取って一様になるレベルで均一に表示させることは難しい。またＲＧＢで白を表示させる際、高精細カメラで読取っても白で見えるレベルで表示部も高精細であることが必要である。そのような表示部は高価な物になる。

また、正しくシェーディング波形を読取りキャリブレーションを実行したとしても、原稿をセットした後に、読取り装置の近くに操作者や顧客が接近した際、照明環境が変化し、原稿に操作者や支柱の影が発生し読取り精度が落ちるという問題があった。

また、コンピュータグラフィックスの照明環境の計算には多大な時間がかかるという問題点もあった。

上記の課題を解決するための本発明の画像読取方法は、撮像対象物を置く原稿台と、入射光量に対応する信号を出力するエリアイメージセンサと、該エリアイメージセンサで前記原稿台及び前記原稿台に置かれた原稿をカラー撮影するための光学系を有するカメラとを用いた画像読取方法において、原稿台を読取って得た原稿台読取画像データと原稿台反射率に対応する値を用いて白色の読取画像データを推定してシェーディングデータを生成するシェーディングデータの推定を行うことを特徴とする。

また、本発明の画像読取方法の原稿台反射率は、読取画像データ内に存在する既知の反射率のマーカー領域画像データと前記読取画像データ内に存在する原稿台読取領域の画像データを用いて原稿台読取領域の反射率を求めることを特徴とする。

また、本発明の画像読取方法は、撮像対象物を置く原稿台と、入射光量に対応する信号を出力するエリアイメージセンサと、該エリアイメージセンサで前記原稿台及び前記原稿台に置かれた原稿をカラー撮影するための光学系を有するカメラとを用いた画像読取方法において、原稿台上の読取領域を読取って得た原稿台読取画像データと、原稿台上の読取領域に均一な反射率の読取媒体を置いて読取って得た基準均一画像データを基に原稿台ムラ情報を生成する原稿台ムラ情報を生成すること、前記原稿台ムラ生成段階で得た原稿台ムラ情報と、原稿台を読取って得た原稿台読取画像データと予め既知の若しくは画像データから得た原稿台反射率に対応する値を用いて白色の読取画像データを推定してシェーディングデータを生成するシェーディングデータを推定することを特徴とする。

また、本発明の画像読取方法は、撮像対象物を置く原稿台と入射光量に対応する信号を出力するエリアイメージセンサと、該エリアイメージセンサで前記原稿台及び前記原稿台に置かれた原稿をカラー撮影するための光学系を有するカメラとを用いた画像読取方法において、原稿台上の読取領域を読取って原稿の有無を判定すること、該判定により原稿が無いと判定された場合に、原稿台上の読取領域を読取り、前記読取った原稿台読取画像データを用いてシェーディングデータ生成することを特徴とする。

また、本発明の画像読取方法は、原稿台上の読取領域の反射率が５％以上かつ７５％以下であることを特徴とする。

また、原稿の周辺に基準マーカーを配置し、これらの濃度を検出することで、あらかじめ記憶したシェーディング波形を修正することで、原稿をセットした後での照明変動に対応できるようにした。

また、原稿の周辺に配置するマーカーを立体形状とし、照明の方向，強さ，大きさなどの照明環境を推定可能とし、シェーディング波形の補正精度を向上させた。

また、上記推定した光源形状，強度を元に、オープンスキャナの支柱や操作者や顧客など障害物による影の発生を推定し、補正の精度を向上させた。

また、マーカーとして、鏡面球による概略の障害物や照明の方向を求めた上で、これを初期値として、原稿台の上に投影された立体構造物の影で検証することにより、精度の高い照明環境の推定を実現した。

予め既知の若しくは原稿台反射率検出部で読取画像データから得た原稿台読取領域の反射率を用いて、原稿を置かない状態で白と異なる色の原稿台読取領域の読取画像データを基に白色の読取画像データを推定しシェーディングデータ推定部でシェーディングデータを生成する。白と異なる色の原稿台読取領域の読取画像データを取得して、その原稿台読取領域の反射率を求めて白の反射率（１.０ ）になるように演算を行うことで白紙読取画像データを用いたシェーディングデータに近似させることができる。このように生成したシェーディングデータで補正すれば白紙（基準シート）読取画像データを用いたシェーディング補正と同等の出力画像を得ることができる。

また、原稿台読取領域の反射率が均一でない場合が多いと考えられるが、原稿台上の読取領域の原稿台読取画像データと、原稿台上の読取領域に白紙（基準シート）を置いて白画像を読取って得た白画像データから原稿台読取領域の反射率のムラ情報を求める原稿台ムラ生成段階を設ける。そうすれば、原稿台読取領域の反射率が均一でない場合でも、前記原稿台ムラ生成段階で得た原稿台ムラ情報と、原稿台を読取って得た原稿台読取画像データと予め既知の若しくは画像データから得た原稿台反射率に対応する値を用いて、原稿台読取領域の反射率のムラを除去した白色の読取画像データを推定しシェーディングデータを生成することができる。原稿台ムラ情報の取得は基本的には１度行うことで済み、以降で行うことはない。そのため、通常は白紙（基準シート）を必要とせずにシェーディングデータを取得でき、使い勝手が向上する。

さらに、定期的に原稿台上の読取領域を読取って原稿の有無を判定する判定部を備えることで、前記判定部で原稿が無いと判定された場合に、原稿台上の読取領域を読取り、読取った原稿台読取画像データを用いて、上記のシェーディングデータ推定部でシェーディングデータ生成すれば、ユーザーが意識しないでも自動的にシェーディングデータを取得でき、使い勝手が飛躍的に向上する。

また、原稿や読取り対象物の周囲に配置した立体マーカーにより、照明環境を推定することで、原稿への照明条件を把握でき、キャリブレーション用のシェーディング波形を修正することで、原稿設定後に照明環境が変化した際でも、ダイナミックに補正を実行できる。

また、鏡面球の画像を初期値として、立体構造物の影を推定し、実際観測した影のデータとの差異を補正することにより、高速で、高精度な計算処理を実現できた。このことにより、従来のコンピュータグラフィックスの照明環境の計算には多大な時間がかかるという問題点を解決出来る。

以下本発明の実施例について図１を用いて説明する。

読取り装置は、読取部１と画像処理部２とで構成される。読取部１はカメラ部１１と固定する支柱１２と、撮像物を置く原稿台１３、原稿台１３上のカメラ撮像範囲１３２の内にある読取領域１３１と、マーカー領域１３４とで構成される。原稿は読取領域１３１に置いて読取る。読取画像データ１ａにはカメラ撮像範囲１３２の画像が収まっている。つまり、画像を読取ると読取領域１３１だけでなく、その外側のマーカー領域１３４の画像データも取得することができる。

画像処理部２は読取部１で読取った画像データ１ａから原稿台１３上の読取領域１３１の反射率を求める原稿台反射率検出部２１と、求めた反射率及び読取った読取領域１３１の画像データを基に、白紙読取画像を推定しシェーディングデータを生成するシェーディングデータ推定部２２と、生成したシェーディングデータを記憶するシェーディングメモリ２３と、生成したシェーディングデータを用いて原稿読取画像に対してシェーディングの補正を行うシェーディング補正部２４とからなる。

従来、白紙を読取った画像データをシェーディングデータとして使用していたが、シェーディングという照明ムラ等の歪みは、白でない色でも同様に発生する。つまり、白でない色でも発生したシェーディングを用いても、照明ムラ等の歪みを除去できるはずである。

但し、あまり反射率が低いとＳＮ比が悪くノイズばかりとなる。また、信号レベルの小さい範囲は信号の線形性が確保された信号範囲とならない場合もありうる。信号の線形性が確保されていないデータでシェーディングデータを生成してシェーディング補正してもＲＧＢの色合いがずれてしまう可能性もある。そのため、原稿台の読取領域１３１の反射率Ｒは０.０５（５％）以上で行うことが考えられる。

また、原稿台の反射率Ｒを１.０（１００％）にすると原稿読取を行い２値化すると原稿台も白紙と同様に白になる。後処理でＯＣＲ認識を行う場合は、原稿と原稿台の境界を見つけたいため、原稿台は２値化時に黒になることが望まれる。そのためには２値化時に黒になる反射率にすることが考えられる。ＯＣＲ認識処理を行う場合のみ２値化閾値を変えることも考えられる。また、原稿の反射率は実際には１.０（１００％）にはならず、９０〜７５％程度と考えるので、原稿台の読取領域１３１の反射率Ｒは７５％以下にすることが考えられる。原稿台の読取領域１３１の反射率については、反射率Ｒは０.０５（５％）以上で、かつ原稿台の読取領域１３１の反射率Ｒは７５％以下にすることが考えられる。

白でない（反射率５％以上〜７５％以下の）原稿台読取領域１３１をシェーディング読取媒体と兼ねることで基準シート（をシェーディング読取媒体）を不要にできる。

原稿台反射率検出部２１では原稿を置いていない状態の読取領域、つまり原稿台そのものの反射率を求める。図２に原稿台反射率検出部２１の実施例のブロック図を示す。ここでは説明を簡単にするためにマーカー領域１３４を白（反射率：１.０）領域の場合の実施例を示すことにする。マーカー領域１３４すなわち、白領域１３４の画像の信号値を求める白領域データ検出部２１１と、読取領域１３１の画像の信号値を求める読取領域データ検出部２１２と、除算部２１３とから実現できる。白領域データ検出部２１１では、読取った撮像範囲の画像データ１ａから白領域４に対応する画像データ位置の画像データの値を白領域データとして検出する。同様に読取領域データ検出部２１２でも読取った撮像範囲の画像データ１ａから読取領域１３１に対応する画像データ位置の画像データの値を読取領域データとして検出する。画像データ位置は予め既知の座標としても良い。ユーザーが指定しても良いし、一般的なパターン検出処理で自動的に検出してもよい。先に述べたが、マーカーは白でなくてもよく、反射率が既知であれば、その反射率を基に白（反射率：１.０）に変換して計算できる。例えば、つまり、白領域データ検出部２１１であるマーカー領域データ検出部２１１の信号に対して、１.０／マーカーの反射率の値を掛算すればよい。具体的には０.５の反射率であれば、２１ａの信号を２倍すれば白（反射率：１.０）に変換できる。

除算部２１３では検出した白領域データ２１ａと読取領域データ２１ｂとから２１ｂ／２１ａの演算を求めて反射率２ａとして出力する。ここで反射率（１.０〜０.０）は白領域データを１.０として読取領域データの割合を求めている。例えば、白領域データが２５５で読取領域データが１２７の場合は反射率０.５となる。読取領域１３１の反射率は読取領域の物性により決まっている場合もある。求める原稿台反射率が予め判っていれば、画像から求めることはなく、例えば、原稿台反射率検出部２１をレジスタに置き換えて、固定値を設定しておくことが考えられる。

図３に本発明のシェーディングデータ推定部２２の実施例を示す。シェーディングデータ推定部２２では原稿台反射率検出部２１で求めた反射率２ａに対して逆数１／Ｎ ２１１で逆数をとり、画像メモリ２２３に格納している原稿台読取領域の画像データと乗算部２２２で掛算を行う。実際の白画像を読取って得たシェーディングデータではないが、原稿台読取領域の画像データを白になるような値（１／反射率）で倍されるので、白領域を読取った画像データに近似させてシェーディングデータを生成できる。例えば、反射率０.５ の場合は原稿台読取領域の画像データの信号値を２倍する。

上記、原稿台反射率検出部２１やシェーディングデータ推定部２２の実施例では１色しか記していないが、Ｒ（赤），Ｇ（緑），Ｂ（青）とも色毎に分けて同様に行うことで実現できるので説明は省く。この方法を用いることで原稿台読取領域は灰色でも良いし、青や赤等の様々な色にしても、シェーディングデータの取得が可能となる。マーカー領域もカラフルでよい。生成したシェーディングデータ２ｂはシェーディングメモリ２３に格納させる。

また、原稿台が無彩色であれば、例えば、シャッタースピードやセンサ出力のＧａｉｎなどのカメラパラメータ調整で白紙を読取った値の信号値がある特定の範囲Ｄ（２４５〜２５４）に収まるように調整されていれば、原稿台反射率を用いずに、原稿台読取領域の画像データのピーク値ＰＧを求めて、そのピーク値が範囲Ｄ（２４５〜２５４）に収まる倍率（Ｄ／ＰＧ）を求めて、原稿台読取領域の画像データに掛算することでシェーディングデータを生成することも考えられる。しかし、原稿台の反射率が低いとシェーディングデータはデジタル的に拡大されているたけなので精度が劣化し、補正後の画質も劣化することが考えられる。

そのため、シェーディング取得時にはカメラパラメータ（シャッタースピード及びまたはセンサ出力のＧａｉｎ値）を変えてアナログ信号の時点で値を大きくして読取ることも考えられる。そのカメラパラメータは調整された値で読取った原稿台読取領域１３１の画像データのピーク値が範囲Ｄ（２４５〜２５４）に収まる倍率（Ｄ／ＰＧ）を求めて、その倍率を基にカメラパラメータを変更することも考えられる。また、原稿台反射率検出部２１で求めた反射率から白に近似するその倍率を基にカメラパラメータを変更することも考えられる。そうすれば、精度劣化を抑えることができる。

環境光が暗い場合は上記のようにアナログ信号の時点で値を大きくしても、白紙を読取った値の信号値がある特定の範囲Ｄ（２４５〜２５４）に収まらないこともありえる。その場合は白に近似するその倍率を基にカメラパラメータを変更した後に、再度、原稿台読取領域を読取り、原稿台読取領域の画像データのピーク値Ｐ′Ｇを求めて、範囲Ｄ（２４５〜２５４）に収まる倍率を求めて、原稿台読取領域の画像データにデジタル的に掛算してシェーディングデータを生成すればよい。そうすることで、極力、精度劣化は抑えることができると考えられる。しかし、その際、ここで求めたカメラパラメータは実際の原稿読取りでは使用できない場合があるので、原稿を読取る際にはカメラパラメータを元に戻すことが考えられる。つまり、シェーディング推定段階と、原稿を読取り、画像の補正を行う場合のカメラパラメータが異なる場合がある。このようにシェーディング推定段階と原稿を読取り、画像の補正を行う段階でカメラパラメータを切り替えることで、極力、シェーディングデータの精度劣化は抑えることができると考えられる。

図４にシェーディング補正部の実施例のブロック構成図を示す。実際に読取を行う際は読取領域に原稿が置かれる。原稿読取の０〜２５５の画像データ１ａに対してシェーディング補正を行う際、シェーディングメモリ２３に格納しているシェーディングデータ２ｃを用いて、演算部２４１で（２５５＊１ａ）／２ｃの演算を行うことでシェーディング補正を行うことができる。シェーディングデータは白紙相当のデータとなっているため、シェーディングムラの少ない良好な出力画像３を得ることができる。

上記方法により、原稿台１３の読取領域１３１を用いてシェーディングデータを低コストに作成できる。画像補正のためのシートも不要になり、キャリブレーション時にユーザーがシートを置く手間も不要となる。

上記は原稿台の読取領域が均一な反射率であることを前提にしているが、実際には読取領域が均一な反射率とならない場合が多い。また均一な反射率にするとコストがかかる場合もある。反射率が均一でないムラのある読取領域の画像でシェーディングデータを生成するとシェーディングデータに反射率のムラが反映される。その場合、読取画像の環境光の影響は除去できるが、ムラの部分は補正不足または過補正される可能性があり、出力画像３の画質が劣化してしまう。

以下本発明の実施例について図５を用いて説明する。

読取り装置は、読取部１と画像処理部２とで構成される。読取部１は図１と同様で説明を省く。

画像処理部２は読取部１で読取った画像データ１ａから原稿台ムラ情報を求める原稿台ムラ情報生成部２５と、画像データ１ａから原稿台１３上の読取領域１３１の反射率を求める原稿台反射率検出部２１と、求めた反射率、原稿台ムラ情報及び読取った読取領域１３１の画像データを基に白紙読取画像を推定しシェーディングデータを生成するシェーディングデータ推定部２６と、シェーディングデータ推定部２６でシェーディングデータ生成時、原稿台ムラ情報を使用するか否で出力を切り替えるスイッチ４と、生成したシェーディングデータを記憶するシェーディングメモリ２３と、生成したシェーディングデータを用いて原稿読取画像に対してシェーディングの補正を行うシェーディング補正部２４とからなる。

図６に原稿台ムラ情報のグラフを示す。

横軸に主走査方向の画素位置、縦軸に信号値を示す。白紙画像をＷとし、白紙画像の画像位置Ｐ点の信号をＰＷとする。図１のシェーディングデータ推定部２２で生成したシェーディングデータ（白紙の近似データ）をＨＷとし、Ｐ点の信号をＰＨＷとする。原稿台読取領域１３１が均一でなく、原稿台読取領域１３１の左端近辺の反射率が低いと、ＰＷとＰＨＷに差が生じる。この差分のムラ情報を求めて補正できれば、原稿台読取領域１３１が均一でなくても良好なシェーディングデータの生成と良好なシェーディング補正後の出力画像が得られる。

白紙の読取画像は環境光による画像出力のムラは生じるが、白紙媒体自体は色ムラ、輝度ムラは無いと考えられる。そこで、原稿台ムラ情報を得るために白紙の読取画像データを用いることを考えた。しかし、特に白紙である必要はなく、反射率が均一の物であればよい。しかし、最も手に入りやすいのは白紙であるので、以下の実施例の説明は白紙を用いる方法で説明する。

図７に本発明の原稿台ムラ情報生成部２５の実施例を示す。まず、図１のシェーディングデータ推定部２２で生成する方法により、原稿台反射率と原稿台読取領域１３１の画像を用いて、白紙の近似データ（シェーディングデータ２ｂ）を生成し、画像メモリ２５２に格納する。その後に白紙を読取領域１３１に置いて白紙画像データ１ａを読取り、除算部２５１において白紙画像データ１ａ／白紙の近似データ（シェーディングデータ２５ｂ）の演算出力２５ａを求め、原稿台ムラ情報記憶部２５３に記憶する。環境光の影響は白紙の読取画像データも白紙の近似データも同じであれば除算することで環境光の影響を除去することが可能であり、原稿台のムラ情報のみを取得することが可能となる。

図８に本発明のシェーディングデータ推定部２６の実施例を示す。原稿台ムラ情報を取得する場合若しくは原稿台ムラ情報を使用せずにシェーディングデータを生成する場合は切替信号２ｅによりセレクタ２２５が２６ａの出力を選択する。原稿台ムラ情報を用いてシェーディングデータを生成する場合は切替信号２ｅによりセレクタ２２５が２６ｂの出力を選択する。

乗算部２２２の出力までは図１のシェーディングデータ推定部２２と同じであるので説明を省く。原稿台反射率及び原稿台読取領域の画像データにより求めたシェーディングデータ２６ａと原稿台ムラ情報２ｄを乗算部２２４により掛算することでムラ情報を除去することができる。

原稿台ムラ情報を用いて原稿台のムラを補正するのは製品のばらつき等をカバーするためであり、つまり、原稿台ムラ情報を一度取得していれば、そのムラ情報の取得は特に必要ないと考えられる。環境光のシェーディング除去は原稿台読取領域を用いたシェーディングデータ推定によるシェーディングデータ生成を行うことで対応できるので、通常は画像補正のためのシートは不要で、キャリブレーション時にユーザーがシートを置く手間も不要となる。白紙を用いる原稿台ムラ情報生成は保守モードのように一般的には使用しないようにすることが考えられる。例えば、後々原稿台に拭いてもとれない汚れがついた場合や経時劣化の特性により原稿台反射率のムラが変わる場合は、白紙を用いて再度、原稿台ムラ情報生成を行うことにより対応が可能となる。

また、白紙でない均一な反射率の特定の媒体を使用して原稿台ムラ情報生成を行う場合についても簡単に触れておく。一実施例の考え方として、原稿台読取領域１３１を読取って白紙の近似データ（シェーディングデータ２ｂ）を生成するように、特定の媒体を読取ったデータに対しても同様に白紙の近似データにすれば、後は白紙を用いた方法と同様にムラ情報を取得できる。特定の媒体を読取ったデータを白紙の近似データにするには、例えば、原稿台反射率検出部２１で特定の媒体の読取画像データとマーカー領域画像データから、特定の媒体の反射率Ｎを求めて、求めた１.０ ／反射率Ｎの値を媒体読取画像データに掛算すればよい。そのためには原稿台反射率検出部２１の出力２ａを原稿台ムラ情報生成部２５に繋げて、原稿台ムラ情報生成部２５内の１ａと出力２ａの逆数（１.０ ／出力２ａ）の値を掛算する乗算部を追加して、乗算部の出力を１ａの変わりに除算部２５１に入力することも考えられる。

また、この図５の方法においても、原稿台及び原稿台ムラ情報生成時に用いる均一媒体が無彩色であれば、上記で説明したように、シャッタースピードやセンサ出力のＧａｉｎなどのカメラパラメータ調整で白紙を読取った値の信号値がある特定の範囲Ｄ（２４５〜２５４）に収まるように調整されていれば、原稿台反射率を用いずに、原稿台読取領域の画像データのピーク値ＰＧと範囲Ｄ（２４５〜２５４）から倍率（Ｄ／ＰＧ）を求め、原稿台読取領域の画像データに掛算して白紙の近似データを作成して原稿台ムラ情報生成段階及びシェーディング推定段階を行うことが考えられる。

また、ここでもシェーディング取得時にはカメラパラメータ（シャッタースピード及びまたはセンサ出力のＧａｉｎ値）を変えてアナログ信号の時点で値を大きくして読取ることも考えられる。また、環境光が暗い場合で、カメラパラメータ変えても範囲Ｄ（２４５〜２５４）にならない場合も先に述べたと同様に、白に近似するその倍率を基にカメラパラメータを変更した後で再度、読取って、原稿台読取領域の画像データのピーク値ＰＧを求めて、足りない分をデジタル的に掛算してシェーディングデータを生成すればよい。

図９にシェーディングデータ取得及び読取の処理フローの概略を示す。シェーディングデータ取得を行う際、Ｓ１０で原稿台ムラ情報が無いか若しくは原稿台ムラが変化したかどうが判定を行う。この判定はユーザーが行うことでもよいし、ソフトで自動的に判定してもよい。例えば、原稿台ムラ情報生成を行うと特定のファイル名を特定のフォルダ内に作成するようにしておき、判定の際に特定のフォルダ内に特定のファイル名が存在するか否かで原稿台ムラ情報が無いかどうか判定できる。また、原稿台ムラが変化したかどうかは、画像からは判定しにくいが、例えば、既知の情報若しくは実験等で得た情報から推測した原稿台の経時劣化の特性から予めシーディングデータとして耐えうる日数を求めておき、その日数が経ると定期的に原稿台ムラ情報を更新することも考えられる。もし、原稿台ムラ情報が無いか若しくは原稿台ムラが変化した場合はＳ２０の原稿台（読取領域）ムラ情報生成を行う原稿台（読取領域）ムラ情報生成段階となる。原稿台ムラ情報がある場合で原稿台ムラが変化していない場合は原稿台（読取領域）ムラ情報生成段階は行わない。

次にＳ３０のシェーディングデータが無い若しくは環境光が変化したかどうかを判定する。この判定もユーザーが行うことでもよいし、ソフトで自動的に判定してもよい。例えば、原稿読取時に原稿が置かれる読取領域の外側特定箇所の画像信号を記憶しておき、画像信号の履歴を作成し、履歴の変化を基に環境光が変わったかどうか判定することも考えられる。環境光が変わった場合はＳ４０でシェーディングデータ推定段階に入り、原稿台読取領域を読取ってシェーディングデータを推定し生成する。

環境光が変化していなければＳ４０のシェーディングデータ推定段階は行わない。
実際に原稿の読取を行う場合、Ｓ５０ の読取画像補正段階に入り、読取った画像データに対してシェーディング補正を施して出力画像を得る。Ｓ２０の原稿台（読取領域）ムラ情報生成段階は実施する機会は少ない。画像補正（シェーディング）データを作成する主な段階は基本的にはＳ４０のシェーディングデータ推定段階となる。

また、ここでは必要なデータが揃うように連続的な処理にしているが、特にＳ２０の原稿台（読取領域）ムラ情報生成段階、Ｓ４０のシェーディングデータ推定段階、Ｓ５０の読取画像補正段階は個別に行うことでもよいし、それぞれの個別の段階をユーザーが自由に起動を指示することの方がよいかもしれない。

図１０に各段階の概要処理フローを示す。図１０（ａ）、Ｓ２０の原稿台（読取領域）ムラ情報生成段階では、最初にＳ２１で原稿台の読取領域を読取り、読取領域の画像データを得る。Ｓ２２で原稿台反射率と読取領域の画像データからシェーディングデータ（白紙画像データ）を推定する。次にＳ２３で白紙を原稿台の読取領域に置いて白紙の読取画像データを取得する。この場合、原稿台の読取領域に白紙を置く必要がある。Ｓ２４ではＳ２２で推定した白紙画像データとＳ２３で得た白紙の読取画像データを基に原稿台ムラ情報を取得する。求める方法の詳細は図７で説明したので省く。

図１０（ｂ）、Ｓ４０のシェーディングデータ推定段階では、最初にＳ４１で原稿台の読取領域を読取り、Ｓ４２で原稿台反射率と読取領域の画像データからシェーディングデータ（白紙画像データ）を推定する。シェーディングデータ推定の方法の詳細は図２，図３，図８で説明したので省く。図１０（ｃ）、Ｓ５の読取画像補正段階では、Ｓ５１で原稿を原稿台読取領域に置いて読取りを行い、Ｓ５２シェーディングデータを用いて読取画像のシェーディングを補正し、Ｓ５３の出力画像を得る。シェーディング補正の詳細は４で説明したので省く。

シェーディングデータ取得時に白紙を読取領域に置く必要が無いことで、使い勝手が拡大する可能性がある。図１１に自動シェーディングデータ取得方法の概略処理フローを示す。Ｓ４１０で原稿台の読取領域を読取り、Ｓ４２０で読取画像データを基に原稿台の読取領域に原稿が存在するか否かを判定する原稿有り無し判定を行う。具体的な方法としては、原稿台反射率検出部２１により、原稿台の読取領域の反射率は判っているので、その反射率の付近が黒になるように２値化閾値を求めて２値化する。原稿は明度が原稿台より高い場合が殆どなので読取領域の２値化結果が黒であれば、原稿台読取領域には原稿が無いと判断できる。また、読取領域の２値化結果が白であれば、原稿台読取領域には原稿が在ると判断できる。この結果で原稿がある場合は再度、Ｓ４１０の原稿台読取領域を読取り、Ｓ４２０原稿有り無し判定を繰り返す。原稿台読取領域に原稿が無い場合、Ｓ４０のシェーディングデータ推定段階に入り、シェーディングデータを推定する。このようにすると、ユーザーが意識的にシェーディング推定段階の指示を行わなくても、自動で行うことができ、使い勝手が飛躍的に拡大する。自動シェーディングデータ取得の起動タイミングとしては常に行うことも考えられるし、定期的に行うことも考えられる。また、自動シェーディングデータ取得処理を行うか否かの選択スイッチを設けることも考えられる。

上記ではシェーディング推定段階、つまりシェーディングデータをメモリに記憶する段階で白紙データ相当に補正しているが、特に原稿読取時に白紙データ相当に補正しても問題は無い。

図１２に本発明の実施例のブロック構成図を示す。原稿台読取領域の画像データをそのまま画像メモリ２７に記憶する。その際、原稿台反射率検出部２１では原稿台反射率を求めて置く。原稿台反射率は予め既知であれば固定値でもよい。そして、実際の原稿読取の際、画像メモリ２７から原稿台読取領域の画像データを読出し、シェーディング推定部２２で原稿台反射率２ａを用いて原稿台読取領域の画像データを白紙画像データ相当（シェーディングデータ）に補正する。シェーディング補正部２４では図１と同等の補正を実現できる。

また、図１３に本発明の実施例のブロック構成図を示す。図１２と同様に原稿台読取領域の画像データをそのまま画像メモリ２７に記憶する。その際、原稿台反射率検出部２１では原稿台反射率を求めて置く。また、原稿台ムラ情報生成部２５では図８と同様に原稿台ムラ情報を生成しておく。そして、実際の原稿読取の際、画像メモリ２７から原稿台読取領域の画像データを読出し、シェーディング推定部２６で原稿台反射率２ａ，原稿台ムラ情報２ｄを用いて原稿台読取領域の画像データを白紙画像データ相当（シェーディングデータ）に補正する。シェーディング補正部２４では図５と同等の補正を実現できる。

次に、本発明の他の実施例について図１４を用いて説明する。

読取部１は、カメラ部１１と固定する支柱１２と撮像物を置く原稿台１３と原稿台撮影面の読取対象物周辺に配置されたマーカー１４〜１９とで構成される。

カメラ部１１は単板式のカラーセンサを使用しており、下向きに設置され、下の原稿台１３におかれた読取対象物２０を読取る。この場合、基本的には、読取対象物２０を置いてもマーク１４〜１９が隠れない位置に配置することとするが、一部のマーカーが隠れたとしても、他のマーカーの画像によって補完することは可能である。

画像処理部２は読取部１で読取った画像データから読取対象物２０を取り囲むように配置された鏡面球マーカー及び構造物マーカー１４−１９の画像情報を用いて照明環境を推定する照明環境推定部１１０と推定した照明環境を元に修正したシェーディング波形で入力画像を補正するシェーディング補正部１２０とからなる。

照明環境推定部１１０は、カメラ部１１からの画像を入力し、画像分離部でマーカー１４−１９の画像と読取り対象物２０の画像を読取り位置によって分離する。マーカー画像のうち、鏡面球マーカー１４，１６，１７，１９の画像は、鏡面球解析部１１２に入力し、反射光のベクトルを計算する。概略推定部１１３においては、各鏡面球マーカー１４，１６，１７，１９の出力ベクトルを合成することで、概略の照明光源位置の推定を行う。次に、この概略の光源位置によって生成されるであろう、構造物マーカー１５，１８の影を推定影計算部１１４で計算する。

次に、マーカー画像のうち構造物マーカー１５，１８で生成される実際の影画像を影抽出部１１５に入力し、詳細検証部１１６で、推定した光源で作成した影と実際の影を比較し、これが合致するように概略光源の位置を補正し光源の明るさ，大きさを含め推定する。このようにして、高精度な照明環境の推定を実施することができる。

図１５は、原稿台１３上の取り込み画像を示している。読取対象物２０の周辺に鏡面球マーカー１４，１６，１７，１９と構造物マーカー１５，１８を配置し、概略と詳細の検出器を別個に行うことで、それぞれの得意な検出を組み合わせることができた。カメラ部１１から見たマーカー１４−１９の位置は、工場出荷時に位置関係を固定しているため、鏡面マーカー検出エリア２０１，構造物検出エリア２０２のように、画像上から容易に切り出しが可能である。

図１６は、鏡面球解析部１１２の処理内容を説明する概念図である。図１６（ａ）に示すように、鏡面マーカー検出エリア２０１の鏡面球マーカー１４の画像は、球の外形２０１０と照明の反射光２０１１，２０１２が観測できる。この反射光は、図１６（ｂ）のように、球面上の反射位置に応じて光源の位置を示していると考えられる。この反射は、球の中心位置からの法線に対して鏡面反射が起こっているため、中心位置からのずれ量を計測すれば、球面の法線ベクトルが求まり、カメラから見た反射境界２０１６に対する、反射ベクトル２０１７は容易に計算が可能である。

鏡面球マーカー１４，１６，１７，１９に対する反射ベクトル２０２１−２０２４をそれぞれ合成することによって、図１６（ｃ）のように、カメラ部１１と鏡面球マーカー２０１０，２０１１、概略推定光源２０５０の位置関係を計算する。

図１７は、構造物マーカーの処理を説明する概念図である。構造物２６０は、照明によって原稿台１３に影２６１を生成する。図１７（ａ）は、前述した概略推定光源２５０で生成される影を示している。これは、図１７（ｃ）で示すように、概略推定光源２５０の光は、構造物２７０，２７１で遮られるために影が発生し、これをカメラ部１１で観測した場合、どのような画像となるかを推定することができる。これに対し、図１７（ｂ）は、実際の読取画像において観測される構造物２６０の影２６２を観測したものである。もし、概略推定光源と、実際の光源が一致していれば、これらの二つの影は一致するはずであるが、推定に誤りがあるとずれが発生する。逆に、ずれが少なくするための推定光源位置を見つけられれば、実際の光源位置を計算できたことになる。このように、推定した光源位置を少しずつ変化させて、推定した影と観察した影の差を少なくすることで詳細な光源位置の検証を行う。

以上述べた照明環境推定部１１０の処理フローチャートを図１８に示した。鏡面球位置，構造物位置からマーカーを抽出のための座標を決定し、画像を切り出しＳ１１３１、鏡面球の反射画像の中心位置からのずれ量で反射ベクトルを計算しＳ１１３２、すべての鏡面球の反射ベクトルを計算したＳ１１３３後、概略光源位置の推定Ｓ１１３４を行う。次に、概略光源位置から構造物で生成されるであろう影を推定Ｓ１１３５する。これと、実際に構造物で生成される影の画像と推定した影を比較しＳ１１３６，許容誤差範囲に入ればＳ１１３７，光源の方向，位置，照度の計算Ｓ１１３８を行う。誤差以上であれば、推定光源位置を修正Ｓ１１４０し、再度推定光源による影の計算を行う。

次に、図１９を用いて、シェーディング補正部の説明を行う。読取部１で観測する画像は、照明の位置によって大きく変化する。読取対象物２０を白紙とした場合の、線３０５における読取波形は、例えば図１９（ｂ）のように遠方の光源であれば図１９（ｄ）のシェーディング波形３２１のようになだらかとなる。中央の窪みは、たとえば光学系での汚れやセンサの一部の劣化などを示しており、白紙を読んで基準情報とすることで、これらの劣化を補正することができる。しかし、図１９（ｃ）のような近接光源においては、光源の近くは極めて明るく、離れると急激に暗くなるといったシェーディング波形となる。このように、光源の位置，方向によってシェーディング波形の修正が不可欠である。

図２０は、シェーディング波形の修正を説明する概念図である。図２０（ａ）は、照明位置によってカメラ部１１や支柱の影が発生する場合を示している。図２０（ｂ）のように、部１１が、照明３１３と原稿台１３の間に位置した場合、影が発生する。このケースで、図２０（ｃ）における、従来のように基準シートで読取ったシェーディング波形３３１では、影をそのまま読取ってしまう。しかし、図２０（ｄ）のように修正したシェーディング波形３３３を作成すれば、影の影響を相殺することができる。

図２１に、シェーディング補正部のフローチャートを示す。まず、基準のシート、もしくはグレーの原稿台を読込みシェーディング波形を記憶Ｓ１２３１する。次に、照明環境指定部の結果を取り込みＳ１２３２、原稿台上の輝度分布を計算し、シェーディング波形を修正Ｓ１２３３する。次に、補正計算によって整合性が損なわれていないか、たとえば原稿台を白く読むことがないかなどのチェックを行いＳ１２３４、異常がなければ入力画像に修正したシェーディング補正を行いＳ１２３５，補正結果出力Ｓ１２３６を行う。整合性に問題があれば、補正係数を調節し、再度シェーディング波形の修正を行う。

本発明の画像処理部２についてはソフト処理で行ってもよい。またその際、パソコンでソフト処理を行ってもいいし、ＬＳＩに組み込んでハード処理で行ってもいい。

本発明によれば、基準シートを用いずにシェーディングデータ取得が可能となり、基準シートを置く煩わしい手間を省くことができ、使い勝手の向上を図れる。

これにより、本発明は、オフィスや家庭の文書、もしくは伝票や郵便物，紙幣などの帳票類、その他の立体物をイメージセンサを用いたカメラで読取ることが可能になるものである。

本発明の装置構成を示すブロック図。 原稿台反射率検出部の実施例を示す図。 本発明のシェーディングデータ推定部の実施例を示すブロック図。 シェーディング補正の実施例を示す図。 本発明の装置構成を示すブロック図。 原稿台ムラの信号を表す図。 本発明の原稿台ムラ情報生成部の実施例を示す図。 本発明のシェーディングデータ推定部の実施例を示す図。 シェーディングデータ取得及び読取の処理フローの概略を示す図。 各段階の概要処理フローを示す図。 自動シェーディングデータ取得方法の概略処理フローを示す図。 本発明の装置構成のブロック図。 本発明の装置構成のブロック図。 他の実施例の装置構成ブロック図。 他の実施例の原稿台を示す図。 鏡面球の解析処理の概念図。 構造体の解析処理の概念図。 照明環境推定部のフローチャート。 シェーディング補正部の概念図。 シェーディング波形の修正を示す概念図。 シェーディング補正部のフローチャート。

符号の説明

１ 読取部
２ 画像処理部
３，１３０ 出力画像
４ スイッチ
１１ カメラ部
１２ 支柱
１３ 原稿台
１４，１６，１７，１９ 各鏡面球マーカー
１５，１８ 構造物マーカー
２０ 読取対象物
２１ 原稿台反射率検出部
２２，２６ シェーディングデータ推定部
２３，１２１ シェーディングメモリ
２４，１２０，１２３ シェーディング補正部
２５ 原稿台ムラ情報生成部
２７，２２２，２２４ 画像メモリ
１１０ 照明環境推定部
１１１ 画像分離部
１１２ 鏡面球解析部
１１３ 概略推定部
１１４ 推定影計算
１１５ 影抽出部
１１６ 詳細検証部
１２２ シェーディング波形修正部
１３１ 読取領域
１３２ カメラ撮像範囲
１３４ マーカー領域
２０１ 鏡面マーカー検出エリア
２０２ 構造物検出エリア
２１１ 白領域データ検出部
２１２ 読取領域データ検出部
２１３，２５１ 除算部
２２１ 逆数
２２５ セレクタ
２４１ 演算部
２５３ 原稿台ムラ情報記憶部
２６０，２７０，２７１ 構造物
２６１，２６２ 影
２０１０ 球の外形
２０１１，２０１２ 反射光
２０１５ 中心位置
２０１６ 反射境界
２０１７，２０２１−２０２４ 反射ベクトル
２０５０ 概略推定光源

Claims (11)

1. 撮像対象物である原稿を置く読取領域とマーカー領域とを有する原稿台と、前記読取領域及び前記読取領域に置かれた原稿をカラー撮影する光学系を有し、入射光量に対応する信号を出力するエリアイメージセンサを用いたカメラと、を有する画像読取装置において、
   原稿を置いていない状態の読取領域と前記マーカー領域とを読み取って得た画像データから検出された前記読取領域のデータと前記マーカー領域のデータとを用いて、前記読取領域の反射率を演算する反射率検出部と、
   前記反射率検出部で演算された前記読取領域の反射率を用いて、前記読取領域を読み取って得た画像データを補正し、シェーディングデータを推定するシェーディングデータ推定部と、
   原稿を置いていない状態の読取領域を読み取って得た画像データと、前記読取領域に均一な反射率の読取媒体を置いて読み取って得た画像データと、を基に原稿台ムラ情報を生成する原稿台ムラ情報生成部と、
   を有することを特徴とする画像読取装置。
2. 請求項１に記載の画像読取装置において、
   前記読取領域を読み取る読取領域の反射率は、５％以上かつ７５％以下であることを特徴とする画像読取装置。
3. 請求項１に記載の画像読取装置において、
   前記マーカー領域が、前記原稿台に置かれた読取対象物を取り囲む位置に複数設置され、
   前記カメラで撮影し取得した複数のマーカー画像データから、照明環境を推定する照明環境推定部と、推定した照明環境からシェーディング波形を修正するシェーディング波形修正部と、を有することを特徴とする画像読取装置。
4. 請求項３に記載の画像読取装置において、
   前記マーカー領域に立体形状のマーカーを用いたことを特徴とする画像読取装置。
5. 請求項４に記載の画像読取装置において、
   前記立体形状のマーカーが、鏡面球であること特徴とする画像読取装置。
6. 請求項４に記載の画像読取装置において、
   前記立体形状のマーカーが、拡散反射表面の立体構造物であること特徴とする画像読取装置。
7. 請求項４に記載の画像読取装置において、
   前記立体形状のマーカーが、複数種類の立体形状のマーカーを混在させて用いたことを特徴とする画像読取装置。
8. 請求項４に記載の画像読取装置において、
   前記立体形状のマーカーが、鏡面球と拡散反射表面の立体構造物とを混在させて用いたことを特徴とする画像読取装置。
9. 請求項５に記載の画像読取装置において、
   前記鏡面球の画像を用いて照明環境を推定することを特徴とする画像読取装置。
10. 請求項６に記載の画像読取装置において、
    前記拡散反射表面の立体構造物が前記原稿台につくる影の画像を用いて照明環境を推定することを特徴とする画像読取装置。
11. 請求項８に記載の画像読取装置において、
    前記鏡面球の画像を用いて照明環境を求め、これを初期値として前記拡散反射表面の立体構造物が原稿台につくる影の画像を用いて詳細な照明環境を推定することを特徴とする画像読取装置。

Images