JP5511535B2 - 画像読取装置の画像処理方法および画像読取装置 - Google Patents

Description

本発明は、複数個のライン状のイメージセンサが千鳥状に配置され、かつ隣接するイメージセンサ同士が長手方向に一部オーバーラップして配置された画像読取装置およびその画像処理方法に係わり、特に、隣接するイメージセンサの各受光素子から出力される画像データ間の輝度補正に関するものである。

紙原稿を読み取り、画像データの作成あるいは複写を行う画像読取装置として、多数の受光素子からなるライン状のイメージセンサを複数個千鳥状に、かつ、隣接するイメージセンサ同士を、その長手方向に一部オーバーラップさせて配置し、これらイメージセンサ上にレンズ等の読取光学系を備えた装置がある（特許文献１参照）。
図７は、このような画像読取装置の構成を示している。
この画像読取装置では、固定した画像読取装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０が固定で、画像読取装置１０が原稿２０上をスキャンする。
この際、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。
結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。
なお、図７に示すように、複数個のライン状のイメージセンサが、その長手方向にほぼ一列に配列されたものを「ラインセンサ」とも称す。

図７では、固定の画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向（原稿の搬送方向と直交する方向）で一部オーバーラップするように、基板１４上に千鳥状に配置されている。
なお、図７では、１番目、２番目、・・・、ｎ番目、・・・、ｚ番目の複数個のイメージセンサ１３が、千鳥状に配置されている様子を示している。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図８は、各イメージセンサ１３から出力された画像データを繋ぎ合わせて、原稿に忠実な再生画像（複写画像）を作成する従来の画像結合処理のフローを表す図である。
ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されている。
そのため、イメージセンサ１３から出力される画像データ（以降、イメージセンサから出力される画像データを「初期画像」とも呼ぶ）は、図８（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図８（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図８の処理（フロー）が行われるため、副走査方向（図７参照：原稿の搬送方向と逆の方向）のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図８では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する場合を表している。
イメージセンサ１３より出力された初期画像に対して、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
黒補正とは、「得られている初期画像の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

白補正とは、「白基準となる原稿を読んだ時に、画素値が設定値（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値は、理論的には、例えば、８ビット画像では２５５、１０ビット画像では１０２３であるが、この理論値に設定すると、入力データのばらつきのため入力値が白基準値を超えた場合にデータが飽和するので、少し小さめの値に設定する。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布（図７参照）、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる（特許文献２、３参照）。
なお、図８（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全イメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対して、処理Ｂとして、副走査方向のずれの補正を行う。
後述するように、各イメージセンサ１３の原稿２０上における読取位置１６が副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図８（ａ）や図８（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
次の処理Ｃにて、各イメージセンサ１３の画像データを滑らかに繋ぎ合わせるため、この副走査方向のずれ量を補正し、隣接する画像データ間で副走査方向の位置合わせを行う必要がある。
副走査方向の位置合わせには、画像データ中のオーバーラップ領域を利用する。
隣り合う画像データのオーバーラップ領域には、原稿２０面上の同じ箇所の情報が含まれており、各画像データを副走査方向に移動させて、オーバーラップ領域同士の濃淡模様を合わせることによって、副走査方向のずれを補正する（特許文献４参照）。

最後に、処理Ｂ後の画像データに対し、処理Ｃとして、画像の結合作業を行う。
副走査方向の位置合わせが行われた隣接する画像データ間において、オーバーラップ領域の画素値に対し種々の演算が行われる（特許文献５参照）。
これにより、各イメージセンサ１３からの画像データが主走査方向に繋ぎ合わされて、一つの画像となる。
複数個のイメージセンサを用いた画像読取装置では、このような画像結合処理によって再生画像（複写画像）が得られる。

特開２００８−２３６０４５号公報 特開２００３−２１９１６４号公報 特開２００７−２６７３５９号公報 特開２００７−１５０８７０号公報 特開２００６− ６７０３１号公報

図８に示した画像結合処理の処理Ａにおいて白補正を行ったにも関わらず、各イメージセンサ１３の画像データ間で、全体的な明るさ（輝度）が異なる場合がある。
例えば、均一な明るさの原稿２０を読んだ時に、処理Ａ後で各画像データが均一な明るさになっていない場合がある。
このような場合、処理Ｃ後にも主走査方向に実際の原稿２０には無い「明暗の縞」が現れ、得られる再生画像は、原稿２０の画像に忠実ではない「品質の低い画像」となってしまう。

このような現象は、以下の（ａ）〜（ｄ）に示すような要因が複合した場合に生じる。
（ａ）搬送された原稿２０の読取光学系１２からの高さ・距離が、白補正に用いた白基準板１５と同じでない。［設計的制約による］
（ｂ）読取光学系１２からの高さ・距離によって、照明光１１の主走査・副走査方向の照度分布が変化する。［設計的制約による］
（ｃ）千鳥状に配置された２つの列のイメージセンサ１３（図７に示した奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３）の原稿２０面上における読取位置１６は、副走査方向に２つの列を成しており、その２つの列の中心に対して、照明光１１の副走査方向照度分布の中心がずれている。［製造誤差による］
（ｄ）各イメージセンサ１３の原稿２０面上における読取位置１６が、副走査方向にばらついている。［製造誤差による］
（特に奇数番目のイメージセンサ１３と偶数番面のイメージセンサ１３の読取位置１６は、上記（ｃ）に記載のとおり副走査方向に分離している。）

上記（ａ）に関しては、一枚の原稿搬送中においても、読取光学系１２からの距離は変化する。
特に、原稿２０の副走査方向の両端部周辺は、原稿２０の搬送方向の上流側と下流側に位置する搬送ローラ（図示せず）において、上流側もしくは下流側の片側のみでの搬送となるため、読取光学系１２からの高さ・距離が変化しやすい。
上記（ｄ）に関しては、図７において読取光学系１２の光軸を傾け、奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３とで、原稿２０面上における読取位置１６を副走査方向に一致させた画像読取装置（図示せず）も存在する。

しかし、いずれの画像読取装置においても、読取光学系１２などの製造誤差のために、各イメージセンサ１３の読取位置１６は副走査方向にばらつく。
これら（ａ）〜（ｄ）の要因が複合すると、原稿読取時の各イメージセンサ１３の読取位置１６における照度が白補正時とは異なり、また、その照度変化は全てのイメージセンサ１３で一様にはならない。
そのため、前述した画像データ全体の明るさを均一化する白補正を行っても、得られる再生画像には主走査方向に明暗の縞が現れてしまい、品質の低い画像となる。

従来の画像読取装置の問題点（課題）は、上記したように、複数の設計的要因・製造的
要因からなるため、ハードウェアによる解決は困難であった。
また、特許文献２あるいは特許文献３に記載されているような、何らかの基準チャート（テストチャート）による補正を行っても、「原稿搬送中において読取光学系１２からの距離が変化する」あるいは「基準チャートと厚みが異なる原稿２０では読取光学系１２からの距離が異なる」といった要因のため、問題点（課題）の解決は容易でない。
更に、再生する画像が複雑（例えば、輝度変化が複雑）である場合、副走査方向の画像結合位置のズレが補正ゲインの算出に大きな影響を与え、輝度補正が不安定となり、再生画像に明暗の縞やムラが発生することがある。

本発明は、このような課題を解決するために成されたものであり、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えた「原稿の画像に忠実な再生画像」を得ると共に、更に、再生する画像が複雑であっても、再生画像に明暗の縞やムラが発生するのを抑制することができる「画像読取装置の画像処理方法」を提供することを目的とする。

本発明に係る画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、
前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、
前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の１画素分毎に順次時系列に前記補正ゲインを算出して明るさ補正を行い、
前記明るさ補正処理ステップにおいて、前記１画素分毎に順次時系列に補正ゲインを算出する各エリアの輝度値を用いて、前記補正ゲインの評価値を算出し、該評価値が所定の閾値を越える場合は演算エラーとし、前記演算エラーとなる範囲の補正ゲインを、前記演算エラーとなる範囲のラインの前後に位置するラインの補正ゲインから補間して算出するものである。
また、本発明に係る画像読取装置は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置であって、
前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、前記黒補正・白補正処理手段にて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、前記ずれ補正処理手段において前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、前記明るさ補正処理手段により明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、 前記明るさ補正処理手段は、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記補正ゲインを算出して明るさ補正を行い、
前記明るさ補正処理手段は、前記1画素分毎に順次時系列に補正ゲインを算出する各エ
リアの輝度値を用いて前記補正ゲインの評価値を算出し、該評価値が所定の閾値を越える場合は演算エラーとし、前記演算エラーとなる範囲の補正ゲインを、前記演算エラーとなる範囲のラインの前後に位置するラインの補正ゲインから補間して算出するものである。

本発明によれば、特別なハードウェアの追加や特殊な基準チャートによる原稿読取前の事前補正を行うことなく、画像における主走査方向の明暗の縞の発生を抑えた補正が可能であり、原稿から読み取った画像データから原稿により忠実で高品質な画像を直接得られる効果がある。
更に、再生する画像が複雑であっても、再生画像に明暗の縞やムラが発生するのを抑制することができる補正が可能である。

本発明に係る画像読取装置の画像処理方法のフローを表す図である。 オーバーラップ領域を説明するための図である。 オーバーラップ領域の重みを説明するための図である。 エラー範囲の補正ゲイン変化を説明するための図である。 エラー範囲の直線補間を説明するための図である。 エラー範囲の階段状補間を説明するための図である。 本発明が適用される画像読取装置の構成図である。 従来の画像処理方法のフローを表す図である。

以下、図面に基づいて、本発明の一実施の形態例について説明する。
実施の形態１．
前掲した図７は、本願発明による画像処理方法が適用される画像読取装置の構成も示している。
背景技術の項での説明と重複するが、本発明が適用される画像読取装置の構成について再度説明しておく。
前述したように、画像読取装置１０では、固定した装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０側が固定で、画像読取装置１０が原稿２０上をスキャンする。
そして、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。

図７では、固定された画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向に一部オーバーラップするように、基板１４上に千鳥状に配置されている。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図１は、実施の形態１に係る、各イメージセンサ１３から出力された画像データを繋ぎ合わせ、従来よりも原稿に忠実な再生画像（複写画像）を作成する「画像読取装置の画像結合処理」のフローを表す図である。
背景技術の項で説明したように、ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されているため、イメージセンサ１３から出力される画像データ（初期画像）は、図１（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図１（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図１の処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図８と同様に、図１では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する図を表している。
イメージセンサ１３より出力された初期画像に対し、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
前述したように、黒補正とは、「得られている初期画像（すなわち、イメージセンサ１３から出力された画像データ）の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

また、白補正とは、「真っ白な原稿を読んだ時に、画素値が最大値付近（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値を、例えば８ビット画像の場合の理論値２５５、１０ビット画像の場合の理論値１０２３より小さくするのは、前述したように、入力データのばらつきのために入力値が白基準値を超えた場合に、データが飽和するのを防止するためである。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる。
しかし、実際には、前述した（ａ）〜（ｄ）の要因により、画像データ全体の明るさを均一化する白補正を行っても、主走査方向に明暗の縞が現れた再生画像となる。
図１（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全てのイメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対し、処理Ｂとして副走査方向のずれの補正を行う。
各イメージセンサ１３の原稿２０上における読取位置１６（図７参照）は、副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図１（ａ）や図１（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
なお、処理Ａ（黒補正・白補正）と処理Ｂ（副走査方向のずれ補正）は、前述した背景技術における処理Ａと処理Ｂと同じ処理である。
本実施の形態では、図８に示した処理Ｂと処理Ｃの間に処理Ｄ（明るさ補正）を有し、輝度補正値の演算時の誤差を低減することを特徴とする。

背景技術の場合と同様に、イメージセンサ１３より出力された初期画像に対し、処理Ａ
（黒補正と白補正）と処理Ｂ（副走査方向のずれの補正）を行う。
この処理Ｂ後の画像データに対し、オーバーラップ領域を利用して、各画像データ間の全体的な明るさ（輝度）を合わせるための処理Ｄを行う。
その後、処理Ｄ後の画像データに対し、処理Ｃ（結合作業）を行う。
処理Ａ、処理Ｂ、処理Ｄおよび処理Ｃでは、前述したとおり、実際には原稿２０を読み取りながらリアルタイムに処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみである。(データサイズは全体でも良い。メモリサイズに依存する)

以下、処理Ｄ（明るさ補正）の詳細について説明する。
図１（ｃ）に示すように、「ｎ番目のイメージセンサ１３による画像データＩ_n」中の
「ｎ＋１番目のイメージセンサ１３による画像データＩ_n+1」側のオーバーラップ領域を
Ｒ_nとする。一方、画像Ｉ_n+1中の画像Ｉ_n側のオーバーラップ領域をＬ_n+1とする。
前述したように、原稿２０を読み取りながら順次画像結合処理されるので、前記オーバーラップ領域Ｒ_n、Ｌ_n+1は、共に「（主走査方向数十画素）×（副走査方向十画素）程度のサイズ」である。
処理Ｂによって画像Ｉ_nと画像Ｉ_n+1は副走査方向のずれが補正されているため、オーバーラップ領域Ｒ_n、Ｌ_n+1は原稿２０の面上では全く同じ領域のデータのはずであり、その明るさ（画素値）においても同じでなくてはならない。

そこで、領域Ｒ_nにおける赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画素値の平均値を
求め、それぞれＡ_Rn（Ｒ）、Ａ_Rn（Ｇ）、Ａ_Rn（Ｂ）とする。
同様に、領域Ｌ_n+1におけるＲ・Ｇ・Ｂそれぞれの画素値の平均値を求めて、それぞれ
Ａ_Ln+1（Ｒ）、Ａ_Ln+1（Ｇ）、Ａ_Ln+1（Ｂ）とする。
Ｒ・Ｇ・Ｂそれぞれにおける比をα_n+1（Ｒ）、α_n+1（Ｇ）、α_n+1（Ｂ）とすると、
これらは下記の式（１）で表される。

これらの比は、画像Ｉ_n+1の明るさを画像Ｉ_nの明るさに合わせるための倍率（ゲイン）を表している。
すなわち、画像Ｉ_n+1を構成する全画素値に対して、Ｒ・Ｇ・Ｂのそれぞれを、α_n+1（Ｒ）倍、α_n+1（Ｇ）倍、α_n+1（Ｂ）倍すれば、画像Ｉ_n+1の明るさが画像Ｉ_nの明るさに一致する。

同様に、α_n+2（Ｒ）、α_n+2（Ｇ）、α_n+2（Ｂ）を求める。
これにより、ｎ＋２番目のイメージセンサ１３による画像Ｉ_n+2の明るさを画像Ｉ_nの明るさに合わせるための倍率は、Ｒ・Ｇ・Ｂそれぞれα_n+1（Ｒ）×α_n+2（Ｒ）、α_n+1（
Ｇ）×α_n+2（Ｇ）、α_n+1（Ｂ）×α_n+2（Ｂ）となる。
すなわち、１番目のイメージセンサ１３による画像Ｉ₁の明るさを基準に、全てのイメ
ージセンサ１３における画像の明るさを合わせることができる。
例えばｍ番目の画像Ｉ_mの倍率は、Ｒ・Ｇ・Ｂそれぞれ次の式（２）のようになる。

ここで、オーバーラップ領域の詳細について、図２を用いて説明する。
実際の入力画像において、オーバーラップ領域Ｒ _ｎ 、Ｌ _ｎ＋１ が綺麗に一画素単位で重複するわけではなく、読取光学系１２やイメージセンサ１３の製造誤差のため、図２に示すように、主走査方向、副走査方向のいずれにおいても一画素未満のずれが存在する。
このため、図１に示す処理Ｂ（副走査方向のずれの補正）では、隣接する画像データ間の副走査方向の位置合わせは1画素未満、例えば０．１画素単位で行われる。
また、主走査方向についても、事前に基準チャートを読み込むことによって、例えば、同じく０．１画素単位でオーバーラップ領域の算出が行われる。

オーバーラップ領域において式１に示す補正ゲイン（単に、ゲインとも称す）を算出するための領域Ｒ_n、Ｌ_n+1のサイズを、主走査方向に ｕ 画素、副走査方向に ｖ 画素と設定し、図２に示すように、画像データＩ_n と Ｉ_n+1 のズレが主走査方向にｋ 画素、副走査方向に ｌ画素であったとする。 但し、 0 ≦ ｋ，ｌ < 1 とする。
この場合、画像データＩ_n+1 上の画素(t , r) の輝度をＥ _t,r 、画像データＩ_n 上の画素(s , q)の輝度をＥ_s,qとすると、Ｅ _t,r は以下の式（３）となる。

以降、画像データＩ_n+1 上の画素（ｔ、ｒ）に対応する画像データＩ_n 上の画素の輝度をＥ’_t,rと記載する。
前述の通り、画像データＩ _n とＩ _n+1 は1画素未満で位置合わせを行っているが、ズレ補正処理の精度や光学系のバラツキなどの影響で、誤差を持つことがある。
誤差がなければ、Ｅ_t,r ＝Ｅ’_t,r となるが、上記誤差のために差異が発生し、補正ゲインの算出に誤差が生じることにより副走査方向の縞が発生する。
この縞の発生を抑制するために、以下の処理を行う。
補正ゲインを算出するために領域Ｒ_n、Ｌ_n+1の画素値の平均値を算出するが、領域Ｒ_n、Ｌ_n+1のサイズ（ｕ，ｖ）に対して重みを乗じて画素値の平均値を算出し、前掲の式（１）を以下の式（４）の様に拡張する。

但し、k_i,jは重み、E(R)_i,jは座標(i,j)の赤成分の輝度値、E(G)_i,jは座標(i,j)の緑成分の輝度値、E(B)_i,jは座標(i,j)の青成分の輝度値であり、 ０ ≦ k_ij ＜ １ である。
重みk_i,jは、図３に示す様な台形形状やハニング窓(図示しない)を設定する。
なお、ハニング窓とは、“ ｙ＝0.5−0.5＊Cos(2πx) (0≦ｘ≦1) ”で表される窓関数である。
補正ゲインを算出する領域Ｒ _ｎ 、Ｌ _ｎ＋１ に含まれる画像が輝度変化の少ない均一輝度である場合や、領域Ｒ _ｎ 、Ｌ _ｎ＋１ 内部に模様(明暗差の大きな画像)が内包される場合は、重みk_i,jを乗じなくても演算精度は変化しないが、模様の一部が領域Ｒ _ｎ 、Ｌ _ｎ＋１ の外周にかかる場合、上記位置合わせの誤差による影響を受けることになるため、周辺部の影響度を低減し、領域Ｒ _ｎ 、Ｌ _ｎ＋１ の中央部の影響度を上げる処理を行うことで、主走査方向の明暗の縞を低減する。

しかし、画像が複雑（例えば、輝度変化が複雑）で、位置ズレの影響が補正ゲイン算出に大きな場合、上記処理だけでは補正が不安定になることがある。
このため、全てのラインで補正ゲインを算出するのではなく、算出した補正ゲインの信頼性が高い箇所のみを採用し、それ以外の箇所はゲイン演算エラーとすることで、原稿にはない主走査方向の明暗の縞の発生を抑える。
具体的には、補正ゲインを算出する領域Ｒ_n、Ｌ_n+1において一番上のラインの画素値の平均値と一番下のラインの画素値の平均値の差（評価値）が設定値以上であれば、エラーとする。

これは、画像で言うならば、輝度が均一なエリアから複雑な画像である模様が含まれるエリアに差し掛かったことを意味し、輝度均一エリアでのみ補正ゲインを算出し、それ以
外のエリアはエラーとする。
これにより、補正ゲインを算出する領域Ｒ_n、Ｌ_n+1の輝度が均一な領域の補正ゲインは求まるが、それ以外のエリアのゲインが不定となる。
このため、この不定領域の補正ゲインを補間して求める。
なお、「ライン」とは、副走査方向のデータを指しており、センサから一度に出力されるデータを１ラインと称している。補正ゲインは、１センサから出力される１ラインデータに対して、１つ演算する。

以下、この補間方法について、図４、図５を用いて説明する。
ある箇所のゲインを副走査方向にプロットした場合、図４に示すようなグラフとなったとする。
ここで、中央部の「エラー範囲」と表記した箇所が、「ゲイン演算エラー」とした箇所である。
ゲイン演算エラーの箇所は、画像のズレの影響などで、ゲイン演算が不安定となり、本来のゲインに比べると、大きく誤差が発生したゲインを出力する。このゲインを採用すると、主走査方向の明暗の縞となる。
このため、本領域はエラーとして前後から補間し、図５に示すようにエラー範囲の直前のゲインとエラー範囲の直後のゲインを直線で補間することで、演算エラーとなった領域の補正ゲインを生成でき、再生画像における主走査方向の明暗の縞の発生を低減する。

以上説明したように、本実施の形態による画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサ１３を複数個千鳥状に配置し、かつ、隣り合う前記イメージセン１３サ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置１０の画像処理方法であって、
イメージセンサ１３より出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップ（処理Ａ）と、黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップ（処理Ｂ）と、ずれ補正処理ステップにおいて副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサ１３から出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、各イメージセンサ１３による画像データの全画素値に各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップ（処理Ｄ）と、明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップ（処理Ｃ）とを有し、明るさ補正処理ステップは、原稿の搬送に伴って副走査方向の１画素分毎に順次時系列に補正ゲインを算出して明るさ補正を行い、明るさ補正処理ステップにおいて、１画素分毎に順次時系列に補正ゲインを算出する各エリアの輝度値を用いて、補正ゲインの評価値を算出し、該評価値が所定の閾値を越える場合は演算エラーとし、演算エラーとなる範囲の補正ゲインを、演算エラーとなる範囲のラインの前後に位置するラインの補正ゲインから補間して算出する。

従って、本実施の形態によれば、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えることが可能であり、原稿の画像に更に忠実な再生画像を得ることができると共に、更に、再生する画像が複雑であっても、再生画像に明暗の縞やスジ状のムラが発生するのを抑制することができる。
また、本実施の形態によれば、副走査方向の１画素分毎に順次時系列に補正ゲインを算出する各エリアの上下ラインでの画素値の差を前記評価値とするので、画像内に輝度が均一でない画像が入ってきた場合に演算エラーと判断することが可能であり、再生画像にスジ状のムラが発生するのを防ぐことができる。
また、本実施の形態によれば、演算エラーとなる範囲のラインの前後に位置するラインのゲインから補正ゲインを直線補間するので、演算エラーとなった領域の補正ゲインを生成することができる。

また、本実施の形態による画像読取装置の画像処理方法は、画像データの副走査方向のオーバーラップした領域のサイズは十画素程度であり、各イメージセンサ１３から出力される画像データのうち、副走査方向の画像データには一画素分ずつ画素値にゲインを乗算し、順次時系列に、処理の確定した副走査方向一画素分の画像データの削除と、新たに読み込まれた副走査方向一画素分の画像データを追加しながら、オーバーラップした領域の画素値の平均値によるゲインの算出と、画像データの画素値に対するゲインの乗算とを繰り返すことにより、原稿２０の全体の再生画像を得る。
従って、本実施の形態によれば、原稿を読み取りながら、原稿全体の画像再生（結合）処理をすることができる。

実施の形態２．
実施の形態１では、補正ゲインを算出する領域Ｒ_n、Ｌ_n+1において、一番上のラインの画素値の平均値と、一番下のラインの画素値の平均値の差が、設定値以上であればエラーとしたが、領域Ｒ_n、Ｌ_n+1のそれぞれの画素値の分散値が所定の閾値以上であればエラーとする。
これにより、ゲイン演算を行う領域の輝度の複雑度に応じて、エラーとするか判断することが可能となる。 即ち、本実施の形態によれば、オーバーラップ領域の平均輝度を算出するエリアの画素値の分散値を前記評価値とするので、実施の形態１と同様に、画像内に輝度が均一でない画像が入ってきた場合に演算エラーと判断することが可能であり、再生画像にスジ状のムラが発生するのを防ぐことができる。

実施の形態３．
実施の形態１では、補正ゲインを算出する領域Ｒ_n、Ｌ_n+1において、一番上のラインの画素値の平均値と、一番下のラインの画素値の平均値の差が、設定値以上であればエラーとしたが、本実施の形態では、領域Ｒ_n、Ｌ_n+1のそれぞれの画素値の平均値が所定の閾値以下であればエラーとする。
これにより、ゲイン演算を行う領域の輝度が全体的に小さく、輝度の比（補正ゲイン）を算出する際の分母の項が小さくなることによる演算誤差の増大を防ぎ、エラーを判断することが可能となる。
即ち、本実施の形態によれば、オーバーラップ領域の平均輝度を算出するエリアの画素値の平均値を前記評価値とするので、補正ゲインを算出するエリアの平均輝度が低く、演算誤差が大きくなることにより発生するスジ状のムラの発生を防ぐことができる。

実施の形態４．
実施の形態１では、補正ゲインの補間を直線で補間したが、図６に示すように、エラー範囲の直前のゲインとエラー範囲の直後のゲインから、補正ゲインをエラー範囲の中央で階段状に補間することで、演算エラーとなった領域の補正ゲインを生成でき、再生画像における主走査方向の明暗の縞の発生を低減する。

実施の形態５．
実施の形態１では、エラーとなる領域の補正ゲインを直線で補間したが、画像全体にわたってエラーとなる場合があり、この場合は補間することが困難となる。
このため、画像全体がエラーとなった場合は、オーバーラップ領域全体の平均値を用いて補正ゲインを算出し、画像全体を均一な補正ゲインで補正することにより、再生画像における主走査方向の明暗の縞の発生を低減する。
即ち、本実施の形態によれば、前記隣接するイメージセンサ間の補正ゲインの評価値が画像全域でエラーとなった場合は、オーバーラップ領域全体の平均値を用いて補正ゲインを算出する。

実施の形態６．
実施の形態５では、オーバーラップ領域全体の平均値を用いて補正ゲインを算出したが、オーバーラップ領域全体の平均値が閾値以下である場合、輝度の比（補正ゲイン）を算出する際の分母の項が小さくなることによる演算誤差の増大が発生する。
このため、オーバーラップ領域全体の平均値が閾値以下である場合は、ゲインを１．0
とし、輝度をオフセット処理して輝度差を補正することで、再生画像における主走査方向の明暗の縞の発生を低減する。

本発明は、再生画像が複雑であっても、再生画像に明暗の縞やムラが発生するのを抑制することができる画像読取装置の画像処理方法の実現に有用である。

１０ 画像読取装置、 １１ 照明光 １２ 読取光学系
１３ イメージセンサ １４ 基板 １５ 白基準板
１６ 読取位置 ２０ 原稿

Claims (9)

1. 多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、
   前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、
   前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の１画素分毎に順次時系列に前記補正ゲインを算出して明るさ補正を行い、
   前記明るさ補正処理ステップにおいて、前記１画素分毎に順次時系列に補正ゲインを算出する各エリアの輝度値を用いて、前記補正ゲインの評価値を算出し、該評価値が所定の閾値を越える場合は演算エラーとし、前記演算エラーとなる範囲の補正ゲインを、前記演算エラーとなる範囲のラインの前後に位置するラインの補正ゲインから補間して算出することを特徴とする画像読取装置の画像処理方法。
2. 前記評価値は、１画素分毎に順次時系列に補正ゲインを算出する各エリアの上下ラインの画素値の平均値の差であることを特徴とする請求項１記載の画像読取装置の画像処理方法。
3. 前記評価値は、１画素分毎に順次時系列に補正ゲインを算出する各エリアの画素値の分散値であることを特徴とする請求項１記載の画像読取装置の画像処理方法。
4. 前記評価値は、１画素分毎に順次時系列に補正ゲインを算出する各エリアの画素値の平均値であることを特徴とする請求項１記載の画像読取装置の画像処理方法。
5. 前記補正ゲインの補間方法は、演算エラーとなる範囲のラインの前後に位置するラインのゲインから直線補間することを特徴とする請求項１〜４のいずれか１項に記載の画像読取装置の画像処理方法。
6. 前記補正ゲインの補間方法は、演算エラーとなる範囲のラインの前後に位置するラインのゲインから階段状に補間することを特徴とする請求項１〜４のいずれか１項に記載の画像読取装置の画像処理方法。
7. 前記隣接するイメージセンサ間の補正ゲインの評価値が画像全域でエラーとなった場合は、オーバーラップ領域全体の画素値の平均値を用いてゲインを算出することを特徴とする請求項１〜４のいずれか１項に記載の画像読取装置の画像処理方法。
8. 前記オーバーラップ領域全体の画素値の平均値が設定値よりも低い場合は、全ての補正ゲインを1と設定し、オフセットで輝度を補正することを特徴とする請求項７に記載の画像読取装置の画像処理方法。
9. 多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置であって、
   前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、前記黒補正・白補正処理手段にて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、前記ずれ補正処理手段において前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、前記明るさ補正処理手段により明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、
   前記明るさ補正処理手段は、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記補正ゲインを算出して明るさ補正を行い、
   前記明るさ補正処理手段は、前記1画素分毎に順次時系列に補正ゲインを算出する各エリアの輝度値を用いて前記補正ゲインの評価値を算出し、該評価値が所定の閾値を越える場合は演算エラーとし、前記演算エラーとなる範囲の補正ゲインを、前記演算エラーとなる範囲のラインの前後に位置するラインの補正ゲインから補間して算出することを特徴とする画像読取装置。

Images