JP5517769B2 - 画像読取装置の画像処理方法および画像読取装置 - Google Patents

Description

本発明は、複数個のライン状のイメージセンサが千鳥状に配置され、かつ隣接するイメージセンサ同士が長手方向に一部オーバーラップして配置された画像読取装置およびその画像処理方法に係わり、特に、隣接するイメージセンサの各受光素子から出力される画像データ間の輝度補正に関するものである。

紙原稿を読み取り、画像データの作成あるいは複写を行う画像読取装置として、多数の受光素子からなるライン状のイメージセンサを複数個千鳥状に、かつ、隣接するイメージセンサ同士を、その長手方向に一部オーバーラップさせて配置し、これらイメージセンサ上にレンズ等の読取光学系を備えた装置がある（特許文献１参照）。
図５は、このような画像読取装置の構成を示している。
この画像読取装置では、固定した画像読取装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０が固定で、画像読取装置１０が原稿２０上をスキャンする。
この際、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。
結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。
なお、図５に示すように、複数個のライン状のイメージセンサが、その長手方向にほぼ一列に配置されたものを「ラインセンサ」とも称す。

図５では、固定の画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向（原稿の搬送方向と直交する方向）で一部オーバーラップするように、基板１４上に千鳥状に配置されている。
なお、図５では、１番目、２番目、・・・、ｎ番目、・・・、ｚ番目の複数個のイメージセンサ１３が、千鳥状に配置されている様子を示している。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図６は、各イメージセンサ１３から出力された画像データを繋ぎ合わせて、原稿に忠実な再生画像（複写画像）を作成する従来の画像結合処理のフローを表す図である。
ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されている。
そのため、イメージセンサ１３から出力される画像データ（以降、イメージセンサから出力される画像データを「初期画像」とも呼ぶ）は、図６（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図６（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図６の処理（フロー）が行われるため、副走査方向（図５参照：原稿の搬送方向と逆の方向）のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図６では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する場合を表している。
イメージセンサ１３より出力された初期画像に対して、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
黒補正とは、「得られている初期画像の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

白補正とは、「白基準となる原稿を読んだ時に、画素値が設定値（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値は、理論的には、例えば、８ビット画像では２５５、１０ビット画像では１０２３であるが、この理論値に設定すると、入力データのばらつきのため入力値が白基準値を超えた場合にデータが飽和するので、少し小さめの値に設定する。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布（図５参照）、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる（特許文献２、３参照）。
なお、図６（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全イメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対して、処理Ｂとして、副走査方向のずれの補正を行う。
後述するように、各イメージセンサ１３の原稿２０上における読取位置１６が副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図６（ａ）や図６（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
次の処理Ｃにて、各イメージセンサ１３の画像データを滑らかに繋ぎ合わせるため、この副走査方向のずれ量を補正し、隣接する画像データ間で副走査方向の位置合わせを行う必要がある。
副走査方向の位置合わせには、画像データ中のオーバーラップ領域を利用する。
隣り合う画像データのオーバーラップ領域には、原稿２０面上の同じ箇所の情報が含まれており、各画像データを副走査方向に移動させて、オーバーラップ領域同士の濃淡模様を合わせることによって、副走査方向のずれを補正する（特許文献４参照）。

最後に、処理Ｂ後の画像データに対し、処理Ｃとして、画像の結合作業を行う。
副走査方向の位置合わせが行われた隣接する画像データ間において、オーバーラップ領域の画素値に対し種々の演算が行われる（特許文献５参照）。
これにより、各イメージセンサ１３からの画像データが主走査方向に繋ぎ合わされて、一つの画像となる。
複数個のイメージセンサを用いた画像読取装置では、このような画像結合処理によって再生画像（複写画像）が得られる。

特開２００８−２３６０４５号公報 特開２００３−２１９１６４号公報 特開２００７−２６７３５９号公報 特開２００７−１５０８７０号公報 特開２００６− ６７０３１号公報

図６に示した画像結合処理の処理Ａにおいて白補正を行ったにも関わらず、各イメージセンサ１３の画像データ間で、全体的な明るさ（輝度）が異なる場合がある。
例えば、均一な明るさの原稿２０を読んだ時に、処理Ａ後で各画像データが均一な明るさになっていない場合がある。
このような場合、処理Ｃ後にも主走査方向に実際の原稿２０には無い「明暗の縞」が現れ、得られる再生画像は、原稿２０の画像に忠実ではない「品質の低い画像」となってしまう。

このような現象は、以下の（ａ）〜（ｄ）に示すような要因が複合した場合に生じる。
（ａ）搬送された原稿２０の読取光学系１２からの高さ・距離が、白補正に用いた白基準板１５と同じでない。［設計的制約による］
（ｂ）読取光学系１２からの高さ・距離によって、照明光１１の主走査・副走査方向の照度分布が変化する。［設計的制約による］
（ｃ）千鳥状に配置された２つの列のイメージセンサ１３（図５に示した奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３）の原稿２０面上における読取位置１６は、副走査方向に２つの列を成しており、その２つの列の中心に対して、照明光１１の副走査方向照度分布の中心がずれている。［製造誤差による］
（ｄ）各イメージセンサ１３の原稿２０面上における読取位置１６が、副走査方向にばらついている。［製造誤差による］
（特に奇数番目のイメージセンサ１３と偶数番面のイメージセンサ１３の読取位置１６は、上記（ｃ）に記載のとおり副走査方向に分離している。）

上記（ａ）に関しては、一枚の原稿搬送中においても、読取光学系１２からの距離は変化する。
特に、原稿２０の副走査方向の両端部周辺は、原稿２０の搬送方向の上流側と下流側に位置する搬送ローラ（図示せず）において、上流側もしくは下流側の片側のみでの搬送となるため、読取光学系１２からの高さ・距離が変化しやすい。
上記（ｄ）に関しては、図５において読取光学系１２の光軸を傾け、奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３とで、原稿２０面上における読取位置１６を副走査方向に一致させた画像読取装置（図示せず）も存在する。

しかし、いずれの画像読取装置においても、読取光学系１２などの製造誤差のために、各イメージセンサ１３の読取位置１６は副走査方向にばらつく。
これら（ａ）〜（ｄ）の要因が複合すると、原稿読取時の各イメージセンサ１３の読取位置１６における照度が白補正時とは異なり、また、その照度変化は全てのイメージセンサ１３で一様にはならない。
そのため、前述した画像データ全体の明るさを均一化する白補正を行っても、得られる再生画像には主走査方向に明暗の縞が現れてしまい、品質の低い画像となる。

従来の画像読取装置の問題点（課題）は、上記したように、複数の設計的要因・製造的
要因からなるため、ハードウェアによる解決は困難であった。
また、特許文献２あるいは特許文献３に記載されているような、何らかの基準チャート（テストチャート）による補正を行っても、「原稿搬送中において読取光学系１２からの距離が変化する」あるいは「基準チャートと厚みが異なる原稿２０では読取光学系１２からの距離が異なる」といった要因のため、問題点（課題）の解決は容易でない。
更に、隣接するイメージセンサから出力される画像の結合位置に副走査方向のズレが発生し、補正ゲインの算出に誤差を生じた場合、再生画像は主走査方向に輝度のバランスあるいは色度のバランスを欠いた画像となる。

本発明は、このような課題を解決するために成されたものであり、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、主走査方向の明暗の縞の発生を抑えた「原稿の画像に忠実な再生画像」を得ると共に、更に、副走査方向で画像の結合位置にズレが発生した場合でも、再生画像の主走査方向の輝度や色度のバランスを取ることが可能な「高品質な画像読取装置の画像処理方法」を提供することを目的とする。

本発明に係る画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、前記明るさ補正処理ステップにおいて、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの補正ゲインの積が１．０となるように正規化するものである。
また、前記明るさ補正処理ステップにおいて、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じるものである。
また、本発明に係る画像読取装置は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置であって、前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、前記黒補正・白補正処理手段により補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、前記ずれ補正処理手段により前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データに対して、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、前記明るさ補正処理手段により明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、前記明るさ補正処理手段は、前記画像結合処理手段により結合された画像の主走査方向の各画像データの補正ゲインの積が１．０となるように正規化するものである。
また、前記明るさ補正処理手段は、前記画像結合処理手段により結合された画像の主走
査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じるものである。

本発明によれば、特別なハードウェアの追加や特殊な基準チャートによる原稿読取前の事前補正を行うことなく、画像における主走査方向の明暗の縞の発生を抑えた補正が可能であり、原稿から読み取った画像データから原稿により忠実で高品質な画像を直接得られる効果がある。
更に、隣接するイメージセンサから出力される画像の結合位置に副走査方向のズレが発生しても、再生画像の主走査方向の輝度や色度のバランスを取ることが可能である。

本発明に係る画像読取装置の画像処理方法のフローを表す図である。 オーバーラップ領域を説明するための図である。 オーバーラップ領域の重み付けを説明するための図である。 各画像データの副走査方向のズレを説明するための図である。 本発明が適用される画像読取装置の構成図である。 従来の画像処理方法のフローを表す図である。

以下、図面に基づいて本発明の一実施の形態例について説明する。
実施の形態１．
前掲した図５は、本願発明による画像処理方法が適用される画像読取装置の構成も示している。
背景技術の項での説明と重複するが、本発明が適用される画像読取装置の構成について再度説明しておく。
前述したように、画像読取装置１０では、固定した装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０側が固定で、画像読取装置１０が原稿２０上をスキャンする。
そして、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。

図５では、固定された画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向に一部オーバーラップするように、基板１４上に千鳥状に配置されている。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図１は、実施の形態１に係る画像読取装置の画像処理方法のフローを表す図であり、各イメージセンサから出力された画像データを繋ぎ合わせ、従来よりも原稿に忠実な再生画像（複写画像）を作成する「画像読取装置の画像結合処理」のフローを表している。
背景技術の項で説明したように、ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されているため、イメージセンサ１３から出力される画像データ（初期画像）は、図１（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図１（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番
目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図１の処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図６と同様に、図１では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する図を表している。
イメージセンサ１３より出力された初期画像に対し、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
前述したように、黒補正とは、「得られている初期画像（すなわち、イメージセンサ１３から出力された画像データ）の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

また、白補正とは、「真っ白な原稿を読んだ時に、画素値が最大値付近（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値を、例えば８ビット画像の場合の理論値２５５、１０ビット画像の場合の理論値１０２３より小さくするのは、前述したように、入力データのばらつきのために入力値が白基準値を超えた場合に、データが飽和するのを防止するためである。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる。
しかし、実際には、前述した（ａ）〜（ｄ）の要因により、画像データ全体の明るさを均一化する白補正を行っても、主走査方向に明暗の縞が現れた再生画像となる。
図１（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全てのイメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対し、処理Ｂとして副走査方向のずれの補正を行う。
各イメージセンサ１３の原稿２０上における読取位置１６（図５参照）は、副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図１（ａ）や図１（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
なお、処理Ａ（黒補正・白補正）と処理Ｂ（副走査方向のずれ補正）は、前述した背景技術における処理Ａと処理Ｂと同じ処理である。
本実施の形態では、図６に示した処理Ｂと処理Ｃの間に処理Ｄ（明るさ補正）を有し、輝度補正値の演算時の誤差を低減することを特徴とする。

背景技術の場合と同様に、イメージセンサ１３より出力された初期画像に対し、処理Ａ（黒補正と白補正）と処理Ｂ（副走査方向のずれの補正）を行う。
この処理Ｂ後の画像データに対し、オーバーラップ領域を利用して、各画像データ間の全体的な明るさ（輝度）を合わせるための処理Ｄを行う。
その後、処理Ｄ後の画像データに対し、処理Ｃ（結合作業）を行う。
処理Ａ、処理Ｂ、処理Ｄおよび処理Ｃでは、前述したとおり、実際には原稿２０を読み取りながらリアルタイムに処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみである。(データサイズは全体でも良い。メモリサイズに依存する)

以下、処理Ｄ（明るさ補正）の詳細について説明する。
図１（ｃ）に示すように、「ｎ番目のイメージセンサ１３による画像データＩ_n」中の
「ｎ＋１番目のイメージセンサ１３による画像データＩ_n+1」側のオーバーラップ領域を
Ｒ_nとする。一方、画像Ｉ_n+1中の画像Ｉ_n側のオーバーラップ領域をＬ_n+1とする。
前述したように、原稿２０を読み取りながら順次画像結合処理されるので、前記オーバーラップ領域Ｒ_n、Ｌ_n+1は、共に「（主走査方向数十画素）×（副走査方向十画素）程度のサイズ」である。
処理Ｂによって画像Ｉ_nと画像Ｉ_n+1は副走査方向のずれが補正されているため、オーバーラップ領域Ｒ_n、Ｌ_n+1は原稿２０の面上では全く同じ領域のデータのはずであり、その明るさ（画素値）においても同じでなくてはならない。

そこで、領域Ｒ_nにおける赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画素値の平均値を
求め、それぞれＡ_Rn（Ｒ）、Ａ_Rn（Ｇ）、Ａ_Rn（Ｂ）とする。
同様に、領域Ｌ_n+1におけるＲ・Ｇ・Ｂそれぞれの画素値の平均値を求めて、それぞれ
Ａ_Ln+1（Ｒ）、Ａ_Ln+1（Ｇ）、Ａ_Ln+1（Ｂ）とする。
Ｒ・Ｇ・Ｂそれぞれにおける比をα_n+1（Ｒ）、α_n+1（Ｇ）、α_n+1（Ｂ）とすると、
これらは下記の式（１）で表される。

これらの比は、画像Ｉ_n+1の明るさを画像Ｉ_nの明るさに合わせるための倍率（補正ゲイン）を表している。
すなわち、画像Ｉ_n+1を構成する全画素値に対して、Ｒ・Ｇ・Ｂのそれぞれを、α_n+1（Ｒ）倍、α_n+1（Ｇ）倍、α_n+1（Ｂ）倍すれば、画像Ｉ_n+1の明るさが画像Ｉ_nの明るさに一致する。

同様に、α_n+2（Ｒ）、α_n+2（Ｇ）、α_n+2（Ｂ）を求める。
これにより、ｎ＋２番目のイメージセンサ１３による画像Ｉ_n+2の明るさを画像Ｉ_nの明るさに合わせるための倍率は、Ｒ・Ｇ・Ｂそれぞれα_n+1（Ｒ）×α_n+2（Ｒ）、α_n+1（
Ｇ）×α_n+2（Ｇ）、α_n+1（Ｂ）×α_n+2（Ｂ）となる。
すなわち、１番目のイメージセンサ１３による画像Ｉ₁の明るさを基準に、全てのイメ
ージセンサ１３における画像の明るさを合わせることができる。
例えばｍ番目の画像Ｉ_mの倍率は、Ｒ・Ｇ・Ｂそれぞれ次の式（２）のようになる。

ここで、オーバーラップ領域の詳細について、図２を用いて説明する。
実際の入力画像において、オーバーラップ領域Ｒ _ｎ 、Ｌ _ｎ＋１ が綺麗に一画素単位で重複するわけではなく、読取光学系１２やイメージセンサ１３の製造誤差のため、図２に示すように、主走査方向、副走査方向のいずれにおいても一画素未満のずれが存在する。
このため、図１に示す処理Ｂ（副走査方向のずれの補正）では、隣接する画像データ間の副走査方向の位置合わせは1画素未満、例えば０．１画素単位で行われる。
また、主走査方向についても、事前に基準チャートを読み込むことによって、例えば、同じく０．１画素単位でオーバーラップ領域の算出が行われる。
オーバーラップ領域において式（１）に示す補正ゲインを算出するための領域Ｒ_n、Ｌ_n+1のサイズを、主走査方向にｕ 画素、副走査方向に ｖ 画素と設定し、図２に示すよう
に、画像データＩ_n とＩ_n+1 のズレが主走査方向に ｋ画素、副走査方向に l画素であったとする。但し、 0 ≦ k , l ＜ 1 とする。
この場合、画像データＩ_n+1 上の画素(t , r) の輝度をＥ _t,r 、画像データＩ_n 上の画素(s , q)の輝度をＥ_s,qとすると、Ｅ _t,r は、以下の式（３）となる。

以降、画像データＩ_n+1 上の画素（t , r）に対応する画像データＩ_n 上の画素の輝度をＥ’_t,rと記載する。
前述の通り画像データＩ_nとＩ_n+1は１画素未満で位置合わせを行っているが、ズレ補正処理の精度や光学系のバラツキなどの影響で、誤差を持つことがある。
誤差がなければ、Ｅ _t,r ＝Ｅ’_t,r となるが、上記誤差のために差異が発生し、補正ゲインの算出に誤差が生じることにより主走査方向の縞が発生する。
この縞の発生を抑制するために、以下の処理を行う。
補正ゲインを算出するために領域Ｒ_n、Ｌ_n+1の平均値を算出するが、領域Ｒ_n、Ｌ_n+1のサイズ（u,v）に対して重みを乗じて平均値を算出し、前掲の式（１）を以下の式（４）の様に拡張する。

但し、ｋ_i,jは重み、Ｅ(R)_i,jは座標(i,j)の赤成分の輝度値、Ｅ(G)_i,jは座標(i,j)の緑成分の輝度値、Ｅ(B)_i,jは座標(i,j)の青成分の輝度値であり、０ ≦ｋ_i,j ＜ １である。
重みｋ_i,jは、図３に示す様な台形形状やハニング窓(図示しない)を設定する。
なお、ハニング窓とは、“ y ＝ 0.5-0.5＊Cos(2πx) (0≦ｘ≦1) ”で表される窓関数である。
補正ゲインを算出する領域Ｒ _ｎ 、Ｌ _ｎ＋１ に含まれる画像が輝度変化の少ない均一輝度である場合や、領域Ｒ _ｎ 、Ｌ _ｎ＋１ 内部に模様(明暗差の大きな画像)が内包される場合は、重みｋ_i,jを乗じなくても演算精度は変化しないが、模様の一部が領域Ｒ _ｎ 、Ｌ _ｎ＋１ の外周にかかる場合、上記位置合わせの誤差による影響を受けることになるため、周辺部の影響度を低減し、領域Ｒ _ｎ 、Ｌ _ｎ＋１ の中央部の影響度を上げる処理を行うことで、主走査方向の明暗の縞を低減する。

更に、式（２）にて、各画像データＩ ₁ 〜Ｉ _h のゲインを決定したが、光学系等の誤差の影響により各画像データ内で左から右に向かって輝度が上昇（読み取り原稿は、均一濃度とする）するような場合、補正後の画像は、画像データＩ ₁ は元のままであるが、最終の画像データＩ _h では、各画像データ内の輝度上昇の影響を全て受け、元に比べると非常に明るい画像となってしまうため、ゲインの正規化を行い、ゲインの積を１．０とする。
以下、図４に従って説明を行う。
図４は、各画像データＩ ₁ 〜Ｉ _h までの副走査方向のズレを模式的に表したものである。
画像データＩ ₁ のq行目を基準にして、各画像データのズレをｌ_２〜ｌ_ｈとする。
同一行のデータは副走査方向に1画素未満のズレを持っているため、画像データＩ ₁ のq行目に相当する各ｍ番目の画像データのゲインは、以下の式（５）の様になる。

ここで、以下の式（６）に示すように、

とすると、画像データＩ ₁ のq行目に相当する各ｍ番目の画像データの正規化後のゲインは、以下の式（７）の様に定義できる。

よって、各画像データの正規化後のゲインは、以下の式（８）の様になる。

これにより、主走査方向の各ラインで輝度バランスの取れた画像が生成できる。

以上説明したように、本実施の形態による画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサ１３を複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ１３同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿２０の画像を読み取る画像読取装置１０の画像処理方法であって、
前記イメージセンサ１３より出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップ（処理Ａ）と、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップ（処理Ｂ）と、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサ１３から出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサ１３による画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップ（処理Ｄ）と、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップ（処理Ｃ）とを有し、前記明るさ補正処理ステップ（処理Ｄ）において、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの補正ゲインの積が１．０となるように正規化する。
従って、本実施の形態によれば、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えると共に、副走査方向で画像の結合位置にズレが発生した場合でも、再生画像の主走査方向の輝度のバランスを取ることが可能であるので、原稿の画像に更に忠実な再生画像を得ることができる。

また、本実施の形態による画像読取装置の画像処理方法は、画像データの副走査方向のオーバーラップした領域のサイズは十画素程度であり、各イメージセンサ１３から出力される画像データのうち、副走査方向の画像データには一画素分ずつ画素値にゲインを乗算し、順次時系列に、処理の確定した副走査方向一画素分の画像データの削除と、新たに読み込まれた副走査方向一画素分の画像データを追加しながら、オーバーラップした領域の画素値の平均値によるゲインの算出と、画像データの画素値に対するゲインの乗算を繰り返すことにより、原稿２０の全体の再生画像を得る。
従って、本実施の形態によれば、原稿を読み取りながら、リアルタイムに原稿全体の画像再生（結合）処理をすることができる。

実施の形態２．
前述の実施の形態１では、正規化後のゲインβ’m(R), β’m(G), β’m(B)を入力画像に乗じたが、算出したゲインが色毎に変化することは考えにくく、ズレ補正処理の誤差や光学系のバラツキの影響による演算誤差であると考えられる。
このため、正規化後のゲインをそのまま入力画像に乗じるのではなく、下記の式（９）に示すように、

として、各色プレーンから算出したゲインの平均値を補正ゲインとして乗じる。
なお、色プレーンとは、色成分（即ち、Ｒ、Ｇ、Ｂ）毎のデータのことを指す。
カラー画像は、Ｒ、Ｇ、Ｂの３色で構成されているが、各色成分で構成された画像（各色プレーン）から各色成分のゲインを算出し、その平均値を補正ゲインとする。
すなわち、本実施の形態によれば、明るさ補正処理ステップ（処理Ｄ）において、画像結合処理ステップで結合された画像の主走査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じる。
これにより、補正ゲインの演算誤差による本来の画像には存在しない色ズレを低減できると共に、再生画像の色度のバランスを取ることができる。

以上説明したように、本実施の形態による画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサ１３を複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ１３同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿２０の画像を読み取る画像読取装置１０の画像処理方法であって、
前記イメージセンサ１３より出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップ（処理Ａ）と、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップ（処理Ｂ）と、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサ１３から出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサ１３による画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップ（処理Ｄ）と、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップ（処理Ｃ）とを有し、
前記明るさ補正処理ステップ（処理Ｄ）において、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じる。
これにより、補正ゲインの演算誤差による色ズレを低減できると共に、再生画像の色度のバランスを取ることができる。

本発明は、再生画像の主走査方向の明暗の縞の発生を抑えると共に、更に、再生画像の輝度あるいは色度のバランスを取ることが可能な画像読取装置の画像処理方法の実現に有用である。

１０ 画像読取装置、 １１ 照明光 １２ 読取光学系
１３ イメージセンサ １４ 基板 １５ 白基準板
１６ 読取位置 ２０ 原稿

Claims (4)

1. 多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、
   前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、
   前記明るさ補正処理ステップにおいて、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの補正ゲインの積が１．０となるように正規化することを特徴とする画像読取装置の画像処理方法。
2. 前記明るさ補正処理ステップにおいて、前記画像結合処理ステップで結合された画像の主走査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じることを特徴とする請求項１に記載の画像読取装置の画像処理方法。
3. 多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置であって、
   前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、前記黒補正・白補正処理手段により補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、前記ずれ補正処理手段により前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データに対して、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じた補正ゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、前記明るさ補正処理手段により明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、
   前記明るさ補正処理手段は、前記画像結合処理手段により結合された画像の主走査方向の各画像データの補正ゲインの積が１．０となるように正規化することを特徴とする画像読取装置。
4. 前記明るさ補正処理手段は、前記画像結合処理手段により結合された画像の主走査方向の各画像データの色成分毎に算出したゲインの平均値を補正ゲインとして各画像データに乗じることを特徴とする請求項３に記載の画像読取装置。

Images