JP5161899B2 - 画像読取装置の画像処理方法 - Google Patents

Description

本発明は、複数個のライン状のイメージセンサが千鳥状に配置され、かつ隣接するイメージセンサ同士が一部オーバーラップして配置された画像読取装置の画像処理方法に係わり、特に、原稿読取時に各イメージセンサから出力される画像データを補正・結合して、再生画像を得る「画像読取装置の画像処理方法」に関するものである。

紙原稿を読み取り、画像データの作成あるいは複写を行う画像読取装置として、多数の受光素子からなるライン状のイメージセンサを複数個千鳥状に、かつ、隣接するイメージセンサ同士を、その長手方向に一部オーバーラップさせて配置し、これらイメージセンサ上にレンズ等の読取光学系を備えた装置がある（特許文献１参照）。
図３は、このような画像読取装置の構成を示している。
この画像読取装置では、固定した画像読取装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０が固定で、画像読取装置１０が原稿２０上をスキャンする。
この際、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。
結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。

図３では、固定の画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向（原稿の搬送方向と直交する方向）で一部オーバーラップするように、基板１４上に千鳥状に配置されている。
なお、図３では、１番目、２番目、・・・、ｎ番目、・・・、ｚ番目の複数個のイメージセンサ１３が、千鳥状に配置されている様子を示している。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図４は、各イメージセンサ１３から出力された画像データを繋ぎ合わせて、原稿に忠実な再生画像（複写画像）を作成する従来の画像結合処理のフローを表す図である。
ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されている。
そのため、イメージセンサ１３から出力される画像データ（以降、イメージセンサから出力される画像データを「初期画像」とも呼ぶ）は、図４（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図４（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図４の処理（フロー）が行われるため、副走査方向（図３参照：原稿の搬送方向と逆の方向）のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図４では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する場合を表している。
イメージセンサ１３より出力された初期画像に対して、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
黒補正とは、「得られている初期画像の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

白補正とは、「真っ白な原稿を読んだ時に、画素値が最大値（例えば、８ビット画像では２５５、１０ビット画像では１０２３）になるように、黒補正後の画素値にゲインを乗算する補正」である。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布（図３参照）、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる（特許文献２、３参照）。
なお、図４（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全イメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対して、処理Ｂとして、副走査方向のずれの補正を行う。
後述するように、各イメージセンサ１３の原稿２０上における読取位置１６が副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図４（ａ）や図４（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
次の処理Ｃにて、各イメージセンサ１３の画像データを滑らかに繋ぎ合わせるため、この副走査方向のずれ量を補正し、隣接する画像データ間で副走査方向の位置合わせを行う必要がある。
副走査方向の位置合わせには、画像データ中のオーバーラップ領域を利用する。
隣り合う画像データのオーバーラップ領域には、原稿２０面上の同じ箇所の情報が含まれており、各画像データを副走査方向に移動させて、オーバーラップ領域同士の濃淡模様を合わせることによって、副走査方向のずれを補正する（特許文献４参照）。

最後に、処理Ｂ後の画像データに対し、処理Ｃとして、画像の結合作業を行う。
副走査方向の位置合わせが行われた隣接する画像データ間において、オーバーラップ領域の画素値に対し種々の演算が行われる（特許文献５参照）。
これにより、各イメージセンサ１３からの画像データが主走査方向に繋ぎ合わされて、一つの画像となる。
複数個のイメージセンサを用いた画像読取装置では、このような画像結合処理によって再生画像（複写画像）が得られる。

特開２００８−２３６０５４号公報 特開２００３−２１９１６４号公報 特開２００７−２６７３５９号公報 特開２００７−１５０８７０号公報 特開２００６− ６７０３１号公報

図４に示した画像結合処理の処理Ａにおいて白補正を行ったにも関わらず、各イメージセンサ１３の画像データ間で、全体的な明るさ（輝度）が異なる場合がある。
例えば、均一な明るさの原稿２０を読んだ時に、処理Ａ後で各画像データが均一な明るさになっていない場合がある。
このような場合、処理Ｃ後にも主走査方向に実際の原稿２０には無い「明暗の縞」が現れ、得られる再生画像は、原稿２０の画像に忠実ではない「品質の低い画像」となってしまう。

このような現象は、以下の（ａ）〜（ｄ）に示すような要因が複合した場合に生じる。
（ａ）搬送された原稿２０の読取光学系１２からの高さ・距離が、白補正に用いた白基準板１５と同じでない。［設計的制約による］
（ｂ）読取光学系１２からの高さ・距離によって、照明光１１の主走査・副走査方向の照度分布が変化する。［設計的制約による］
（ｃ）千鳥状に配置された２つの列のイメージセンサ１３（図３に示した奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３）の原稿２０面上における読取位置１６は、副走査方向に２つの列を成しており、その２つの列の中心に対して、照明光１１の副走査方向照度分布の中心がずれている。［製造誤差による］
（ｄ）各イメージセンサ１３の原稿２０面上における読取位置１６が、副走査方向にばらついている。［製造誤差による］
（特に奇数番目のイメージセンサ１３と偶数番面のイメージセンサ１３の読取位置１６は、上記（ｃ）に記載のとおり副走査方向に分離している。）

上記（ａ）に関しては、一枚の原稿搬送中においても、読取光学系１２からの距離は変化する。
特に、原稿２０の副走査方向の両端部周辺は、原稿２０の搬送方向の上流側と下流側に位置する搬送ローラ（図示せず）において、上流側もしくは下流側の片側のみでの搬送となるため、読取光学系１２からの高さ・距離が変化しやすい。
上記（ｄ）に関しては、図３において読取光学系１２の光軸を傾け、奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３とで、原稿２０面上における読取位置１６を副走査方向に一致させた画像読取装置（図示せず）も存在する。

しかし、いずれの画像読取装置においても、読取光学系１２などの製造誤差のために、各イメージセンサ１３の読取位置１６は副走査方向にばらつく。
これら（ａ）〜（ｄ）の要因が複合すると、原稿読取時の各イメージセンサ１３の読取位置１６における照度が白補正時とは異なり、また、その照度変化は、全てのイメージセンサ１３で一様にはならない。
そのため、前述した画像データ全体の明るさを均一化する白補正を行っても、得られる再生画像には主走査方向に明暗の縞が現れてしまい、品質の低い画像となる。

従来の画像読取装置の問題点（課題）は、上記したように、複数の設計的要因・製造的要因からなるため、ハードウェアによる解決は困難であった。
また、特許文献２あるいは特許文献３に記載されているような、何らかの基準チャート（テストチャート）による補正を行っても、「原稿搬送中において読取光学系１２からの距離が変化する」あるいは「基準チャートと厚みが異なる原稿２０では読取光学系１２からの距離が異なる」といった要因のため、問題点（課題）の解決は容易でない。

本発明は、このような課題を解決するために成されたものであり、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えた「原稿の画像に忠実な再生画像」を得ることが可能な高品質な「画像読取装置の画像処理方法」を提供することを目的とする。

本発明に係る画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、
前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、ゲインを乗算して画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを乗算して、明るさ補正を行い、前記ゲインは、隣り合う前記イメージセンサから出力される画像データのうち、オーバーラップした領域の画素値における平均値同士の比率を基とし、時系列、つまり副走査方向にさかのぼった前記比率に、前記副走査方向にさかのぼった画素数に応じて減少する重みを付して加算するものである。

本発明によれば、特別なハードウェアの追加や特殊な基準チャートによる原稿読取前の事前補正を行うことなく、再生された画像における「主走査方向の明暗の縞の発生」を抑えることが可能であり、原稿から読み取った画像データから「原稿により忠実で高品質な再生画像」を直接得られる効果がある。

実施の形態１に係る画像読取装置の画像処理方法のフローを表す図である。 実施の形態２において、オーバーラップ領域を説明するための図である。 本発明が適用される画像読取装置の構成図である。 従来の画像処理方法のフローを表す図である。

以下、図面に基づいて、本発明の一実施の形態例を説明する。
実施の形態１．
前掲した図３は、本願発明による画像処理方法が適用される画像読取装置の構成も示している。
背景技術の項での説明と重複するが、本発明が適用される画像読取装置の構成について再度説明しておく。
前述したように、画像読取装置１０では、固定した装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０側が固定で、画像読取装置１０が原稿２０上をスキャンする。
そして、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。

図３では、固定された画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向に一部オーバーラップするように、基板１４上に千鳥状に配置されている。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。

図１は、実施の形態１に係る画像読取装置の画像処理方法のフローを表す図である。
背景技術の項で説明したように、ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されているため、イメージセンサ１３から出力される画像データ（初期画像）は、図１（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図１（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図１の処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。

図４と同様に、図１では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する図を表している。
イメージセンサ１３より出力された初期画像に対し、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
前述したように、黒補正とは、「得られている初期画像（すなわち、イメージセンサ１３から出力された画像データ）の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。

また、白補正とは、「真っ白な原稿を読んだ時に、画素値が最大値（例えば、８ビット画像では２５５、１０ビット画像では１０２３）になるように、黒補正後の画素値にゲインを乗算する補正」である。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる。
しかし、実際には、前述した（ａ）〜（ｄ）の要因により、画像データ全体の明るさを均一化する補正を行っても、主走査方向に明暗の縞が現れた再生画像となる。
図１（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全てのイメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。

次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対し、処理Ｂとして副走査方向のずれの補正を行う。
各イメージセンサ１３の原稿２０上における読取位置１６（図３参照）は、副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図１（ａ）や図１（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
なお、処理Ａ（黒補正・白補正）と処理Ｂ（副走査方向のずれ補正）は、前述した背景技術における処理Ａと処理Ｂと同じ処理である。
本実施の形態では、図４に示した処理Ｂと処理Ｃの間に処理Ｄ（明るさ補正）を有していることを特徴とする。

背景技術の場合と同様に、イメージセンサ１３より出力された初期画像に対し、処理Ａ（黒補正と白補正）と処理Ｂ（副走査方向のずれの補正）を行う。
この処理Ｂ後の画像データに対し、オーバーラップ領域を利用して、各画像データ間の全体的な明るさ（輝度）を合わせるための処理Ｄを行う。
その後、処理Ｄ後の画像データに対し、処理Ｃ（結合作業）を行う。
処理Ａ、処理Ｂ、処理Ｄおよび処理Ｃでは、前述したとおり、実際には原稿２０を読み取りながらリアルタイムに処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみである。

以下、処理Ｄ（明るさ補正）の詳細について説明する。
図１（ｃ）に示すように、「ｎ番目のイメージセンサ１３による画像データＩ_ｎ」中の「ｎ＋１番目のイメージセンサ１３による画像データＩ_ｎ＋１」側のオーバーラップ領域をＲ_ｎとする。一方、画像Ｉ_ｎ＋１中の画像Ｉ_ｎ側のオーバーラップ領域をＬ_ｎ＋１とする。
前述したように、原稿２０を読み取りながら順次画像結合処理されるので、前記オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１は、共に「（主走査方向数十画素）×（副走査方向十画素）程度のサイズ」である。
処理Ｂによって画像Ｉ_ｎと画像Ｉ_ｎ＋１は副走査方向のずれが補正されているため、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１は原稿２０の面上では全く同じ領域のデータのはずであり、その明るさ（画素値）においても同じでなくてはならない。

そこで、領域Ｒ_ｎにおける赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画素値の平均値を求め、それぞれＡ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）とする。
同様に、領域Ｌ_ｎ＋１におけるＲ・Ｇ・Ｂそれぞれの画素値の平均値を求めて、それぞれＡ_Ｌｎ＋１（Ｒ）、Ａ_Ｌｎ＋１（Ｇ）、Ａ_Ｌｎ＋１（Ｂ）とする。
Ｒ・Ｇ・Ｂそれぞれにおける比をα_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）とすると、これらは下記の式（１）で表される。

これらの比は、画像Ｉ_ｎ＋１の明るさを画像Ｉ_ｎの明るさに合わせるための倍率（ゲイン）を表している。
すなわち、画像Ｉ_ｎ＋１を構成する全画素値に対して、Ｒ・Ｇ・Ｂのそれぞれを、α_ｎ＋１（Ｒ）倍、α_ｎ＋１（Ｇ）倍、α_ｎ＋１（Ｂ）倍すれば、画像Ｉ_ｎ＋１の明るさが画像Ｉ_ｎの明るさに一致する。

同様に、α_ｎ＋２（Ｒ）、α_ｎ＋２（Ｇ）、α_ｎ＋２（Ｂ）を求める。
これにより、ｎ＋２番目のイメージセンサ１３による画像Ｉ_ｎ＋２の明るさを画像Ｉ_ｎの明るさに合わせるための倍率は、Ｒ・Ｇ・Ｂそれぞれα_ｎ＋１（Ｒ）×α_ｎ＋２（Ｒ）、α_ｎ＋１（Ｇ）×α_ｎ＋２（Ｇ）、α_ｎ＋１（Ｂ）×α_ｎ＋２（Ｂ）となる。
すなわち、１番目のイメージセンサ１３による画像Ｉ_１の明るさを基準に、全てのイメージセンサ１３における画像の明るさを合わせることができる。
例えばｍ番目の画像Ｉ_ｍの倍率は、Ｒ・Ｇ・Ｂそれぞれ次の式（２）のようになる。

ここで、例えば画像Ｉ_１が暗い画像であった場合、画像Ｉ_１を基準として全てのイメージセンサ１３からの画像の明るさを補正すると、得られる再生画像は全体的に暗くなる。
このため、全画像データ中の最も明るい画像基準で明るさ補正を行うのが望ましい。
イメージセンサ１３が１番目からｚ番目まであるとして、例えば、Ｒ（赤）において、β_１（Ｒ）〜β_ｚ（Ｒ）のうち最小値をβ_ｍｉｎ（Ｒ）とする。
同様に、Ｇ（緑）、Ｂ（青）においても、最小値をβ_ｍｉｎ（Ｇ）、β_ｍｉｎ（Ｂ）とする。
ｍ番目の画像Ｉ_ｍの明るさを最も明るい画像に合わせるための補正倍率は、Ｒ・Ｇ・Ｂそれぞれ以下の式（３）のようになる。

具体的には、原稿２０の搬送に従い、処理の確定した副走査方向一画素分の画像データを削除し、新たに読み込まれた副走査方向一画素分の画像データを追加しながら、順次画像結合処理が行われる。
このため、補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）は、画像Ｉ_ｍを構成する全画素値に対してではなく、副走査方向一画素分の画像データ（例えば、副走査方向にスタック（ｓｔａｃｋ）されている画像データのうち、最も前に読み込まれた一画素分）に対してのみ、Ｒ・Ｇ・Ｂそれぞれ乗算する。
そして、新たに副走査方向の一画素分の画像データが読み込まれれば、新しい補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）を算出する。
原稿２０の搬送に従い、順次この処理を繰り返していく。
すなわち、実施の形態１に係る画像結合処理によれば、何らかの特別なハードウェアの追加、特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、オーバーラップ領域を利用して各イメージセンサ１３の画像データ間の全体的な明るさ（輝度）を合わせる処理Ｄにより、「主走査方向の明暗の縞」の発生を抑えた「原稿２０により忠実な再生画像」を、原稿２０から読み取った画像データから直接得ることができる。

なお、例えばオーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１が原稿２０の黒い箇所など非常に暗い部分にかかっていた場合、画像データを構成する画素値の絶対値が小さくなるため、α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）、すなわち補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）の精度が低くなってしまう。
これにより、処理Ｄにおいて、全画像データ中、画素値の最大値（例えば８ビット画像では２５５、１０ビット画像では１０２３）を超える画素が発生することがある。
この画素については、カウンターストップし、最大値に固定するようにする。
また、処理Ｄ（明るさ補正）におけるオーバーラップ領域として、副走査方向のサイズを一画素で行うことも可能だが、ノイズ成分によりＡ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）、Ａ_Ｌｎ＋１（Ｒ）、Ａ_Ｌｎ＋１（Ｇ）、Ａ_Ｌｎ＋１（Ｂ）、すなわち補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）の精度が低くなってしまう。
このため、副走査方向は複数画素を用いるのが望ましい。

以上説明したように、本実施の形態による画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサ１３を複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ１３同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿２０の画像を読み取る画像読取装置１０の画像処理方法であって、
前記イメージセンサ１３より出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップ（処理Ａ）と、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップ（処理Ｂ）と、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサ１３から出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップ（処理Ｄ）と、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップ（処理Ｃ）とを有する。
従って、本実施の形態によれば、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えることが可能であり、原稿の画像に更に忠実な再生画像を得ることができる。

また、本実施の形態による画像読取装置の画像処理方法は、画像データの副走査方向のオーバーラップした領域のサイズは十画素程度であり、各イメージセンサ１３から出力される画像データのうち、副走査方向の画像データには一画素分ずつ画素値にゲインを乗算し、順次時系列に、処理の確定した副走査方向一画素分の画像データを削除と、新たに読み込まれた副走査方向一画素分の画像データを追加しながら、オーバーラップした領域の画素値の平均値によるゲインの算出と、画像データの画素値に対するゲインの乗算とを繰り返すことにより、原稿２０の全体の再生画像を得る。
従って、本実施の形態によれば、原稿を読み取りながら、リアルタイムに原稿全体の画像画像再生（結合）処理をすることができる。

また、本実施の形態による画像読取装置の画像処理方法は、各イメージセンサ１３から出力される画像データのうち、最も明るい画像データの明るさが基準となるように、各イメージセンサから出力される画像データの画素値にゲインを乗算する。
従って、明るく、かつ、更に原稿に忠実な高品質な再生画像を得ることができる。

実施の形態２．
図２は、本発明の実施の形態２を説明するためのオーバーラップ領域の図である。
前述の実施の形態１では、オーバーラップ領域の詳細について言及していなかった。
オーバーラップ領域のサイズが主走査方向にｐ画素、副走査方向にｓ画素であった場合、オーバーラップ領域Ｒ_ｎ（図１（ｃ）参照）における画素値の平均値Ａ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）は、通常は下記の式（４）に示すとおりとなる。

ここで、Ｅ_ｉｊ（Ｒ）、Ｅ_ｉｊ（Ｇ）、Ｅ_ｉｊ（Ｂ）は、主走査方向ｉ列目、副走査方向ｊ行目の画素値である。
オーバーラップ領域Ｌ_ｎ＋１（図１（ｃ）参照）における画素値の平均値Ａ_Ｌｎ＋１（Ｒ）、Ａ_Ｌｎ＋１（Ｇ）、Ａ_Ｌｎ＋１（Ｂ）についても同様である。
しかし、実際にはオーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１が綺麗に一画素単位で重複するわけではなく、読取光学系１２やイメージセンサ１３の製造誤差のため、図２に示すように、主走査方向、副走査方向のいずれにおいても一画素未満のずれが存在する。
このため、図１に示す処理Ｂ（副走査方向のずれの補正）では、隣接する画像データ間の副走査方向の位置合わせは、例えば０．１画素単位で行われる。
また、主走査方向についても、事前に基準チャートを読み込むことによって、例えば、同じく０．１画素単位でオーバーラップ領域の算出が行われる。

このように、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１は、一画素未満のずれを持って重複しているため、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１内の明るさが一様な場合を除いて、上記式（４）によるＡ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）、Ａ_Ｌｎ＋１（Ｒ）、Ａ_Ｌｎ＋１（Ｇ）、Ａ_Ｌｎ＋１（Ｂ）から求められる「画像Ｉ_ｎ＋１の明るさ」を「画像Ｉ_ｎの明るさ」に合わせる倍率α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）は、誤差を持つことになる。
この誤差により、前述の背景技術での処理Ｃ（結合作業）後に得られる再生画像には、主走査方向の明暗の縞が若干残ることになる。この現象は、オーバーラップ領域のサイズｐおよびｓが小さい時、特に顕著に現れる。
そこで本実施の形態２では、上記誤差を解消するために、上記平均値Ａ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）の算式（式（４））において、下記の式（５）に示すように、各画素の画素値Ｅ_ｉｊ（Ｒ）、Ｅ_ｉｊ（Ｇ）、Ｅ_ｉｊ（Ｂ）に補正項ｋ_ｉｊを乗算する。

補正項ｋ_ｉｊは、領域Ｒ_ｎ内の主走査方向ｉ列目、副走査方向ｊ行目の画素における、領域Ｌ_ｎ＋１にオーバーラップしている面積の、一画素分の面積に対する比率である。
つまり、ｋ_ｉｊは、（領域Ｌ_ｎ＋１に対しオーバーラップしている面積）/（一画素分の面積）である。
一画素未満でオーバーラップしている画素（図２の領域Ｒ_ｎで、主走査方向ｑとｑ＋ｐ−１列目、副走査方向ｒとｒ＋ｓ−１行目の画素）では、ｋ_ｉｊは１未満になる。
一方、一画素全体がオーバーラップしている画素（領域Ｒ_ｎで主走査方向ｑ＋１列目からｑ＋ｐ列目まで、かつ副走査方向ｒ＋１行目からｒ＋ｓ行目までの画素）では、補正項ｋ_ｉｊは１になる。
すなわち、本実施の形態２によれば、一画素未満の精度のオーバーラップ領域サイズでもって、画素値の平均値を算出する。
従って、隣接するイメージセンサ１３同士の画像データの明るさ（輝度）をより高精度に合わせることができるので、主走査方向の明暗の縞を更に抑えた「原稿に忠実で高品質な再生画像」を得ることができる。

実施の形態３．
紙原稿２０に「折り目やしわ」がある場合、原稿表面が厳密には完全拡散面ではないため、「折り目やしわ」の部分は同じ箇所でも見る方向（角度）によって明るさ（輝度）が違って見える。あるいは同じ方向から見ても照明光１１の当たる角度によって明るさが異なって見える。
オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に「折り目やしわ」がある場合、例えｎ番目とｎ＋１番目のイメージセンサ１３の原稿２０上における読取位置１６の照度が同じであっても、領域Ｒ_ｎとＬ_ｎ＋１の明るさは異なってくる。
このため、原稿２０を搬送しながら順次画像データの結合処理を行っている際に、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に「折り目やしわ」の部分が入ると、画像Ｉ_ｎ＋１の明るさを画像Ｉ_ｎの明るさに合わせる倍率α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）が、「折り目やしわ」の部分が入る前までの値と比べ、突然変位することになる。
この変位は、処理Ｃ（結合作業）後に得られる再生画像に、副走査方向に明暗の細かい筋を生む。

そこで、本実施の形態３では、上記α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）の突然の変位を防ぎ、緩やかな変化とするため、原稿２０の搬送に伴い順次更新されていくα_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）を保持、参照しながら新たなα_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）を算出する。
具体的には、以下のとおりである。
例えば原稿２０の端から図１の画像結合処理を開始して、現在は副走査方向ｔ行目の処理Ｄ（明るさ補正）を行っているとする。
この時、前記実施の形態１に記載の式（１）より求められるα_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）を、右肩にｔを付けたα^ｔ _ｎ＋１（Ｒ）、α^ｔ _ｎ＋１（Ｇ）、α^ｔ _ｎ＋１（Ｂ）と記述することにする。
これを用いて、新たなα_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）を、次の式（６）のように表す。

各式の右辺に示すように、α_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）に対して、現在処理を行っているｔ行目（α^ｔ _ｎ＋１（Ｒ）、α^ｔ _ｎ＋１（Ｇ）、α^ｔ _ｎ＋１（Ｂ））からの寄与率が最も高く、ｔ−１行目（α^ｔ−１ _ｎ＋１（Ｒ）、α^ｔ−１ _ｎ＋１（Ｇ）、α^ｔ−１ _ｎ＋１（Ｂ））、ｔ−２行目（α^ｔ−２ _ｎ＋１（Ｒ）、α^ｔ−２ _ｎ＋１（Ｇ）、α^ｔ−２ _ｎ＋１（Ｂ））と副走査方向にさかのぼるに従って、寄与率は指数関数的に低下していく。
指数ｂは、当該ｔ行目におけるα_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）に影響を及ぼす副走査方向の画素の範囲を表し、経験的に決められる。
指数ｂが大きければ、前記原稿２０の「折り目やしわ」に対しα_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）は変位しやすく、指数ｂが小さければ「折り目やしわ」には鈍感でる。
しかし、例えば前記原稿２０の副走査方向両端部周辺や多少丸まった原稿２０を読み取る時などの、読取光学系１２から原稿２０までの高さ（距離）の緩やかな変化にまで鈍感になってくる。
好適には、指数ｂは、０．２＜b＜１．２である。
α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）からα_ｎ＋１’（Ｒ）、α_ｎ＋１’（Ｇ）、α_ｎ＋１’（Ｂ）への変更に伴い、１番目のイメージセンサ１３による画像Ｉ_１に明るさを合わせる倍率β_ｍ（Ｒ）、β_ｍ（Ｇ）、β_ｍ（Ｂ）の算式（式（２））は、以下の式（７）のようになる。

β_ｍ（Ｒ）、β_ｍ（Ｇ）、β_ｍ（Ｂ）を用いた、最も明るい画像に明るさを補正する倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）の算式（式（３））に変更は無い。
以上のように、本実施の形態による画像読取装置の画像処理方法は、時系列方向にさかのぼったゲインを参照することにより、補正された新たなゲインを算出し、各イメージセンサから出力される画像データのうち、副走査方向は一画素分ずつ画素値に補正された新たなゲインを乗算する。
従って、原稿２０の「折り目やしわ」に起因する副走査方向に現れる明暗の細かい筋の発生を抑えるので、原稿に更に忠実で高品質な再生画像を得ることができる。

実施の形態４．
前述の実施の形態１に記載したとおり、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に原稿２０の黒い箇所などの非常に暗い部分がかかっていた場合、画像を構成する画素値の絶対値が小さくなり、式（１）の倍率α_ｎ＋１（Ｒ）、α_ｎ＋１（Ｇ）、α_ｎ＋１（Ｂ）、すなわち、補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）の精度が低くなってしまう。
この精度の低下は、処理Ｃ（結合作業）後に得られる再生画像において、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に暗い部分がかかった所とそうでない所とで、若干の明るさの差異を生み、副走査方向に明暗の縞となって現れる。
原稿２０上の黒く暗い部分は画素値の絶対値が小さく、また、画素値は整数値しか取れず離散的なため、相対的にＳ/Ｎが低下した状態（すなわち、ノイズ成分が増えた状態）に等価である。
このため、オーバーラップ領域のサイズを拡大するのが効果的だが、オーバーラップ領域のサイズを拡大することは、前述の実施の形態３に記載の式（６）において指数ｂを小さくすることに近い。
つまり、原稿２０上の黒く暗い部分の領域に合わせて、オーバーラップ領域のサイズを拡大した場合、補正倍率γ_ｍ（Ｒ）、γ_ｍ（Ｇ）、γ_ｍ（Ｂ）が本来追従すべき「読取光学系１２から原稿２０までの高さ（距離）の緩やかな変化」にまで追従できなくなる可能性がある。

そこで、本実施の形態４では、上記Ｓ/Ｎの低下を解消するために、上記式（６）に補正項（Ａ^ｉ _Ｒｎ（Ｒ）＋Ａ^ｉ _Ｌｎ＋１（Ｒ））、（Ａ^ｉ _Ｒｎ（Ｇ）＋Ａ^ｉ _Ｌｎ＋１（Ｇ））、（Ａ^ｉ _Ｒｎ（Ｂ）＋Ａ^ｉ _Ｌｎ＋１（Ｂ））を乗算する。
Ａ^ｉ _Ｒｎ（Ｒ）、Ａ^ｉ _Ｒｎ（Ｇ）、Ａ^ｉ _Ｒｎ（Ｂ）、Ａ^ｉ _Ｌｎ＋１（Ｒ）、Ａ^ｉ _Ｌｎ＋１（Ｇ）、Ａ^ｉ _Ｌｎ＋１（Ｂ）は、副走査方向ｉ行目で現在処理Ｄが行われているとした場合の、「オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１の画素値の平均値Ａ_Ｒｎ（Ｒ）、Ａ_Ｒｎ（Ｇ）、Ａ_Ｒｎ（Ｂ）、Ａ_Ｌｎ＋１（Ｒ）、Ａ_Ｌｎ＋１（Ｇ）、Ａ_Ｌｎ＋１（Ｂ）」（前記実施の形態２に記載の式（５））である。

補正項（Ａ^ｉ _Ｒｎ（Ｒ）＋Ａ^ｉ _Ｌｎ＋１（Ｒ））、（Ａ^ｉ _Ｒｎ（Ｇ）＋Ａ^ｉ _Ｌｎ＋１（Ｇ））、（Ａ^ｉ _Ｒｎ（Ｂ）＋Ａ^ｉ _Ｌｎ＋１（Ｂ））は、画素値の絶対値であり、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に原稿２０上の黒く暗い部分がかかっていた場合、小さな値となり、白く明るい部分にかかっていた場合、大きな値となる。
つまり、式（８）を構成する１行目からｔ行目までの項（α^ｉ _ｎ＋１（Ｒ）、α^ｉ _ｎ＋１（Ｇ）、α^ｉ _ｎ＋１（Ｂ））のうち、黒く暗い部分（Ｓ/Ｎの低い項）の重みは小さく、白く明るい部分（Ｓ/Ｎの高い項）の重みは大きくしている。
原稿２０を搬送しながら順次画像データの結合処理を行っている際に、オーバーラップ領域Ｒ_ｎ、Ｌ_ｎ＋１に黒く暗い部分が入ると、ｔ−１行目、ｔ−２行目・・・と副走査方向にさかのぼって、白く明るい部分の倍率（α^ｉ _ｎ＋１（Ｒ）、α^ｉ _ｎ＋１（Ｇ）、α^ｉ _ｎ＋１（Ｂ））が優先的に用いられ、Ｓ/Ｎ低下の影響が小さく抑えられる。

本実施の形態による画像読取装置の画像処理方法は、順次各イメージセンサに応じて算出されるゲインに対し、隣り合うイメージセンサによる画像データのオーバーラップした領域の画素値の平均値を乗算して、補正された新たなゲインを算出する。
つまり、隣接するイメージセンサ同士の画像データの明るさを合わせる倍率を副走査方向にさかのぼって参照すると同時に、画像データ自体の明るさも加味する。
従って、本実施の形態によれば、原稿上の黒く暗い部分における副走査方向の明暗の縞の発生を抑え、原稿に更に忠実で高品質な再生画像を得ることができる。

本発明は、再生される画像の「主走査方向の明暗の縞」の発生を抑えることが可能な高品質な画像読取装置の画像処理方法の実現に有用である。

１０ 画像読取装置、 １１ 照明光 １２ 読取光学系
１３ イメージセンサ １４ 基板 １５ 白基準板
１６ 読取位置 ２０ 原稿

Claims (5)

1. 多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、
   前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、
   前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、
   前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、ゲインを乗算して画像の明るさを補正する明るさ補正処理ステップと、
   前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、
   前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを乗算して、明るさ補正を行い、
   前記ゲインは、隣り合う前記イメージセンサから出力される画像データのうち、オーバーラップした領域の画素値における平均値同士の比率を基とし、
   時系列、つまり副走査方向にさかのぼった前記比率に、前記副走査方向にさかのぼった画素数に応じて減少する重みを付して加算したことを特徴とする画像読取装置の画像処理方法。
2. 前記副走査方向にさかのぼった画素数に応じて減少する重みが、前記さかのぼった画素数に対し、指数関数となっていることを特徴とする請求項１に記載の画像読取装置の画像処理方法。
3. 前記比率に、隣り合う前記イメージセンサから出力される画像データの前記オーバーラップした領域の画素値の平均値を乗算して、前記ゲインを補正した新たなゲインを算出することを特徴とする請求項１または２に記載の画像読取装置の画像処理方法。
4. 前記各イメージセンサから出力される画像データのうち、最も明るい画像データの明るさが基準となるように、前記各イメージセンサから出力される画像データの画素値にゲインを乗算することを特徴とする請求項１〜３のいずれか１項に記載の画像読取装置の画像処理方法。
5. 前記オーバーラップした領域のサイズを一画素未満の精度でもって求め、前記一画素未満の精度の領域サイズで前記画素値の平均値を算出することを特徴とする請求項１〜４のいずれか１項に記載の画像読取装置の画像処理方法。