JP5570315B2 - Image processing method of image reading apparatus and image reading apparatus - Google Patents
Image processing method of image reading apparatus and image reading apparatus Download PDFInfo
- Publication number
- JP5570315B2 JP5570315B2 JP2010138186A JP2010138186A JP5570315B2 JP 5570315 B2 JP5570315 B2 JP 5570315B2 JP 2010138186 A JP2010138186 A JP 2010138186A JP 2010138186 A JP2010138186 A JP 2010138186A JP 5570315 B2 JP5570315 B2 JP 5570315B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning direction
- correction
- sub
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000012937 correction Methods 0.000 claims description 113
- 238000012545 processing Methods 0.000 claims description 71
- 238000009499 grossing Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 20
- 238000005286 illumination Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Description
本発明は、複数個のライン状のイメージセンサが千鳥状に配置され、かつ隣接するイメージセンサ同士が長手方向に一部オーバーラップして配置された画像読取装置およびその画像処理方法に係わり、特に、隣接するイメージセンサの各受光素子から出力される画像データ間の輝度補正に関するものである。 The present invention relates to an image reading apparatus in which a plurality of line-shaped image sensors are arranged in a staggered manner and adjacent image sensors are partially overlapped in the longitudinal direction, and an image processing method thereof, in particular. The present invention relates to luminance correction between image data output from the respective light receiving elements of adjacent image sensors.
紙原稿を読み取り、画像データの作成あるいは複写を行う画像読取装置として、多数の受光素子からなるライン状のイメージセンサを複数個千鳥状に、かつ、隣接するイメージセンサ同士を、その長手方向に一部オーバーラップさせて配置し、これらイメージセンサ上にレンズ等の読取光学系を備えた装置がある（特許文献１参照）。
図４は、このような画像読取装置の構成を示している。
この画像読取装置では、固定した画像読取装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０が固定で、画像読取装置１０が原稿２０上をスキャンする。
この際、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。
結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。
なお、図４に示すように、複数個のライン状のイメージセンサが、その長手方向にほぼ一列に配置されたものを「ラインセンサ」とも称する。
As an image reading apparatus that reads a paper document and creates or copies image data, a plurality of line-shaped image sensors composed of a large number of light receiving elements are arranged in a zigzag pattern, and adjacent image sensors are arranged in the longitudinal direction. There is an apparatus that is arranged so as to overlap each other and includes a reading optical system such as a lens on these image sensors (see Patent Document 1).
FIG. 4 shows the configuration of such an image reading apparatus.
In this image reading apparatus, the document (paper) 20 is conveyed to the fixed image reading apparatus 10, or the document 20 is fixed and the image reading apparatus 10 scans the document 20.
At this time, the original 20 is illuminated by illumination light 11 emitted from a light source such as a lamp or LED (not shown) inside the image reading apparatus 10, and the light reflected and scattered by the original 20 passes through the reading optical system 12 such as a lens. The image is formed on the image sensor 13.
The formed light is output as image data to a memory (not shown) by the light receiving element of the image sensor 13.
As shown in FIG. 4, a plurality of line-shaped image sensors arranged in a line in the longitudinal direction is also referred to as “line sensor”.
図４では、固定の画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向（原稿の搬送方向と直交する方向）で一部オーバーラップするように、基板１４上に千鳥状に配置されている。
なお、図４では、１番目、２番目、・・・、ｎ番目、・・・、ｚ番目の複数個のイメージセンサ１３が、千鳥状に配置されている様子を示している。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。
In FIG. 4, the document 20 is conveyed to the fixed image reading device 10.
The image data output from the image sensor 13 is sequentially taken into the memory in time series with the conveyance of the document 20, and the image data of the entire document 20 is acquired.
Adjacent image sensors 13 are arranged in a staggered pattern on the substrate 14 so as to partially overlap in the main scanning direction (direction perpendicular to the document transport direction).
4 shows a state in which a plurality of first, second,..., Nth,..., Zth image sensors 13 are arranged in a staggered manner.
A portion of the image data of the image sensor 13 that overlaps with the image data of the adjacent image sensor 13 is referred to as an overlap region.
図５は、各イメージセンサ１３から出力された画像データを繋ぎ合わせて、原稿に忠実な再生画像（複写画像）を作成する従来の画像結合処理のフローを表す図である。
ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されている。
そのため、イメージセンサ１３から出力される画像データ（以降、イメージセンサから出力される画像データを「初期画像」とも呼ぶ）は、図５（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図５（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図５の処理（フロー）が行われるため、副走査方向（図４参照：原稿の搬送方向と逆の方向）のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われていく。
FIG. 5 is a diagram showing a flow of a conventional image combining process in which image data output from each image sensor 13 is connected to create a reproduced image (copy image) that is faithful to the original.
The line-shaped image sensor 13 is arranged so as to be orthogonal to the conveyance direction of the document 20.
Therefore, image data output from the image sensor 13 (hereinafter, image data output from the image sensor is also referred to as “initial image”) is obtained by cutting the document 20 in the main scanning direction as shown in FIG. It becomes strip-shaped image data.
In FIG. 5A, “n”, “n + 1”, “n + 2”,... Output from the “n” th image sensor 13, “n + 1” th image sensor 13, “n + 2” image sensor 13. Image data (initial image) to be processed.
Actually, since the processing (flow) of FIG. 5 is performed in real time while reading the document 20, the data size in the sub-scanning direction (see FIG. 4: the direction opposite to the document transport direction) is only a few pixels. As the document 20 is conveyed, the image data whose processing has been confirmed is deleted by one pixel (output from the memory to the outside of the printer, for example), and the newly read image data is added by one pixel, and the images are sequentially combined. Processing is performed.
図５では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する場合を表している。
イメージセンサ１３より出力された初期画像に対して、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
黒補正とは、「得られている初期画像の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。
FIG. 5 shows a case where image combination processing is performed on an image after the document 20 has been read once in the sub-scanning direction for easy understanding.
As processing A, black correction and white correction (shading correction) are performed on the initial image output from the image sensor 13.
Black correction means that “the reading optical system 12 is in a dark room state with no illumination light 11 based on the pixel values (red (R), green (G), and blue (B) signal intensities) of the obtained initial image. Correction to subtract the output (background) of the image sensor 13 at the time. This background is obtained (measured) in advance before reading the document.
白補正とは、「白基準となる原稿を読んだ時に、画素値が設定値（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値は、理論的には、例えば、８ビット画像では２５５、１０ビット画像では１０２３であるが、この理論値に設定すると、入力データのばらつきのため入力値が白基準値を超えた場合にデータが飽和するので、少し小さめの値に設定する。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布（図４参照）、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる（特許文献２、３参照）。
なお、図５（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全イメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。
White correction means that “when a document serving as a white reference is read, the pixel value after black correction is set to a set value (for example, 250 for an 8-bit image and 1000 for a 10-bit image). Correction to multiply ".
The set value of the pixel value is theoretically, for example, 255 for an 8-bit image and 1023 for a 10-bit image. However, when this value is set, the input value is a white reference value due to variations in input data. If the value exceeds, the data will be saturated, so set it to a slightly smaller value.
This gain is calculated in advance for each of R, G, and B by reading (measuring) the white reference plate 15 in advance before reading the document.
In white correction, the illuminance distribution in the main scanning direction of the illumination light 11 (see FIG. 4), the peripheral light amount ratio of the reading optical system 12, the sensitivity of each light receiving element of the image sensor 13, and the like are set as “white when reading a white document 20”. All error factors that do not output image data are corrected simultaneously.
By processing A (black correction / white correction), a reproduced image (copy image) having a uniform brightness can be obtained when a document 20 having a uniform brightness (luminance / density) is read (Patent Document 2, 3).
FIG. 5B shows an image after the process A.
The background and the gain each have a unique value for each light receiving element of all the image sensors 13, that is, for each pixel in the main scanning direction of all the image data.
次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対して、処理Ｂとして、副走査方向のずれの補正を行う。
後述するように、各イメージセンサ１３の原稿２０上における読取位置１６が副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図５（ａ）や図５（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
次の処理Ｃにて、各イメージセンサ１３の画像データを滑らかに繋ぎ合わせるため、この副走査方向のずれ量を補正し、隣接する画像データ間で副走査方向の位置合わせを行う必要がある。
副走査方向の位置合わせには、画像データ中のオーバーラップ領域を利用する。
隣り合う画像データのオーバーラップ領域には、原稿２０面上の同じ箇所の情報が含まれており、各画像データを副走査方向に移動させて、オーバーラップ領域同士の濃淡模様を合わせることによって、副走査方向のずれを補正する（特許文献４参照）。
Next, as processing B, image data after processing A (that is, image data after black correction and white correction) is corrected for deviation in the sub-scanning direction.
As will be described later, since the reading position 16 of each image sensor 13 on the document 20 varies in the sub-scanning direction, the initial image from each image sensor 13 is shown in FIG. 5A and FIG. Thus, when viewed from data at the same time (same timing), the image (picture) is shifted in the sub-scanning direction.
In the next process C, in order to smoothly join the image data of the image sensors 13, it is necessary to correct the amount of deviation in the sub-scanning direction and perform alignment in the sub-scanning direction between adjacent image data.
For alignment in the sub-scanning direction, an overlap area in the image data is used.
The overlap area of adjacent image data includes the same information on the surface of the document 20, and each image data is moved in the sub-scanning direction to match the shading pattern of the overlap areas. A shift in the sub-scanning direction is corrected (see Patent Document 4).
最後に、処理Ｂ後の画像データに対し、処理Ｃとして、画像の結合作業を行う。
副走査方向の位置合わせが行われた隣接する画像データ間において、オーバーラップ領域の画素値に対し種々の演算が行われる（特許文献５参照）。
これにより、各イメージセンサ１３からの画像データが主走査方向に繋ぎ合わされて、一つの画像となる。
複数個のイメージセンサを用いた画像読取装置では、このような画像結合処理によって再生画像（複写画像）が得られる。
Finally, as the process C, the image combining operation is performed on the image data after the process B.
Various calculations are performed on pixel values in the overlap region between adjacent image data that have been aligned in the sub-scanning direction (see Patent Document 5).
As a result, the image data from the image sensors 13 are joined in the main scanning direction to form one image.
In an image reading apparatus using a plurality of image sensors, a reproduced image (copy image) is obtained by such an image combining process.
図５に示した画像結合処理の処理Ａにおいて白補正を行ったにも関わらず、各イメージセンサ１３の画像データ間で、全体的な明るさ（輝度）が異なる場合がある。
例えば、均一な明るさの原稿２０を読んだ時に、処理Ａ後で各画像データが均一な明るさになっていない場合がある。
このような場合、処理Ｃ後にも主走査方向に実際の原稿２０には無い「明暗の縞」が現れ、得られる再生画像は、原稿２０の画像に忠実ではない「品質の低い画像」となってしまう。
In some cases, although the white correction is performed in the image combining process A shown in FIG. 5, the overall brightness (luminance) is different between the image data of the image sensors 13.
For example, when reading a document 20 having a uniform brightness, there is a case where each image data does not have a uniform brightness after the process A.
In such a case, “light and dark stripes” that do not exist in the actual document 20 appear in the main scanning direction even after the process C, and the obtained reproduced image is a “low-quality image” that is not faithful to the image of the document 20. End up.
このような現象は、以下の（ａ）〜（ｄ）に示すような要因が複合した場合に生じる。
（ａ）搬送された原稿２０の読取光学系１２からの高さ・距離が、白補正に用いた白基準板１５と同じでない。［設計的制約による］
（ｂ）読取光学系１２からの高さ・距離によって、照明光１１の主走査・副走査方向の照度分布が変化する。［設計的制約による］
（ｃ）千鳥状に配置された２つの列のイメージセンサ１３（図４に示した奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３）の原稿２０面上における読取位置１６は、副走査方向に２つの列を成しており、その２つの列の中心に対して、照明光１１の副走査方向照度分布の中心がずれている。［製造誤差による］
（ｄ）各イメージセンサ１３の原稿２０面上における読取位置１６が、副走査方向にばらついている。［製造誤差による］
（特に奇数番目のイメージセンサ１３と偶数番面のイメージセンサ１３の読取位置１６は、上記（ｃ）に記載のとおり副走査方向に分離している。）
Such a phenomenon occurs when the following factors (a) to (d) are combined.
(A) The height / distance of the conveyed document 20 from the reading optical system 12 is not the same as that of the white reference plate 15 used for white correction. [Due to design constraints]
(B) Depending on the height and distance from the reading optical system 12, the illuminance distribution of the illumination light 11 in the main scanning and sub-scanning directions changes. [Due to design constraints]
(C) The reading position 16 on the surface of the original 20 of the two rows of image sensors 13 (odd-numbered image sensor 13 and even-numbered image sensor 13 shown in FIG. 4) arranged in a staggered pattern is in the sub-scanning direction. The center of the illuminance distribution in the sub-scanning direction of the illumination light 11 is deviated from the center of the two columns. [Due to manufacturing error]
(D) The reading position 16 of each image sensor 13 on the surface of the document 20 varies in the sub-scanning direction. [Due to manufacturing error]
(In particular, the reading positions 16 of the odd-numbered image sensors 13 and the even-numbered image sensors 13 are separated in the sub-scanning direction as described in (c) above.)
上記（ａ）に関しては、一枚の原稿搬送中においても、読取光学系１２からの距離は変化する。
特に、原稿２０の副走査方向の両端部周辺は、原稿２０の搬送方向の上流側と下流側に位置する搬送ローラ（図示せず）において、上流側もしくは下流側の片側のみでの搬送となるため、読取光学系１２からの高さ・距離が変化しやすい。
上記（ｄ）に関しては、図４において読取光学系１２の光軸を傾け、奇数番目のイメージセンサ１３と偶数番目のイメージセンサ１３とで、原稿２０面上における読取位置１６を副走査方向に一致させた画像読取装置（図示せず）も存在する。
With regard to (a) above, the distance from the reading optical system 12 changes even during the conveyance of one original.
In particular, the periphery of both ends in the sub-scanning direction of the document 20 is transported only on one side of the upstream or downstream side of a transport roller (not shown) positioned on the upstream side and the downstream side in the transport direction of the document 20. Therefore, the height and distance from the reading optical system 12 are likely to change.
With respect to (d) above, the optical axis of the reading optical system 12 is tilted in FIG. 4, and the reading position 16 on the surface of the document 20 is made coincident with the sub-scanning direction by the odd-numbered image sensor 13 and the even-numbered image sensor 13. There is also an image reading apparatus (not shown).
しかし、いずれの画像読取装置においても、読取光学系１２などの製造誤差のために、各イメージセンサ１３の読取位置１６は副走査方向にばらつく。
これら（ａ）〜（ｄ）の要因が複合すると、原稿読取時の各イメージセンサ１３の読取位置１６における照度が白補正時とは異なり、また、その照度変化は全てのイメージセンサ１３で一様にはならない。
そのため、前述した画像データ全体の明るさを均一化する白補正を行っても、得られる再生画像には主走査方向に明暗の縞が現れてしまい、品質の低い画像となる。
However, in any image reading apparatus, the reading position 16 of each image sensor 13 varies in the sub-scanning direction due to manufacturing errors of the reading optical system 12 and the like.
When these factors (a) to (d) are combined, the illuminance at the reading position 16 of each image sensor 13 during document reading is different from that during white correction, and the illuminance change is uniform in all image sensors 13. It will not be.
For this reason, even when the above-described white correction is performed to make the brightness of the entire image data uniform, bright and dark stripes appear in the main scanning direction in the obtained reproduced image, resulting in a low quality image.
従来の画像読取装置の問題点（課題）は、上記したように、複数の設計的要因・製造的
要因からなるため、ハードウェアによる解決は困難であった。
また、特許文献２あるいは特許文献３に記載されているような、何らかの基準チャート（テストチャート）による補正を行っても、「原稿搬送中において読取光学系１２からの距離が変化する」あるいは「基準チャートと厚みが異なる原稿２０では読取光学系１２からの距離が異なる」といった要因のため、問題点（課題）の解決は容易でない。
また、隣接するイメージセンサから出力された画像の副走査方向の結合位置にずれが発生し、明暗差の大きな画像の一部が平均輝度を算出するエリアの周辺にかかる場合、明るさ補正の際の演算誤差が発生し、再生画像において主走査方向の明暗の縞が発生する。
As described above, the problems (problems) of the conventional image reading apparatus are composed of a plurality of design factors and manufacturing factors, so that it has been difficult to solve by hardware.
Further, even if correction is performed using any reference chart (test chart) as described in Patent Document 2 or Patent Document 3, “the distance from the reading optical system 12 changes during document conveyance” or “reference The problem (problem) cannot be easily solved due to factors such as the distance from the reading optical system 12 is different in the document 20 having a thickness different from that of the chart.
In addition, when the image output from the adjacent image sensor is shifted in the sub-scanning direction and a part of the image with a large difference in brightness falls around the area where the average luminance is calculated, Thus, a bright and dark stripe in the main scanning direction occurs in the reproduced image.
本発明は、このような課題を解決するために成されたものであり、特別なハードウェアの追加あるいは特殊な基準チャートによる原稿読取前の事前の補正を行うことなく、「主走査方向の明暗の縞」の発生を抑えた「原稿の画像に忠実な高品質な再生画像」を得ることが可能な「画像読取装置の画像処理方法」を提供することを目的とする。 The present invention has been made to solve such a problem, and without adding special hardware or performing advance correction before reading a document by using a special reference chart, An object of the present invention is to provide an “image processing method for an image reading apparatus” capable of obtaining “a high-quality reproduced image faithful to an image of a document” in which occurrence of “stripes” is suppressed.
本発明に係る画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを算出して明るさ補正を行い、前記ゲインは副走査方向の一画素分毎のゲイン算出エリアに対して、イメージセンサのオーバーラップ方向である主走査方向、及び原稿の搬送方向である副走査方向共に台形形状の重み付けを行って算出するものである。
また、本発明に係る画像読取装置は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置であって、前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、前記黒補正・白補正処理手段にて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、前記ずれ補正処理手段にて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、前記明るさ補正処理手段にて明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、前記明るさ補正処理手段は、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを算出して明るさ補正を行い、前記ゲインは副走査方向の一画素分毎のゲイン算出エリアに対して、イメージセンサのオーバーラップ方向である主走査方向、及び原稿の搬送方向である副走査方向共に台形形状の重み付けを行って算出するものである。
In the image processing method of the image reading apparatus according to the present invention, a plurality of elongated image sensors in which a large number of light receiving elements are arranged in a straight line are arranged in a staggered manner, and the adjacent image sensors are arranged in the longitudinal direction. An image processing method of an image reading apparatus that reads an image of a document that is conveyed while being partially overlapped, and performs black correction and white correction on each image data output from the image sensor A correction for correcting a deviation in the sub-scanning direction so that the corrected image data corrected in the correction / white correction processing step and the corrected image data in the black correction / white correction processing step are joined together smoothly. For each image data in which the deviation in the sub-scanning direction is corrected in the correction processing step and the deviation correction processing step, the image data is output from the adjacent image sensor. Correct the brightness of the image by multiplying all pixel values of the image data by each image sensor by a gain corresponding to each image sensor so that the average values of the pixel values of the overlapping areas in the image data match. and brightness correction processing step of, and an image combining process step the brightness in the brightness correction processing step to bind to the image reproducing each image data corrected, the brightness correction processing step, the original Along with the conveyance, the gain is sequentially calculated for each pixel in the sub-scanning direction in time series to perform brightness correction, and the gain is an image sensor for a gain calculation area for each pixel in the sub-scanning direction. The trapezoidal shape is weighted in both the main scanning direction that is the overlap direction and the sub-scanning direction that is the document transport direction .
In the image reading apparatus according to the present invention, a plurality of elongated image sensors in which a large number of light receiving elements are arranged in a straight line are arranged in a staggered manner, and the adjacent image sensors are partially in the longitudinal direction. An image reading apparatus that reads an image of a conveyed document that is arranged in an overlapping manner, and performs black correction and white correction processing on each image data output from the image sensor. Shift correction processing means for correcting shift in the sub-scanning direction so that the image data after correction corrected by the black correction / white correction processing means are smoothly joined together, and A region in which image data output from the adjacent image sensor overlaps each image data in which the shift in the sub-scanning direction is corrected by the shift correction processing unit As the average value of the Judges pixel values match, the multiplying the gain the corresponding to the image sensors in all of the pixel values of the image data by the image sensors, and brightness correcting means for correcting the brightness of the image An image combination processing unit that combines the image data whose brightness has been corrected by the brightness correction processing unit and reproduces the image, and the brightness correction processing unit is arranged in the sub-scanning direction along with the conveyance of the document. The gain is sequentially calculated for each pixel in time series and brightness correction is performed, and the gain is the main sensor in the overlap direction of the image sensor with respect to the gain calculation area for each pixel in the sub-scanning direction. scanning direction, and is calculated by weighting trapezoidal in the sub-scanning direction both a conveying direction of the document is also to the.
本発明によれば、特別なハードウェアの追加や特殊な基準チャートによる原稿読取前の事前補正を行うことなく、再生された画像における「主走査方向の明暗の縞の発生」を抑えた補正が可能であり、原稿から読み取った画像データから「原稿により忠実で高品質な画像」を直接得られる効果がある。
また、隣接するイメージセンサから出力された画像の副走査方向の結合位置にずれが発生し、明暗差の大きな画像の一部が平均輝度を算出するエリアの周辺にかかる場合であっても、「周辺部は小さく、中央部は大きい重み付け処理」をすることによって、明るさ補正の際の演算誤差少なくすることが可能となり、再生画像に発生する主走査方向の明暗の縞を低減できる効果もある。
According to the present invention, it is possible to perform correction that suppresses “occurrence of bright and dark stripes in the main scanning direction” in a reproduced image without adding special hardware or performing advance correction before reading a document using a special reference chart. It is possible to obtain a “high quality image that is more faithful to the original” directly from the image data read from the original.
Further, even when there is a shift in the combined position in the sub-scanning direction of the image output from the adjacent image sensor, and a part of the image having a large contrast difference is applied around the area for calculating the average luminance, By performing a weighting process with a small peripheral portion and a large central portion, it is possible to reduce calculation errors during brightness correction, and there is an effect of reducing bright and dark stripes in the main scanning direction that occur in a reproduced image. .
以下、図面に基づいて、本発明の一実施の形態例について説明する。
実施の形態１．
前掲した図４は、本願発明による画像処理方法が適用される画像読取装置の構成も示している。
背景技術の項での説明と重複するが、本発明が適用される画像読取装置の構成について再度説明しておく。
前述したように、画像読取装置１０では、固定した装置１０に対して原稿（紙）２０が搬送されるか、もしくは原稿２０側が固定で、画像読取装置１０が原稿２０上をスキャンする。
そして、画像読取装置１０内部の図示しないランプやＬＥＤなどの光源から発せられた照明光１１により原稿２０が照明され、原稿２０で反射・散乱された光がレンズ等の読取光学系１２を通って、イメージセンサ１３上に結像される。結像された光はイメージセンサ１３の受光素子によって、画像データとして図示しないメモリに出力される。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
Embodiment 1 FIG.
FIG. 4 described above also shows the configuration of an image reading apparatus to which the image processing method according to the present invention is applied.
Although overlapping with the description in the background art section, the configuration of the image reading apparatus to which the present invention is applied will be described again.
As described above, in the image reading device 10, the document (paper) 20 is conveyed to the fixed device 10, or the document 20 side is fixed, and the image reading device 10 scans the document 20.
Then, the document 20 is illuminated by illumination light 11 emitted from a light source such as a lamp or LED (not shown) inside the image reading apparatus 10, and the light reflected and scattered by the document 20 passes through a reading optical system 12 such as a lens. The image is formed on the image sensor 13. The formed light is output as image data to a memory (not shown) by the light receiving element of the image sensor 13.
図４では、固定された画像読取装置１０に対して原稿２０が搬送されている。
イメージセンサ１３から出力される画像データは、原稿２０の搬送と共に順次時系列でメモリに取り込まれていき、原稿２０全体の画像データが取得される。
隣接するイメージセンサ１３同士は、主走査方向に一部オーバーラップするように、基板１４上に千鳥状に配置されている。
イメージセンサ１３の画像データのうち、隣接するイメージセンサ１３の画像データとオーバーラップする部分を、オーバーラップ領域と呼ぶ。
In FIG. 4, the document 20 is conveyed to the fixed image reading device 10.
The image data output from the image sensor 13 is sequentially taken into the memory in time series with the conveyance of the document 20, and the image data of the entire document 20 is acquired.
Adjacent image sensors 13 are arranged in a staggered pattern on the substrate 14 so as to partially overlap in the main scanning direction.
A portion of the image data of the image sensor 13 that overlaps with the image data of the adjacent image sensor 13 is referred to as an overlap region.
図１は、実施の形態１に係る画像読取装置の画像処理方法のフローを表す図であり、各イメージセンサから出力された画像データを繋ぎ合わせ、従来よりも原稿に忠実な再生画像（複写画像）を作成する「画像読取装置の画像結合処理」のフローを表している。
背景技術の項で説明したように、ライン状のイメージセンサ１３は、原稿２０の搬送方向に直交するように配置されているため、イメージセンサ１３から出力される画像データ（初期画像）は、図１（ａ）に示すように原稿２０を主走査方向に裁断した短冊型の画像データになる。
なお、図１（ａ）において、ｎ番目、ｎ＋１番目、ｎ＋２番目・・・とあるのは、ｎ番目のイメージセンサ１３、ｎ＋１番目のイメージセンサ１３、ｎ＋２番目のイメージセンサ１３・・・から出力される画像データ（初期画像）である。
実際には、原稿２０を読み取りながらリアルタイムで図１の処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみであり、原稿２０の搬送に従い、処理の確定した画像データを一画素分削除し（メモリから例えばプリンタ等の外部へ出力し）、新たに読み込まれた画像データを一画素分追加しながら、順次画像結合処理が行われてい
く。
FIG. 1 is a diagram illustrating a flow of an image processing method of the image reading apparatus according to the first embodiment. The image data output from each image sensor is connected, and a reproduced image (copy image) that is more faithful to the document than before. This represents a flow of “image combining processing of the image reading apparatus”.
As described in the background art section, since the line-shaped image sensor 13 is arranged so as to be orthogonal to the conveyance direction of the document 20, image data (initial image) output from the image sensor 13 is shown in FIG. As shown in FIG. 1 (a), it becomes strip-shaped image data obtained by cutting the document 20 in the main scanning direction.
In FIG. 1A, n, n + 1, n + 2,... Are output from the nth image sensor 13, the n + 1th image sensor 13, the n + 2th image sensor 13,. Image data (initial image) to be processed.
In practice, since the processing (flow) of FIG. 1 is performed in real time while reading the document 20, the data size in the sub-scanning direction is only a few pixels. One pixel is deleted (output from the memory to the outside such as a printer), and image combining processing is sequentially performed while adding newly read image data for one pixel.
図５と同様に、図１では、理解を容易にするため、原稿２０を副走査方向に一旦読み終えた後の画像に対して、画像結合処理する図を表している。
イメージセンサ１３より出力された初期画像に対し、処理Ａとして、黒補正と白補正（シェーディング補正）を行う。
前述したように、黒補正とは、「得られている初期画像（すなわち、イメージセンサ１３から出力された画像データ）の画素値（赤（Ｒ）・緑（Ｇ）・青（Ｂ）の信号強度）から、照明光１１が無く読取光学系１２が暗室状態にある時のイメージセンサ１３の出力（バックグラウンド）を差し引く補正」である。このバックグラウンドは、原稿読取前に事前に取得（測定）しておく。
Similar to FIG. 5, FIG. 1 shows a diagram in which image combination processing is performed on an image after the document 20 has been read once in the sub-scanning direction for easy understanding.
As processing A, black correction and white correction (shading correction) are performed on the initial image output from the image sensor 13.
As described above, the black correction is “a signal of pixel values (red (R), green (G), and blue (B)) of an obtained initial image (that is, image data output from the image sensor 13). "Intensity)" is a correction to subtract the output (background) of the image sensor 13 when there is no illumination light 11 and the reading optical system 12 is in a dark room state. This background is obtained (measured) in advance before reading the document.
また、白補正とは、「真っ白な原稿を読んだ時に、画素値が最大値付近（例えば、８ビット画像では２５０、１０ビット画像では１０００）になるように、黒補正後の画素値にゲインを乗算する補正」である。
なお、画素値の設定値を、例えば８ビット画像の場合の理論値２５５、１０ビット画像の場合の理論値１０２３より小さくするのは、前述したように、入力データのばらつきのために入力値が白基準値を超えた場合に、データが飽和するのを防止するためである。
このゲインは、原稿読取前に事前に白基準板１５を読み（測定し）、Ｒ・Ｇ・Ｂそれぞれ個別に算出しておく。
白補正では、照明光１１の主走査方向照度分布、読取光学系１２の周辺光量比、およびイメージセンサ１３の各受光素子の感度など、「真っ白な原稿２０の読取時に真っ白として画像データを出力しない全ての誤差要因」を同時に補正する。
処理Ａ（黒補正・白補正）によって、均一な明るさ（輝度・濃度）の原稿２０を読んだ時に、均一な明るさの再生画像（複写画像）が得られるようになる。
しかし、実際には、前述した（ａ）〜（ｄ）の要因により、画像データ全体の明るさを均一化する白補正を行っても、主走査方向に明暗の縞が現れた再生画像となる。
図１（ｂ）は、処理Ａ後の画像を示している。
これらバックグラウンドとゲインは、全てのイメージセンサ１３の各受光素子、つまり全画像データの主走査方向の画素の一つずつが、それぞれ固有の値を有している。
Further, white correction means that “when a white document is read, the pixel value is adjusted to the pixel value after black correction so that the pixel value is near the maximum value (for example, 250 for an 8-bit image and 1000 for a 10-bit image). It is a correction to multiply by.
Note that the pixel value setting value is made smaller than the theoretical value 255 in the case of an 8-bit image, for example, and the theoretical value 1023 in the case of a 10-bit image, as described above, due to variations in input data. This is to prevent the data from being saturated when the white reference value is exceeded.
This gain is calculated in advance for each of R, G, and B by reading (measuring) the white reference plate 15 in advance before reading the document.
In the white correction, the illuminance distribution in the main scanning direction of the illumination light 11, the peripheral light amount ratio of the reading optical system 12, the sensitivity of each light receiving element of the image sensor 13, and the like are read. All error factors "are corrected simultaneously.
By processing A (black correction / white correction), a reproduced image (copy image) having a uniform brightness can be obtained when a document 20 having a uniform brightness (luminance / density) is read.
However, in practice, due to the above-described factors (a) to (d), even if white correction is performed to make the brightness of the entire image data uniform, a reproduced image in which bright and dark stripes appear in the main scanning direction is obtained. .
FIG. 1B shows an image after the process A.
The background and gain have unique values for each light receiving element of all image sensors 13, that is, for each pixel in the main scanning direction of all image data.
次に、処理Ａ後の画像データ（すなわち、黒補正後および白補正後の画像データ）に対し、処理Ｂとして副走査方向のずれの補正を行う。
各イメージセンサ１３の原稿２０上における読取位置１６（図４参照）は、副走査方向にばらついているため、各イメージセンサ１３からの初期画像は、図１（ａ）や図１（ｂ）に示すように、同時刻（同タイミング）のデータで見れば、画像（絵）としては副走査方向にずれていることになる。
なお、処理Ａ（黒補正・白補正）と処理Ｂ（副走査方向のずれ補正）は、前述した背景技術における処理Ａと処理Ｂと同じ処理である。
本実施の形態では、図５に示した処理Ｂと処理Ｃの間に処理Ｄ（明るさ補正）を有し、輝度補正値の演算時の誤差を低減することを特徴とする。
Next, correction in the sub-scanning direction is performed as processing B on the image data after processing A (that is, image data after black correction and after white correction).
Since the reading position 16 (see FIG. 4) on the document 20 of each image sensor 13 varies in the sub-scanning direction, the initial image from each image sensor 13 is shown in FIG. 1 (a) and FIG. 1 (b). As shown, when viewed from data at the same time (same timing), the image (picture) is shifted in the sub-scanning direction.
Note that the processing A (black correction / white correction) and the processing B (shift correction in the sub-scanning direction) are the same as the processing A and processing B in the background art described above.
The present embodiment is characterized in that a process D (brightness correction) is provided between the process B and the process C shown in FIG. 5 to reduce an error when calculating the luminance correction value.
背景技術の場合と同様に、イメージセンサ１３より出力された初期画像に対し、処理Ａ（黒補正と白補正）と処理Ｂ（副走査方向のずれの補正）を行う。
この処理Ｂ後の画像データに対し、オーバーラップ領域を利用して、各画像データ間の全体的な明るさ（輝度）を合わせるための処理Ｄを行う。
その後、処理Ｄ後の画像データに対し、処理Ｃ（結合作業）を行う。
処理Ａ、処理Ｂ、処理Ｄおよび処理Ｃでは、前述したとおり、実際には原稿２０を読み取りながらリアルタイムに処理（フロー）が行われるため、副走査方向のデータサイズは数画素分のみである。
なお、データサイズは全体でもよい。データサイズは、後述するメモリのサイズに依存する。
As in the background art, processing A (black correction and white correction) and processing B (correction of deviation in the sub-scanning direction) are performed on the initial image output from the image sensor 13.
A process D for matching the overall brightness (luminance) between the image data is performed on the image data after the process B using the overlap region.
Thereafter, processing C (combination work) is performed on the image data after processing D.
In the processing A, processing B, processing D and processing C, as described above, the processing (flow) is actually performed in real time while reading the document 20, so the data size in the sub-scanning direction is only for several pixels.
The data size may be the whole. The data size depends on the memory size described later.
以下、処理Ｄ（明るさ補正）の詳細について説明する。
図１（ｃ）に示すように、「ｎ番目のイメージセンサ１３による画像データＩ ｎ 」中の「ｎ＋１番目のイメージセンサ１３による画像データＩ ｎ＋１ 」側のオーバーラップ領域をＲ ｎ とする。一方、画像Ｉ ｎ＋１ 中の画像Ｉ ｎ 側のオーバーラップ領域をＬ ｎ＋１ とする。
前述したように、原稿２０を読み取りながら順次画像結合処理されるので、前記オーバーラップ領域Ｒ ｎ 、Ｌ ｎ＋１ は、共に「（主走査方向数十画素）×（副走査方向十画素）程度のサイズ」である。
処理Ｂによって画像Ｉ ｎ と画像Ｉ ｎ＋１ は副走査方向のずれが補正されているため、オーバーラップ領域Ｒ ｎ 、Ｌ ｎ＋１ は原稿２０の面上では全く同じ領域のデータのはずであり、その明るさ（画素値）においても同じでなくてはならない。
Details of the process D (brightness correction) will be described below.
As shown in FIG. 1 (c), "n-th by the image sensor 13 image data I n" in "by the n + 1 th image sensor 13 image data I n + 1" the overlap region of the side and R n. On the other hand, the image I n-side overlap region in the image I n + 1 and L n + 1.
As described above, since the image combining process is sequentially performed while reading the document 20, the overlap areas R n and L n + 1 are both about “(several tens of pixels in the main scanning direction) × (ten pixels in the sub scanning direction)”. It is.
Since the image I n and image I n + 1 sub-scanning direction deviation is corrected by the process B, the overlap regions R n, L n + 1 is supposed data identical region on the surface of the document 20, the brightness The same (pixel value) must be the same.
そこで、領域Ｒ ｎ における赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画素値の平均値を求め、それぞれＡ Ｒｎ （Ｒ）、Ａ Ｒｎ （Ｇ）、Ａ Ｒｎ （Ｂ）とする。
同様に、領域Ｌ ｎ＋１ におけるＲ・Ｇ・Ｂそれぞれの画素値の平均値を求めて、それぞれＡ Lｎ＋１ （Ｒ）、Ａ Lｎ＋１ （Ｇ）、Ａ Lｎ＋１ （Ｂ）とする。
Ｒ・Ｇ・Ｂそれぞれにおける比をα ｎ＋１ （Ｒ）、α ｎ＋１ （Ｇ）、α ｎ＋１ （Ｂ）とすると、これらは下記の式（１）で表される。
Therefore, the average value of the red (R) · Green (G) · blue (B) each pixel value in the region R n, respectively A Rn (R), A Rn (G), and A Rn (B) .
Similarly, average values of the pixel values of R, G, and B in the region L n + 1 are obtained and are set as A Ln + 1 (R), A Ln + 1 (G), and A Ln + 1 (B), respectively.
When the ratios of R, G, and B are α n + 1 (R), α n + 1 (G), and α n + 1 (B), these are expressed by the following formula (1).
これらの比は、画像Ｉ ｎ＋１ の明るさを画像Ｉ ｎ の明るさに合わせるための倍率（ゲイン）を表している。
すなわち、画像Ｉ ｎ＋１ を構成する全画素値に対して、Ｒ・Ｇ・Ｂのそれぞれを、α ｎ＋１ （Ｒ）倍、α ｎ＋１ （Ｇ）倍、α ｎ＋１ （Ｂ）倍すれば、画像Ｉ ｎ＋１ の明るさが画像Ｉ ｎ の明るさに一致する。
These ratios represent the ratio (gain) for matching the brightness of the image I n + 1 to the brightness of the image I n.
That is, for all the pixel values constituting the image I n + 1, each of R · G · B, α n + 1 (R) times, α n + 1 (G) times, if multiplied by α n + 1 (B), the image I n + 1 Is equal to the brightness of the image In.
同様に、α ｎ＋２ （Ｒ）、α ｎ＋２ （Ｇ）、α ｎ＋２ （Ｂ）を求める。
これにより、ｎ＋２番目のイメージセンサ１３による画像Ｉ ｎ＋２ の明るさを画像Ｉ ｎ の明るさに合わせるための倍率は、Ｒ・Ｇ・Ｂそれぞれα ｎ＋１ （Ｒ）×α ｎ＋２ （Ｒ）、α ｎ＋１ （Ｇ）×α ｎ＋２ （Ｇ）、α ｎ＋１ （Ｂ）×α ｎ＋２ （Ｂ）となる。
すなわち、１番目のイメージセンサ１３による画像Ｉ １ の明るさを基準に、全てのイメージセンサ１３における画像の明るさを合わせることができる。
例えばｍ番目の画像Ｉ ｍ の倍率は、Ｒ・Ｇ・Ｂそれぞれ次の式（２）のようになる。
Similarly, α n + 2 (R), α n + 2 (G), and α n + 2 (B) are obtained.
Thus, the magnification for matching the brightness of the image I n + 2 by n + 2 th image sensor 13 to the brightness of the image I n are each R · G · B α n + 1 (R) × α n + 2 (R), α n + 1 (G) × α n + 2 (G), α n + 1 (B) × α n + 2 (B).
That is, the brightness of the images in all the image sensors 13 can be matched based on the brightness of the image I 1 by the first image sensor 13.
For example the magnification of the m-th image I m may, R · G · B respectively as shown in the following equation (2).
ここで、オーバーラップ領域の詳細について、図２を用いて説明する。
実際の入力画像において、オーバーラップ領域Ｒ ｎ 、Ｌ ｎ＋１ が綺麗に一画素単位で重複するわけではなく、読取光学系１２やイメージセンサ１３の製造誤差のため、図２に示すように、主走査方向、副走査方向のいずれにおいても一画素未満のずれが存在する。
このため、図１に示す処理Ｂ（副走査方向のずれの補正）では、隣接する画像データ間の副走査方向の位置合わせは、1画素未満、例えば０．１画素単位で行われる。
また、主走査方向についても、事前に基準チャートを読み込むことによって、例えば、同じく０．１画素単位でオーバーラップ領域の算出が行われる。
オーバーラップ領域において式（１）に示す補正ゲインを算出するための領域Ｒ ｎ 、Ｌ ｎ＋１ のサイズを、主走査方向にｕ 画素、副走査方向に ｖ 画素と設定し、図２に示すように、画像データＩ ｎ と Ｉ ｎ＋１ のズレが主走査方向にｋ画素、副走査方向にｌ画素であったとする。但し、０ ≦ ｋ ,ｌ< 1 とする。
この場合、画像データＩ ｎ＋１ 上の画素(t , r) の輝度をＥ ｔ,ｒ 、画像データＩ ｎ 上の画素(s , q)の輝度をＥ s,q とすると、Ｅ ｔ,ｒ は以下の式（３）となる。
Here, details of the overlap region will be described with reference to FIG.
In the actual input image, the overlap regions R n and L n + 1 do not neatly overlap each other in units of pixels, but due to manufacturing errors of the reading optical system 12 and the image sensor 13, as shown in FIG. There is a shift of less than one pixel in both the direction and the sub-scanning direction.
For this reason, in the process B (correction of deviation in the sub-scanning direction) shown in FIG. 1, alignment in the sub-scanning direction between adjacent image data is performed in units of less than one pixel, for example, 0.1 pixel.
Also, in the main scanning direction, the overlap area is calculated in units of 0.1 pixels, for example, by reading the reference chart in advance.
In the overlap region, the sizes of the regions R n and L n + 1 for calculating the correction gain shown in the equation (1) are set to u pixels in the main scanning direction and v pixels in the sub scanning direction, as shown in FIG. , displacement of the image data I n and I n + 1 is k pixels in the main scanning direction, and was l pixels in the sub-scanning direction. However, 0 ≦ k and l <1.
In this case, the image data I n + 1 on the pixel (t, r) luminance E t of, r, the image data I n on the pixel (s, q) E s brightness, when q, E t, r is The following equation (3) is obtained.
以降、画像データＩ ｎ＋１ 上の画素(t , r)に対応する画像データＩ ｎ 上の画素の輝度をＥ’ ｔ,ｒ と記載する。
前述の通り画像データＩ ｎ とＩ ｎ＋１ は１画素未満で位置合わせを行っているが、ズレ補正処理の精度や光学系のバラツキなどの影響で、誤差を持つことがある。
誤差がなければ、
Ｅ ｔ,ｒ ＝ Ｅ’ ｔ,ｒ
となるが、上記誤差のために差異が発生し、補正ゲインの算出に誤差が生じることにより主走査方向の縞が発生する。
この縞の発生を抑制するために、以下の処理を行う。
補正ゲインを算出するために領域Ｒ ｎ 、Ｌ ｎ＋１ の画素値の平均値を算出するが、領域Ｒ ｎ 、Ｌ ｎ＋１ のサイズ（ｕ,ｖ）に対して重みを乗じて画素値の平均値を算出し、前掲の式（１）を以下の式（４）の様に拡張する。
It will hereinafter be described the image data I n + 1 on the pixel (t, r) the brightness of pixels in the image data I n corresponding to E 't, and r.
As described above the image data I n and I n + 1 is performed alignment in less than one pixel, but the influence of such accuracy and variations in the optical system of the displacement correction process, which may have an error.
If there is no error,
E t, r = E ' t, r
However, a difference occurs due to the above error, and a fringe in the main scanning direction occurs due to an error in calculating the correction gain.
In order to suppress the occurrence of the fringes, the following processing is performed.
In order to calculate the correction gain, the average value of the pixel values in the regions R n and L n + 1 is calculated. The size (u, v) of the regions R n and L n + 1 is multiplied by the weight to obtain the average value of the pixel values. The above formula (1) is expanded to the following formula (4).
但し、Ｋ i,j は重み、Ｅ(R) i,j は座標(i,j)の赤成分の輝度値、Ｅ(Ｇ) i,j は座標(i,j)の緑成分の輝度値、Ｅ(Ｂ) i,j は座標(i,j)の青成分の輝度値であり、
０ ≦ ｋ i,j < １
である。
重みk i,j は、図３に示す様な台形形状やハニング窓(図示しない)を設定する。
なお、ハニング窓とは、“ ｙ＝0.5−0.5＊Cos(2πx) (0≦ｘ≦1) ”で表される窓関数である。
補正ゲインを算出する領域Ｒ ｎ 、Ｌ ｎ＋１ に含まれる画像が輝度変化が少ない均一輝度である場合や、領域Ｒ ｎ 、Ｌ ｎ＋１ 内部に模様(明暗差の大きな画像)が内包される場合は、重みｋ i,j を乗じなくても演算精度は変化しないが、模様の一部が領域Ｒ ｎ 、Ｌ ｎ＋１
の外周にかかる場合、上記位置合わせの誤差による影響を受けることになる。
そのため、本実施の形態では、図３に示したような「周辺部は小さく、中央部は大きい台形形状に変化する重み付け処理」を行うことによって、領域Ｒ ｎ 、Ｌ ｎ＋１ の周辺部の影響度を低減し、領域Ｒ ｎ 、Ｌ ｎ＋１ の中央部の影響度を上げ、主走査方向の明暗の縞を低減する。
Where K i, j is the weight, E (R) i, j is the luminance value of the red component at coordinates (i, j), and E (G) i, j is the luminance value of the green component at coordinates (i, j). , E (B) i, j is the luminance value of the blue component of coordinates (i, j),
0 ≤ k i, j <1
It is.
As the weights k i, j , trapezoidal shapes and Hanning windows (not shown) as shown in FIG. 3 are set.
The Hanning window is a window function represented by “y = 0.5−0.5 * Cos (2πx) (0 ≦ x ≦ 1)”.
When the image included in the regions R n and L n + 1 for calculating the correction gain has uniform luminance with little change in luminance, or when a pattern (an image having a large contrast difference) is included in the regions R n and L n + 1 , Even if the weights k i, j are not multiplied, the calculation accuracy does not change, but a part of the pattern is a region R n , L n + 1.
When it is applied to the outer periphery of the lens, it is affected by the positioning error.
Therefore, in the present embodiment, the influence degree of the peripheral portions of the regions R n and L n + 1 is performed by performing a “weighting process that changes to a trapezoidal shape having a small peripheral portion and a large central portion” as illustrated in FIG. Is increased, the influence of the central portion of the regions R n and L n + 1 is increased, and light and dark stripes in the main scanning direction are reduced.
以上説明したように、本実施の形態による画像読取装置の画像処理方法は、多数の受光素子を直線状に並べてなる長尺形状のイメージセンサを複数個千鳥状に配置し、かつ、隣り合う前記イメージセンサ同士を長手方向に一部オーバーラップさせて配置して、搬送される原稿の画像を読み取る画像読取装置の画像処理方法であって、イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップ（処理Ａ）と、黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップ（処理Ｂ）と、ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいて、オーバーラップした領域同士の画素値の平均値が一致するように、各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップ（処理Ｄ）と、明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップ（処理Ｃ）とを有し、明るさ補正処理ステップ（処理Ｄ）において、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを算出して明るさ補正を行い、前記ゲインは副走査方向の一画素分毎のゲイン算出エリアに対して、イメージセンサのオーバーラップ方向である主走査方向、及び原稿の搬送方向である副走査方向共に台形形状の重み付けを行って算出する。
従って、本実施の形態よれば、隣接するイメージセンサから出力された画像の結合位置にずれが発生し、明暗差の大きな画像一部が平均輝度を算出するエリアの周辺にかかる場合でも、周辺部は小さく、中央部は大きい重み付け処理をするので、明るさ補正の際の演算誤差を少なくすることが可能となり、再生画像に発生する主走査方向の明暗の縞を低減できる。
As described above, in the image processing method of the image reading apparatus according to the present embodiment, a plurality of elongated image sensors in which a large number of light receiving elements are arranged in a straight line are arranged in a staggered manner, and adjacent to each other. An image processing method of an image reading apparatus that reads an image of a conveyed document by arranging image sensors so as to partially overlap each other in the longitudinal direction, and black correction is performed on each image data output from the image sensor And the black correction / white correction processing step (Process A) for performing white correction and the corrected image data corrected in the black correction / white correction processing step so that they are smoothly connected. A deviation correction processing step (Process B) for correcting a deviation in the scanning direction and each image data in which the deviation in the sub-scanning direction is corrected in the deviation correction processing step are adjacent to each other. In the image data output from the image sensor, all the pixel values of the image data by each image sensor are multiplied by a gain corresponding to each image sensor so that the average values of the pixel values of the overlapped regions match each other. A brightness correction processing step (Process D) for correcting the brightness of the image, and an image combining processing step (Process C) for combining the image data whose brightness has been corrected in the brightness correction processing step and reproducing the image. In a brightness correction processing step (Process D), the gain is sequentially calculated in time series for each pixel in the sub-scanning direction as the document is conveyed, and the gain is corrected. For the gain calculation area for each pixel in the sub-scanning direction, the main scanning direction, which is the overlap direction of the image sensor, and the sub-scanning method, which is the document transport direction Both calculated by weighting trapezoidal.
Therefore, according to the present embodiment, even when a shift occurs in the coupling position of images output from adjacent image sensors and a part of an image with a large difference in brightness is applied to the periphery of the area for calculating the average luminance, the peripheral portion Since the weighting process is large in the central portion, it is possible to reduce the calculation error at the time of brightness correction, and it is possible to reduce bright and dark stripes in the main scanning direction generated in the reproduced image.
また、本実施の形態による画像読取装置の画像処理方法は、画像データの副走査方向のオーバーラップした領域のサイズは十画素程度であり、各イメージセンサ１３から出力される画像データのうち、副走査方向の画像データには一画素分ずつ画素値にゲインを乗算し、順次時系列に、処理の確定した副走査方向一画素分の画像データの削除と、新たに読み込まれた副走査方向一画素分の画像データを追加しながら、オーバーラップした領域の画素値の平均値によるゲインの算出と、画像データの画素値に対するゲインの乗算とを繰り返すことにより、原稿２０の全体の再生画像を得る。
従って、本実施の形態によれば、原稿を読み取りながら、リアルタイムに原稿全体の画像再生（結合）処理をすることができる。
Further, in the image processing method of the image reading apparatus according to the present embodiment, the size of the overlapped area in the sub-scanning direction of the image data is about 10 pixels, and among the image data output from each image sensor 13, The image data in the scanning direction is multiplied by the pixel value for each pixel, and the image data for one pixel in the sub-scanning direction for which processing has been determined is deleted and the newly read one in the sub-scanning direction is sequentially processed in time series. While adding image data for pixels, the reproduction of the entire document 20 is obtained by repeating the calculation of the gain by the average value of the pixel values of the overlapped area and the multiplication of the gain for the pixel value of the image data. .
Therefore, according to the present embodiment, it is possible to perform image reproduction (combination) processing of the entire document in real time while reading the document.
実施の形態２．
前述の実施の形態１では、算出したゲインβ ｍ (R), β ｍ (G), β ｍ (B)を入力画像に乗じたが、算出したゲインが急峻に変化することは考えにくく、ズレ補正処理の誤差や光学系のバラツキの影響による演算誤差であると考えられる。
このため、算出したゲインをそのまま入力画像に乗じるのではなく、副走査方向に数画素分の平均処理を実施して、入力画像のゲインとして乗じる。
即ち、本実施の形態に画像読取装置の画像処理方法は、隣接するイメージセンサ間のゲインを副走査方向に平滑化する。
また、ゲインの平滑化は、設定範囲（即ち、オーバーラップした領域の平均輝度を算出するエリア）のゲインの平均値とする。
即ち、平均輝度を算出するエリアのゲインの平均値を算出することによって、ゲインの平滑化を行う。
これにより、演算誤差による本来の画像には存在しない主走査方向の明暗の縞を低減することが出来る。
Embodiment 2. FIG.
In the first embodiment described above, the calculated gains β m (R), β m (G), and β m (B) are multiplied by the input image. However, it is unlikely that the calculated gains will change steeply. This is considered to be a calculation error due to the influence of correction processing errors and optical system variations.
For this reason, the calculated gain is not directly multiplied by the input image, but is averaged for several pixels in the sub-scanning direction and multiplied by the gain of the input image.
That is, the image processing method of the image reading apparatus according to the present embodiment smoothes the gain between adjacent image sensors in the sub-scanning direction.
Further, the gain smoothing is performed with an average value of gains in a set range (that is, an area for calculating the average luminance of the overlapped area).
That is, the gain is smoothed by calculating the average value of the gain of the area for calculating the average luminance.
Thereby, bright and dark stripes in the main scanning direction that are not present in the original image due to calculation errors can be reduced.
実施の形態３．
実施の形態２では、副走査方向に数画素分の平均処理を実施して演算誤差による主走査方向の明暗の縞を低減したが、平均処理を行った場合、平均範囲のゲイン分布が正規分布でなかった場合に本来存在しないゲインを出力する結果となる。
このため、副走査方向に数画素分のゲイン値のメディアン値(中央値)を算出して、入力値のゲインとして乗じる。
即ち、ゲインの平滑化は、設定範囲（オーバーラップした領域の平均輝度を算出するエリア）のゲインの中央値を算出することにより行う。
このようにすることにより、原稿の影響などで、階段状にゲイン値が変化した場合にも対応することが可能となる。
即ち、階段状にゲイン値が変化した場合でも、主走査方向の明暗の縞の発生を低減することが出来る。
Embodiment 3 FIG.
In the second embodiment, the averaging process for several pixels is performed in the sub-scanning direction to reduce the light and dark stripes in the main scanning direction due to the calculation error. However, when the averaging process is performed, the gain distribution in the average range is a normal distribution. If not, a gain that does not originally exist is output.
For this reason, the median value (median value) of gain values for several pixels in the sub-scanning direction is calculated and multiplied as the gain of the input value.
That is, the gain smoothing is performed by calculating the median value of the gain in the set range (the area for calculating the average luminance of the overlapped area).
In this way, it is possible to cope with a case where the gain value changes stepwise due to the influence of the document.
That is, even when the gain value changes stepwise, the generation of bright and dark stripes in the main scanning direction can be reduced.
本発明は、「主走査方向の明暗の縞」の発生を抑えた「高品質な再生画像」を得ることが可能な「画像読取装置の画像処理方法」の提供に有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for providing an “image processing method for an image reading apparatus” capable of obtaining a “high quality reproduced image” in which occurrence of “light and dark stripes in the main scanning direction” is suppressed.
１０ 画像読取装置、 １１ 照明光 １２ 読取光学系
１３ イメージセンサ １４ 基板 １５ 白基準板
１６ 読取位置 ２０ 原稿
DESCRIPTION OF SYMBOLS 10 Image reader, 11 Illumination light 12 Reading optical system 13 Image sensor 14 Board | substrate 15 White reference board 16 Reading position 20 Original
Claims (5)
前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理ステップと、
前記黒補正・白補正処理ステップにて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理ステップと、
前記ずれ補正処理ステップにおいて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理ステップと、
前記明るさ補正処理ステップにおいて明るさが補正された各画像データを結合し画像再生する画像結合処理ステップとを有し、
前記明るさ補正処理ステップは、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを算出して明るさ補正を行い、前記ゲインは副走査方向の一画素分毎のゲイン算出エリアに対して、イメージセンサのオーバーラップ方向である主走査方向、及び原稿の搬送方向である副走査方向共に台形形状の重み付けを行って算出することを特徴とする画像読取装置の画像処理方法。 A plurality of elongate image sensors in which a large number of light receiving elements are arranged in a straight line are arranged in a staggered manner, and the adjacent image sensors are partially overlapped in the longitudinal direction and conveyed. An image processing method of an image reading apparatus for reading an image of a document,
Black correction and white correction processing steps for performing black correction and white correction for each image data output from the image sensor;
A deviation correction processing step for correcting deviation in the sub-scanning direction so that each of the image data after correction corrected in the black correction / white correction processing step is smoothly connected;
The average value of the pixel values of the overlapped areas in the image data output from the adjacent image sensors matches each image data in which the deviation in the sub-scanning direction is corrected in the deviation correction processing step. In addition, a brightness correction processing step of correcting the brightness of the image by multiplying all pixel values of the image data by each image sensor by a gain corresponding to each image sensor, and
An image combining processing step for combining the image data whose brightness has been corrected in the brightness correction processing step and reproducing the image,
The brightness correction processing step performs brightness correction by calculating the gain sequentially in time series for each pixel in the sub-scanning direction as the document is conveyed, and the gain is equivalent to one pixel in the sub-scanning direction. An image reading apparatus characterized in that the gain calculation area is calculated by weighting a trapezoidal shape in both the main scanning direction which is an overlap direction of the image sensor and the sub-scanning direction which is a document conveyance direction . Image processing method.
前記イメージセンサより出力される各画像データに対し、黒補正および白補正を行う黒補正・白補正処理手段と、
前記黒補正・白補正処理手段にて補正された補正後の各画像データに対して、これらが滑らかに繋ぎ合わせられるように副走査方向のずれの補正を行うずれ補正処理手段と、
前記ずれ補正処理手段にて前記副走査方向のずれが補正された各画像データに対して、隣り合う前記イメージセンサから出力される画像データにおいてオーバーラップした領域同士の画素値の平均値が一致するように、前記各イメージセンサによる画像データの全画素値に前記各イメージセンサに応じたゲインを乗算し、画像の明るさを補正する明るさ補正処理手段と、
前記明るさ補正処理手段にて明るさが補正された各画像データを結合し画像再生する画像結合処理手段とを備え、
前記明るさ補正処理手段は、前記原稿の搬送に伴って副走査方向の一画素分毎に順次時系列に前記ゲインを算出して明るさ補正を行い、前記ゲインは副走査方向の一画素分毎のゲイン算出エリアに対して、イメージセンサのオーバーラップ方向である主走査方向、及び原稿の搬送方向である副走査方向共に台形形状の重み付けを行って算出することを特徴とする画像読取装置。 A plurality of elongate image sensors in which a large number of light receiving elements are arranged in a straight line are arranged in a staggered manner, and the adjacent image sensors are partially overlapped in the longitudinal direction and conveyed. An image reading apparatus for reading an image of a document,
Black correction / white correction processing means for performing black correction and white correction on each image data output from the image sensor;
Deviation correction processing means for correcting deviation in the sub-scanning direction so that the image data after correction corrected by the black correction / white correction processing means is smoothly connected;
The average value of the pixel values of the overlapped areas in the image data output from the adjacent image sensors matches each image data in which the shift in the sub-scanning direction is corrected by the shift correction processing unit. As described above, brightness correction processing means for correcting the brightness of an image by multiplying all pixel values of image data by each image sensor by a gain corresponding to each image sensor,
Image combining processing means for combining the image data whose brightness has been corrected by the brightness correction processing means and reproducing the image,
The brightness correction processing unit performs brightness correction by sequentially calculating the gain in time series for each pixel in the sub-scanning direction as the document is conveyed, and the gain is equivalent to one pixel in the sub-scanning direction. An image reading apparatus, wherein each gain calculation area is calculated by weighting a trapezoidal shape in both a main scanning direction as an overlap direction of an image sensor and a sub-scanning direction as a document transport direction .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010138186A JP5570315B2 (en) | 2010-06-17 | 2010-06-17 | Image processing method of image reading apparatus and image reading apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010138186A JP5570315B2 (en) | 2010-06-17 | 2010-06-17 | Image processing method of image reading apparatus and image reading apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012004868A JP2012004868A (en) | 2012-01-05 |
| JP5570315B2 true JP5570315B2 (en) | 2014-08-13 |
Family
ID=45536344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010138186A Expired - Fee Related JP5570315B2 (en) | 2010-06-17 | 2010-06-17 | Image processing method of image reading apparatus and image reading apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5570315B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6030890B2 (en) * | 2012-08-28 | 2016-11-24 | 日立オムロンターミナルソリューションズ株式会社 | Image processing unit, image processing method, and stand type scanner |
| WO2014132583A1 (en) * | 2013-02-28 | 2014-09-04 | 三菱電機株式会社 | Image processing device and image processing method |
| JP6932934B2 (en) * | 2017-01-23 | 2021-09-08 | セイコーエプソン株式会社 | How to produce scanners, scan programs and scan data |
| JP7439621B2 (en) | 2020-04-02 | 2024-02-28 | コニカミノルタ株式会社 | Image forming device, image reading device, and calibration method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05251998A (en) * | 1992-03-05 | 1993-09-28 | Hitachi Micom Syst:Kk | Filter arithmetic operation system and filter arithmetic operation circuit |
| JP3530652B2 (en) * | 1995-09-26 | 2004-05-24 | キヤノン株式会社 | Image composition method and image composition device |
| JPH1155558A (en) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | Digital camera |
| JP4324043B2 (en) * | 2004-07-15 | 2009-09-02 | キヤノン株式会社 | Image processing apparatus and method |
| JP2007267359A (en) * | 2006-03-03 | 2007-10-11 | Ricoh Co Ltd | Image reading apparatus and image forming apparatus |
-
2010
- 2010-06-17 JP JP2010138186A patent/JP5570315B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012004868A (en) | 2012-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8866902B2 (en) | Correction information calculating device, image processing apparatus, image display system, and image correcting method | |
| US7019713B2 (en) | Methods and measurement engine for aligning multi-projector display systems | |
| JP3470097B2 (en) | Image forming apparatus and color image reading apparatus used therein | |
| JP5161899B2 (en) | Image processing method of image reading apparatus | |
| US20100014778A1 (en) | Image correcting apparatus, image correcting method, projector and projection system | |
| JP2017078751A5 (en) | ||
| JP5570315B2 (en) | Image processing method of image reading apparatus and image reading apparatus | |
| US20120148114A1 (en) | Image processing device, method for processing image, and program for processing image | |
| US10701245B2 (en) | Image forming apparatus and storage medium for high-accuracy colorimetry | |
| JP2006050627A (en) | Method and system for correcting color distortion | |
| US20020145769A1 (en) | Digital cameras | |
| JP5511535B2 (en) | Image processing method of image reading apparatus and image reading apparatus | |
| JP2016127295A (en) | Image processing apparatus, image processing method, image reader, and image processing program | |
| JP5821563B2 (en) | Image reading apparatus, image reading method, and MTF correction parameter determination method | |
| JP5517769B2 (en) | Image processing method of image reading apparatus and image reading apparatus | |
| CN106713694A (en) | Image reading apparatus and image forming apparatus using the same | |
| JP6422428B2 (en) | Image processing apparatus, image processing method, image reading apparatus, and program | |
| US9338375B2 (en) | Imaging apparatus | |
| WO2016035387A1 (en) | Image processing device, image processing method, image reading device, and program | |
| US7551798B2 (en) | Apparatus for reducing zipper of image and method thereof | |
| JP2000175001A (en) | Image data correction method in image reader | |
| JP6052389B2 (en) | Image processing apparatus and image processing method | |
| JP4483746B2 (en) | Defective pixel correction method and apparatus | |
| EP2134099B1 (en) | Method of compensation for spatial non-uniformities of image devices | |
| JP7294026B2 (en) | Stripe pattern image determination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140624 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5570315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |