WO2020234954A1 - ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム - Google Patents

ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム Download PDF

Info

Publication number
WO2020234954A1
WO2020234954A1 PCT/JP2019/019864 JP2019019864W WO2020234954A1 WO 2020234954 A1 WO2020234954 A1 WO 2020234954A1 JP 2019019864 W JP2019019864 W JP 2019019864W WO 2020234954 A1 WO2020234954 A1 WO 2020234954A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel value
line
pixel
unit
average
Prior art date
Application number
PCT/JP2019/019864
Other languages
English (en)
French (fr)
Inventor
香織 片岡
淳 嵯峨田
慎吾 安藤
崇之 梅田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/019864 priority Critical patent/WO2020234954A1/ja
Publication of WO2020234954A1 publication Critical patent/WO2020234954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression

Definitions

  • the disclosed technology relates to a line sensor sensitivity correction device, a line sensor sensitivity correction method, and a line sensor sensitivity correction program.
  • Line sensors that capture one-dimensional images are used in a variety of situations, mainly for capturing images with copiers and scanners, and for visual inspection at production sites such as factories.
  • the line sensor has the advantage of being able to capture a one-dimensional line-shaped image at high speed and with high resolution, and is generally used when the subject moves with respect to the line sensor or when the line sensor moves with respect to the subject. It may be possible to obtain an image of a subject with a higher resolution than a typical area sensor (a two-dimensional ordinary camera). In pursuit of this merit, the resolution of line sensor cameras is increasing.
  • Such a problem of variation in sensitivity characteristics can be solved by measuring characteristic data indicating the relationship between the amount of light and the pixel value of each pixel, that is, performing so-called calibration.
  • Non-Patent Document 1 When the line sensor is used in a device or when the lighting environment can be fixed as in a production site, for example, calibration as shown in Non-Patent Document 1 may cause a practical problem in that environment. It is unlikely that it will happen. However, when using the line sensor in an environment where the lighting conditions cannot be fixed, such as outdoors, it is necessary to change the optical system such as the lens and aperture and adjust the gain (brightness) according to the lighting conditions at that time. Come out. Since these changes and adjustments have a non-linear effect on the pixel values, it is considered difficult to deal with them by prior calibration.
  • the disclosed technique has been made in view of the above points, and it is possible to estimate the difference in the sensitivity characteristics of each pixel of the line sensor from the image taken by the line sensor and correct the difference in the sensitivity characteristics. It is an object of the present invention to provide a line sensor sensitivity correction device, a line sensor sensitivity correction method, and a line sensor sensitivity correction program that can be used.
  • the line sensor sensitivity correction device has the same imaging conditions while relatively moving the line image capturing unit in which a plurality of pixels are arranged in a line shape.
  • a line image storage / connection unit that accumulates a plurality of continuously captured line images and creates a plurality of connected images in which the accumulated multiple line images are connected in the relative movement direction of the line image photographing unit.
  • Correction sensitivity including a low-frequency component and a high-frequency component of the average pixel value obtained from the calculated average pixel value, and a noise level function indicating the relationship between the pixel value and the magnitude of variation in the pixel value.
  • the sensitivity characteristic analysis unit corresponds to each pixel of the line image capturing unit, and the line sensor sensitivity correction device is described for each pixel of each line image constituting the connected image.
  • the average value of the pixel values for each line image is calculated for each pixel of the line image capturing unit. 1 Represented as the distribution of the average value of the pixel value projection unit to be calculated and the pixel value for each line image calculated by the pixel value projection unit in the line direction, which is the direction in which the pixels of the line image capturing unit are arranged.
  • a frequency analysis unit that separates the average pixel value into a low frequency component and a high frequency component by performing frequency analysis on the dimensional average pixel value, and a high frequency of the average pixel value obtained by the frequency analysis unit.
  • a data pair of a pair of an absolute value of a component and the average pixel value is obtained for each of the plurality of connected images, and for two-dimensional scattered data represented by each data pair of the plurality of connected images. It further includes a regression curve calculation unit that estimates the noise level function by calculating the regression curve.
  • the pixel value correction unit sets the pixel value of each pixel of the corrected connected image to I (x, y), where x is the movement direction. pixel position, y is the line direction pixel position, the low-frequency component of the average pixel value M L (y), the average pixel value of the high-frequency component of the M H (y), the noise level function N (I),
  • I is a pixel value
  • - ⁇ N (I (x, y)) / N (M L (y)) ⁇ M H (y) Is derived using.
  • the line image storage / connecting unit is relative to the line image capturing unit in which a plurality of pixels are arranged in a line shape. While moving to, a plurality of line images continuously shot under the same shooting conditions are accumulated, and a plurality of connected images in which the accumulated multiple line images are connected in the relative movement direction of the line image shooting unit are combined. A pixel for each line image corresponding to each pixel of the line image capturing unit, based on the pixel value of each of the plurality of connected images created by the sensitivity characteristic analysis unit and created by the line image storage / connection unit.
  • the average pixel value which is the distribution of the average value of the values, is calculated, and the relationship between the low-frequency component and the high-frequency component of the average pixel value obtained from the calculated average pixel value and the magnitude of the variation between the pixel value and the pixel value is determined.
  • the correction sensitivity characteristic data including the noise level function shown is calculated, and the pixel value correction unit uses the correction sensitivity characteristic data calculated by the sensitivity characteristic analysis unit to perform correction target connection, which is a connection image to be corrected. Correct the pixel value of each pixel in the image.
  • the line sensor sensitivity correction program performs the same photographing while relatively moving the line image capturing unit in which a plurality of pixels are arranged in a line shape.
  • a plurality of line images continuously captured under the conditions are accumulated, and a plurality of connected images are created by connecting the accumulated plurality of line images in the relative movement direction of the line image capturing unit, and a plurality of created lines are created.
  • the average pixel value which is the distribution of the average value of the pixel values for each line image corresponding to each pixel of the line image capturing unit, is calculated and obtained from the calculated average pixel value.
  • Correction sensitivity characteristics data including low-frequency components and high-frequency components of the average pixel value to be obtained, and a noise level function indicating the relationship between the pixel value and the magnitude of variation in the pixel value are calculated, and the calculated correction sensitivity characteristics are calculated.
  • the computer is made to correct the pixel value of each pixel of the corrected concatenated image, which is the concatenated image to be corrected.
  • FIG. 1 It is a block diagram which shows an example of the hardware composition of the line sensor sensitivity correction apparatus which concerns on embodiment. It is a block diagram which shows an example of the functional structure of the line sensor sensitivity correction apparatus which concerns on embodiment. It is a flowchart which shows an example of the processing flow by the line sensor sensitivity correction program which concerns on embodiment. It is a figure which provides the explanation of the method of creating the connected image which concerns on embodiment.
  • (A) is a diagram showing a connected image
  • (B) is a diagram showing an average pixel value.
  • (A) is a diagram showing an average pixel value
  • (B) is a diagram showing a low frequency component of the average pixel value
  • (C) is an enlarged view of a part of the low frequency component shown in (B). is there.
  • (A) is a diagram showing an average pixel value
  • (B) is a diagram showing a low frequency component of the average pixel value
  • (C) is a diagram showing a high frequency component of the average pixel value.
  • It is a graph which shows an example of the noise level function which concerns on embodiment. It is a figure which provides for explaining the influence of the difference in sensitivity in a line sensor. It is a figure which shows the example of the line noise in the actual connected image.
  • the variation in the sensitivity characteristics of each pixel of the line sensor is messy with respect to the pixel position, and many line images are taken while moving the line sensor relative to the subject.
  • the average value for each pixel of the line sensor has a value close to the surrounding pixel values, and the average value changes smoothly with respect to the pixel arrangement direction. doing.
  • the latter condition is a rational assumption because it is unlikely that the same subject will continue to be in the same position when shooting various subjects or shooting outdoor scenery continuously from a vehicle. it is conceivable that.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of the line sensor sensitivity correction device 10 according to the present embodiment.
  • the line sensor sensitivity correction device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, and a display unit 16. It includes a communication interface (I / F) 17 and a line image capturing unit 18. Each configuration is communicably connected to each other via a bus 19.
  • the CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 12 or the storage 14. In the present embodiment, the ROM 12 or the storage 14 stores a line sensor sensitivity correction program that corrects the sensitivity of the line sensor.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores a program or data as a work area.
  • the storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 is used to perform various inputs to the own device.
  • the display unit 16 is, for example, a liquid crystal display and displays various types of information.
  • the display unit 16 may adopt a touch panel method and function as an input unit 15.
  • the communication interface 17 is an interface for the own device to communicate with other external devices, and for example, standards such as Ethernet (registered trademark), FDDI (Fiber Distributed Data Interface), and Wi-Fi (registered trademark) are used. ..
  • the line image capturing unit 18 is a camera having a built-in line sensor in which a plurality of pixels are arranged in a line shape.
  • the line image capturing unit 18 captures a line image for each line.
  • the line image capturing unit 18 is movable relative to the subject. That is, the line image capturing unit 18 may move with respect to the fixed subject, or the subject may move with respect to the fixed line image capturing unit 18.
  • the moving direction is the direction in which the line image capturing unit 18 moves relative to the subject, and is the lateral direction of the connected image.
  • the line direction is the direction in which the pixels of the line image capturing unit 18 are arranged, and is the vertical direction of the connected image.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the line sensor sensitivity correction device 10 according to the present embodiment.
  • the line sensor sensitivity correction device 10 includes a line image storage / connection unit 101, a sensitivity characteristic analysis unit 102, and a pixel value correction unit 103 as functional configurations.
  • the sensitivity characteristic analysis unit 102 includes a pixel value projection unit 102A, a frequency analysis unit 102B, and a regression curve calculation unit 102C.
  • Each functional configuration is realized by the CPU 11 reading out the line sensor sensitivity correction program stored in the ROM 12 or the storage 14, deploying it in the RAM 13, and executing it.
  • the line image storage / connection unit 101 accumulates a plurality of line images continuously shot under the same shooting conditions while relatively moving the line image shooting unit 18, and moves the accumulated plurality of line images in the moving direction. Create multiple linked images linked to. That is, a plurality of line image capturing units 18 move relatively under the same shooting conditions, specifically, as an example, with the optical system state, gain state, number of pixels, shutter speed, and the like fixed. For example, hundreds to thousands of line images are taken. Then, the line image storage / connection unit 101 captures the subject two-dimensionally by connecting a plurality of line images obtained by photographing by the line image photographing unit 18 in the moving direction of the line image capturing unit 18. Create a linked image.
  • the plurality of connected images may be images taken separately under the same shooting conditions, or may be images obtained by dividing a series of continuous images.
  • the sensitivity characteristic analysis unit 102 determines the pixel value for each line image corresponding to each pixel of the line image capturing unit 18 based on the pixel value of each of the plurality of connected images created by the line image storage / connection unit 101.
  • the average pixel value which is the distribution of the average value, is calculated.
  • the sensitivity characteristic analysis unit 102 calculates the low-frequency component and the high-frequency component of the average pixel value obtained from the calculated average pixel value, and the correction sensitivity characteristic data including the noise level function.
  • the noise level function referred to here is a function indicating the relationship between the pixel value and the magnitude of the variation in the pixel value.
  • This correction sensitivity characteristic data is data for correcting the pixel value of each pixel of the correction target connected image, which is the correction target connected image.
  • the pixel value projection unit 102A adds a pixel value in the moving direction for each pixel of each line image constituting the connected image corresponding to each pixel of the line image capturing unit 18. Then, the pixel value projection unit 102A calculates the average value of the pixel values for each line image for each pixel of the line image capturing unit 18 by dividing the added pixel value by the number of pixels in the moving direction of the connected image. .. Then, the pixel value projection unit 102A obtains a one-dimensional average pixel value represented as a distribution in the line direction of the average value of the pixel values for each calculated line image.
  • the frequency analysis unit 102B separates the average pixel value into a low frequency component and a high frequency component by performing frequency analysis on the average pixel value obtained by the pixel value projection unit 102A.
  • This frequency analysis such as differential processing, smoothing and comparison with the original signal, Fourier transform, Wiener filter, Savitzky-Goray filter, and the like, but the method is not particularly limited.
  • the regression curve calculation unit 102C obtains a data pair of the absolute value of the high frequency component of the average pixel value obtained by the frequency analysis unit 102B and the average pixel value for each of the plurality of connected images. Then, the regression curve calculation unit 102C estimates the noise level function by calculating the regression curve for the two-dimensional dispersion data represented by each data pair of the plurality of connected images. As an example, a method of approximating with a polynomial, a method of approximating with a normal distribution or a lognormal distribution, and the like are applied to the calculation of the regression curve. In principle, it is not easy to determine an appropriate function for this characteristic, so it should be determined empirically while looking at actual examples of spray data.
  • the correction sensitivity characteristic data is data including a low frequency component of the average pixel value, a high frequency component of the average pixel value, and a noise level function.
  • Each of the low frequency component and the high frequency component of the average pixel value may be a value calculated from a certain connected image or an average value calculated from a plurality of connected images.
  • the pixel value correction unit 103 corrects the pixel value of each pixel of the connected image to be corrected by using the correction sensitivity characteristic data calculated by the sensitivity characteristic analysis unit 102. Specifically, the pixel value correction unit 103 sets the pixel value of each pixel of the connected image to be corrected to I (x, y), where x is the pixel position in the moving direction, y is the pixel position in the line direction, and the average pixel value. M L (y) low-frequency components of the high frequency component of the average pixel value M H (y), the noise level function N (I), provided that when I is where the pixel value after the correction of the correction target combined image The pixel value I'(x, y) of each pixel of is derived using the following equation (1).
  • I '(x, y) I (x, y) - ⁇ N (I (x, y)) / N (M L (y)) ⁇ M H (y) ... (1)
  • the variation (high frequency component) corresponding to the pixel position of the line image capturing unit 18 is set to the pixel value I (x) of the corrected connected image.
  • Y is subtracted from the correction.
  • the amount to be subtracted is adjusted while referring to the intensity (noise level function) of the high frequency component according to the pixel value I (x, y).
  • FIG. 3 is a flowchart showing an example of the processing flow by the line sensor sensitivity correction program according to the present embodiment.
  • the processing by the line sensor sensitivity correction program is realized by the CPU 11 of the line sensor sensitivity correction device 10 writing the line sensor sensitivity correction program stored in the ROM 12 or the storage 14 to the RAM 13 and executing the process.
  • step S101 of FIG. 3 the CPU 11 accumulates a plurality of line images continuously photographed under the same imaging conditions while relatively moving the line image capturing unit 18 as the line image accumulating / connecting unit 101. , Create a plurality of connected images in which a plurality of accumulated line images are connected in the moving direction.
  • FIG. 4 is a diagram provided for explaining a method of creating a connected image according to the present embodiment.
  • a two-dimensional connected image is acquired by continuously moving the line image capturing unit 18 while continuously shooting and connecting the line images obtained in the moving direction.
  • step S102 the CPU 11 adds pixel values in the moving direction for each pixel of each line image constituting the connected image shown in FIG. 5A as an example of the pixel value projection unit 102A.
  • the pixels of each line image constituting this connected image correspond to each pixel of the line image capturing unit 18.
  • the CPU 11 calculates the average value of the pixel values for each line image for each pixel of the line image capturing unit 18 by dividing the added pixel values by the number of pixels in the moving direction of the connected image.
  • the CPU 11 obtains a one-dimensional average pixel value represented as a distribution in the line direction of the average value of the calculated pixel values for each line image, as shown in FIG. 5 (B).
  • FIG. 5 (A) is a diagram showing a connected image
  • FIG. 5 (B) is a diagram showing an average pixel value.
  • the example of the average pixel value shown in FIG. 5 (B) is calculated from the connected image shown in FIG. 5 (A), and the length of the white part in the direction of the arrow (to the right in the figure) corresponds to the corresponding pixel (movement). It shows the magnitude of the average value of the pixel values with respect to the pixels of each line image in the direction.
  • the distribution of the average value that is, the average pixel value is expressed as M (y), where y is the pixel position in the line direction.
  • the average pixel value M (y) is significantly changed between the pixels adjacent to each other in the line direction. In the present embodiment, it is considered that this change is due to the variation in the sensitivity characteristics for each line image.
  • step S103 the CPU 11 performs frequency analysis on the average pixel value M (y) obtained in step S102 as the frequency analysis unit 102B to obtain the average pixel value M (y) as a low frequency component and a high frequency component.
  • this frequency analysis there are various methods for this frequency analysis, such as differential processing, smoothing and comparison with the original signal, Fourier transform, Wiener filter, Savitzky-Goray filter, etc., but the method is particularly limited. It's not something to do.
  • 6 (A) is a diagram showing an average pixel value M (y)
  • 6 (B) is a diagram showing a low frequency component M L (y) of the average pixel value M (y)
  • 6 ( C) is an enlarged view of a portion of the low frequency component M L (y) shown in FIG. 6 (B).
  • FIG. 6 (B) and FIG. 6 (C) the FIG right direction towards the length of the white portion of the corresponding pixel the low-frequency component to the (pixel of each line image in the moving direction) M L (y) size It shows that.
  • 7 (A) is a diagram showing an average pixel value M (y)
  • 7 (B) is a diagram showing a low frequency component M L (y) of the average pixel value M (y)
  • 7 ( C) is a diagram showing a high frequency component MH (y) having an average pixel value M (y).
  • High-frequency component M H shown in FIG. 7 (C) (y), the difference between the average pixel value M shown in FIG. 7 (A) (y), a low frequency component M L (y) shown in FIG. 7 (B) Can be obtained by calculating.
  • the amplitude (level) of the high frequency component MH (y) of the average pixel value M (y) is due to the variation in the composition for each pixel.
  • it may have a complicated dependency characteristic with respect to the pixel value.
  • step S104 the CPU 11 uses the regression curve calculation unit 102C to pair the absolute value of the high frequency component MH (y) of the average pixel value M (y) obtained in step S103 with the average pixel value M (y).
  • the data pair to be used is obtained for each of a plurality of connected images taken under the same shooting conditions.
  • the CPU 11 estimates the noise level function N (I) by calculating a regression curve for the two-dimensional dispersion data represented by each data pair of the plurality of connected images.
  • a method of approximating with a polynomial a method of approximating with a normal distribution or a lognormal distribution, and the like are applied to the calculation of the regression curve.
  • FIG. 8 is a graph showing an example of the noise level function N (I) according to the present embodiment.
  • the horizontal axis represents the pixel value (average pixel value for each line image) I, and the vertical axis represents the absolute value of the high frequency component MH (y).
  • the noise level function N (I) shown in FIG. 8 shows a function that regresses the above-mentioned scattered data with a lognormal distribution (parameters: intensity, variance, mean, coordinate origin of log) as an example.
  • the low frequency component M L of the average pixel value M (y) (y), the high-frequency component M H of the average pixel value M (y) (y), and the noise level function data containing N (I) is, subsequent This is the correction sensitivity characteristic data required for the correction process.
  • step S105 the CPU 11 corrects the pixel value of each pixel of the connected image to be corrected by using the correction sensitivity characteristic data obtained in step S104 as the pixel value correction unit 103. Specifically, the CPU 11 derives the pixel value I'(x, y) of each corrected pixel of the corrected connected image using the above equation (1), and outputs the corrected connected image. Then, the CPU 11 ends a series of processes by the line sensor sensitivity correction program.
  • the magnitude of the variation in sensitivity for each pixel of the line sensor and the dependence of the variation on the pixel value are estimated, and the pixel value of each pixel of the connected image is calculated. It can be corrected.
  • various processors other than the CPU may execute the line sensor sensitivity correction process executed by the CPU reading the software (program) in the above embodiment.
  • the processors include PLD (Programmable Logic Device) whose circuit configuration can be changed after the manufacture of FPGA (Field-Programmable Gate Array), and ASIC (Application Specific Integrated Circuit) for executing ASIC (Application Special Integrated Circuit).
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for the purpose.
  • the language processing may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs and a combination of a CPU and an FPGA, etc. ) May be executed.
  • the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the program is a non-temporary storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital entirely Disk Online Memory), and a USB (Universal Serial Bus) memory. It may be provided in the form. Further, the program may be downloaded from an external device via a network.
  • Appendix 1 With memory With at least one processor connected to the memory Including The processor While relatively moving the line image capturing unit in which a plurality of pixels are arranged in a line shape, a plurality of line images continuously captured under the same shooting conditions are accumulated, and the accumulated multiple line images are combined with the line. Create multiple connected images connected in the relative movement direction of the imaging unit, Based on each pixel value of the created plurality of connected images, the average pixel value, which is the distribution of the average value of the pixel values for each line image corresponding to each pixel of the line image capturing unit, was calculated and calculated.
  • the correction sensitivity characteristic data including the low frequency component and the high frequency component of the average pixel value obtained from the average pixel value and the noise level function indicating the relationship between the pixel value and the magnitude of the variation of the pixel value is calculated.
  • the pixel value of each pixel of the correction target connected image, which is the correction target connected image is corrected.
  • Line sensor sensitivity correction device configured as such.
  • (Appendix 2) A non-temporary storage medium that stores a program that can be executed by a computer to perform line sensor sensitivity correction processing.
  • the line sensor sensitivity correction process While relatively moving the line image capturing unit in which a plurality of pixels are arranged in a line shape, a plurality of line images continuously captured under the same shooting conditions are accumulated, and the accumulated multiple line images are combined with the line. Create multiple connected images connected in the relative movement direction of the imaging unit, Based on each pixel value of the created plurality of connected images, the average pixel value, which is the distribution of the average value of the pixel values for each line image corresponding to each pixel of the line image capturing unit, was calculated and calculated.
  • the correction sensitivity characteristic data including the low frequency component and the high frequency component of the average pixel value obtained from the average pixel value and the noise level function indicating the relationship between the pixel value and the magnitude of the variation of the pixel value is calculated.
  • the pixel value of each pixel of the correction target connected image which is the correction target connected image, is corrected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

ラインセンサの画素毎の感度特性の差異を、ラインセンサによって撮影された画像から推定し、その感度特性の差異を補正する。　ラインセンサ感度補正装置１０は、ライン画像撮影部１８を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を移動方向に連結した複数の連結画像を作成するライン画像蓄積・連結部１０１と、作成された複数の連結画像の各々の画素値に基づいて、ライン画像撮影部１８の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる平均画素値の低周波成分及び高周波成分、並びに、ノイズレベル関数を含む補正用感度特性データを算出する感度特性解析部１０２と、算出された補正用感度特性データを用いて、補正対象連結画像の各画素の画素値を補正する画素値補正部１０３と、を備える。

Description

ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム
　開示の技術は、ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラムに関する。
　１次元の画像を撮影するラインセンサは、コピー機及びスキャナにおける画像の撮影、工場等の生産現場における外観検査等を中心に、様々な場面で利用されている。ラインセンサは１次元のライン状の画像を高速かつ高い解像度で撮影できるという特長を持ち、被写体がラインセンサに対して移動する場合、もしくは、ラインセンサが被写体に対して移動する場合には、一般的なエリアセンサ（２次元の通常のカメラ）よりも高い解像度で被写体の画像を得ることができる場合がある。このメリットを追求する形でラインセンサカメラの高解像度化が進展している。
　しかしながら、一定の素子サイズの範囲で高解像度化を行おうとすると、撮像素子の画素（ピクセル）毎の感度特性（実際の光量に対する画素値の関係）を均等に保つことが難しくなる。図９に示すように、ラインセンサの画素毎の感度特性の差異が大きい場合には、ラインセンサを相対的に移動させながら連続撮影した画像（以下、「ライン画像」という。）を連結した画像（被写体が２次元的に撮影された画像、以下、「連結画像」という。）において、ラインセンサのライン方向（連結画像の縦方向）に直交する移動方向（連結画像の横方向）にライン状のノイズ（以下、「ラインノイズ」という。）が観測される場合がある。実際の連結画像におけるラインノイズの例を図１０に示す。
　このような感度特性のばらつきの問題は、光量と各画素の画素値の関係を示す特性データを計測すること、所謂キャリブレーションを行うことで解決することができる。
　ラインセンサを機器内で利用する場合や、生産現場等のように照明環境を固定できる場合には、例えば、非特許文献１に示すようなキャリブレーションをその環境において行うことで実用上の問題は起こらないと考えられる。しかし、屋外等照明条件を固定できない環境でラインセンサを使う場合には、その時の照明条件に応じてレンズや絞りなどの光学系を変えたり、ゲイン（明るさ）の調整を行ったりする必要が出てくる。これらの変更や調整は画素値に対して非線形な影響を与えるため、事前のキャリブレーションでは対応することが難しくなると考えられる。
－ＣＶＩＭチュートリアルシリーズ－コンピュータビジョン最先端ガイド４、Computational Photography, Image Noise Analysis, Optics, Coded Imaging, Reflectance & Scattering, Color、p.15-16、八木康史、斎藤英雄 編、アドコム・メディア株式会社、初版2011年12月７日発行
　上記の問題に対応するための一つの考え方として、事前のキャリブレーションに頼らず、ラインセンサによって撮影された画像を用いて感度特性の画素毎の差異を補正することが考えられる。しかしながら、従来このような考え方に基づく技術は提案されていない。
　開示の技術は、上記の点に鑑みてなされたものであり、ラインセンサの画素毎の感度特性の差異を、ラインセンサによって撮影された画像から推定し、その感度特性の差異を補正することができるラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラムを提供することを目的とする。
　上記目的を達成するために、本開示の第１態様に係るラインセンサ感度補正装置は、ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成するライン画像蓄積・連結部と、前記ライン画像蓄積・連結部により作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出する感度特性解析部と、前記感度特性解析部により算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する画素値補正部と、を備えている。
　また、本開示の第２態様に係るラインセンサ感度補正装置は、前記感度特性解析部が、前記ライン画像撮影部の各画素に対応する、前記連結画像を構成する各ライン画像の画素毎に前記移動方向に画素値を加算し、加算した画素値を、前記連結画像の前記移動方向の画素数で除することにより、前記ライン画像撮影部の各画素についてライン画像毎の画素値の平均値を算出する画素値射影部と、前記画素値射影部により算出されたライン画像毎の画素値の平均値の、前記ライン画像撮影部の画素が配列する方向であるライン方向における分布として表される１次元の前記平均画素値に対して周波数解析を行うことにより、前記平均画素値を低周波成分と高周波成分とに分離する周波数解析部と、前記周波数解析部により得られた前記平均画素値の高周波成分の絶対値と前記平均画素値とを対とするデータ対を、前記複数の連結画像の各々について求め、前記複数の連結画像の各々のデータ対により表される２次元の散布データに対して回帰曲線を算出することにより、前記ノイズレベル関数を推定する回帰曲線算出部と、を更に含む。
　また、本開示の第３態様に係るラインセンサ感度補正装置は、前記画素値補正部が、前記補正対象連結画像の各画素の画素値をＩ（ｘ，ｙ）、但し、ｘは移動方向の画素位置、ｙはライン方向の画素位置、前記平均画素値の低周波成分をＭＬ（ｙ）、前記平均画素値の高周波成分をＭＨ（ｙ）、前記ノイズレベル関数をＮ（Ｉ）、但し、Ｉは画素値とした場合、前記補正対象連結画像の補正後の各画素の画素値Ｉ’（ｘ，ｙ）を、下記の式
Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－｛Ｎ（Ｉ（ｘ，ｙ））／Ｎ（ＭＬ（ｙ））｝ＭＨ（ｙ）
を用いて導出する。
　一方、上記目的を達成するために、本開示の第４態様に係るラインセンサ感度補正方法は、ライン画像蓄積・連結部が、ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、感度特性解析部が、前記ライン画像蓄積・連結部により作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、画素値補正部が、前記感度特性解析部により算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する。
　更に、上記目的を達成するために、本開示の第５態様に係るラインセンサ感度補正プログラムは、ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正することを、コンピュータに実行させる。
　開示の技術によれば、事前のキャリブレーションを行うことなく、ラインセンサによって撮影された画像のみを用いて、ラインセンサの画素毎の感度特性のばらつきを補正することができる。
実施形態に係るラインセンサ感度補正装置のハードウェア構成の一例を示すブロック図である。 実施形態に係るラインセンサ感度補正装置の機能構成の一例を示すブロック図である。 実施形態に係るラインセンサ感度補正プログラムによる処理の流れの一例を示すフローチャートである。 実施形態に係る連結画像の作成方法の説明に供する図である。 （Ａ）は連結画像を示す図であり、（Ｂ）は平均画素値を示す図である。 （Ａ）は平均画素値を示す図であり、（Ｂ）は平均画素値の低周波成分を示す図であり、（Ｃ）は（Ｂ）に示す低周波成分の一部を拡大した図である。 （Ａ）は平均画素値を示す図であり、（Ｂ）は平均画素値の低周波成分を示す図であり、（Ｃ）は平均画素値の高周波成分を示す図である。 実施形態に係るノイズレベル関数の一例を示すグラフである。 ラインセンサにおける感度の差異の影響の説明に供する図である。 実際の連結画像におけるラインノイズの例を示す図である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において、同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　本開示の技術は、ラインセンサの画素毎の感度特性のばらつきがその画素位置に対して乱雑であること、また、ラインセンサを被写体に対して相対的に移動させながら多くのライン画像を撮影した場合に、仮に感度特性のばらつきがなければ、ラインセンサの画素毎の平均値は周囲の画素値と近い値を持ち、かつその平均値は画素の配列方向に対して滑らかに変化することを想定している。後者の条件は、様々な被写体を撮影したり、屋外の風景を車両から連続的に撮影したりする場合等においては、同じ被写体が同じ位置にあり続けることは考えにくいため合理的な仮定であると考えられる。
　図１は、本実施形態に係るラインセンサ感度補正装置１０のハードウェア構成の一例を示すブロック図である。
　図１に示すように、ラインセンサ感度補正装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、通信インタフェース（Ｉ／Ｆ）１７、及びライン画像撮影部１８を備えている。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、ラインセンサの感度を補正するラインセンサ感度補正プログラムが格納されている。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、自装置に対して各種の入力を行うために使用される。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
　通信インタフェース１７は、自装置が他の外部機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ（Ｆｉｂｅｒ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｄａｔａ　Ｉｎｔｅｒｆａｃｅ）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　ライン画像撮影部１８は、ライン状に複数の画素が配列されたラインセンサを内蔵するカメラである。ライン画像撮影部１８は、１ライン毎にライン画像を撮影する。ライン画像撮影部１８は、被写体に対して相対的に移動可能とされている。つまり、固定された被写体に対してライン画像撮影部１８が移動してもよいし、固定されたライン画像撮影部１８に対して被写体が移動してもよい。なお、上述の図９に示すように、移動方向とは、ライン画像撮影部１８が被写体に対して相対的に移動する方向であり、連結画像の横方向である。また、ライン方向は、ライン画像撮影部１８の画素が配列する方向であり、連結画像の縦方向である。
　次に、図２を参照して、ラインセンサ感度補正装置１０の機能構成について説明する。
　図２は、本実施形態に係るラインセンサ感度補正装置１０の機能構成の一例を示すブロック図である。
　図２に示すように、ラインセンサ感度補正装置１０は、機能構成として、ライン画像蓄積・連結部１０１、感度特性解析部１０２、及び画素値補正部１０３を備えている。また、感度特性解析部１０２は、画素値射影部１０２Ａ、周波数解析部１０２Ｂ、及び回帰曲線算出部１０２Ｃを含んでいる。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶されたラインセンサ感度補正プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　ライン画像蓄積・連結部１０１は、ライン画像撮影部１８を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を移動方向に連結した複数の連結画像を作成する。つまり、ライン画像撮影部１８は、同一の撮影条件、具体的には、一例として、光学系の状態、ゲインの状態、画素数、シャッタースピード等を固定した状態で相対的に移動しながら複数（例えば、数百～数千）のライン画像を撮影する。そして、ライン画像蓄積・連結部１０１は、ライン画像撮影部１８により撮影して得られた複数のライン画像を、ライン画像撮影部１８の移動方向に連結することで、被写体を２次元的に撮影した連結画像を作成する。なお、複数の連結画像は、同一の撮影条件で別々に撮影された画像でもよいし、あるいは、一連の連続した画像を分割した画像でもよい。
　感度特性解析部１０２は、ライン画像蓄積・連結部１０１により作成された複数の連結画像の各々の画素値に基づいて、ライン画像撮影部１８の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出する。そして、感度特性解析部１０２は、算出した平均画素値から得られる平均画素値の低周波成分及び高周波成分、並びに、ノイズレベル関数を含む補正用感度特性データを算出する。ここでいうノイズレベル関数とは、画素値と画素値のばらつきの大きさとの関係を示す関数である。この補正用感度特性データは、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正するためのデータである。
　具体的に、画素値射影部１０２Ａは、ライン画像撮影部１８の各画素に対応する、連結画像を構成する各ライン画像の画素毎に移動方向に画素値を加算する。そして、画素値射影部１０２Ａは、加算した画素値を、連結画像の移動方向の画素数で除することにより、ライン画像撮影部１８の各画素についてライン画像毎の画素値の平均値を算出する。そして、画素値射影部１０２Ａは、算出したライン画像毎の画素値の平均値のライン方向における分布として表される１次元の平均画素値を得る。
　周波数解析部１０２Ｂは、画素値射影部１０２Ａにより得られた平均画素値に対して周波数解析を行うことにより、平均画素値を低周波成分と高周波成分とに分離する。この周波数解析には、一例として、微分処理、平滑化と原信号との比較、フーリエ変換、Ｗｉｅｎｅｒフィルタ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタ等、様々な方法があるが、その方法について特に限定するものではない。
　回帰曲線算出部１０２Ｃは、周波数解析部１０２Ｂにより得られた平均画素値の高周波成分の絶対値と平均画素値とを対とするデータ対を、複数の連結画像の各々について求める。そして、回帰曲線算出部１０２Ｃは、複数の連結画像の各々のデータ対により表される２次元の散布データに対して回帰曲線を算出することにより、ノイズレベル関数を推定する。なお、回帰曲線の算出には、一例として、多項式で近似する方法、正規分布又は対数正規分布で近似する方法等が適用される。この特性については原理的に適切な関数を決定することが容易でない状況があるため、実際の散布データの事例を見ながら経験的に決めればよい。
　上述したように補正用感度特性データは、平均画素値の低周波成分、平均画素値の高周波成分、及びノイズレベル関数を含むデータである。なお、平均画素値の低周波成分及び高周波成分の各々は、ある連結画像から算出された値でもよいし、複数の連結画像から算出された平均値でもよい。
　画素値補正部１０３は、感度特性解析部１０２により算出された補正用感度特性データを用いて、補正対象連結画像の各画素の画素値を補正する。具体的に、画素値補正部１０３は、補正対象連結画像の各画素の画素値をＩ（ｘ，ｙ）、但し、ｘは移動方向の画素位置、ｙはライン方向の画素位置、平均画素値の低周波成分をＭＬ（ｙ）、平均画素値の高周波成分をＭＨ（ｙ）、ノイズレベル関数をＮ（Ｉ）、但し、Ｉは画素値とした場合、補正対象連結画像の補正後の各画素の画素値Ｉ’（ｘ，ｙ）を、下記の式（１）を用いて導出する。
Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－｛Ｎ（Ｉ（ｘ，ｙ））／Ｎ（ＭＬ（ｙ））｝ＭＨ（ｙ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　この式（１）は、ライン画像撮影部１８によって撮影された補正対象連結画像において、ライン画像撮影部１８の画素位置に対応したばらつき（高周波成分）を、補正対象連結画像の画素値Ｉ（ｘ，ｙ）から差し引くことで補正を行うものである。この際、画素値Ｉ（ｘ，ｙ）に応じた高周波成分の強さ（ノイズレベル関数）を参照しながら、差し引く量を調整している。
　次に、図３を参照して、本実施形態に係るラインセンサ感度補正装置１０の作用について説明する。
　図３は、本実施形態に係るラインセンサ感度補正プログラムによる処理の流れの一例を示すフローチャートである。ラインセンサ感度補正プログラムによる処理は、ラインセンサ感度補正装置１０のＣＰＵ１１が、ＲＯＭ１２又はストレージ１４に記憶されているラインセンサ感度補正プログラムをＲＡＭ１３に書き込んで実行することにより、実現される。
　図３のステップＳ１０１では、ＣＰＵ１１が、ライン画像蓄積・連結部１０１として、ライン画像撮影部１８を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を移動方向に連結した複数の連結画像を作成する。
　図４は、本実施形態に係る連結画像の作成方法の説明に供する図である。
　図４に示すように、ライン画像撮影部１８を相対的に移動させながら連続的に撮影して得られたライン画像を移動方向に連結することで、２次元の連結画像が取得される。
　ステップＳ１０２では、ＣＰＵ１１が、画素値射影部１０２Ａとして、一例として、図５（Ａ）に示す連結画像を構成する各ライン画像の画素毎に移動方向に画素値を加算する。この連結画像を構成する各ライン画像の画素は、ライン画像撮影部１８の各画素に対応している。そして、ＣＰＵ１１は、加算した画素値を、連結画像の移動方向の画素数で除することにより、ライン画像撮影部１８の各画素についてライン画像毎の画素値の平均値を算出する。そして、ＣＰＵ１１は、一例として、図５（Ｂ）に示すように、算出したライン画像毎の画素値の平均値のライン方向における分布として表される１次元の平均画素値を得る。
　図５（Ａ）は連結画像を示す図であり、図５（Ｂ）は平均画素値を示す図である。
　図５（Ｂ）に示す平均画素値の例は、図５（Ａ）に示す連結画像から算出したもので、白い部分の矢印の方向（図の右方向）に向かう長さが対応画素（移動方向における各ライン画像の画素）に対する画素値の平均値の大きさを示している。ここで、この平均値の分布、つまり、平均画素値をＭ（ｙ）、但し、ｙはライン方向の画素位置、と表すものとする。
　図５（Ｂ）に示すように、上記の平均画素値Ｍ（ｙ）は、ライン方向に隣接する画素との間で大きく変化している。本実施形態においては、この変化がライン画像毎の感度特性のばらつきによるものと考える。
　ステップＳ１０３では、ＣＰＵ１１が、周波数解析部１０２Ｂとして、ステップＳ１０２で得られた平均画素値Ｍ（ｙ）に対して周波数解析を行うことにより、平均画素値Ｍ（ｙ）を低周波成分と高周波成分とに分離する。この周波数解析には、上述したように、一例として、微分処理、平滑化と原信号との比較、フーリエ変換、Ｗｉｅｎｅｒフィルタ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタ等、様々な方法があるが、その方法について特に限定するものではない。
　図６（Ａ）は平均画素値Ｍ（ｙ）を示す図であり、図６（Ｂ）は平均画素値Ｍ（ｙ）の低周波成分ＭＬ（ｙ）を示す図であり、図６（Ｃ）は図６（Ｂ）に示す低周波成分ＭＬ（ｙ）の一部を拡大した図である。なお、図６（Ｂ）及び図６（Ｃ）において、白い部分の図の右方向に向かう長さが対応画素（移動方向における各ライン画像の画素）に対する低周波成分ＭＬ（ｙ）の大きさを示している。
　図６（Ａ）に示す平均画素値Ｍ（ｙ）に対して、一例として、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタを用いて低周波成分ＭＬ（ｙ）を推定した結果が図６（Ｂ）及び図６（Ｃ）となる。
　図７（Ａ）は平均画素値Ｍ（ｙ）を示す図であり、図７（Ｂ）は平均画素値Ｍ（ｙ）の低周波成分ＭＬ（ｙ）を示す図であり、図７（Ｃ）は平均画素値Ｍ（ｙ）の高周波成分ＭＨ（ｙ）を示す図である。なお、図７（Ｂ）において、白い部分の図の右方向に向かう長さが対応画素（移動方向における各ライン画像の画素）に対する低周波成分ＭＬ（ｙ）の大きさを示している。
　図７（Ｃ）に示す高周波成分ＭＨ（ｙ）は、図７（Ａ）に示す平均画素値Ｍ（ｙ）と、図７（Ｂ）に示す低周波成分ＭＬ（ｙ）との差を計算することで得られる。
　上記の平均画素値Ｍ（ｙ）の高周波成分ＭＨ（ｙ）の振幅（レベル）は、画素毎の組成のばらつきに起因すると考えられる。しかし、受光から画素値の出力までのプロセスを経た結果として、画素値に対して複雑な依存特性を持っている可能性がある。
　ステップＳ１０４では、ＣＰＵ１１が、回帰曲線算出部１０２Ｃとして、ステップＳ１０３で得られた平均画素値Ｍ（ｙ）の高周波成分ＭＨ（ｙ）の絶対値と平均画素値Ｍ（ｙ）とを対とするデータ対を、同一の撮影条件で撮影された複数の連結画像の各々について求める。そして、ＣＰＵ１１は、複数の連結画像の各々のデータ対により表される２次元の散布データに対して回帰曲線を算出することにより、ノイズレベル関数Ｎ（Ｉ）を推定する。なお、回帰曲線の算出には、上述したように、一例として、多項式で近似する方法、正規分布又は対数正規分布で近似する方法等が適用される。
　図８は、本実施形態に係るノイズレベル関数Ｎ（Ｉ）の一例を示すグラフである。なお、横軸は画素値（ライン画像毎の平均画素値）Ｉを示し、縦軸は高周波成分ＭＨ（ｙ）の絶対値を示す。
　図８に示すノイズレベル関数Ｎ（Ｉ）は、上述の散布データに対して、一例として、対数正規分布（パラメータ：強度、分散、平均、ｌｏｇの座標原点）で回帰した関数を示す。
　なお、平均画素値Ｍ（ｙ）の低周波成分ＭＬ（ｙ）、平均画素値Ｍ（ｙ）の高周波成分ＭＨ（ｙ）、及びノイズレベル関数Ｎ（Ｉ）を含むデータが、後段の補正処理で必要とされる補正用感度特性データとなる。平均画素値Ｍ（ｙ）の低周波成分ＭＬ（ｙ）及び高周波成分ＭＨ（ｙ）の各々は、上述したように、ある連結画像から算出された値でもよいし、複数の連結画像から算出された平均値でもよい。
　ステップＳ１０５では、ＣＰＵ１１が、画素値補正部１０３として、ステップＳ１０４で得られた補正用感度特性データを用いて、補正対象連結画像の各画素の画素値を補正する。具体的に、ＣＰＵ１１は、補正対象連結画像の補正後の各画素の画素値Ｉ’（ｘ，ｙ）を、上述の式（１）を用いて導出し、補正後の連結画像を出力する。そして、ＣＰＵ１１は、本ラインセンサ感度補正プログラムによる一連の処理を終了する。
　以上の処理により、事前のキャリブレーションを行うことなく、ラインセンサによって撮影されたライン画像のみを用いて、ラインセンサの画素毎の感度特性のばらつきを補正することができる。
　同一の撮影条件でラインセンサによって撮影された画像群から、ラインセンサの画素毎の感度のばらつきの大きさと、そのばらつきの画素値に対する依存性とを推定し、連結画像の各画素の画素値を補正することができる。
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したラインセンサ感度補正処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、言語処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態では、ラインセンサ感度補正プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、
　作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、
　算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する、
　ように構成されているラインセンサ感度補正装置。
（付記項２）
　ラインセンサ感度補正処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記ラインセンサ感度補正処理は、
　ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、
　作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、
　算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する、
　非一時的記憶媒体。
１０   ラインセンサ感度補正装置
１１   ＣＰＵ
１２   ＲＯＭ
１３   ＲＡＭ
１４   ストレージ
１５   入力部
１６   表示部
１７   通信Ｉ／Ｆ
１８   ライン画像撮影部
１９   バス
１０１ ライン画像蓄積・連結部
１０２ 感度特性解析部
１０２Ａ      画素値射影部
１０２Ｂ      周波数解析部
１０２Ｃ      回帰曲線算出部
１０３ 画素値補正部

Claims (5)

  1. 　ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成するライン画像蓄積・連結部と、
    　前記ライン画像蓄積・連結部により作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出する感度特性解析部と、
    　前記感度特性解析部により算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する画素値補正部と、
    　を備えたラインセンサ感度補正装置。
  2. 　前記感度特性解析部は、
    　　前記ライン画像撮影部の各画素に対応する、前記連結画像を構成する各ライン画像の画素毎に前記移動方向に画素値を加算し、加算した画素値を、前記連結画像の前記移動方向の画素数で除することにより、前記ライン画像撮影部の各画素についてライン画像毎の画素値の平均値を算出する画素値射影部と、
    　　前記画素値射影部により算出されたライン画像毎の画素値の平均値の、前記ライン画像撮影部の画素が配列する方向であるライン方向における分布として表される１次元の前記平均画素値に対して周波数解析を行うことにより、前記平均画素値を低周波成分と高周波成分とに分離する周波数解析部と、
    　　前記周波数解析部により得られた前記平均画素値の高周波成分の絶対値と前記平均画素値とを対とするデータ対を、前記複数の連結画像の各々について求め、前記複数の連結画像の各々のデータ対により表される２次元の散布データに対して回帰曲線を算出することにより、前記ノイズレベル関数を推定する回帰曲線算出部と、
    　を更に含む請求項１に記載のラインセンサ感度補正装置。
  3. 　前記画素値補正部は、前記補正対象連結画像の各画素の画素値をＩ（ｘ，ｙ）、但し、ｘは移動方向の画素位置、ｙはライン方向の画素位置、前記平均画素値の低周波成分をＭＬ（ｙ）、前記平均画素値の高周波成分をＭＨ（ｙ）、前記ノイズレベル関数をＮ（Ｉ）、但し、Ｉは画素値とした場合、前記補正対象連結画像の補正後の各画素の画素値Ｉ’（ｘ，ｙ）を、下記の式
    Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－｛Ｎ（Ｉ（ｘ，ｙ））／Ｎ（ＭＬ（ｙ））｝ＭＨ（ｙ）
    を用いて導出する請求項２に記載のラインセンサ感度補正装置。
  4. 　ライン画像蓄積・連結部が、ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、
    　感度特性解析部が、前記ライン画像蓄積・連結部により作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、
    　画素値補正部が、前記感度特性解析部により算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正する、
    　ラインセンサ感度補正方法。
  5. 　ライン状に複数の画素が配列されたライン画像撮影部を相対的に移動させながら、同一の撮影条件で連続的に撮影された複数のライン画像を蓄積し、蓄積した複数のライン画像を前記ライン画像撮影部の相対的な移動方向に連結した複数の連結画像を作成し、
    　作成された複数の連結画像の各々の画素値に基づいて、前記ライン画像撮影部の各画素に対応する、ライン画像毎の画素値の平均値の分布である平均画素値を算出し、算出した平均画素値から得られる前記平均画素値の低周波成分及び高周波成分、並びに、画素値と画素値のばらつきの大きさとの関係を示すノイズレベル関数を含む補正用感度特性データを算出し、
    　算出された補正用感度特性データを用いて、補正対象とする連結画像である補正対象連結画像の各画素の画素値を補正することを、コンピュータに実行させるためのラインセンサ感度補正プログラム。
PCT/JP2019/019864 2019-05-20 2019-05-20 ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム WO2020234954A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019864 WO2020234954A1 (ja) 2019-05-20 2019-05-20 ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019864 WO2020234954A1 (ja) 2019-05-20 2019-05-20 ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム

Publications (1)

Publication Number Publication Date
WO2020234954A1 true WO2020234954A1 (ja) 2020-11-26

Family

ID=73459060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019864 WO2020234954A1 (ja) 2019-05-20 2019-05-20 ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム

Country Status (1)

Country Link
WO (1) WO2020234954A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150954A (ja) * 2001-11-14 2003-05-23 Fuji Photo Film Co Ltd 周期的パターン抑制処理方法および装置
JP2009034413A (ja) * 2007-08-03 2009-02-19 Toshiba Corp 放射線画像処理装置
JP2009100302A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
JP2009285329A (ja) * 2008-05-30 2009-12-10 Fujifilm Corp 画像処理装置および方法ならびにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150954A (ja) * 2001-11-14 2003-05-23 Fuji Photo Film Co Ltd 周期的パターン抑制処理方法および装置
JP2009034413A (ja) * 2007-08-03 2009-02-19 Toshiba Corp 放射線画像処理装置
JP2009100302A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
JP2009285329A (ja) * 2008-05-30 2009-12-10 Fujifilm Corp 画像処理装置および方法ならびにプログラム

Similar Documents

Publication Publication Date Title
US8538726B2 (en) Three dimensional shape measurement apparatus, three dimensional shape measurement method, and computer program
JP4782899B2 (ja) 視差検出装置、測距装置及び視差検出方法
KR101053506B1 (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
JP2012023532A5 (ja)
US10839479B2 (en) Imaging apparatus, image processing apparatus, image processing method, and medium
JP2010032260A (ja) 光学系歪補正方法および光学系歪補正装置
JP2004222231A (ja) 画像処理装置および画像処理プログラム
JP5595211B2 (ja) 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2008205829A (ja) ノイズ特性測定装置及びノイズ特性測定方法
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
JP6272112B2 (ja) 距離検出装置、撮像装置、距離検出方法及び視差量検出装置
WO2020234954A1 (ja) ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム
JP4885471B2 (ja) プリフォームロッドの屈折率分布測定方法
US10721395B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
JP5352997B2 (ja) 三次元形状計測装置、三次元形状計測方法およびプログラム
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP2898124B2 (ja) スペックル画像変位測定装置
US10326951B2 (en) Image processing apparatus, image processing method, image capturing apparatus and image processing program
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2010177832A (ja) 画像処理装置及び画像処理方法
US9727956B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US20170024866A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for correcting deterioration of image
JP2009222611A (ja) 検査装置及び検査方法
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930087

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930087

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP