WO2013128693A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013128693A1
WO2013128693A1 PCT/JP2012/073564 JP2012073564W WO2013128693A1 WO 2013128693 A1 WO2013128693 A1 WO 2013128693A1 JP 2012073564 W JP2012073564 W JP 2012073564W WO 2013128693 A1 WO2013128693 A1 WO 2013128693A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation
signal
luminance
unit
interpolation unit
Prior art date
Application number
PCT/JP2012/073564
Other languages
English (en)
French (fr)
Inventor
雄一 野中
健 木佐貫
Original Assignee
日立コンシューマエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立コンシューマエレクトロニクス株式会社 filed Critical 日立コンシューマエレクトロニクス株式会社
Priority to US14/373,454 priority Critical patent/US9154757B2/en
Priority to CN201280067717.7A priority patent/CN104106261B/zh
Publication of WO2013128693A1 publication Critical patent/WO2013128693A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an imaging apparatus.
  • a video signal processing circuit is a video signal processing circuit in which image distortion occurs due to optical distortion in image processing on a video signal input from an image sensor, and is a RAW image before YC processing. According to this configuration, distortion correction processing is performed on RAW image data which is so-called raw data before being converted into YC image data. Therefore, it is possible to reduce the memory size of the memory for storing the data (RAW image data) immediately before the distortion correction process ”. (See summary)
  • the present invention solves the above problems and provides an imaging apparatus capable of image processing with a small circuit scale and little resolution degradation.
  • An image pickup apparatus for picking up an image of an object, the same color interpolation for generating an interpolation signal after correcting distortion of a lens by using an image pickup element having a plurality of color filters and the same color pixel among image signals from the image pickup element
  • a luminance signal generation unit that generates a luminance signal from the image signal from the imaging device, and a first luminance interpolation that generates an interpolation signal after correcting the distortion of the lens using the luminance signal generated by the luminance signal generation unit
  • the lens distortion characteristic table data part Based on the information from the lens distortion characteristic table data section, the lens distortion characteristic table data part that stores the information of the coordinates after correction of the lens distortion characteristic in the memory, and the lens distortion characteristic table data part.
  • a coordinate / interpolation coefficient setting unit that generates interpolation coefficients for correction separately for each of the same color interpolation unit, the first luminance interpolation unit, and the second luminance interpolation unit, and the first luminance interpolation unit.
  • Interpolated signal and the second luminance An imaging apparatus characterized by the ratio of the generated interpolation signals between unit having a correction unit for outputting an interpolation signal for correcting the signal from the same color interpolation section.
  • An image pickup apparatus for picking up an image of an object, and the same color interpolation for generating an interpolation signal after correcting distortion of a lens using an image pickup element having a plurality of color filters and the same color pixel among image signals from the image pickup element
  • a luminance signal generation unit that generates a luminance signal from the image signal from the imaging device, and a first luminance interpolation that generates an interpolation signal after correcting the distortion of the lens using the luminance signal generated by the luminance signal generation unit
  • a second luminance interpolation unit a lens distortion characteristic function calculation unit that calculates coordinates after lens distortion characteristic correction for each pixel based on a preset lens distortion characteristic function, and a lens distortion characteristic function calculation unit Based on the information, a coordinate / interpolation coefficient setting unit that individually sets an interpolation coefficient for correcting lens distortion for each of the same color interpolation unit, the first luminance interpolation unit, and the second luminance interpolation unit, The interpolation signal generated by the first luminance interpolation unit
  • the imaging apparatus uses the luminance signal having a correlation with the frequency component of the RAW signal, and sets the corrected RAW signal having a higher frequency component than the interpolation signal generated from the same color pixel to a desired correction position.
  • the RAW data By generating the RAW data, it is possible to perform the RAW data interpolation while suppressing the deterioration of the resolution, and at the same time, it is possible to reduce the circuit scale.
  • the imaging apparatus has functions such as scaling (enlargement / reduction), lens distortion correction, rotation / viewpoint conversion, and pixel addition distortion correction by appropriately setting the correction position of the corrected RAW signal. is there.
  • an imaging apparatus capable of image processing with a small circuit scale and little deterioration in resolution.
  • FIG. 1 shows the 1st structural example of an imaging device.
  • (a) is an operation explanatory diagram (1) of the luminance signal generation unit
  • (b) is an operation explanatory diagram (2) of the luminance signal generation unit.
  • (a) is a supplementary diagram (1) for explaining the interpolation coefficient pattern 1 ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5)
  • (b) is a supplementary diagram for explaining the interpolation coefficient pattern 1 ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5) (2).
  • C) is a supplementary diagram (3) for explaining the interpolation coefficient pattern 1 ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5)
  • (d) is a description of the interpolation coefficient pattern 1 ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5). It is a supplementary figure (4).
  • the image pickup apparatus performs A / D conversion on a color image pickup device 100 having a plurality of color filters and an electric signal output from the image pickup device, and outputs a digital signal.
  • Circuit 107 luminance signal generation unit 101 that generates a luminance signal from the RAW signal output from the A / D conversion circuit, and a first luminance interpolation unit that generates and outputs an interpolation signal using the generated luminance signal, respectively.
  • the light incident from the subject via the imaging lens is irradiated to the image sensor 100, and a subject image is formed.
  • the image sensor 100 is scanned horizontally and vertically by a drive pulse from a timing generator, picks up an object image, and generates an electric signal.
  • This electric signal is converted into a digital signal by the A / D conversion circuit 107 and input to the signal processing circuit as a RAW signal.
  • the signal processing circuit performs various camera signal processing such as noise removal and gamma correction, and converts the signal into a signal such as a TV signal and outputs it.
  • One feature of the present embodiment occurs when scaling (enlargement / reduction), lens distortion correction, rotation / viewpoint conversion, and pixel addition within the image sensor between the A / D conversion circuit and signal processing described above.
  • the correction is performed by shifting the center of gravity of each pixel, such as correction of distortion, and an output RAW signal with little deterioration in resolution is realized at a low cost without changing the color filter array order of the RAW signal. .
  • the operation of the luminance signal generation unit 101 will be described with reference to FIG.
  • the RAW signal output from the A / D conversion circuit is sequentially input to the luminance signal generation unit 101 and the same color interpolation unit 104 for each pixel.
  • the image sensor is a color single-plate image sensor, for example, pixels corresponding to four color filters of A, B, C, and D are arranged in 2 ⁇ 2 pairs as shown in FIG. .
  • the luminance signal generation unit 101 generates a luminance signal corresponding to the sampling position of each pixel of the RAW signal by performing interpolation by filter processing.
  • Y33 (A33 + (B32 + B34) / 2 + (C23 + C43) / 2 + (D22 + D24 + D42 + D44) / 4) / 4
  • the luminance (Y) signal can be generated by processing in the same manner for the pixels at other positions.
  • the luminance signal generated by the luminance signal generation unit 101 is input to the first luminance interpolation unit 102 and the second luminance interpolation unit 103, respectively.
  • the same-color interpolation unit 104 generates an interpolation signal by interpolating the pixel signal whose center of gravity is shifted by using the neighboring same-color pixel signal, and outputs the interpolation signal to the correction unit 105.
  • the first luminance interpolation unit 102 generates an interpolation signal by interpolating the pixel signal with the center of gravity shifted by filtering using the luminance signal at the same sampling position as the pixel position used for filtering in the same color interpolation unit 104. , Output to the correction unit 105.
  • the pixel signal whose center of gravity is shifted is partially or completely different from the luminance signal used when the first luminance interpolation unit generates the interpolation signal (for example, the neighborhood having the highest correlation).
  • An interpolation signal is generated by interpolation using filtering using a luminance signal, and is output to the correction unit 105.
  • the signals interpolated by the first luminance interpolation unit 102, the second luminance interpolation unit 103, and the same color interpolation unit 104 are respectively calculated by the correction unit 105, and a desired value is obtained for each pixel of the input RAW signal.
  • a corrected RAW signal is output by shifting the position of the center of gravity to the position.
  • the correction unit 105 uses the ratio of the interpolation signal generated by the first luminance interpolation unit 102 and the interpolation signal generated by the second luminance interpolation unit 103 to correct and output the signal from the same color interpolation unit 104. To do.
  • FIGS. 3 to 7 show examples when one pixel of a certain A color is generated by interpolation.
  • FIG. 3 shows a case where an A color interpolation signal corresponding to the center of gravity of the star mark between A33, A44, A53, and A55 is generated, and the center of gravity is determined by A33 among A33, A44, A53, and A55. This is an example of the closest case. This is defined as interpolation coefficient pattern 1 ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5).
  • the pattern is divided into four patterns according to the position of the interpolation pixel to be generated.
  • the coefficient ⁇ represents the ratio of the position in the horizontal direction
  • the coefficient ⁇ represents the ratio of the position in the vertical direction
  • the same color interpolation unit 104 uses the interpolation coefficients ⁇ and ⁇ set by the interpolation coefficient setting unit 106 to generate an interpolation signal (AL) using A33, A35, A53, and A55.
  • AL A33 * (1- ⁇ ) * (1- ⁇ ) + A35 * ⁇ * (1- ⁇ ) + A53 * (1- ⁇ ) * ⁇ + A55 * ⁇ * ⁇ Asking.
  • the first luminance interpolation unit 102 uses the interpolation coefficients ⁇ and ⁇ set by the interpolation coefficient setting unit 106 to generate an interpolation signal (YL) using Y33, Y35, Y53, and Y55.
  • YL Y33 * (1- ⁇ ) * (1- ⁇ ) + Y35 * ⁇ * (1- ⁇ ) + Y53 * (1- ⁇ ) * ⁇ + Y55 * ⁇ * ⁇ Asking.
  • the second luminance interpolation unit 103 calculates Y33, Y34, Y43, and Y44 according to the interpolation coefficients ⁇ and ⁇ ( ⁇ ⁇ 0.5, ⁇ ⁇ 0.5) set by the interpolation coefficient setting unit 106.
  • Use interpolation signal (YH) (Equation 4)
  • YH Y33 * (1-2 ⁇ ) * (1-2 ⁇ ) + Y34 * 2 ⁇ * (1-2 ⁇ ) + Y43 * (1-2 ⁇ ) * 2 ⁇ + Y44 * 2 ⁇ * 2 ⁇ Asking. Since the second luminance interpolation unit 103 uses different luminance signals from the first luminance interpolation unit 102, ⁇ and ⁇ in the first luminance interpolation unit 102 are 2 ⁇ and 2 ⁇ , respectively. It will be considerable.
  • the AL calculated by the same color interpolation unit 104 is a narrow-band image signal (has a low high-frequency gain) because the pixels used for the interpolation are separated.
  • the YL calculated by the first luminance interpolation unit 102 has the same filter characteristics as the AL calculated by the same color interpolation unit 104, and similarly becomes a narrowband luminance signal.
  • YH calculated by the second luminance interpolation unit 103 is a wideband luminance signal (high-frequency gain is not higher than YL) because the distance between pixels used for interpolation is short.
  • the second luminance interpolation unit 103 uses a different luminance signal than the first luminance interpolation unit 102, ⁇ , (1 ⁇ ), and ⁇ in the first luminance interpolation unit 102 are the second luminance interpolation unit 103. Then, they are equivalent to (2 ⁇ -1), (2- ⁇ ), and 2 ⁇ , respectively.
  • the second luminance interpolation unit 103 uses a different luminance signal from the first luminance interpolation unit 102, ⁇ , ⁇ , and (1- ⁇ ) in the first luminance interpolation unit 102 are the second luminance interpolation unit 103. Then, they correspond to 2 ⁇ , (2 ⁇ -1), and (2- ⁇ ), respectively.
  • the second luminance interpolation unit 103 uses a different luminance signal than the first luminance interpolation unit 102, ⁇ , (1- ⁇ ), ⁇ , (1- ⁇ ) in the first luminance interpolation unit 102 are
  • the second luminance interpolation unit 103 corresponds to (2 ⁇ -1), (2- ⁇ ), (2 ⁇ -1), and (2- ⁇ ), respectively.
  • the second luminance interpolation unit 103 needs to change the coefficient in accordance with the position of the center of gravity of the interpolation pixel to be generated.
  • a supplemental description will be given of the coefficient switching method of the second luminance interpolation unit 103 with reference to FIG.
  • the second luminance interpolation unit 103 divides the processing into four patterns according to the interpolation coefficients ⁇ and ⁇ set from the interpolation coefficient setting unit 106.
  • the second luminance interpolation unit 103 generates an interpolation signal (YH) by dividing the four processes according to the interpolation coefficients ⁇ and ⁇ set by the interpolation coefficient setting unit 106.
  • a signal in which the center of gravity of the RAW signal is shifted can be generated by interpolation while suppressing deterioration in resolution. Furthermore, since a RAW signal generally has a smaller bit width than an RGB signal or a YUV signal, an interpolation signal can be generated with a small circuit scale.
  • the second luminance interpolation unit 103 determines four patterns and separates the processing according to the pattern.
  • the interpolation coefficient setting unit 106 determines four patterns
  • Pattern information may be supplied to the second luminance interpolation unit 103, and the second luminance interpolation unit 103 may perform processing separation based on the pattern information.
  • FIG. 8 A second embodiment of the imaging apparatus will be described with reference to FIGS.
  • the description of the configuration that performs the same operation as in FIG. 1 will be omitted as appropriate, and the different configuration will be mainly described.
  • the second embodiment is different from the first embodiment in that the interpolation coefficient setting unit 106 according to the first embodiment inputs a magnification and a start position instructed from a control microcomputer (not shown), and a timing generator (not shown).
  • the horizontal (H) / vertical (V) coordinate information synchronized with the RAW signal given from the input is input, the coordinates after scaling (enlargement / reduction) for each pixel are calculated from these input information, and sequentially for each pixel.
  • the scaling calculation unit 207 to be output to the coordinate / interpolation coefficient setting unit 206, the coordinate information from the scaling calculation unit 207, and the interpolation coefficients ⁇ and ⁇ calculated from the coordinate information are respectively converted into the first luminance interpolation unit 202 and the second
  • the luminance interpolation unit 203 and the coordinate / interpolation coefficient setting unit 206 output to the same color interpolation unit 204 are configured.
  • the same color four pixels surrounding the position of the coordinate information from the scaling calculation unit 207 are selected, and the position of the same color four pixels is described above.
  • the same interpolation process as in FIG. 1 is performed.
  • 6 * 6 pixels horizontally and vertically are arranged within the same area and 4 * 4 pixels are allocated, and the ratio of the start point and ⁇ , ⁇ is assigned in order to be the center of gravity of each 4 * 4 pixel, and the interpolation described above Correction of A11 ', B12', A13 ', B14', C21 ', D22', C23 ', D24', A31 ', B32', A33 ', B34', C41 ', D42', C43 ', D44' A later RAW signal is generated. Thereafter, the corrected RAW signal is processed at the same speed as that of the original RAW signal, so that the desired reduction processing is 2/3 times.
  • FIG. 11 is an example of a scaling operation for B34 ′ and D46 ′ at the time of enlargement in FIG.
  • the first luminance interpolation unit 202, the second luminance interpolation unit 203, and the same color interpolation unit 204 select B12, B14, B32, and B34 of four pixels of the same color surrounding the coordinates.
  • FIG. 12 shows an example of the scaling operation for A33 ′ and D44 ′ at the time of reduction in FIG.
  • the first luminance interpolation unit 202, the second luminance interpolation unit 203, and the same color interpolation unit 204 select A33, A35, A53, and A55 of the same four pixels surrounding the coordinates.
  • coordinates (5.25, 5.25)
  • four pixels of the same color are D44, D46, D64, and D66.
  • the imaging apparatus can generate a scaled (enlarged / reduced) RAW signal while suppressing degradation in resolution. Furthermore, since a RAW signal generally has a smaller bit width than an RGB signal or a YUV signal, it is possible to provide an imaging apparatus having a scaling function with a small circuit scale.
  • FIGS. 13 and 14 Another modification of the imaging device will be described with reference to FIGS. In FIGS. 13 and 14, the description of the configuration that performs the same operation as in FIGS. 1 and 8 will be omitted as appropriate, and different configurations will be mainly described.
  • FIG. 13 is a diagram illustrating a third configuration example of the imaging apparatus, which includes a lens distortion correction function.
  • the lens distortion correction function in the present embodiment as a difference from the first embodiment, in the interpolation coefficient setting unit of the first embodiment, the shift amount of the coordinates of each pixel according to the lens distortion characteristics is used as table data.
  • the corrected coordinates are calculated and calculated from the lens distortion characteristic table data unit 307 to be output to the coordinate / interpolation coefficient setting unit 206 sequentially for each pixel, the coordinate information from the lens distortion characteristic table data unit 307, and the coordinate information.
  • Interpolating coefficients ⁇ and ⁇ are output to the first luminance interpolating section 202, the second luminance interpolating section 203, and the same color interpolating section 204, respectively. And it has composition which has.
  • FIG. 14 is a diagram showing a fourth configuration example as a modification of the imaging apparatus having a lens distortion correction function.
  • the difference from the first embodiment is that the interpolation coefficient setting unit in the first embodiment is synchronized with the position of the RAW data provided from a timing generator (not shown) or the like ( H) / vertical (V) coordinate information is input, for example, the amount of distortion is calculated according to the distance from the lens center to the current coordinates using a calculation formula according to the lens characteristics, and the center position of the image sensor
  • a lens distortion characteristic function calculation unit that calculates the coordinates after lens distortion correction by correcting the distortion amount in the direction from the current pixel to the current pixel, and sequentially outputs to the coordinate / interpolation coefficient setting unit 206 for each pixel 407, coordinate information from the lens distortion characteristic function calculation unit 407, and interpolation coefficients ⁇ and ⁇ calculated from the coordinate information are output to the first luminance interpolation unit 202, the second luminance interpolation
  • FIG. 15 is a diagram supplementing the explanation of the distortion correction function.
  • 15A is a diagram before distortion correction
  • FIG. 15B is a diagram after distortion correction.
  • the dotted line indicates the distortion characteristics of the lens
  • the point indicates the position of the center of gravity of the pixel
  • the arrow corrects the lens distortion.
  • the vector in which the center of gravity of the pixel has moved before and after correction is shown.
  • this vector is stored as table data in the lens distortion characteristic table data unit 307, and the coordinate / interpolation coefficient setting unit 206 uses the lens distortion characteristic table data to determine the lens.
  • Interpolation coefficients for correcting distortion are individually generated and output to each of the first luminance interpolation unit 202, the second luminance interpolation unit 203, and the same color interpolation unit 204.
  • the lens distortion characteristic function calculation unit 407 has a vector size determined in advance as a function corresponding to the distance from the center of the imaging element.
  • Reference numeral 407 calculates coordinates after lens distortion characteristic correction for each pixel based on a preset lens distortion characteristic function, and the coordinate / interpolation coefficient setting unit 206 is based on information from the lens distortion characteristic function calculation unit 407.
  • the interpolation coefficients for correcting the lens distortion are individually set and output for each of the first luminance interpolation unit 202, the second luminance interpolation unit 203, and the same color interpolation unit 204.
  • each interpolation unit performs the same processing as in the first embodiment based on the coordinates after lens distortion correction, and performs RAW data interpolation.
  • the distortion correction function can be realized by performing interpolation of RAW data while obtaining the effects of the first embodiment.
  • the present invention is not limited to this, and the present embodiment can be similarly applied to a case of pincushion distortion, for example. Similar effects can be obtained.
  • the present invention can be applied even if the number of table data is reduced and the portion where the number is reduced is compensated by calculation, and the same effect as in the present embodiment can be obtained.
  • the distortion function corresponding to each color in the RAW signal is individually held, and the interpolation signal is generated individually for each color signal. While obtaining the effects of the first embodiment, not only distortion but also lateral chromatic aberration can be corrected among lens distortions.
  • a periodic color filter arrangement of 2 * 2 pixels horizontally and vertically has been described as an example, but the present invention is not limited to a 2 * 2 array, and an image sensor having a 2 * 4 array is used. Even in such a case, the present invention can be similarly applied to an image pickup device having a special arrangement such as a honeycomb structure or in the case of other color filter arrangements.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • luminance signal generation unit 102 first luminance interpolation unit 103 second luminance interpolation unit 104 same color interpolation unit 105 correction unit 106 interpolation coefficient setting unit 206 coordinate / interpolation coefficient setting unit 207 scaling calculation unit 307 lens distortion characteristic table data unit 407 lens distortion Characteristic function calculator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

少ない回路規模で解像度の劣化の無いレンズ歪補正機能を有する撮像装置を提供する。 該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度信号生成部および第2輝度信号生成部と、レンズ歪特性補正後の座標の情報をメモリに保持しておくレンズ歪特性テーブルデータ部と、該レンズ歪特性テーブルデータ部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に生成する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正することでレンズ歪補正後の補間信号を出力する補正部と、で構成することにより、レンズ歪補正機能を有する撮像装置を提供する。

Description

撮像装置
　本発明は、撮像装置に関する。
　本技術分野の背景技術として、特許文献１がある。該公報には、「本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、ＹＣ処理前のＲＡＷ画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。この構成によれば、ＹＣ画像データに変換される前のいわゆる生のデータであるＲＡＷ画像データに対して歪補正処理を行うので、歪補正処理直前のデータ（ＲＡＷ画像データ）を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。」と記載されている。（要約参照）
特開２００８－３０１３９５号公報
　上記のようなシステムにおいては少ない回路規模で解像度の劣化の無い画像処理ができることが好ましい。前記特許文献１では、ＲＧＢやＹＵＶの信号を用いた歪補正に比べて回路規模を減らすことはできるが、ＲＡＷ信号の位置を所望の位置に移動したＲＡＷ信号を生成する構成ではなかった。また、一般的なカラー撮像素子では、色フィルタは水平垂直に2*2画素で規則的に配置されており、ＲＡＷデータを補間する場合には、画素間隔の開いた同色の画素を使用するために解像度が劣化するという問題があった。
　そこで、本発明は、上記課題を解決し、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供するものである。
　本願において開示された発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、レンズ歪特性補正後の座標の情報をメモリに保持しておくレンズ歪特性テーブルデータ部と、該レンズ歪特性テーブルデータ部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に生成する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、を有することを特徴とする撮像装置である。
（２）被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、予め設定されたレンズ歪特性関数を基に画素毎にレンズ歪特性補正後の座標を演算するレンズ歪特性関数演算部と、該レンズ歪特性関数演算部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、を有することを特徴とする撮像装置である。
　このように、本願に係る撮像装置は、ＲＡＷ信号の周波数成分と相関のある輝度信号を用いて、同色画素から生成する補間信号よりも、周波数成分の高い補正後ＲＡＷ信号を所望の補正位置に生成することで、解像度の劣化を抑制したＲＡＷデータ補間を可能とし、合わせて回路規模を減らすことを実現したものである。
　また、本願に係る撮像装置は、補正後ＲＡＷ信号の補正位置を適宜設定することで、スケーリング（拡大・縮小）、レンズ歪補正、回転・視点変換、画素加算歪補正などの機能を備えるものである。
　本発明によれば、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供することができる。
撮像装置の第一の構成例を示す図である。 (a)は輝度信号生成部の動作説明図(1)であり、(b)は輝度信号生成部の動作説明図(2)である。 (a)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(1)であり、(b)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(4)である。 (a)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(1)であり、 (b)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(4)である。 (a)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(1)であり、 (b)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(4)である。 (a)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(1)であり、(b)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(4)である。 第２輝度補間部の説明補足図である。 撮像装置の第二の構成例を示す図である。 拡大時の説明補足図である。 縮小時の説明補足図である。 拡大時のスケーリング演算例である。 縮小時のスケーリング演算例である。 撮像装置の第三の構成例を示す図である。 撮像装置の第四の構成例を示す図である。 (a)は歪補正機能の説明補足図(1)であり、(b)は歪補正機能の説明補足図(2)である。
　以下、本発明の実施形態について図面を用いて説明する。
　本実施形態では、撮像装置の一例であるカメラの例を用いて説明する。
  本実施形態に係る撮像装置は、図１に示す通り、複数の色フィルタを有するカラー撮像素子１００と、撮像素子から出力された電気信号をＡ／Ｄ変換してデジタル信号を出力Ａ／Ｄ変換回路１０７と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号から輝度信号を生成する輝度信号生成部１０１と、生成された輝度信号を用いてそれぞれ補間信号を生成して出力する第１輝度補間部１０２及び第２輝度信号補間部１０３と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号のうち同色画素の信号を用いて補間信号を生成する同色補完部１０４と、それぞれの補間信号を用いて演算により補正ＲＡＷ信号を生成して出力する補正部１０５と、を適宜用いて構成される。以下、各構成の動作について詳細に説明する。
　撮像レンズを介して被写体から入射された光は撮像素子１００に照射され、被写体像が結像される。撮像素子１００はタイミングジェネレータによる駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０７でデジタル信号に変換され、ＲＡＷ信号として信号処理回路に入力される。信号処理回路ではＹＵＶ生成処理の他、ノイズ除去やガンマ補正などの各種カメラ信号処理を施し、ＴＶ信号などの信号に変換後出力する。
　本実施形態における一の特徴は、上記したＡ／Ｄ変換回路と信号処理の間で、スケーリング（拡大・縮小）やレンズ歪補正、回転・視点変換、撮像素子内で画素加算された場合に発生する歪の補正などの、各画素の重心をずらす補正を行う点にあり、ＲＡＷ信号の色フィルタ配列順番を変えることなく、且つ解像度劣化の少ない出力ＲＡＷ信号を、少ないコストで実現するものである。
　輝度信号生成部１０１の動作について、図２を用いて説明する。
  Ａ／Ｄ変換回路から出力されたＲＡＷ信号は、画素ごとに順次、輝度信号生成部１０１と同色補間部１０４にそれぞれ入力する。撮像素子はカラー単板撮像素子であれば、たとえばＡ色、Ｂ色、Ｃ色、Ｄ色の4色の色フィルタに対応する画素が２ｘ２のペアで図２(a)のように配列される。撮像素子が原色ベイヤ配列であれば、例えばA＝R、B=C=G、D=Bと表せば良い。輝度信号生成部１０１は、ＲＡＷ信号の各画素のサンプリング位置に対応する輝度信号を、フィルタ処理による補間を行うことで生成する。例えば、Y33の場合には、（数１）Y33=(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4
の演算で生成し、他の位置の画素についても同様に処理することで輝度（Ｙ）信号を生成できる。
　輝度信号生成部１０１で生成された輝度信号は、第１輝度補間部１０２と第２輝度補間部１０３にそれぞれ入力される。
　同色補間部１０４は、重心をずらした画素信号を、近隣の同色画素信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。
　第１輝度補間部１０２では、重心をずらした画素信号を、上記同色補間部１０４でフィルタリングに用いた画素の位置と同じサンプリング位置の輝度信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。
　第２輝度補間部１０３では、重心をずらした画素信号を、第１輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号（例えば相関性の最も高い近隣輝度信号）を用いフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。
　第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４で補間された信号は、それぞれ補正部１０５で演算を施し、入力されたＲＡＷ信号の各画素に対して、所望の位置に重心の位置をずらした補正後のＲＡＷ信号を出力する。ここで、補正部１０５では、第１輝度補間部１０２で生成した補間信号と第２輝度補間部１０３で生成した補間信号との比を用いて、同色補間部１０４からの信号を補正して出力する。
　上記、第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４と、補正部１０５の動作に付き、図３から図７を用いて詳細を説明する。各図３から図７は、あるＡ色の1画素を補間生成する際の例を示している。
  図３は、Ａ３３とＡ４４とＡ５３とＡ５５の間にある★印の重心位置に対応したＡ色の補間信号を生成する場合であり、その重心位置はＡ３３とＡ４４とＡ５３とＡ５５のうちＡ３３が最も近い場合の例である。これを補間係数パターン1（α＜0.5、β＜0.5）と定義する。
　図４から図６についても同様に、Ａ３３とＡ４４とＡ５３とＡ５５のうち最も近い画素の違いに応じてパターン２（α＞＝0.5、β＜0.5）、３（α＜0.5、β＞＝0.5）、４（α＞＝0.5、β＞＝0.5）と定義する。以上のように、生成する補間画素の位置に応じて４つのパターンに分かれる。
　同色４画素の位置と、補正により生成するＲＡＷデータ（AH）の位置について、係数αは水平方向の位置の比率を表し、係数βは垂直方向の位置の比率を表している。
　まず、図３を用いて、A33のＲＡＷに対して、補間係数パターン１（α＜0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。
　同色補間部１０４は、図３(a)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（AL）を、A33,A35,A53,A55を用いて、
（数２）AL= A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β
の、ように求める。
　第１輝度補間部１０２は、図３(b)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（YL）を、Y33,Y35,Y53,Y55を用いて、
（数３）YL= Y33*(1-α)*(1-β) +Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β
の、ように求める。
　第２輝度補間部１０３は、図３(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＜0.5）によって、Y33,Y34,Y43,Y44を用いて補間信号（YH）を、
（数４）YH= Y33*(1-2α)*(1-2β)+Y34*2α*（1-2β）+Y43*(1-2α)*2β+Y44*2α*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、βが、第２輝度補間部１０３では、それぞれ2α、2β相当となる。
　ここで、同色補間部１０４にて算出したALは、補間に使用する画素の距離が離れているために、狭帯域の（高周波の利得が低いボケた）画像信号となる。第1輝度補間部１０２にて算出したYLは、同色補間部１０４にて算出したALと同じフィルタ特性となり、同様に狭帯域の輝度信号となる。一方で、第2輝度補間部１０３にて算出したYHは、補間に使用する画素の距離が近いため広帯域の（高周波の利得がYLに比べて高くボケていない）輝度信号となる。輝度信号は、各A、B、C、Dの色信号に対して一定の相関性を持つため、
（数５）AH（広帯域）：AL（狭帯域）≒　YH（広帯域）：YL（狭帯域）
が成り立つ。そこで補正部１０５は図３(d)に示すとおり、上記（数５）を変形し、
（数６）AH=AL*YH/YL
として、高周波の利得が高くボケていないA色の補間信号AHを求める。
　次に、図４を用いてA33のＲＡＷに対して、補間係数パターン２（α＞＝0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。ここでは、同色補間部１０４、第１輝度補間部１０２、補正部１０５は、図３と同じ動作をするため説明を省略し、第２輝度補間部１０３の動作について説明する。
　第２輝度補間部１０３は、図４(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＜0.5）によって、Y34,Y35,Y44,Y45を用いて補間信号（YH）を、
（数７）YH= Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、βが、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、2β相当となる。
　次に、図５を用いてA33のＲＡＷに対して、補間係数パターン３（α＜0.5、β＞＝0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。
　第２輝度補間部１０３は、図５(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数８）YH= Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、β、(1-β)が、第２輝度補間部１０３では、それぞれ2α、(2β-1)、(2-β)相当となる。
　次に、図６を用いてA33のＲＡＷに対して、補間係数パターン４（α＞＝0.5、β＞＝0. 5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。
　第２輝度補間部１０３は、図６(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数９）YH=Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*( 2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、β、(1-β)が、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、(2β-1)、(2-β)相当となる。
　上記のように、第２輝度補間部１０３では、生成する補間画素の重心位置に応じて係数を変化させる必要がある。第２輝度補間部１０３の係数の切り替え方法について図７を用いて補足説明する。
　第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβによって４つのパターンの処理に切り分ける。
　ＳＴＥＰ１で補間係数設定部１０６から設定された補間係数αがα＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ２へ、偽の場合にはＳＴＥＰ３へと分岐する。ＳＴＥＰ２では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ４へ、偽の場合にはＳＴＥＰ５へと分岐する。ＳＴＥＰ４では上記した補間係数パターン１（α＜0.5、β＜0.5）の処理を施す。ＳＴＥＰ５では上記した補間係数パターン２（α＞＝0.5、β＜0.5）の処理を施す。
　ＳＴＥＰ３では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ６へ、偽の場合にはＳＴＥＰ７へと分岐する。ＳＴＥＰ６では上記した補間係数パターン３（α＜0.5、β＞＝0.5）の処理を施す。ＳＴＥＰ７では上記した補間係数パターン４（α＞＝0.5、β＞＝0.5）の処理を施す。
　以上の動作により、第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβに応じて、４つの処理を切り分けて、補間信号（YH）を生成する。
　以上の構成により、解像度の劣化を抑制しつつ、ＲＡＷ信号について重心をずらした信号を補間により生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で補間信号を生成することが可能となる。
　なお、本実施例では、第２輝度補間部１０３で４つのパターンを判定し、パターンに応じて処理を切り分けるように一例を説明したが、例えば補間係数設定部１０６で４つのパターンを判定し、第２輝度補間部１０３にパターン情報を供給し、第２輝度補間部１０３でパターン情報によって処理の切り分けをおこなっても良い。
　撮像装置の第２の実施例について、図８から図１２を用いて説明する。なお、図８において、図１と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。
　本実施例２では、実施例１の構成と異なる点として、実施例１の補間係数設定部１０６において、不図示の制御マイコン等から指示された倍率と開始位置を入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から画素毎のスケーリング（拡大・縮小）後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するスケーリング演算部２０７と、スケーリング演算部２０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。
　第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、スケーリング演算部２０７からの座標情報の位置を囲む同色４画素を選択し、該同色４画素の位置に対して上記した図１と同様の補間処理を施す。
　次に、拡大・縮小の動作の例につき、それぞれ図９と図１０を用いて説明する。
  図９は、拡大時の動作説明を補足する図で、8/6=4/3倍に左上の部分から拡大する例である。水平垂直に6*6ある画素を同一面積内に8*8の画素を配置して、8*8の各画素の重心になるようにそれぞれ順に始点と補間係数α、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である4/3倍の拡大処理となる。
　図１０は、縮小時の動作説明を補足する図で、4/6=2/3倍に左上の部分から縮小する例である。水平垂直に6*6ある画素を同一面積内に4*4の画素を配置して、4*4の各画素の重心になるようにそれぞれ順に始点とα、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、C21’、D22’、C23’、D24’、A31’、B32’、A33’、B34’、C41’、D42’、C43’、D44’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である2/3倍の縮小処理となる。
　さらに、上記図９、図１０の場合についてスケーリング演算の例を図１１と図１２を用いてそれぞれ説明する。
  図１１は、図９での拡大時のB34’、D46’に対するスケーリング演算の例である。
　B34’の重心座標は、（3.5*3/4,2.5*3/4）=（2.625,1.875）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（2.625,1. 875）と、該座標情報から求めたα=0.5625、β=0.6875を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のB12、B14、B32、B34を選択する。同様にD46’時には、座標=（4.125,2.625）、α=0.3125、β=0.5625、同色４画素は、D24、D26、D44、D46となる。
　図１２は、図１０での縮小時のA33’、D44’に対するスケーリング演算の例である。A33’の重心座標は、（2.5*3/2,2.5*3/2）=（3.75,3.75）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（3.75,3.75）と、該座標情報から求めたα=0.625、β=0.625を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のA33、A35、A53、A55を選択する。同様にD44’時には、座標=（5.25,5.25）、α=0.875、β=0.875、同色４画素は、D44、D46、D64、D66となる。
　以上の構成により、本実施形態に係る撮像装置については、解像度の劣化を抑制しつつ、スケーリング（拡大・縮小）したＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模でスケーリング機能を有する撮像装置の提供が可能となる。
　撮像装置の他の変形例について、図１３から図１５を用いて説明する。なお、図１３、図１４において、図１、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。
　図１３は、撮像装置の第三の構成例を示す図であり、レンズの歪補正機能を備えるものである。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、レンズ歪の特性に従った各画素の座標のズレ量をテーブルデータとして格納してあり、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報に対応したテーブルデータを読み出し、座標情報を加えることで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性テーブルデータ部３０７と、レンズ歪特性テーブルデータ部３０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。
　図１４は、レンズの歪補正機能を備える撮像装置の変形例として、第四の構成例を示す図である。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、例えば、レンズ中心から現在の座標までの距離に応じて歪量をレンズの特性に従った計算式を用いて演算し、撮像素子の中心位置から現在の画素までの方向に対して該歪量を補正することで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性関数演算部４０７と、レンズ歪特性関数演算部４０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。
　図１５は、歪補正機能の説明を補足する図である。図１５（a）歪補正前の図、図１５(b)は歪補正後の図であり、点線はレンズの歪特性を示し、点は画素の重心の位置を示し、矢印はレンズ歪を補正する前と補正した後で画素の重心が移動したベクトルを示している。
　撮像装置の第三の構成例においては、レンズ歪特性テーブルデータ部３０７にこのベクトルがテーブルデータとして格納してあり、座標・補間係数設定部２０６は、このレンズ歪特性テーブルデータに基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対して個別に生成して出力する。
　また、撮像装置の第四の構成例においては、レンズ歪特性関数演算部４０７にこのベクトルの大きさが撮像素子の中心からの距離に応じた関数として予め定めてあり、レンズ歪特性関数演算部４０７は予め設定されたレンズ歪特性関数をもとに画素毎にレンズ歪特性補正後の座標を演算し、座標・補間係数設定部２０６では、レンズ歪特性関数演算部４０７からの情報に基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対する個別に設定して出力する。
　いずれの撮像装置においても、各補間部において、レンズ歪補正後の座標を元に、上記実施例１と同様の処理がなされ、ＲＡＷデータの補間をおこなう。
　以上のように本実施例では、前記実施例１の効果を得たまま、ＲＡＷデータの補間を行うことによって、歪補正機能を実現できる。
　なお、本実施例では、一例として樽型歪の場合を説明したが、これに限られるものではなく、例えば糸巻き歪の場合等にも同様に本実施例を適用可能であり、本実施例と同様の効果を得られる。
　また、上記テーブルデータ方式において、テーブルデータの数を減らし、数を減らした部分を演算で補うように構成しても本発明を適用可能であり、本実施例と同様の効果を得られる。
　また、上記レンズ歪補正機能の構成例その１のテーブルデータ方式において、ＲＡＷ信号における各色に対応した歪データを個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。
　また、上記レンズ歪補正機能の構成例その２のレンズ関数方式において、ＲＡＷ信号における各色に対応した歪関数を個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。
　上記した本発明の説明においては、水平・垂直に2*2画素の周期的な色フィルタ配置を例にして説明したが、2*2の配列に限らず、2*4の配列の撮像素子であっても、ハニカム構造のような特殊な配列の撮像素子であっても、他の色フィルタ配置の場合であっても同様にして本発明を適用可能である。
　さらに、本発明の説明においてはスケーリング（拡大・縮小）、レンズ歪補正の機能について説明したが、それ以外のＲＡＷ信号に対して重心をずらす補正を行うことで実現する機能であればすべてにおいて適用可能である。
　また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１ 輝度信号生成部
１０２ 第１輝度補間部
１０３ 第２輝度補間部
１０４ 同色補間部
１０５ 補正部
１０６ 補間係数設定部
２０６ 座標・補間係数設定部
２０７ スケーリング演算部
３０７ レンズ歪特性テーブルデータ部
４０７ レンズ歪特性関数演算部

Claims (6)

  1. 被写体を撮像する撮像装置であって、
    複数の色フィルタを有する撮像素子と、
    該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、
    該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
    該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
    レンズ歪特性補正後の座標の情報をメモリに保持しておくレンズ歪特性テーブルデータ部と、
    該レンズ歪特性テーブルデータ部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に生成する座標・補間係数設定部と、
    前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、
    を有することを特徴とする撮像装置。
  2. 被写体を撮像する撮像装置であって、
    複数の色フィルタを有する撮像素子と、
    該撮像素子からの画像信号のうち同色画素を用いてレンズの歪補正後の補間信号を生成する同色補間部と、
    該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
    該輝度信号生成部で生成した輝度信号を用いてレンズの歪補正後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
    予め設定されたレンズ歪特性関数を基に画素毎にレンズ歪特性補正後の座標を演算するレンズ歪特性関数演算部と、
    該レンズ歪特性関数演算部からの情報を基に、レンズ歪を補正するための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、
    前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正する補間信号を出力する補正部と、
    を有することを特徴とする撮像装置。
  3. 請求項１に記載の撮像装置であって、
    前記第1輝度補間部は、前記同色補間部による補間信号生成の際に用いた画素の位置と同じサンプリング位置にある輝度信号を用いて補間信号を生成し、
    前記第2輝度補間部は、第1輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成することを特徴とする撮像装置。
  4. 請求項１に記載の撮像装置であって、
    前記レンズ歪特性テーブルデータ部は撮像素子からの画素信号における各色に対応した歪データを個別に保持し、
    前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成することを特徴とする撮像装置。
  5. 請求項２に記載の撮像装置であって、
    前記レンズ歪特性関数演算部は撮像素子からの画素信号における各色に対応した歪関数を個別に保持し、
    前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成することを特徴とする撮像装置。
  6. 請求項２に記載の撮像装置であって、
    前記第1輝度補間部は、前記同色補間部による補間信号生成の際に用いた画素の位置と同じサンプリング位置にある輝度信号を用いて補間信号を生成し、
    前記第2輝度補間部は、第1輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成することを特徴とする撮像装置。
PCT/JP2012/073564 2012-02-29 2012-09-14 撮像装置 WO2013128693A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/373,454 US9154757B2 (en) 2012-02-29 2012-09-14 Imaging device
CN201280067717.7A CN104106261B (zh) 2012-02-29 2012-09-14 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-042749 2012-02-29
JP2012042749A JP5789542B2 (ja) 2012-02-29 2012-02-29 撮像装置

Publications (1)

Publication Number Publication Date
WO2013128693A1 true WO2013128693A1 (ja) 2013-09-06

Family

ID=49081920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073564 WO2013128693A1 (ja) 2012-02-29 2012-09-14 撮像装置

Country Status (4)

Country Link
US (1) US9154757B2 (ja)
JP (1) JP5789542B2 (ja)
CN (1) CN104106261B (ja)
WO (1) WO2013128693A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP6168009B2 (ja) * 2014-07-31 2017-07-26 トヨタ自動車株式会社 コアシェル触媒の製造方法
DE102018106873B3 (de) * 2018-03-22 2019-07-04 Basler Ag Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157733A (ja) * 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP2009170970A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理方法、画像処理装置、システム
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置
JP2011061444A (ja) * 2009-09-09 2011-03-24 Hitachi Information & Communication Engineering Ltd 収差補正装置及び収差補正方法
JP2011252993A (ja) * 2010-06-01 2011-12-15 Seiko Epson Corp 表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
JP3902852B2 (ja) * 1997-12-25 2007-04-11 キヤノン株式会社 撮像装置、信号処理方法及びコンピュータ読み取り可能な記憶媒体
JP2006339028A (ja) 2005-06-02 2006-12-14 Sony Corp 表示装置の製造方法および表示装置
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
JP4231071B2 (ja) * 2006-09-20 2009-02-25 株式会社東芝 画像表示装置、画像表示方法および画像表示プログラム
JP2008301395A (ja) 2007-06-04 2008-12-11 Panasonic Corp 映像信号処理回路および固体撮像装置
JP5036421B2 (ja) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
GB2460241A (en) * 2008-05-20 2009-11-25 Univ Dublin City Correction of optical lateral chromatic aberration
US8284271B2 (en) * 2009-06-05 2012-10-09 Apple Inc. Chroma noise reduction for cameras
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
JP5241823B2 (ja) * 2009-07-21 2013-07-17 キヤノン株式会社 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157733A (ja) * 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP2009170970A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理方法、画像処理装置、システム
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置
JP2011061444A (ja) * 2009-09-09 2011-03-24 Hitachi Information & Communication Engineering Ltd 収差補正装置及び収差補正方法
JP2011252993A (ja) * 2010-06-01 2011-12-15 Seiko Epson Corp 表示制御装置

Also Published As

Publication number Publication date
JP2013179513A (ja) 2013-09-09
JP5789542B2 (ja) 2015-10-07
CN104106261B (zh) 2016-05-04
US20150009368A1 (en) 2015-01-08
CN104106261A (zh) 2014-10-15
US9154757B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
US9392241B2 (en) Image processing apparatus and image processing method
JP5591261B2 (ja) 画像処理装置
JP5080305B2 (ja) 画像処理方法及び装置、並びに画像撮像装置
US8854483B2 (en) Image processing device, image processing method and image processing program
JP5008578B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
WO2016009493A1 (ja) 画像処理方法及び該画像処理方法を実行する画像処理装置
JP2009218909A (ja) 画像撮像装置
JP2009218802A (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP2010157791A (ja) 画像処理装置及び車載カメラ装置
RU2557067C1 (ru) Устройство обработки изображения и способ управления для устройства обработки изображения
JP2009303139A (ja) 固体撮像装置
JP2010016716A (ja) 画像撮像装置
JP5398750B2 (ja) カメラモジュール
JP5789542B2 (ja) 撮像装置
US7710469B2 (en) Image acquisition apparatus
JP5846986B2 (ja) 撮像装置
JP5739365B2 (ja) 撮像装置
JP5767602B2 (ja) 撮像装置
JP2012104901A (ja) 撮像装置
JP5780747B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008301395A (ja) 映像信号処理回路および固体撮像装置
JP5669556B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6478482B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2001177767A (ja) 画像データ・フィルタリング装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280067717.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12870239

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14373454

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12870239

Country of ref document: EP

Kind code of ref document: A1