WO2012056684A1 - 画像信号処理装置、画像信号処理方法およびプログラム - Google Patents

画像信号処理装置、画像信号処理方法およびプログラム Download PDF

Info

Publication number
WO2012056684A1
WO2012056684A1 PCT/JP2011/005954 JP2011005954W WO2012056684A1 WO 2012056684 A1 WO2012056684 A1 WO 2012056684A1 JP 2011005954 W JP2011005954 W JP 2011005954W WO 2012056684 A1 WO2012056684 A1 WO 2012056684A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
color
luminance
address
luminance data
Prior art date
Application number
PCT/JP2011/005954
Other languages
English (en)
French (fr)
Inventor
樋爪　太郎
佐野　俊幸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/392,763 priority Critical patent/US8682069B2/en
Priority to CN201180003577.2A priority patent/CN103154999B/zh
Publication of WO2012056684A1 publication Critical patent/WO2012056684A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Definitions

  • the present invention relates to an apparatus that performs image signal processing, and more particularly, to an image signal processing apparatus that corrects distortion aberration of image data obtained from a single-chip color complementary color field color difference sequential imaging device.
  • Surveillance cameras are being used in a variety of scenes, with higher image quality / lower costs. Surveillance cameras are used indoors such as banks, convenience stores, and pachinko machines, and outdoors such as station, road, river / dam monitoring. The field of application of surveillance cameras will continue to expand.
  • a lens with a wide viewing angle causes the image to be distorted into a barrel shape.
  • the distorted image is very different from the scenery actually seen by human eyes.
  • a straight line does not appear in a straight line, or the size of an object differs between the screen center and the screen edge. For this reason, the distorted image has a great sense of incongruity and affects the degree of fatigue of the camera image observer. It is desirable to correct the distortion.
  • FIG. 12 is a block diagram of the image signal processing apparatus disclosed in the publication.
  • the image signal processing apparatus includes a coordinate conversion unit 102 that calculates a corresponding sampling coordinate on a color mosaic image corresponding to a pixel position of a color image when a deformation process is performed from a pixel position of the color image, and a color mosaic.
  • a sampling unit 104 that interpolates and generates pixel values at sampling coordinates for each of a plurality of color planes obtained by decomposing an image, and a color generation unit 106 that generates a color image by synthesizing the interpolation values of the color planes.
  • This image signal processing device obtains each pixel value of a color image subjected to deformation processing from a color mosaic image by interpolation calculation as a pixel value of sampling coordinates. Thereby, the color interpolation process for generating a color image from the color mosaic image and the deformation process for the color image can be realized by a single interpolation calculation.
  • a color filter array having a complementary color array may be used.
  • the complementary color field color difference sequential data is a processing target
  • the resolution is greatly degraded.
  • the horizontal resolution tends to deteriorate due to the horizontal interpolation before the luminance data generation.
  • interlace data is processed for each color filter plane. That is, since linear interpolation is performed for each interlaced scan data, the frequency component in the vertical direction is likely to be folded back and the image is deteriorated.
  • An object of the present invention is to provide an image processing apparatus capable of appropriately correcting a distortion of a complementary color field color difference sequential signal image.
  • One aspect of the present invention is an image signal processing apparatus, which should display based on a frame memory that stores field color difference sequential complementary color format image data and distortion information given in advance.
  • An address generation unit that generates an address indicating each position on the frame memory corresponding to the position of each pixel in the screen, and color data of a point specified by the address are included in a predetermined number of lines above and below the same line
  • a color data generating unit that interpolates and generates color data of pixels of the same color series as the color series to be generated by interpolation, and first luminance data at a point specified by an address above and below Color data generated by interpolating luminance data of pixels in the same row included in a certain number of lines and the same color sequence as the color sequence to be generated by interpolation
  • An adaptive luminance data generation unit, and a luminance base data generation unit that generates second luminance data at a point specified by an address by interpolating luminance data of pixels in the same row included in a predetermined number of lines above and below the luminance
  • the image signal processing method includes a step of storing image data in a field color difference sequential complementary format in a frame memory, and a display based on distortion information given in advance.
  • Another aspect of the present invention is a program, which is a program for correcting distortion of image data in a field chrominance sequential complementary color format, and storing image data in a frame memory in a computer; A step of generating an address indicating each position on the frame memory corresponding to the position of each pixel in the screen to be displayed based on distortion information given in advance, and color data of a point specified by the address, A step of interpolating and generating color data of pixels in the same row included in a predetermined number of lines above and below the color sequence to be generated by interpolation, and a point specified by an address
  • the color to be generated by interpolation which is the same row of pixels included in a predetermined number of lines above and below the luminance data of 1 Interpolating luminance data of pixels of the same color series as the column, second luminance data of the point specified by the address, luminance data of pixels of the same column included in a predetermined number of lines above and below it
  • FIG. 1 is a block diagram showing an image signal processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing camera signal processing having the image signal processing apparatus according to the embodiment of the present invention.
  • 3A is a diagram showing an example of a complementary color field color difference sequential data sequence
  • FIG. 3B is a diagram showing an example of an A field of interlace scanning
  • FIG. 3C is a diagram of an B field of interlace scanning. Illustration showing an example
  • FIG. 4 is a diagram showing a complementary color field color difference sequential data string and correction coordinate points.
  • FIG. 5 is a diagram showing a vertical optical center position depending on a field difference.
  • FIG. 6 is a diagram showing complementary color field color difference sequential data strings and correction coordinate points (details).
  • FIG. 7A is a diagram showing an image before correction
  • FIG. 7B is a diagram showing an ideal distortion correction image
  • FIG. 7C is an image quality deterioration due to interpolation for each color plane of interlace data.
  • Figure showing FIG. 8 is a diagram showing an outline of interpolation processing.
  • FIG. 9A is a diagram showing an example in which color data is not deteriorated when luminance data is generated
  • FIG. 9B is a diagram showing an example in which color data is deteriorated when luminance data is generated.
  • 10A shows a luminance data generation filter and an image after luminance color signal processing
  • FIG. 10B shows a luminance data generation filter and an image after luminance color signal processing
  • FIG. 10A shows a luminance data generation filter and an image after luminance color signal processing
  • FIG. 10B shows a luminance data generation filter and an image after luminance color signal processing
  • FIG. 11A shows a luminance data vertical interpolation filter and an image after luminance color signal processing
  • FIG. 11B shows a luminance data vertical interpolation filter and an image after luminance color signal processing
  • FIG. ) Is a diagram showing the luminance data vertical interpolation filter and the luminance color signal processed image
  • FIG. 11D is a diagram showing the luminance data vertical interpolation filter and the luminance color signal processed image.
  • FIG. 12 shows an example of a conventional image signal processing apparatus.
  • An image signal processing apparatus includes a frame memory for storing field color difference sequential complementary color format image data, and a frame memory corresponding to the position of each pixel in the screen to be displayed based on distortion information given in advance.
  • An address generation unit that generates an address indicating each position in the color sequence, and a color series that is to be generated by interpolation in the same row of pixels included in a predetermined number of lines above and below the color data of the point specified by the address
  • the color data generation unit that interpolates the color data of the pixels of the same color series and the first luminance data at the point specified by the address are the pixels in the same column included in a predetermined number of lines above and below it.
  • Color data corresponding luminance data generation unit that interpolates luminance data of pixels of the same color series as the color series to be generated by interpolation, and by address
  • a luminance base data generating unit that generates second luminance data of a specified point by interpolating luminance data of pixels in the same column included in a predetermined number of lines above and below the complementary luminance data of the point specified by the address
  • a complementary color data generation unit that generates data based on the color data, the first luminance data, and the second luminance data.
  • An image signal processing apparatus includes a luminance color signal generation unit that generates a luminance color signal based on the complementary color data generated by the complementary color data generation unit, and a luminance color signal generated by the luminance color signal generation unit And a correction processing unit that corrects distortion in the horizontal direction.
  • the distortion correction processing in the horizontal direction can be configured without using a frame memory.
  • the image signal processing method includes a step of storing field color difference sequential complementary color format image data in a frame memory, and a frame corresponding to the position of each pixel in the screen to be displayed based on distortion information given in advance.
  • the color data having a far spatial phase and the second brightness data having a spatial phase close to the first brightness data corresponding to the color data are generated.
  • FIG. 1 is a diagram showing an image signal processing apparatus 1 according to an embodiment of the present invention.
  • the image signal processing apparatus 1 includes a frame memory 12 that stores an image signal, a pre-processing unit 10 that performs preprocessing of the image signal stored in the frame memory 12, and a cyclic type for the image signal stored in the frame memory 12.
  • a cyclic noise suppression unit 14 that performs noise suppression, and a first distortion correction processing unit that corrects distortion in the vertical direction of the image signal stored in the frame memory 12 (hereinafter referred to as a “first correction processing unit”).
  • a luminance color signal generation unit 18 that generates a luminance color signal from the corrected image signal
  • a second distortion aberration correction processing unit (hereinafter referred to as “second”) that corrects distortion in the horizontal direction of the luminance color signal.
  • 20 a second distortion aberration correction processing unit that corrects distortion in the horizontal direction of the luminance color signal.
  • 20 a post-processing unit 22 that performs post-processing on the corrected luminance color signal.
  • the first correction processing unit 16 includes an address generation unit 24 that generates an address indicating each position on the frame memory corresponding to the position of each pixel in the screen to be displayed based on distortion information given in advance. ing. Since the vertical distortion is corrected by performing screen display based on the complementary color data of the point specified by this address, the point specified by this address is hereinafter referred to as a “correction coordinate point”.
  • the image signal processing apparatus 1 has distortion amount information.
  • the actual image height relative to the ideal image height can be given by a curve or a polygonal line.
  • a distortion aberration with a viewing angle of 90 degrees or less can be approximated relatively well with a polynomial of the order of several orders.
  • the image signal processing apparatus 1 has distortion amount information in the form of a polynomial, for example.
  • FIG. 4 is a diagram showing correction coordinate points.
  • the right side of FIG. 4 is an overall view of the image.
  • a distorted horizontal line indicates that a straight line in the real space is distorted.
  • correction is made so that the distorted horizontal line becomes a straight line.
  • the address generation unit 24 identifies the distorted horizontal line based on the amount of distortion.
  • a distorted horizontal line can be represented.
  • a coefficient for adjusting the distortion aberration correction amount may be provided for a coefficient of a polynomial representing the number of pixels from the optical center of the image and the distortion amount.
  • the first correction processing unit 16 can correct distortion by reading the complementary color data on the horizontal line and displaying the read data on the same line.
  • FIG. 4 The left side of FIG. 4 is an enlarged view of the upper left area in the entire right image.
  • correction coordinate points P1 to P6 are generated at positions where the distorted line and the pixel column intersect.
  • the first correction processing unit 16 reads the complementary color data of the correction coordinate point.
  • the correction coordinate points P1 to P6 do not necessarily coincide with the pixel positions on the frame memory 12
  • the correction coordinate points that do not coincide with the pixel positions on the frame memory 12 It is necessary to generate complementary color data of the correction coordinate point by interpolating the above data.
  • the first correction processing unit 16 has a color data selection unit 26, a color data generation unit 28, a luminance data generation unit 30, and a color data corresponding luminance data selection unit 32 as a configuration for performing a process of interpolating pixel values.
  • the complementary color data generation unit 38 includes the color data generated by the color data generation unit 28, the color data corresponding luminance data generated by the color data corresponding luminance data generation unit 34, and the luminance base data. Based on the luminance base data generated by the generation unit 36, complementary color data in which the distortion in the vertical direction is corrected is generated.
  • each configuration of the first correction processing unit 16 will be described.
  • the color data selection unit 26 selects a line having desired color data from the upper and lower lines, and inputs information for specifying the selected line to the color data generation unit 28.
  • the color data generation unit 28 performs color data interpolation processing based on the positional relationship between the correction coordinate points generated by the address generation unit 24 and the pixels above and below the correction coordinate points.
  • the color data generation unit 28 inputs the interpolated color data to the complementary color data generation unit 38.
  • the luminance data generation unit 30 generates luminance data from the image data read from the frame memory 12 and inputs the generated luminance data to the color-corresponding luminance data selection unit 32 and the luminance base data generation unit 36.
  • the color data corresponding luminance data selection unit 32 selects pixel luminance data corresponding to desired color data from the input luminance data, and inputs the selected luminance data to the color data corresponding luminance data generation unit 34.
  • the color data corresponding luminance data generation unit 34 performs interpolation processing of luminance data corresponding to the color data based on the positional relationship between the correction coordinate points generated by the address generation unit 24 and the pixels above and below the correction coordinate point.
  • the color data corresponding luminance data generation unit 34 inputs the luminance data subjected to the interpolation processing to the complementary color data generation unit 38.
  • the luminance data generated here corresponds to “first luminance data” in the claims.
  • the luminance base data generation unit 36 performs luminance data interpolation processing based on the positional relationship between the correction coordinate points generated by the address generation unit 24 and the pixels above and below the correction coordinate points.
  • the luminance base data generation unit 36 inputs the interpolated luminance data to the complementary color data generation unit 38.
  • the luminance data generated here corresponds to “second luminance data” in the claims.
  • the complementary color data generation unit 38 receives the color data input from the color data generation unit 28, the luminance data (first luminance data) input from the color data corresponding luminance data generation unit 34, and the luminance base data generation unit 36. Complementary color data in which distortion in the vertical direction is corrected is generated based on the input luminance data (second luminance data).
  • FIG. 2 is a diagram illustrating an operation of camera signal processing of the image signal processing apparatus 1 according to the embodiment of the present invention.
  • the operation of the image signal processing apparatus 1 will be described with reference to FIG.
  • the image signal processing apparatus 1 performs pre-processing of a complementary color field color difference sequential format color image signal (S10). It is assumed that the image signal is digitized.
  • the image data may be obtained from an image sensor, or data stored in a storage device may be input.
  • pre-processing (S10) gain addition, optical black adjustment, and the like are performed.
  • the image signal processing apparatus 1 stores the image signal after the previous stage processing in the frame memory 12.
  • the image signal processing apparatus 1 performs frame cyclic noise suppression processing (S12), electronic zoom, upside down, image update stop (freeze), etc. as camera signal processing using the frame memory 12.
  • the frame cyclic noise suppression processing (S12) is processing for forming an infinite impulse response filter in the time direction using the frame memory 12.
  • This frame cyclic noise suppression processing (S12) has high noise suppression. For this reason, the case where the frame memory 12 is mounted in the image signal processing apparatus 1 is increasing.
  • the image signal processing apparatus 1 performs a first distortion correction process (hereinafter referred to as “first correction process”) on the image signal stored in the frame memory 12 (S14).
  • the first correction process is a process for correcting distortion in the vertical direction.
  • the first correction process will be described in detail with reference to FIG.
  • the complementary color image data stored in the frame memory 12 is field color difference sequential, the RG system and the BG system appear alternately in line units.
  • the RG system and the BG system are alternately read in line units by raster scan and input to the luminance color signal generation unit 18.
  • the luminance color signal generation unit 18 generates a luminance color signal from the complementary color data by switching the color generation processing between the RG system and the BG system.
  • data of an arbitrary line is read along the distortion, and data that can be processed by the luminance color signal generation unit 18 is generated.
  • the correspondence relationship between the complementary color data series and the RGB series will be described with reference to FIG.
  • FIG. 3A is a diagram showing an example of a data string in a complementary color field color difference sequential format
  • FIG. 3B is a diagram showing an A field for interlace scanning
  • FIG. 3B is a diagram showing a B field for interlace scanning.
  • the color data is described as follows.
  • CM Cyan + Magenta
  • YG or “YeGr” represents Yellow + Green
  • CG or “CyGr” represents Cyan + Green.
  • YM” or “YeMg” represents Yellow + Magenta.
  • CM Cyan and Magenta
  • YG is obtained by adding Yellow and Green.
  • Cyan consists of Blue (B) and Green (G).
  • Magenta consists of Red (R) and Blue (B).
  • Yellow (Y) consists of Green (G) and Red (R).
  • CG Cyan and Green
  • YM Yellow and Magenta
  • CM in the 0th row and 0b column and the YG in the 1st row and 0b column in FIG. 3C.
  • CG in the 0th row and 1b column in FIG. The same applies to the column YM. That is, the CMYG line is a BG system, and the YMCG line is an RG system.
  • FIG. 4 is a diagram showing correction coordinate points. Based on the distortion aberration information and the distance from the optical center, the address generation unit 24 sets correction coordinate points P1 to P1 as the positions on the frame memory 12 corresponding to the positions of the pixels on a certain line in the screen to be displayed. Get P6.
  • FIG. 4 illustrates one field. Actually, as shown in FIGS. 3B and 3C, the A field (see FIG. 3B) and the B field (see FIG. 3C) are 0.5 lines in the vertical direction. It's off. The address generation unit 24 can shift the optical center position in the vertical direction by 0.5 lines by a field signal (not shown) in response to this line shift.
  • FIG. 5 is a diagram showing the vertical optical center position depending on the field. The vertical center is 4 lines for the A field and 3.5 lines for the B field. Thereby, the vertical center can be aligned between the A field and the B field.
  • data of the required number of lines may be read from the frame memory 12, or the fact that the vertical coordinates change continuously is used. Then, data read from the frame memory 12 per unit time may be reduced by providing a buffer for each line.
  • the four lines of vertical coordinates required for the coordinate 2 interpolation process are Y (2n-1), Y (2n), Y (2n + 1), Y (2n + 2) It is.
  • the four lines of vertical coordinates required for the coordinate 3 interpolation process are Y (2n-1), Y (2n), Y (2n + 1), Y (2n + 2) It is.
  • the difference between the data required for the processing of coordinate 1 and the data required for the processing of coordinate 2 is the data of the line indicated by the vertical coordinates Y (2n ⁇ 1) and Y (2n + 3).
  • the data of the line indicated by Y (2n + 3) is not used in the process of coordinate 2 and is discarded, and the data of the line indicated by Y (2n ⁇ 1) is newly read from the frame memory 12.
  • only the data of the line indicated by the vertical coordinate Y (2n ⁇ 1) may be newly read from the frame memory 12.
  • FIG. 6 is a diagram for explaining the correction coordinate point P3 shown in FIG. 4 in more detail.
  • data is selected from the YMCG line which is the RG system. It is necessary to calculate CG as RG data at the corrected coordinate point P3, and interpolation is performed from 2 rows and 1 column data and 2 rows and 3 columns data (both are CG).
  • color data consisting of the same color filter appears only every two lines, and in the case of interlaced readout as in the present embodiment, if linear interpolation is performed for each color plane, aliasing in the frequency band is performed. Occurrence and deterioration of vertical resolution due to interpolation calculation are inevitable. In particular, when the band is not optically limited in the vertical direction as in a surveillance camera, the degree of deterioration increases.
  • FIG. 7A shows an image before correction
  • FIG. 7B shows an ideal distortion corrected image
  • FIG. 7C shows a distortion corrected image by linear interpolation for each interlace same color plane.
  • complementary color data is calculated based on the following three components in order to prevent the image quality from being deteriorated as much as possible (smoothing or adding a false signal).
  • Color data Tgt_H 2.
  • Luminance data corresponding to color data (first luminance data) yl_compre 3.
  • Color data Tgt_H As described above, in the present embodiment, correction is performed using a total of four lines including two lines above and below the correction coordinate point.
  • the color data selection unit 26 selects two lines of data of the same color difference system as the calculation target (here, the RG system) from the four lines read from the frame memory 12.
  • the color data selection unit 26 selects the data of the first line and the third line as shown by (A) in FIG.
  • the calculation target is a BG system
  • the data of the second line and the fourth line are selected as shown in FIG. 6B.
  • the color data generation unit 28 weights the selected two lines of data based on the position of the correction coordinate point, and performs interpolation processing.
  • the correction coordinate point is not on the line, and the coordinate value includes an integer part and a decimal part.
  • the vertical coordinate in FIG. 6 is 2.5
  • the distance from the first line is 1.5
  • the distance from the third line is 0.5.
  • the complement of the total distance may be used as the weighting factor.
  • the color data interpolation calculation method is linear interpolation. It should be noted that the interpolation of color data needs to use data with a far spatial phase. That is, in order to obtain the RG system data of the coordinate P, it is necessary to use the data of the first line far from the adjacent second line.
  • Brightness data corresponding to color data yl_compre will be described. It should be noted that the interpolation of the color-corresponding luminance data needs to use data having a spatial phase that is far from the color data similarly to the color data. As described above, in the present embodiment, a total of four lines including the upper and lower two lines of the correction coordinate point are used.
  • the luminance data generation unit 30 generates luminance data for each line from the four lines of data.
  • the color data-corresponding luminance data selection unit 32 selects, from the generated four lines of luminance data, two lines of data that are the same color difference system lines as the calculation target (here, the RG system).
  • the color data corresponding luminance data generation unit 34 performs interpolation processing by weighting the selected two lines of data based on the position of the correction coordinate point.
  • the correction coordinate point is composed of an integer part and a decimal part, but weighting similar to that of the color data generation part 28 may be used.
  • FIG. 8 shows four lines of luminance generation by the luminance data generation unit 30, selection of two lines by the color data corresponding luminance data selection unit 32, and interpolation of luminance data from the two lines by the color data corresponding luminance data generation unit 34. It is a figure which shows the outline
  • the luminance data generation unit 30 can obtain luminance data by applying a low-pass filter (Low Pass Filter: LPF).
  • LPF Low Pass Filter
  • an odd tap finite impulse response (FIR) LPF is used because it is digital signal processing, intra-frame processing, and a linear phase filter can be configured.
  • the luminance data generation FIRLPF needs to consider the following items. (1) Frame memory bandwidth and number of taps (2) Attenuation amount (3) Pass bandwidth
  • Digital filters generally have a higher degree of design freedom such as pass bandwidth, cutoff frequency, and attenuation as the number of taps increases. In this case, as the number of taps increases, the amount of data that must be read from the frame memory 12 per unit time increases. To widen the frame memory bandwidth, it is necessary to increase the reading speed or widen the data bus. Since both speed and bus width can be cost-increasing factors, it is necessary to balance the conditions shown in (2) and (3).
  • the luminance data corresponding to color data needs to sufficiently attenuate the color data (color carrier component) existing as a high frequency component. If the color carrier component remains, the color data calculated in the subsequent luminance color signal generation (S16) may deteriorate.
  • FIG. 9A shows an example of an image with the correct color component when the color carrier attenuation is 65 dB
  • FIG. 9B shows an example of a deteriorated image when the attenuation is 14 dB.
  • luminance data generation has insufficient color carrier component attenuation
  • color data after luminance color signal processing has a symptom of spreading in the Mg-Gr direction on the vector scope as shown in the right diagram of FIG. 9B.
  • the color carrier component attenuation amount must be set so that such a phenomenon does not occur after the luminance color signal processing.
  • FIG. 10A shows an example of an image using 2TAP (1,1) for luminance data generation
  • FIG. 10B shows an example of an image using 3TAP (1,2,1) for luminance data generation
  • FIG. 2TAP (1,1) and 3TAP (1,2,1) have no problem in the color carrier attenuation amount, but 2TAP (1,1) has a spatial phase shift from the color data, and image quality degradation occurs ( The diagonal line is locally thicker). Although the spatial phase of 3TAP (1, 2, 1) matches the color data, the diagonal line becomes thick overall as the pass frequency bandwidth is relatively narrow. In order to avoid image quality degradation as much as possible, it is better to construct an LPF with a wide passband.
  • the luminance data generation unit 30 configures 11TAPFIRLPF from the trade-off between the frame memory band and the filter performance.
  • FIG. 10C is a diagram illustrating an example of an image using 11TAPFIRLPF for luminance data generation.
  • the luminance data corresponding to color data is generated by interpolation using luminance data of a line in which complementary color filter data of the same color series as the target color series to be calculated exists, looking at the top and bottom of the same column. Used to replace luminance base data (close to spatial phase) described later.
  • Luminance base data YLc Since the luminance base data can be generated using data of adjacent pixels, the spatial phase is close.
  • the luminance base data generation unit 36 generates luminance base data using a total of four lines, ie, two upper and lower lines of the processing target vertical coordinate. In this embodiment, BiCubic interpolation is used.
  • FIG. 11 is a diagram showing a difference in image data after luminance color signal processing by the vertical interpolation method.
  • BiLinear the thickness of the diagonal line changes.
  • B-Spline there is almost no change in the thickness of the diagonal line, but the overall rounding of the signal is large as the calculation performed on the data before luminance color processing.
  • BiCubic is not without the change in the thickness of the diagonal lines and the rounding of the waveform, but generally good processing results can be obtained.
  • the complementary color data generation unit 38 replaces the luminance data corresponding to the spatially distant color data with the spatially close luminance base data, thereby calculating the desired complementary color filter data out.
  • the image signal processing apparatus 1 processes the obtained complementary color field color difference sequential data in the luminance color signal generation unit 18 to obtain luminance data and color data (S16).
  • the image signal processing apparatus performs a second distortion correction process (hereinafter referred to as “second correction process”) on the generated luminance color signal (S18).
  • the second correction process is a distortion correction process in the horizontal direction. Since the memory required for distortion correction in the horizontal method is in units of lines, the degree of freedom of the place where the second correction process is performed is high. Note that the distortion amount may be defined in the same manner as the vertical processing (S14).
  • the image signal processing apparatus 1 performs post-processing on the luminance color signal after the second correction processing (S20). The configuration and operation of the image signal processing device 1 according to the present embodiment have been described above.
  • the image signal processing apparatus 1 corrects distortion aberration of a complementary color field color difference sequential signal image, and in the vertical direction, with respect to the complementary color field color difference sequential signal, Complementary color data is calculated using color data with a spatial phase far away, luminance data corresponding to the color data, and luminance base data with a spatial phase close to each other.
  • a luminance data having a close spatial phase and a color data having the same color filter having a far spatial phase are used to obtain a complementary color field color difference sequential color image signal with good image quality.
  • interpolation calculation for correcting distortion can be performed after luminance generation.
  • the function of the image signal processing apparatus 1 can be recorded as a program on a recording medium such as a magnetic disk, a magneto-optical disk, or a ROM. Therefore, the function of the image signal processing apparatus 1 can be realized by reading this recording medium with a computer and executing it with an MPU, DSP, or the like.
  • the first correction process (vertical distortion correction process) has been described by taking complementary color field color difference sequential format input and complementary color field color difference sequential output as an example. This is to clarify the excellent functions and effects realized by the present case by clarifying the process breaks and explaining the configuration to enhance the separation of the functional blocks.
  • a configuration in which the last of the first correction processing is the front stage of the luminance color signal generation unit 18 may be employed. Further, if integrated, luminance data may be used as it is in luminance color signal processing, and the color data may be separately input to the color difference generation unit.
  • the image signal processing apparatus corrects the distortion aberration of the complementary color field color difference sequential signal image
  • the vertical direction color data, color data having a spatial phase far from the complementary color field color difference sequential signal is obtained.
  • a complementary color field color difference sequential color image signal with good image quality can be obtained by using luminance data corresponding to the data and luminance base data having a spatial phase close to each other, which is useful as a distortion correction processing device such as a surveillance camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

　画像信号処理装置（１）は、フィールド色差順次補色形式の画像データを格納するフレームメモリ（１２）と、予め与えられた歪曲情報に基づいて補正座標点のアドレスを生成するアドレス生成部（２４）と、補正座標点の色データをその上下にある同色系列の画素の色データを補間して生成する色データ生成部（２８）と、補正座標点の第１の輝度データをその上下にある同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部（３４）と、補正座標点の第２の輝度データを、その上下にある画素の輝度データを補間して生成する輝度ベースデータ生成部（３６）と、生成された色データ、第１の輝度データ、第２の輝度データに基づいて補正座標点の補色データを生成する補色データ生成部（３８）とを備える。これにより、補色フィールド色差順次信号画像を適切に歪曲収差補正できる画像処理装置が提供される。

Description

画像信号処理装置、画像信号処理方法およびプログラム
　本発明は、画像信号処理を行う装置に関し、特に単板カラー補色フィールド色差順次方式撮像素子から得られる画像データの歪曲収差補正を行う画像信号処理装置に関する。
　監視カメラは、高画質／低コスト化が進められ、様々なシーンで使用されるようになってきている。監視カメラは、例えば、銀行、コンビニエンスストア、パチンコといった屋内や、駅や道路や河川／ダム監視といった屋外で使用される。監視カメラの応用分野は、これからも拡大していくと考えられる。
　監視カメラは、低コスト化が進んできている。しかし、無数に設置するというわけにはいかない。費用対効果や要求画質等を勘案し、限られた台数のカメラによって、できるだけ広い監視領域をカバーすることが求められる。パン・チルト台座を使わない場合、広視野角レンズを使うことになるだろう。
　一般に視野角の広いレンズは、画像が樽型に歪曲する。歪曲した画像は、人間の目で実際に見る風景とは大きく異なる。歪曲した画像では、例えば直線が直線に映らなかったり、物体の大きさが画面中央と画面端で異なったりする。このため、歪曲した画像は、違和感が大きく、カメラ画像の監視者の疲労度合いに影響する。歪曲収差は補正されることが望ましい。
　高額なレンズでは、高屈折率、非球面、多数群／枚レンズを駆使して歪曲等の収差を補正する。しかし、監視用途で高額なレンズを使用することは、コスト面で難しい。そこで、信号処理による歪曲収差補正処理が必要となる。
　従来の歪曲収差補正を行う画像信号処理装置としては、例えば、特許文献１に示す装置が知られている。図１２は、同公報に示されている画像信号処理装置のブロック図である。この画像信号処理装置は、カラー画像の画素位置から、変形処理が施された場合のカラー画像の画素位置に対応する色モザイク画像上の対応するサンプリング座標を算出する座標変換部１０２と、色モザイク画像を分解した複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部１０４と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部１０６とを有する。この画像信号処理装置は、変形処理の施されたカラー画像の各画素値を、サンプリング座標の画素値として色モザイク画像から補間演算により求める。これにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の変形処理とを一度の補間演算によって実現することができるようにしている。
　上記した画像信号処理装置では、補色配列のカラーフィルタアレイを用いてもよいとしている。しかし、補色フィールド色差順次データを処理対象とする場合、色プレーン毎に線形補間による座標変換を行うと、解像度が大きく劣化する。特に、輝度データ生成以前に水平方向の補間によって、水平解像度が劣化しやすい。
　垂直方向に関しては、インターレースデータを色フィルタプレーン毎に処理することになる。すなわち、飛び越し走査データ毎に、線形補間することになるので、垂直方向の周波数成分の折り返しが発生しやすく、画像が劣化することになる。
特開２００９－００５２３２号公報
　本発明は、上記背景の下でなされたものである。本発明の目的は、補色フィールド色差順次信号画像を適切に歪曲収差補正できる画像処理装置を提供することにある。
　本発明の一の態様は、画像信号処理装置であり、この画像信号処理装置は、フィールド色差順次補色形式の画像データを格納するフレームメモリと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するアドレス生成部と、アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成する色データ生成部と、アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部と、アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成する輝度ベースデータ生成部と、アドレスによって特定される点の補色データを、色データと第１の輝度データと第２の輝度データとに基づいて生成する補色データ生成部と、を備えている。
　本発明の別の態様は、画像信号処理方法であり、この画像信号処理方法は、フレームメモリにフィールド色差順次補色形式の画像データを格納するステップと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するステップと、アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の補色データを、色データと第１の輝度データと第２の輝度データとに基づいて生成するステップと、を備えている。
　本発明の別の態様は、プログラムであり、このプログラムは、フィールド色差順次補色形式の画像データの歪曲収差を補正するためのプログラムであって、コンピュータに、フレームメモリに画像データを格納するステップと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するステップと、アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の補色データを、色データと第１の輝度データと第２の輝度データとに基づいて生成するステップと、を実行させる。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、本発明の実施の形態における画像信号処理装置を示すブロック図 図２は、本発明の実施の形態の画像信号処理装置をもつカメラ信号処理を示す図 図３（ａ）は、補色フィールド色差順次データ列の例を示す図、図３（ｂ）は、インターレース走査のＡフィールドの例を示す図、図３（ｃ）は、インターレース走査のＢフィールドの例を示す図 図４は、補色フィールド色差順次データ列と補正座標点を示す図 図５は、フィールドの違いによる垂直光学中心位置を示す図 図６は、補色フィールド色差順次データ列と補正座標点（詳細）を示す図 図７（ａ）は、補正前の画像を示す図、図７（ｂ）は、理想的な歪曲収差補正画像を示す図、図７（ｃ）は、インターレースデータの色プレーン毎補間による画質劣化を示す図 図８は、補間処理概要を示す図 図９（ａ）は、輝度データ生成時に色データが劣化していない例を示す図、図９（ｂ）は、輝度データ生成時に色データが劣化した例を示す図 図１０（ａ）は、輝度データ生成フィルタと輝度色信号処理後画像を示す図、図１０（ｂ）は、輝度データ生成フィルタと輝度色信号処理後画像を示す図、図１０（ｃ）は、輝度データ生成フィルタと輝度色信号処理後画像を示す図 図１１（ａ）は、輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、図１１（ｂ）は、輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、図１１（ｃ）は、輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、図１１（ｄ）は、輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図 図１２は、従来の画像信号処理装置の例を示す図
　以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。
　本発明の画像信号処理装置は、フィールド色差順次補色形式の画像データを格納するフレームメモリと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するアドレス生成部と、アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成する色データ生成部と、アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部と、アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成する輝度ベースデータ生成部と、アドレスによって特定される点の補色データを、色データと第１の輝度データと第２の輝度データとに基づいて生成する補色データ生成部とを備える。
　この構成により、補色フィールド色差順次信号画像の垂直方向の歪曲収差補正を行うとき、空間位相が遠い色データ及び色データに対応する第１の輝度データと空間位相が近い第２の輝度データとに基づいて補色データを生成することにより、良好な画質の補色フィールド色差順次カラー画像信号を得ることができる。
　本発明の画像信号処理装置は、補色データ生成部にて生成された補色データに基づいて、輝度色信号を生成する輝度色信号生成部と、輝度色信号生成部にて生成された輝度色信号の水平方向における歪曲収差を補正する補正処理部とを備えてもよい。
　この構成により、水平方向の歪曲収差補正処理については、フレームメモリを用いない構成とすることができる。
　本発明の画像信号処理方法は、フレームメモリにフィールド色差順次補色形式の画像データを格納するステップと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するステップと、アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、アドレスによって特定される点の補色データを、色データと第１の輝度データと第２の輝度データとに基づいて生成するステップとを備える。また、本発明のプログラムは、上記画像信号処理方法の各ステップをコンピュータに実行させる。
　本発明によれば、補色フィールド色差順次信号画像を、垂直方向について歪曲収差補正するとき、空間位相が遠い色データ及び色データに対応する第１の輝度データと空間位相が近い第２の輝度データとに基づいて補色データを生成することにより、良好な画質の補色フィールド色差順次カラー画像信号を得ることができるというすぐれた効果を有する。
（実施の形態）
　以下、本発明の実施の形態の画像信号処理装置について、図面を用いて説明する。
　図１は、本発明の実施の形態の画像信号処理装置１を示す図である。画像信号処理装置１は、画像信号を格納するフレームメモリ１２と、フレームメモリ１２に格納する画像信号の前処理を行う前段処理部１０と、フレームメモリ１２に格納された画像信号に対して巡回型ノイズ抑圧を行う巡回型ノイズ抑圧部１４と、フレームメモリ１２に格納された画像信号の垂直方向における歪曲収差を補正する第１の歪曲収差補正処理部（以下、「第１補正処理部」という）１６と、補正処理された画像信号から輝度色信号を生成する輝度色信号生成部１８と、輝度色信号の水平方向における歪曲収差を補正する第２の歪曲収差補正処理部（以下、「第２補正処理部」という）２０と、補正処理された輝度色信号に対して後処理を行う後段処理部２２とを有している。
　第１補正処理部１６は、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するアドレス生成部２４を有している。このアドレスによって特定される点の補色データに基づいて画面表示を行うことにより垂直方向の歪曲収差が補正されるので、以下、このアドレスによって特定される点を「補正座標点」と呼ぶ。
　画像信号処理装置１は、歪曲量の情報を有している。歪曲量は、理想像高に対する実際の像高を曲線や折れ線で与えることできる。視野角９０度以下での歪曲収差であれば、数次程度の多項式で比較的良好に近似することができる。画像信号処理装置１は、例えば、多項式の形式で歪曲量の情報を有している。
　図４は、補正座標点を示す図である。図４の右側の図は、画像の全体図である。同図において歪曲した横線は、現実空間における直線が歪曲して映っていることを示す。歪曲収差補正処理では、この歪曲した横線が直線になるように補正する。
　具体的には、アドレス生成部２４が、歪曲量に基づいて歪曲した横線を特定する。画像の光学中心から離れるほど、垂直方向のズーム倍率を上げるようなフレームメモリ１２上のアドレスを生成することで、歪曲した横線を表すことができる。例えば、画像の光学中心からの画素数および歪曲量を表す多項式の係数に対して歪曲収差補正量を調整するための係数を持たせればよい。そして、第１補正処理部１６は、その横線上の補色データを読み出し、読み出したデータを同一ライン上に表示することにより、歪曲収差を補正することができる。
　図４の左側の図は、右側の全体画像の中の左上領域の拡大図である。同図に示すように、歪曲した線と画素の列とが交差する位置に補正座標点Ｐ１～Ｐ６が生成される。第１補正処理部１６は、補正座標点の補色データを読み出す。ただし、図４から分かるとおり、補正座標点Ｐ１～Ｐ６は必ずしもフレームメモリ１２上の画素位置と一致していないので、フレームメモリ１２の画素位置と一致していない補正座標点については、周辺の画素のデータを補間して補正座標点の補色データを生成する必要がある。
　第１補正処理部１６は、画素値を補間する処理を行うための構成として、色データ選択部２６と、色データ生成部２８と、輝度データ生成部３０と、色データ対応輝度データ選択部３２と、色データ対応輝度データ生成部３４と、輝度ベースデータ生成部３６と、補色データ生成部３８とを有している。本実施の形態では、補色データ生成部３８は、色データ生成部２８にて生成された色データと、色データ対応輝度データ生成部３４にて生成された色データ対応輝度データと、輝度ベースデータ生成部３６にて生成された輝度ベースデータとに基づいて、垂直方向の歪曲収差を補正した補色データを生成する。次に、第１補正処理部１６の各構成について説明する。
　色データ選択部２６は、上下のラインから所望の色データを有するラインを選択し、選択したラインを特定する情報を色データ生成部２８に入力する。色データ生成部２８は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係とに基づいて、色データの補間処理を行う。色データ生成部２８は、補間処理された色データを補色データ生成部３８に入力する。
　輝度データ生成部３０は、フレームメモリ１２から読み出された画像データから輝度データを生成し、生成した輝度データを色対応輝度データ選択部３２と輝度ベースデータ生成部３６に入力する。色データ対応輝度データ選択部３２は、入力された輝度データから所望の色データに対応する画素の輝度データを選択し、選択した輝度データを色データ対応輝度データ生成部３４に入力する。色データ対応輝度データ生成部３４は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係とに基づいて、色データに対応する輝度データの補間処理を行う。色データ対応輝度データ生成部３４は、補間処理された輝度データを補色データ生成部３８に入力する。ここで生成される輝度データは、請求項における「第１の輝度データ」に相当する。
　輝度ベースデータ生成部３６は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係に基づいて、輝度データの補間処理を行う。輝度ベースデータ生成部３６は、補間処理された輝度データを補色データ生成部３８に入力する。ここで生成される輝度データは、請求項における「第２の輝度データ」に相当する。
　補色データ生成部３８は、色データ生成部２８から入力された色データと、色データ対応輝度データ生成部３４から入力された輝度データ（第１の輝度データ）と、輝度ベースデータ生成部３６から入力された輝度データ（第２の輝度データ）とに基づいて、垂直方向の歪曲収差を補正した補色データを生成する。
　図２は、本発明の実施の形態の画像信号処理装置１のカメラ信号処理の動作を示す図である。図２を参照して画像信号処理装置１の動作について説明する。画像信号処理装置１は、補色フィールド色差順次形式カラー画像信号の前段処理を行う（Ｓ１０）。画像信号はディジタル化されているものとする。画像データは、撮像素子から得てもよいし、記憶装置に格納されたデータを入力してもよい。前段処理（Ｓ１０）としては、ゲイン付加やオプティカルブラック調整等を行う。次に、画像信号処理装置１は、前段処理後の画像信号をフレームメモリ１２に格納する。
　次に、画像信号処理装置１は、フレームメモリ１２を用いたカメラ信号処理として、フレーム巡回型ノイズ抑圧処理（Ｓ１２）や、電子ズーム、上下反転、画像更新停止（フリーズ）等を行う。ここで、フレーム巡回型ノイズ抑圧処理（Ｓ１２）は、フレームメモリ１２を用いて時間方向の無限インパルス応答フィルタを形成する処理である。このフレーム巡回型ノイズ抑圧処理（Ｓ１２）は、ノイズ抑圧力が高い。このため、画像信号処理装置１にフレームメモリ１２を搭載する事例が増えてきている。
　次に、画像信号処理装置１は、フレームメモリ１２に格納された画像信号に対して、第１の歪曲収差補正処理（以下、「第１補正処理」という）を行う（Ｓ１４）。第１補正処理は、垂直方向の歪曲収差を補正する処理である。以下、図１も参照しながら、第１補正処理について詳しく説明する。
　フレームメモリ１２に格納された補色画像データがフィールド色差順次であるとすると、ライン単位でＲ－Ｇ系とＢ－Ｇ系が交互に現れる。歪曲収差補正等を考えない通常のフレームメモリ１２への読出しアクセスの場合、ラスタスキャンによってライン単位でＲ－Ｇ系とＢ－Ｇ系が交互に読み出され、輝度色信号生成部１８に入力されることになる。輝度色信号生成部１８では、Ｒ－Ｇ系とＢ－Ｇ系とで色生成処理を切り替える等して、補色データから輝度色信号を生成する。垂直方向の歪曲収差を補正する場合、歪曲に沿って任意のラインのデータを読み出し、輝度色信号生成部１８が処理可能であるようなデータを生成することになる。ここで、図３を用いて、補色データ系列とＲＧＢ系列との対応関係について説明する。
　図３（ａ）は、補色フィールド色差順次形式のデータ列の例を示す図、図３（ｂ）はインターレース走査のＡフィールド、図３（ｂ）はインターレース走査のＢフィールドを示す図である。図３（ａ）～図３（ｃ）では、色データを以下のように記載している。「ＣＭ」または「ＣｙＭｇ」は、Ｃｙａｎ＋Ｍａｇｅｎｔａを表す。「ＹＧ」または「ＹｅＧｒ」は、Ｙｅｌｌｏｗ＋Ｇｒｅｅｎを表す。「ＣＧ」または「ＣｙＧｒ」は、Ｃｙａｎ＋Ｇｒｅｅｎを表す。「ＹＭ」または「ＹｅＭｇ」は、Ｙｅｌｌｏｗ＋Ｍａｇｅｎｔａを表す。
　図３（ｂ）に示す画素列において、１つ隣の画素との減算処理を考える。図３（ｂ）において、０行０ａ列は「ＣＭ」、１行０ａ列は「ＹＧ」である。「ＣＭ」は、上に示したように、ＣｙａｎとＭａｇｅｎｔａを加算したものである。「ＹＧ」はＹｅｌｌｏｗとＧｒｅｅｎを加算したものである。さらに、ＣｙａｎはＢｌｕｅ（Ｂ）とＧｒｅｅｎ（Ｇ）からなる。ＭａｇｅｎｔａはＲｅｄ（Ｒ）とＢｌｕｅ（Ｂ）からなる。Ｙｅｌｌｏｗ（Ｙ）は、Ｇｒｅｅｎ（Ｇ）とＲｅｄ（Ｒ）からなる。従って、０行０ａ列の「ＣＭ」から、その左隣の１行０ａ列の「ＹＧ」を減算すると以下のようになる。
　ＣＭ－ＹＧ＝Ｂ＋Ｇ＋Ｒ＋Ｂ－（Ｇ＋Ｒ＋Ｇ）＝２Ｂ－Ｇ
　同様に図３（ｂ）の０行１ａ列は「ＣＧ」、１行１ａ列は「ＹＭ」である。「ＣＧ」は上に示したように、ＣｙａｎとＧｒｅｅｎを加算したものである。「ＹＭ」はＹｅｌｌｏｗとＭａｇｅｎｔａを加算したものである。従って、１行１ａ列の「ＹＭ」から、その右隣の０行１ａ列の「ＣＧ」を減算すると以下のようになる。
　ＹＭ－ＣＧ＝Ｇ＋Ｒ＋Ｒ＋Ｂ－（Ｂ＋Ｇ＋Ｇ）＝２Ｒ－Ｇ
　これらの関係は、図３（ｃ）の０行０ｂ列のＣＭと、１行０ｂ列のＹＧについても同様であり、さらに、図３（ｃ）の０行１ｂ列のＣＧと、１行１ｂ列のＹＭについても同様である。つまり、ＣＭＹＧラインはＢ－Ｇ系であり、ＹＭＣＧラインはＲ－Ｇ系である。
　図４は、補正座標点を示す図である。アドレス生成部２４は、歪曲収差情報と光学中心からの距離とに基づいて、表示すべき画面内におけるあるライン上の各画素の位置に対応するフレームメモリ１２上における各位置として補正座標点Ｐ１～Ｐ６を得る。図４では、一のフィールドについて説明している。実際には、図３（ｂ）及び図３（ｃ）に示すように、Ａフィールド（図３（ｂ）参照）とＢフィールド（図３（ｃ）参照）は、垂直方向に０．５ラインずれている。アドレス生成部２４は、このラインのずれに対応して、フィールド信号（図示せず）によって垂直方向の光学中心位置を０．５ラインずらすことができる。図５は、フィールドの違いによる垂直光学中心位置について示す図である。垂直中心は、Ａフィールドの場合には４ライン、Ｂフィールドの場合には３．５ラインである。これにより、ＡフィールドとＢフィールドとの間で、垂直中心を合わせることができる。
　次に、補正座標点Ｐ１～Ｐ６の補色データを補間処理によって生成する処理について説明する。ここでは、補正座標点Ｐ１～Ｐ６のＲ－Ｇ系データを算出する場合を例として説明する。補正座標点Ｐ１～Ｐ６は、フレームメモリ１２の画素位置と必ずしも一致していないので、周辺データからの補間によって補色データを算出し、空間位相を合わせる。補正座標と所望の色フィルタ（ここではＲ－Ｇ系）との相対位置関係は様々である。補間処理は、色データと輝度データを出来る限り劣化（なまらせたり、偽信号を付加したり）させないように行わなくてはならない。そのような補間処理を実施するために、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用する。
　なお、歪曲収差補正後の画素データのそれぞれについて、必要なライン数（本実施の形態では４ライン）のデータをフレームメモリ１２から読み出してもよいし、垂直座標が連続的に変化することを利用して、ライン単位でのバッファを設ける等して単位時間あたりにフレームメモリ１２から読み出すデータを削減してもよい。
　ここで、ライン単位でのバッファを設けて読み出しデータを削減する方法について説明する。
　図４の座標１の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）、Ｙ（２ｎ＋３）
である。座標２の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ－１）、Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）
である。座標３の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ－１）、Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）
である。
　ライン単位で考えれば、座標１の処理に必要なデータと座標２の処理に必要なデータとの差分は、垂直座標Ｙ（２ｎ－１）とＹ（２ｎ＋３）で示すラインのデータである。座標２の処理でＹ（２ｎ＋３）で示すラインのデータは使用しないので廃棄し、新たにＹ（２ｎ－１）で示すラインのデータをフレームメモリ１２から読み出す。同様にライン単位で考えれば、座標２の処理と座標３の処理に必要なデータの差分はない。座標１の処理から座標２の処理に移る際には、垂直座標Ｙ（２ｎ－１）で示すラインのデータのみを新たにフレームメモリ１２から読み出せば良い。座標２の処理から座標３の処理に移る際には、ライン単位で言えば、フレームメモリ１２からデータを読み出す必要はなくなる。
　図６は、図４に示す補正座標点Ｐ３について、さらに詳細に説明する図である。補正座標点Ｐ３（line=2.5、pixel=2）のＲ－Ｇ系データを算出する場合を考える。色プレーン毎の補間を考えると、Ｒ－Ｇ系であるＹＭＣＧラインからデータ選択することになる。補正座標点Ｐ３におけるＲ－Ｇ系のデータとしてＣＧを算出する必要があり、２行１列のデータと２行３列のデータ（いずれもＣＧ）から補間することになる。
　ここで、同じ色フィルタからなる色データが２ライン毎にしか現れず、かつ、本実施の形態のようにインターレース読み出しの場合に、色プレーン毎の線形補間を行おうとすると、周波数帯域での折り返し発生や、補間演算による垂直解像度の劣化が避けられない。特に、監視カメラのように、垂直方向において、光学的に帯域を制限されていない場合には、この劣化の度合が大きくなる。
　図７（ａ）は補正前画像を示す図、図７（ｂ）は理想的な歪曲収差補正画像を示す図、図７（ｃ）はインターレース同色プレーン毎の線形補間による歪曲収差補正画像を示す図である。図７（ｃ）より、色プレーン毎の線形補間では画質が大きく損なわれることが分かる。
　そこで本実施の形態では、画質を出来る限り劣化（なまらせたり、偽信号を付加したり）させないようにするため、補色データを以下の３成分に基づいて算出する。
１．色データ　Tgt_H
２．色データ対応輝度データ（第１の輝度データ）　yl_compre
３．輝度ベースデータ（第２の輝度データ）　YLc
　まず、「１．色データTgt_H」について説明する。先に述べたように、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用して補正を行う。色データ選択部２６によって、フレームメモリ１２から読み出した４ラインから、算出対象（ここではＲ－Ｇ系）と同じ色差系の２ラインのデータを選択する。
　図６に示す例の場合、垂直方向に第１ライン、第２ライン、第３ライン、第４ラインの４ラインのデータがフレームメモリ１２から読み出されている。算出対象がＲ－Ｇ系の場合、色データ選択部２６は、図６に（Ａ）で示すように、第１ラインと第３ラインのデータを選択する。なお、算出対象がＢ－Ｇ系の場合には、図６に（Ｂ）で示すように、第２ラインと第４ラインのデータを選択する。
　色データ生成部２８は、補正座標点の位置に基づいて、選択した２ラインのデータに重み付けをして、補間処理を行う。補正座標点は、図６に示す例では、ライン上に乗っておらず、座標値は整数部と小数部からなる。図６における垂直方向座標が２．５だった場合、第１ラインからの距離が１．５、第３ラインからの距離が０．５である。距離の合計の補数を重み係数とすればよい。重み係数について以下に示す。
第１ラインの重み：（１．５＋０．５）－１．５＝０．５
第３ラインの重み：（１．５＋０．５）－０．５＝１．５
　本実施の形態では、色データの補間演算方法は線形補間である。
　なお、色データの補間は、空間位相が遠いデータを利用する必要がある。すなわち、座標ＰのＲ－Ｇ系のデータを求めるためには、隣接する第２ラインより遠い第１ラインのデータを用いる必要がある。
　次に、「２．色データ対応輝度データ　yl_compre」について説明する。なお、色対応輝度データの補間も色データと同様に、空間位相が遠いデータを利用する必要がある。先に述べたように、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用する。輝度データ生成部３０は、この４ラインのデータから、ライン毎に輝度データを生成する。色データ対応輝度データ選択部３２は、生成した４ラインの輝度データから、算出対象（ここではＲ－Ｇ系）と同じ色差系のラインである２ラインのデータを選択する。色データ対応輝度データ生成部３４は、補正座標点の位置に基づいて、選択した２ラインのデータに重み付けをして、補間処理を行う。補正座標点は整数部と小数部からなるが、色データ生成部２８と同様の重み付けを用いればよい。
　図８は、輝度データ生成部３０による４ライン分の輝度生成と、色データ対応輝度データ選択部３２による２ラインの選択と、色データ対応輝度データ生成部３４による２ラインからの輝度データの補間処理の概要を示す図である。
　補色フィールド色差順次形式の画像データは、直流成分が輝度を構成する。従って、輝度データ生成部３０は、低域通過フィルタ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ:ＬＰＦ）を適用することで輝度データを得ることができる。本実施の形態では、ディジタル信号処理であることやフレーム内処理であること、直線位相フィルタを構成できること等から、奇数タップの有限インパルス応答（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ：ＦＩＲ）ＬＰＦを用いている。
　輝度データ生成ＦＩＲＬＰＦは、以下の項目について考慮する必要がある。
（１）フレームメモリ帯域とタップ数
（２）減衰量
（３）通過帯域幅
　ディジタルフィルタは、一般にタップ数が多いほど通過帯域幅や遮断周波数及び減衰量などの設計自由度が高まる。本件においては、タップ数が多いほど単位時間あたりにフレームメモリ１２から読み出さなければならないデータ量が増えることになる。フレームメモリ帯域を広くするには、読出し速度を上げるかデータバスを広げる等しなければならない。速度やバス幅はどちらもコスト増要因になりえるので、（２）と（３）に示した条件とバランスをとる必要がある。
　色データ対応輝度データは、高周波成分として存在する色データ（色キャリア成分）を十分に減衰させる必要がある。色キャリア成分が残っていると、後段の輝度色信号生成（Ｓ１６）において算出された色データが劣化する場合がある。
　図９（ａ）は色キャリアの減衰が６５ｄＢ時の色成分が正しい画像、図９（ｂ）は減衰が１４ｄＢ時の劣化画像の例を示す図である。輝度データ生成で色キャリア成分減衰量が足りない場合、図９（ｂ）の右図に示すように輝度色信号処理後の色データがベクトルスコープ上でＭｇ－Ｇｒ方向への広がる症状を示すことがある。色キャリア成分減衰量は、輝度色信号処理後にこのような現象が発生しないように設定しなければならない。
　図１０（ａ）は２ＴＡＰ（１，１）を輝度データ生成に使用した画像の例を示す図、図１０（ｂ）は３ＴＡＰ（１，２，１）を輝度データ生成に使用した画像例を示す図である。２ＴＡＰ（１，１）や３ＴＡＰ（１，２，１）は色キャリア減衰量に問題はないが、２ＴＡＰ（１，１）は色データと空間位相がずれてしまうので、画質劣化が発生する（斜め線が局所的に太くなる）。３ＴＡＰ（１，２，１）は色データとの空間位相は合っているが、通過周波数帯域幅が比較的狭いため、斜め線が全体的に太くなる。画質劣化をできるかぎり回避するため、通過帯域が広いＬＰＦを構成するほうが良い。本実施の形態では、フレームメモリ帯域とフィルタ性能のトレードオフから、輝度データ生成部３０では、１１ＴＡＰＦＩＲＬＰＦを構成するものとした。図１０（ｃ）は、１１ＴＡＰＦＩＲＬＰＦを輝度データ生成に使用した画像の例を示す図である。
　図８に示すように、色データ対応輝度データは、同じ列の上下を見て、算出したい対象の色系列と同じ色系列の補色フィルタデータの存在するラインの輝度データを用いて補間生成する。後述する輝度ベースデータ（空間位相近い）と差し替えるために使用する。
　次に、「３．輝度ベースデータ　YLc」について説明する。輝度ベースデータは、隣接する画素のデータを用いて生成できるので、空間位相が近い。輝度ベースデータ生成部３６は、処理対象垂直座標の上下２ライン計４ラインを用いて、輝度ベースデータを生成する。本実施の形態では、ＢｉＣｕｂｉｃ補間を用いる。
　図１１は、垂直方向の補間方式による輝度色信号処理後の画像データの違いについて示す図である。ＢｉＬｉｎｅａｒでは、斜め線の太さが変化する。Ｂ－Ｓｐｌｉｎｅでは、斜め線の太さの変化がほとんど見られないが、輝度色処理前データに行う演算としては全体に信号のなまりが大きい。ＢｉＣｕｂｉｃでは、斜め線の太さの変化や波形のなまりがないわけではないが、概して良好な処理結果が得られる。
　ここで、Ｂ-ＳｐｌｉｎｅとＢｉＣｕｂｉｃの補間式を以下に示す。
・Ｂ-Ｓｐｌｉｎｅ：
　　　　 (3*t*t*t-6*t*t+4)/6　　　　: (0<=t<1)
　　　　-(t-2)*(t-2)*(t-2)/6　　　　: (1<=t<2)
　　　　ｔ：補正座標点と補間計算に用いる画素との距離
・ＢｉＣｕｂｉｃ：
　　　　(a+2)*t*t*t-(a+3)*t*t+1　　　　　 : (0<=t<1)
　　　　 a*t*t*t-5*a*t*t+8*a*t-4*a　　　　: (1<=t<2)
　　　　ｔ：補正座標点と補間計算に用いる画素との距離
　ＢｉＣｕｂｉｃ補間式の係数ａがａ＝－１とａ＝－０．５に場合の処理結果を示している。ａ＝－１とすると、良好な解像感を持つ処理結果が得られる。ａ＝－０．５とすると比較的、斜め線の太さの変化が少ない処理結果が得られる。
　以上の３つのデータから、補色データ生成部３８によって、空間的に遠い色データに対応する輝度データを空間的に近い輝度ベースデータに差し替えることで、所望の補色フィルタデータoutを算出する。以下に式を示す。
　out = YLc + (Tgt_H - yl_compre)
　以上に詳細に説明した処理によって、垂直方向の歪曲収差が補正された補色フィールド色差順次データを得ることができる。
　図２に戻って説明する。画像信号処理装置１は、得られた補色フィールド色差順次データを輝度色信号生成部１８で処理し、輝度データと色データを得る（Ｓ１６）。次に、画像信号処理装置は、生成された輝度色信号に対し、第２の歪曲収差補正処理（以下、「第２補正処理」という）を行う（Ｓ１８）。第２補正処理は、水平方向における歪曲収差の補正処理である。水平方法の歪曲収差補正に必要なメモリはライン単位であるため、第２補正処理の実施箇所の自由度が高い。なお、歪曲量の規定は垂直方向処理（Ｓ１４）と同じでよい。輝度色信号生成後であり、インターレースのような特殊なサンプリングをしているわけではないので、水平方向については、単純に歪曲量に従って補間演算を行うことで、比較的良好な処理結果を得ることができる。最後に、画像信号処理装置１は、第２補正処理後の輝度色信号に対し後処理を行う（Ｓ２０）。以上、本実施の形態の画像信号処理装置１の構成および動作について説明した。
　本実施の形態の画像信号処理装置１は、従来の画像信号処理装置に比べて、補色フィールド色差順次信号画像を歪曲収差補正する際に、垂直方向については、補色フィールド色差順次信号に対して、空間位相が遠い色データ、色データに対応する輝度データと、空間位相が近い輝度ベースデータとを用いて補色データを算出する。輝度データは空間位相の近いものを、色データは空間位相の遠い同色フィルタのものを用いて良好な画質の補色フィールド色差順次カラー画像信号を得る。水平方向については、輝度生成後に歪曲収差を補正する補間演算を行うことができる。
　以上、本発明の画像信号処理装置および画像信号処理方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
　画像信号処理装置１の機能は，磁気ディスク、光磁気ディスク，ＲＯＭ等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取って、ＭＰＵ、ＤＳＰ等で実行することにより画像信号処理装置１の機能を実現することができる。
　上記した実施の形態では、第１補正処理（垂直方向の歪曲収差補正処理）は、補色フィールド色差順次形式入力、補色フィールド色差順次出力を例として説明を行った。これは、処理の切れ目を明確にし、機能ブロックの分離性を高める構成で説明することで本件によって実現される優れた機能と効果を明確化するためである。第１補正処理の最後が輝度色信号生成部１８の最前段となる構成でもよい。また、一体化するのであれば、輝度色信号処理において、輝度データはそのまま使用し、色データは別途色差生成部に入力するという構成をとってもよい。
　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
　以上のように、本発明にかかる画像信号処理装置は、補色フィールド色差順次信号画像を歪曲収差補正するとき、垂直方向については、補色フィールド色差順次信号に対して、空間位相が遠い色データ、色データに対応する輝度データと、空間位相が近い輝度ベースデータを用いて良好な画質の補色フィールド色差順次カラー画像信号を得ることができ、監視カメラ等の歪曲補正処理装置等として有用である。
　１　画像信号処理装置
　１０　前段処理部
　１２　フレームメモリ
　１６　第１の歪曲補正処理部
　１８　輝度色信号生成部
　２０　第２の歪曲補正処理部
　２２　後段処理部
　２４　アドレス生成部
　２６　色データ選択部
　２８　色データ生成部
　３０　輝度データ生成部
　３２　色データ対応輝度データ選択部
　３４　色データ対応輝度データ生成部
　３６　輝度ベースデータ生成部
　３８　補色データ生成部
　１００　色プレーン分解部
　１０２　座標変換部
　１０４　サンプリング部
　１０６　色生成部

Claims (5)

  1. 　フィールド色差順次補色形式の画像データを格納するフレームメモリと、
    　予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するアドレス生成部と、
    　前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成する色データ生成部と、
    　前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部と、
    　前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成する輝度ベースデータ生成部と、
    　前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成する補色データ生成部と、
    　を備える画像信号処理装置。
  2. 　前記補色データ生成部にて生成された補色データに基づいて、輝度色信号を生成する輝度色信号生成部と、
    　前記輝度色信号生成部にて生成された輝度色信号の水平方向における歪曲収差を補正する補正処理部と、
    　を備える請求項１に記載の画像信号処理装置。
  3. 　フレームメモリにフィールド色差順次補色形式の画像データを格納するステップと、
    　予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するステップと、
    　前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、
    　前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、
    　前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、
    　前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成するステップと、
    　を備える画像信号処理方法。
  4. 　フィールド色差順次補色形式の画像データの歪曲収差を補正するためのプログラムであって、コンピュータに、
    　フレームメモリに前記画像データを格納するステップと、
    　予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するステップと、
    　前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、
    　前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、
    　前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、
    　前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成するステップと、
    　を実行させるプログラム。
  5. 　請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2011/005954 2010-10-26 2011-10-26 画像信号処理装置、画像信号処理方法およびプログラム WO2012056684A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/392,763 US8682069B2 (en) 2010-10-26 2011-10-26 Image signal processing apparatus, image signal processing method, and program
CN201180003577.2A CN103154999B (zh) 2010-10-26 2011-10-26 图像信号处理装置、图像信号处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-239523 2010-10-26
JP2010239523A JP5503497B2 (ja) 2010-10-26 2010-10-26 画像信号処理装置、画像信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2012056684A1 true WO2012056684A1 (ja) 2012-05-03

Family

ID=45993430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/005954 WO2012056684A1 (ja) 2010-10-26 2011-10-26 画像信号処理装置、画像信号処理方法およびプログラム

Country Status (4)

Country Link
US (1) US8682069B2 (ja)
JP (1) JP5503497B2 (ja)
CN (1) CN103154999B (ja)
WO (1) WO2012056684A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531067B2 (en) 2017-03-26 2020-01-07 Apple Inc. Enhancing spatial resolution in a stereo camera imaging system
JP7210337B2 (ja) * 2019-03-14 2023-01-23 株式会社東芝 画像処理装置、及び、歪み補正係数算出方法
WO2021195829A1 (zh) * 2020-03-30 2021-10-07 深圳市大疆创新科技有限公司 图像处理方法、装置和可移动平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795595A (ja) * 1993-09-21 1995-04-07 Canon Inc カラー撮像装置
JP2008301395A (ja) * 2007-06-04 2008-12-11 Panasonic Corp 映像信号処理回路および固体撮像装置
JP2009157733A (ja) * 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61214862A (ja) * 1985-03-21 1986-09-24 Canon Inc カラ−画像形成方法
KR910006465B1 (ko) * 1988-12-31 1991-08-26 삼성전자 주식회사 영상신호와 보색관계를 가지는 문자를 영상신호에 삽입하는 문자 합성장치
US5422738A (en) * 1990-10-22 1995-06-06 Matsushita Electric Industrial Co., Ltd. Color image forming method and an apparatus employed therefor, and a correction factor determining method
US5452018A (en) * 1991-04-19 1995-09-19 Sony Electronics Inc. Digital color correction system having gross and fine adjustment modes
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5474494A (en) * 1994-03-17 1995-12-12 Sims; Ralph W. Fish cleaning apparatus
JP3707187B2 (ja) * 1996-09-18 2005-10-19 コニカミノルタホールディングス株式会社 電子カメラ
JP3909930B2 (ja) * 1997-09-30 2007-04-25 オリンパス株式会社 単板カラー固体撮像装置
JP3969836B2 (ja) * 1998-04-24 2007-09-05 キヤノン株式会社 信号処理装置および撮像用信号処理方法
US7009734B2 (en) * 2000-08-22 2006-03-07 Canon Kabushiki Kaisha Method and apparatus for forming color transform lookup table, and image processing method
JP3745948B2 (ja) * 2000-08-25 2006-02-15 シャープ株式会社 画像処理装置およびデジタルカメラ
JP4055927B2 (ja) * 2000-08-25 2008-03-05 シャープ株式会社 画像処理装置およびデジタルカメラ
JP3634730B2 (ja) * 2000-09-18 2005-03-30 三洋電機株式会社 色調補正回路および色相補正回路
JP3744808B2 (ja) * 2001-03-28 2006-02-15 セイコーエプソン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN1219395C (zh) * 2002-01-30 2005-09-14 株式会社理光 摄像装置和摄像方法
JP4158496B2 (ja) * 2002-11-18 2008-10-01 松下電器産業株式会社 画像処理装置
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4600301B2 (ja) * 2006-01-16 2010-12-15 ソニー株式会社 色差信号の補正方法とこれを用いた色差信号処理回路及びカメラシステム
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP4781229B2 (ja) * 2006-11-01 2011-09-28 キヤノン株式会社 歪曲収差補正装置、撮像装置、及び歪曲収差補正装置の制御方法
JP5036421B2 (ja) 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795595A (ja) * 1993-09-21 1995-04-07 Canon Inc カラー撮像装置
JP2008301395A (ja) * 2007-06-04 2008-12-11 Panasonic Corp 映像信号処理回路および固体撮像装置
JP2009157733A (ja) * 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置

Also Published As

Publication number Publication date
JP5503497B2 (ja) 2014-05-28
JP2012095020A (ja) 2012-05-17
US20120169904A1 (en) 2012-07-05
CN103154999B (zh) 2016-05-25
CN103154999A (zh) 2013-06-12
US8682069B2 (en) 2014-03-25

Similar Documents

Publication Publication Date Title
JP4104571B2 (ja) 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
EP2458873B1 (en) Image processing device for correcting chromatic aberration, method for processing image, program, and storage medium
CN102968761B (zh) 图像处理设备和图像处理方法
JP5438579B2 (ja) 画像処理装置及びその制御方法
EP2184915B1 (en) Image processing device, image processing method, and image processing program
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
KR20100051056A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP5503497B2 (ja) 画像信号処理装置、画像信号処理方法およびプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4827213B2 (ja) 画像補正装置および画像補正方法
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP2014110507A (ja) 画像処理装置および画像処理方法
JPH0795595A (ja) カラー撮像装置
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP6108773B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5334265B2 (ja) 倍率色収差・像歪補正装置およびそのプログラム
JP2012142676A (ja) 撮像装置及び画像生成方法
JP4385890B2 (ja) 画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラム
JP5780747B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003577.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13392763

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11835829

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11835829

Country of ref document: EP

Kind code of ref document: A1