WO2013114803A1 - 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム - Google Patents

画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム Download PDF

Info

Publication number
WO2013114803A1
WO2013114803A1 PCT/JP2013/000196 JP2013000196W WO2013114803A1 WO 2013114803 A1 WO2013114803 A1 WO 2013114803A1 JP 2013000196 W JP2013000196 W JP 2013000196W WO 2013114803 A1 WO2013114803 A1 WO 2013114803A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
pixels
information
color correction
Prior art date
Application number
PCT/JP2013/000196
Other languages
English (en)
French (fr)
Inventor
康史 平川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013114803A1 publication Critical patent/WO2013114803A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Definitions

  • the present invention relates to a technical field for correcting an input image based on a photographed image, for example.
  • Such monitoring system cameras are installed in various places, outdoors and indoors. Then, in the image photographed by the camera, the color of the subject (so-called color) changes depending on the surrounding state. For example, the image becomes whitish due to strong sunlight or light such as illumination. In addition, the image becomes dark due to the reduction of illumination accompanying dusk, cloudy weather, or power saving. Furthermore, the color changes in various ways while the ambient light changes.
  • the color of the photographed image may be varied due to the influence of individual differences such as the spectral sensitivity characteristics and lens characteristics of the cameras themselves.
  • the color chart includes a plurality of patches (ideal color samples) whose color values are measured under an ideal specific light source.
  • the color values of these patches are publicly available.
  • the pixel value is defined as a value representing a gradation representing pixel shading and a color tone, which is color information, as a discrete number. Whether to use gradation or tone depends on the color space to be used.
  • a color correction parameter that approximates the measured pixel value to the pixel value of the ideal color is estimated, and a color correction function obtained based on the color correction parameter is applied to the entire area of the input image.
  • a color-corrected image can be obtained.
  • Patent Document 1 discloses a technique for correcting the color of an input image based on a background image previously captured by a surveillance camera.
  • the installer wants to calibrate some colors of the pixels of the background image with a color chart and complement other colors to approximate the pixel value of the ideal color.
  • the position of the pixel of the background image and the pixel value are stored in a reference table.
  • Patent Document 1 extracts a background image from an actual input image, extracts a background image, examines pixel values in the image in time series, and creates a histogram. A pixel value having the highest frequency for each section of the histogram is set as a background region candidate.
  • the above-described background region candidate is a moving object by taking a difference between frames, and if it is not a moving object, it is extracted as a background region.
  • Patent Document 1 is a pixel value of a pixel at a corresponding position in a reference table that holds a pixel position and a pixel value of a background image that has been corrected by a color chart, created at the time of initial setting. And the pixel value of the pixel in the background area extracted from the actual input image by the above-described means. And the technique of patent document 1 updates a color correction parameter, when both differ as a result of comparison.
  • Patent Document 1 examines pixel values in an image in time series to create a histogram, and uses the value of the most frequently used pixel in the histogram as a background region candidate. For this reason, there is a possibility that the color of the image corrected based on it is biased.
  • the obtained color correction reference table Color correction may not work.
  • the main object of the present invention is to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors in order to solve the above-described problems.
  • the image processing apparatus classifies pixels constituting a reference image obtained by color-correcting a background image in advance using a color sample into a plurality of sections according to the pixel values of the pixels, and the classified sections.
  • a color correction coefficient that approximates the pixel value of a pixel constituting the input image including the background image to be processed corresponding to the position of the selected pixel to the pixel value of the selected pixel is obtained. It is characterized by.
  • a computer program that implements the image processing apparatus having the above-described configuration and the corresponding method by a computer, and a computer-readable storage medium that stores the computer program.
  • a computer program according to the present invention is a computer program for controlling an image processing apparatus, and a pixel of a reference image obtained by performing color correction on a background image in advance using a color sample by the computer program is selected as the pixel of the pixel. According to the value, it is classified into a plurality of sections, and a predetermined number of pixels are selected for each of the classified sections, and a plurality of types of instability factors each exceed a predetermined threshold, which are pixels of the input image.
  • the pixel value of the pixel constituting the input image including the background image to be processed corresponding to the position of the selected pixel with respect to the pixel excluding the pixel from the pixel of the input image is set to the value of the selected pixel.
  • a computer is provided with a function of obtaining a color correction coefficient that approximates a pixel value.
  • an image processing system that is another aspect of the present invention that solves the same object includes the image processing apparatus that is connected to each other through a communication network and that includes an information processing apparatus installed at a camera installation site.
  • the image processing apparatus includes another information processing apparatus that remotely monitors an image transmitted from the image processing apparatus, and the image processing apparatus has the above-described configuration, and performs color correction based on the obtained color correction coefficient This is achieved by a system that corrects the color of the input image using a function, transmits the corrected image through a communication network, and displays the image at a monitoring site.
  • an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • FIG. 1 is a block diagram illustrating an overview of an image processing apparatus according to a first embodiment of the present invention. It is a block diagram which shows the outline
  • FIG. 1 is a block diagram showing an outline of an image processing apparatus according to the first embodiment of the present invention.
  • the configuration of the image processing apparatus 10 according to the present embodiment includes a control unit 1 and a correction unit 2.
  • the control unit 1 is connected to the correction unit 2.
  • the control unit 1 outputs a color correction coefficient 15 according to the input image 12 and passes the color correction coefficient 15 to the correction unit 2.
  • the correction unit 2 outputs a color correction result image 13 in response to the input image 12 and the color correction coefficient 15 being input.
  • the preprocessing unit 3 captures the background image 11 in advance and outputs the reference image 14 to the control unit 1.
  • the reference image 14 is an image in which the background image 11 is color-corrected by the pre-processing unit 3 using a color sample (not shown, the same applies hereinafter).
  • the background image 11 is a background region that becomes a background in the input image 12 photographed by the image processing apparatus 10.
  • the color sample is, for example, a plate-like object in which color samples are arranged.
  • the color sample has a known value, that is, a pixel value of an ideal color under a specific lighting environment.
  • the color correction coefficient 15 is a coefficient used when the pixel value of the pixel forming the input image 12 is brought close to the pixel value of the pixel forming the reference image 14 at the corresponding position.
  • the installer of the image processing apparatus 10 uses the preprocessing unit 3 to capture the background image 11 captured under an illumination environment at an arbitrary time under the same conditions.
  • the reference image 14 is created by correcting the color based on the color sample.
  • control unit 1 classifies into a plurality of sections (not shown, the same applies hereinafter) according to the pixel values of the pixels forming the reference image 14 input from the preprocessing unit 3.
  • control unit 1 selects a predetermined number of pixels for each classified section of the pixels forming the reference image 14 classified into the plurality of sections described above.
  • control unit 1 randomly selects a predetermined number of pixels for each section classified according to the pixel values of the pixels forming the reference image 14. Therefore, when the coordinates of the selected pixel are mapped onto a real image, the coordinates are completely random. That is, the pixels are selected in a distributed manner.
  • control part 1 should just select in the range of the minimum number decided beforehand, when the number of the pixel values of the division is small and is less than the fixed number.
  • control unit 1 corrects the pixel value of the pixel of the input image 12 including the background image to be processed and close to the pixel value of the selected pixel at the position corresponding to the selected pixel. A color correction coefficient 15 is obtained. Then, the control unit 1 outputs the color correction coefficient 15 to the correction unit 2.
  • the correction unit 2 obtains a color correction result image 13 by correcting the input image 12 using a color correction function (not shown, the same applies hereinafter) based on the color correction coefficient 15.
  • control unit 1 may remove unnecessary pixels included in the input image 12 by a removal unit (not shown) in advance. For example, a pixel including noise from an imaging circuit of a camera, a pixel whose pixel value is saturated, or a pixel whose pixel value is insufficient corresponds to an unnecessary pixel.
  • the image processing apparatus 10 has a predetermined value for each section in which the pixels forming the reference image 14 based on the background image 11 output from the preprocessing unit 3 are classified according to the pixel values. Select the number of pixels. Then, the image processing apparatus 10 calculates a color correction coefficient 15 for performing color correction on the corresponding pixel of the input image 12 with the selected pixel as a reference.
  • the image processing apparatus 10 can cope with the input image 12 captured in various lighting environments by selecting a predetermined number of pixels from each section in which the pixels forming the reference image 14 are classified in advance.
  • the pixels of the input image 12 to be selected can be selected to be distributed.
  • the color of the input image 12 is corrected so as to be close to the pixel value of the pixel constituting the selected reference image 14, even if the color of the photographed background image 11 is biased, the color close to the reference image 14 is reproduced. be able to.
  • the image processing apparatus According to the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that reproduces a wide range of colors using various colors of the reference image based on the background image.
  • FIG. 2A and 2B are block diagrams illustrating an overview of an image processing apparatus according to the second embodiment.
  • the image processing apparatus 100 illustrated in FIG. 2A includes a classified pixel extraction unit 101 and a color correction parameter calculation unit 103.
  • the classified pixel extraction unit 101 is connected to the color correction parameter calculation unit 103.
  • the color correction parameter calculation unit 103 is connected to the color correction unit 104.
  • a color correction pixel candidate extraction unit 102 is added to FIG. 2A.
  • the color correction pixel candidate extraction unit 102 is connected to the color correction parameter calculation unit 103.
  • the classified pixel extraction unit 101, the color correction pixel candidate extraction unit 102, and the color correction parameter calculation unit 103 are as follows. This corresponds to the control unit 1 in the first embodiment.
  • the color correction unit 104 corresponds to the correction unit 2 in the first embodiment.
  • the preprocessing unit 3 that outputs the reference color image information 110 corresponds to the preprocessing unit 3 shown in the schematic block diagram (FIG. 1) in the first embodiment.
  • the reference color image information 110 (which can also be referred to as a reference image) shown in FIGS. 2A and 2B is information on a color that serves as a reference when the input image 120 is color-corrected.
  • the pixel (not shown) of an ideal image generated by performing color correction on the background image in advance is information representing the coordinates and pixel values of the pixel.
  • the preprocessing unit 3 the classification pixel extraction unit 101, the color correction pixel candidate extraction unit 102, the color correction parameter calculation unit 103, and the color correction unit 104, which are main parts constituting this embodiment, will be described in order.
  • FIG. 3 is a block diagram showing details of the preprocessing unit 3 applicable to the image processing apparatus according to the second embodiment of the present invention.
  • the preprocessing unit 3 includes a noise, pixel value saturation and insufficient pixel removal unit 201, a color correction parameter calculation unit 202 based on a color chart, a color correction unit 203, a reference color image information extraction unit 204, and an edge calculation unit 215. , An edge histogram calculation unit 209 and an ideal image edge histogram information storage unit 205.
  • the background image 210 and the color chart image 220 are input to the noise, pixel value saturation and insufficient pixel removal unit 201.
  • the noise, pixel value saturation and insufficient pixel removal unit 201 is connected to a color correction parameter calculation unit 202 and a color correction unit 203 using a color chart.
  • the color correction unit 203 receives the color correction parameter 270 from the color correction parameter calculation unit 202 based on the color chart, and is connected to the reference color image information extraction unit 204 and the edge calculation unit 215.
  • the edge calculation unit 215 is connected to the edge histogram calculation unit 209.
  • the edge histogram calculation unit 209 is connected to the ideal image edge histogram information storage unit 205.
  • the calculation of the reference color image information 110 uses a background image 210 photographed at an angle during operation under an illumination environment at an arbitrary time, and a color chart image 220 photographed under the same conditions.
  • the color chart image 220 is obtained by photographing a color chart that includes a plurality of patches that are regions of a specific color.
  • the ideal pixel value of this specific color is known in advance by examining it under a specific light source.
  • noise such as unwanted sesame salt-like points generated by an image pickup circuit of a camera or a jagged pattern (so-called jaggy, the same applies hereinafter) generated in the image outline, pixel value saturation (so-called overexposed).
  • pixel value saturation generated in the image outline
  • blackening the pixel value deficiency
  • deficient pixel removing unit 201 A specific method for removing these unnecessary pixels will be described later.
  • the color correction parameter calculation unit 202 based on the color chart extracts the color value of each patch of the color chart by identifying the color chart image 220 manually or automatically.
  • the color correction parameter calculation unit 202 based on the color chart obtains and outputs a color correction parameter 270 to be given to the color correction function so that the extracted pixel value of each patch approaches the ideal pixel value of each patch.
  • the color correction unit 203 performs color correction on the background image 210 captured under the same conditions as when the color chart was captured using a color correction function (not shown) generated by applying the color correction parameter 270 obtained above.
  • the ideal image 280 is obtained.
  • the reference color image information extraction unit 204 outputs the reference color image information 110 indicating the coordinates of the pixels of the ideal image 280 and the pixel values thereof.
  • the ideal image 280 obtained by color-correcting the background image 210 using the color chart image 220 can be said to be an image that is the basis of the reference image having the reference color image information 110.
  • linear conversion or non-linear conversion may be used as the color correction function.
  • the color correction parameter 270 is given by the color correction parameter calculation unit 202 based on the color chart by a color correction matrix having the above-described color correction function or a color correction table.
  • the conversion is not limited to these conversion methods, and conversion may be performed using other methods.
  • the color correction parameter and the color correction function use the shooting site environment, an appropriate conversion method confirmed in advance based on experiments, and appropriate parameters and functions based on the conversion method.
  • the edge calculation unit 215 extracts edge information (not shown) of the ideal image from the ideal image 280. Then, the edge histogram calculation unit 209 classifies the edge histogram indicating the intensity and direction of the edge based on the edge information of the ideal image, and extracts the classification result as ideal image edge histogram information 295.
  • the obtained ideal image edge histogram information 295 is stored in the ideal image edge histogram information storage unit 205. Further, the edge histogram information of the ideal image edge histogram information storage unit 205 is used in a correlation extraction unit 1213 that extracts the correlation between the edge histograms of the input image 120 and the ideal image 280 in a fourth embodiment described later.
  • the image of the background image 210 and the color chart image 220 by the pre-processing unit 3 at the time of initial installation in the above-described shooting site environment is used during normal operation using a camera switching circuit (not shown). It is assumed that the camera used for is switched.
  • An example of removing noise existing in the background image 210 and the color chart image 220 includes image smoothing processing, but is not limited to this method. If noise can be removed, other methods can be used. It doesn't matter. Here, for example, a sesame salt-like point from an imaging circuit of a camera, a jagged pattern in the contour portion, and the like correspond to the above noise.
  • the noise, pixel value saturation and deficient pixel removing unit 201 detects a pixel having a saturated or deficient pixel value from the input background image 210 and color chart image 220, and removes the pixel in advance. .
  • a saturated pixel is a pixel whose pixel value is the maximum value of the dynamic range. That is, a saturated pixel refers to a pixel whose value in real space may have exceeded its maximum value.
  • a saturated pixel is a pixel to be removed that does not have significant information.
  • each R, G, B value takes 0 to 255
  • a pixel in which any of the R, G, and B element values exceeds 255 cannot record the pixel value (that is, the luminance value of the element; hereinafter the same), and the pixel information may be saturated.
  • the pixel value is 0, it indicates that the pixel value does not exist (is insufficient).
  • Equation 1 only a pixel in a certain color space (a set of coordinates and pixel values) is included in the range from the threshold Th1 to Th2, and the pixel information is not saturated. Extracted as information pixels.
  • c is a color element in the color space (for example, R, G, or B in the RGB color space), and xy indicates the coordinates of the pixel.
  • the threshold value is set to a value slightly inside the dynamic range of the actual RGB color space in consideration of the variation factor of the pixel value due to noise or the like.
  • the range of pixel values to be taken is 10 ⁇ pixel (x, y, c) ⁇ 245. This value is an example, and the value is not limited to this value.
  • the removal of pixels with pixel value saturation and insufficient pixel values is not limited to the above-described method, and other methods may be used as long as pixels with pixel value saturation and insufficient pixel values can be removed in advance.
  • the noise, pixel value saturation and insufficient pixel removal unit 201 obtains the background image information 250 and the color chart image information 260 by removing the noise, pixel value saturation and pixel value insufficient pixels by the method described above.
  • the classified pixel extraction unit 101 classifies pixels according to categories, that is, sections, according to the pixel values of the reference color image information 110, and holds each pixel as a set of coordinates and pixel values.
  • the classified pixel extraction unit 101 selects a set of pixel coordinates and pixel values that match the coordinate information 140 obtained from the color correction parameter calculation unit 103 among the held sets of coordinates and pixel values. It outputs as 150.
  • the RGB space is divided at regular intervals according to the values taken by the R, G, and B elements.
  • the pixels are classified into sections. That is, the pixels are sorted in each section by a classification like a histogram.
  • the color space and the classification method for classifying into sections are not necessarily limited to the above-described methods.
  • YUV where Y is a luminance signal, U is a difference signal of a blue component, and V is a red component
  • the pixels may be classified using another color space such as a difference signal.
  • a classification method a category may be set dynamically using a cluster classified using a clustering method such as the k-means method, or another classification method may be used.
  • FIG. 4 is an example of a block diagram illustrating details of the color correction pixel candidate extraction unit of the image processing apparatus according to the second embodiment of the present invention.
  • the color correction pixel candidate extraction unit 102 removes, from the input image, pixels in which the noise from the imaging circuit of the camera is low and the pixel value is saturated or insufficient, for example. Then, the color correction pixel candidate extraction unit 102 considers a pixel without a foreground object such as a person or an object as a stable pixel that can suppress an error when calculating the color correction parameter information 170, and determines the characteristics thereof. The purpose is to extract the pixels it has.
  • the color correction pixel candidate extraction unit 102 includes a background model storage device 1214, an information saturation pixel extraction unit 1201, a background model difference extraction unit 1202, a pixel variation value calculation unit 1203, and a stable pixel determination unit 1204.
  • the information saturation pixel extraction unit 1201 is connected to the pixel variation value calculation unit 1203 and the stable pixel determination unit 1204.
  • the background model difference extraction unit 1202 is connected to the background model storage device 1214, the pixel variation value calculation unit 1203, and the stable pixel determination 1204.
  • the color correction pixel candidate extraction unit 102 shown in FIG. 4 outputs the color correction pixel candidate information 160 that is a stable pixel and is a color correction candidate by removing the following three unstable pixels.
  • the purpose is to do.
  • the information saturation pixel extraction unit 1201 extracts the information saturation pixel if the pixel value of the pixel in the background area constituting the input image 120 is saturated or insufficient, and is stable as the information saturation pixel information 1230. The result is output to the pixel determination unit 1204.
  • the information saturation pixel extraction method can employ the same functions as the noise, pixel value saturation and pixel value deficiency and pixel value saturation removal of the pixel deficiency removal unit 201 shown in FIG. .
  • the background model difference extraction unit 1202 calculates a difference between the input image 120 and the background model information 1210 indicating the background accumulated in the background model storage device 1214, and uses this difference as background model difference information 1240. This is output to the fluctuation value calculation unit 1203 and the stable pixel determination unit 1204.
  • the background model difference extraction unit 1202 responds to the pixel value difference between the background region of the input image 120 and the pixel of the input image 120 that matches the coordinates of the background model information 1210 held as the initial value by the background model storage device 1214. Then, it is determined whether or not the pixel is the background. Then, the background model difference extraction unit 1202 holds the determination result and its coordinates, and calculates the background model difference information 1240.
  • the background difference model extraction unit 1202 updates the background model stored in the background model storage device 1214 with the background model update information 1220 when the background model image changes.
  • background area extraction based on the background model information 1210 there is a method of determining based on the pixel value of the background area obtained by the background area extraction method based on the difference between the input image and the background model image.
  • the method for updating the background model image there is a method of updating the result of weighted averaging of the pixel values of the background model image as the pixels of the background model image after the determination by the method as described above.
  • the method for determining whether or not the image is a background image and the method for updating the background model when the background image changes are not limited to the above-described methods, and a method for determining other background regions. Or a combination of background model image update methods.
  • the pixel variation value calculation unit 1203 is previously set to a predetermined threshold value based on the information saturation pixel information 1230 output from the information saturation pixel extraction unit 1201 and the background model difference information 1240 output from the background model difference extraction unit 1202. Exceeding pixels are excluded from the input image 120.
  • the pixel variation value calculation unit 1203 records the coordinates and pixel values of the pixels of the input image 120 configured with pixels other than the unnecessary pixels that have been removed for a predetermined time, and changes in the recorded pixel values with respect to time. Is obtained.
  • the pixel fluctuation value calculation unit 1203 calculates pixel fluctuation value information 1250 in which the pixels whose calculated fluctuation values are less than a predetermined value are recorded together with the coordinates.
  • the pixel value variation value calculation method includes, for example, dispersion, but is not limited to this method, and may be an index indicating other variation.
  • the pixel variation value calculation unit 1203 is a pixel in which the pixel value of the information saturated pixel information 1230 is not saturated, and the input image 120 matches the coordinates of the pixel determined as the background region of the background model difference information 1240. The pixel value of each pixel is recorded for a predetermined time. Then, the pixel variation value calculation unit 1203 calculates a numerical value (variation value) indicating the variation of the pixel value.
  • the pixel variation value calculation unit 1203 outputs the coordinates and variation values of each pixel, and coordinates where the variation value is not calculated to the stable pixel determination unit 1204 as pixel variation value information 1250.
  • dispersion indicating the change with respect to time of each pixel value in the input image within a predetermined time can be used.
  • the method is not limited to this method, and a method of calculating a variation value other than the variance may be used.
  • the stable pixel determination unit 1204 extracts stable pixels and outputs the coordinates and pixel values to the color correction parameter calculation unit 103 as color correction pixel candidate information 160.
  • the color correction parameter calculation unit 103 illustrated in FIG. 2B is based on the color correction pixel candidate information 160 of the color correction pixel candidate extraction unit 102, the input image 120, and the classification pixel information 150 of the classification pixel extraction unit 101. Correction parameter information 170 is calculated.
  • the color correction parameter calculation unit 103 selects a predetermined number of pixels from each of the divisions classified according to the pixel values by the classification pixel information 150. Then, the color correction parameter calculation unit 103 extracts the coordinates of pixels that can be used for color correction included in the color correction pixel candidate information 160 corresponding to the selected coordinates.
  • the color correction parameter calculation unit 103 specifies the coordinates to be selected by using coordinate information 140 described later.
  • the color correction parameter calculation unit 103 determines that the pixel of the partition is the lowest if there is a minimum number of pixels smaller than the predetermined number determined in advance. Extract more than a few.
  • the minimum number is a value used for determining that the area in the image is very small and the number of pixels is small for use in color correction.
  • the color correction parameter calculation unit 103 calculates color correction parameter information 170 to be given to a subsequent color correction function (not shown) and outputs the color correction parameter information 170 to the color correction unit 104.
  • the color correction unit 104 performs color correction of the area of the input image 120 using a color correction function in which the color correction parameter information 170 obtained from the color correction parameter calculation unit 103 is set, and outputs the result as a color correction result image 130.
  • the color correction parameter calculation method is the same as the method in which the color correction parameter calculation unit 202 (see FIG. 3) using the color chart in the preprocessing unit 3 calculates the color correction parameter 270. Description is omitted.
  • FIG. 5 is a block diagram showing details of the color correction parameter calculation unit of the image processing apparatus according to the second embodiment of the present invention.
  • the color correction parameter calculation unit 103 includes a color correction parameter estimation pixel information selection unit 401 and a color correction parameter calculation unit 402.
  • the color correction parameter estimation pixel information selection unit 401 is connected to the color correction parameter calculation unit 402.
  • the color correction parameter estimation pixel information selection unit 401 selects a predetermined number of pixels from each of the sections classified according to the pixel values in the classified pixel information 150 by specifying them with the coordinate information 140. Furthermore, the color correction parameter estimation pixel information selection unit 401 selects a pixel of the color correction pixel candidate information 160 that is the coordinate of the corresponding stable pixel, and uses the selected coordinate and pixel value as the selected pixel information 410. It passes to the parameter calculation unit 402 for color correction.
  • the color correction parameter estimation is performed on the size of pixels that constitute the input image 120 in advance divided into blocks (for example, the input image is M pixels in the horizontal direction and N pixels in the vertical direction). This is set in the pixel selection unit 401. Then, for each block range, stable pixels are randomly extracted within the section classified by the pixel value.
  • a method of setting random coordinates on an image and extracting a stable pixel from each of the pixels included in a predetermined range from the coordinates can be considered.
  • the present invention does not limit the method for selecting candidate pixels for color correction to be subjected to color correction to the above-described method, and the corresponding actual image can be selected by selecting the classified pixels in each section. Any other method may be used as long as it can be selected so as to distribute the coordinates.
  • the pixels included in the section are not used for color correction and are not output as the selected pixel information 410.
  • the color correction parameter calculation unit 402 calculates the color correction parameter of the color correction function using the pixel of the selected pixel information 410 and the pixel value of the input image 120 at the same coordinates as the pixel, and as the color correction parameter information 170.
  • the data is output to the color correction unit 104.
  • the color correction function (not shown) using the color correction parameter information 170 is, for example, linear conversion or non-linear conversion as described in the preprocessing unit 3.
  • Use a function such as The color correction parameters may be any corresponding to those functions.
  • the present invention is not limited to these methods, and other methods may be used.
  • FIGS. 2A and 2B FIGS. 3, 4, 5, and a flowchart.
  • FIG. 6 is a flowchart showing a control flow of the image processing apparatus according to the second embodiment of the present invention.
  • the preprocessing unit 3 (see FIG. 3) of the image processing apparatus 100 according to the present embodiment displays a color chart under the same shooting conditions (that is, the same time and the same shooting angle) as the background image. Prepare the captured image.
  • the color correction parameter calculation unit 202 (see FIG. 3) based on the color chart gives the color correction function by comparing the pixel value of the photographed color chart image 220 with the disclosed ideal pixel value.
  • a color correction parameter 270 is calculated.
  • the color correction unit 203 uses the background image information 250 after removing noise or pixel values saturated or insufficient pixels from the background image 210 and the color correction parameter 270 to use the ideal image. By outputting 280, the background image 210 is color-corrected in advance.
  • this operation is an initial setting that is manually or automatically performed by the installer of the image processing apparatus 100 when installing the image processing apparatus 100 in the field.
  • the reference color image information extraction unit 204 (see FIG. 3) outputs the coordinates and pixel values of the pixels of the ideal image 280 as the reference color image information 110 (step S1001).
  • the classified pixel extraction unit 101 classifies the pixels included in the reference color image information 110 into a plurality of sections according to the pixel values.
  • the classification pixel extraction unit 101 outputs the classification result as classification pixel information 150 (step S1002).
  • the classification method of the reference color image information 110 uses the pixel classification method of the classification pixel extraction unit 101 described in the present embodiment.
  • the information saturation pixel extraction unit 1201 extracts information saturation pixels from the pixels of the input image 120 and outputs information saturation pixel information 1230 (step S1003).
  • the information saturated pixels include pixels whose pixel values are insufficient due to insufficient illumination brightness, in addition to pixels whose pixel values are saturated.
  • the background model difference extraction unit 1202 (see FIG. 4) has a pixel value between the background region of the input image 120 and the pixels of the input image 120 that match the coordinates of the background model information 1210 stored in the background model storage device 1214. Whether or not the pixel is the background is determined according to the difference.
  • the background model difference extraction unit 1202 outputs the determination result and its coordinates as background model difference information 1240. (Step S1004).
  • the pixel variation value calculation unit 1203 excludes the information saturation pixel obtained in step S1003 and the coordinates of the pixel determined not to be the background region of the background model difference information 1240 obtained in step S1004.
  • the coordinates and pixel values of each pixel of the input image 120 are recorded for a predetermined time.
  • the pixel fluctuation value calculation unit 1203 obtains a fluctuation value indicating the temporal change of the recorded pixel value.
  • the pixel variation value calculation unit 1203 extracts and outputs pixel variation value information 1250 in which pixels whose variation value is less than a predetermined value are recorded together with coordinates and pixel values (step S1005).
  • the stable pixel extraction unit 1204 (see FIG. 4) of the color correction pixel candidate extraction unit 102 is not a background image in the pixel of the information saturated pixel information 1230 in step 1003 and the background model difference information 1240 in step S1004. And the pixel whose variation value of the pixel variation value information 1250 in step S1005 is a predetermined value or less is removed.
  • the stable pixel extraction unit 1204 of the color correction pixel candidate extraction unit 102 extracts and outputs the pixel coordinates and pixel values as the color correction pixel candidate information 160 (step S1006).
  • the color correction parameter estimation pixel information selection unit 401 (see FIG. 5) of the color correction parameter calculation unit 103 outputs the classification output by the classification pixel extraction unit 101 (see FIGS. 2A and 2B) in step S1002.
  • a predetermined number of pixels are selected from each of the classified sections of the pixel information 150 by specifying the coordinate information 140.
  • the color correction parameter estimation pixel information selection unit 401 selects a pixel of the color correction pixel candidate information 160 corresponding to the position of the selected pixel.
  • the color correction parameter estimation pixel information selection unit 401 outputs the selected pixel as selection pixel information 410 to the color correction parameter calculation unit 402 (step S1007).
  • the color correction parameter calculation unit 402 uses a color correction function based on the pixels of the selected pixel information 410 extracted in step S1007 and the pixel values of the input image 120 corresponding to the coordinates.
  • the given color correction parameter information 170 is calculated and output (step S1008).
  • the color correction unit 104 gives the input image 120 to the color correction function in which the color correction parameter information 170 is set, color-corrects the area of the input image 120, and performs the color-corrected image.
  • a color correction result image 130 composed of the coordinates and the pixel value is output (step S1009).
  • the color correction parameter may be calculated for the input image 120 as it is.
  • a pixel value that is saturated or insufficient a pixel that is determined not to be a background region based on a difference between the input image 120 and the background region, and a variation per unit time of pixels that are excluded from the input image 120 A pixel whose value exceeds a predetermined threshold corresponds to an unnecessary pixel.
  • steps S1003 to S1006 shown in FIG. 6 can be omitted.
  • the information saturation pixel extraction unit 1201, the background model difference extraction unit 1202, the pixel variation value calculation unit 1203, and the stable pixel determination unit 1204 (see FIG. 4) of the color correction pixel candidate extraction unit 102 are not used. Accordingly, the color correction pixel candidate information 160 (see FIG. 5) is not used. That is, the configuration shown in FIG. 2A may be used.
  • the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by performing color correction on the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section. Then, the image processing apparatus calculates a color correction coefficient for correcting the color of the corresponding pixel of the input image with reference to the selected pixel.
  • the image processing apparatus by applying the color correction function using the obtained color correction coefficient to the input image including the background image to be processed, the A wide range of colors can be corrected, and the effect of improving the color reproducibility can be achieved.
  • the image processing apparatus selects pixels of a real image by selecting a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. Choose to disperse. Then, the image processing apparatus obtains a color correction parameter that makes the pixel obtained by excluding unnecessary pixels from the input image close to the pixel of the selected reference image.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color close to the reference image, which is less biased to the color of the background image and less affected by external light. be able to.
  • the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • FIG. 7 is a block diagram showing a color correction pixel candidate extraction unit applicable to the image processing apparatus according to the third embodiment of the present invention.
  • the pixel value is changed by changing illumination.
  • an edge calculation unit 1205 that extracts a portion that easily fluctuates (for example, the contour portion of an image) and a foreground object detection unit 1206 that extracts a portion that overlaps the front surface of the background image (for example, a foreground image) are different.
  • the foreground object is defined as an object such as a person or object existing in front of the background image in the input image.
  • the edge calculation unit 1205 and the foreground object recognition extraction unit 1206 are connected to the stable pixel determination unit 1207.
  • the background model storage device 1214 is connected to the background model difference extraction unit 1202.
  • the edge calculation unit 1205 calculates an edge component in order to extract a stable pixel excluding an edge component whose pixel value variation is generally large.
  • the edge calculation unit 1205 extracts an edge component from the input image 120, and regarding the pixels having the edge strength equal to or higher than a predetermined threshold, the edge information 1245 obtained by combining the edge strength, direction, and coordinates thereof is determined as a stable pixel. Output to the unit 1207.
  • edge extraction method examples include a first-order differential filter, a Sobel filter, a second-order differential filter (such as a Laplacian filter), and a Canny filter.
  • the edge extraction method is not limited to these, and other edge extraction methods are used. It doesn't matter.
  • the foreground object detection / extraction unit 1206 detects an object (foreground region) that has a high possibility of hiding the background region of the input image 120 using the object detection technique, and removes it with the stable pixel determination unit 1207.
  • the foreground object detection extraction unit 1206 extracts, for example, an image feature amount from the input image 120, compares it with an image feature amount of a foreground area prepared in advance, and extracts a region where the image feature amounts are similar to each other as a foreground region.
  • the foreground object detection / extraction unit 1206 outputs the extracted coordinates of the foreground region and the pixel value thereof to the stable pixel determination unit 1207 as object extraction information 1246.
  • object detection techniques include detection techniques such as face detection, head detection, and person detection.
  • These detection techniques include Haar-like features, face and head detection using learning algorithms such as AdaBoost, and person extraction using HOG (Histograms of Oriented Gradients) and learning algorithms, such as luminance gradient and luminance. There is a method of learning while paying attention to a feature amount such as a difference.
  • AdaBoost AdaBoost
  • HOG Heistograms of Oriented Gradients
  • luminance gradient and luminance There is a method of learning while paying attention to a feature amount such as a difference.
  • the present invention is not limited to these methods, and other methods may be used.
  • the stable pixel determination unit 1207 calculates stable pixels in the same manner as the stable pixel determination unit 1204 (see FIG. 4). At that time, the stable pixel determination unit 1207 sets the pixels further excluding the pixels whose edge intensity included in the edge information 1245 is equal to or higher than a predetermined value and the forward tilted object pixels indicated by the object extraction information 1246 as stable pixels. The stable pixels are output as color correction pixel candidate information 160.
  • the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by performing color correction on the background image using the color chart is determined according to the pixel value. Then, the data is classified for each section, and a predetermined number of pixels are selected for each section. Then, the image processing apparatus calculates a color correction coefficient for correcting the color of the corresponding pixel of the input image with reference to the selected pixel.
  • the image processing apparatus by applying the color correction function using the obtained color correction coefficient to the input image including the background image to be processed, the A wide range of colors can be corrected, and the effect of improving the color reproducibility can be achieved.
  • the image processing apparatus performs the above-described color correction after removing unnecessary pixels included in the corresponding pixels of the input image from the input pixels in advance.
  • an information saturated pixel, a pixel with a large background model difference, and a pixel having a large variation value among the remaining pixels excluding the above-mentioned pixels per unit time from the input pixel correspond to the unnecessary pixels.
  • pixels whose edge strength is greater than a predetermined value and pixels whose image feature amount of the foreground object of the input image approximates the feature amount prepared in advance are excluded from the input pixel in advance, and then the color correction described above is performed. I do.
  • the input image is an image taken in various illumination environments at various times, and there is a variation in illumination or an overlap of foreground objects in the image, it is more standard.
  • the color of the image close to the image can be reproduced.
  • the image processing apparatus selects a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. Choose to distribute the pixels. Then, the image processing apparatus obtains a color correction parameter that makes the pixel obtained by excluding unnecessary pixels from the input image close to the pixel of the selected reference image.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color faithful to the reference image that is not biased to the color of the background image and is not easily affected by disturbance. be able to.
  • the image processing apparatus can provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • FIG. 8 is a block diagram illustrating an overview of an image processing apparatus according to the fourth embodiment.
  • a function is added to the image processing apparatus 100 shown in FIG.
  • the image processing apparatus 100 includes the color correction unit 107, extracts the color correction result information 180 from the color correction unit 107, and reflects it in the color correction pixel candidate extraction unit 106. Different.
  • a classification pixel extraction unit 108 includes a classification pixel extraction unit 108, a color correction pixel extraction unit 106, a color correction parameter calculation unit 105, and a color correction unit 107.
  • the color correction unit 107 shown in FIG. 8 is connected to the color correction pixel candidate extraction unit 106.
  • the color correction pixel candidate extraction unit 106 (see FIG. 8) included in the image processing apparatus 100 determines whether or not the illumination fluctuation has occurred so as to affect the background region difference extraction in addition to the function shown in FIG. 2B. This is determined based on the color correction result information 180 that is the color correction result, the reference color image information 110, and the input image 120 that is the next input image. Then, based on the determination result, the color correction pixel candidate extraction unit 106 changes a stable pixel extraction method described later.
  • the stable pixel extraction method will be described in a stable pixel determination unit 1212 shown in FIG.
  • the color correction unit 107 converts color correction result information 180 including pixel coordinates and pixel values of the color correction result image 130 obtained by performing color correction on the input image 120 into the color correction pixel candidate extraction unit 106. Output to.
  • the pixels included in the color correction result information 180 may be only pixels that may be used for color correction, and may be some pixels of the color correction result image 130.
  • the pixels included in the color correction result information 180 may be pixels having the same coordinates as the pixels accumulated in the classification pixel extraction unit 108.
  • the pixel position information of the classification pixel information 150 is obtained from the classification pixel extraction unit 108. It is assumed that it is obtained through a route not shown.
  • the pixels included in the color correction result information 180 may be only pixels in the setting area when the background area used for color correction is set in the color correction pixel candidate information 160 in advance.
  • FIG. 9 is a block diagram showing details of the color correction pixel candidate extraction unit of the image processing apparatus according to the fourth embodiment of the present invention.
  • the color correction pixel candidate extraction unit 106 illustrated in FIG. 9 is different from the color correction pixel candidate extraction unit 102 illustrated in FIG. 7 in that the illumination variation corresponding pixel extraction unit 1211, the corrected image difference extraction unit 1208, and the edge calculation unit of the input image 120. 1215, and an edge histogram calculation unit 1209 and a correlation extraction unit 1213 are added.
  • the color correction pixel candidate extraction unit 106 includes an information saturation pixel extraction unit 1201, a background model difference extraction unit 1202, a pixel variation value calculation unit 1203, an edge calculation unit 1215, an edge histogram calculation unit 1209, and a correlation extraction unit. 1213, an illumination variation corresponding pixel extraction unit 1211, a stable pixel determination unit 1212, a corrected image difference extraction unit 1208, and a background model storage device 1214.
  • the information saturation pixel extraction unit 1201 is connected to the pixel variation value calculation unit 1203, the illumination variation corresponding pixel extraction unit 1211, and the stable pixel determination unit 1212.
  • the background model difference extraction unit 1202 is connected to the pixel variation value calculation unit 1203, the illumination variation corresponding pixel extraction unit 1211, and the stable pixel determination unit 1212.
  • the pixel variation value calculation unit 1203 is connected to the illumination variation corresponding pixel extraction unit 1211 and the stable pixel determination unit 1212.
  • the edge calculation unit 1215 is connected to the edge histogram calculation unit 1209 and the stable pixel determination unit 1212.
  • the edge histogram calculation unit 1209 is connected to the correlation extraction unit 1213.
  • the correlation extraction unit 1213 is connected to the stable pixel determination unit 1212.
  • the background model storage device 1214 is connected to the background model difference extraction unit 1202.
  • the illumination variation corresponding pixel extraction unit 1211 is connected to the corrected image difference extraction unit 1208, the edge calculation unit 1215, and the stable pixel determination unit 1212.
  • the corrected image difference extraction unit 1208 is connected to the background model storage device 1214, the background model difference extraction unit 1202, and the stable pixel determination unit 1212.
  • the foreground object detection unit 1206 is connected to the stable pixel determination unit 1212.
  • the illumination variation corresponding pixel extraction unit 1211 determines whether or not the pixel is the background according to the pixel value difference between the background region constituting the input image 120 and the image of the input image 120 that matches the coordinates of the background model information 1210. Determine. Then, the illumination variation corresponding pixel extraction unit 1211 determines whether or not the illumination variation that affects the background model difference information 1270 holding the determination result and the coordinates is occurring by a method described later.
  • the illumination variation corresponding pixel extraction unit 1211 outputs the determined result to the corrected image difference extraction unit 1208, the stable pixel determination unit 1212, and the edge calculation unit 1215 as illumination variation information 1265.
  • the illumination variation corresponding pixel extraction unit 1211 determines that the illumination variation has occurred, and outputs the determination result as illumination variation information 1265.
  • the illumination variation corresponding pixel extraction unit 1211 outputs the illumination variation information 1265 at the timing when the variation is stabilized after the illumination variation occurs, not when the illumination variation occurs.
  • the illumination variation corresponding pixel extraction unit 1211 outputs illumination variation information 1265.
  • the correction image difference extraction unit 1208 receives the determination that the illumination variation has occurred from the illumination variation information 1265, the color correction result information 180 in which the current input image 120 is color-corrected and the reference color image information 110. A difference between pixel values of the pixels is extracted.
  • the corrected image difference extraction unit 1208 outputs the coordinates and pixel values of pixels whose pixel value difference is equal to or smaller than a predetermined value as the corrected image difference information 1260 to the stable pixel determination unit 1212.
  • the correction difference extraction method may use, for example, a difference between pixel values at the same coordinates such as a background difference.
  • the method is not limited to this method, and other methods for calculating a difference may be used.
  • the correction image difference extraction unit 1208 when extracting the difference between the color correction result information 180 and the reference color image information 110, the coordinates of the pixel whose difference value is equal to or smaller than a predetermined value and the input image corresponding to the coordinates. Based on the 120 pixel values, background model update information 1255 is created. The corrected image difference extraction unit 1208 updates the background model image in the background model storage device 1214.
  • the background model image update method described in the color correction pixel candidate extraction unit 102 of the second embodiment can be used.
  • the corrected image difference information 1260 is not output to the stable pixel determination unit 1212, or The color correction result information 180 that has not taken the difference between the color correction result information 180 and the reference color image information 110 is output as corrected image difference information 1260.
  • the edge calculation unit 1215 performs edge calculation by the same method as the edge calculation unit 1205 shown in FIG. 7 and outputs edge information 1280 to the stable pixel determination unit 1212. However, since it is necessary for the edge histogram calculation unit 1209 to calculate the edge histogram information 1285, edges in at least two directions are extracted.
  • the output destination of the edge information 1280 changes depending on the content of the illumination fluctuation information 1265.
  • the edge information 1280 is output to both the edge histogram calculation unit 1209 and the stable pixel determination unit 1212.
  • the edge information 1280 is output only to the edge histogram calculation unit 1209.
  • the edge histogram calculation unit 1209 calculates blocks divided by a specific size, for example, and calculates the frequency of each edge direction included in each block, thereby setting the edge direction as a histogram section (that is, bin). Create an edge histogram.
  • the edge histogram calculation unit 1209 outputs the edge histogram of each block as edge histogram information 1285 to the correlation extraction unit 1213.
  • edge components in a plurality of directions are calculated by an edge calculation unit (215 shown in FIG. 3 or 1215 shown in FIG. 9), and edges in each direction included in each block are calculated.
  • edges in each direction included in each block are calculated.
  • an edge component in two vertical and horizontal directions is calculated by an edge calculating unit 215 (or an edge calculating unit 1215), the horizontal edge strength of each pixel is divided by the vertical edge strength, and the arc tangent (arctan) is calculated.
  • the correlation extraction unit 1213 includes the edge histogram information 1285 obtained from the input image 120 and the ideal image edge histogram information 295 obtained from the ideal image when obtaining the reference color image information 110 in the preprocessing unit 3 illustrated in FIG. Find the correlation. Then, the correlation extraction unit 1213 outputs the correlation information 1290 to the stable pixel determination unit 1212.
  • the stable pixel determination unit 1212 changes the stable pixel creation method according to the content of the illumination variation information 1265.
  • the stable pixel determination unit 1212 calculates the color correction pixel candidate information 160 using the same method as the stable pixel determination unit 1204 illustrated in FIG. And output.
  • the edge histogram information 1285 (see FIG. 9) of the input image 120 and the ideal image edge histogram information 295 (see FIG. 3) are correlated.
  • the correlation in the extraction unit 1213 a block region having a high correlation is extracted.
  • pixels with low intensity of edge components included in the block area of the input image 120 are extracted.
  • the pixel from which the information saturation pixel is deleted by the information saturation pixel information 1230 from the pixel having the low edge component intensity is determined as the stable pixel by the stable pixel determination unit 1212 and is output as the color correction pixel candidate information 160.
  • the color correction pixel candidate extraction unit 106 outputs the color correction pixel candidate information 160 to the color correction parameter calculation unit 105 (see FIG. 8).
  • the reference color image information that is the coordinates and pixel values of the pixels of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section. Then, the image processing apparatus calculates a color correction coefficient for correcting the color of the corresponding pixel of the input image with reference to the selected pixel.
  • the information feature pixel, the pixel having a large background model difference, the pixel having a large variation value of the remaining pixels excluding the above-mentioned pixel per unit time from the input image, and the image feature amount of the foreground object of the input image are This corresponds to a pixel that approximates a feature amount prepared in advance and the unnecessary pixel.
  • the input image has various lighting environments at various times. Even if the image is a photograph taken in step (b) and there is a variation in illumination or an overlap of foreground objects, the color of the image closer to the reference image can be reproduced.
  • the image processing apparatus selects a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments.
  • a color correction parameter is determined in advance so that the pixels excluding the above-described unnecessary pixels from the input image are close to the pixels of the selected reference image.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces colors close to the reference image that are not easily biased to the color of the background image and are not easily affected by external light. can do.
  • the image processing apparatus can provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • the information processing apparatus shown in FIG. 10 operates in cooperation with software that realizes the control flow of the image processing apparatus 100 shown in FIG. As a result, the function of each block shown in FIG. 2A, FIG. 2B, or FIG. 8 is realized.
  • FIG. 10 is a block diagram showing an outline of an image processing apparatus using a computer program according to the fifth embodiment.
  • An image processing apparatus 500 by an information processing apparatus includes a central processing unit (hereinafter referred to as a CPU) 51, a memory 52, a storage 53, a recording medium 54, a chip set, and an input / output controller, and cooperates with these hardware. It has an operating system (hereinafter referred to as OS) and an application software (hereinafter referred to as AP), which are software that operates and operates.
  • OS operating system
  • AP application software
  • a camera 55 a monitor 56, an input device, and a communication interface are connected.
  • the installer of the image processing apparatus 500 activates the apparatus at the site where the apparatus is installed. Then, the image processing apparatus 500 reads the OS and necessary AP from the storage 53 into the memory 52.
  • information necessary for control (for example, set value information such as threshold values) is held in, for example, the storage 53 or a readable / writable nonvolatile storage unit (not shown) of the chipset.
  • the set value information such as each threshold value to be held is, for example, the range of the pixel value saturation and the deficient pixels of the noise, pixel value saturation and deficient pixel removal unit 201 in the preprocessing unit 3 shown in FIG.
  • the installer performs initial setting using an initial setting program (not shown) that is a part of the AP of the image processing apparatus 500.
  • the installer uses the input device according to the guidance to capture the background image using the installed camera, the color chart, and the initial setting. Perform color correction using a color chart manually or automatically.
  • the preprocessing unit 3 of the image processing apparatus 500 outputs the reference color image information 110 (step S1001 shown in FIG. 6). Then, the operation is started using an operation program (not shown) which is a part of the AP after the initial setting. At that time, the monitor 56 and the input device used for the initial setting may be removed.
  • the AP operation program classifies the classified pixel information 150 into the sections according to the pixel values of the pixels of the reference color image information 110 in the classified pixel extraction unit shown in FIG. 2A, FIG. 2B, or FIG. Output (step S1002).
  • the color correction unit shown in FIG. 2A, FIG. 2B, or FIG. 8 outputs the color correction result image 130 (step S1009).
  • the latest set value information such as the above-described threshold values necessary for color correction control is held or updated by, for example, the storage 53 or a readable / writable nonvolatile storage unit of the chipset.
  • the information to be updated includes, for example, a color correction parameter and a background model image.
  • an AP (computer program) capable of realizing the control flow function shown in FIG. 6 is supplied. Then, the CPU 51 reads the OS and AP into the memory 52 and executes them.
  • the computer program supplied to the CPU 51 may be stored in a readable / writable nonvolatile storage 53.
  • the computer program can be supplied to the apparatus by a method of installing in the apparatus via various recording media 54 such as a floppy (registered trademark) disk or a CD-ROM, or a communication interface.
  • various recording media 54 such as a floppy (registered trademark) disk or a CD-ROM, or a communication interface.
  • a general procedure can be adopted, such as a method of downloading from the outside via a communication network such as the Internet.
  • the present invention can be understood to be configured by a computer-readable storage medium in which the code constituting the computer program or the code is recorded.
  • the image processing apparatus can be configured using a general-purpose information processing apparatus by performing the color correction process of the image processing apparatus by software. Then, only by rewriting the setting information such as the program and each threshold value, there is an effect that it is possible to cope with a wide range of camera installation environments more flexibly.
  • the image processing system according to the present embodiment, image processing that is resistant to various disturbances such as ambient light and reproduces a wide range of colors using various colors of the reference image based on the background image.
  • the software can perform more flexible color correction processing according to the field environment.
  • the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by performing color correction on the background image using the color chart, Classification is performed for each partition according to the pixel value, and a predetermined number of pixels are selected for each partition, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated using the selected pixel as a reference.
  • the information feature pixel, the pixel having a large background model difference, the pixel having a large variation value of the remaining pixels excluding the above-mentioned pixel per unit time from the input pixel, and the image feature amount of the foreground object of the input image are Pixels that approximate the feature amount prepared in advance correspond to the unnecessary pixels.
  • the input image can be various at various times. Even if the image is captured in an illumination environment and the image has a variation in illumination or an overlap of foreground objects, the color of the image closer to the reference image can be reproduced.
  • the CPU of the information processing apparatus constituting the image processing apparatus performs versatile information processing by cooperating with the above-described program software that is an OS or AP for correcting the color of the input image.
  • the image processing apparatus can be configured using the apparatus, and it is possible to more flexibly cope with a wide range of camera installation environments simply by rewriting program software and setting value information such as threshold values. There is.
  • the image processing method and its program software of the present embodiment are predetermined for each section into which the pixels of the reference image are classified using the program software even for input images taken in various lighting environments.
  • a color is selected so that the pixels of the actual image are dispersed and the pixels excluding unnecessary pixels described above from the input image are brought closer to the selected reference image pixels. Find the correction parameters.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color close to the reference image, which is less biased to the color of the background image and less affected by external light. be able to.
  • the image processing method and its program software according to the present embodiment it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • an image processing system as a system can be constructed by applying an integrated circuit to each functional block as described above for color correction.
  • the present image processing apparatus 100 can be read as the present image processing system 100.
  • the present image processing system 100 can be reduced in size by using an integrated circuit, which is currently a general technique, as a modification of the basic embodiment described above. As a result, it is possible to reduce the power consumption and reduce the power consumption, and with this, it is possible to obtain an effect of facilitating the installation on various sites.
  • control flow of the image processing system 100 shown in FIG. 6 is executed by the integrated circuit described above. Note that the control flow shown in FIG. 6 has been described in the second embodiment, and will be omitted.
  • a part of the functional blocks shown in FIG. 2A or 2B described above may be integrated as an integrated circuit according to the balance with power consumption, and the rest may be configured to be shared so that the rest is processed by software.
  • step S1001 For example, if the camera installation environment rarely changes, the pre-processing unit 3 that performs step S1001 shown in FIG. 6 is integrated, and the remaining functional blocks (blocks corresponding to step S1002 and subsequent steps) are software. It can be realized by.
  • color correction pixel candidate extraction is performed.
  • the function block may not be integrated without using the unit 102.
  • the information saturation pixel, the pixel having a large background model difference, the pixel having a large variation value of the remaining pixels excluding the above-mentioned pixel per unit time from the input pixel, and the image feature amount of the foreground object of the input image are Pixels that approximate the feature amount prepared in advance correspond to the unnecessary pixels.
  • the setting value information such as each threshold value is stored in a readable / writable nonvolatile storage unit (not shown, the same applies hereinafter) built in the integrated circuit or in the storage 53 shown in FIG. It may be possible to make adjustments.
  • the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for color correcting the pixels of the input image at the corresponding coordinates is calculated using the selected pixels as a reference.
  • the image processing system excludes unnecessary pixels included in the corresponding input image pixels.
  • the information feature pixel, the pixel having a large background model difference, the pixel having a large variation value of the remaining pixels excluding the above-mentioned pixel per unit time from the input pixel, and the image feature amount of the foreground object of the input image are Pixels that approximate the feature amount prepared in advance correspond to the unnecessary pixels.
  • the image processing system can be reduced in size, for example. Further, color correction performed by the CPU is performed by an integrated circuit, so that power consumption can be reduced. In addition, along with these, it is possible to obtain a new effect that the image processing system can be easily installed in various places.
  • the image processing system selects an actual image by selecting a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments.
  • the pixels excluding unnecessary pixels from the input image and pixels associated with fluctuations in the input image that occur when illumination changes are brought closer to the pixels of the selected reference image. Find the color correction parameters.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image including the background image to be processed is corrected, it is not biased to the color of the background image and is hardly affected by outside light, and is close to the reference image The color can be reproduced.
  • the image processing apparatus can provide an image processing system that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • the camera installation site and the site where the captured image is monitored are separated from each other, by connecting the two using a communication network, the person or object that is the subject imaged at a remote place It is possible to monitor the situation of the person and to grasp the tendency of the person's clothes color.
  • an image processing system such as a monitoring system or a subject observation system can be constructed.
  • FIG. 11 is a block diagram illustrating an overview of an image processing system according to the seventh embodiment.
  • an image processing apparatus 500 including an information processing apparatus is installed at a camera installation site, and is connected to a communication network by using a communication interface of the image processing apparatus 500.
  • the information processing apparatus 600 that has the monitor 61 and the input device and is connected to the communication network by using the communication interface is installed at the monitoring site.
  • the information processing apparatus 600 has the same internal configuration as the image processing apparatus 500 using the information processing apparatus, but does not use the camera 55.
  • both the image processing apparatus 500 and the information processing apparatus 600 including the information processing apparatus may be general-purpose information processing apparatuses or dedicated information processing apparatuses.
  • the communication network used here has a bandwidth capable of transmitting an image taken by a camera used at the site where the image processing apparatus is installed.
  • This communication network is, for example, a dedicated line or the Internet using wired or wireless.
  • the installer uses an initial setting program possessed by an AP operating in the image processing apparatus 500 to manually or manually display a background image and a color chart image.
  • the camera 55 takes a picture automatically.
  • the installer performs color correction and prepares a reference image (not shown) in the image processing apparatus 500 in advance.
  • the subject image photographed using the camera 55 at the camera installation site is subjected to color correction using an operation program possessed by the AP operating on the image processing apparatus 500, and through the communication network using the communication interface, To the information processing apparatus 600 on the side.
  • the color-corrected image is further transmitted after being compressed, for example, so as to correspond to the bandwidth of the communication network.
  • the information processing apparatus 600 displays the received color-corrected image on the monitor 61 by using a display program that the AP has.
  • the information processing apparatus 600 displays, for example, an image that has been transmitted with color correction after image expansion.
  • an observer who monitors at a monitoring site can monitor the camera image corrected in color after shooting in various lighting environments at a remote camera installation site through a communication network.
  • the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated based on the selected pixels.
  • the information feature pixel, the pixel having a large background model difference, the pixel having a large variation value of the remaining pixels excluding the above-mentioned pixel per unit time from the input pixel, and the image feature amount of the foreground object of the input image are Pixels that approximate the feature amount prepared in advance correspond to the unnecessary pixels.
  • the input image has various illuminations at various times. Even if the image is captured in an environment and there is a variation in illumination or an overlap of foreground objects, the color of the image closer to the reference image can be reproduced.
  • this image processing system performs color correction on the image of a subject photographed at a camera installation site in a wide range of lighting environments including illumination fluctuations, and then performs information processing with a display device at a remote monitoring site through a communication network. The image is displayed while being transmitted to the apparatus.
  • the image processing system selects an actual image by selecting a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments.
  • the pixels excluding unnecessary pixels from the input image and pixels associated with fluctuations in the input image that occur when illumination changes are brought closer to the pixels of the selected reference image. Find the color correction parameters.
  • the color correction function is obtained from the obtained color correction parameters and the color of the input image including the background image to be processed is corrected, it is not biased to the color of the background image and is hardly affected by outside light, and is close to the reference image The color can be reproduced.
  • the image processing apparatus can provide an image processing system that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
  • a plurality of types of instability factors included in the pixels constituting the input image each of which is a pixel obtained by excluding from the pixels constituting the input image pixels that exceed a predetermined threshold
  • An image processing apparatus that obtains a color correction coefficient corresponding to a position so that a pixel value of a pixel constituting the input image including a background image to be processed approaches a pixel value of the selected pixel.
  • a control unit that performs the image processing operation according to attachment 1 The controller is A classification pixel extraction unit that classifies pixels of a reference color image, which is a reference image, into a plurality of sections according to the pixel values; For each of the classified sections, a predetermined number of pixels are selected, and pixel values of pixels constituting the input image including the background image to be processed corresponding to the positions of the selected pixels are selected as the selected pixels.
  • a color correction parameter calculation unit that obtains color correction parameter information that is a color correction coefficient that approaches the pixel value of When obtaining the color correction parameter information, pixels constituting the input image including the background image to be processed are pixels in which a plurality of types of instability factors included in the pixels constituting the input image each exceed a predetermined threshold value
  • the image processing apparatus further comprising: a color correction pixel candidate extraction unit that extracts color correction pixel candidate information that is a color correction candidate pixel previously removed from the color correction candidate pixel.
  • the plurality of types of instability factors may be information saturated pixels, which are either saturated pixels whose pixel values are larger than a predetermined threshold or pixels whose pixel values are less than the predetermined threshold, or constitute the input image
  • a difference between a pixel value of a pixel to be processed and a pixel value of a pixel constituting a background model image that is an image of a background region is a background model difference pixel that is larger than the predetermined threshold, or the information saturation pixel
  • the variation of the pixel value of the pixel of the input image that matches the pixel determined to be the background region as a background model difference pixel is a pixel value variation pixel that is greater than a predetermined threshold
  • the color correction pixel candidate information obtained by removing in advance any one of the plurality of types of instability factors from the pixels constituting the input image including the background image to be processed,
  • the image processing apparatus according to Supplementary Note 1 or 2, characterized in that to determine the correction parameter information.
  • the plurality of types of instability factors included in the pixels of the input image may further include an edge pixel whose edge component, which is an outline of the input image, has an intensity greater than a predetermined threshold, or a foreground object pixel, A foreground region pixel whose feature amount difference from a pixel of a prepared object image is smaller than a predetermined threshold, and the control unit is configured to select any one of the pixels constituting the input image including the background image to be processed.
  • the image processing apparatus according to any one of appendix 1 to appendix 3, wherein the color correction parameter information is obtained for the color correction pixel candidate information excluding the pixel in advance.
  • a color correction function is obtained using the color correction parameter information, and a correction unit is further provided for correcting the color of the input image including the background image to be processed using the obtained color correction function.
  • the image processing apparatus according to appendix 1 to appendix 4.
  • the control unit determines whether or not an illumination variation that inhibits extraction of background model difference information, which is the background model difference pixel, occurs from the pixels constituting the input image including the background image to be processed.
  • the illumination fluctuation Appendices 1 to 4 are characterized in that a stable pixel extraction method in the stable pixel determination unit is changed in accordance with the content of the illumination variation information output based on the determination result.
  • the control unit determines that the illumination variation has occurred, and based on the determination result, when outputting as the illumination variation information, the magnitude of the variation value of the pixel value variation pixel is,
  • the image processing apparatus according to any one of appendix 1 to appendix 4, wherein when the illumination variation occurs, the timing is determined to be a stable timing after the illumination variation occurs, and the illumination variation information is output as the illumination variation information.
  • the controller is When it is determined that the illumination variation has occurred, edge information including a pair of coordinates, intensity, and direction of the edge pixel and correlation information generated from edge histogram information based on the edge information are set as the stable information.
  • control unit determines that the illumination variation has occurred according to the content of the illumination variation information, an ideal image obtained by color-correcting the background image divided into block regions with a color sample, and an input image , Based on each edge histogram information, comprising a correlation extraction unit for extracting a block region having a high correlation of the edge histogram of the input image with respect to the ideal image,
  • the stable pixel determination unit extracts, from the edge information, a pixel having a weak edge component included in the block region of the input image, and the information saturation from a pixel having a weak edge component intensity less than a predetermined threshold.
  • the image processing apparatus according to appendix 7 or appendix 8, wherein pixels excluding pixels are output as the color correction pixel candidate information.
  • the color correction pixel candidate extraction unit is information obtained by performing color correction on the current input image when the next input image is input.
  • a difference between certain color correction result information and the reference color image information is extracted, and coordinates and pixel values whose difference are equal to or less than a predetermined threshold are output to the stable pixel determination unit as corrected image difference information, and the correction
  • background model update information is created and stored in the background model storage device.
  • the control unit compares an image feature amount of the input image with an image feature amount of an object that can be the foreground region prepared in advance, and a region in which the image feature amounts are larger than a predetermined threshold is set as the similar foreground region.
  • a foreground object detection unit that detects an object such as a face, head, or person by extracting
  • the image processing apparatus according to appendix 1 or appendix 4, wherein the stable pixel determination unit removes pixels constituting the extracted foreground region in advance.
  • Appendix 12 Using the background image and a color sample having an ideal pixel value under a specific lighting environment, the color samples of a plurality of colors, which are photographed manually or automatically in an illumination environment at an arbitrary time in advance.
  • the color correction parameter by the color chart is calculated by bringing the pixel value of the pixel of the color chart image close to the ideal pixel value of the color chart, and the same conditions are used based on the color correction parameter by the color chart.
  • the image processing apparatus further includes a preprocessing unit that generates pixels of the reference color image obtained by performing color correction on the captured background image as reference color image information including a set of coordinates and pixel values.
  • the image processing apparatus according to appendix 1 or appendix 2. (Appendix 13)
  • the pre-processing unit previously removes noise pixels, pixels with saturated pixel values, and pixels with insufficient pixel values, which are unnecessary pixels included in the background image and the color chart image.
  • the image processing apparatus according to attachment 12.
  • (Appendix 14) Classifying pixels of a reference image obtained by color-correcting a background image in advance using a color sample into a plurality of sections according to pixel values of the pixels, A predetermined number of pixels are selected for each classified section, and Pixels in which the plurality of types of instability factors included in the pixels of the input image each exceed a predetermined threshold are excluded from the pixels of the input image.
  • Image processing characterized in that a color correction coefficient corresponding to the position of the selected pixel is obtained to approximate the pixel value of the pixel constituting the input image including the background image to be processed to the pixel value of the selected pixel. the method of.
  • a computer program for controlling an image processing apparatus the computer program
  • a reference image pixel whose color is corrected in advance using a color sample is classified into a plurality of sections according to the pixel value of the pixel, and a predetermined number of pixels are selected for each classified section.
  • a pixel to be processed corresponding to the position of the selected pixel with respect to a pixel that is a pixel of the input image and in which a plurality of types of instability factors each exceed a predetermined threshold is excluded from the pixel of the input image.
  • a reference image pixel whose color is corrected in advance using a color sample is classified into a plurality of sections according to the pixel value of the pixel, and a predetermined number of pixels are selected for each classified section.
  • the image processing apparatus including an information processing apparatus installed at a camera installation site and connected to each other through a communication network, and another information processing apparatus for remotely monitoring an image transmitted from the image processing apparatus.
  • the present invention is not limited to the above-described embodiments, and can be applied to image processing of a camera video used for monitoring a person or an object in a company or a public facility, for example.

Abstract

 色補正に適した背景領域の画素を選択するとともに、その画素を用いて入力画像の色を補正する画像処理装置等を提供する。入力画像の画素値として適切でない画素である情報飽和画素と、入力画像と背景画像との差分が大きい画素と、所定の時間内での画素値の変動が大きい画素を除いた残りの画素を対象として、その背景画像の画素の位置に対応する、あらかじめ与える色補正によって近づけたい色味をもつ画像の画素の画素値を基に、色を補正する関数のパラメタを算出し、その関数を用いて入力画像の色補正を行う。また、照明変動の発生により、背景領域の抽出が困難な場合、照明変動を検知するとともに、入力画像と理想画像のエッジ成分を比較することにより、背景領域を抽出し、その背景領域の画素を用いて上述の入力画像の色補正を行う。

Description

画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
 本発明は、例えば、撮影した画像を基に入力画像を補正する技術分野に関する。
 近年、例えば、企業や公共施設などで、カメラを用いて、人物や物体をモニタすることにより、これら被写体および、その周辺に生じる変化を監視するシステムが増えつつある。
 また、商業施設などでも、例えば、小売店に来店する人物の服装色などの傾向を把握することにより、マーケティングに活かすような試みもある。
 係るモニタリングシステムのカメラは、屋外や屋内の多様な場所に設置される。すると、そのカメラで撮影した画像では、被写体の色合い(いわゆる色味)は、周囲の状態によって変化する。例えば、強い日差しや、照明などの光により、画像が白っぽくなる。また、薄暮、曇天、あるいは節電に伴う照明の低減により、画像が黒っぽくなる。さらには、色味は、上述した環境光が変化する中で、多様に変化する。
 また、設置するカメラが複数台の場合は、カメラ自身の分光感度特性やレンズ特性などの個体差の影響を受けることによって、その撮影画像の色味も多様となる可能性がある。
 したがって、被写体を監視したり、色を認識したりするためには、天候や、照明などの環境光や、カメラの光学特性などの影響で変化した被写体の色の情報を正確に抽出するとともに、入力画像の画素の色味が、なるべく広い色空間をとるように適切に補正する必要がある。
 画像の色味補正技術としては、カラーチャートを用いた色補正手法がよく知られている。カラーチャートは、理想的な特定光源下において、色の値を計測した複数のパッチ(理想色の標本)からなる。これらのパッチの色の値(理想色の画素値)は公開されている。
 ここで、画素値とは、画素の濃淡を表す階調、および色情報である色調を離散的な数で表した値であると定義する。階調を用いるか、色調を用いるかは、用いる色空間による。
 任意の撮影環境下でカラーチャートを撮影し、その際に測定された各パッチの画素値を、上述の理想色の画素値に近づけることによって、理想的な特定光源下で撮影した画像に近い画像を得ることができる。
 その際に、測定された画素値を理想色の画素値に近づけるような色補正パラメタを推定するとともに、その色補正パラメタを基にして得られる色補正関数を、入力画像の領域全体に適用することで、色補正された画像を得ることができる。
 ここで、特許文献1には、監視カメラで予め撮影した背景画像に基いて、入力画像の色を補正する技術が開示されている。
 具体的には、設置者は、初期設定時に、背景画像の画素のいくつかの色をカラーチャートで校正しておき、それ以外の色は、補完することにより、理想色の画素値に近づけたい背景画像の画素の位置と、画素値とを、参照テーブルに保存する。
 次に、特許文献1に記載の技術は、実際の入力画像の中から前景画像を除いて、背景画像を抽出するとともに、その画像中の画素値を時系列に調べ、ヒストグラムを作成する。そのヒストグラムの区画毎にもっとも頻度が高い画素の値を背景領域候補とする。
 次に、上述の背景領域候補は、フレーム間で差分を取ることによって、動物体であるか否かを判定するとともに、動物体ではない場合は、背景領域として抽出する。
 次に、特許文献1に記載の技術は、初期設定時に作成した、カラーチャートによって色を補正した背景画像の画素の位置と画素値を保持する参照テーブル内の、対応する位置の画素の画素値と、上述の手段によって実際の入力画像から抽出した背景領域の画素の画素値とを比較する。そして、特許文献1に記載の技術は、比較の結果、両者が異なった場合、色補正パラメタを更新する。
 しかしながら、特許文献1に記載の技術は、画像中の画素値を時系列に調べることによって、ヒストグラムを作成する際に、そのヒストグラムのもっとも頻度が高い画素の値を背景領域候補とする。そのため、それを基に補正した画像の色は、偏る可能性がある。
 また、画素値が飽和する場合や、画素値が不安定になるエッジ成分がある場合、あるいは色補正に用いる背景画素の数の偏りが発生する場合に、求めた色補正用の参照テーブルでの色補正は、うまくいかない可能性がある。
特開2007-183872号公報
 上述した関連する技術では、基準となる背景画像の支配的な色に偏った色補正となる可能性がある。
 画素値が飽和すると、画像が白っぽくなる(いわゆる、白とび)。また、画素値が不足すると、画像が黒っぽくなる(いわゆる、黒つぶれ)。この白とびや黒つぶれが生じる場合や、画素値が不安定になるエッジ成分などがある場合などで、色補正がうまくいかない可能性がある。
 即ち、色をバランスよくするためには、基準となる画像から、万遍なく画素を選んで、入力画像の画素の色を補正する必要がある。さらに、その際に色補正をうまく行うには、入力画像から上述したような不安定な画素を除いて、色補正に適した背景画像を対象にした補正を考慮する必要がある。
 本発明の主たる目的は、上述した課題を解決するために、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置等を提供することにある。
 本発明は、上述した課題の解決を目的としてなされた。即ち、本発明に係る画像処理装置は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。
 また、同目的を達成する本発明の他の見地である画像処理方法は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて、複数の区画に分類し、
 該分類した区画毎に、所定の個数の画素を選択するとともに、
 入力画像を構成する画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。
 なお、同目的は、上記構成を有する画像処理装置、並びに対応する方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読取り可能な記憶媒体によっても達成される。すなわち、本発明によるコンピュータ・プログラムは、画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素であって、複数種類の不安定要因がそれぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とする。
 さらに、同目的を解決する本発明の更なる他の見地である画像処理システムは、通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、上記構成を有することを特徴とし、求めた色補正係数を基に、色補正関数を用いて前記入力画像の色を補正し、補正した画像を通信ネットワークを通して送信し、モニタリング現場でその画像を表示するシステムによって達成される。
 本発明によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置等を提供することができる。
本発明の第1の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の前処理部の詳細を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。 本発明の第2の実施形態に係る画像処理装置の制御フローを示すフローチャートである。 本発明の第3の実施形態に係る画像処理装置の色補正用画素候補抽出部の変形例を示すブロック図である。 本発明の第4の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第4の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。 本発明の第5の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。 本発明の第7の実施形態に係る画像処理システムの概要を示すブロック図である。
 以下、本発明を実施する形態について図面を参照して詳細に説明する。
 <第1の実施形態>
 本発明の第1の実施形態の構成について説明する。図1は、本発明の第1の実施形態に係る画像処理装置の概要を示すブロック図である。
 本実施形態の画像処理装置10の構成は、制御部1と、補正部2とを備える。
 制御部1は、補正部2に接続される。制御部1は、入力画像12に応じて、色補正係数15を出力するとともに、その色補正係数15を補正部2に渡す。
 また、補正部2は、入力画像12および色補正係数15が入力されるのに応じて、色補正結果画像13を出力する。
 なお、前処理部3は、予め、背景画像11を撮影しておき、基準画像14を制御部1に出力する。
 ここで、基準画像14とは、前処理部3によって、色見本(不図示、以下同様)を用いて背景画像11を色補正した画像である。
 また、背景画像11とは、本画像処理装置10によって撮影する入力画像12において背景となる背景領域である。
 また、色見本とは、例えば、色の標本を配列した板状の物体である。色見本は、特定照明環境下で、既知の値、つまり理想色の画素値を有する。
 また、色補正係数15とは、入力画像12をなす画素の画素値を、対応する位置にある基準画像14をなす画素の画素値に近づける際に用いる係数である。
 本実施形態の画像処理装置の動作について説明する。
 本画像処理装置10の設置者は、本画像処理装置10を設置する際に、前処理部3を用いて、任意の時刻の照明環境のもとで撮影した背景画像11を、同じ条件で撮影した色見本を基準にして、色を補正することにより、基準画像14を作成する。
 次に、制御部1は、前処理部3から入力される基準画像14をなす画素の画素値に応じて、複数の区画(不図示、以下同様)に分類する。
 次に、制御部1は、上述した複数の区画に分類した基準画像14をなす画素を、分類した区画毎に、所定の個数ずつの画素を選択する。
 ここで、制御部1は、基準画像14をなす画素の画素値に応じて分類した区画毎に、それぞれ決まった数の画素をランダムに選択する。従って、その選択した画素の座標を、実画像に写像すると、まったくランダムな座標となる。つまり、画素は、分散されて選択されることになる。
 なお、制御部1は、その区画の画素値の数が少なくて、決まった数に満たない場合は、予め決めた最低限の数の範囲で選択すればよい。
 次に、制御部1は、処理対象の背景画像を含む入力画像12の画素であって、選択した画素に対応する位置の画素の画素値を、選択した画素の画素値に近づけるように補正する色補正係数15を求める。そして、制御部1は、その色補正係数15を補正部2へ出力する。
 次に、補正部2は、その色補正係数15を基にして、色補正関数(不図示、以下同様)を用いて入力画像12を補正することにより、色補正結果画像13を得る。
 なお、制御部1は、入力画像12が含む不必要な画素を、予め除去部(不図示)により除去してもよい。たとえば、カメラの撮像回路などからのノイズを含む画素や、画素値が飽和した画素もしくは、画素値が不足した画素などが、不必要な画素に該当する。
 すなわち、本実施形態に係る画像処理装置10は、前処理部3が出力する、背景画像11を基にした基準画像14をなす画素を、その画素値に応じて分類した区画毎に、所定の個数の画素を選択する。そして、画像処理装置10は、その選択した画素を基準として、対応する入力画像12の画素を色補正するための色補正係数15を算出する。
 その求めた色補正係数15を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像12に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 言い換えると、本実施形態の画像処理装置10は、多様な照明環境で撮影した入力画像12を、予め基準画像14をなす画素を分類した区画毎から、所定の個数の画素を選ぶことにより、対応する入力画像12の画素を分散するように選ぶことができる。
 その選んだ基準画像14をなす画素の画素値に近づけるように入力画像12の色を補正するので、撮影した背景画像11の色が偏っていたとしても、基準画像14に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供することができる。
 以上、本発明の第1の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第2の実施形態>
 次に、第1の実施形態を基本とする本発明の第2の実施形態について図を参照して、詳細に説明する。図2Aおよび図2Bは、第2の実施形態に係る画像処理装置の概要を示すブロック図である。図2Aに示す本画像処理装置100は、分類画素抽出部101と、色補正パラメタ算出部103とを有する。
 分類画素抽出部101は、色補正パラメタ算出部103に接続される。また、色補正パラメタ算出部103は、色補正部104に接続される。
 また、図2Bに示す本画像処理装置100の構成では、図2Aに対して、色補正用画素候補抽出部102を追加している。そして色補正用画素候補抽出部102は、色補正パラメタ算出部103に接続される。
 ここで、図1に示す、第1の実施形態に係る画像処理装置の概要を示すブロック図と対比すると、分類画素抽出部101、色補正用画素候補抽出部102および色補正パラメタ算出部103は、第1の実施形態における制御部1に対応する。
 また、色補正部104は、第1の実施形態における補正部2に対応する。
 さらに、基準色画像情報110を出力する前処理部3は、第1の実施形態における概略ブロック図(図1)に示した前処理部3に対応する。
 ここで、図2Aおよび図2Bに示す基準色画像情報110(これを、基準画像と呼ぶこともできる)は、入力画像120を色補正する際の基準となる色の情報である。
 これは、本画像処理装置の設置現場において、前処理部3で、背景画像と同じ条件のもとで撮影したカラーチャート(不図示、以下同様。これを色見本と呼ぶこともできる)を用いて、その背景画像をあらかじめ色補正することによって生成する理想的な画像の画素(不図示)を、その画素の座標と画素値で表した情報である。
 以下、本実施形態を構成する主要部分である前処理部3、分類画素抽出部101、色補正用画素候補抽出部102、および色補正パラメタ算出部103ならびに色補正部104について順次、説明する。
 まず、図3を用いて、前処理部3について、その構成および接続を説明する。
 図3は、本発明の第2の実施形態に係る画像処理装置に適用可能な前処理部3の詳細を示すブロック図である。
 前処理部3は、ノイズ、画素値飽和および不足画素除去部201と、カラーチャートによる色補正パラメタ算出部202と、色補正部203と、基準色画像情報抽出部204と、エッジ算出部215と、エッジヒストグラム算出部209と、理想画像エッジヒストグラム情報蓄積部205とを含む。
 背景画像210、カラーチャート画像220は、ノイズ、画素値飽和および不足画素除去部201に入力される。
 ノイズ、画素値飽和および不足画素除去部201は、カラーチャートによる色補正パラメタ算出部202および色補正部203に接続される。
 色補正部203は、カラーチャートによる色補正パラメタ算出部202からの色補正パラメタ270を受けるとともに、基準色画像情報抽出部204、およびエッジ算出部215に接続される。
 エッジ算出部215は、エッジヒストグラム算出部209に接続される。エッジヒストグラム算出部209は、理想画像エッジヒストグラム情報蓄積部205に接続される。
 次に、同じく図3を用いて、前処理部3の動作について説明する。
 基準色画像情報110の算出には、任意の時刻の照明環境のもとで、運用の際のアングルで撮影した背景画像210と、それと同じ条件で撮影したカラーチャート画像220を用いる。
 カラーチャート画像220は、特定の色からなる領域であるパッチを複数枚含むカラーチャートを撮影することにより得る。この特定の色の理想的な画素値は、特定光源下で調べることにより、あらかじめ分かっている。
 なお、カメラの撮像回路などによって生ずる不要なごま塩状の点や、画像の輪郭部に生じる、ぎざぎざ状の模様(いわゆる、ジャギー。以下、同様)などのノイズ、画素値飽和(いわゆる、白とび。以下、同様)や画素値不足(いわゆる、黒つぶれ。以下、同様)などの画素をノイズ、画素値飽和および不足画素除去部201が除去する。これらの不要な画素の具体的な除去方法については、後述する。
 その後、カラーチャートによる色補正パラメタ算出部202は、カラーチャート画像220を手動もしくは、自動で識別することにより、カラーチャートの各パッチの色の値を抽出する。
 そして、カラーチャートによる色補正パラメタ算出部202は、抽出した各パッチの画素値を、各パッチの理想的な画素値に近づけるような、色補正関数に与える色補正パラメタ270を求めるとともに出力する。
 色補正部203は、カラーチャートを撮影したのと同じ条件で撮影した背景画像210を、上記で求めた色補正パラメタ270を適用して生成した色補正関数(不図示)で色補正することにより、理想画像280を求める。
 そして、基準色画像情報抽出部204は、理想画像280の画素の座標とその画素値を示す基準色画像情報110を出力する。
 すなわち、カラーチャート画像220を用いて背景画像210を色補正して得られる理想画像280は、基準色画像情報110を有する基準画像の基となる画像ということができる。
 ここで、色補正関数は、たとえば、線形変換や非線形変換を用いてもよい。
 また、色補正パラメタ270は、カラーチャートによる色補正パラメタ算出部202で、上述の色補正関数を有する色補正行列、もしくは色補正テーブルによって与えられる。しかし、これらの変換方法に限定するわけではなく、他の方法を用いて変換してもよい。
 また、色補正パラメタや色補正関数は、撮影現場環境や、予め実験に基いて確認された適切な変換方法と、それに基く適切なパラメタおよび関数とを用いる。
 ここで、エッジ算出部215は、理想画像280から理想画像のエッジ情報(不図示)を抽出する。そして、エッジヒストグラム算出部209は、その理想画像のエッジ情報を基に、エッジの強度と方向を示すエッジヒストグラムに分類するとともに、その分類結果を理想画像エッジヒストグラム情報295として抽出する。
 得られた理想画像エッジヒストグラム情報295は、理想画像エッジヒストグラム情報蓄積部205に蓄積される。また、理想画像エッジヒストグラム情報蓄積部205のエッジヒストグラム情報は、後述する第4の実施形態で、入力画像120と理想画像280のエッジヒストグラムの相関を抽出する相関抽出部1213で用いる。
 なお、上述した撮影現場環境での初期設置の際の、前処理部3による背景画像210、カラーチャート画像220の画像の取り込みは、カメラの切替え回路(不図示)を用いて、通常運用の際に用いるカメラを切替えて使うものとする。
 次に、ノイズ、画素値飽和および不足画素除去部201の動作について説明する。
 背景画像210や、カラーチャート画像220に存在するノイズを除去する例としては、画像の平滑化処理などがあるが、この方法に限定するものではなく、ノイズを除去できれば、他の手法を用いてもかまわない。ここで、たとえば、カメラの撮像回路などからのごま塩状の点や、輪郭部分のぎざぎざ状の模様などが、上記のノイズに該当する。
 また、画素値飽和、画素値不足の画素の除去方法について説明する。ノイズ、画素値飽和および不足画素除去部201が、入力した背景画像210およびカラーチャート画像220から、画素値が飽和している画素、あるいは不足している画素を検出し、その画素を予め除去する。
 ここで、飽和した画素とは、画素値がダイナミックレンジの最大値となっている画素のことである。つまり、飽和した画素とは、実空間上での値が、その最大値を超えていた可能性がある画素のことを指している。飽和した画素は、有意な情報を有さない除去されるべき画素である。
 たとえば、RGB(すなわち、Red、Green、Blue)色空間の場合で、各R、G、Bの値が、0~255を取る場合を例に説明する。R、G、Bの要素の値のいずれかが255を超える画素は、画素値(つまりその要素の輝度値。以下、同様)を記録できず、画素の情報が飽和した可能性がある。反対に画素値が0の場合は、その画素値がない(不足している)ことを示す。
 そのため、以下の数式1に示すように、ある色空間の画素(座標と画素値との組)が、閾値Th1から、Th2の範囲に含まれる画素のみを、画素情報が飽和していない有意な情報の画素として抽出する。
 ここで、cは、色空間における色の要素(例えば、RGB色空間の場合、R、またはG、またはB)であり、xyはその画素の座標を指す。
 Th1(c)<画素(x、y、c)<Th2(c)   ・・・・・・(式1)
 たとえば、色空間が、RGB空間の場合で、取り得る値のレンジが0~255の場合、Th1(c)として、0より少し大きめの値を設定し、一方、Th2(c)として、255より少し小さめの値を設定するとよい。このように、実際のRGB色空間のダイナミックレンジよりも少し内側の値に閾値を設定するのは、ノイズなどによる画素値の変動要因を考慮するものである。
 つまり、R、G、Bのいずれかの色で、たとえば、11~244の値をとる場合は、Th1(c)=10、Th2(c)=245となり、式1により、その座標の色が取る画素値の範囲は、10<画素(x、y、c)<245となる。なお、この値は例であり、この値に限定しているわけではない。
 また、画素値飽和、画素値不足の画素の除去は、上述の方法に限定するものではなく、予め画素値飽和、画素値不足の画素を除去できれば、他の手法を用いてもかまわない。
 ノイズ、画素値飽和および不足画素除去部201は、上述したような手法で、ノイズ、画素値飽和および画素値不足画素を除去することによって、背景画像情報250およびカラーチャート画像情報260を得る。
 引き続き、図2Aおよび図2Bに示す本実施形態の分類画素抽出部101の動作について説明する。
 分類画素抽出部101は、基準色画像情報110の画素値に応じて、画素をカテゴリ、すなわち区画毎に分類するとともに、各画素を、座標と画素値とからなる組として保持する。
 そして、分類画素抽出部101は、保持している座標および画素値の組のうち、色補正パラメタ算出部103から入手した座標情報140と一致する画素の座標および画素値の組を、分類画素情報150として出力する。
 画素の画素値による分類方法としては、画素値がたとえばRGB色空間で表現される場合、RGB空間をR、G、Bの各要素がとる値に応じて、一定の間隔で分割し、それぞれの区画に、画素を分類する。即ち、画素は、それぞれの区画内に、ヒストグラムのような分類で仕分けられる。
 ただし、区画に分類する際の色空間や、分類方法は、必ずしも上述の方法に限定するものではなく、YUV(ここで、Yは輝度信号、Uは青色成分の差分信号、Vは赤色成分の差分信号)などの他の色空間を用いて画素を分類してもよい。また、分類手法として、k-means法などのクラスタリング手法を用いて分類したクラスタを用いて動的にカテゴリを設定してもよいし、その他の分類手法を用いてもよい。
 引き続き、図2Bに示す本実施形態の色補正用画素候補抽出部102の動作について、図4を用いてさらに詳細に説明する。図4は、本発明の第2の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図の例である。
 色補正用画素候補抽出部102は、例えば、カメラの撮像回路などからのノイズが少なく、画素値が飽和、もしくは不足している画素を入力画像から除く。そして、色補正用画素候補抽出部102は、人物や物体などの前景物体がない画素は、色補正パラメタ情報170を算出する際に誤差を抑えることができる安定的な画素と考え、その特徴を持つ画素を抽出することを目的とする。
 図4に示す、色補正用画素候補抽出部102の構成、接続について説明する。
 色補正用画素候補抽出部102は、背景モデル記憶装置1214と、情報飽和画素抽出部1201と、背景モデル差分抽出部1202と、画素変動値算出部1203と、安定画素判定部1204とを含む。
 情報飽和画素抽出部1201は、画素変動値算出部1203、安定画素判定部1204に接続される。
 また、背景モデル差分抽出部1202は、背景モデル記憶装置1214、画素変動値算出部1203、および安定画素判定1204に接続される。
 次に、色補正用画素候補抽出部102の動作について説明する。
 図4に示す、色補正用画素候補抽出部102は、以下の3つの不安定な画素を除去することにより、安定な画素であり、色補正の候補となる色補正用画素候補情報160を出力することを目的とする。
 まず、情報飽和画素抽出部1201は、入力画像120を構成する背景領域の画素の画素値が飽和、もしくは不足している画素があれば、情報飽和画素を抽出し、情報飽和画素情報1230として安定画素判定部1204に出力する。
 情報飽和画素の抽出手法については、図3にあるノイズ、画素値飽和および不足画素除去部201の画素値不足、画素値飽和除去と同じ機能を採用することができるので、ここでは説明を省略する。
 次に、背景モデル差分抽出部1202は、入力画像120と、背景モデル記憶装置1214に蓄積された背景を示す背景モデル情報1210との差を算出し、この差分を背景モデル差分情報1240として、画素変動値算出部1203と、安定画素判定部1204に出力する。
 つまり、背景モデル差分抽出部1202は、入力画像120の背景領域と、背景モデル記憶装置1214が初期値として保持する背景モデル情報1210の座標と一致する入力画像120の画素との画素値差分に応じて、画素が背景であるか否かを判定する。そして、背景モデル差分抽出部1202は、その判定結果と、その座標とを保持するとともに、背景モデル差分情報1240を算出する。
 また、背景差分モデル抽出部1202は、背景モデル画像が変化すれば、背景モデル記憶装置1214に蓄積された背景モデルを背景モデル更新情報1220により更新する。
 なお、背景モデル情報1210による背景領域抽出の一例としては、入力画像と背景モデル画像の差分による背景領域抽出手法で求めた背景領域の画素値で判定する方法がある。
 また、背景モデル画像の更新方法の一例としては、上述のような方法で判定したのちに、背景モデル画像の画素値の重みづけ平均した結果を背景モデル画像の画素として更新する手法がある。
 ただし、本発明は、背景画像か否かの判定方法や、背景画像が変化した場合の背景モデ
ルの更新方法は、上述した手法に限定しているわけではなく、その他の背景領域を判定す
る手法と、背景モデル画像の更新方法の組み合わせでもかまわない。
 さらに、画素変動値算出部1203は、情報飽和画素抽出部1201から出力される情報飽和画素情報1230と、背景モデル差分抽出部1202から出力される背景モデル差分情報1240とによって予め、それぞれ所定の閾値を越える画素を、入力画像120から除く。
 そして、画素変動値算出部1203は、除去された不必要な画素以外の画素で構成する入力画像120の画素の座標と画素値を、所定の時間記録し、その記録した画素値の時間に対する変化を示す変動値を求める。
 画素変動値算出部1203は、求めた変動値が所定の値未満である画素を座標とともに記録した画素変動値情報1250を算出する。
 画素値の変動値算出手法としては、例えば分散などがあるが、この手法に限定しているわけではなく、その他の変動を示す指標でもよい。
 つまり、画素変動値算出部1203は、情報飽和画素情報1230の画素値が飽和していない画素で、かつ、背景モデル差分情報1240の背景領域と判定された画素の座標と一致する入力画像120の各画素の画素値を所定の時間、記録する。そして、画素変動値算出部1203は、その画素値の変動を示す数値(変動値)を算出する。
 なお、所定の時間、画素値を記録する際に、ある画素が情報飽和画素情報1230、背景モデル差分情報1240のどちらかに含まれる画素として除かれる頻度が高い場合、変動値の算出に用いる記録される画素数が少なくなる。
 そのため、記録される画素数が所定の個数以下の場合、その画素の変動値は算出しない。
 そして、画素変動値算出部1203は、各画素の座標と変動値、また、変動値を算出しない座標を、画素変動値情報1250として安定画素判定部1204に出力する。
 各画素値の変動値を示すには、所定の時間内の入力画像における各画素値の時間に対する変化を示す分散が利用できる。ただし、この手法に限定するわけではなく、分散以外の変動値を算出する手法を用いても構わない。
 次に、安定画素判定部1204は、安定画素を抽出し、その座標と画素値を色補正用画素候補情報160として、色補正パラメタ算出部103に出力する。ここで、情報飽和画素情報1230が有する画素の画素値が飽和していないかもしくは不足していない画素、または背景モデル差分情報1240が有する画素の判定が背景である画素、または画素変動値情報1250の変動値が所定の値以下の画素が、安定画素に該当する。
 引き続き、本実施形態に示す色補正パラメタ算出部103および色補正部104の動作について、図2Bと図5を用いて詳細に説明する。
 まず、図2Bに示す色補正パラメタ算出部103は、色補正用画素候補抽出部102の色補正用画素候補情報160、入力画像120、分類画素抽出部101の分類画素情報150を基に、色補正パラメタ情報170を算出する。
 具体的には、色補正パラメタ算出部103は、分類画素情報150で、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を選択する。そして、色補正パラメタ算出部103は、その選択した座標に対応する、色補正用画素候補情報160に含まれる色補正に用いることが可能である画素の座標を抽出する。
 その際に、色補正パラメタ算出部103は、選択する座標を、後述する座標情報140を用いて特定する。
 もし、所定の個数を抽出できる画素が無い区画が存在する場合、色補正パラメタ算出部103は、予め決めたその所定の個数より少ない最低数以上の画素数があれば、その区画の画素を最低数以上抽出する。
 ここで、最低数とは、画像内の領域が非常に小さく、色補正に用いるには画素数が少ないと判断するために用いる値である。
 続いて、色補正パラメタ算出部103は、後段の色補正関数(不図示)に与える色補正パラメタ情報170を算出するとともに、色補正部104に出力する。
 色補正部104では、色補正パラメタ算出部103から得た色補正パラメタ情報170を設定した色補正関数を用いて入力画像120の領域の色補正を行うとともに、色補正結果画像130として出力する。
 なお、色補正パラメタ算出方法は、前処理部3で、カラーチャートによる色補正パラメタ算出部202(図3参照)が、色補正パラメタ270を算出する方法と同様であるので、本実施形態での説明は省略する。
 引き続き、本実施形態に示す色補正パラメタ算出部103の動作について、図5を用いて、さらに詳しく説明する。
 図5は、本発明の第2の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。
 色補正パラメタ算出部103は、色補正パラメタ推定用画素情報選択部401と、色補正パラメタ算出部402とを含む。色補正パラメタ推定用画素情報選択部401は、色補正用パラメタ算出部402に接続される。
 色補正パラメタ推定用画素情報選択部401は、分類画素情報150にある、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を座標情報140で指定することにより選択する。さらに、色補正パラメタ推定用画素情報選択部401は、対応する安定画素の座標である色補正用画素候補情報160の画素を選択し、その選択した座標と画素値とを選択画素情報410として、色補正用パラメタ算出部402に渡す。
 色補正用パラメタ推定用画素選択部401での画素の選択手法の別の例として、以下の方法がある。この方法では、あらかじめ入力画像120を構成する画素に対して、ブロック(たとえば、入力画像に対して、横方向がM画素、縦方向がN画素)で分割した際のサイズを色補正用パラメタ推定用画素選択部401に設定しておく。そして各ブロックの範囲毎に、画素値によって分類した区画内で、かつ、安定な画素をランダムに抽出する。
 また、他の例としては、画像上のランダムな座標を設定し、その座標から所定の範囲に含まれる各区画の画素で、かつ、安定な画素を抽出する方法などが考えられる。
 ただし、本発明は、色補正の対象である色補正用候補画素の選択方法を、上述した手法に限定しているわけではなく、分類した各区画の画素を選択することにより、対応する実画像の座標を分散するように選択できる手法であれば、その他の手法でもかまわない。
 各区画の画素を所定の個数分を集めることができない場合、その区画に含まれる画素は、色補正には利用せず、選択画素情報410として出力しない。
 色補正用パラメタ算出部402は、選択画素情報410の画素とその画素と同一座標にある入力画像120の画素値を用いて、色補正関数の色補正パラメタを算出し、色補正パラメタ情報170として色補正部104に出力する。
 なお、図2Aおよび図2Bに示す色補正部104は、色補正パラメタ情報170を用いる色補正関数(不図示)として、前処理部3で述べたのと同様に、たとえば線形変換や、非線形変換などの関数を用いる。また、色補正パラメタはそれらの関数に対応したものであればよい。しかしこれらの手法に限定しているわけではなく、他の手法を用いてもかまわない。
 次に、以上に述べた本実施形態の構成、接続、動作について、図2Aおよび図2B、図3、図4、図5およびフローチャートを用いて説明する。
 図6は、本発明の第2の実施形態に係る画像処理装置の制御フローを示すフローチャートである。
 まず始めに、本実施形態の画像処理装置100の前処理部3(図3参照)は、背景を撮影した画像と、それと同じ撮影条件(つまり、同じ時刻および同じ撮影アングル)で、カラーチャートを撮影した画像を用意する。
 そして、カラーチャートによる色補正パラメタ算出部202(図3参照)は、撮影したカラーチャート画像220の画素値と、その公開されている理想的な画素値を比較することにより、色補正関数に与える色補正パラメタ270を算出する。
 そして、色補正部203(図3参照)は、背景画像210からノイズや画素値が飽和した画素もしくは不足する画素を除いたあとの背景画像情報250と、色補正パラメタ270を用いて、理想画像280を出力することにより、背景画像210をあらかじめ色補正しておく。
 なお、この作業は、本画像処理装置100の設置者が、現場に本画像処理装置100を設置する際に、手動もしくは自動により行う初期設定である。
 そして、基準色画像情報抽出部204(図3参照)は、理想画像280の画素の座標と画素値を、基準色画像情報110として出力する(ステップS1001)。
 次に、分類画素抽出部101(図2A、図2B参照)は、基準色画像情報110に含まれる画素を画素値に応じて、複数の区画に分類する。分類画素抽出部101は、その分類結果を分類画素情報150として出力する(ステップS1002)。
 基準色画像情報110の分類方法は、本実施形態で述べた分類画素抽出部101の画素の分類方法を用いる。
 次に、情報飽和画素抽出部1201(図4参照)は、情報飽和画素を、入力画像120の画素から抽出するとともに、情報飽和画素情報1230を出力する(ステップS1003)。
 なお、情報飽和画素には、画素値が飽和した画素の他に、照明の明るさが不足することにより画素値が不足した画素も含む。
 次に、背景モデル差分抽出部1202(図4参照)は、入力画像120の背景領域と、背景モデル記憶装置1214に記憶した背景モデル情報1210の座標と一致する入力画像120の画素との画素値差分に応じて、その画素が背景であるか否かを判定する。
 背景モデル差分抽出部1202は、その判定結果と、その座標を背景モデル差分情報1240として出力する。(ステップS1004)。
 次に、画素変動値算出部1203(図4参照)は、ステップS1003で求めた情報飽和画素および、ステップS1004で求めた背景モデル差分情報1240の背景領域ではないと判定する画素の座標を除いた、入力画像120の各画素の座標と画素値を所定の時間記録する。
 そして、画素変動値算出部1203は、その記録した画素値の時間変化を示す変動値を求める。画素変動値算出部1203は、その変動値が所定の値未満である画素を座標と画素値とともに記録した画素変動値情報1250を抽出するとともに出力する(ステップS1005)。
 次に、色補正用画素候補抽出部102の安定画素抽出部1204(図4参照)は、ステップ1003における情報飽和画素情報1230の画素と、ステップS1004における背景モデル差分情報1240にある背景画像ではないと判定する画素と、ステップS1005における画素変動値情報1250の変動値が所定の値以下の画素とを除去する。
 そして、色補正用画素候補抽出部102の安定画素抽出部1204は、その画素の座標と画素値を、色補正用画素候補情報160として抽出するとともに出力する(ステップS1006)。
 次に、色補正パラメタ算出部103の色補正パラメタ推定用画素情報選択部401(図5参照)は、ステップS1002にて、分類画素抽出部101(図2A,図2B参照)が、出力する分類画素情報150の分類した各区画のそれぞれから、所定の個数の画素を、座標情報140を指定することによって、選択する。そして、色補正パラメタ推定用画素情報選択部401は、その選択した画素の位置に対応する、色補正用画素候補情報160の画素を選択する。
 色補正パラメタ推定用画素情報選択部401は、その選択した画素を選択画素情報410として、色補正用パラメタ算出部402に出力する(ステップS1007)。
 次に、色補正用パラメタ算出部402(図5参照)は、ステップS1007にて抽出した選択画素情報410の画素と、その座標に対応する入力画像120の画素値を基に、色補正関数に与える色補正パラメタ情報170を算出するとともに出力する(ステップS1008)。
 最後に、色補正部104(図2A,図2B参照)は、色補正パラメタ情報170を設定した色補正関数に入力画像120を与え、入力画像120の領域を色補正するとともに、色補正した画像の座標と画素値とからなる色補正結果画像130を出力する(ステップS1009)。
 なお、入力画像120の画素に不要な画素がなければ、予め入力画像120から除去する必要はなく、そのまま入力画像120を対象として色補正パラメタを算出してもよい。ここで、画素値が飽和するかもしくは不足する画素、入力画像120とその背景領域の差分から背景領域ではないと判断する画素、および、入力画像120からそれらを除いた画素の単位時間あたりの変動値が所定の閾値を越える画素が、不要な画素に該当する。
 その場合、図6に示すステップS1003乃至ステップS1006は省略することができる。
 また、色補正用画素候補抽出部102の情報飽和画素抽出部1201、背景モデル差分抽出部1202、画素変動値算出部1203、安定画素判定部1204(図4参照)は、用いない。また、それにともなって、色補正用画素候補情報160(図5参照)は用いない。つまり、図2Aに示す構成を用いてもよい。
 すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。
 そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、対応する入力画像の画素に含まれる不要な画素を予め入力画素から除いてから、上述の色補正を行う。よって、多様な時刻の照明環境で撮影した入力画像であっても、より基準画像に近い色味を再現することができる。ここで、情報飽和画素と、背景モデルと入力画像の画素の画素値の差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素とが、上記の不要な画素に該当する。
 言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶ。そして、画像処理装置は、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することができる。
 以上、本発明の第2の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第3の実施形態>
 次に、第2の実施形態を基本とした変形例である第3の実施形態について説明する。
 図7は、本発明の第3の実施形態に係る画像処理装置に適用可能な色補正用画素候補抽出部を示すブロック図である。
 本実施形態では、第2の実施形態の図2Bに示す色補正用画素候補抽出部102に、予め除去すべき不安定な画素を除去するための処理として、照明が変動することにより画素値が変動しやすい部分(たとえば画像の輪郭部分)を抽出するエッジ算出部1205と、背景画像の前面に重なる部分(たとえば前景画像)を抽出する前景物体検出部1206を加えた点が異なる。
 ここで、前景物体とは、入力画像の中で、背景画像より前面に存在する人や物などの物体と定義する。
 このため、以下の説明においては、本実施形態の応用例に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第2の実施形態と同様な構成についての重複する説明は省略する。
 エッジ算出部1205、前景物体認識抽出部1206は、安定画素判定部1207に接続される。背景モデル記憶装置1214は、背景モデル差分抽出部1202に接続される。
 エッジ算出部1205は、画素値の変動が一般的に大きいエッジ成分を除いた安定画素を抽出するためにエッジ成分を算出する。
 すなわち、エッジ算出部1205は、入力画像120からエッジ成分を抽出し、エッジの強度が所定の閾値以上の画素に関して、エッジ強度、方向および、その座標とを組みにしたエッジ情報1245を安定画素判定部1207に出力する。
 エッジ抽出手法としては、例えば、一次微分フィルタや、Sobelフィルタ、2次微分フィルタ(Laplacianフィルタなど)、Cannyフィルタなどがあるが、これらに限定するわけではなく、その他のエッジ抽出手法を利用してもかまわない。
 また、前景物体検出抽出部1206は、入力画像120の背景領域を隠してしまう可能性が高い物体(前景領域)を、物体検出技術を用いて検出するとともに、安定画素判定部1207で除去する。
 前景物体検出抽出部1206は、例えば、入力画像120から画像特徴量を抽出し、あらかじめ用意した前景領域の画像特徴量と比較し、画像特徴量同士が類似する領域を前景領域として抽出する。
 前景物体検出抽出部1206は、抽出した前景領域の座標とその画素値を物体抽出情報1246として安定画素判定部1207に出力する。物体検出技術の例としては、例えば、顔検出や頭部検出、人物検出などの検出技術がある。
 これらの検出技術は、Haar-like特徴量と、AdaBoostなどの学習アルゴリズムを利用した顔や頭部検出および、HOG(Histograms of Oriented Gradients)と学習アルゴリズムを利用した人物抽出など、たとえば輝度勾配、輝度差などの特徴量に着目するとともに学習する手法がある。ただし、これらの手法に限定するわけではなく、その他の手法でもかまわない。
 安定画素判定部1207は、安定画素判定部1204(図4参照)と同じ方法で、安定画素を算出する。その際に、安定画素判定部1207は、エッジ情報1245に含まれるエッジ強度が所定の値以上である画素と、物体抽出情報1246が示す前傾物体の画素とをさらに除いた画素を安定画素とし、かかる安定画素を色補正用画素候補情報160として出力する。
 すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正することによって得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。
 そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、画像処理装置は、対応する入力画像の画素に含まれる不要な画素を予め入力画素から除いてから、上述の色補正を行う。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素のうち変動値が大きい画素が、上記の不要な画素に該当する。
 さらに、上記に加えてエッジ強度が所定の値より大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を、予め入力画素から除いてから、上述の色補正を行う。
 これにより、本実施形態によれば、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。
 言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶ。そして、画像処理装置は、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外乱の影響を受けにくい、基準画像に忠実な色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。
 以上、本発明の第3の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第4の実施形態>
 次に、第2および第3の実施形態を基本とする第4の実施形態について説明する。図8は、第4の実施形態に係る画像処理装置の概要を示すブロック図である。
 本実施形態は、図2Bに示す画像処理装置100に、照明変動時に対するさらに頑健な色補正を可能とする機能を追加している。
 そのために、本実施形態では、画像処理装置100が色補正部107を含み、その色補正部107から色補正結果情報180を取り出して、色補正用画素候補抽出部106へ反映している点が異なる。
 このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第2および第3の実施形態と同様な構成についての重複する説明は省略する。
 図8に示す、画像処理装置100は、分類画素抽出部108と、色補正用画素抽出部106と、色補正パラメタ算出部105と、色補正部107とを含む。
 図2Bに示す接続に加えて、図8に示す色補正部107は、色補正用画素候補抽出部106に接続される。
 画像処理装置100が有する色補正用画素候補抽出部106(図8参照)は、図2Bに示す機能に加え、背景領域の差分抽出などに影響がでるほどの照明変動が起きているかを、現在の色補正結果である色補正結果情報180と、基準色画像情報110と、次の入力画像である入力画像120とを基に判定する。そして、色補正用画素候補抽出部106は、その判定結果に基いて、後述する安定画素の抽出方法を変更する。
 安定画素抽出手法方法については、後述する図9に示す安定画素判定部1212にて説明する。
 色補正部107は、図2Bに示す機能に加え、入力画像120を色補正した色補正結果画像130の画素の座標と画素値を含む色補正結果情報180を、色補正用画素候補抽出部106に出力する。色補正結果情報180に含まれる画素は、色補正に用いられる可能性がある画素のみでよく、色補正結果画像130の一部の画素でよい。
 例えば、色補正結果情報180に含まれる画素は、分類画素抽出部108に蓄積された画素と同じ座標の画素でよく、その場合、分類画素抽出部108から分類画素情報150の画素の位置情報を、図示していない経路を通して得るものとする。
 また、色補正結果情報180に含まれる画素は、色補正に用いる背景領域をあらかじめ色補正用画素候補情報160に設定しておく場合、その設定領域の画素のみとしてもよい。
 次に、図9は、本発明の第4の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。
 図9に示す色補正用画素候補抽出部106は、図7に示す色補正用画素候補抽出部102に、照明変動対応画素抽出部1211、補正画像差分抽出部1208、入力画像120のエッジ算出部1215、エッジヒストグラム算出部1209および相関抽出部1213を加えている点が異なる。
 これにより、照明変動時に背景領域抽出が困難になることに対して、照明変動を検知する。そして、入力画像120、色補正結果情報180、および理想画像280のエッジ相関(不図示)を用いて、色補正に適用することができる安定な背景領域の画素を抽出するとともに、色補正用画素候補情報160(不図示)を用いて、色補正パラメタ情報170を算出する。その結果、入力画像の色補正を頑健に行うことができる。
 なお、図9に含まれる図7および図8と同じ番号のブロックは同じ機能を持つため、本実施形態における説明を省略する。また、各機能のブロック間の接続について説明する。
 色補正用画素候補抽出部106は、情報飽和画素抽出部1201と、背景モデル差分抽出部1202と、画素変動値算出部1203と、エッジ算出部1215と、エッジヒストグラム算出部1209と、相関抽出部1213と、照明変動対応画素抽出部1211と、安定画素判定部1212と、補正画像差分抽出部1208と、背景モデル記憶装置1214とを含む。
 情報飽和画素抽出部1201は、画素変動値算出部1203、照明変動対応画素抽出部1211および安定画素判定部1212に接続される。
 背景モデル差分抽出部1202は、画素変動値算出部1203、照明変動対応画素抽出部1211および安定画素判定部1212に接続される。
 画素変動値算出部1203は、照明変動対応画素抽出部1211および安定画素判定部1212に接続される。
 エッジ算出部1215は、エッジヒストグラム算出部1209、および安定画素判定部1212に接続される。
 エッジヒストグラム算出部1209は、相関抽出部1213に接続される。
 相関抽出部1213は、安定画素判定部1212に接続される。
 背景モデル記憶装置1214は、背景モデル差分抽出部1202に接続される。
 照明変動対応画素抽出部1211は、補正画像差分抽出部1208、エッジ算出部1215、安定画素判定部1212に接続される。
 補正画像差分抽出部1208は、背景モデル記憶装置1214、背景モデル差分抽出部1202、安定画素判定部1212に接続される。
 前景物体検出部1206は、安定画素判定部1212に接続される。
 次に、本実施形態における色補正用画素候補抽出部106の動作について説明する。
 照明変動対応画素抽出部1211は、入力画像120を構成する背景領域と、背景モデル情報1210の座標と一致する入力画像120の画像との画素値差分に応じて、画素が背景であるか否かを判定する。そして、照明変動対応画素抽出部1211は、その判定結果と、その座標とを保持する背景モデル差分情報1270に影響がある照明変動が起きているか否かを、後述の方法で判定する。
 照明変動対応画素抽出部1211は、その判定した結果を、照明変動情報1265として、補正画像差分抽出部1208、安定画素判定部1212、エッジ算出部1215に出力する。
 背景モデル画像の差分抽出に影響がある照明変動が発生しているかの判定は、全画素から情報飽和画素を除いた画素数に対する、背景モデル差分情報1270における入力画像120の背景領域との画素値差分が所定の閾値以上生じている画素数の割合によって判定する。
 照明変動対応画素抽出部1211は、その割合が高い場合、照明変動が起きていると判定するとともに、その判定結果を照明変動情報1265として出力する。
 また、照明変動対応画素抽出部1211は、照明変動発生時ではなく、照明変動発生後、その変動が安定したタイミングで照明変動情報1265を出力する。
 つまり、画素変動値算出部1203の画素変動値情報1275の画素値の変動値の大きさが、所定の値以下の場合、照明変動が発生した後に、その照明変動が落ち着いたタイミングと判定し、照明変動対応画素抽出部1211は、照明変動情報1265を出力する。
 また、補正画像差分抽出部1208は、照明変動情報1265により、照明変動が発生したという判定を受け取った場合、現在の入力画像120が色補正された色補正結果情報180と、基準色画像情報110の画素の画素値の差分を抽出する。補正画像差分抽出部1208は、その画素値差分が所定の値以下の画素の座標と画素値を、補正画像差分情報1260として、安定画素判定部1212に出力する。
 補正差分抽出方法は、例えば、背景差分のように同じ座標の画素値の差を利用してもよい。しかし、この手法に限定するわけではなく、その他の差分を算出する手法を利用してもよい。
 また、補正画像差分抽出部1208は、色補正結果情報180と、基準色画像情報110との差分抽出の際、差分値が所定の値以下である画素の座標と、その座標に対応する入力画像120の画素値に基づいて、背景モデル更新情報1255を作成する。補正画像差分抽出部1208は、背景モデル記憶装置1214の背景モデル画像を更新する。
 背景モデル画像の更新方法は、第2の実施形態の色補正用画素候補抽出理部102で説明した背景モデル画像の更新方法を利用することができる。
 一方で、照明変動情報1265が、背景モデル画像の差分抽出に影響がある照明変動が発生していないという判定である場合、安定画素判定部1212に補正画像差分情報1260を出力しないか、または、色補正結果情報180と基準色画像情報110との差分をとっていない色補正結果情報180を、補正画像差分情報1260として出力する。
 また、エッジ算出部1215は、図7に示すエッジ算出部1205と同じ手法でエッジ算出を行い、エッジ情報1280を安定画素判定部1212に出力する。ただし、エッジヒストグラム算出部1209でエッジヒストグラム情報1285を算出する必要があるため、少なくとも2方向のエッジを抽出する。
 エッジ情報1280の出力先は、照明変動情報1265の内容によって変化する。照明変動情報1265により照明変動が発生しているという判定を受けた場合、エッジヒストグラム算出部1209および、安定画素判定理部1212の両方にエッジ情報1280を出力する。
 また、照明変動が発生していないという判定を受けた場合、エッジヒストグラム算出部1209にのみエッジ情報1280を出力する。
 ここで、エッジヒストグラム算出部1209は、たとえば特定サイズで分割したブロックを算出し、各ブロックに含まれる各エッジ方向の頻度を算出することにより、エッジ方向をヒストグラムの区画(つまり、ビン)にしたエッジヒストグラムを作成する。
 そして、エッジヒストグラム算出部1209は、各ブロックのエッジヒストグラムをエッジヒストグラム情報1285として、相関抽出部1213に出力する。
 なお、エッジヒストグラムの算出方法として、例えば、複数の方向でのエッジ成分をエッジ算出部(図3に示す215や図9に示す1215)で算出しておき、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。
 その他に、縦横2方向のエッジ成分をエッジ算出部215(エッジ算出部1215でもよい。)で算出し、各画素の横方向のエッジの強度を縦方向のエッジ強度で割り、そのアークタンジェント(arctan(x)すなわち、tan(x)の逆関数;xは、たとえば、各画素の横方向のエッジの強度を縦方向のエッジ強度で除算した値)の値をエッジ方向とし、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。
 なお、これらの手法に限定するわけではなく、これ以外のエッジヒストグラムを算出する手法を用いてもよい。
 相関抽出部1213は、入力画像120から求めたエッジヒストグラム情報1285と、図3に示す前処理部3において、基準色画像情報110を求める際に理想画像から求めた理想画像エッジヒストグラム情報295との相関を求める。そして、相関抽出部1213は、相関情報1290として安定画素判定部1212に出力する。
 そして、安定画素判定部1212は、照明変動情報1265の内容により、安定画素の作成方法を変更する。
 安定画素判定部1212は、照明変動情報1265が、照明変動が発生していないという判定である場合、図4に示す安定画素判定部1204と同様の方法で、色補正用画素候補情報160を算出するとともに出力する。
 一方、照明変動情報1265が、照明変動が発生しているという判定である場合、入力画像120のエッジヒストグラム情報1285(図9参照)と、理想画像エッジヒストグラム情報295(図3参照)とを相関抽出部1213で相関をとることにより、相関が高いブロック領域を抽出する。
 次に、エッジ情報1280から、入力画像120のブロック領域内に含まれるエッジ成分の強度が低い画素を抽出する。次に、そのエッジ成分の強度が低い画素から、情報飽和画素情報1230により情報飽和画素を削除した画素を安定画素判定部1212が安定画素と判定し、色補正用画素候補情報160として出力する。
 そして、色補正用画素候補抽出部106は、色補正用画素候補情報160を色補正パラメタ算出部105(図8参照)へ出力する。
 すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。
 そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素、上記の不要な画素に該当する。
 さらに、照明変動の際の入力画像と理想画像との相関が高い領域のうち、エッジ強度が弱い画素を対象にして上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。
 言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正をするので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。
 以上、本発明の第4の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第5の実施形態>
 次に、第2乃至第4の実施形態を基本とする、第5の実施形態について説明する。
 本実施形態は、図10に示す情報処理装置が、図6に示す本画像処理装置100の制御フローを実現するソフトウェアと協働して動作する。この結果、図2Aまたは図2Bまたは図8に示す各ブロックの機能が実現される。
 このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第2乃至第4の実施形態と同様な構成についての重複する説明は省略する。
 図10は、第5の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。
 情報処理装置による画像処理装置500は、Central Proccessing Unit(以下、CPUと称する)51、メモリ52、ストレージ53、記録媒体54および、チップセットならびに、入出力コントローラを有するとともに、これらのハードウェアと協働して動作するソフトウェアである、Operating System(以下、OSと称する)、Application Software(以下、APと称する)を有する。
 また、本情報処理装置による画像処理装置500において、カメラ55、モニタ56、および、入力デバイスならびに、通信インタフェースが接続される。
 次に、画像処理装置500の動作について説明する。
 まず、画像処理装置500の設置者は、カメラと、本装置を設置する現場において、本装置を起動する。そして、画像処理装置500は、メモリ52に、OSおよび必要なAPをストレージ53から読込む。
 なお、制御する際に必要となる情報(たとえば各閾値などの設定値情報)は、たとえば、ストレージ53または、チップセットの読書き可能な不揮発性の記憶部(不図示)に保持する。
 ここで、保持する各閾値などの設定値情報とは、たとえば、図3に示す前処理部3でいえば、ノイズ、画素値飽和および不足画素除去部201の、画素値飽和および不足画素を範囲を有する閾値で除去する際の閾値や、カラーチャートによる色補正パラメタ算出部202が出力する色補正パラメタ270などである。
 次に、設置者は、本画像処理装置500のAPの一部である図示していない初期設定プログラムを使って初期設定を実行する。
 初期設定プログラムは、モニタ56にガイダンスおよび撮影した画像を表示するので、設置者は、ガイダンスに従って入力デバイスを用いて、設置したカメラを用いた背景画像の撮影、同じくカラーチャートの撮影、および初期設定プログラムによる、カラーチャートを用いた色補正を手動もしくは自動で実行する。
 これにより、本画像処理装置500の前処理部3は、基準色画像情報110を出力する(図6に示すステップS1001)。そして、初期設定後の、APの一部である運用プログラム(不図示)を使って運用を開始する。その際、初期設定のために使用したモニタ56、入力デバイスは、取り外してもよい。
 次に、APの運用プログラムは、図2Aまたは図2Bまたは図8に示す分類画素抽出部で、基準色画像情報110の画素の画素値に応じて各区画に分類するとともに、分類画素情報150を出力する(ステップS1002)。
 以降、APの運用プログラムは、第2の実施形態ですでに述べた図6に示す制御フローの処理を順次、実行するため、途中の説明は省略する。そして、図2Aまたは図2Bまたは図8に示す色補正部は、色補正結果画像130を出力する(ステップS1009)。
 なお、色補正の制御をする際に必要となる、上述した各閾値などの最新の設定値情報は、たとえば、ストレージ53や、チップセットの読書き可能な不揮発性記憶部で保持もしくは更新する。
 ここで、更新する情報としては、たとえば、色補正パラメタや背景モデル画像などである。
 以上に述べたように、図2Aまたは図2Bまたは図8に示すブロック図の各機能や、図6に示す画像処理装置の制御フローは、図10に示す画像処理装置500がコンピュータ・プログラムに従って動作することで実現される。
 画像処理装置500を情報処理装置で実現するために、図6に示す制御フローの機能を実現可能なAP(コンピュータ・プログラム)を供給する。そして、CPU51が、OSおよびAPをメモリ52に読出して実行する。
 ここで、当該CPU51に供給されるコンピュータ・プログラムは、読書き可能な不揮発性ストレージ53に格納すればよい。
 また、前記の場合において、当該装置内へのコンピュータ・プログラムの供給方法は、フロッピー(登録商標)ディスクやCD-ROM等の各種記録媒体54を介して当該装置内にインストールする方法や、通信インタフェースを用いて、インターネット等の通信ネットワークを介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。
 そして、このような場合において、本発明は、係るコンピュータ・プログラムを構成するコード、或いは係るコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。
 また、本画像処理装置の色補正を行う処理を、ソフトウェアによって行うことにより、汎用の情報処理装置を用いて画像処理装置を構成することができる。そして、プログラムおよび各閾値などの設定情報を書き換えるだけで、より柔軟に、幅広いカメラ設置現場の環境に対応することができるという効果がある。
 つまり、本実施形態に係る画像処理システムによれば、環境光などの多様な外乱に強く、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供するとともに、ソフトウェアにより、現場環境に合わせて、より柔軟な色補正処理を行うことができる。
 すなわち、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。
 そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。
 さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。
 また、本画像処理装置を構成する情報処理装置が有するCPUは、上述した入力画像の色を補正する制御を、OS、APであるプログラム・ソフトウェアと協働することにより、汎用性のある情報処理装置を用いて本画像処理装置を構成することができるとともに、プログラム・ソフトウェアや、各閾値などの設定値情報を書き換えるだけで、より柔軟に、幅広いカメラの設置環境に対応することができるという効果がある。
 言い換えると、本実施形態の画像処理方法とそのプログラム・ソフトウェアは、多様な照明環境で撮影した入力画像であっても、プログラム・ソフトウェアを用いて、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。
 以上、本発明の第5の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第6の実施形態>
 次に、第2乃至第5の実施形態を基本とする変形例である第6の実施形態について説明する。
 本実施形態は、たとえば、図2Aまたは図2Bに示す画像処理装置100の分類画素抽出部101と、色補正用画素候補抽出部102と、色補正パラメタ算出部103と、色補正部104と、前処理部3とのいずれか、もしくは全てを、集積回路によって実現する。
 このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第2乃至第5の実施形態およびその変形例と同様な構成についての重複する説明は省略する。
 本実施形態では、色補正をするための上述したような各機能ブロックに集積回路を適用することにより、系としての画像処理システムを構築することができる。
 そのため、本画像処理装置100は、本画像処理システム100と読み替えることもできる。
 そして、本画像処理システム100は、上述した基本となる実施形態の変形例として、現在では一般的な技術である集積回路を用いることにより、上述した基本となる実施形態の効果に加えて、小型化、低消費電力化が可能となるとともに、これらに伴い、多様な現場への設置が容易になるという効果を得ることもできる。
 そして、図6に示す本画像処理システム100の制御フローは、上述した集積回路により実行する。なお、図6に示す制御フローは、第2の実施形態で説明しているので、省略する。
 また、上述した図2Aまたは図2Bに示す機能ブロックの一部を、消費電力との兼ね合いに応じて、集積回路化するとともに、残りはソフトウェアにより処理するように分担する装置構成としてもよい。
 その場合、集積回路化する機能ブロック以外の機能は、ソフトウェアに従って動作するCPUによって実現される。
 例えば、カメラの設置環境が変化することが少なければ、図6に示すステップS1001を行う前処理部3は、集積回路化するとともに、残りの機能ブロック(ステップS1002以降に対応するブロック)は、ソフトウェアによって実現すればよい。
 また、対応する入力画像の画素に含まれる不要な画素および、照明変動の際の入力画像と理想画像とのエッジ相関が高い領域を予め入力画素から除く必要がなければ、色補正用画素候補抽出部102を用いず、当該機能ブロックは集積回路化をしないようにしてもよい。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素と、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。
 その際は、不要な画素の影響は受けやすくなるが、簡素な構成で、かつ、安価にすることができる。
 なお、各閾値などの設定値情報は、集積回路に内蔵する読書き可能な不揮発性記憶部(不図示、以下同様)、もしくは図6に示す、ストレージ53において記憶するとともに、上述の閾値を柔軟に調整できるようにしてもよい。
 すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する座標にある入力画像の画素を色補正するための色補正係数を算出する。
 そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、画像処理システムは、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。
 さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。
 また、本画像処理システムが有する色補正を行うディスクリート(個別部品)回路もしくはソフトウェアを、集積回路によって実現することにより、本画像処理システムを、たとえば、小型化できる。また、CPUによって行う色補正を、集積回路によって行うことにより、低消費電力化できる。また、これらに伴い、本画像処理システムを多用な場所に設置しやすくなるという新たな効果を得ることができる。
 さらに、一部分を集積回路化するとともに、残りをソフトウェアで分担する装置構成とすることにより、CPUの負荷や、コストのバランスをとることもできる。
 言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。
 以上、本発明の第6の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 <第7の実施形態>
 次に、第2乃至第6の実施形態を基本とする変形例である第7の実施形態について説明する。
 本実施形態では、たとえば、カメラ設置現場と、そこで撮影した画像をモニタリングする現場が離れている場合、両者を、通信ネットワークを用いて接続することにより、遠隔地で撮影した被写体である人、物の様子をモニタしたり、人物の服装色などの傾向を把握することができる。
 すなわち、例えば監視システム、あるいは被写体観察システムなどの画像処理システムを構築できる点が異なる。
 このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第2乃至第6の実施形態およびその変形例と同様な構成についての重複する説明は省略する。
 本実施形態の構成を、図11を用いて説明する。図11は、第7の実施形態に係る画像処理システムの概要を示すブロック図である。
 本画像処理システムでは、情報処理装置からなる画像処理装置500は、カメラ設置現場に設置され、本画像処理装置500の通信インタフェースを用いることにより、通信ネットワークに接続される。
 一方で、モニタ61と、入力デバイスを有し、通信インタフェースを用いることにより通信ネットワークに接続される情報処理装置600をモニタリング現場に設置する。この情報処理装置600は、情報処理装置を用いた画像処理装置500と同様の内部構成であるが、カメラ55は用いない。
 なお、情報処理装置からなる画像処理装置500および、情報処理装置600は、共に、汎用的な情報処理装置であっても、専用の情報処理装置であってもよい。
 また、ここで用いる通信ネットワークは、本画像処理装置を設置する現場で用いるカメラで撮影した画像を伝送することが可能な帯域幅を有する。この通信ネットワークは、例えば、有線や無線を用いた専用回線やインターネットなどである。
 図11に示す、画像処理システムについて、その動作を説明する。
 まず、設置者は、カメラ設置現場で本画像処理装置500を設置する際に、画像処理装置500において動作するAPが有する初期設定プログラムを用いて、背景となる画像およびカラーチャートの画像を手動もしくは自動により、カメラ55によって、撮影する。また、設置者は、色補正を行い、図示していない基準画像を本画像処理装置500の内部に予め用意する。
 以降、カメラ設置現場で、カメラ55を用いて撮影した被写体画像は、画像処理装置500で動作するAPが有する運用プログラムを用いて色補正を行うとともに、通信インタフェースを用いて、通信ネットワークを通して、相手側の情報処理装置600に送信する。
 実際には、色補正をした画像は更に、通信ネットワークが有する帯域に対応するように、たとえば、画像圧縮を行ってから送信する。
 情報処理装置600は、受信した色補正された画像を、APが有する表示プログラムを用いることにより、モニタ61を用いて表示する。
 実際には、受信した画像データは圧縮されているので、情報処理装置600は、たとえば、画像伸張を行ってから、色補正して送信されてきた画像を表示する。
 以上により、モニタリング現場でモニタする観察者は、通信ネットワークを通して遠隔地にあるカメラ設置現場の、多様な照明環境で撮影したのちに色補正したカメラ画像をよい色味でモニタすることができる。
 すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。
 そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
 また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。
 さらに、照明変動の際の入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。
 また、本画像処理システムは、照明変動を含む幅広い照明環境にあるカメラ設置現場で撮影した被写体の画像を、色補正したのち、通信ネットワークを通して、遠隔地のモニタリング現場にある表示機器を有する情報処理装置に伝送するとともに、画像を表示する。
 これにより、カメラ設置現場での被写体である人や物および人物の服装色の傾向を、遠隔地において基準画像に近い色味で再現することができ、これらの監視や、観測を容易に行うことができる。
 言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。
 その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。
 つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。
 以上、本発明の第7の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。
 なお、上述した実施形態及びその変形例の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した実施形態及びその変形例により例示的に説明した本発明は、以下には限らない。即ち、
(付記1)
 色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
 入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
ことを特徴とする画像処理装置。
(付記2)
 付記1に記載の画像処理の動作を行う制御部を備え、
 前記制御部は、
 基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
 前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
 前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含む前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報を抽出する色補正用画素候補抽出部と
 を含むことを特徴とする付記1に記載の画像処理装置。
(付記3)
 前記複数種類の不安定要因は、所定の閾値よりも画素値が大きく飽和した画素、または画素値が前記所定の閾値よりも不足する画素のいずれかである情報飽和画素か、前記入力画像を構成する画素の画素値と、背景領域の画像である背景モデル画像を構成する画素の画素値との差分が、前記所定の閾値より大きい背景モデル差分画素か、前記情報飽和画素であり、かつ、前記背景モデル差分画素が、前記背景領域であると判定した画素と一致する前記入力画像の画素の画素値の所定時間当たりの変動が、所定の閾値より大きい画素値変動画素であり、前記制御部は、前記処理対象の背景画像を含む前記入力画像を構成する画素から、前記複数種類の不安定要因であるいずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記1または付記2に記載の画像処理装置。
(付記4)
 前記入力画像の画素に含まれる、前記複数種類の不安定要因は、さらに、前記入力画像の輪郭であるエッジ成分の強度が所定の閾値より大であるエッジ画素か、前景物体の画素と、予め用意する物体画像の画素との特徴量の差が所定の閾値より小である前景領域画素であり、前記制御部は、前記処理対象の背景画像を含む前記入力画像を構成する画素から、前記いずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記1乃至付記3に記載の画像処理装置。
(付記5)
 前記色補正パラメタ情報を用いて、色補正関数を求めて、求めた該色補正関数を用いて、前記処理対象の背景画像を含む前記入力画像を色補正する補正部をさらに備えることを特徴とする付記1乃至付記4に記載の画像処理装置。
(付記6)
 前記制御部は、前記背景モデル差分画素である背景モデル差分情報の抽出を阻害する照明変動が生じているか否かの判定を、前記処理対象の背景画像を含む前記入力画像を構成する画素から前記情報飽和画素を除いた画素数に対する、前記入力画像と前記背景モデル画像との画素の画素値の差分が所定の閾値以上で生じている画素数の割合が、所定の閾値より高い場合、照明変動が起きていると判定するとともに、該判定結果に基いて出力する照明変動情報の内容に応じて、安定画素判定部における安定した画素の抽出方法を変更することを特徴とする付記1乃至付記4に記載の画像処理装置。
(付記7)
 前記制御部は、前記照明変動が生じていることを判定し、該判定結果に基いて、前記照明変動情報として出力する際に、前記画素値変動画素の画素値の変動値の大きさが、所定の閾値以下の場合、前記照明変動が発生したのちに、該照明変動が安定したタイミングと判定し、前記照明変動情報として出力することを特徴とする付記1乃至付記4に記載の画像処理装置。
(付記8)
 前記制御部は、
 前記照明変動が生じていると判定する場合は、前記エッジ画素の座標と強度と方向との組からなるエッジ情報および、該エッジ情報を基にしたエッジヒストグラム情報から生成する相関情報を、前記安定画素判定部に出力し、前記照明変動が生じていないと判定する場合は、前記エッジ情報を基にした前記エッジヒストグラム情報から生成する前記相関情報のみを、前記安定画素判定部に出力することで、前記照明変動情報の内容に応じて安定画素抽出方法を変更することを特徴とする付記6または付記7に記載の画像処理装置。
(付記9)
 前記制御部は、前記照明変動情報の内容に応じて、前記照明変動が生じていると判定する場合、それぞれブロック領域に分割した前記背景画像を色見本で色補正した理想画像、および入力画像の、それぞれのエッジヒストグラム情報を基に、前記理想画像に対する前記入力画像のエッジヒストグラムの相関が高いブロック領域を抽出する相関抽出部を備え、
 前記安定画素判定部は、前記エッジ情報から、前記入力画像のブロック領域内に含まれるエッジ成分の強度が弱い画素を抽出し、前記エッジ成分の強度が所定の閾値より弱い画素から、前記情報飽和画素を除いた画素を前記色補正用画素候補情報として出力することを特徴とする付記7または付記8に記載の画像処理装置。
(付記10)
 前記色補正用画素候補抽出部は、前記照明変動情報が、照明変動が発生していると判定する場合、次の入力画像が入力される際に、現在の前記入力画像を色補正した情報である色補正結果情報と、前記基準色画像情報との差分を抽出し、その差分が所定の閾値以下の座標と画素値を、補正画像差分情報として前記安定画素判定部へ出力するとともに、前記補正画像差分情報の画素の画素値が所定の閾値以下である画素の座標と、その座標に対応する前記入力画像の画素値に基づいて、背景モデル更新情報を作成し、背景モデル記憶装置に格納している前記背景モデル画像を更新する補正画像差分抽出部を有することを特徴とする付記1に記載の画像処理装置。
(付記11)
 前記制御部は、前記入力画像の画像特徴量と、予め用意した前記前景領域となり得る物体の画像特徴量とを比較し、画像特徴量同士が所定の閾値より大きい領域を類似する前記前景領域として抽出することにより、顔、頭部、あるいは人物などの物体を検知する前景物体検出部を備え、
 前記安定画素判定部は、前記抽出した前景領域を構成する画素を予め除去することを特徴とする付記1または付記4に記載の画像処理装置。
(付記12)
 前記背景画像と、特定の照明環境のもとで理想的な画素値を有する色見本とを用いて、予め任意の時刻における照明環境で、手動もしくは自動により撮影した、複数の色の前記色見本であるカラーチャート画像の画素の画素値を、該カラーチャートが有する理想的な画素値にそれぞれ近づける、カラーチャートによる色補正パラメタを算出し、そのカラーチャートによる色補正パラメタに基づいて、同じ条件で撮影した前記背景画像を色補正することにより得た前記基準色画像の画素を、その座標と画素値の組とからなる、基準色画像情報として生成する前処理部をさらに備えることを特徴とする付記1または付記2に記載の画像処理装置。
(付記13)
 前記前処理部は、前記背景画像と、カラーチャート画像とに含まれる不要な画素であるノイズの画素、画素値が飽和した画素、および画素値が不足した画素を予め除去することを特徴とする付記12に記載の画像処理装置。
(付記14)
 色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて複数の区画に分類し、
 該分類した区画毎に、所定の個数の画素を選択するとともに、
 入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
 前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。
(付記15)
 画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
 色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素であって、複数種類の不安定要因がそれぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。
(付記16)
 色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能の、いずれかの機能を集積回路によって実現することを特徴とする画像処理システム。
(付記17)
 通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、付記1に記載の画像処理装置を用いることを特徴とする画像処理システム。
 この出願は、2012年1月30日に出願された日本特許出願2012-016586を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
 本発明は、上述した各実施形態には限定されず、例えば、企業や公共施設などでの人物や物体などのモニタリングに供するカメラ映像の画像処理に適用可能である。
 1  制御部
 2  補正部
 3  前処理部
 10  画像処理装置
 11  背景画像
 12  入力画像
 13  色補正結果画像
 14  基準画像
 15  色補正係数
 100  画像処理装置
 101  分類画素抽出部
 102  色補正用画素候補抽出部
 103  色補正パラメタ算出部
 104  色補正部
 105  色補正パラメタ算出部
 106  色補正用画素候補抽出部
 107  色補正部
 108  分類画素抽出部
 110  基準色画像情報
 120  入力画像
 130  色補正結果画像
 140  座標情報
 150  分類画素情報
 160  色補正用画素候補情報
 170  色補正パラメタ情報
 180  色補正結果情報
 201  ノイズ、画素値飽和および不足画素除去部
 202  カラーチャートによる色補正パラメタ算出部
 203  色補正部
 204  基準色画像情報抽出部
 205  理想画像エッジヒストグラム情報蓄積部
 209  エッジヒストグラム算出部
 210  背景画像
 215  エッジ算出部
 220  カラーチャート画像
 250  背景画像情報
 260  カラーチャート画像情報
 270  色補正パラメタ
 280  理想画像
 295  理想画像エッジヒストグラム情報
 401  色補正パラメタ推定用画素情報選択部
 402  色補正用パラメタ算出部
 410  選択画素情報
 1201  情報飽和画素抽出部
 1202  背景モデル差分抽出部
 1203  画素変動値算出部
 1204  安定画素判定部
 1205  エッジ算出部
 1206  前景物体検出部
 1207  安定画素判定部
 1208  補正画像差分抽出部
 1209  エッジヒストグラム算出部
 1210  背景モデル情報
 1211  照明変動対応画素抽出部
 1212  安定画素判定部
 1213  相関抽出部
 1214  背景モデル記憶装置
 1215  エッジ算出部
 1220  背景モデル更新情報
 1230  情報飽和画素情報
 1240  背景モデル差分情報
 1245  エッジ情報
 1246  物体抽出情報
 1250  画素変動値情報
 1255  背景モデル更新情報
 1260  補正画像差分情報
 1265  照明変動情報
 1270  背景モデル差分情報
 1275  画素変動値情報
 1280  エッジ情報
 1285  エッジヒストグラム情報
 1290  相関情報

Claims (10)

  1.  色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
     入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
     ことを特徴とする画像処理装置。
  2.  請求項1に記載の画像処理の動作を行う制御部を備え、
     前記制御部は、
     基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
     前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
     前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含む前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報を抽出する色補正用画素候補抽出部と
     を含むことを特徴とする請求項1に記載の画像処理装置。
  3.  前記複数種類の不安定要因は、所定の閾値よりも画素値が大きく飽和した画素、または画素値が前記所定の閾値よりも不足する画素のいずれかである情報飽和画素か、前記入力画像を構成する画素の画素値と、背景領域の画像である背景モデル画像を構成する画素の画素値との差分が、前記所定の閾値より大きい背景モデル差分画素か、前記情報飽和画素であり、かつ、前記背景モデル差分画素が、前記背景領域であると判定した画素と一致する前記入力画像の画素の画素値の所定時間当たりの変動が、所定の閾値より大きい画素値変動画素であり、前記制御部は、前記処理対象の背景画像を含む前記入力画像を構成する画素から、前記複数種類の不安定要因であるいずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする請求項1または請求項2に記載の画像処理装置。
  4.  前記制御部は、前記背景モデル差分画素である背景モデル差分情報の抽出を阻害する照明変動が生じているか否かの判定を、前記処理対象の背景画像を含む前記入力画像を構成する画素から前記情報飽和画素を除いた画素数に対する、前記入力画像と前記背景モデル画像との画素の画素値の差分が所定の閾値以上で生じている画素数の割合が、所定の閾値より高い場合、照明変動が起きていると判定するとともに、該判定結果に基いて出力する照明変動情報の内容に応じて、安定画素判定部における安定した画素の抽出方法を変更することを特徴とする請求項1乃至請求項3に記載の画像処理装置。
  5.  前記制御部は、
     前記照明変動が生じていると判定する場合は、前記エッジ画素の座標と強度と方向との組からなるエッジ情報および、該エッジ情報を基にしたエッジヒストグラム情報から生成する相関情報を、前記安定画素判定部に出力し、前記照明変動が生じていないと判定する場合は、前記エッジ情報を基にした前記エッジヒストグラム情報から生成する前記相関情報のみを、前記安定画素判定部に出力することで、前記照明変動情報の内容に応じて安定画素抽出方法を変更する
     ことを特徴とする請求項4に記載の画像処理装置。
  6.  前記制御部は、前記照明変動情報の内容に応じて、前記照明変動が生じていると判定する場合、それぞれブロック領域に分割した前記背景画像を色見本で色補正した理想画像、および入力画像の、それぞれのエッジヒストグラム情報を基に、前記理想画像に対する前記入力画像のエッジヒストグラムの相関が高いブロック領域を抽出する相関抽出部を備え、
     前記安定画素判定部は、前記エッジ情報から、前記入力画像のブロック領域内に含まれるエッジ成分の強度が弱い画素を抽出し、前記エッジ成分の強度が所定の閾値より弱い画素から、前記情報飽和画素を除いた画素を前記色補正用画素候補情報として出力することを特徴とする請求項4または請求項5に記載の画像処理装置。
  7.  前記色補正用画素候補抽出部は、前記照明変動情報が、照明変動が発生していると判定する場合、次の入力画像が入力される際に、現在の前記入力画像を色補正した情報である色補正結果情報と、前記基準色画像情報との差分を抽出し、その差分が所定の閾値以下の座標と画素値を、補正画像差分情報として前記安定画素判定部へ出力するとともに、前記補正画像差分情報の画素の画素値が所定の閾値以下である画素の座標と、その座標に対応する前記入力画像の画素値に基づいて、背景モデル更新情報を作成し、背景モデル記憶装置に格納している前記背景モデル画像を更新する補正画像差分抽出部を有する
     ことを特徴とする請求項1に記載の画像処理装置。
  8.  色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて複数の区画に分類し、
     該分類した区画毎に、所定の個数の画素を選択するとともに、
     入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
     前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。
  9.  画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
     色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素であって、複数種類の不安定要因がそれぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。
  10.  通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、請求項1に記載の画像処理装置を用いることを特徴とする画像処理システム。
PCT/JP2013/000196 2012-01-30 2013-01-17 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム WO2013114803A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012016586A JP2015092643A (ja) 2012-01-30 2012-01-30 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2012-016586 2012-07-12

Publications (1)

Publication Number Publication Date
WO2013114803A1 true WO2013114803A1 (ja) 2013-08-08

Family

ID=48904855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000196 WO2013114803A1 (ja) 2012-01-30 2013-01-17 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム

Country Status (2)

Country Link
JP (1) JP2015092643A (ja)
WO (1) WO2013114803A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2017502596A (ja) * 2014-09-17 2017-01-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ホワイトバランス調整方法及び撮像システム
EP3167790A4 (en) * 2014-07-07 2018-02-28 Sony Corporation Image processing device and method, program, and endoscope system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501257B2 (ja) * 2015-05-18 2019-04-17 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
EP3226203A1 (en) 2016-03-30 2017-10-04 Thomson Licensing Method for detection of saturated pixels in an image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210139A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210139A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3167790A4 (en) * 2014-07-07 2018-02-28 Sony Corporation Image processing device and method, program, and endoscope system
JP2017502596A (ja) * 2014-09-17 2017-01-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ホワイトバランス調整方法及び撮像システム
US9743058B2 (en) 2014-09-17 2017-08-22 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
US9743059B2 (en) 2014-09-17 2017-08-22 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2015092643A (ja) 2015-05-14

Similar Documents

Publication Publication Date Title
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
US7764319B2 (en) Image processing apparatus, image-taking system, image processing method and image processing program
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US10021313B1 (en) Image adjustment techniques for multiple-frame images
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
US20150170389A1 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US20070047803A1 (en) Image processing device with automatic white balance
US9460521B2 (en) Digital image analysis
JP2009506688A (ja) 画像分割方法および画像分割システム
JP7152065B2 (ja) 画像処理装置
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
JP5814799B2 (ja) 画像処理装置及び画像処理方法
WO2015145917A1 (ja) 画像補正装置、画像補正方法およびプログラム記録媒体
JP2004222231A (ja) 画像処理装置および画像処理プログラム
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US20200029016A1 (en) Moving object monitoring device and moving object monitoring system
JP5956844B2 (ja) 画像処理装置およびその制御方法
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
KR20120122574A (ko) 디지털 카메라 장치에서 영상 처리 장치 및 방법
US20140327796A1 (en) Method for estimating camera response function
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13742885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13742885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP