WO2014080613A1 - 色補正装置、色補正方法および色補正用プログラム - Google Patents

色補正装置、色補正方法および色補正用プログラム Download PDF

Info

Publication number
WO2014080613A1
WO2014080613A1 PCT/JP2013/006776 JP2013006776W WO2014080613A1 WO 2014080613 A1 WO2014080613 A1 WO 2014080613A1 JP 2013006776 W JP2013006776 W JP 2013006776W WO 2014080613 A1 WO2014080613 A1 WO 2014080613A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
moving object
image
region
stable
Prior art date
Application number
PCT/JP2013/006776
Other languages
English (en)
French (fr)
Inventor
康史 平川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014548454A priority Critical patent/JP6428266B2/ja
Priority to US14/646,536 priority patent/US9462160B2/en
Publication of WO2014080613A1 publication Critical patent/WO2014080613A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to a color correction apparatus, a color correction method, and a color correction program that correct colors in an image.
  • the methods for correcting the color of an image there is a method of performing color correction using a color chart in which a plurality of colors such as natural color, chromatic color, primary color, and gray scale are arranged.
  • This method can correct the color of the image by obtaining a color correction parameter for the captured image based on the imaging result of the color chart.
  • Non-Patent Document 1 describes an example of a luminance transfer function for associating objects between cameras having different colors. For example, in the image taken by the camera A, Mr. A who is wearing an outfit with a blue appearance may have a light blue outfit for the camera B due to a change in color. In this method, image features of blue and light blue clothes are associated with each other so that the same object can be recognized even if the colors are different between the cameras.
  • Non-Patent Document 2 describes a luminance transfer function that takes into account fluctuations in the light source.
  • Non-Patent Document 1 aims at associating objects between cameras with different colors, and assumes a light source change at each position in an image captured by one camera. Not. That is, Non-Patent Document 1 has no description about associating the same person in an image photographed by one camera in order to detect a light source change in the camera.
  • Non-Patent Document 1 uses the timing when the color of the object changes when the camera that captures the object changes, so that it is not possible to detect a color change on a pixel in the same camera. Can not. This also applies to the technique described in Non-Patent Document 2.
  • the present invention provides a color correction apparatus, a color correction method, and a color correction device that can easily correct a color changing for each area in an image without preparing a color chart for each area whose color changes due to a light source change or the like.
  • An object is to provide a color correction program.
  • the color correction apparatus includes a moving object detection unit that detects a moving object from a moving image whose shooting range is the same as the shooting range of the correction target image or includes the entire shooting range of the correction target image, and a moving object detection unit.
  • Position-specific color information acquisition means for determining the identity of the moving object detected by the moving image in the moving image and acquiring the position of the moving object accompanying the movement and information indicating the color of the moving object in the image;
  • Position-specific color information storage means for storing the position of the moving object associated with the movement of the moving object acquired by the position-specific color information acquisition means and information indicating the color of the moving object in the image in association with each other;
  • a color stable area estimating means for estimating a color stable area, which is an area where the color is stable in the shooting range, based on information indicating the relationship between the position of the moving object and the color stored in the separate color information storage means; Stable This is a parameter for converting colors between color stable areas based on the estimation result by the area estimation means and the information indicating the relationship between the position and color of the moving object stored in the position-specific color information storage means.
  • Color conversion parameter calculation means for calculating a color conversion parameter, and color correction means for correcting the color of the correction target image using the color conversion parameter
  • the color correction method detects a moving object from a moving image whose shooting range is the same as the shooting range of the correction target image or includes the entire shooting range of the correction target image, and detects the moving object in the moving image of the detected moving object.
  • the identity of the moving object is determined, the position of the moving object that accompanies the movement and the information indicating the color of the moving object in the image are acquired, stored in association with each other, and the moving object stored in the storage means Based on the information indicating the relationship between the position of the image and the color, the color stable region, which is a region where the color is stable in the shooting range, is estimated, the estimation result of the color stable region, and the position of the moving object stored in the storage unit Based on the information indicating the relationship between the color and the color, a color conversion parameter that is a parameter for converting the color between the color stable regions is calculated, and correction is performed using the calculated color conversion parameter between the color stable regions. Correct the color of the target image And wherein the Rukoto.
  • the color correction program is a computer program for detecting a moving object from a moving image whose shooting range is the same as the shooting range of the correction target image or which includes the entire shooting range of the correction target image. Processing for determining identity of an object in a moving image, obtaining information indicating the position of the moving object associated with movement and information indicating the color of the moving object in the image, and storing them in association with each other; Based on the information indicating the relationship between the position of the moving object and the color stored in the image, the process of estimating the color stable region, which is the region where the color is stable in the shooting range, the estimation result of the color stable region, and the storage means Based on the stored information indicating the relationship between the position of the moving object and the color, processing for calculating a color conversion parameter, which is a parameter for converting the color between the color stable regions, and the calculated color reduction Using the color conversion parameters between the regions, characterized in that to execute a process for correcting the color of the correction target image.
  • the color changing for each region in the image can be easily corrected.
  • FIG. 1 is a block diagram illustrating a configuration example of a color correction apparatus according to a first embodiment of the present invention.
  • the color correction apparatus shown in FIG. 1 includes a position-specific color change feature extraction unit 1, a color stable region estimation unit 2, a region-specific color correction parameter calculation unit 3, and a color correction unit 4.
  • the position-specific color change feature extraction unit 1 extracts the color change feature of the image at each position in the shooting range.
  • the position-specific color change feature extraction unit 1 extracts, for example, an area in which a moving object is captured (hereinafter referred to as a moving object area) from a moving image captured by a fixed camera, and tracks (tracks) the moving object.
  • Information indicating the relationship between the position of the region and the color and the relationship between the position of the moving object region and the color change may be extracted. Further, the position-specific color change feature extraction unit 1 holds the extracted information in a storage unit (not shown).
  • the information indicating the relationship between the position and color of the moving object area is, for example, information indicating the position in the shooting range and the color in the image at the position (for example, image feature amount) for the corresponding moving object area. May be associated with each other.
  • the information indicating the relationship between the position in the shooting range and the color change is the color change amount in the image between the position in the shooting range and the adjacent position at the position for the corresponding moving object region. The information which matched with the information which shows may be sufficient.
  • the position-specific color change feature extraction unit 1 may extract a color histogram as information indicating a color, for example. Further, the distance between the histograms may be calculated as information indicating the amount of color change. The distance between the histograms can be calculated using, for example, a histogram intersection. The calculation of the color change amount preferably includes direction information (that is, information indicating from which direction the moving object has entered a certain position). The histogram intersection described above can relate the difference of the histogram intersection to its position and direction.
  • the position-specific color change feature extraction unit 1 performs tracking for a plurality of moving objects, and the relationship between the position and color of the moving object region in the shooting range, and the relationship between the position and color change of the moving object region in the shooting range.
  • the information indicating is extracted.
  • the color change characteristics of the image (information indicating what kind of color change has occurred between the adjacent areas) are extracted at the main positions in the shooting range.
  • color correction for the image frame can be performed with only the tracking result for one moving object, but it is preferable to have tracking results for many moving objects in order to improve accuracy. This is because the accuracy is reduced if one moving object is relied on for the shadow, the noise on the image, or the change of the object area due to some factor.
  • the color stable region estimation unit 2 Based on the information extracted by the position-specific color change feature extraction unit 1, the color stable region estimation unit 2 generates an image feature amount change model indicating a color feature change amount (a change amount of an image feature amount related to a color) for each position. Create and estimate the color stability region.
  • the color stable region refers to a region where the color is stable in the photographing range, that is, a region where color change hardly occurs.
  • the color stable region estimation unit 2 creates, for example, an image feature amount change model indicating a color feature change amount for each position, and sets a region having a large color feature change amount as a boundary region, and the colors divided by the boundary regions Each region having a small feature change amount may be estimated as one color stable region. In this case, the range of the region having a small color feature change amount divided by the boundary region is estimated as a color stable region under the same illumination condition.
  • the area-specific color correction parameter calculation unit 3 calculates a color correction parameter for each color stable region estimated by the color stable region estimation unit 2. For example, when a reference color such as a color chart is photographed under one illumination condition, the color correction parameter calculation unit 3 for each region has the region (reference color) based on the photographing result of the reference color. A color correction parameter for the color stable region where the object is located) may be calculated. If the color correction parameter is calculated in one color stable region, based on the information indicating the relationship between the position and the color in the shooting range extracted by the position-specific color change feature extracting unit 1, Color correction parameters can also be calculated.
  • the color correction parameter calculation unit 3 for each region uses another color stable region based on the color in one color stable region in the correction target image.
  • the color correction parameter in each color stable region may be calculated so that the inner color tone approaches the reference color tone.
  • the color correction unit 4 corrects the color of the target image based on the color correction parameter for each color stable region calculated by the region-specific color correction parameter calculation unit 3.
  • the color correction unit 4 may correct the color in the target image for each color stable region using the color correction parameter calculated for each color stable region.
  • the position-specific color change feature extraction unit 1, the color stable region estimation unit 2, the region-specific color correction parameter calculation unit 3, and the color correction unit 4 are realized by an information processing apparatus that operates according to a program such as a CPU, for example. Is done.
  • the color change characteristics of the image at each position extracted by the position-specific color change feature extraction unit 1, information about the color stability region estimated by the color stability region estimation unit 2, and color correction for each region You may provide the memory
  • FIG. 2 is a flowchart showing an operation example of this embodiment.
  • the color stable region estimation unit 2 estimates the color stable region in the shooting range of the correction target image or the input moving image based on the extraction result by the position-specific color change feature extraction unit 1 (step S2).
  • the color stable region estimation unit 2 is configured for each position of the shooting range of the correction target image based on the information indicating the relationship between the position in the shooting range extracted by the position-specific color change feature extraction unit 1 and the color change.
  • An image feature amount change model indicating a color feature change amount is created, and a color stable region is estimated based on the magnitude of the color feature change amount for each position indicated by the created image feature amount change model.
  • the shooting range of the correction target image and the shooting range of the input moving image are the same or the correspondence relationship is known, if the color stable region is obtained in one of the shooting ranges, the other shooting is performed. The color stability region in the range is inevitably obtained.
  • the color correction parameter calculation unit 3 for each region calculates a color correction parameter for each color stable region (step S3).
  • the area-specific color correction parameter calculation unit 3 includes, for example, information on the color stability area estimated by the color stability area estimation unit 2 and the relationship between the position and color in the shooting range extracted by the position-specific color change feature extraction unit 1. And a color correction parameter for each color stable region.
  • the color correction unit 4 calculates the correction target image based on the color correction parameter calculated by the color correction parameter calculation unit 3 for each region.
  • the color is corrected (step S4).
  • the boundary region can be corrected based on position-specific color information.
  • a color correction parameter is prepared for each color stable region, and the color correction parameter is used to perform color correction. Color correction may be performed for each stable region.
  • the color change for each position of the moving object is grasped, the color stable region is estimated based on the state of the color change for each position, and for each position. Since the color correction parameter is calculated for each color stable region based on the color, when light enters from a plurality of types of light sources into the shooting range of a fixed camera such as a surveillance camera, the influence of the light in one image Even when the color changes for each region, the color changing for each region can be easily corrected.
  • the association of people between cameras was performed in a part of the area, but in order to obtain the color stable area extraction and the color change for each color stable area, No tracking of a moving object and associating the color of the object with position information is performed.
  • a moving object within the shooting range of the camera is tracked using an image feature amount or the like, and information that associates the color of the object with position information is acquired.
  • the presence / absence (or degree) of color change between regions is estimated.
  • a color stable region is estimated from the presence or absence of a color change between the estimated regions.
  • a color correction parameter is calculated from the state of color change of the moving object for each estimated color stable region.
  • the color change characteristics associated with the movement of the moving object are used to estimate the color stable area and calculate the color correction parameter for each color stable area.
  • Colors that change from region to region can be easily corrected. That is, even if color charts are not arranged at multiple locations, the colors in the image are corrected so that the color of the same object does not change for each position of the shooting area, or the colors in the image are close to the original colors
  • the color in the image can be corrected so as to be tint.
  • the position-specific color change feature extraction unit 1 and the color stable region estimation unit 2 of the present embodiment extract the color change feature of the image for each position and time, and the color for each position and time based on the extraction result.
  • an image feature amount change model indicating the amount of feature change may be created, and the color stable region for each time may be estimated.
  • FIG. FIG. 3 is a block diagram illustrating a configuration example of the color correction apparatus according to the second embodiment of the present invention.
  • the color correction apparatus according to the present embodiment is an example of a more specific configuration of the color correction apparatus according to the first embodiment illustrated in FIG. 3 includes a moving object region extraction unit 21, a moving object identification unit 22, a position-specific image feature amount holding unit 23, a boundary information calculation unit 24, and an inter-region color conversion parameter calculation unit 25.
  • the specific position color correction parameter calculation unit 26, the area-specific color correction parameter calculation unit 27, and the color correction unit 28 are provided.
  • a moving image captured by a fixed camera is used as an input image.
  • the correction target image is an image taken with the same fixed camera. It may be one or a plurality of frames included in the input image. Note that the input image does not have to be a moving image shot by a fixed camera as long as the shooting range is the same as the shooting range of the correction target image or includes the entire shooting range of the correction target image.
  • the input image may be a plurality of types of moving images captured by a plurality of fixed cameras as long as the relationship between the capturing range and the actual position is known.
  • the moving object area extraction unit 21 extracts the moving object from the input moving image. More specifically, the moving object area extraction unit 21 extracts an area where the moving object is located (hereinafter referred to as an object area) from the input image.
  • object area extraction may be performed by finding pixel changes between images. For example, a background difference or an inter-frame difference may be calculated, and a pixel area having the difference may be detected as an object area.
  • the moving object region extraction unit 21 may perform an object detection process using a classifier (identification model) generated by learning or template matching when extracting an object region. For example, in order to determine whether or not what is shown in the extracted area as a difference is a moving object, a discriminator that learned the feature amount of a general moving object image was generated and generated The object determination process may be performed by inputting the image information of the extracted region to the classifier.
  • a support vector machine (SVM), AdaBoost, or the like can be used as the discriminator.
  • the moving object region extraction unit 21 performs an image feature amount expressing color from the extracted object region and an image feature amount for tracking for the identification process and the image feature amount calculation process for each position performed in the subsequent stage. To extract.
  • the image feature amount expressing a color include a color histogram in a color space such as RGB, HSV, L * a * b, and L * u * v.
  • the image feature amount for tracking depends on the algorithm used, but in addition to the image feature amount expressing the color described above, the edge feature amount and the feature amount indicating a local region (Haar-like, HOG, SIFT) , SURF, etc.). Note that the image feature amount expressing color and the image feature amount for tracking are not limited to the above-described examples.
  • the moving object region extraction unit 21 may extract only the image feature amount at a specific position of the object when performing object identification or the like. For example, when person identification is performed, only the image feature amount of the upper body may be extracted.
  • the moving object identification unit 22 tracks the moving object in the input moving image based on the image feature amount of the object region extracted by the moving object region extraction unit 21. More specifically, the moving object identification unit 22 performs identification processing of the object region extracted by the moving object region extraction unit 21 between each frame in the input moving image. For example, the moving object identification unit 22 may determine the identity of a moving object whose position changes by tracking, and may assign an ID indicating the same if the moving object is extracted from each frame. . The moving object identification unit 22 may also record a change in the angle of view and a change in magnification due to the PTZ when a person is tracked with a pan / tilde / zoom (PTZ) camera.
  • PTZ pan / tilde / zoom
  • Object tracking methods include, for example, the movement of an object, such as the color or edge of an object, with respect to an object extracted by an object discriminator such as pattern matching, SVM, or AdaBoost. Tracking technology that estimates by image feature can be used. Specifically, mean-shift tracking, particle filter, KLT method, Kalman filter, or the like can be used.
  • the position of the moving object in each frame is specified by such identification processing.
  • position information such as the moving path of the moving object in the shooting region and the position of each movement is specified.
  • the conversion from the position in the frame image to the position in the shooting area may be performed using a conversion expression registered in advance or a conversion expression calculated from camera parameters.
  • the position-specific image feature value holding unit 23 holds the object position and the image feature value indicating the color in association with each other.
  • the object position for example, the lower end portion of the object area extracted by the moving object area extraction unit 21 may be set. Further, for example, when it is determined that the person is a person by a discriminator, the foot position of the person may be set.
  • the positional relationship of the changing shooting range is registered together with the image feature amount indicating the object position and color. Note that it is also possible to set the position information in the three-dimensional region, or simply set the position information (pixel position, etc.) on the image, assuming that the real-world shooting range is three-dimensional.
  • the moving object identification unit 22 may extract the same position based on the information and register it in the position-specific image feature amount holding unit 23. Good. It is also possible to extract the same position of the object using the image feature amount. In this case, the same position may be determined using SURF (Speeded Up Up Robust Features), SIFT (Scale Invariant Feature Up Transformation) features, template matching, or the like.
  • SURF Speeded Up Up Robust Features
  • SIFT Scale Invariant Feature Up Transformation
  • the boundary information calculation unit 24 changes the color in the shooting region (real space) based on the information that associates the object position held in the position-specific image feature quantity holding unit 23 with the image feature quantity indicating the color.
  • a position (boundary region) where the occurrence of the color is calculated to estimate a color stable region.
  • the boundary information calculation unit 24 converts the imaging region into a plurality of partial regions based on information that associates the object position held in the position-specific image feature amount holding unit 23 with the image feature amount indicating the color. For each divided partial region, an image feature amount change model indicating a change amount (representative value) of the image feature amount between adjacent regions in the partial region may be generated.
  • each partial region includes a region having a large color change with respect to the adjacent region, or the boundary between each partial region and the adjacent region has a large color change
  • the real space shooting area to which the area belongs belongs to a boundary area where the color is not stable May be determined. You may estimate that the range of the area
  • a region group with a small amount of change in the image feature amount in which a predetermined size or more is secured as a continuous region without being divided by the boundary region may be extracted.
  • the change amount between which adjacent region is included in the total result of the change amount between the adjacent regions is extracted. It is possible to extract a position in the photographing area of the real space corresponding to the boundary with the adjacent area indicated by the direction as a position where the color change occurs. Even if the extracted position where the color change occurs is defined as a boundary position, the range of the area where the color change does not occur divided by the boundary position is estimated as a color stable area under the same illumination condition. Good. When the boundary position is not continuous, interpolation processing or the like may be performed so that the boundary position is continuous.
  • FIG. 4 is an explanatory diagram showing an example of the boundary area and the color stability area.
  • irradiation with two different illuminations 303 and 304 is performed within the imaging range 300 of the fixed camera 301, and the illumination range 305 of the illumination 303 and the illumination range 306 of the illumination 304 partially overlap.
  • Yes That is, in the imaging range 300, there are an area included in the irradiation range 305, an area included in the irradiation range 306, and an area included in the irradiation range 305 and the irradiation range 306.
  • FIG. 4 it is shown that three color stable regions divided into two boundary regions are estimated as a result of tracking the person 307 and the like under such a situation.
  • a color stable region under illumination condition A corresponds to a region irradiated only by the illumination 304.
  • the color stable region under the illumination condition B corresponds to a region irradiated with the illumination 303 and the illumination 304.
  • the color stable region under the illumination condition C corresponds to a region irradiated only by the illumination 303.
  • the boundary information calculation unit 24 uses the difference in the image feature amount of the color of the moving object extracted sequentially in time series based on the tracking result as the change amount of the image feature amount (for example, the distance between histograms, etc.). Is calculated as an image feature amount change amount. For example, the boundary information calculation unit 24 calculates the difference between the image feature amount of the color of the moving object at time t and the image feature amount of the color of the moving object at time t + 1. At this time, the position information and the moving direction information are simultaneously held.
  • the boundary information calculation unit 24 aggregates the image feature amount change amount calculated for each position, and calculates an image feature amount change amount represented by each position.
  • an area where the object can move for example, the bottom surface
  • the image feature amount change amount may be calculated and aggregated between adjacent partial areas.
  • a method for dividing the area is not particularly limited, but the area may be divided into rectangular partial areas.
  • the boundary information calculation unit 24 may set a plurality of virtual measurement reference points instead of setting the partial areas. In such a case, the boundary information calculation unit 24 may associate the position information closest to each measurement reference point and calculate and aggregate the image feature amount change amount between adjacent measurement reference points. .
  • the boundary information calculation unit 24 may store the calculated image feature amount change amount in association with each of the adjacent partial regions or measurement reference points used for the calculation together with the comparison destination information.
  • the image feature amount change amount is calculated for each movement of a plurality of objects, and these are totaled and modeled to obtain a representative value of the image feature amount change amount at each position.
  • the model for calculating the representative value of the image feature amount change amount may be, for example, a model for calculating the average or variance value of the image feature amount change amount for each aggregated position. At this time, since the total number varies depending on each region / point, the amount of change may be normalized. In addition, in order to make the calculated representative value more closely match the actual change in the light source, a value that seems to be a shadow or noise is removed according to a predetermined rule, or interpolation processing is performed so that the boundary region is continuous. Also good.
  • FIG. 5 to FIG. 8 are explanatory diagrams for explaining a totaling method of the image feature amount change amount for each position.
  • FIG. 5 is an explanatory diagram illustrating an example of a camera viewpoint video.
  • 401 indicates a frame range.
  • Reference numeral 402 denotes a wall, and 403 denotes a floor surface.
  • the camera viewpoint video in the frame range 401 shows that the person 404 has moved in the illustrated direction (tilt leftward as viewed from the person 404) from time t to time t + 1. Is shown.
  • FIG. 6 is a top view showing the real-world positional relationship of the subject included in the frame range shown in FIG.
  • the shooting range of the camera 405 is indicated by a broken line 406.
  • the alternate long and short dash line 406 ′ indicates a floor area included in the imaging range.
  • FIG. 7 is an explanatory diagram showing an example of dividing the floor area 406 ′ of the photographing range into rectangular partial areas.
  • the boundary information calculation unit 24 divides the floor area 406 ′ of the imaging range into a plurality of partial areas 501, and image features between adjacent partial areas (see shaded display). The amount of change in the amount may be calculated sequentially, and then summed up.
  • the partial area may not be rectangular.
  • FIG. 8 is an explanatory diagram showing an example in which a plurality of measurement reference points are provided in the floor area 406 ′ of the imaging range.
  • the boundary information calculation unit 24 provides a plurality of measurement reference points 601 in the floor surface area 406 ′ of the imaging range, and associates with the position information closest to each measurement reference point 601.
  • the amount of change in the image feature amount between adjacent measurement reference points 601 may be calculated sequentially, and these may be aggregated. Further, when the amount of change is obtained for each arbitrarily determined measurement reference point, the amount of change between the measurement reference points may be calculated by interpolation.
  • the boundary information calculation unit 24 performs region classification based on the representative value of the image feature amount change amount for each position obtained in this way. For example, the boundary information calculation unit 24 performs threshold processing on the representative value of the image feature amount change amount for each obtained position, and sets a single region where the change amount is determined to be small as one color stable region. Also good. In addition, for example, threshold processing may be performed, and a boundary of a region with a large amount of change may be defined as a boundary region, and a region of a certain size or more divided by the boundary region may be defined as a color stable region.
  • FIG. 9 is an explanatory diagram showing an example of the total result of the image feature amount change amount.
  • FIG. 9 as a result of classifying regions based on the representative value of the image feature amount change amount for each partial region, adjacent regions where the image feature amount change amount is equal to or less than a predetermined value are shown by the same shading. Yes.
  • a boundary with an adjacent region where the image feature amount change amount is equal to or greater than a predetermined value is indicated by a solid line as a boundary position. That is, in FIG. 9, the area surrounded by the solid line corresponds to one color stable area.
  • a total of 10 color stable regions are detected as a result of each region not shaded due to the range of the photographing region being regarded as one color stable region.
  • FIG. 10 is an explanatory diagram showing another example of the total result of the image feature amount change amount.
  • FIG. 10 is an explanatory diagram illustrating an example of a result of aggregating the change amount of the image feature amount obtained for each measurement reference point arranged at equal intervals.
  • the image feature amount change amount is equal to or greater than a predetermined value.
  • a boundary with an adjacent area is indicated by a solid line as a boundary position, and an area divided by the boundary position is indicated as one tint stable area. That is, in the example shown in FIG. 10, the region surrounded by the solid line corresponds to one color stable region.
  • a total of six color stable regions are detected as a result of each region not shaded due to the range of the photographing region being regarded as one color stable region.
  • the inter-region color conversion parameter calculation unit 25 calculates a color conversion parameter that is a parameter for converting a color between color stable regions.
  • the color conversion parameter is a parameter for converting the color in the image.
  • the color conversion parameter absorbs the difference in the illumination condition between the target areas, and the color of the same object in the image is changed between the areas. It is a parameter for expressing with the same color.
  • the color conversion parameter can be said to be a kind of color correction parameter in that the color of one region is corrected based on the color of one region.
  • the inter-region color conversion parameter calculation unit 25 calculates a color conversion parameter between the color stable regions based on the position-specific image feature amount held in the position-specific image feature amount holding unit 23.
  • the inter-region color conversion parameter calculation unit 25 may perform calculation so that the error is minimized within the color stable region.
  • a least square method, robust estimation, RANSAC, or the like can be used for the calculation of the color conversion parameter.
  • the inter-region color conversion parameter calculating unit 25 uses the two color stable regions 602 and the color stable region 604.
  • a conversion formula for converting the image feature amount in the region 604 into the image feature amount in the color stable region 602 may be calculated.
  • FIG. 11 is an explanatory diagram for explaining a method of calculating a color conversion parameter between regions.
  • the color correction unit 28 uses the color conversion parameter for each region calculated by the inter-region color conversion parameter calculation unit 25 or the color correction parameter for each region calculated by the region-specific color correction parameter calculation unit 27 to be described later.
  • the colors in the image are corrected for each region so that the color of the same object does not change between them, or the color in the color stable region becomes a color close to the reference color.
  • the color correction unit 28 performs inter-region color conversion parameter calculation unit for each color stable region along the movement path of the object. What is necessary is just to convert the color of an object using the color conversion parameter between each color stable area
  • FIG. 12 is an explanatory diagram for explaining a method of calculating a color conversion parameter between color stable regions.
  • the color correction unit 28 calculates a color correction parameter for correcting the color under the reference light source by, for example, a specific position color correction parameter calculation unit 26 and a region-specific color correction parameter calculation unit 27 described later. If so, color conversion may be performed using the calculated area-specific color correction parameters. Thereby, the color of each color stable area in the image can be converted to the color under the reference light source.
  • the specific position color correction parameter calculation unit 26 determines a color (hereinafter referred to as a reference color) in which a color development state (for example, image feature amount) is grasped under a reference illumination condition (for example, under sunlight).
  • a color development state for example, image feature amount
  • a reference illumination condition for example, under sunlight.
  • the specific position color correction parameter calculating unit 26 grasps the color development state of the object B in the color stable region A in the image. Therefore, the color (image feature amount) of the object B in the color stable region A is calculated from the input image. With respect to the color of the object B, the color in the color stable region A is obtained by calculating the amount of change between the image feature amount under the reference illumination condition and the calculated image feature amount in the color stable region A. Correction parameters can be calculated.
  • the object B here may be a color chart.
  • the color correction parameter calculation unit 27 for each region is based on the inter-region color conversion parameter calculated by the inter-region color conversion parameter calculation unit 25 and the color correction parameter at the specific position calculated by the specific position color correction parameter calculation unit 26.
  • a color correction parameter for converting the color development state in the color stability region into a color development state under a reference illumination condition is calculated. For example, as shown by an arrow in FIG. 13, when the color development state of the reference color is grasped in the color stable region 603, the color correction parameter between the color stable region 603 and the adjacent color stable region 604 is set.
  • the color correction parameter of the color stable region 603 calculated by grasping the color development state of the reference color and the color conversion parameter between the regions, that is, the color conversion parameter between the color stable regions 603 to 604 may be calculated.
  • the color correction parameter between the color stable region 604 for which the color correction parameter is calculated and the adjacent color stable region 602 is the same as the calculated color correction parameter of the color stable region 604 and the color conversion parameter between the regions, that is, It may be calculated based on the color conversion parameters between 604 and 602.
  • the color correction parameter between the color stable region 604 for which the color correction parameter is calculated and the adjacent color stable region 605 is the same as the calculated color correction parameter of the color stable region 604 and the color conversion parameter between the regions.
  • the color correction parameter between the color stable region 605 for which the color correction parameter is calculated and the adjacent color stable region 606 is the same as the calculated color correction parameter of the color stable region 605 and the color conversion parameter between the regions. It may be calculated based on the color conversion parameter between 605 and 606.
  • the color correction parameter between the color stable region 605 for which the color correction parameter is calculated and the adjacent color stable region 607 is the same as the calculated color correction parameter for the color stable region 605 and the color conversion parameter between the regions. It may be calculated based on a color conversion parameter between 605 and 607.
  • the color correction parameter of each color stable region can be obtained.
  • the color correction parameter calculation method for each color stable region may be the same as the color conversion parameter calculation method.
  • the moving object region extraction unit 21, the moving object identification unit 22, the boundary information calculation unit 24, the inter-region color conversion parameter calculation unit 25, the specific position color correction parameter calculation unit 26, and the region-specific color correction parameter calculation unit 27 The color correction unit 28 is realized by, for example, an information processing apparatus that operates according to a program such as a CPU. Further, the position-specific image feature value holding unit 23 is realized by a storage device.
  • the color correction apparatus includes a display control unit (not shown) that displays the color stable area on the display device in such a manner that the boundary of each color stable area can be determined. Also good.
  • the display control unit displays on the display device as shown in FIG. 10, it accepts a user input such as a click to the color stability region 605 and the color stability region 604 (see FIG. 12), and the color stability with the user input.
  • Color correction processing may be executed between regions.
  • FIG. 14 is a flowchart illustrating an operation example of the present embodiment.
  • an imaging region is set in accordance with camera settings (step S ⁇ b> 21).
  • camera parameters may be input.
  • step S22 an initialization process for detecting a background difference is performed (step S22).
  • a moving image in which only the background is photographed is input together with the fact so that the background difference can be detected in the tracking process.
  • step S23 the moving object region extraction unit 21 extracts an object region from the input moving image.
  • the extraction of the object region may be performed for each frame or may be performed at regular time intervals in the moving image.
  • the moving object region extraction unit 21 extracts an image feature amount for displaying a color from the extracted object region and an edge feature amount as necessary (step S24).
  • the extracted image feature amount is held in the position-specific image feature amount holding unit 23 in step S26 together with information for specifying the position of the object region in the shooting frame.
  • the moving object identification unit 22 tracks the moving object in the input moving image based on the image feature amount of the object region extracted in step S24 (step S25).
  • the moving object identification unit 22 assigns an ID indicating that the moving object extracted from each frame is the same to the moving object whose position changes by the identification process.
  • a position-specific image is created by associating an ID (moving body identifier), information specifying the position of the object region in the shooting frame, an image feature amount at the position, and information indicating the shooting time or time in the moving image. It holds in the feature amount holding unit 23 (step S26). Note that information specifying the position of the moving object in the imaging region may be held instead of the information specifying the position of the object region in the imaging frame, or together with the information specifying the position of the object region in the imaging frame. .
  • step S23 to step S26 The processing from step S23 to step S26 is performed for a plurality of moving objects.
  • the boundary information calculation unit 24 extracts a color stable region (step S27). For example, the boundary information calculation unit 24 causes a color change in the imaging region based on information that associates the object position and the image feature amount indicating the color that are held in the position-specific image feature amount holding unit 23.
  • the boundary region may be calculated to estimate the color stable region.
  • the inter-region color conversion parameter calculation unit 25 performs color conversion between the color stable regions based on the position-specific image feature amount held in the position-specific image feature amount holding unit 23.
  • a parameter is calculated (step S28).
  • the color correction unit 28 corrects the colors in the image for each region based on the calculated color conversion parameters between the color stable regions (step S29).
  • the color correction unit 28 and the color chart image input to the specific position color correction parameter calculation unit 26 and the area-specific color correction parameter calculation unit 27 Using the calculated color conversion parameters between the color stable areas, calculate the color correction parameters for each color stable area, and correct the colors in the image for each area based on the calculated color correction parameters for each color stable area May be.
  • the color chart image may be, for example, an image taken in the initial shooting for taking a background difference.
  • an image obtained by photographing a color chart including a reference color together with the background may be first input as an initial image.
  • the color change for each position of the moving object is grasped, the color stable region is estimated based on the change state for each position, and the color for each position is determined. Based on the calculated color conversion parameters between the color stability areas, color correction is performed for each area based on the calculated color conversion parameters between the color stability areas. Even when light is incident from the light source, it is possible to easily correct the color changing in one image due to the influence of the light.
  • the moving object region extraction unit 21 extracts the color change feature of the image for each position and time, and the boundary information calculation unit 24 determines for each position based on the extraction result by the moving object region extraction unit 21. By estimating the color stable region for each time, it is possible to cope with the change of the light source due to the time change.
  • the color correction apparatus includes a moving object detection unit 101, a position-specific color information acquisition unit 102, a position-specific color information storage unit 103, a color stable region estimation unit 104, and a color conversion.
  • Parameter calculation means 105 and color correction means 106 are provided.
  • the moving object detection means 101 (for example, the position-specific color change feature extraction unit 1 or the moving object region extraction unit 21) has a shooting range that is the same as the shooting range of the correction target image or a moving image that includes the entire shooting range of the correction target image. A moving object is detected from the image.
  • the position-specific color information acquisition unit 102 determines the identity of the moving object detected by the moving object detection unit 101 in the moving image, and moves Acquired is the position of the moving object and information indicating the color of the moving object in the image.
  • the position-specific color information storage unit 103 (for example, the position-specific image feature amount holding unit 23) is a position of the moving object that accompanies the movement of the moving object acquired by the position-specific color information acquisition unit 102 and the movement in the image.
  • the information indicating the color of the object is stored in association with it.
  • the color stable region estimation unit 104 (for example, the color stable region estimation unit 2 or the boundary information calculation unit 24) is configured to detect the position of the moving object and the inside of the image as the moving object stored in the position-specific color information storage unit 103 moves. Based on the information associated with the information indicating the color of the moving object at, a color stable region that is a region where the color is stable in the photographing range is estimated.
  • the color conversion parameter calculation unit 105 (for example, the region-specific color correction parameter calculation unit 3 or the inter-region color conversion parameter calculation unit 25) is stored in the estimation result by the color stable region estimation unit 104 and the position-specific color information storage unit 103. Based on the information indicating the relationship between the position of the moving object and the color, a color conversion parameter that is a parameter for converting the color between the color stable regions is calculated.
  • the color conversion parameter calculation unit 105 refers to information indicating the color of the moving object in each color stable region from the position-specific color information storage unit 103 based on the estimation result by the color stable region estimation unit 104, for example, A color conversion parameter, which is a parameter for converting colors between them, is calculated.
  • the color correction unit 106 (for example, the color correction unit 4 or the color correction unit 28) corrects the color of the correction target image using the color conversion parameter between the color stable regions calculated by the color conversion parameter calculation unit 105.
  • the color correction apparatus shown in FIG. 16 includes a specific area color correction parameter calculation unit 107 and a color correction parameter calculation unit 108 in addition to the configuration shown in FIG.
  • the specific area color correction parameter calculation means 107 (for example, the specific position color correction parameter calculation unit 26) is an image whose shooting range is the same as or partially overlapped with the shooting range of the moving image used for detecting the moving object. From an image in which an object having a reference color is arranged in the color stable region, for at least one color stable region, the color development state in the region is brought close to the color development state under a reference illumination condition. The color correction parameter that is the parameter of is calculated.
  • the color correction parameter calculation unit 108 uses the color correction parameter for one color stable region calculated by the specific region color correction parameter calculation unit 107 and the color conversion parameter calculation unit 105. Based on the calculated color conversion parameter between the color stable regions, a color correction parameter is calculated for each color stable region.
  • the color correcting unit 106 may correct the color of the correction target image for each color stable region using the color correction parameter for each color stable region calculated by the color correction parameter calculating unit 108. .
  • the color stable region estimation unit 104 indicates a color between adjacent positions for each position based on the information indicating the relationship between the position of the moving object and the color stored in the position-specific color information storage unit 103.
  • the amount of change in information may be aggregated, and the color stable region may be estimated by extracting a position where a color change occurs in the imaging region based on the aggregation result.
  • the color stable region estimation means 104 is an image feature that indicates the amount of color feature change for each position based on the information indicating the relationship between the position and color of the moving object stored in the position-specific color information storage means 103.
  • a quantity change model may be created, and the color stable region may be estimated based on the color feature change quantity for each position indicated by the created image feature quantity change model.
  • the position-specific color information acquisition unit 102 may acquire information indicating the color of the specific position of the moving object as information indicating the color of the moving object.
  • the position-specific color information acquisition unit 102 acquires the position of the moving object accompanying the movement, information indicating the color of the moving object in the image, and the time at that time, and the color stable region estimation unit 104 Based on information indicating the relationship between the position and color of the moving object acquired by the different color information acquisition unit 102 and stored in the position-specific color information storage unit 103, the time-dependent color stable region may be estimated. Further, the estimation of the color stable region for each time may be automatically performed at an appropriate time as the actual time elapses. For example, the color correction device may automatically perform color correction processing by estimating the color stable region every hour until noon, 15:00, 17:00, and after that until midnight. With this configuration, the color correction apparatus of the present invention can automatically correct color changes on an image due to outdoor weather and time zones.
  • the position-specific color information acquisition unit 102 may acquire position information of the lower end portion of the object area as information indicating the position of the moving object.
  • a moving object detecting unit that detects a moving object from a moving image in which the shooting range is the same as or including the entire shooting range of the correction target image, and is detected by the moving object detection unit.
  • Position-specific color information acquisition means for determining the identity of the moving object in the moving image and acquiring the position of the moving object accompanying the movement and information indicating the color of the moving object in the image;
  • Position-specific color information storage means for storing the position of the moving object associated with the movement of the moving object acquired by the different color information acquisition means and information indicating the color of the moving object in the image in association with each other, and the position Based on information indicating the relationship between the position of the moving object and the color stored in the separate color information storage unit, a color stable region estimation unit that estimates a color stable region that is a region where the color is stable in the photographing range; color Parameters for converting colors between color stable regions based on estimation results by the constant region estimation means and information indicating the relationship between the position and color of the moving object stored in the
  • the said color stable area estimation means is a color between the adjacent positions for every position based on the information which shows the relationship between the position and color of the moving object memorize
  • the color correction apparatus according to Supplementary Note 1 or Supplementary Note 2, wherein the color stable region is estimated by summing the amount of change in information indicating the color and extracting a position where a color change occurs in the imaging region based on the summary result.
  • the said color stable area estimation means shows the color feature variation
  • the color correction apparatus according to appendix 1 or appendix 2, wherein an image feature amount change model is created and a color stable region is estimated based on a color feature change amount for each position indicated by the created image feature amount change model.
  • the position-specific color information acquisition unit acquires the position of the moving object accompanying the movement, the information indicating the color of the moving object in the image, and the time at that time, and the color stable region estimation unit 6.
  • the information according to any one of appendix 1 to appendix 5, in which a time-dependent color stable region is estimated based on information indicating a relationship between a position, a color, and time of a moving object acquired by the position-specific color information acquisition unit.
  • Color correction device is any one of appendix 1 to appendix 5, in which a time-dependent color stable region is estimated based on information indicating a relationship between a position, a color, and time of a moving object acquired by the position-specific color information acquisition unit.
  • a moving object is detected from a moving image whose shooting range is the same as that of the correction target image or includes the entire shooting range of the correction target image, and the identity of the detected moving object in the moving image is determined. Determining, acquiring the position of the moving object accompanying the movement and the information indicating the color of the moving object in the image, storing them in association with each other, storing them in the storage unit, and storing the position of the moving object stored in the storage unit Based on the information indicating the relationship between the color and the color, the color stable region which is a region where the color is stable in the photographing range is estimated, the estimation result of the color stable region, and the position of the moving object stored in the storage unit And a color conversion parameter that is a parameter for converting the color between the color stable regions based on the information indicating the relationship between the color and the color, and using the calculated color conversion parameter between the color stable regions Of the image to be corrected Color correction method characterized by correcting the.
  • a color correction parameter which is a parameter for approximating the color development state under illumination conditions based on the color development state in the region, is calculated, and the calculated at least one color
  • the color correction parameter is calculated for each color stable region, and correction is performed using the calculated color correction parameter for each color stable region.
  • the computer acquires the position of the moving object accompanying the movement, the information indicating the color of the moving object in the image and the time at that time, and the position and color of the acquired moving object.
  • the color correction program according to any one of supplementary note 15 to supplementary note 19, which estimates a time-dependent color stable region based on information indicating a relationship with time.
  • a moving object detecting unit that detects a moving object from a moving image having a shooting range that is the same as or including the entire shooting range of the correction target image, and that is detected by the moving object detection unit.
  • a position-specific color information acquisition unit that determines the identity of the moving object in the moving image and acquires information indicating the position of the moving object and the color of the moving object in the image,
  • Color correction comprising color stable region estimation means for estimating a plurality of color stable regions, which are regions where the color is stable in the photographing range, based on information indicating the relationship between the position and color of the moving object apparatus.
  • the color correction device according to claim 22, further comprising display control means for displaying the color stable region on the display device in a manner in which the estimated boundary for each color stable region can be determined.
  • a moving object is detected from a moving image whose shooting range is the same as that of the correction target image or includes the entire shooting range of the correction target image, and the identity of the detected moving object in the moving image. Based on the information indicating the relationship between the position of the moving object and the color of the moving object in the image, and the information indicating the relationship between the position and color of the acquired moving object.
  • Processing for detecting a moving object from a moving image in which the shooting range is the same as that of the correction target image or includes the entire shooting range of the correction target image in the computer, and the moving image of the detected moving object A process for acquiring the position of the moving object accompanying the movement and information indicating the color of the moving object in the image, and the relationship between the acquired position and color of the moving object.
  • a color correction program for executing a process of estimating a plurality of color stable regions, which are regions where colors are stable in an imaging range, based on the information shown.
  • the color correction program according to supplementary note 26 which causes a computer to execute a process of displaying a color stable region on a display device in a manner in which a boundary for each estimated color stable region can be determined.
  • the present invention can be suitably applied to camera video analysis applications, such as when it is desired to determine the color of clothes, which is one of the characteristics of a person, from a video shot by a surveillance camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正可能にする。色補正装置は、入力動画像から移動物体を検出する移動物体検出手段１０１と、検出された移動物体の動画像内における同一性を判定し、移動に伴う移動物体の位置と画像内での移動物体の色を示す情報とを取得し、位置別色情報記憶手段１０３に対応づけて記憶する位置別色情報取得手段１０２と、移動物体の位置と色との関係を示す情報に基づいて、撮影範囲における色安定領域を推定する色安定領域推定手段１０４と、色安定領域の推定結果および各色安定領域での色の情報に基づいて、色安定領域間の色変換パラメタを算出する色変換パラメタ算出手段１０５と、色安定領域間の色変換パラメタを用いて補正対象画像の色を補正する色補正手段１０６とを備える。

Description

色補正装置、色補正方法および色補正用プログラム
　本発明は、画像内の色を補正する色補正装置、色補正方法および色補正用プログラムに関する。
　監視カメラなどで小売店などの入り口を撮影する際、外光と建物内の照明灯のように複数の光源から光が入射すると、その光の影響により同じカメラで撮影した画像内であっても位置によって色味が大きく異なるという問題があった。画像の領域ごとに色味が変化すると、監視カメラなどの撮影映像から、人物の特徴の１つである服装などの特定の色を判断したり、人物の同一性などを判断するのが難しくなる。
　画像の色味を補正する方法の一つに、自然色、有彩色、原色、グレースケールなど基準とする複数の色が配置されたカラーチャートを用いて色補正を行う方法がある。本方法は、カラーチャートの撮影結果に基づいて、撮影画像に対して色補正パラメタを求めることで、画像の色味を補正することができる。
　また、他にも非特許文献１，２に記載されているような輝度伝達関数を用いて色補正を行う方法がある。非特許文献１には、色味が異なるカメラ間でオブジェクトの対応付けを行う輝度伝達関数の例が記載されている。例えば、カメラＡで撮影した映像において、見かけが青色の服装を着ているＡさんは、カメラＢでは色味の変化のため服装の色が水色になることがある。本方法は、青色と水色の服装の画像特徴量を対応付けることで、カメラ間で色味が異なっていても、同一オブジェクトであることがわかるようにする。
　また、非特許文献２には、光源の変動を考慮した輝度伝達関数が記載されている。
Omar Javed, Khurram Shafique, Zeeshan Rasheed, Mubarak Shah, "Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views", Computer Vision and Image Understanding(CVIU), vol 109, Issue 2, 2008, p.146-162. Bryan Prosser, Shaogang Gong, and Tao Xiang, "Multi-camera Matching under Illumination Change Over Time", Workshop on multi-camera and multi-modal Sensor fusion Algorithms and Applications-M2SFA2, 2008
　しかし、単にカラーチャートを用いるだけでは、撮影画像全体の色味を補正することはできても、撮影範囲内の位置によって変化する物体の色味の補正には対応できない。また、複数の位置でカラーチャートを撮影することは可能であるが、撮影位置をどの程度の粒度で決めるかなどの判断が難しく、撮影コストが大きくなるという問題があった。また、時間変化による光源の変化についてはカラーチャートでは対応できないという問題があった。
　また、非特許文献１に記載されている技術は、色味が異なるカメラ間でオブジェクトの対応付けを行うことを目的としており、１つのカメラで撮影した画像内における位置ごとの光源変化は想定していない。すなわち、非特許文献１には、カメラ内の光源変化を検出するために、１つのカメラで撮影した画像内で同一人物を対応付けることについては記載がない。
　また、非特許文献１に記載されている技術は、オブジェクトを撮影するカメラが変わる時が、オブジェクトの色が変化するタイミングとしているため、同一カメラ内での画素上の色変化を検出することはできない。この点は、非特許文献２に記載されている技術も同様である。
　そこで、本発明は、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる色補正装置、色補正方法および色補正用プログラムを提供することを目的とする。
　本発明による色補正装置は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、移動物体検出手段により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段と、色安定領域推定手段による推定結果と、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えたことを特徴とする。
　本発明による色補正方法は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させ、記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする。
　本発明による色補正用プログラムは、コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させる処理、記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理を実行させることを特徴とする。
　本発明によれば、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる。
第１の実施形態の色補正装置の構成例を示すブロック図である。 第１の実施形態の色補正装置の動作例を示すフローチャートである。 第２の実施形態の色補正装置の構成例を示すブロック図である。 境界領域および色安定領域の例を示す説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 画像特徴量変化量の集計結果の一例を示す説明図である。 画像特徴量変化量の集計結果の他の例を示す説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域別の色補正パラメタの算出方法を説明するための説明図である。 第２の実施形態の色補正装置の動作例を示すフローチャートである。 本発明の概要を示すブロック図である。 本発明の概要を示すブロック図である。
実施形態１．
　以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の色補正装置の構成例を示すブロック図である。図１に示す色補正装置は、位置別色変化特徴抽出部１と、色安定領域推定部２と、領域別色補正パラメタ算出部３と、色補正部４とを備える。
　位置別色変化特徴抽出部１は、撮影範囲の各位置における画像の色変化特徴を抽出する。位置別色変化特徴抽出部１は、例えば、固定カメラで撮影された撮影動画から移動物体が写っている領域（以下、移動物体領域という。）を抽出してトラッキング（追跡処理）し、移動物体領域の位置と色との関係および移動物体領域の位置と色変化との関係を示す情報を抽出してもよい。また、位置別色変化特徴抽出部１は、抽出した情報を記憶手段（図示せず）に保持しておく。移動物体領域の位置と色との関係を示す情報は、例えば、該当する移動物体領域について、撮影範囲内の位置と、該位置での画像内での色を示す情報（例えば、画像特徴量）とを対応づけた情報であってもよい。また、撮影範囲内の位置と色変化との関係を示す情報は、該当する移動物体領域について、撮影範囲内の位置と、該位置での隣接位置との間の画像内での色の変化量を示す情報とを対応づけた情報であってもよい。
　位置別色変化特徴抽出部１は、例えば、色を示す情報として、色ヒストグラムを抽出してもよい。また、色の変化量を示す情報として、ヒストグラム間の距離を算出してもよい。ヒストグラム間の距離は、例えば、ヒストグラムインターセクションを利用して算出できる。色の変化量の算出には、方向情報（すなわち、ある位置に対し、移動物体がどの方向から入ってきたかを示す情報）が含まれていることが好ましい。上述のヒストグラムインターセクションは、その位置、方向に対して、ヒストグラムインターセクションの差分を関連づけることができる。
　位置別色変化特徴抽出部１は、複数の移動物体についてトラッキングを行い、移動物体領域の撮影範囲内の位置と色との関係、および移動物体領域の撮影範囲内の位置と色変化との関係を示す情報を抽出する。これにより、撮影範囲内の主要な位置について画像の色変化特徴（隣接領域との間でどのような色の変化が起きたかを示す情報）を抽出する。
　なお、１つの移動物体についてのトラッキング結果だけでも、その画像フレームに対する色補正は可能であるが、精度向上のためには、多くの移動物体についてのトラッキング結果があるのが好ましい。影や画像上のノイズ、何らかの要因における物体領域の変化に対して１つの移動物体に依存すると、精度が低下するからである。
　色安定領域推定部２は、位置別色変化特徴抽出部１が抽出した情報に基づいて、位置ごとの色の特徴変化量（色に関する画像特徴量の変化量）を示す画像特徴量変化モデルを作成し、色安定領域を推定する。ここで、色安定領域とは、撮影範囲において色が安定している領域、すなわち色変化が起きにくい領域をいう。
　色安定領域推定部２は、例えば、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、色の特徴変化量が大きい領域を境界領域とし、境界領域によって分けられた色の特徴変化量の小さい領域を各々１つの色安定領域と推定してもよい。この場合、境界領域によって分けられた色の特徴変化量の小さい領域の範囲は、同一照明条件下の色安定領域と推定される。
　領域別色補正パラメタ算出部３は、色安定領域推定部２によって推定された色安定領域ごとに色補正パラメタを算出する。領域別色補正パラメタ算出部３は、例えば、１つの照明条件下でカラーチャートなどのレファレンス色が撮影されている場合には、そのリファレンス色の撮影結果に基づいて、当該領域（レファレンス色を有する物体が位置する色安定領域）に対する色補正パラメタを算出してもよい。１つの色安定領域で色補正パラメタが算出されれば、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色の関係を示す情報に基づいて、他の色安定領域についての色補正パラメタも算出できる。
　また、領域別色補正パラメタ算出部３は、レファレンス色が撮影された画像が入力されない場合には、補正対象画像内の１つの色安定領域内の色味を基準にして、他の色安定領域内の色味がその基準とする色味に近づくように、各色安定領域での色補正パラメタを算出してもよい。
　色補正部４は、領域別色補正パラメタ算出部３によって算出された色安定領域ごとの色補正パラメタに基づいて、対象画像の色を補正する。色補正部４は、色安定領域ごとに算出される色補正パラメタを用いて、色安定領域別に対象画像内の色を補正すればよい。
　本実施形態において、位置別色変化特徴抽出部１、色安定領域推定部２、領域別色補正パラメタ算出部３および色補正部４は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置によって実現される。また、図示省略しているが、位置別色変化特徴抽出部１が抽出した各位置における画像の色変化特徴や、色安定領域推定部２が推定した色安定領域に関する情報や、領域別色補正パラメタ算出部３が算出した色安定領域ごとの色補正パラメタや、補正対象画像の情報や、補正後の画像の情報等を必要に応じて記憶する記憶装置を備えていてもよい。
　次に、図２を参照して本実施形態の動作を説明する。図２は、本実施形態の動作例を示すフローチャートである。撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像が入力されると、図２に示すように、まず位置別色変化特徴抽出部１が、各位置における画像の色変化特徴を抽出する（ステップＳ１）。
　次いで、色安定領域推定部２は、位置別色変化特徴抽出部１による抽出結果に基づいて、補正対象画像または入力動画像の撮影範囲における色安定領域を推定する（ステップＳ２）。色安定領域推定部２は、例えば、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色変化との関係を示す情報に基づいて、補正対象画像の撮影範囲の位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、作成した画像特徴量変化モデルによって示される位置ごとの色の特徴変化量の大きさに基づいて、色安定領域を推定する。なお、補正対象画像の撮影範囲と入力動画像の撮影範囲は同じであるか対応関係が既知であることを前提としているので、いずれか一方の撮影範囲において色安定領域を求めれば、他方の撮影範囲における色安定領域も必然的に求まる。
　次いで、領域別色補正パラメタ算出部３は、色安定領域ごとに色補正パラメタを算出する（ステップＳ３）。領域別色補正パラメタ算出部３は、例えば、色安定領域推定部２によって推定された色安定領域の情報と、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色の関係を示す情報とに基づいて、色安定領域ごとに色補正パラメタを算出する。
　領域別色補正パラメタ算出部３によって領域別の色補正パラメタが算出されると、色補正部４は、領域別色補正パラメタ算出部３によって算出された色補正パラメタに基づいて、補正対象画像の色を補正する（ステップＳ４）。なお、境界領域については、位置別の色情報を基に補正することは可能であるが、本実施形態では、少なくとも色安定領域ごとに色補正パラメタを用意し、その色補正パラメタを用いて色安定領域別に色補正を行えばよいものとする。
　以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの色の変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域ごとに色補正パラメタを算出するので、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合など、光の影響によって１つの画像内において領域ごとに色味が変化する場合であっても、そのような領域ごとに変化する色味を容易に補正できる。
　従来技術では、カメラ間での人物の対応付けは一部の領域で行われていたが、色安定領域の抽出および色安定領域ごとの色の変化の様子を得るために、カメラの撮影範囲内で移動物体をトラッキングし、その物体の色と位置情報とを関連づけることは行われていない。これに対して、例えば、本実施形態では、カメラの撮影範囲内での移動物体を画像特徴量などを用いてトラッキングし、その物体の色と位置情報とを関連づけた情報を取得して、それを基に領域間の色の変化の有無（またはその程度）を推定する。そして、推定した領域間の色の変化の有無から色安定領域と推定する。その上で、推定された色安定領域ごとに移動物体の色の変化の様子から色補正パラメタを算出する。このように、移動物体の移動に伴う色変化の特徴（色変化の有無やその様子）を利用して、色安定領域の推定と色安定領域ごとの色補正パラメタを算出するので、画像内において領域ごとに変化する色味を容易に補正できる。すなわち、複数箇所にカラーチャートを配置しなくても、撮影領域の位置ごとに同一物体の色味が変化しないように画像内の色を補正したり、画像内の色味が本来の色に近い色味になるように画像内の色を補正できる。
　また、本実施形態の位置別色変化特徴抽出部１および色安定領域推定部２が、位置別および時間別に画像の色変化特徴を抽出して、抽出結果に基づいて位置ごとおよび時間ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、時間別の色安定領域を推定してもよい。そのようにすれば、カメラの切り替え時といった明示の変化のタイミングがなくても、随時色変化を伴う領域を検出できるので、時間変化による光源の変化にも対応可能である。
実施形態２．
　図３は、本発明の第２の実施形態の色補正装置の構成例を示すブロック図である。本実施形態の色補正装置は、図１で示した第１の実施形態の色補正装置のより具体的な構成の一例である。図３に示す色補正装置は、移動物体領域抽出部２１と、移動物体同定部２２と、位置別画像特徴量保持部２３と、境界情報算出部２４と、領域間色変換パラメタ算出部２５と、特定位置色補正パラメタ算出部２６と、領域別色補正パラメタ算出部２７と、色補正部２８とを備える。
　本実施形態では、固定カメラで撮影された動画像を入力画像とする。また、補正対象画像は、同じ固定カメラで撮影された画像とする。なお、入力画像に含まれる１または複数のフレームであってもよい。なお、入力画像は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像であれば、固定カメラで撮影された動画像でなくてもよい。また、入力画像は、撮影範囲と現実の位置との関係が既知であれば、複数の固定カメラで撮影された複数種類の動画像であってもよい。
　移動物体領域抽出部２１は、動画像が入力されると、入力された動画像から移動物体を抽出する。移動物体領域抽出部２１は、より具体的には、入力画像内から移動物体が位置する領域（以下、物体領域という。）を抽出する。物体領域の抽出は、画像間の画素変化を見つけることによって行ってもよい。例えば、背景差分や、フレーム間差分を算出し、差分のあった画素領域を物体領域として検出してもよい。
　また、移動物体領域抽出部２１は、物体領域の抽出の際に、学習によって生成される識別器（識別モデル）やテンプレートマッチングを用いた物体検出処理を行ってもよい。例えば、差分があったとして抽出した領域に写っているものが移動物体であるか否かの判定を行うため、一般的な移動物体の画像の特徴量を学習した識別器を生成し、生成した識別器に抽出した領域の画像情報を入力して、物体判定処理を行ってもよい。識別器には、サポートベクターマシン（ＳＶＭ）やアダブースト（ＡｄａＢｏｏｓｔ）などを利用できる。
　また、移動物体領域抽出部２１は、後段で行われる同定処理および位置別の画像特徴量の算出処理のために、抽出した物体領域から色を表現する画像特徴量やトラッキングのための画像特徴量を抽出する。
　色を表現する画像特徴量としては、具体的には、ＲＧＢ、ＨＳＶ、Ｌ＊ａ＊ｂ、Ｌ＊ｕ＊ｖなどの色空間における色ヒストグラムが挙げられる。また、トラッキングのための画像特徴量としては、利用するアルゴリズムによるが、前述した色を表現する画像特徴量の他、エッジ特徴量、局所的な領域を示す特徴量（Ｈａａｒ－ｌｉｋｅ、ＨＯＧ、ＳＩＦＴ、ＳＵＲＦ等）が挙げられる。なお、色を表現する画像特徴量およびトラッキングのための画像特徴量は、上述の例に限定されない。
　また、移動物体領域抽出部２１は、物体識別等を行った場合、物体の特定位置の画像特徴量のみを抽出してもよい。例えば、人物識別を行った場合には、上半身の画像特徴量のみを抽出してもよい。
　移動物体同定部２２は、移動物体領域抽出部２１によって抽出された物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする。移動物体同定部２２は、より具体的には、入力された動画内の各フレーム間で移動物体領域抽出部２１によって抽出された物体領域の同定処理を行う。移動物体同定部２２は、例えば、追跡を行って位置が変化する移動体の同一性を判定し、各フレームから抽出された移動体について同一であればその旨を示すＩＤを付与してもよい。また、移動物体同定部２２は、パン・チルド・ズーム（ＰＴＺ）カメラによって人物を追跡する場合などには、ＰＴＺによる画角変化や倍率変化を併せて記録してもよい。
　物体の追跡方法には、例えば、画像差分等から変動した領域や、パターンマッチング、ＳＶＭやＡｄａＢｏｏｓｔなどの物体識別器で抽出した物体に対して、その物体の移動を、物体の色やエッジなどの画像特徴量で推定するトラッキング技術を利用できる。具体的には、ｍｅａｎ－ｓｈｉｆｔトラッキングや、パーティクルフィルタ、ＫＬＴ法、カルマンフィルタなどが利用できる。
　このような同定処理により、各フレーム内における移動物体の位置を特定する。固定カメラで撮影された動画データの各フレーム内における移動物体の位置が特定されることによって、撮影領域における移動物体の移動経路や移動ごとの位置等の位置情報が特定される。フレーム画像内の位置から、撮影領域内の位置（現実の位置）への変換は、予め登録されている変換式またはカメラパラメータから算出される変換式を用いればよい。
　位置別画像特徴量保持部２３は、物体位置と色を示す画像特徴量とを結びつけて保持する。物体位置は、例えば、移動物体領域抽出部２１によって抽出された物体領域の下端部分を設定してもよい。また、例えば識別器によって人物と判定している場合には、人物の足元位置を設定してもよい。また、ＰＴＺカメラを利用する場合には、物体位置と色を示す画像特徴量とともに、変化する撮影範囲の位置関係を登録する。なお、実世界の撮影範囲を３次元として捉え、３次元領域における位置情報を設定したり、単純に画像上の位置情報（画素位置等）を設定することも可能である。
　例えば、パンで１５度変化する場合、その変化前後での同一位置を把握する必要がある。移動物体同定部２２は、同定処理で画角変化や倍率変化を抽出している場合には、その情報に基づいて同一位置を抽出して、位置別画像特徴量保持部２３に登録してもよい。また、画像特徴量を利用して物体の同一位置を抽出することも可能である。この場合、ＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale Invariant feature transform ）特徴量やテンプレートマッチングなどを利用して同一位置の判定を行ってもよい。
　境界情報算出部２４は、位置別画像特徴量保持部２３に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内（実空間）での色変化が起きる位置（境界領域）を算出して、色安定領域を推定する。
　境界情報算出部２４は、例えば、位置別画像特徴量保持部２３に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内を複数の部分領域に分割した各部分領域に対して、当該部分領域における隣接領域との間の画像特徴量の変化量（代表値）を示す画像特徴量変化モデルを生成してもよい。そして、生成した画像特徴量変換モデルを用いて、各部分領域が隣接領域に対して色変化が大きい領域を含んでいるか否か、または、各部分領域と隣接領域との境界が色変化が大きい領域であるか否かをしきい値処理などで判定して、色変化が大きい領域と判定された場合に、その領域が該当する実空間の撮影領域は色味が安定しない境界領域に属するものと判定してもよい。そのようにして得られた境界領域によって区切られた、色変化の小さい領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界領域によって区切られた色変化の小さい領域の範囲として、例えば、境界領域によって分断されることなく、連続する領域として所定サイズ以上を確保した、画像特徴量の変化量の小さい領域群を抽出してもよい。
　なお、各部分領域と隣接領域との境界に対して色変化が大きい領域か否かを判定する場合には、隣接領域との間の変化量の集計結果にどの隣接領域との間の変化量かを示す方向を持たせ、その方向が示す隣接領域との境界に相当する実空間の撮影領域内の位置を、色変化が起きる位置として抽出してもよい。そして、抽出された色変化が起きる位置を境界位置として、そのような境界位置によって区切られた、色変化が起きない領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界位置が連続しない場合は、境界位置が連続するように補間処理などを行ってもよい。
　図４は、境界領域および色安定領域の例を示す説明図である。図４に示す例では、固定カメラ３０１の撮影範囲３００内において、２つの異なる照明３０３，３０４による照射がなされ、かつ照明３０３の照射範囲３０５と、照明３０４の照射範囲３０６とが一部重なっている。すなわち、撮影範囲３００内には、照射範囲３０５に含まれる領域と、照射範囲３０６に含まれる領域と、照射範囲３０５および照射範囲３０６に含まれる領域とが存在している。図４に示す例では、このような状況下において、人物３０７等のトラッキングを行った結果、２つの境界領域に分けられた３つの色安定領域が推定されたことが示されている。具体的には、照明条件Ａ下での色安定領域と照明条件Ｂ下での色安定領域と照明条件Ｃ下での色安定領域の３つの色安定領域が検出された例が示されている。ここで、照明条件Ａ下での色安定領域は、照明３０４のみが照射する領域に相当する。また、照明条件Ｂ下での色安定領域は、照明３０３と照明３０４とが照射する領域に相当する。また、照明条件Ｃ下での色安定領域は、照明３０３のみが照射する領域に相当する。
　以下、より具体的な方法を説明する。まず、境界情報算出部２４は、画像特徴量の変化量として、トラッキング結果に基づいて、時系列順に連続して抽出した移動物体の色の画像特徴量における差分（例えば、ヒストグラム間の距離等）を画像特徴量変化量として算出する。例えば、境界情報算出部２４は、時刻ｔにおける移動物体の色の画像特徴量と、時刻ｔ＋１における移動物体の色の画像特徴量の差分を算出する。この際、位置情報と移動方向情報とを同時に保持しておく。
　そして、境界情報算出部２４は、位置ごとに算出した画像特徴量変化量を集計し、各位置に代表される画像特徴量変化量を算出する。集計処理では、物体が移動可能な領域（例えば、底面）を仮想的に分割して部分領域とし、隣接する部分領域間で画像特徴量変化量を算出、集計してもよい。領域を分割する方法は特に限定されないが、矩形の部分領域に分割してもよい。
　また、境界情報算出部２４は、部分領域を設定する代わりに、仮想の測定基準点を複数設定してもよい。そのような場合には、境界情報算出部２４は、各測定基準点に一番近い位置情報との関連付けを行い、隣接する測定基準点間の画像特徴量変化量を算出、集計してもよい。
　境界情報算出部２４は、例えば、算出した画像特徴量変化量を、算出に用いた隣接する部分領域または測定基準点の各々に、比較先の情報とともに対応づけて記憶してもよい。複数の物体について物体の移動ごとに画像特徴量変化量を算出し、それらを集計して、モデル化することで、各位置での画像特徴量の変化量の代表値を得る。
　画像特徴量変化量の代表値を算出するモデルは、例えば、集計された位置ごとの画像特徴量変化量の平均や分散値を算出するモデルであってもよい。その際、集計数は各領域・点によって異なるため、変化量の正規化を行ってもよい。また、算出される代表値が、実際の光源変化の様子とより合致するように、所定のルールに従って影やノイズと思われる値の除去や、境界領域が連続するように補間処理などを行ってもよい。
　図５～図８は、位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。図５は、カメラ視点映像の例を示す説明図である。図５において、４０１はフレーム範囲を示している。なお、４０２は壁、４０３は床面を示している。図５に示す例では、フレーム範囲４０１のカメラ視点映像において、人物４０４が時刻ｔから時刻ｔ＋１の間に図示した方向（人物４０４から見て前方斜め左方向）に移動した様子が写っていることを示している。
　また、図６は、図５に示したフレーム範囲に含まれる被写体の実世界の位置関係を示す上面図である。図６では、カメラ４０５の撮影範囲を破線４０６で示している。なお、一点鎖線４０６’は、撮影範囲に含まれる床面領域を示している。
　また、図７は、撮影範囲の床面領域４０６’を矩形の部分領域に分割する例を示す説明図である。境界情報算出部２４は、例えば、図７に示すように、撮影範囲の床面領域４０６’を複数の部分領域５０１に分割して、隣接する部分領域間（網掛け表示参照。）の画像特徴量の変化量を順次算出していき、それらを集計してもよい。なお、部分領域は矩形でなくてもよい。
　また、図８は、撮影範囲の床面領域４０６’に複数の測定基準点を設ける例を示す説明図である。境界情報算出部２４は、例えば、図８に示すように、撮影範囲の床面領域４０６’に複数の測定基準点６０１を設けて、各測定基準点６０１に一番近い位置情報と関連付けを行い、隣接する測定基準点６０１間の画像特徴量の変化量を順次算出していき、それらを集計してもよい。また、任意に定めた測定基準点ごとに変化量を求める場合、内挿補間によって測定基準点間の変化量を算出してもよい。
　境界情報算出部２４は、このようにして求めた各位置ごとの画像特徴量変化量の代表値に基づき、領域分類を行う。境界情報算出部２４は、例えば、求めた各位置ごとに画像特徴量変化量の代表値に対して閾値処理を行い、変化量が小さいと判断されたひとつづきの領域を１つの色安定領域としてもよい。また、例えば、閾値処理を行い、変化量が大きい領域の境目を境界領域として、境界領域で区切られる一定サイズ以上の領域を色安定領域としてもよい。
　図９は、画像特徴量変化量の集計結果の一例を示す説明図である。図９に示す例では、部分領域ごとの画像特徴量変化量の代表値に基づき領域を分類した結果、画像特徴量変化量が所定の値以下となった隣接領域については同じ網掛けで示している。また、図９に示す例では、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示している。すなわち、図９では、実線で囲まれた領域が１つの色安定領域に相当している。なお、図９に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々１つの色安定領域とみなされた結果、計１０個の色安定領域が検出される。
　また、図１０は、画像特徴量変化量の集計結果の他の例を示す説明図である。図１０は、等間隔に並べた測定基準点ごとに求めた画像特徴量の変化量の集計結果の一例を示す説明図である。なお、図１０に示す例では、測定基準点ごとに求めた画像特徴量変化量に基づき、内挿補間を行った後に領域を分類した結果、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示し、その境界位置で区切られた領域を１つの色味安定領域として示している。すなわち、図１０に示す例では、実線で囲まれた領域が１つの色安定領域に相当している。なお、図１０に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々１つの色安定領域とみなされた結果、計６個の色安定領域が検出される。
　領域間色変換パラメタ算出部２５は、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタは、画像内の色を変換するためのパラメタであって、本実施形態においては、対象とする領域間の照明条件の違いを吸収し、画像内において同一物体の色を該領域間で同じ色味で表現するためのパラメタである。色変換パラメタは、一方の領域の色味を基準として他方の領域の色味を補正するという点で、色補正パラメタの一種であるといえる。
　領域間色変換パラメタ算出部２５は、位置別画像特徴量保持部２３に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する。複数の画像特徴量を用いて変換パラメタを算出する場合には、領域間色変換パラメタ算出部２５は、色安定領域内で誤差が最小となるように計算してもよい。色変換パラメタの算出には、最小二乗法や、ロバスト推定、ＲＡＮＳＡＣ等を利用できる。
　領域間色変換パラメタ算出部２５は、例えば、図１１において矢印で示すように、色安定領域６０２－６０４間の色変換パラメタを算出する場合、２つの色安定領域６０２および色安定領域６０４にて複数の物体の画像特徴量を収集し、収集した画像特徴量に基づいて、色安定領域６０２内の画像特徴量を色安定領域６０４内の画像特徴量に変換するための変換式、および色安定領域６０４内の画像特徴量を色安定領域６０２内の画像特徴量に変換するための変換式を算出すればよい。なお、一方の変換式から他方の変換式が求まる場合には、いずれか一方の変換式のみを求めればよい。図１１は、領域間の色変換パラメタの算出方法を説明するための説明図である。
　色補正部２８は、領域間色変換パラメタ算出部２５が算出した領域別の色変換パラメタまたは後述する領域別色補正パラメタ算出部２７が算出した領域別の色補正パラメタを用いて、色安定領域間で同一物体の色味が変化しないように、または色安定領域内の色味がレファレンス色に近い色味になるように、画像内の色を領域別に補正する。
　例えば、特定の物体の色味が移動先の領域で変化しないようにしたい場合には、色補正部２８が、物体の移動経路に沿って、色安定領域ごとに、領域間色変換パラメタ算出部２５が求めた各色安定領域間の色変換パラメタを用いて物体の色を変換すればよい。例えば、図１２に示すような特定の色安定領域において人物４０４の色を把握する目的で、領域間の色の変化をなくしたいという要望があったとする。このような場合には、人物４０４の移動経路に沿って、移動元の色安定領域と移動先の色安定領域間の色変換を順に行えばよい。図１２の例では、色安定領域６０５－６０４間と、色安定領域６０４－６０２間とで計２回の色変換を行えばよい。図１２は、色安定領域間の色変換パラメタの算出方法を説明するための説明図である。
　また、色補正部２８は、例えば、後述する特定位置色補正パラメタ算出部２６および領域別色補正パラメタ算出部２７によって、基準光源下での色味へ補正するための色補正パラメタが算出されている場合には、算出されている領域別色補正パラメタを用いて色変換を行ってもよい。これにより、画像内の各色安定領域の色味を基準光源下での色味に変換することができる。
　特定位置色補正パラメタ算出部２６は、基準とされる照明条件下（例えば、太陽光下）での発色状態（例えば、画像特徴量）が把握されている色（以下、レファレンス色という。）を有する物体が色安定領域に配置されている画像が入力されると、当該色安定領域での当該物体のレファレンス色の発色状態と、基準とされる照明条件下での発色状態とを比較して、当該色安定領域での発色状態を基準とされる照明条件下での発色状態に近づけるための当該色安定領域における色補正パラメタを算出する。なお、ここでの入力画像は、撮影範囲が移動物体を検出した動画像の撮影範囲と同じまたは一部重複している画像であればよい。
　例えば、レファレンス色を有する物体Ｂが色安定領域Ａに配置された画像が入力されると、特定位置色補正パラメタ算出部２６は、画像内における色安定領域Ａにおける物体Ｂの発色状態を把握するために、入力画像から色安定領域Ａ内の物体Ｂの色（画像特徴量）を算出する。物体Ｂの色に関して、基準とされる照明条件下での画像特徴量と算出された色安定領域Ａ内での画像特徴量との間の変化量を求めることにより、色安定領域Ａでの色補正パラメタを算出できる。ここでいう物体Ｂは、カラーチャートであってもよい。
　領域別色補正パラメタ算出部２７は、領域間色変換パラメタ算出部２５によって算出された領域間色変換パラメタと、特定位置色補正パラメタ算出部２６によって算出された特定位置の色補正パラメタとに基づいて、色安定領域ごとに、当該色安定領域内の発色状態を基準とされる照明条件下での発色状態に変換するための色補正パラメタを算出する。例えば、図１３に矢印で示すように、色安定領域６０３においてレファレンス色の発色状態の把握を行った場合には、当該色安定領域６０３と隣接する色安定領域６０４との間の色補正パラメタを、レファレンス色の発色状態の把握により算出された色安定領域６０３の色補正パラメタと、当該領域間の色変換パラメタすなわち色安定領域６０３－６０４間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０４と隣接する色安定領域６０２との間の色補正パラメタを、算出した色安定領域６０４の色補正パラメタと、当該領域間の色変換パラメタすなわち６０４－６０２間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０４と隣接する色安定領域６０５との間の色補正パラメタを、算出した色安定領域６０４の色補正パラメタと、当該領域間の色変換パラメタすなわち６０４－６０５間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０５と隣接する色安定領域６０６との間の色補正パラメタを、算出した色安定領域６０５の色補正パラメタと、当該領域間の色変換パラメタすなわち６０５－６０６間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０５と隣接する色安定領域６０７との間の色補正パラメタを、算出した色安定領域６０５の色補正パラメタと、当該領域間の色変換パラメタすなわち６０５－６０７間の色変換パラメタとに基づいて算出すればよい。このようにして、物体色の把握により算出された色安定領域から隣接する色安定領域へと順次色変換パラメタを算出すれば、各色安定領域の色補正パラメタを得られる。各色安定領域の色補正パラメタの算出方法は、色変換パラメタの算出方法と同様でよい。
　本実施形態において、移動物体領域抽出部２１、移動物体同定部２２、境界情報算出部２４、領域間色変換パラメタ算出部２５、特定位置色補正パラメタ算出部２６、領域別色補正パラメタ算出部２７および色補正部２８は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置によって実現される。また、位置別画像特徴量保持部２３は、記憶装置によって実現される。
　なお、色補正装置は、図９や図１０に示すように、色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御部（図示せず）を備えていてもよい。表示制御部が表示装置に図１０のように表示させた場合、色安定領域６０５と色安定領域６０４（図１２参照）とに対するクリック等のユーザの入力を受け付け、ユーザの入力があった色安定領域間で色補正の処理が実行されるようにしてもよい。
　次に、本実施形態の動作について説明する。図１４は、本実施形態の動作例を示すフローチャートである。図１４に示す例では、まず、カメラのセッティングに併せて撮影領域の設定を行う（ステップＳ２１）。ここで、カメラパラメータを入力してもよい。
　次いで、背景差分を検出するための初期化処理を行う（ステップＳ２２）。本処理は、トラッキング処理において背景差分を検出できるように、背景のみを撮影した動画をその旨とともに入力する。
　そのような初期化処理が終了すると、補正対象画像と同じ固定カメラで撮影された動画像を入力し、移動物体の抽出処理を行う（ステップＳ２３）。ステップＳ２３では、移動物体領域抽出部２１が、入力された動画像から物体領域を抽出する。物体領域の抽出は、フレームごとに行ってもよいし、動画内における一定時間毎におこなってもよい。
　物体領域を抽出すると、移動物体領域抽出部２１は、抽出した物体領域から色を表示する画像特徴量と、必要に応じてエッジ特徴量を抽出する（ステップＳ２４）。ここで抽出された画像特徴量は、撮影フレーム内における物体領域の位置を特定する情報とともに、ステップＳ２６で位置別画像特徴量保持部２３に保持される。
　物体領域が抽出されると、移動物体同定部２２が、ステップＳ２４で抽出された当該物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする（ステップＳ２５）。移動物体同定部２２は、同定処理によって、位置が変化する移動体の同一性が判明したものに対して、各フレームから抽出された移動体に同一であることを示すＩＤを付与し、付与したＩＤ（移動体識別子）と、撮影フレーム内における物体領域の位置を特定する情報と、当該位置での画像特徴量と、撮影時刻または動画内における時間を示す情報とを対応づけて、位置別画像特徴量保持部２３に保持する（ステップＳ２６）。なお、撮影フレーム内における物体領域の位置を特定する情報の代わりに、または撮影フレーム内における物体領域の位置を特定する情報とともに、撮影領域における移動体の位置を特定する情報を保持してもよい。
　ステップＳ２３～ステップＳ２６までの処理を、複数の移動物体について行う。
　複数の移動物体について、位置別画像特徴量保持部２３に情報が保持されると、境界情報算出部２４が、色安定領域を抽出する（ステップＳ２７）。境界情報算出部２４は、例えば、位置別画像特徴量保持部２３に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内での色変化が起きる境界領域を算出して、色安定領域を推定してもよい。
　色安定領域の推定処理が完了すると、領域間色変換パラメタ算出部２５が、位置別画像特徴量保持部２３に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する（ステップＳ２８）。
　色安定領域間の色変換パラメタが算出されると、色補正部２８が、算出された色安定領域間の色変換パラメタに基づいて、画像内の色を領域別に補正する（ステップＳ２９）。このとき、レファレンス色を含むカラーチャート画像が入力されている場合には、色補正部２８は、特定位置色補正パラメタ算出部２６および領域別色補正パラメタ算出部２７に入力されたカラーチャート画像と算出された色安定領域間の色変換パラメタとを用いて、色安定領域別に色補正パラメタを算出させ、算出された色安定領域別の色補正パラメタに基づいて、画像内の色を領域別に補正してもよい。
　カラーチャート画像は、例えば、背景差分をとるための初期撮影で撮影されたものであってもよい。すなわち、背景と一緒にレファレンス色を含むカラーチャートを撮影したものを最初に初期画像として入力してもよい。
　以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域間の色変換パラメタを算出するので、算出した色安定領域間の色変換パラメタを基に領域別に色補正を行えば、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合であっても、その光の影響によって１つの画像内において変化する色味を容易に補正できる。
　また、本実施形態でも、移動物体領域抽出部２１が位置別および時間別に画像の色変化特徴を抽出して、境界情報算出部２４が移動物体領域抽出部２１による抽出結果に基づいて位置ごとおよび時間ごとの色安定領域を推定することによって、時間変化による光源の変化にも対応することが可能である。
　次に、本発明の概要について説明する。図１５および図１６は、本発明の概要を示すブロック図である。図１５に示すように、本発明による色補正装置は、移動物体検出手段１０１と、位置別色情報取得手段１０２と、位置別色情報記憶手段１０３と、色安定領域推定手段１０４と、色変換パラメタ算出手段１０５と、色補正手段１０６とを備えている。
　移動物体検出手段１０１（例えば、位置別色変化特徴抽出部１や移動物体領域抽出部２１）は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出する。
　位置別色情報取得手段１０２（例えば、位置別色変化特徴抽出部１や移動物体同定部２２）は、移動物体検出手段１０１により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する。
　位置別色情報記憶手段１０３（例えば、位置別画像特徴量保持部２３）は、位置別色情報取得手段１０２によって取得された移動体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する。
　色安定領域推定手段１０４（例えば、色安定領域推定部２や境界情報算出部２４）は、位置別色情報記憶手段１０３に記憶されている移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけた情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する。
　色変換パラメタ算出手段１０５（例えば、領域別色補正パラメタ算出部３や領域間色変換パラメタ算出部２５）は、色安定領域推定手段１０４による推定結果と、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタ算出手段１０５は、例えば、色安定領域推定手段１０４による推定結果を基に、位置別色情報記憶手段１０３から各色安定領域における移動物体の色を示す情報を参照して、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。
　色補正手段１０６（例えば、色補正部４や色補正部２８）は、色変換パラメタ算出手段１０５によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する。
　このような構成により、１つのカメラで撮影された画像内において変化する色味を容易に補正できる。例えば、領域ごとに同一物体の色味が変化しないようにする補正も容易にできる。また、例えば、一部の領域の色味に他の領域の色味を合わせるといった補正も容易に可能である。
　また、本発明による色補正装置は、図１６に示すような構成であってもよい。図１６に示す色補正装置は、図１５に示す構成に加えて、特定領域色補正パラメタ算出手段１０７と、色補正パラメタ算出手段１０８とを備えている。
　特定領域色補正パラメタ算出手段１０７（例えば、特定位置色補正パラメタ算出部２６）は、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を、基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する。
　色補正パラメタ算出手段１０８（例えば、領域別色補正パラメタ算出部２７）は、特定領域色補正パラメタ算出手段１０７によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段１０５によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する。
　このような構成の場合、色補正手段１０６は、色補正パラメタ算出手段１０８によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を色安定領域別に補正してもよい。
　このような構成によれば、１つのカメラで撮影された画像内において変化する色味を、各々、基準とされる照明条件下での色味に補正できる。
　また、色安定領域推定手段１０４は、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定してもよい。
　また、色安定領域推定手段１０４は、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。
　また、位置別色情報取得手段１０２は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得してもよい。
　また、位置別色情報取得手段１０２は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段１０４は、位置別色情報取得手段１０２によって取得され位置別色情報記憶手段１０３に記憶された移動物体の位置と色との関係を示す情報に基づいて、時間別の色安定領域を推定してもよい。また、時間別の色安定領域の推定は、現実の時間の経過に伴って、然るべき時間に自動的に行われてもよい。例えば、色補正装置は、正午、１５時、１７時およびそれ以降は深夜まで１時間毎に自動的に色安定領域の推定を行い、色補正処理を実行するようにしてもよい。このように構成することにより、本発明の色補正装置は、屋外の天候や時間帯による画像上の色変化に対し自動的に補正を行うことが可能となる。
　また、位置別色情報取得手段１０２は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得してもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段と、前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えたことを特徴とする色補正装置。
　（付記２）撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、前記特定領域色補正パラメタ算出手段によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記１に記載の色補正装置。
　（付記３）前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記１または付記２に記載の色補正装置。
　（付記４）前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記１または付記２に記載の色補正装置。
　（付記５）前記位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記１から付記４のうちのいずれかに記載の色補正装置。
　（付記６）前記位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記１から付記５のうちのいずれかに記載の色補正装置。
　（付記７）前記位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記１から付記６のうちのいずれかに記載の色補正装置。
　（付記８）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させ、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする色補正方法。
　（付記９）撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出し、算出された前記少なくとも１つの色安定領域に対する色補正パラメタと、色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出し、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記８に記載の色補正方法。
　（付記１０）前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記８または付記９に記載の色補正方法。
　（付記１１）前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記８または付記９に記載の色補正方法。
　（付記１２）移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記８から付記１１のうちのいずれかに記載の色補正方法。
　（付記１３）移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得し、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記８から付記１２のうちのいずれかに記載の色補正方法。
　（付記１４）移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記８から付記１３のうちのいずれかに記載の色補正方法。
　（付記１５）コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させる処理、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理を実行させるための色補正用プログラム。
　（付記１６）コンピュータに、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する処理、および前記少なくとも１つの色安定領域における色補正パラメタと、前記色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する処理を実行させ、色を補正する処理で、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正させる付記１５に記載の色補正用プログラム。
　（付記１７）コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計させ、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出させて、色安定領域を推定させる付記１５または付記１６に記載の色補正用プログラム。
　（付記１８）コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成させ、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させる付記１５または付記１６に記載の色補正用プログラム。
　（付記１９）コンピュータに、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得させる付記１５から付記１８のうちのいずれかに記載の色補正用プログラム。
　（付記２０）コンピュータに、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得させ、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定させる付記１５から付記１９のうちのいずれかに記載の色補正用プログラム。
　（付記２１）コンピュータに、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得させる付記１５から付記２０のうちのいずれかに記載の色補正用プログラム。
　（付記２２）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する色安定領域推定手段とを備えたことを特徴とする色補正装置。
　（付記２３）推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御手段を備えた請求項２２に記載の色補正装置。
　（付記２４）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定することを特徴とする色補正方法。
　（付記２５）推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる付記２４に記載の色補正方法。
　（付記２６）コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、および、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する処理を実行させるための色補正プログラム。
　（付記２７）コンピュータに、推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる処理を実行させる付記２６に記載の色補正プログラム。
　この出願は、２０１２年１１月２２日に出願された日本特許出願２０１２－２５５９８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、監視カメラの撮影映像から人物の特徴の１つである服装などの色を判断したい場合など、カメラ映像の解析用途に好適に適用可能である。
　１　位置別色変化特徴抽出部
　２　色安定領域推定部
　３　領域別色補正パラメタ算出部
　４　色補正部
　２１　移動物体領域抽出部
　２２　移動物体同定部
　２３　位置別画像特徴量保持部
　２４　境界情報算出部
　２５　領域間色変換パラメタ算出部
　２６　特定位置色補正パラメタ算出部
　２７　領域別色補正パラメタ算出部
　２８　色補正部
　１０１　移動物体検出手段
　１０２　位置別色情報取得手段
　１０３　位置別色情報記憶手段
　１０４　色安定領域推定手段
　１０５　色変換パラメタ算出手段
　１０６　色補正手段
　１０７　特定領域色補正パラメタ算出手段
　１０８　色補正パラメタ算出手段

Claims (14)

  1. 　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
    　前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
    　前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、
    　前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段と、
    　前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、
    　前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えた
    　ことを特徴とする色補正装置。
  2. 　撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、
    　前記特定領域色補正パラメタ算出手段によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、
    　色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する
    　請求項１に記載の色補正装置。
  3. 　色安定領域推定手段は、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する
    　請求項１または請求項２に記載の色補正装置。
  4. 　色安定領域推定手段は、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する
    　請求項１または請求項２に記載の色補正装置。
  5. 　位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する
    　請求項１から請求項４のうちのいずれか１項に記載の色補正装置。
  6. 　位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、
    　色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する
    　請求項１から請求項５のうちのいずれか１項に記載の色補正装置。
  7. 　位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する
    　請求項１から請求項６のうちのいずれか１項に記載の色補正装置。
  8. 　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、
    　検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させ、
    　前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、
    　前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、
    　算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する
    　ことを特徴とする色補正方法。
  9. 　撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出し、
    　算出された前記少なくとも１つの色安定領域に対する色補正パラメタと、色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出し、
    　算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する
    　請求項８に記載の色補正方法。
  10. 　コンピュータに、
    　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    　検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させる処理、
    　前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理、
    　前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および
    　算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理
    　を実行させるための色補正用プログラム。
  11. 　コンピュータに、
    　撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する処理、および
    　前記少なくとも１つの色安定領域における色補正パラメタと、前記色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する処理を実行させ、
    　色を補正する処理で、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正させる
    　請求項１０に記載の色補正用プログラム。
  12. 　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
    　前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
    　取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する色安定領域推定手段とを備えた
    　ことを特徴とする色補正装置。
  13. 　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出し、
    　検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、
    　取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する
    　ことを特徴とする色補正方法。
  14. 　コンピュータに、
    　撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    　検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、および、
    　取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する処理
    　を実行させるための色補正プログラム。
PCT/JP2013/006776 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム WO2014080613A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014548454A JP6428266B2 (ja) 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム
US14/646,536 US9462160B2 (en) 2012-11-22 2013-11-19 Color correction device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012255981 2012-11-22
JP2012-255981 2012-11-22

Publications (1)

Publication Number Publication Date
WO2014080613A1 true WO2014080613A1 (ja) 2014-05-30

Family

ID=50775808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006776 WO2014080613A1 (ja) 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム

Country Status (3)

Country Link
US (1) US9462160B2 (ja)
JP (1) JP6428266B2 (ja)
WO (1) WO2014080613A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
JP2017076288A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017191544A (ja) * 2016-04-15 2017-10-19 ホーチキ株式会社 火災検知装置及び火災検知方法
JP2018182593A (ja) * 2017-04-17 2018-11-15 キヤノン株式会社 画像処理装置、画像処理方法
JP2019103128A (ja) * 2017-12-01 2019-06-24 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP2020509499A (ja) * 2017-07-14 2020-03-26 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ターゲット追跡方法、装置、電子機器及び記憶媒体
JP2020107349A (ja) * 2014-09-26 2020-07-09 日本電気株式会社 物体追跡システム、物体追跡方法、プログラム
US11113538B2 (en) 2014-09-26 2021-09-07 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335498B2 (ja) * 2013-03-19 2018-05-30 キヤノン株式会社 画像処理装置及びその制御方法
JP2016134803A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017034444A (ja) * 2015-07-31 2017-02-09 オリンパス株式会社 撮像装置および撮像方法
US9858686B2 (en) * 2016-02-10 2018-01-02 Google Llc Dynamic color determination for user interface components of a video player
CN105976398A (zh) * 2016-04-28 2016-09-28 天津大学 一种白天火灾视频检测方法
US10134154B2 (en) 2016-12-30 2018-11-20 Google Llc Selective dynamic color management for user interface components of a media player
EP3493539B1 (en) * 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
DE102021205096A1 (de) * 2021-05-19 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung System und Verfahren, insbesondere computerimplementiertes Verfahren zum Bestimmen einer Störung zum Angreifen und/oder Validieren eines Objektverfolgers
CN113467678A (zh) * 2021-06-10 2021-10-01 北京达佳互联信息技术有限公司 目标对象显示方法、装置、电子设备及计算机可读存储介质
JP2022191030A (ja) * 2021-06-15 2022-12-27 株式会社リコー 画像形成装置、画像形成システム、及び、画像形成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065290A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2009212787A (ja) * 2008-03-04 2009-09-17 Ricoh Co Ltd 撮像装置及び撮像方法
JP2011181014A (ja) * 2010-03-03 2011-09-15 Secom Co Ltd 移動物体追跡装置
WO2012099013A1 (ja) * 2011-01-20 2012-07-26 シャープ株式会社 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742542B2 (ja) * 2004-09-02 2011-08-10 株式会社ニコン 撮像装置
JP4813456B2 (ja) * 2007-12-21 2011-11-09 日本放送協会 映像編集装置及び映像編集プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065290A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2009212787A (ja) * 2008-03-04 2009-09-17 Ricoh Co Ltd 撮像装置及び撮像方法
JP2011181014A (ja) * 2010-03-03 2011-09-15 Secom Co Ltd 移動物体追跡装置
WO2012099013A1 (ja) * 2011-01-20 2012-07-26 シャープ株式会社 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107349A (ja) * 2014-09-26 2020-07-09 日本電気株式会社 物体追跡システム、物体追跡方法、プログラム
US11676388B2 (en) 2014-09-26 2023-06-13 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium
JP7004017B2 (ja) 2014-09-26 2022-01-21 日本電気株式会社 物体追跡システム、物体追跡方法、プログラム
US11113538B2 (en) 2014-09-26 2021-09-07 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
JP2017076288A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106603968A (zh) * 2015-10-15 2017-04-26 佳能株式会社 信息处理装置及信息处理方法
JP2017191544A (ja) * 2016-04-15 2017-10-19 ホーチキ株式会社 火災検知装置及び火災検知方法
US11037014B2 (en) 2017-04-17 2021-06-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7058471B2 (ja) 2017-04-17 2022-04-22 キヤノン株式会社 画像処理装置、画像処理方法
JP2018182593A (ja) * 2017-04-17 2018-11-15 キヤノン株式会社 画像処理装置、画像処理方法
JP2020509499A (ja) * 2017-07-14 2020-03-26 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ターゲット追跡方法、装置、電子機器及び記憶媒体
US11145069B2 (en) 2017-07-14 2021-10-12 Tencent Technology (Shenzhen) Company Limited Target tracking method and apparatus, electronic device, and storage medium
JP2019103128A (ja) * 2017-12-01 2019-06-24 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP7191633B2 (ja) 2017-12-01 2022-12-19 キヤノン株式会社 画像処理装置、制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2014080613A1 (ja) 2017-01-05
US9462160B2 (en) 2016-10-04
US20150334267A1 (en) 2015-11-19
JP6428266B2 (ja) 2018-11-28

Similar Documents

Publication Publication Date Title
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
TWI750498B (zh) 視訊流的處理方法和裝置
CN109684924B (zh) 人脸活体检测方法及设备
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN104202547B (zh) 投影画面中提取目标物体的方法、投影互动方法及其系统
JP5567853B2 (ja) 画像認識装置および方法
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
JP5873442B2 (ja) 物体検出装置および物体検出方法
EP2549759B1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
WO2011121688A1 (ja) 顔認識装置及び顔認識方法
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP2014178957A (ja) 学習データ生成装置、学習データ作成システム、方法およびプログラム
CN111862296A (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP6521626B2 (ja) 被写体追跡装置、方法およびプログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
Kim Pedestrian detection and distance estimation using thermal camera in night time
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法
KR20120091970A (ko) 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
WO2019229855A1 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラムを記録する記録媒体
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
JP2016197302A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13857358

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014548454

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14646536

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13857358

Country of ref document: EP

Kind code of ref document: A1