WO2017154630A1 - 画像処理装置、画像処理方法および記録媒体 - Google Patents

画像処理装置、画像処理方法および記録媒体 Download PDF

Info

Publication number
WO2017154630A1
WO2017154630A1 PCT/JP2017/007374 JP2017007374W WO2017154630A1 WO 2017154630 A1 WO2017154630 A1 WO 2017154630A1 JP 2017007374 W JP2017007374 W JP 2017007374W WO 2017154630 A1 WO2017154630 A1 WO 2017154630A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
processing apparatus
unit
background
Prior art date
Application number
PCT/JP2017/007374
Other languages
English (en)
French (fr)
Inventor
諒 川合
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/082,624 priority Critical patent/US10984538B2/en
Priority to JP2018504377A priority patent/JP6866889B2/ja
Publication of WO2017154630A1 publication Critical patent/WO2017154630A1/ja
Priority to US16/546,415 priority patent/US20190385315A1/en
Priority to US16/546,429 priority patent/US20190378281A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present disclosure relates to an image processing apparatus that performs machine learning, an image processing method, and a recording medium.
  • Video captured with a camera such as a surveillance camera can be used for various purposes such as crime prevention and crime investigation, or marketing.
  • a camera such as a surveillance camera
  • Video captured with a camera can be used for various purposes such as crime prevention and crime investigation, or marketing.
  • development of a system in which a computer automatically performs analysis is progressing, but detection of a specific object is an essential function for advanced analysis.
  • Patent Document 1 a method of taking a difference between a background image and an image of another frame and detecting a portion having a large difference has been proposed.
  • Parameters such as a threshold for determining the magnitude of this difference vary depending on the environment, such as lighting conditions.
  • Patent Document 2 A method of setting this parameter using a composite image obtained by combining a background image and a virtual object image has been proposed.
  • Patent Document 4 Non-Patent Document 1
  • an image obtained by synthesis is often an image that is too accurate without taking into account noise or the like included in the actual environment. Therefore, when such a composite image is used as learning data, there is a problem that a discrepancy between an actual captured image (referred to as actual data) and the learning data occurs, and the discrimination ability is reduced due to the difference.
  • An image processing apparatus synthesizes a background image and an object image in which at least one of color and brightness is at least partly similar to at least part of the background image to generate a composite image.
  • an image processing method combines a background image and an object image in which at least one of color and brightness is at least partially similar to at least a portion of the background image, And generating a difference image between the background image and the synthesized image, and performing machine learning using the difference image as learning data.
  • a discriminator having higher discrimination capability can be generated.
  • FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus according to the first embodiment.
  • FIG. 3 is a flowchart illustrating an example of a process flow of the image processing apparatus according to the first embodiment. It is a functional block diagram which shows an example of a function structure of the image processing apparatus which concerns on 2nd Embodiment.
  • 10 is a flowchart illustrating an example of a processing flow of the image processing apparatus according to the second embodiment. It is the figure which showed typically the example of progress of each process in 2nd Embodiment.
  • It is a functional block diagram which shows an example of a function structure of the image processing apparatus which concerns on 3rd Embodiment.
  • It is a functional block diagram which shows an example of a function structure of the noise addition part of FIG.
  • 14 is a flowchart illustrating an example of a processing flow of an image processing apparatus according to a third embodiment. It is the figure which showed typically the example of progress of each process in 3rd Embodiment. It is a functional block diagram which shows an example of a function structure of the image processing apparatus which concerns on 4th Embodiment. 14 is a flowchart illustrating an example of a process flow of an image processing apparatus according to a fourth embodiment. It is a flowchart which shows the other example of the flow of a process of the image processing apparatus which concerns on 4th Embodiment. It is a figure which illustrates illustartively the hardware constitutions of the computer (information processing apparatus) which can implement
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 100 includes a synthesis unit 110, a generation unit 120, and a machine learning unit 130.
  • the synthesizer 110 receives the background image and the object image as inputs.
  • the object image is, for example, a person image.
  • the object image is an image that is similar to at least a part of the object image in color and / or brightness in at least a part of the background image.
  • the combining unit 110 combines the background image and the object image to generate a combined image. Then, the synthesis unit 110 supplies the synthesized image to the generation unit 120.
  • the generation unit 120 receives a background image similar to the background image input to the combining unit 110 and the combined image supplied from the combining unit 110 as inputs.
  • the generation unit 120 generates a difference image by taking the difference between the background image and the composite image.
  • the generation unit 120 supplies the generated difference image to the machine learning unit 130.
  • the machine learning unit 130 performs machine learning using the difference image supplied from the generation unit 120 as learning data.
  • FIG. 2 is a flowchart showing an example of the processing flow of the image processing apparatus 100 according to the present embodiment.
  • the synthesis unit 110 generates a composite image by combining the background image and the object image (step S21).
  • the object image is an image in which at least one of the object image is similar in color and / or brightness to at least a part of the background image.
  • generation part 120 produces
  • an object such as a person may have a portion having the same color as the color existing in the actual environment, for example, wearing clothes of the same color as the color existing in the actual environment.
  • the object part of the image including the photographed object may include a portion whose color and / or brightness is similar to at least a part of the image (background image) photographed in the real environment.
  • Image processing apparatus 100 is composed of an object part, and is combined with a background image using an object image that is at least partially similar in color and lightness to at least a part of the background image. Generate an image. Then, the image processing apparatus 100 generates a difference image between the synthesized image and the background image. Of the object image, a difference with respect to a portion similar to at least one of color and brightness to at least a portion of the background image is smaller than that of the other portion. Therefore, the image processing apparatus 100 generates a difference image as if there is no object in a portion where the difference is small in a region corresponding to the object image in the difference image. By performing machine learning using such a difference image as learning data, the image processing apparatus 100 outputs a discriminator.
  • this discriminator also uses a difference image generated from an object image of an object having a portion similar in color and / or brightness to the background as learning data. Therefore, when discriminating the object by taking the difference between the image obtained by photographing the object having a portion similar in color and lightness to the background image and the background image, the classifier is included in the object. Can be taken into account. Accordingly, the classifier output from the image processing apparatus 100 can identify an object included in the image even if the image includes an object having a portion similar in color and / or brightness to the background. it can. Therefore, the image processing apparatus 100 can generate a discriminator having higher discrimination capability.
  • the object to be identified is a person.
  • the target object is not limited to a person.
  • the object to be identified can be applied to an arbitrary object. That is, when an object other than a person is identified, the process may be performed by replacing “person” in the following description or a word corresponding thereto with the target object.
  • a person image is synthesized with a background image (hereinafter referred to as a background image), and the difference between the synthesized image and the background image is obtained.
  • a difference image has a luminance value of an image of a portion where a human body is present larger than that of a background portion.
  • a difference image obtained by the method according to the present disclosure has a human body. Among the portions, the luminance value of a portion having a color similar to the background image is reduced. That is, an image as if there is no human body at that location is obtained.
  • the image processing apparatus Since a portion having a color similar to the background image can exist in an actual image, the image processing apparatus according to the present embodiment reproduces such a state and uses the obtained difference image as learning data. By performing machine learning, a discriminator (discrimination dictionary) having higher discrimination capability can be generated.
  • FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 200 according to the present embodiment.
  • the image processing apparatus 200 according to the present embodiment includes an acquisition unit 210, a synthesis unit 221, a generation unit 231, a machine learning unit 241, and a storage unit 250.
  • the combining unit 221 corresponds to the combining unit 110 described above.
  • the generation unit 231 corresponds to the generation unit 120 described above.
  • the machine learning unit 241 corresponds to the machine learning unit 130 described above.
  • the storage unit 250 stores a background image serving as a background of learning data as a database.
  • the background image may be stored in a format other than the database.
  • a database including one or more background images is referred to as a background image database (hereinafter referred to as background image DB) 251.
  • the background image may include an arbitrary image, and an image of a publicly available image database server or the like may be used. However, it is preferable to use an image in which a person is not shown in the image. .
  • the storage unit 250 stores an image (person image) obtained by cutting out a person from an image of the person as a database.
  • the person image may be stored in a format other than the database.
  • a database including one or more person images is referred to as a person image database (hereinafter referred to as a person image DB) 252.
  • the person image may include an arbitrary image, but the person image has at least one background of at least one of the one or more background images having at least one of color and brightness. Preferably it is similar to at least a portion of the image. This is to reproduce a lack of difference that may occur in an actual image in a difference image generated by the generation unit 231 described later.
  • the storage unit 250 may be realized by a storage device separate from the image processing apparatus 200.
  • the background image DB 251 and the person image DB 252 may be realized by different storage units.
  • the acquisition unit 210 includes a background image acquisition unit 211 and a person image acquisition unit 212.
  • the background image acquisition unit 211 and the person image acquisition unit 212 may function as a single acquisition unit.
  • the background image acquisition unit 211 acquires a background image from the background image DB 251.
  • the background image acquisition unit 211 supplies the background image acquired from the background image DB 251 to the synthesis unit 221. Further, the background image acquisition unit 211 may supply the background image to the generation unit 231.
  • the background image acquisition unit 211 may supply the acquired background image itself.
  • the background image acquisition unit 211 may use an image obtained by cutting out a part of the acquired background image as the background image.
  • the background image acquisition unit 211 may create an image in which color or the like is changed from the acquired background image, and the created image may be used as the background image.
  • the person image acquisition unit 212 acquires a person image from the person image DB 252.
  • the person image acquisition unit 212 supplies the person image acquired from the person image DB 252 to the synthesis unit 221.
  • the person image acquisition unit 212 may supply the acquired person image to the background image acquisition unit 211 as it is, or creates an image obtained by enlarging or reducing the acquired person image, and uses the created image as a person image. Also good.
  • the person image acquired by the background image acquisition unit 212 is preferably an image in which at least one of color and brightness is at least partially similar to at least a part of the background image acquired by the background image acquisition unit 211. This is to reproduce a lack of difference that may occur in an actual image in a difference image generated by the generation unit 231 described later.
  • the person image acquisition unit 212 in the present embodiment may acquire a person image from the person image DB 252 based on the background image acquired by the background image acquisition unit 211. Further, the person image acquisition unit 212 first acquires a person image, and the background image acquisition unit 211 has a background in which at least one of color and brightness is at least partially similar based on the person image. An image may be acquired from the background image DB 251. Note that, in a difference image generated by the generation unit 231 described later, when using both a difference image that reproduces a lack of difference that may occur in an actual image and a difference image that is not reproduced as learning data, the person image acquisition unit 212 or The background image acquisition unit 211 may acquire an arbitrary person image or background image.
  • the synthesizing unit 221 synthesizes the person image supplied from the person image input unit 212 with the background image supplied from the background image acquisition unit 211 to generate a synthesized image. Then, the synthesis unit 221 supplies the generated synthesized image to the generation unit 231. At this time, the synthesizing unit 221 may supply information indicating the background image from which the synthesized image is generated together with the synthesized image. In addition, the background image acquisition unit 211 may supply the background image from which the composite image is generated together with the composite image.
  • the generating unit 231 receives the composite image generated by the combining unit 221. Then, when the information received together with the composite image is information indicating a background image, the generation unit 231 specifies the background image indicated by the information from the background images received from the background image acquisition unit 211. This specified background image becomes the background image used when generating the difference image. Note that when the information received together with the composite image is a background image, the generation unit 231 may use the received background image for generating a difference image.
  • the generation unit 231 generates a difference image by calculating a difference between the composite image and the background image.
  • a difference calculation method a generally used method may be used, or another method may be used.
  • the difference calculation method used by the generation unit 231 preferably uses the same calculation method as the difference calculation method used when performing person detection using an identification dictionary output by the machine learning unit 241 described later. .
  • the generation unit 231 supplies the generated difference image to the machine learning unit 241.
  • the machine learning unit 241 performs machine learning using the difference image generated by the generation unit 231 as learning data. At this time, the machine learning unit 241 confirms whether or not the amount of learning data (number of difference images) used when performing machine learning is sufficient (for example, whether or not it is equal to or greater than a predetermined threshold). If so, machine learning is performed. Then, the machine learning unit 241 outputs a discriminator (identification dictionary) that identifies an object in the captured image as a result of machine learning.
  • the machine learning method may be any method, for example, a learning method using a neural network may be used. Further, the machine learning unit 241 may perform machine learning by including a person image and / or a composite image in the learning data.
  • FIG. 4 is a flowchart illustrating an example of a processing flow of the image processing apparatus 200.
  • FIG. 5 is a diagram schematically showing an example of the progress of each process.
  • the background image acquisition unit 211 and the person image acquisition unit 212 acquire a new background image and a person image from the background image DB 251 and the person image DB 252, respectively (step S41, hereinafter simply referred to as S41).
  • the timing at which the background image acquisition unit 211 acquires the background image and the timing at which the person image acquisition unit 212 acquires the background image may be the same or different. For example, when the person image acquisition unit 212 acquires a person image based on the background image as described above, the timing at which the person image acquisition unit 212 acquires the person image is higher than the timing at which the background image acquisition unit 211 acquires the background image. Also later.
  • the person image acquired by the person image acquisition unit 212 is an image in which at least one of the color and the brightness is at least partially similar in at least a part of the background image.
  • the background image 11 and the person image 12 acquired in the process of step S41 are the images shown in FIG.
  • the synthesis unit 221 synthesizes the background image 11 acquired by the background image acquisition unit 211 and the person image 12 acquired by the person image acquisition unit 212 to generate a composite image 13 (S42).
  • the composite image 13 is an image obtained by combining the background image 11 and the person image 12.
  • the generation unit 231 generates the difference image 14 by calculating the difference between the synthesized image 13 generated by the synthesis unit 221 and the background image 11 acquired by the background image acquisition unit 211 (S43). As shown in FIG. 5, in the difference image 14, it can be seen that a part of the person's region that is similar in color and / or lightness to a part of the background image 11 and a background part are black.
  • the blackened portion is a portion where the difference value is smaller than a predetermined threshold, and is a portion where the generation unit 231 determines that there is no difference.
  • the generation unit 231 generates the difference image 14 that reproduces the lack of difference that may occur in the actual image.
  • the image processing apparatus 200 confirms whether or not the number of difference images 14 is a predetermined number, and if the number is smaller than the predetermined number, repeats steps S41 to S43 until the predetermined number is reached (loop S44).
  • the number of difference images 14 used in the determination by the image processing apparatus 200 is the difference image generated from an image in which at least a part of the background image 11 and at least a part of the person image 12 are similar in color and / or brightness.
  • the number may be only 14.
  • the number of difference images 14 may be a number including difference images 14 generated from images in which the person image 12 and the background image 11 are not similar.
  • the image processing apparatus 200 can generate a plurality of pieces of learning data for the number of machines necessary for machine learning.
  • the machine learning unit 241 performs machine learning using a set of learning data (a plurality of difference images 14) obtained by repeating Steps S41, S42, and S43 (S45). Thereby, the image processing apparatus 200 can output the identification dictionary.
  • the image processing apparatus 200 combines the background image and the person image and takes the difference between the synthesized image and the background image, thereby reproducing the lack of difference that may occur in the real environment.
  • a difference image to be generated can be generated.
  • the image processing apparatus 200 can generate a large amount of difference images in which the lack of differences are reproduced. Therefore, machine learning can be performed using these difference images as learning data. Since the learning data is data close to the real environment that reproduces the lack of difference, the classifier (identification dictionary) generated by machine learning using the learning data can have high discrimination ability. . Therefore, the 200 according to the present embodiment can generate a discriminator (identification dictionary) having high discrimination capability.
  • the shadow is referred to as noise.
  • noise the elements that can appear in a difference image other than the target object.
  • noise such as a shadow that may occur in a real environment is added to the composite image generated by the image processing apparatus 200 according to the second embodiment, and the image is added with noise.
  • the difference image is generated by taking the difference between the image and the background image.
  • noise is erroneously detected as a foreground, as represented by erroneous detection of shadows.
  • the difference image generated by the image processing apparatus according to the present embodiment reproduces noise, and performs machine learning using the obtained difference image as learning data, thereby identifying with higher identification ability.
  • a device identification dictionary
  • FIG. 6 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 300 according to the present embodiment.
  • FIG. 7 is a functional block diagram showing an example of a more detailed functional configuration of the noise adding unit of FIG.
  • the image processing apparatus 300 according to the third embodiment will be described with reference to both the drawings.
  • the image processing apparatus 300 includes an acquisition unit 210, a synthesis unit 320, a generation unit 231, a machine learning unit 241, and a storage unit 250.
  • the image processing apparatus 300 according to the present embodiment is configured to include a combining unit 320 instead of the combining unit 221 of the image processing apparatus 200 according to the second embodiment described above.
  • the synthesizing unit 320 includes an image synthesizing unit 321 and a noise adding unit 322.
  • the image composition unit 321 has the same function as that of the composition unit 221 in the second embodiment described above, and thus description thereof is omitted.
  • the noise adding unit 322 adds noise such as a shadow to the composite image.
  • the synthesized image to which noise is added is referred to as a noise-added image. Then, the noise addition unit 322 outputs the noise addition image to the generation unit 231.
  • the noise adding unit 322 adds a shadow as noise, it is added assuming a shadow area using a human image.
  • the shadow added as noise can be paraphrased as a pseudo shadow.
  • the functional configuration of the noise adding unit 322 when adding the pseudo shadow will be further described with reference to FIG.
  • the noise adding unit 322 includes a deforming unit 323 and a luminance adjusting unit 324.
  • the deforming unit 323 deforms the person image acquired by the person image acquiring unit 212 and generates a deformed person image.
  • the deformation method performed by the deforming unit 323 is, for example, estimating a person's foot part included in the person image from the person image, and fixing the estimated foot part (foot) with respect to the person image.
  • the method of performing is mentioned.
  • the deformation unit 323 generates a deformed image by performing projective transformation on the person image in this way. Then, the deforming unit 323 supplies the deformed image to the luminance adjusting unit 324.
  • the brightness adjusting unit 324 receives the composite image and the deformed image as inputs.
  • the brightness adjustment unit 324 generates a noise-added image by adjusting (changing) the brightness of a region assumed to be a shadow region in the composite image using the composite image and the deformed image. For example, the brightness adjustment unit 324 estimates a portion of the person's foot from the region of the person included in the composite image, and a portion that can correspond to the deformed image in the composite image is a shadow region on the basis of the foot. Assume that Then, the luminance adjustment unit 324 changes the luminance of a region assumed to be a shadow region (region corresponding to the deformed image portion) in the composite image according to the composite image.
  • the luminance adjustment unit 324 decreases the luminance of the region assumed as the shadow region according to the composite image. Then, the synthesized image obtained by changing the luminance of the region assumed to be a shadow region is supplied to the generation unit 231 as a noise-added image.
  • the noise adding unit 322 may generate a pseudo shadow without using a person image, or may acquire a person image different from the person image used for the composite image from the person image DB 252 and perform the above-described pseudo operation. A simple shadow may be generated.
  • the noise adding unit 322 may add arbitrary noise such as impulse noise or Gaussian noise instead of the above-described pseudo shadow. Further, the noise adding unit 322 may combine a plurality of noises. The noise adding unit 322 may add noise that may occur in an actual image.
  • the generation unit 231 generates a difference image between the background image and the composite image, similarly to the generation unit 231 in the second embodiment described above.
  • this composite image is a composite image to which noise is added (that is, a noise-added image). Therefore, the generation unit 231 generates a difference image by calculating a difference between the noise-added image generated by the noise addition unit 322 of the synthesis unit 320 and the background image acquired by the background image acquisition unit 211. .
  • the generation unit 231 may add arbitrary noise to the generated difference image.
  • the calculation method by which the generation unit 231 calculates the difference is the same as in the second embodiment, but it is desirable to use a difference calculation method that does not include processing for removing the added type of noise. This is because the noise added by the noise adding unit 322 may become noise as expected by the noise removal algorithm and may be removed.
  • FIG. 8 is a flowchart illustrating an example of a processing flow of the image processing apparatus 300.
  • FIG. 9 is a diagram schematically showing an example of the progress of each process. In the following description, it is assumed that noise is a pseudo shadow.
  • Steps S81 and S82 are the same as steps S41 and S42 in the second embodiment.
  • the deformation unit 323 of the noise adding unit 322 deforms the person image 12 and generates the deformed image 15 (S83).
  • the brightness adjustment unit 324 uses the person image (deformed image 15) deformed by the deforming unit 323 and the composite image 13, and a portion corresponding to the deformed image 15 in the composite image 13 (a pseudo shadow portion).
  • the brightness is adjusted (changed) (S84).
  • the noise adding unit 322 can generate a noise added image 16 in which noise is added to the synthesized image 13 generated by the image synthesizing unit 321.
  • the generation unit 231 calculates the difference image 17 by calculating the difference between the noise-added image (the noise-added composite image) 16 generated by the noise addition unit 322 and the background image 11 acquired by the background image acquisition unit 211. Generate (S85).
  • the difference image 17 includes a portion of a person's region that is similar in color and / or brightness to a portion of the background image 11, and a portion other than the shadow portion of the background portion. You can see that it is black.
  • the blackened portion is a portion where the difference value is smaller than a predetermined threshold, and is a portion where the generation unit 231 determines that there is no difference. As described above, the generation unit 231 generates the difference image 17 that reproduces a lack of difference that may occur in an actual image.
  • the image processing apparatus 300 checks whether or not the number of difference images 17 is a predetermined number, and if the number is smaller than the predetermined number, repeats steps S81 to S85 until the predetermined number is reached (loop S86).
  • the number of difference images 17 used for determination by the image processing apparatus 300 is the difference image generated from an image in which at least a part of the background image 11 and at least a part of the person image 12 are similar in color and / or brightness.
  • the number may be only 14.
  • the number of difference images 14 may be a number including difference images 17 generated from images in which the person image 12 and the background image 11 are not similar.
  • the image processing apparatus 300 can generate a plurality of pieces of learning data as many as necessary for machine learning.
  • the machine learning unit 241 executes machine learning using a set of learning data (a plurality of difference images 17) obtained by repeating steps S81 to S85 (S87). Thereby, the image processing apparatus 300 can output an identification dictionary.
  • an image in which overdetection of a difference that may occur in a real environment is reproduced in the composite image generated by the generation unit 120 of the image processing apparatus 200 according to the first embodiment.
  • the excessive detection of the difference includes not only a cause such as a shadow that can be seen visually but also a cause that is difficult to notice due to a slight change in illumination conditions.
  • the noise adding unit 322 adding noise to the composite image.
  • the image processing apparatus 300 can generate a difference image that reproduces the lack of difference. Therefore, since the image processing apparatus 300 performs machine learning using the difference image as learning data, in addition to the effects of the image processing apparatuses according to the first and second embodiments described above, a more robust classifier. (Identification dictionary) can be constructed.
  • the image processing apparatus adds image processing such as blurring processing to the images acquired or generated in the first to third embodiments.
  • the image processing apparatus according to the present embodiment can suppress unnaturalness peculiar to a composite image and obtain a more natural image by applying such image processing to the acquired or generated image.
  • the image processing apparatus can generate a discriminator (identification dictionary) having higher discrimination capability by performing learning using the natural image.
  • FIG. 10 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 400 according to the present embodiment.
  • the image processing apparatus 400 includes an acquisition unit 210, a synthesis unit 221, a machine learning unit 241, a storage unit 250, and a generation unit 430. That is, the image processing apparatus 400 according to the present embodiment is configured to include a generation unit 430 instead of the generation unit 231 of the image processing apparatus 200 in the second embodiment described above. Note that the image processing apparatus 400 according to the present embodiment may be configured to include the generation unit 430 instead of the generation unit 231 of the image processing apparatus 300 in the third embodiment described above.
  • the generation unit 430 includes a difference image generation unit 431 and a blur processing unit 432 as shown in FIG.
  • the difference image generation unit 431 has a function similar to that of the generation unit 231 in the second or third embodiment described above, and thus description thereof is omitted.
  • the blur processing unit 432 performs image processing such as blur processing on both the composite image and the background image.
  • the blur processing unit 432 may perform image processing such as blur processing on the difference image generated by the difference image generation unit 431.
  • the blurring processing unit 432 includes the noise-added composite image (noise added image) and the background image. Image processing such as blurring processing may be performed on both.
  • the blurring processing unit 432 performs a blurring process or the like on the difference image generated by the difference image generation unit 431. Image processing may be performed.
  • FIG. 11 is a flowchart illustrating an example of a processing flow of the image processing apparatus 400.
  • the process in FIG. 11 is an example in the case where the blurring process is performed on both the composite image and the background image.
  • Steps S111 and S112 are the same as steps S41 and S42 in the second embodiment.
  • the blurring processing unit 432 performs blurring processing on both the background image acquired in step S111 and the composite image generated in step S112 (S113).
  • the composite image on which the blurring process is executed may be, for example, the composite image 13 illustrated in FIG. 5 or a composite image to which noise is added such as the noise-added image 16 illustrated in FIG. Also good.
  • the blur processing unit 432 supplies the background image and the composite image on which the blur processing has been performed to the difference image generation unit 431.
  • the difference image generation unit 431 generates a difference image by calculating a difference between the background image subjected to the blurring process by the blurring process unit 432 and the composite image subjected to the blurring process (S114).
  • the image processing apparatus 400 checks whether or not the number of difference images is a predetermined number, and if it is less than the predetermined number, repeats steps S111 to S114 until the predetermined number is reached (loop S115).
  • the machine learning unit 241 executes machine learning using a set of learning data (a plurality of difference images) obtained by repeating steps S111 to S114 (S116). Thereby, the image processing apparatus 400 can output the identification dictionary.
  • FIG. 12 is a flowchart illustrating another example of the processing flow of the image processing apparatus 400.
  • the process of FIG. 12 is an example in the case of performing a blurring process on a difference image.
  • Steps S121 to S123 are the same as steps S41 to S43 in the second embodiment, respectively. Note that steps S81 to S85 may be performed instead of steps S121 to S123.
  • the blur processing unit 432 performs blur processing on the difference image generated in step S123 (S124). Then, the blur processing unit 432 outputs the difference image on which the blur processing has been performed to the machine learning unit 241. Then, similarly to the loop S115 and step S116 described above, a predetermined number of difference images are used as learning data, and the machine learning unit 241 performs machine learning (S125, S126).
  • an unnatural part may appear in the luminance of the boundary part of the image.
  • image processing such as blur processing
  • the blur processing unit 432 of the image processing apparatus 400 according to the present embodiment by applying image processing such as blur processing to the image by the blur processing unit 432 of the image processing apparatus 400 according to the present embodiment, such an unnatural part is smoothed, and is closer to an actual image. A natural image can be obtained. Since the image processing apparatus 400 according to the present embodiment performs machine learning using the image, in addition to the effects of the image processing apparatuses according to the first to third embodiments described above, a more robust identification dictionary is provided. It becomes possible to build.
  • each component of each image processing apparatus represents a functional unit block.
  • a part or all of each component of each image processing apparatus is realized by an arbitrary combination of an information processing apparatus 900 and a program as shown in FIG. 13, for example.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 900 that realizes each component of each apparatus.
  • the information processing apparatus 900 includes the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a program 904 loaded into the RAM 903
  • a storage device 905 that stores the program 904
  • a drive device 907 that reads / writes data from / to the recording medium 906
  • a communication interface 908 connected to the communication network 909
  • Each component of each image processing apparatus in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
  • a program 904 that realizes the function of each component of each image processing apparatus is stored in advance in the storage device 905 or the RAM 903, for example, and is read by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • each image processing apparatus may be realized by an arbitrary combination of an information processing apparatus 900 and a program that are different for each component.
  • a plurality of constituent elements included in each image processing apparatus may be realized by an arbitrary combination of one information processing apparatus 900 and a program.
  • each image processing apparatus is realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • each image processing apparatus may be realized by a combination of the above-described circuit and the like and a program.
  • each image processing apparatus When some or all of the constituent elements of each image processing apparatus are realized by a plurality of information processing apparatuses and circuits, the plurality of information processing apparatuses and circuits may be centrally arranged or distributedly arranged. May be.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

より高い識別能力を持った識別器を生成する。画像処理装置は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成する合成部と、合成画像と背景画像との差分画像を生成する生成部と、生成した差分画像を学習用データとして機械学習を行う機械学習部とを備える。

Description

画像処理装置、画像処理方法および記録媒体
　本開示は、機械学習を行う画像処理装置、画像処理方法および記録媒体に関する。
　監視カメラ等の撮影装置で撮影した映像は、防犯や犯罪捜査の分野、あるいはマーケティング分野など、種々の用途に活用することができる。それらの分野において、解析をコンピュータが自動で行うシステムの開発が進んでいるが、高度な解析に不可欠な機能として、特定物体の検出があげられる。
　特定物体の検出に際して利用される方法として、例えば、背景画像と、別フレームの画像などとの差分をとり、差分が大きい部分を検出する方法が提案されている（特許文献１）。この差分の大きさを判断するための閾値等のパラメータは、照明条件など、環境によって変化する。このパラメータを、背景画像および仮想物体画像を合成した合成画像を用いて設定する方法が提案されている（特許文献２）。
　また、上記差分は目的としない物体（検出対象としない物体）の動きなどでも現れる。このように差分が算出された物体（検出された）が、検出対象の物体か否かを識別する場合、機械学習等を利用する方法が開示されている（特許文献３）。
　しかしながら、機械学習による識別の問題点として、十分に学習データを準備する必要がある、という点があげられる。この十分な学習データを準備する方法として、合成画像を生成する方法が提案されている（特許文献４、非特許文献１）。
特開２００２－１９００１２号公報 特開２０１５－０１９１３３号公報 特許第３６１２２２０号公報 特開平０５－３０３６４５号公報
土屋成光、山内悠嗣、藤吉弘亘、「人検出のための生成型学習とNegative-Bag MILBoost による学習の効率化」、電気学会論文誌．Ｃ、一般社団法人　電気学会、２０１４年、Ｖｏｌ．１３４、Ｎｏ．３、ｐｐ．４５０－４５８
　しかしながら、合成により得られた画像（合成画像）は、実環境に含まれるノイズ等が考慮されておらず、正確すぎる画像になることが多い。したがって、このような合成画像を学習用データとして用いた場合、実際の撮影画像（実データと呼ぶ）と学習用データとの乖離が生じ、その影響で識別能力が低下してしまう課題がある。
　本開示のいくつかの態様は前述の課題に鑑みてなされたものであり、より高い識別能力を持った識別器を生成することを目的の１つとする。
　本開示の一態様に係る画像処理装置は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する合成手段と、前記背景画像と前記合成画像との差分画像を生成する生成手段と、前記差分画像を学習用データとして機械学習を行う機械学習手段と、備える。
　また、本開示の一態様に係る画像処理方法は、背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成し、前記背景画像と前記合成画像との差分画像を生成し、前記差分画像を学習用データとして機械学習を行う。
　なお、上記装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、より高い識別能力を持った識別器が生成できる。
第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第１の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態における各処理の経過の例を模式的に示した図である。 第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 図６のノイズ付加部の機能構成の一例を示す機能ブロック図である。 第３の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第３の実施の形態における各処理の経過の例を模式的に示した図である。 第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第４の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第４の実施の形態に係る画像処理装置の処理の流れの他の例を示すフローチャートである。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　（１　第１の実施の形態）
　以下に本開示の第１の実施の形態を説明する。図１は、本実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図１に示す通り、画像処理装置１００は、合成部１１０と、生成部１２０と、機械学習部１３０と、を備える。合成部１１０は、背景画像および物体画像を入力とする。物体画像は、例えば、人物画像である。該物体画像は、背景画像の少なくとも一部分に色彩および明度の少なくとも何れかが、該物体画像の少なくとも一部分に類似する画像である。合成部１１０は、背景画像と物体画像とを合成し、合成画像を生成する。そして、合成部１１０は、合成画像を、生成部１２０に供給する。
　生成部１２０は、合成部１１０に入力された背景画像と同様の背景画像と、合成部１１０から供給された合成画像とを入力とする。生成部１２０は、背景画像と合成画像との差分を取ることにより、差分画像を生成する。生成部１２０は生成した差分画像を機械学習部１３０に供給する。
　機械学習部１３０は、生成部１２０から供給された差分画像を学習用データとして機械学習を行う。
　図２は、本実施の形態に係る画像処理装置１００の処理の流れの一例を示すフローチャートである。図２に示す通り、合成部１１０が背景画像と物体画像とを合成することにより、合成画像を生成する（ステップＳ２１）。上述した通り、物体画像は、該物体画像の少なくとも一部分が、背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが類似する画像である。
　そして、生成部１２０が背景画像と合成画像との差分を取ることにより、差分画像を生成する（ステップＳ２２）。そして、機械学習部１３０がこの差分画像を学習用データとして用いて、機械学習を実行する（ステップＳ２３）。これにより画像処理装置１００は、識別器（識別辞書）を出力することができる。
　実環境では、人物などの物体は、例えば、実環境に存在する色と同じ色の服を着ているなど、実環境に存在する色彩と同じ色彩の部分を有している場合がある。このような場合において、撮影された物体を含む画像の物体の部分には、色彩および／または明度が実環境を撮影した画像（背景画像）の少なくとも一部分と類似した箇所を含んでいる場合がある。
　本実施の形態に係る画像処理装置１００は、物体の部分からなり、背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像を用いて、背景画像との合成画像を生成する。そして、画像処理装置１００は、合成画像と背景画像との差分画像を生成する。物体画像のうち、背景画像の少なくとも一部分に色彩および明度の少なくとも何れかが類似した部分に対する差分は、他の部分より小さくなる。そのため、画像処理装置１００は、差分画像内の物体画像に対応する領域において、上記差分が小さくなった部分に、物体が存在しないかのような差分画像を生成する。このような差分画像を学習用データとして機械学習を行うことにより、画像処理装置１００は、識別器を出力する。
　この識別器は、上述した通り、背景と色彩および／または明度が類似した部分を有している物体の物体画像から生成した差分画像を学習用データとしても用いている。したがって、背景画像と色彩および明度の少なくとも何れかが類似した部分を有する物体を撮影した画像と背景画像との差分を取ることにより、該物体を識別する際において、この識別器は、物体に含まれる欠けを考慮することができる。これにより、画像処理装置１００が出力する識別器は、背景と色彩および／または明度が類似した部分を有している物体を含む画像であっても、該画像に含まれる物体を識別することができる。したがって、画像処理装置１００は、より高い識別能力を持った識別器を生成することができる。
　（２　第２の実施の形態）
　次に、上述した第１の実施の形態を基本とする第２の実施の形態について説明する。なお、本実施の形態および後述する他の実施の形態において、説明が煩雑になるのを避けるため、以下では識別対象の物体（対象物体）が人物であるとして説明するが、各実施形態では、対象物体は人物に限らない。各実施の形態において識別対象の物体は、任意の物体に応用することが可能である。つまり、人物以外の物体を識別する際は、以下の説明における「人物」やそれに相当する単語を対象とする物体に置き換えて処理を行えばよい。
　（２．１　概要）
　第２の実施の形態に係る画像処理装置では、背景用の画像（以下、背景画像）に人物画像（物体画像）を合成し、合成した合成画像と背景画像との差分をとることで、差分画像を生成する。差分画像は、人の体が存在する部分の画像の輝度値が背景部分の画像よりも大きくなることが一般的であるが、本開示による方法により取得した差分画像は、人の体が存在する部分のうち、背景画像と類似した色を持つ箇所の輝度値が小さくなる。すなわち、その箇所に人の体がないかのような画像が得られる。背景画像と類似した色を持つ箇所は実際の画像でも存在しうるため、本実施の形態に係る画像処理装置は、そのような状態を再現し、得られた差分画像を学習用データとして用いて機械学習を行うことで、より高い識別能力を持った識別器（識別辞書）を生成することができる。
　（２．２　画像処理装置の構成）
　図３を参照して、本実施の形態に係る画像処理装置２００の機能構成について説明する。図３は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す機能ブロック図である。図３に示す通り、本実施の形態に係る画像処理装置２００は、取得部２１０と、合成部２２１と、生成部２３１と、機械学習部２４１と、記憶部２５０とを備える。合成部２２１は、上述した合成部１１０に相当する。生成部２３１は、上述した生成部１２０に相当する。機械学習部２４１は、上述した機械学習部１３０に相当する。
　記憶部２５０は、学習用データの背景となる背景画像がデータベースとして記憶している。なお、背景画像は、データベース以外の形式で記憶されていてもよい。この背景画像を１以上含むデータベースを、背景画像データベース（以下、背景画像ＤＢと記載）２５１と呼ぶ。この背景画像には、任意の画像が含まれていてよく、一般に公開されている画像データベースサーバの画像等を利用してもよいが、人物が画像中に映っていない画像を利用することが好ましい。
　また、記憶部２５０は、人物を撮影した画像から、該人物を切り出した画像（人物画像）をデータベースとして記憶している。なお、人物画像は、データベース以外の形式で記憶されていてもよい。この人物画像を１以上含むデータベースを人物画像データベース（以下、人物画像ＤＢと記載）２５２と呼ぶ。この人物画像には、任意の画像が含まれていてもよいが、該人物画像は、少なくとも一部分において、色彩および明度の少なくとも何れかが、上記１以上の背景画像のうちの少なくとも１枚の背景画像における少なくとも一部分と類似していることが好ましい。これは、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現するためである。
　なお、記憶部２５０は、画像処理装置２００とは別個の記憶装置で実現されてもよい。また、背景画像ＤＢ２５１と人物画像ＤＢ２５２とは異なる記憶部で実現されてもよい。
　取得部２１０は、背景画像取得部２１１と、人物画像取得部２１２とを含む。なお、背景画像取得部２１１と人物画像取得部２１２とは一つの取得部として機能するものであってもよい。
　背景画像取得部２１１は、背景画像ＤＢ２５１から背景画像を取得する。背景画像取得部２１１は、背景画像ＤＢ２５１から取得した背景画像を、合成部２２１に供給する。また、背景画像取得部２１１は、背景画像を生成部２３１に供給してもよい。なお、背景画像取得部２１１は、取得した背景画像そのものを供給してもよい。また背景画像取得部２１１は、取得した背景画像の一部分を切り出した画像を背景画像としてもよい。また、背景画像取得部２１１は、取得した背景画像から色彩等を変化させた画像を作成し、該作成した画像を背景画像としてもよい。
　人物画像取得部２１２は、人物画像ＤＢ２５２から人物画像を取得する。人物画像取得部２１２は、人物画像ＤＢ２５２から取得した人物画像を、合成部２２１に供給する。なお、人物画像取得部２１２は、取得した人物画像をそのまま背景画像取得部２１１に供給してもよいし、取得した人物画像を拡大または縮小した画像を作成し、該作成した画像を人物画像としてもよい。
　なお、背景画像取得部２１２が取得する人物画像は、背景画像取得部２１１が取得した背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する画像であることが好ましい。なぜならば、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現するためである。
　したがって、本実施の形態における人物画像取得部２１２は、背景画像取得部２１１が取得した背景画像に基づいて、人物画像ＤＢ２５２から人物画像を取得してもよい。また、人物画像取得部２１２が先に人物画像を取得し、背景画像取得部２１１が該人物画像に基づいて、人物画像の少なくとも一部分において、色彩および明度の少なくとも何れかが、少なくとも一部分類似する背景画像を、背景画像ＤＢ２５１から取得してもよい。なお、後述する生成部２３１が生成する差分画像において、実際の画像で起こり得る差分の欠けを再現する差分画像と再現しない差分画像との両方を学習用データとして用いる場合、人物画像取得部２１２または背景画像取得部２１１は任意の人物画像または背景画像を取得してもよい。
　合成部２２１は、背景画像取得部２１１から供給された背景画像に、人物画像入力部２１２から供給された人物画像を合成し、合成画像を生成する。そして、合成部２２１は、生成した合成画像を、生成部２３１に供給する。このとき、合成部２２１は、合成画像を生成する元となった背景画像を示す情報を合成画像と共に供給してもよい。また、背景画像取得部２１１は、合成画像を生成する元となった背景画像を、合成画像と共に供給してもよい。
　生成部２３１は、合成部２２１が生成した合成画像を受け取る。そして、生成部２３１は、合成画像と共に受け取った情報が背景画像を示す情報の場合、背景画像取得部２１１から受け取った背景画像のうち、上記情報によって示される背景画像を特定する。この特定された背景画像が差分画像の生成の際に利用される背景画像となる。なお、生成部２３１は、合成画像と共に受け取った情報が背景画像の場合、この受け取った背景画像を差分画像の生成に用いてもよい。
　生成部２３１は、合成画像と、背景画像との差分を計算することにより、差分画像を生成する。差分の計算手法としては、一般的に用いられている手法を利用してもよいし、その他の手法を用いてもよい。なお、生成部２３１が用いる差分の計算手法は、後述する機械学習部２４１が出力する識別辞書を用いて、人物検出を行う際に用いる差分の計算手法と、同一の計算手法を用いることが好ましい。生成部２３１は、生成した差分画像を機械学習部２４１に供給する。
　機械学習部２４１は、生成部２３１が生成した差分画像を学習用データとて、機械学習を行う。このとき、機械学習部２４１は、機械学習を行う際に用いる学習用データの量（差分画像の枚数）が、十分あるか否か（例えば、所定の閾値以上か否か）を確認し、十分である場合に、機械学習を行う。そして、機械学習部２４１は、機械学習の結果、撮影された画像内の物体を識別する識別器（識別辞書）を出力する。なお、機械学習の手法は、どのような手法を用いてもよく、たとえば、ニューラルネットワークによる学習の手法を用いてもよい。また、機械学習部２４１は、人物画像および／または合成画像を学習用データに含めて機械学習を行ってもよい。
　（２．３　処理の流れ）
　以下、画像処理装置２００の処理の流れを、図４および図５を参照しながら説明する。図４は、画像処理装置２００の処理の流れの一例を示すフローチャートである。また、図５は、各処理の経過の例を模式的に示した図である。
　背景画像取得部２１１と人物画像取得部２１２とは、夫々、背景画像ＤＢ２５１と人物画像ＤＢ２５２とから新しい背景画像と人物画像とを取得する（ステップＳ４１、以下単にＳ４１と記載する）。なお、背景画像取得部２１１が背景画像を取得するタイミングと、人物画像取得部２１２が背景画像を取得するタイミングとは、同じであってもよいし異なっていてもよい。例えば、人物画像取得部２１２が、上述した通り背景画像に基づいて人物画像を取得する場合、人物画像取得部２１２が人物画像を取得するタイミングは背景画像取得部２１１が背景画像を取得するタイミングよりも後になる。本実施の形態では、人物画像取得部２１２が取得する人物画像は、背景画像の少なくとも一部分において、色彩および明度の少なくとも何れかが、少なくとも一部分類似する画像である。ステップＳ４１の処理で取得された背景画像１１および人物画像１２は図５に示す画像であるとする。
　次に、合成部２２１は、背景画像取得部２１１が取得した背景画像１１と人物画像取得部２１２が取得した人物画像１２とを合成し、合成画像１３を生成する（Ｓ４２）。図５に示す通り、合成画像１３は、背景画像１１と人物画像１２とを合成した画像である。
　生成部２３１は、合成部２２１が生成した合成画像１３と背景画像取得部２１１が取得した背景画像１１との差分を計算することにより、差分画像１４を生成する（Ｓ４３）。図５に示す通り、差分画像１４は、人物の領域のうち背景画像１１の一部分と色彩および／または明度が類似している部分と、背景の部分とが、黒くなっていることがわかる。黒くなっている部分は、差分の値が所定の閾値よりも小さい箇所であり、生成部２３１によって差分が無いと判定された箇所である。このように、生成部２３１は、実際の画像で起こり得る差分の欠けを再現した差分画像１４を生成する。
　そして、画像処理装置２００は、差分画像１４の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ４１～４３を繰り返す（ループＳ４４）。なお、画像処理装置２００が判定の際に用いる差分画像１４の数は、背景画像１１の少なくとも一部分と人物画像１２の少なくとも一部分とが、色彩および／または明度が類似する画像から生成された差分画像１４のみの数であってもよい。また差分画像１４の数は、人物画像１２と背景画像１１とが類似していない画像から生成された差分画像１４を含んだ数であってもよい。
　このように、ステップＳ４１、Ｓ４２およびＳ４３の各処理が所定の回数繰り返されることにより、画像処理装置２００は、機械学習に必要な枚数分の複数の学習用データを生成することができる。
　機械学習部２４１は、ステップＳ４１、Ｓ４２およびＳ４３を繰り返して得られた学習用データの集合（複数の差分画像１４）を用いて機械学習を実行する（Ｓ４５）。これにより、画像処理装置２００は、識別辞書を出力することができる。
　（２．４　本実施の形態に係る効果）
　以上のように、本実施の形態に係る画像処理装置２００は、背景画像と人物画像とを合成し、合成画像と背景画像との差分をとることで、実環境で起こりうる差分の欠けを再現する差分画像を生成することができる。これにより、画像処理装置２００は、差分の欠けを再現した差分画像を大量に生成することができるため、これらの差分画像を学習用データとして用いて機械学習を行うことができる。この学習用データは、差分の欠けを再現した、実環境に近いデータであるため、この学習用データを用いた機械学習により生成された識別器（識別辞書）は高い識別能力を有することができる。したがって、本実施の形態に係る２００は、高い識別能力を持った識別器（識別辞書）を生成することが可能になる。
　（３　第３の実施の形態）
　本実施の形態では、影のことをノイズと呼称する。なお、影のことをノイズと呼称することは一般的ではないが、以下の説明中では目的の物体以外に差分画像に表れ得る要素をすべてノイズと称することとする。
　（３．１　概要）
　第３の実施の形態に係る画像処理装置では、第２の実施の形態に係る画像処理装置２００が生成した合成画像に実環境で発生しうる影などのノイズを付加し、ノイズを付加した画像と背景画像との差分をとることで、差分画像を生成する。実際の画像では、影の誤検出に代表されるように、ノイズを誤って前景として検出する場合がある。しかしながら、本実施の形態に係る画像処理装置が生成する差分画像は、ノイズを再現し、得られた差分画像を学習用データとして用いて機械学習を行うことで、より高い識別能力を持った識別器（識別辞書）を生成することができる。
　なお、本実施の形態では、上述する第２の実施の形態において説明した部材と同じ機能を有する部材には同じ符号を付し、その詳細な説明を省略する。
　（３．２　画像処理装置の構成）
　図６および図７を参照して、本実施の形態に係る画像処理装置３００の機能構成について説明する。図６は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。また、図７は、図６のノイズ付加部の更に詳細な機能構成の一例を示す機能ブロック図である。以下、両図を参照しながら、第３の実施の形態における画像処理装置３００について説明を行う。
　図６に示す通り、画像処理装置３００は、取得部２１０と、合成部３２０と、生成部２３１と、機械学習部２４１と、記憶部２５０とを備える。本実施の形態に係る画像処理装置３００は、上述した第２の実施の形態に係る画像処理装置２００の合成部２２１に代えて、合成部３２０を備える構成である。
　合成部３２０は、画像合成部３２１と、ノイズ付加部３２２とを備える。画像合成部３２１は、上述した第２の実施の形態における合成部２２１と同様の機能を有するため、説明を省略する。
　ノイズ付加部３２２は、合成画像に影などのノイズを付加する。以降、ノイズが付加された合成画像を、ノイズ付加画像と呼ぶ。そして、ノイズ付加部３２２は、ノイズ付加画像を生成部２３１に出力する。
　なお、ノイズ付加部３２２がノイズとして影を付加する場合、人物画像を用いて影の領域を仮定して付加する。つまり、本実施の形態において、ノイズとして付加する影は、擬似的な影であると言い換えることができる。この擬似的な影を付加する場合におけるノイズ付加部３２２の機能構成を、図７を用いてさらに説明する。
　図７に示す通り、ノイズ付加部３２２は、変形部３２３および輝度調整部３２４を含む。
　変形部３２３は、人物画像取得部２１２が取得した人物画像を変形し、変形した人物画像を生成する。変形部３２３が行う変形の方法は、例えば、人物画像から人物画像に含まれる人物の足の部分を推定し、この人物画像に対し、推定した足の部分（足元）を固定したうえで射影変換を行う方法が挙げられる。変形部３２３は、このように人物画像に対して射影変換を行うことによって、変形画像を生成する。そして、変形部３２３は、変形画像を輝度調整部３２４に供給する。
　輝度調整部３２４は、合成画像と、変形画像とを入力とする。輝度調整部３２４は、合成画像と変形画像とを用いて、合成画像のうち、影の領域と仮定した領域の輝度を調整する（変化させる）ことにより、ノイズ付加画像を生成する。例えば、輝度調整部３２４は、合成画像に含まれる人物の領域から該人物の足の部分を推定し、この足元を基準として、合成画像において、変形画像に相当しうる部分を影の領域であると仮定する。そして、輝度調整部３２４は、合成画像のうち、影の領域と仮定した領域（変形画像の部分に対応する領域）の輝度を合成画像に応じて変化させる。例えば、輝度調整部３２４は、上記影の領域と仮定した領域の輝度を合成画像に応じて減少させる。そして、この影の領域と仮定した領域の輝度を変化させた合成画像を、ノイズ付加画像として生成部２３１に供給する。
　なお、ノイズ付加部３２２は、人物画像を用いずに擬似的な影を生成してもよいし、合成画像に用いた人物画像とは別の人物画像を人物画像ＤＢ２５２から取得して上記擬似的な影を生成してもよい。また、ノイズ付加部３２２は、上述した擬似的な影ではなく、インパルスノイズまたはガウシアンノイズなど任意のノイズを付加してもよい。さらに、ノイズ付加部３２２は、複数のノイズを組み合わせてもよい。ノイズ付加部３２２は、実際の画像で起こりうるノイズを付加すればよい。
　生成部２３１は、上述した第２の実施の形態における生成部２３１と同様に、背景画像と合成画像との差分画像を生成する。本実施の形態では、この合成画像が、ノイズが付加された合成画像（つまり、ノイズ付加画像）となる。したがって、生成部２３１は、合成部３２０のノイズ付加部３２２により生成された、ノイズ付加画像と、背景画像取得部２１１により取得された背景画像との差分を計算することにより、差分画像を生成する。なお、生成部２３１は、生成した差分画像にさらに任意のノイズを加えても構わない。
　生成部２３１が差分を計算する計算手法は第２の実施の形態と同様だが、付加した種類のノイズを除去する処理が含まれない差分の計算手法を用いることが望ましい。ノイズ付加部３２２によって擬似的に付加されたノイズは、ノイズ除去アルゴリズムの想定通りのノイズになってしまう可能性があり、除去される可能性があるためである。
　（３．３　処理の流れ）
　以下、画像処理装置３００の処理の流れを、図８および図９を参照しながら説明する。図８は、画像処理装置３００の処理の流れの一例を示すフローチャートである。また、図９は、各処理の経過の例を模式的に示した図である。なお、以下では、ノイズが擬似的な影であるとして説明を行う。
　ステップＳ８１およびＳ８２は第２の実施の形態におけるステップＳ４１およびＳ４２と同様である。
　ノイズ付加部３２２の変形部３２３は、人物画像１２を変形し、変形画像１５を生成する（Ｓ８３）。輝度調整部３２４は変形部３２３が変形させた人物画像（変形画像１５）と、合成画像１３とを用いて、合成画像１３における該変形画像１５に相当する部分（擬似的な影の部分）の輝度を調整する（変化させる）（Ｓ８４）。このステップＳ８３およびＳ８４によって、ノイズ付加部３２２は、画像合成部３２１が生成した合成画像１３にノイズを付加したノイズ付加画像１６を生成することができる。
　生成部２３１は、ノイズ付加部３２２が生成したノイズ付加画像（ノイズが付加された合成画像）１６と背景画像取得部２１１が取得した背景画像１１との差分を計算することにより、差分画像１７を生成する（Ｓ８５）。
　図９に示す通り、差分画像１７は、人物の領域のうち背景画像１１の一部分と色彩および／または明度が類似している部分と、背景の部分のうち、影の部分以外の部分とが、黒くなっていることがわかる。黒くなっている部分は、差分の値が所定の閾値よりも小さい箇所であり、生成部２３１によって差分が無いと判定された箇所である。このように、生成部２３１は、実際の画像で起こり得る差分の欠けを再現した差分画像１７を生成する。
　そして、画像処理装置３００は、差分画像１７の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ８１～８５を繰り返す（ループＳ８６）。なお、画像処理装置３００が判定の際に用いる差分画像１７の数は、背景画像１１の少なくとも一部分と人物画像１２の少なくとも一部分とが、色彩および／または明度が類似する画像から生成された差分画像１４のみの数であってもよい。また差分画像１４の数は、人物画像１２と背景画像１１とが類似していない画像から生成された差分画像１７を含んだ数であってもよい。
　このように、ステップＳ８１～８５の各処理が所定の回数繰り返されることにより、画像処理装置３００は、機械学習に必要な枚数分の複数の学習用データを生成することができる。
　機械学習部２４１は、ステップＳ８１～８５を繰り返して得られた学習用データの集合（複数の差分画像１７）を用いて機械学習を実行する（Ｓ８７）。これにより、画像処理装置３００は、識別辞書を出力することができる。
　（３．４　本実施の形態に係る効果）
　本実施形態に係る画像処理装置３００によれば、第１の実施の形態に係る画像処理装置２００の生成部１２０によって生成される合成画像に、実環境で起こりうる差分の過検出を再現した画像も生成することができる。なぜならば、ノイズ付加部３２２が合成画像にノイズを付加するからである。差分の過検出には、影等見た目でわかる原因だけでなく、照明条件が微妙に変化している等、見た目では気づきにくい原因がある。しかしながら、ノイズ付加部３２２が、合成画像にノイズを付加することで、このような状況も再現することができる。これにより、画像処理装置３００は、差分の欠けを再現した差分画像を生成することができる。よって、画像処理装置３００は、この差分画像を学習用データとして用いて機械学習を行うため、上述した第１および第２の実施の形態に係る画像処理装置の効果に加え、より頑健な識別器（識別辞書）を構築することが可能になる。
　（４　第４の実施の形態）
　（４．１　概要）
　第４の実施の形態に係る画像処理装置は、第１から第３の実施の形態において取得または生成された画像に対し、ぼかし処理などの画像処理を加える。本実施の形態に係る画像処理装置は、取得または生成された画像に対し、このような画像処理を加えることで、合成画像特有の不自然さを抑え、より自然な画像を得ることができる。画像処理装置は、その自然な画像を用いて学習を行うことにより、より高い識別能力を持った識別器（識別辞書）を生成することができる。
　なお、本実施の形態では、上述する第２の実施の形態において説明した部材と同じ機能を有する部材には同じ符号を付し、その詳細な説明を省略する。
　（４．２　画像処理装置の構成）
　図１０を参照して、本実施の形態に係る画像処理装置４００の機能構成について説明する。図１０は、本実施の形態に係る画像処理装置４００の機能構成の一例を示す機能ブロック図である。
　図１０に示す通り、画像処理装置４００は、取得部２１０と、合成部２２１と、機械学習部２４１と、記憶部２５０と、生成部４３０とを備える。つまり、本実施の形態に係る画像処理装置４００は、上述した第２の実施の形態における画像処理装置２００の生成部２３１に代えて、生成部４３０を備える構成である。なお、本実施の形態に係る画像処理装置４００は、上述した第３の実施の形態における画像処理装置３００の生成部２３１に代えて、生成部４３０を備える構成であってもよい。
　生成部４３０は、図１０に示す通り、差分画像生成部４３１と、ぼかし処理部４３２とを含む。差分画像生成部４３１は、上述した第２または第３の実施の形態における生成部２３１と同様の機能を有するため、説明を省略する。
　ぼかし処理部４３２は、合成画像と背景画像との両方に対して、ぼかし処理などの画像処理を行う。また、ぼかし処理部４３２は、差分画像生成部４３１が生成した差分画像にぼかし処理などの画像処理を行ってもよい。また画像処理装置４００が、画像処理装置３００の生成部２３１に代えて生成部４３０を備える構成の場合、ぼかし処理部４３２は、ノイズが付加された合成画像（ノイズ付加画像）と背景画像との両方に対してぼかし処理などの画像処理を行ってもよい。また、画像処理装置４００が、画像処理装置３００の生成部２３１に代えて生成部４３０を備える構成の場合も、ぼかし処理部４３２は、差分画像生成部４３１が生成した差分画像にぼかし処理などの画像処理を行ってもよい。
　なお、画像処理は任意の方法を用いて構わないが、画像処理としてたとえば、ガウシアンフィルタによる平滑化処理などを採用してもよい。
　（４．３　処理の流れ）
　以下、画像処理装置４００の処理の流れを、図１１を参照しながら説明する。図１１は、画像処理装置４００の処理の流れの一例を示すフローチャートである。図１１の処理は、ぼかし処理を合成画像と背景画像との両方に施す場合の例である。
　ステップＳ１１１およびＳ１１２は第２の実施の形態におけるステップＳ４１およびＳ４２と同様である。
　ぼかし処理部４３２は、ステップＳ１１１で取得された背景画像と、ステップＳ１１２で生成された合成画像との両方に対し、ぼかし処理を実行する（Ｓ１１３）。このとき、ぼかし処理が実行される合成画像は、例えば、図５に示す合成画像１３であってもよいし、図９に示すノイズ付加画像１６のようなノイズが付加された合成画像であってもよい。そして、ぼかし処理部４３２は、ぼかし処理が行われた背景画像および合成画像を、差分画像生成部４３１に供給する。その後、差分画像生成部４３１は、ぼかし処理部４３２によってぼかし処理が行われた背景画像と、ぼかし処理が行われた合成画像との差分を計算することにより、差分画像を生成する（Ｓ１１４）。そして、画像処理装置４００は、差分画像の数が所定数であるか否かを確認し、所定数を下回る場合、所定数になるまでステップＳ１１１～１１４を繰り返す（ループＳ１１５）。
　機械学習部２４１は、ステップＳ１１１～１１４を繰り返して得られた学習用データの集合（複数の差分画像）を用いて機械学習を実行する（Ｓ１１６）。これにより、画像処理装置４００は、識別辞書を出力することができる。
　また、上述した通り、ぼかし処理は差分画像に施されるものであってもよい。以下、画像処理装置４００の処理の流れの他の例を、図１２を参照しながら説明する。図１２は、画像処理装置４００の処理の流れの他の一例を示すフローチャートである。図１２の処理は、ぼかし処理を差分画像に施す場合の例である。
　ステップＳ１２１～Ｓ１２３は夫々第２の実施の形態におけるステップＳ４１～Ｓ４３と同様である。なお、ステップＳ１２１～Ｓ１２３の代わりに、ステップＳ８１～Ｓ８５を行ってもよい。
　ぼかし処理部４３２は、ステップＳ１２３で生成された差分画像に対し、ぼかし処理を実行する（Ｓ１２４）。そして、ぼかし処理部４３２は、ぼかし処理が行われた差分画像を、機械学習部２４１に出力する。そして、上述したループＳ１１５およびステップＳ１１６と同様に、所定数の差分画像を学習用データとし、機械学習部２４１は、機械学習を行う（Ｓ１２５、Ｓ１２６）。
　（４．４　本実施形態に係る効果）
　画像の合成を行う場合、画像の境界部分の輝度などに不自然な部分が出てくる場合がある。しかしながら、本実施の形態に係る画像処理装置４００のぼかし処理部４３２によって画像にぼかし処理のような画像処理を加えることで、そのような不自然な部分をなめらかにし、より実際の画像に近い、自然な画像を得ることができる。本実施の形態に係る画像処理装置４００は、その画像を用いて機械学習を行うため、上述した第１から第３の実施の形態に係る画像処理装置の効果に加え、さらに頑健な識別辞書を構築することが可能になる。
　（５　ハードウェア構成について）
　本開示の各実施の形態において、各画像処理装置の各構成要素は、機能単位のブロックを示している。各画像処理装置の各構成要素の一部又は全部は、例えば図１３に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１３は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における各画像処理装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各画像処理装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＡＭ９０３に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　各画像処理装置の実現方法には、様々な変形例がある。例えば、各画像処理装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各画像処理装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、各画像処理装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各画像処理装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各画像処理装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　（６　付記事項）
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　この出願は、２０１６年３月９日に出願された日本出願特願２０１６－０４５８２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　背景画像
　１２　　人物画像
　１３　　合成画像
　１４　　差分画像
　１５　　変形画像
　１６　　ノイズ付加画像
　１７　　差分画像
　１００　　画像処理装置
　１１０　　合成部
　１２０　　生成部
　１３０　　機械学習部
　２００　　画像処理装置
　２１０　　取得部
　２１１　　背景画像取得部
　２１２　　人物画像取得部
　２２１　　合成部
　２３１　　生成部
　２４１　　機械学習部
　２５０　　記憶部
　２５１　　背景画像データベース（背景画像ＤＢ）
　２５２　　人物画像データベース（人物画像ＤＢ）
　３２０　　合成部
　３２１　　画像合成部
　３２２　　ノイズ付加部
　３２３　　変形部
　３２４　　輝度調整部
　４００　　画像処理装置
　４３０　　生成部
　４３１　　差分画像生成部
　４３２　　ぼかし処理部

Claims (10)

  1. 　背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する合成手段と、
    　前記背景画像と前記合成画像との差分画像を生成する生成手段と、
    　前記差分画像を学習用データとして機械学習を行う機械学習手段と、
    を備える画像処理装置。
  2. 　前記合成手段は、前記合成画像にノイズを付加するノイズ付加手段を備え、
    　前記生成手段は、前記背景画像と前記ノイズが付加された合成画像との差分画像を生成する、
    請求項１に記載の画像処理装置。
  3. 　前記ノイズは、擬似的な影、インパルスノイズ、およびガウシアンノイズのうちの少なくとも一つである、
    請求項２に記載の画像処理装置。
  4. 　前記ノイズ付加手段は、前記物体画像を変形し、前記合成画像と、変形した前記物体画像とを用いて、前記合成画像における物体の影の部分の領域を推定し、該合成画像のうち、前記推定した影の部分の領域の輝度を前記合成画像に応じて変化させることにより、前記擬似的な影をノイズとして前記合成画像に付加する、
    　請求項３に記載の画像処理装置。
  5. 　前記生成手段は、前記背景画像および前記合成画像にぼかし処理を行うぼかし処理手段を備え、
    　前記生成手段は、前記ぼかし処理が行われた、前記背景画像と前記合成画像との差分画像を生成する、
    　請求項１から４の何れか１項に記載の画像処理装置。
  6. 　前記生成手段は、生成した前記差分画像にぼかし処理を行うぼかし処理手段を備え、
    　前記機械学習手段は、前記ぼかし処理が行われた前記差分画像を前記学習用データとして機械学習を行う、
    　請求項１から４の何れか１項に記載の画像処理装置。
  7. 　前記物体画像は、人物画像である、
    請求項１から６の何れか１項に記載の画像処理装置。
  8. 　前記機械学習には、ニューラルネットワークを用いる、
    請求項１から７の何れか１項に記載の画像処理装置。
  9. 　背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成し、
    　前記背景画像と前記合成画像との差分画像を生成し、
    　前記差分画像を学習用データとして機械学習を行う、
    ことを特徴とする画像処理方法。
  10. 　背景画像と、該背景画像の少なくとも一部分に対し、色彩および明度の少なくとも何れかが、少なくとも一部分類似する物体画像とを合成し、合成画像を生成する処理と、
    　前記背景画像と前記合成画像との差分画像を生成する処理と、
    　前記差分画像を学習用データとして機械学習を行う処理と、
    をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
PCT/JP2017/007374 2016-03-09 2017-02-27 画像処理装置、画像処理方法および記録媒体 WO2017154630A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/082,624 US10984538B2 (en) 2016-03-09 2017-02-27 Image-processing device, image-processing method, and recording medium
JP2018504377A JP6866889B2 (ja) 2016-03-09 2017-02-27 画像処理装置、画像処理方法およびプログラム
US16/546,415 US20190385315A1 (en) 2016-03-09 2019-08-21 Image-processing device, image-processing method, and recording medium
US16/546,429 US20190378281A1 (en) 2016-03-09 2019-08-21 Image-processing device, image-processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016045821 2016-03-09
JP2016-045821 2016-03-09

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US16/082,624 A-371-Of-International US10984538B2 (en) 2016-03-09 2017-02-27 Image-processing device, image-processing method, and recording medium
US16/546,429 Continuation US20190378281A1 (en) 2016-03-09 2019-08-21 Image-processing device, image-processing method, and recording medium
US16/546,415 Continuation US20190385315A1 (en) 2016-03-09 2019-08-21 Image-processing device, image-processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2017154630A1 true WO2017154630A1 (ja) 2017-09-14

Family

ID=59790475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007374 WO2017154630A1 (ja) 2016-03-09 2017-02-27 画像処理装置、画像処理方法および記録媒体

Country Status (3)

Country Link
US (3) US10984538B2 (ja)
JP (2) JP6866889B2 (ja)
WO (1) WO2017154630A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117065A1 (ja) * 2017-12-15 2019-06-20 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2019159630A (ja) * 2018-03-12 2019-09-19 株式会社 日立産業制御ソリューションズ 画像生成方法、画像生成装置及び画像生成システム
WO2019198233A1 (ja) * 2018-04-13 2019-10-17 日本電気株式会社 動作認識装置、動作認識方法、及びコンピュータ読み取り可能な記録媒体
WO2019235192A1 (ja) * 2018-06-06 2019-12-12 日本電信電話株式会社 領域抽出モデル学習装置、領域抽出モデル学習方法、プログラム
EP3624008A1 (en) 2018-08-29 2020-03-18 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
US10762620B2 (en) 2017-11-27 2020-09-01 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
JP2021106044A (ja) * 2016-03-09 2021-07-26 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
US11270161B2 (en) 2017-11-27 2022-03-08 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US11373293B2 (en) 2019-06-27 2022-06-28 SCREEN Holdings Co., Ltd. Method for building image determination model, image determination model, and image determination method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531837B2 (en) * 2020-07-17 2022-12-20 Sap Se Query image synthesis for image retrieval systems based on data augmentation techniques

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
WO2015064292A1 (ja) * 2013-10-30 2015-05-07 日本電気株式会社 画像の特徴量に関する処理システム、処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303645A (ja) 1992-04-28 1993-11-16 Toshiba Corp 画像認識装置
JPH09247525A (ja) * 1996-03-01 1997-09-19 Sony Corp 映像特殊効果装置
JP3612220B2 (ja) 1998-09-18 2005-01-19 株式会社東芝 人物監視方法
JP2002190012A (ja) 2000-12-21 2002-07-05 Nec Corp 画像認識による通行監視システム及び通行監視方法
EP1396818B1 (en) * 2001-06-15 2012-10-03 Sony Corporation Image processing apparatus and method and image pickup apparatus
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP3312770B1 (en) * 2013-06-28 2023-05-10 NEC Corporation Crowd state recognition device, method, and program
JP6189116B2 (ja) 2013-07-09 2017-08-30 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
JP6288816B2 (ja) * 2013-09-20 2018-03-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017154630A1 (ja) * 2016-03-09 2017-09-14 日本電気株式会社 画像処理装置、画像処理方法および記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
WO2015064292A1 (ja) * 2013-10-30 2015-05-07 日本電気株式会社 画像の特徴量に関する処理システム、処理方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021106044A (ja) * 2016-03-09 2021-07-26 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
JP7180710B2 (ja) 2016-03-09 2022-11-30 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
US11270161B2 (en) 2017-11-27 2022-03-08 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US10762620B2 (en) 2017-11-27 2020-09-01 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
JP2019109563A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
WO2019117065A1 (ja) * 2017-12-15 2019-06-20 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
CN111742342A (zh) * 2018-03-12 2020-10-02 日立产业控制解决方案有限公司 图像生成方法、图像生成装置以及图像生成系统
WO2019176235A1 (ja) * 2018-03-12 2019-09-19 株式会社日立産業制御ソリューションズ 画像生成方法、画像生成装置及び画像生成システム
JP2019159630A (ja) * 2018-03-12 2019-09-19 株式会社 日立産業制御ソリューションズ 画像生成方法、画像生成装置及び画像生成システム
JPWO2019198233A1 (ja) * 2018-04-13 2021-03-11 日本電気株式会社 動作認識装置、動作認識方法、及びプログラム
WO2019198233A1 (ja) * 2018-04-13 2019-10-17 日本電気株式会社 動作認識装置、動作認識方法、及びコンピュータ読み取り可能な記録媒体
US11809997B2 (en) 2018-04-13 2023-11-07 Nec Corporation Action recognition apparatus, action recognition method, and computer-readable recording medium
JP2019212106A (ja) * 2018-06-06 2019-12-12 日本電信電話株式会社 領域抽出モデル学習装置、領域抽出モデル学習方法、プログラム
WO2019235192A1 (ja) * 2018-06-06 2019-12-12 日本電信電話株式会社 領域抽出モデル学習装置、領域抽出モデル学習方法、プログラム
EP3624008A1 (en) 2018-08-29 2020-03-18 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
US11893082B2 (en) 2018-08-29 2024-02-06 Panasonic Intellectual Property Corporation Of America Information processing method and information processing system
US11373293B2 (en) 2019-06-27 2022-06-28 SCREEN Holdings Co., Ltd. Method for building image determination model, image determination model, and image determination method

Also Published As

Publication number Publication date
US20190385315A1 (en) 2019-12-19
JP6866889B2 (ja) 2021-04-28
JP7180710B2 (ja) 2022-11-30
US20190378281A1 (en) 2019-12-12
JP2021106044A (ja) 2021-07-26
US20190026906A1 (en) 2019-01-24
JPWO2017154630A1 (ja) 2019-01-10
US10984538B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
WO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
Sun et al. HDR image construction from multi-exposed stereo LDR images
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
KR20190053602A (ko) 얼굴 인증 방법 및 장치
CN112449141A (zh) 用于处理输入视频的系统和方法
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
JP2002190028A (ja) 信号処理装置および方法、並びに記録媒体
KR20210030747A (ko) 가상 피팅 이미지 생성을 위한 이미지 합성 방법 및 시스템
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
JP2019079114A (ja) 画像処理装置、画像処理方法およびプログラム
KR101341616B1 (ko) 세부정보 추정에 의한 영상 개선 장치 및 방법
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
JP2016167681A (ja) 画像生成装置および画像生成方法
US11798227B2 (en) Image processing apparatus and image processing method
JP5772446B2 (ja) 画像処理装置及び画像処理プログラム
KR20150101343A (ko) 영상 투사 시스템
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
JP2004021373A (ja) 物体及び光源情報推定方法並びに物体及び光源情報推定装置
CN111586309A (zh) 一种水下自动补光的图像采集方法及装置
Kinoshita et al. Reinhard's global operator based inverse tone mapping with one parameter
US11842467B2 (en) Image processing apparatus, image processing method and storage medium
WO2022185403A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102395953B1 (ko) 증강현실 기반의 마케팅 영상 제공 시스템 및 그 동작 방법
KR102507776B1 (ko) 딥러닝 기술을 이용한 실시간 얼굴 변환 장치 및 방법
JP2012058954A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018504377

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17762970

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17762970

Country of ref document: EP

Kind code of ref document: A1