WO2020105092A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置

Info

Publication number
WO2020105092A1
WO2020105092A1 PCT/JP2018/042673 JP2018042673W WO2020105092A1 WO 2020105092 A1 WO2020105092 A1 WO 2020105092A1 JP 2018042673 W JP2018042673 W JP 2018042673W WO 2020105092 A1 WO2020105092 A1 WO 2020105092A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
reliability
edge
visible light
Prior art date
Application number
PCT/JP2018/042673
Other languages
English (en)
French (fr)
Inventor
竜一 赤司
慶一 蝶野
塚田　正人
知里 舟山
貴裕 戸泉
有加 荻野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/294,071 priority Critical patent/US20220005203A1/en
Priority to JP2020557043A priority patent/JP7036227B2/ja
Priority to PCT/JP2018/042673 priority patent/WO2020105092A1/ja
Publication of WO2020105092A1 publication Critical patent/WO2020105092A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an image processing method and an image processing device for detecting a foreground from an input image.
  • a method called background subtraction is known to extract the target object from the image.
  • the background difference is a method of extracting a target object that does not exist in the background image by comparing the background image acquired in advance and the observed image.
  • the area occupied by an object that does not exist in the background image (the area occupied by the target object) is called the foreground area, and the other areas are called the background area.
  • Patent Document 1 describes an object detection device that uses the background difference to detect the state of the foreground (target object) with respect to the background (background object).
  • a projection unit (light source) 51 that emits near-infrared light irradiates a region (irradiation region) where the target object is present with light.
  • the distance measuring unit 52 that receives the near-infrared light receives the reflected light from the irradiation region of the light emitted from the projection unit 51 under the exposure condition suitable for the background.
  • the distance measuring unit 52 generates a background depth map by distance measurement based on light reception.
  • the distance measuring unit 52 receives the reflected light from the irradiation area of the light emitted from the projection unit 51 under the exposure condition suitable for the foreground.
  • the distance measuring unit 52 generates a foreground depth map by distance measurement based on light reception.
  • the state determination unit 53 calculates the difference between the background depth map and the foreground depth map. Then, the state determination unit 53 detects the state of the foreground based on the difference.
  • the shadow of the object or the reflected light from the background surface such as the floor surface causes the false detection of the target object.
  • the use of the near-infrared light camera in the distance measuring unit 52 reduces the influence of the shadow of the object.
  • Non-Patent Document 1 describes an image processing device using a solar spectrum model. Specifically, as shown in FIG. 15, in the image processing device 60, the date / time designation unit 61 designates the date / time used for calculation of the sunlight spectrum. The position designation unit 62 designates the position used for calculating the sunlight spectrum.
  • the sunlight spectrum calculation unit 63 calculates the sunlight spectrum by the method using the sunlight model, using the date and time input from the date and time designation unit 61 and the position input from the position designation unit 62.
  • the sunlight spectrum calculation unit 63 outputs a signal including the sunlight spectrum to the prediction background calculation unit 64.
  • a signal (input image signal) V in including an input image (RGB image) taken outdoors is also input to the prediction background calculation unit 64.
  • the predicted background calculation unit 64 calculates the predicted background using the color information of the input image and the sunlight spectrum. Predicted background means an image predicted to be closest to the actual background.
  • the prediction background calculation unit 64 outputs the prediction background to the prediction background output unit 65.
  • the prediction background output unit 65 may output the prediction background as V out as it is, or may output the foreground likelihood.
  • the prediction background output unit 65 obtains the foreground likelihood based on the difference between the prediction background and the input image signal, for example.
  • the image processing device 60 can obtain a predicted background or foreground likelihood from an input image taken outdoors. However, it is difficult for the image processing device 60 to obtain the foreground likelihood from the input image captured indoors. When used indoors, it is conceivable to calculate the indoor illumination light spectrum instead of calculating the sunlight spectrum, but the illumination light spectrum is unknown.
  • An object of the present invention is to provide an image processing method and an image processing apparatus capable of detecting the foreground in both indoor and outdoor environments without being affected by reflected light from the shadow or background of an object.
  • An image processing method generates a first foreground likelihood from a visible light image, generates a second foreground likelihood from a depth image of the same shooting target as the visible light image, and at least the visible light image. And the depth image are used to generate the reliability of the depth image, and the reliability of the depth image is used as a weight to determine the foreground likelihood of the imaging target from the first foreground likelihood and the second foreground likelihood. ..
  • An image processing apparatus includes a first likelihood generation unit that generates a first foreground likelihood from a visible light image, and a second foreground likelihood from a depth image of the same shooting target as the visible light image.
  • a second likelihood generating means for generating a reliability of the depth image using at least the visible light image and the depth image, and a reliability of the depth image as a weight.
  • Foreground detection means for determining the foreground likelihood of the object to be photographed from the foreground likelihood and the second foreground likelihood.
  • An image processing program causes a computer to generate a first foreground likelihood from a visible light image and a second foreground likelihood from a depth image of the same photographing target as the visible light image. From the first foreground likelihood and the second foreground likelihood, the process of generating the reliability of the depth image using at least the visible light image and the depth image, and the reliability of the depth image as a weight. And a process of determining the foreground likelihood of the image capturing target.
  • the foreground can be detected in an indoor environment or an outdoor environment without being affected by the reflected light from the shadow or background of an object.
  • FIG. 3 is a block diagram showing a main part of the image processing apparatus. It is a block diagram which shows an object detection apparatus.
  • FIG. 16 is a block diagram showing an image processing device described in Non-Patent Document 1.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of an image processing apparatus.
  • the image processing device 10 includes a visible light foreground likelihood generation unit 11, a depth foreground likelihood generation unit 12, a depth reliability generation unit 13, and a foreground detection unit 14.
  • the visible light foreground likelihood generation unit 11 generates the foreground likelihood of the visible light image for each predetermined area in the frame from at least the visible light image of the frame.
  • the depth foreground likelihood generation unit 12 generates a depth image foreground likelihood for each predetermined area from at least a frame depth image (an image in which the depth value (distance) is expressed by shading).
  • the depth reliability generation unit 13 generates depth image reliability for each predetermined area from at least the depth image of the frame.
  • the foreground detection unit 14 detects the foreground from which the influence of the shadow of the object or the reflection from the object is excluded based on the visible light image foreground likelihood, the depth image foreground likelihood, and the depth image reliability.
  • the visible light image is acquired by a general visible light image acquisition means (for example, the visible light camera 41).
  • the depth image (distance image) is acquired by a distance image acquisition unit (for example, the depth camera 42) such as a ToF (Time of Flight) camera using near infrared light.
  • a ToF camera that also has a function of acquiring a visible light image may be used.
  • the image processing device 10 may input a visible light image stored in advance in a storage unit (not shown). Further, the image processing device 10 may input the depth image stored in the storage unit (not shown) in advance.
  • FIG. 2 is a block diagram showing a configuration example of the depth reliability generation unit 13.
  • the depth reliability generation unit 13 includes an observation value gradient calculation unit 131, a distance measurement impossible pixel determination unit 132, a first edge detection unit 133, a second edge detection unit 134, and a depth reliability.
  • the determining unit 136 is provided.
  • the observation value gradient calculation unit 131 calculates the observation value gradient of each small area in the depth image of the same photographing target as the photographing target of the visible light image.
  • the size of the small area is arbitrary.
  • the size of the small area is, for example, 5 ⁇ 5 pixels.
  • the distance measurement impossible pixel determination unit 132 determines, for each small area, whether or not each pixel in the depth image is incapable of distance measurement (distance acquisition impossible).
  • the first edge detection unit 133 detects an edge in the depth image for each small area.
  • the second edge detection unit 134 detects edges in the visible light image for each small area.
  • the depth reliability determination unit 136 calculates the depth image reliability using the gradient of the observed value, the non-measurable pixel, the edge in the depth image, and the edge in the visible light image.
  • the depth reliability determination unit 136 uses the information regarding the gradient of the observed value, the unmeasurable pixel, the edge in the depth image, and the edge in the visible light image, but the depth reliability determination unit 136 uses You may use some of those information. Further, the depth reliability determination unit 136 may use other information in addition to those pieces of information.
  • the visible light foreground likelihood generation unit 11 generates the foreground likelihood of the visible light image using the sunlight spectrum model (step S11).
  • the visible light foreground likelihood generation unit 11 can generate the foreground likelihood by various methods. As an example, the visible light foreground likelihood generation unit 11 uses the method described in Non-Patent Document 1.
  • FIG. 4 is an explanatory diagram for explaining the direct light from the sun 1 and the ambient light.
  • FIG. 4 also shows an object (for example, a person) 2 as a foreground and a shadow 3 of the object 2 due to direct light.
  • the visible light foreground likelihood generation unit 11 calculates the spectrum of sunlight (direct light and ambient light) at the shooting position and shooting time of the camera.
  • the visible light foreground likelihood generation unit 11 converts the spectrum into color information.
  • the color information is, for example, information on each channel in the RGB color space.
  • the color information is expressed as in equation (1).
  • the pixel values of direct light and ambient light are expressed as follows.
  • p, q, and r are coefficients representing the intensity of direct light or ambient light.
  • the pixel value is assumed to be an RGB value in the RGB color space.
  • the superscript c in the formulas (1) and (2) represents one of the R value, the G value, and the B value.
  • the visible light foreground likelihood generation unit 11 calculates a predicted background from the input visible light image (RGB image in this example) and the sunlight spectrum.
  • RGB image in this example
  • the predicted background can be expressed as follows.
  • the visible light foreground likelihood generation unit 11 obtains m and n that minimize the difference between C i and B c .
  • the visible light foreground likelihood generation unit 11 substitutes the obtained m and n into the equation (3) to obtain the RGB value of the predicted background image.
  • the visible light foreground likelihood generation unit 11 sets the difference between the normalized RGB value C i of the visible light image and the normalized RGB value of the predicted background image as the foreground likelihood.
  • the visible light foreground likelihood generation unit 11 may use a value obtained by performing some processing on the difference as the foreground likelihood.
  • the depth foreground likelihood generation unit 12 generates a foreground likelihood (depth image foreground likelihood) for each pixel in the depth image (step S12).
  • FIG. 5 is an explanatory diagram showing an example of a method of generating the foreground likelihood.
  • the depth foreground likelihood generation unit 12 creates a histogram of pixel values (luminance values) for each pixel in the depth images of past multiple frames in order to generate the foreground likelihood of the depth image. Since the background is stationary, positions where similar pixel values appear over a plurality of frames are likely to be included in the background. Since the foreground may move, a position where pixel values vary over a plurality of frames is likely to be included in the foreground.
  • the depth foreground likelihood generation unit 12 approximates the pixel value histogram with a Gaussian distribution or a Gaussian mixture distribution, and derives the foreground likelihood from the Gaussian distribution or the Gaussian mixture distribution.
  • the depth foreground likelihood generation unit 12 can use various known foreground likelihood generation methods.
  • the depth reliability generation unit 13 generates the depth image reliability in the process of step S31 after executing the processes of steps S21 to S24.
  • the observation value gradient calculation unit 131 calculates the gradient of the observation value (luminance value) of the pixel for each small area in the depth image (step S21). Further, the distance measurement impossible pixel determination unit 132 determines, for each small area, whether the pixel is a distance measurement impossible pixel (step S22). As an example, the non-measurable pixel determination unit 132 determines that a pixel having a pixel value of 0 is a non-measurable pixel. Note that the pixel value of 0 corresponds to the fact that reflected light of near-infrared light cannot be obtained, and the non-distance measuring pixel determination unit 132 determines that the pixel having a pixel value of 0 is a non-distance measuring pixel. And
  • the first edge detection unit 133 detects an edge for each small area in the depth image (step S23).
  • the second edge detection unit 134 detects an edge for each small area in the visible light image (step S24).
  • the depth reliability determining unit 136 determines the depth image reliability as follows (step S31), for example.
  • the depth reliability determination unit 136 gives a high reliability to an area where the gradient of the observed value is small.
  • the small gradient of the observed value corresponds to the small spatial distance difference (smoothness) in the depth image. Since it is considered that the distance can be stably observed in the smooth region without being affected by the shadow of the object or the reflected light, the depth reliability determination unit 136 gives the region a high reliability.
  • the depth reliability determining unit 136 gives a low reliability to the area composed of the pixels that cannot be measured.
  • the depth reliability determination unit 136 gives high reliability to the region in the depth image. To do.
  • Edge is the part where the slope of the observed value exceeds the specified threshold, but it is also the area where the noise is large.
  • the depth reliability determination unit 136 raises the reliability of the portion determined as the edge in the depth image by referring to the edge in the visible light image.
  • the depth reliability determination unit 136 in the visible light image, when the edge does not exist at the same position as the position where the edge exists in the depth image, a low reliability for the region where the edge exists in the depth image. Give.
  • the depth reliability determination unit 136 can simply set “1” (maximum value) as high reliability and “0” (minimum value) as low reliability. However, the depth reliability determination unit 136 can set the reliability according to the main usage environment of the image processing apparatus 10.
  • the fact that the depth image is given a high degree of reliability means that the foreground in the depth image is more strongly reflected in the finally determined foreground or foreground likelihood than the foreground in the visible light image.
  • the depth reliability determining unit 136 assigns a reliability of “0” or a reliability close to 0 to an area composed of non-measurable pixels, and the other areas (areas including pixels other than non-measurable pixels). May give a normalized cross-correlation between the region in the visible light image and the region in the depth image as the reliability.
  • the foreground detection unit 14 determines the foreground or foreground likelihood (final foreground likelihood) (step S32). As described below, the foreground detection unit 14 calculates the visible light image foreground likelihood generated by the visible light foreground likelihood generation unit 11, the depth image foreground likelihood generated by the depth foreground likelihood generation unit 12, and the depth reliability. The depth image reliability degree generated by the degree generation unit 13 is used.
  • x indicates an x coordinate value and y indicates ay coordinate value.
  • the foreground detection unit 14 determines the final foreground likelihood P (x, y) using the following equation (4).
  • the foreground detection unit 14 may output the foreground by binarizing the foreground likelihood P (x, y) to determine the foreground area. Binarization is, for example, a process in which a pixel having a pixel value exceeding a predetermined threshold value is set as a foreground pixel.
  • FIG. 3 shows a flowchart in which each step is sequentially executed
  • the image processing apparatus 10 executes the processing of step S11, the processing of step S12, and the processing of steps S21 to S24 in parallel. Is possible. Further, the depth reliability generation unit 13 can execute the respective processes of steps S21 to S24 in parallel.
  • the visible light foreground likelihood generation unit 11 uses the sunlight spectrum model to generate the foreground likelihood of the visible light image, and the depth foreground.
  • the likelihood generation unit 12 generates a depth image foreground likelihood
  • the depth reliability generation unit 13 generates a depth image foreground likelihood reliability (depth image reliability).
  • the foreground detection unit 14 determines the final foreground likelihood from the foreground likelihood of the visible light image and the depth image foreground likelihood, using the depth image reliability as a weight, and therefore, in both the indoor environment and the outdoor environment. , It is possible to detect the foreground without being affected by the shadow of the object or the reflected light.
  • Embodiment 2 The image processing apparatus 10 according to the first embodiment compares the edge in the visible light image with the edge in the depth image, but in the second embodiment, the image processing apparatus uses the edge in the visible light image and the near infrared image. Compare with the edge at.
  • FIG. 6 is a block diagram showing a configuration example of the image processing apparatus of the second embodiment.
  • the depth reliability generation unit 13B also inputs the near infrared image from the near infrared image acquisition means (for example, the near infrared light camera 43).
  • the depth reliability generation unit 13B compares the edge in the visible light image with the edge in the near infrared image.
  • the other configurations of the image processing apparatus 20 are the same as the configurations of the image processing apparatus 10.
  • the image processing device 20 may input a near-infrared image stored in advance in a storage unit (not shown).
  • FIG. 7 is a block diagram showing a configuration example of the depth reliability generation unit 13B.
  • the third edge detection unit 135 in the depth reliability generation unit 13B detects an edge in the near infrared image of the same shooting target as the shooting target of the depth image.
  • the other configuration of the depth reliability generation unit 13B is the same as the configuration of the depth reliability generation unit 13.
  • FIG. 8 is a flowchart showing the operation of the image processing device 20 of the second embodiment.
  • the third edge detection unit 135 detects an edge for each small area in the near infrared image (step S23B).
  • the process of step S23 (see FIG. 3) is not executed.
  • the other processing of the image processing apparatus 20 is the same as the processing in the first embodiment.
  • the depth reliability determination unit 136 compares the edge position in the depth image with the edge position in the near-infrared image when providing the reliability based on the edge position.
  • FIG. 8 shows a flowchart in which each step is sequentially executed
  • the image processing apparatus 20 may execute the processing of step S11, the processing of step S12, and the processing of steps S21 to S24 in parallel. Is possible. Further, the depth reliability generation unit 13B can execute the processes of steps S21, S22, S23B, and S24 in parallel.
  • the visible light foreground likelihood generation unit 11 uses the sunlight spectrum model to generate the foreground likelihood of the visible light image, and the depth foreground likelihood generation unit 12 The depth image foreground likelihood is generated, and the depth reliability generation unit 13B generates the depth image foreground likelihood reliability (depth image reliability). Then, the foreground detection unit 14 determines the final foreground likelihood from the foreground likelihood of the visible light image and the depth image foreground likelihood, using the depth image reliability as a weight, and therefore, in both the indoor environment and the outdoor environment. , It is possible to detect the foreground without being affected by the shadow of the object or the reflected light. Further, in the present embodiment, since the edge position in the near-infrared image is used when the reliability based on the edge position is given, it is expected that the accuracy of the reliability based on the edge position in the dark indoor environment is improved. ..
  • the depth reliability can be improved when a camera of the type that receives near-infrared light is used as the depth camera 42.
  • the generation unit 13B may detect an edge from an image from the depth camera 42 (an image obtained by receiving near-infrared light for a predetermined exposure time). In that case, the near-infrared light camera 43 is unnecessary.
  • Embodiment 3 The image processing apparatus 10 according to the first embodiment compares edges in the depth image with edges in the visible light image, and the image processing apparatus 20 in the second embodiment uses edges in the depth image and edges in the near infrared image. However, in the third embodiment, the image processing apparatus compares the edge in the depth image with the edge in the visible light image and the edge in the near infrared image.
  • FIG. 9 is a block diagram showing a configuration example of the image processing apparatus of the third embodiment.
  • the depth reliability generation unit 13C also inputs the near-infrared image from the near-infrared light camera 43.
  • the depth reliability generation unit 13C compares the edge in the depth image with the edge in the visible light image and the edge in the near infrared image.
  • the other configuration of the image processing device 30 is the same as that of the image processing device 10.
  • the image processing device 30 may input a near-infrared image stored in advance in a storage unit (not shown).
  • FIG. 10 is a block diagram showing a configuration example of the depth reliability generation unit 13C.
  • the third edge detection unit 135 in the depth reliability generation unit 13C detects an edge in the near-infrared image of the same shooting target as the shooting target of the depth image.
  • the other configuration of the depth reliability generation unit 13C is the same as the configuration of the depth reliability generation unit 13.
  • FIG. 11 is a flowchart showing the operation of the image processing device 30 of the third embodiment.
  • the third edge detection unit 135 executes the process of step S23 and detects an edge for each small area in the near infrared image (step S23B).
  • the other processing of the image processing apparatus 20 is the same as the processing in the first embodiment.
  • the depth reliability determination unit 136 compares the edge position in the depth image with the edge position in the near-infrared image when giving the reliability based on the edge position.
  • the depth reliability determination unit 136 determines the position where the edge exists in the near infrared image. When there is a common area, the high reliability is given to the area in the depth image.
  • the depth reliability determination unit 136 when there is a region in which the position where the edge exists in the depth image and the position where the edge exists in the visible light image exist in common, determines the high reliability in the region in the depth image. Even if there is a region where the position where the edge exists in the depth image and the position where the edge exists in the near-infrared image exist, high reliability is given to the region in the depth image. Good.
  • FIG. 11 shows a flowchart in which each step is sequentially executed
  • the image processing apparatus 30 executes the processing of step S11, the processing of step S12, and the processing of steps S21 to S24 in parallel. Is possible. Further, the depth reliability generation unit 13B can execute the processes of steps S21 to S24 in parallel.
  • the visible light foreground likelihood generation unit 11 uses the sunlight spectrum model to generate the foreground likelihood of the visible light image, and the depth foreground likelihood generation unit 12
  • the depth image foreground likelihood is generated, and the depth reliability generation unit 13C generates the depth image foreground likelihood reliability (depth image reliability).
  • the foreground detection unit 14 determines the final foreground likelihood from the foreground likelihood of the visible light image and the depth image foreground likelihood, using the depth image reliability as a weight, and therefore, in both the indoor environment and the outdoor environment. , It is possible to detect the foreground without being affected by the shadow of the object or the reflected light. Further, in the present embodiment, since the edge position in the near-infrared image is used when the reliability based on the edge position is given, it is expected that the accuracy of the reliability based on the edge position in the dark indoor environment is improved. ..
  • the depth reliability can be improved when a camera of the type that receives near-infrared light is used as the depth camera 42.
  • the generation unit 13B may detect an edge from an image from the depth camera 42 (an image obtained by receiving near-infrared light for a predetermined exposure time). In that case, the near-infrared light camera 43 is unnecessary.
  • the image processing devices 10, 20, and 30 perform the gradient detection, the distance measurement impossible pixel determination, and the edge detection for each small area in the image.
  • the detection, the distance measurement impossible pixel determination, and the edge detection may be performed.
  • Each component in the above embodiments can be configured by one piece of hardware, but can also be configured by one piece of software. Further, each component can be configured by a plurality of hardware and can also be configured by a plurality of software. Further, it is also possible to configure some of the constituent elements with hardware and the other portions with software.
  • Each function (each process) in the above embodiment can be realized by a computer having a processor such as a CPU (Central Processing Unit) and a memory.
  • a processor such as a CPU (Central Processing Unit) and a memory.
  • a storage device storage medium
  • each function is realized by executing the program stored in the storage device by the CPU. Good.
  • FIG. 12 is a block diagram showing an example of a computer having a CPU.
  • the computer is mounted on the image processing apparatus.
  • the CPU 1000 realizes each function in the above-described embodiment by executing processing according to a program stored in the storage device 1001. That is, in the image processing devices 10, 20, and 30 shown in FIGS. 1, 6, and 9, the visible light foreground likelihood generation unit 11, the depth foreground likelihood generation unit 12, the depth reliability generation units 13, 13B, and 13C and the function of the foreground detection unit 14 are realized.
  • the storage device 1001 is, for example, a non-transitory computer readable medium.
  • Non-transitory computer readable media include various types of tangible storage media. Specific examples of the non-transitory computer-readable medium include a magnetic recording medium (for example, a flexible disk, a magnetic tape, a hard disk drive), a magneto-optical recording medium (for example, a magneto-optical disk), and a CD-ROM (Compact Disc-Read Only Memory). ), CD-R (Compact Disc-Recordable), CD-R / W (Compact Disc-ReWritable), and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM).
  • a magnetic recording medium for example, a flexible disk, a magnetic tape, a hard disk drive
  • magneto-optical recording medium for example, a magneto-optical disk
  • CD-ROM Compact Disc-Read Only Memory
  • CD-R Compact Disc-Record
  • the program may be stored in various types of transitory computer readable media.
  • the program is supplied to the transitory computer-readable medium via, for example, a wired communication path or a wireless communication path, that is, via an electric signal, an optical signal or an electromagnetic wave.
  • the memory 1002 is realized by, for example, a RAM (Random Access Memory), and is a storage unit that temporarily stores data when the CPU 1000 executes processing.
  • a form in which the program held in the storage device 1001 or a temporary computer-readable medium is transferred to the memory 1002, and the CPU 1000 executes processing based on the program in the memory 1002 can also be assumed.
  • FIG. 13 is a block diagram showing the main part of the image processing apparatus.
  • the image processing apparatus 100 illustrated in FIG. 13 includes a first likelihood generation unit (in the embodiment, visible light foreground likelihood) that generates a first foreground likelihood (for example, visible light image foreground likelihood) from a visible light image. And a second likelihood generation unit (in the embodiment, the depth foreground likelihood) that generates a second foreground likelihood from the depth image of the same imaging target as the visible light image.
  • Depth generation unit 12 and at least a visible light image and a depth image to generate a depth reliability generation unit (in the embodiment, the depth reliability generation units 13 and 13B).
  • a foreground detection unit that determines the foreground likelihood of the imaging target from the first foreground likelihood and the second foreground likelihood (embodiment). Is realized by the foreground detection unit 14.
  • a second foreground likelihood is generated from the depth image of the same photographing target as the photographing target of the visible light image, At least using the visible light image and the depth image, to generate the reliability of the depth image, An image processing method for determining the foreground likelihood of the imaging target from the first foreground likelihood and the second foreground likelihood, with the reliability of the depth image as a weight.
  • First likelihood generating means for generating a first foreground likelihood from a visible light image
  • Second likelihood generation means for generating a second foreground likelihood from a depth image of the same photographing target as that of the visible light image
  • depth reliability generation means for generating reliability of the depth image
  • An image processing apparatus comprising: a foreground detection unit that determines the foreground likelihood of the object to be photographed from the first foreground likelihood and the second foreground likelihood, with the reliability of the depth image as a weight.
  • the depth reliability generation means includes at least an observation value gradient calculation unit that calculates a slope of an observation value in the depth image, and a depth reliability determination unit that determines the reliability of the depth image.
  • the image processing device according to appendix 7, wherein the depth reliability determination unit gives relatively high reliability to a region in the depth image in which a gradient of an observed value is a predetermined value or less.
  • the depth reliability generation means includes a first edge detection unit that detects an edge in the depth image, a second edge detection unit that detects an edge in the visible light image, and a reliability of the depth image. And a depth reliability determining unit that determines the degree, The depth reliability determining unit, when an edge is detected in a region in the visible light image corresponding to a region in which an edge is detected in the depth image, gives relatively high reliability to the region.
  • the image processing device according to attachment 8.
  • the depth reliability generation means detects a first edge detection unit that detects an edge in the depth image, and a third edge detection unit that detects an edge in a near-infrared image of the same shooting target as the depth image.
  • An edge detection unit, and a depth reliability determination unit that determines the reliability of the depth image The depth reliability determination unit, when an edge is detected in a region in the near-infrared image corresponding to a region in which an edge is detected in the depth image, gives relatively high reliability to the region. 7 or the image processing device of appendix 8.
  • the depth reliability generation means includes a first edge detection unit that detects an edge in the depth image, a second edge detection unit that detects an edge in the visible light image, and a photographing of the depth image.
  • a third edge detection unit that detects an edge in a near-infrared image of the same imaging target as the target, and a depth reliability determination unit that determines reliability of the depth image, The depth reliability determination unit, when an edge is detected in a region in the visible light image and a region in the near-infrared image corresponding to a region in which an edge in the depth image is detected, relative to the region.
  • the image processing device according to attachment 7 or attachment 8, which provides high reliability.
  • the depth reliability generation means includes a range-finding pixel determination unit that detects a range-finding pixel in the depth image, The image processing device according to any one of claims 8 to 11, wherein the depth reliability determination unit gives a low reliability to a region including non-ranging pixels.
  • a process of generating a first foreground likelihood from a visible light image A process of generating a second foreground likelihood from a depth image of the same photographing target as the photographing target of the visible light image; Using at least the visible light image and the depth image, a process of generating the reliability of the depth image, An image processing program for executing the process of determining the foreground likelihood of the imaging target from the first foreground likelihood and the second foreground likelihood, with the reliability of the depth image as a weight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

画像処理方法は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出するために、可視光画像から第１の前景尤度を生成するステップと、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成するステップと、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するステップと、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定するステップとを含む。

Description

画像処理方法および画像処理装置
　本発明は、入力画像から前景を検出する画像処理方法および画像処理装置に関する。
　画像から対象物体を抽出するために、背景差分と呼ばれる方法が知られている。背景差分は、事前に取得された背景画像と、観測画像とを比較することによって、背景画像には存在しない対象物体を抽出する方法である。なお、背景画像に存在しない物体が占める領域（対象物体が占める領域）を前景領域といい、それ以外の領域を背景領域という。
　特許文献１には、背景差分を利用して、背景（背景物体）に対する前景（対象物体）の状態を検出する物体検出装置が記載されている。具体的には、図１４に示すように、物体検出装置５０において、近赤外光を発する投射部（光源）５１が、対象物体が存在する領域（照射領域）に光を照射する。近赤外光を受光する測距部５２は、背景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって背景デプスマップを生成する。また、測距部５２は、前景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって前景デプスマップを生成する。
　状態判定部５３は、背景デプスマップと前景デプスマップとの差分を計算する。そして、状態判定部５３は、差分に基づいて、前景の状態を検出する。
　測距部５２において可視光カメラが用いられると、物体の影や床面などの背景面からの反射光が、対象物体の誤検知の原因になる。しかし、測距部５２において近赤外光カメラを用いることによって、物体の影などの影響が低減される。
　しかし、近赤外光は、太陽光にも含まれる。すると、近赤外光カメラ（近赤外線カメラ）を利用する物体検出装置は、太陽光の影響を受けて、正確な距離計測ができない。すなわち、特許文献１に記載されたような物体検出装置は、屋外での使用には適さない。
　非特許文献１には、太陽光スペクトルモデルを用いた画像処理装置が記載されている。具体的には、図１５に示すように、画像処理装置６０において、日時指定部６１は、太陽光スペクトルの算出に用いられる日時を指定する。位置指定部６２は、太陽光スペクトルの算出に用いられる位置を指定する。
　太陽光スペクトル算出部６３は、日時指定部６１から入力した日時と、位置指定部６２から入力した位置とを用いて、太陽光モデルを用いた方法で、太陽光スペクトルを算出する。太陽光スペクトル算出部６３は、太陽光スペクトルを含む信号を予測背景算出部６４に出力する。
　予測背景算出部６４には、屋外で撮影された入力画像（ＲＧＢ画像）を含む信号（入力画像信号）Ｖｉｎも入力される。予測背景算出部６４は、入力画像の色情報と、太陽光スペクトルとを用いて、予測背景を算出する。予測背景は、最も実際の背景に近いと予測される画像を意味する。予測背景算出部６４は、予測背景を予測背景出力部６５に出力する。予測背景出力部６５は、予測背景をＶｏｕｔとしてそのまま出力してもよいが、前景尤度を出力してもよい。
　前景尤度を出力する場合、予測背景出力部６５は、例えば、予測背景と入力画像信号との差分に基づいて前景尤度を得る。
　画像処理装置６０は、屋外で撮影された入力画像から予測背景または前景尤度を得ることができる。しかし、画像処理装置６０が、屋内で撮影された入力画像から前景尤度を得ることは困難である。屋内で使用される場合、太陽光スペクトルを算出する代わりに、屋内の照明光スペクトルを算出することが考えられるが、照明光スペクトルは未知であるからである。
特開２０１７－１２５７６４号公報
A. Sato, et al., "Foreground Detection Robust Against Cast Shadows in Outdoor Daytime Environment", ICIAP 2015, Part II, LNCS 9280, pp. 653-664, 2015
　以上に説明したように、屋内環境において精度よく前景を検出する技術と屋外環境において精度よく前景を検出する技術とはそれぞれ存在する。しかし、特許文献１に記載された装置および非非特許文献１に記載された装置は、屋内環境と屋外環境とのいずれにおいても精度よく前景を検出するということはできない。
　本発明は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる画像処理方法および画像処理装置を提供することを目的とする。
　本発明による画像処理方法は、可視光画像から第１の前景尤度を生成し、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成し、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する。
　本発明による画像処理装置は、可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段とを含む。
　本発明による画像処理プログラムは、コンピュータに、可視光画像から第１の前景尤度を生成する処理と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成する処理と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する処理とを実行させる。
　本発明によれば、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる。
第１の実施形態の画像処理装置の構成例を示すブロック図である。 第１の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第１の実施形態の画像処理装置の動作を示すフローチャートである。 太陽からの直射光および環境光を説明するための説明図である。 前景尤度の生成方法の一例を示す説明図である。 第２の実施形態の画像処理装置の構成例を示すブロック図である。 第２の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第２の実施形態の画像処理装置の動作を示すフローチャートである。 第３の実施形態の画像処理装置の構成例を示すブロック図である。 第３の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第３の実施形態の画像処理装置の動作を示すフローチャートである。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。 物体検出装置を示すブロック図である。 非特許文献１に記載された画像処理装置を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、画像処理装置の第１の実施形態の構成例を示すブロック図である。図１に示す例では、画像処理装置１０は、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３、および前景検出部１４を備える。
　可視光前景尤度生成部１１は、少なくともフレームの可視光画像からフレーム内の所定領域ごとの可視光画像の前景尤度を生成する。デプス前景尤度生成部１２は、少なくともフレームのデプス画像（デプス値（距離）が濃淡で表現された画像）から所定領域ごとのデプス画像前景尤度を生成する。デプス信頼度生成部１３は、少なくともフレームのデプス画像から所定領域ごとのデプス画像信頼度を生成する。前景検出部１４は、可視光画像前景尤度、デプス画像前景尤度およびデプス画像信頼度に基づいて、物体の影や物体からの反射の影響が除外された前景を検出する。
　本実施形態では、可視光画像は、一般的な可視光画像取得手段（例えば、可視光カメラ４１）で取得される。デプス画像（距離画像）は、近赤外光を用いるＴｏＦ（Time of Flight）カメラなどの距離画像取得手段（例えば、デプスカメラ４２）で取得される。しかし、可視光画像およびデプス画像を取得するための機器はそれらに限られない。例えば、可視光画像を取得する機能も有するＴｏＦカメラなどが用いられてもよい。
　なお、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されている可視光画像を入力してもよい。また、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されているデプス画像を入力してもよい。
　図２は、デプス信頼度生成部１３の構成例を示すブロック図である。図２に示す例では、デプス信頼度生成部１３は、観測値勾配算出部１３１、測距不能画素判定部１３２、第１のエッジ検出部１３３、第２のエッジ検出部１３４、およびデプス信頼度決定部１３６を備えている。
　観測値勾配算出部１３１は、可視光画像の撮影対象と同じ撮影対象のデプス画像における各小領域の観測値の勾配を算出する。小領域のサイズは、任意である。小領域のサイズは、一例として、５×５画素である。測距不能画素判定部１３２は、小領域ごとに、デプス画像における各画素が測距不能（距離取得不能）であるか否か判定する。第１のエッジ検出部１３３は、デプス画像におけるエッジを、小領域ごとに検出する。第２のエッジ検出部１３４は、可視光画像におけるエッジを、小領域ごとに検出する。デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジを使用してデプス画像信頼度を算出する。
　なお、本実施形態では、デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジに関する情報を使用するが、デプス信頼度決定部１３６は、それらの情報のうちの一部を使用してもよい。また、デプス信頼度決定部１３６は、それらの情報に加えて、他の情報も使用してもよい。
　次に、画像処理装置１０の動作を図３のフローチャートを参照して説明する。
　可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成する（ステップＳ１１）。可視光前景尤度生成部１１は、様々の方法で前景尤度を生成することができる。一例として、可視光前景尤度生成部１１は、非特許文献１に記載された方法を使用する。
　図４は、太陽１からの直射光および環境光を説明するための説明図である。図４には、前景としての物体（例えば人物）２と、直射光による物体２の影３も示されている。
　可視光前景尤度生成部１１は、まず、カメラの撮影位置および撮影時刻における太陽光（直射光および環境光）のスペクトルを算出する。可視光前景尤度生成部１１は、スペクトルを色情報に変換する。色情報は、例えば、ＲＧＢ色空間における各チャネルの情報である。色情報を、（１）式のように表現する。
Figure JPOXMLDOC01-appb-M000001
　直射光および環境光の画素値（例えば、ＲＧＢ値）は、以下のように表される。（２）式において、ｐ，ｑ，ｒは、直射光または環境光の強度を表す係数である。以下、画素値は、ＲＧＢ色空間におけるＲＧＢ値であるとする。その場合、（１）式および（２）式における上付き添字ｃは、Ｒ値、Ｇ値、Ｂ値のいずれかを表す。
Figure JPOXMLDOC01-appb-M000002
　可視光前景尤度生成部１１は、入力された可視光画像（この例では、ＲＧＢ画像）と太陽光スペクトルから予測背景を算出する。可視光画像における背景のＲＧＢ値をBcとすると、予測背景を、以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　（３）式において、ｍ＝（ｐ＋ｑ）／１、ｎ＝ｑ／１である。入力された可視光画像のＲＧＢ値をCiとすると、可視光前景尤度生成部１１は、CiとBcとの差を最小にするｍ，ｎを求める。可視光前景尤度生成部１１は、求められたｍ，ｎを（３）式に代入して、予測背景画像のＲＧＢ値を得る。
　そして、可視光前景尤度生成部１１は、正規化された可視光画像のＲＧＢ値Ciと正規化された予測背景画像のＲＧＢ値との差を前景尤度とする。なお、可視光前景尤度生成部１１は、当該差に対して何らかの加工を施した値を前景尤度としてもよい。
　デプス前景尤度生成部１２は、デプス画像における画素ごとの前景尤度（デプス画像前景尤度）を生成する（ステップＳ１２）。図５は、前景尤度の生成方法の一例を示す説明図である。
　デプス前景尤度生成部１２は、デプス画像の前景尤度を生成するために、過去の複数フレームのデプス画像における画素ごとの画素値（輝度値）のヒストグラムを作成する。背景は静止しているので、複数フレームに亘って同じような画素値が現れる位置は、背景に含まれている可能性が高い。前景は移動する可能性があるので、複数フレームに亘って画素値がばらつくような位置は、前景に含まれている可能性が高い。
　デプス前景尤度生成部１２は、画素値のヒストグラムがガウス分布または混合ガウス分布で近似し、ガウス分布または混合ガウス分布から前景尤度を導出する。
　なお、そのような前景尤度の生成は一例であって、デプス前景尤度生成部１２は、公知の様々な前景尤度の生成方法を用いることができる。
　次いで、デプス信頼度生成部１３は、ステップＳ２１～Ｓ２４の処理を実行した後、ステップＳ３１の処理でデプス画像信頼度を生成する。
　デプス信頼度生成部１３において、観測値勾配算出部１３１は、デプス画像における小領域ごとに、画素の観測値（輝度値）の勾配を算出する（ステップＳ２１）。また、測距不能画素判定部１３２は、小領域ごとに、画素が測距不能画素であるか否か判定する（ステップＳ２２）。測距不能画素判定部１３２は、一例として、画素値が０である画素を測距不能画素であるとする。なお、画素値が０であるということは、近赤外光の反射光が得られないことに相当するとして、測距不能画素判定部１３２は、画素値が０である画素を測距不能画素とする。
　第１のエッジ検出部１３３は、デプス画像における小領域ごとに、エッジを検出する（ステップＳ２３）。第２のエッジ検出部１３４は、可視光画像における小領域ごとに、エッジを検出する（ステップＳ２４）。
　デプス信頼度決定部１３６は、例えば、以下のようにしてデプス画像信頼度を決定する（ステップＳ３１）。
　デプス信頼度決定部１３６は、観測値の勾配が小さい領域に対して高い信頼度を付与する。観測値の勾配が小さいことはデプス画像において空間的な距離差が小さい（滑らかである。）ことに相当する。滑らかな領域は、物体の影や反射光の影響を受けることなく、安定して距離が観測できていると考えられるので、デプス信頼度決定部１３６は、当該領域に高い信頼度を付与する。
　また、デプス信頼度決定部１３６は、測距不能画素からなる領域に、低い信頼度を付与する。
　さらに、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、デプス画像における当該領域に高い信頼度を付与する。
　エッジは観測値の勾配が所定のしきい値を越える部分であるが、雑音が大きい領域でもある。しかし、デプス画像において、可視光画像でもエッジが存在する位置と同じ位置にエッジが存在する場合には、デプス画像におけるエッジは、雑音で形成された偽のエッジではないといえる。すなわち、デプス信頼度決定部１３６は、可視光画像におけるエッジを参照することによって、デプス画像においてエッジと判定された部分の信頼度を上げる。
　また、デプス信頼度決定部１３６は、可視光画像において、デプス画像においてエッジが存在する位置と同じ位置にエッジが存在しない場合には、デプス画像におけるエッジが存在する領域に対して低い信頼度を付与する。
　デプス信頼度決定部１３６は、簡便には、高い信頼度として「１」（最大値）を設定し低い信頼度として「０」（最小値）を設定することができる。しかし、デプス信頼度決定部１３６は、画像処理装置１０の主たる使用環境等に応じた信頼度を設定することができる。
　デプス画像に高い信頼度が付与されるということは、デプス画像における前景が、可視光画像における前景よりも、最終的に決定される前景または前景尤度により強く反映されることを意味する。
　なお、デプス信頼度決定部１３６は、測距不能画素からなる領域に信頼度「０」または０に近い信頼度を付与し、その他の領域（測距不能画素以外の画素が含まれる領域）には、可視光画像における当該領域とデプス画像における当該領域との正規化相互相関を信頼度として付与してもよい。
　前景検出部１４は、前景または前景尤度（最終的な前景尤度）を決定する（ステップＳ３２）。前景検出部１４は、以下に述べるように、可視光前景尤度生成部１１が生成した可視光画像前景尤度と、デプス前景尤度生成部１２が生成したデプス画像前景尤度と、デプス信頼度生成部１３が生成したデプス画像信頼度とを用いる。
　可視光画像前景尤度Pv(x,y) 、デプス画像前景尤度をPd(x,y)、デプス画像信頼度をS(x,y)とする。x はｘ座標値を示し、y はｙ座標値を示す。
　前景検出部１４は、下記の（４）式を用いて最終的な前景尤度P(x,y)を決定する。
　P(x,y) = {1-S(x,y)}・Pv(x,y) + S(x,y)・Pd(x,y)　　　　・・・（４）
　なお、前景検出部１４は、前景尤度P(x,y)を２値化して前景領域を決定し、前景を出力してもよい。２値化は、例えば、所定のしきい値を越える画素値の画素を前景の画素とする処理である。
　また、図３には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置１０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１～Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３は、ステップＳ２１～Ｓ２４のそれぞれの処理を並列実行することが可能である。
　以上に説明したように、本実施形態では、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３は、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。
実施形態２．
　第１の実施形態の画像処理装置１０は、可視光画像におけるエッジとデプス画像におけるエッジとを比較したが、第２の実施形態では、画像処理装置は、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。
　図６は、第２の実施形態の画像処理装置の構成例を示すブロック図である。
　図６に示す画像処理装置２０において、デプス信頼度生成部１３Ｂは、近赤外画像取得手段（例えば、近赤外光カメラ４３）からの近赤外画像も入力する。デプス信頼度生成部１３Ｂは、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。画像処理装置２０のその他の構成は、画像処理装置１０の構成と同じである。
　なお、画像処理装置２０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
　図７は、デプス信頼度生成部１３Ｂの構成例を示すブロック図である。図７に示す例では、デプス信頼度生成部１３Ｂにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｂのその他の構成は、デプス信頼度生成部１３の構成と同じである。
　図８は、第２の実施形態の画像処理装置２０の動作を示すフローチャートである。
　第３のエッジ検出部１３５は、近赤外画像における小領域ごとに、エッジを検出する（ステップＳ２３Ｂ）。なお、ステップＳ２３の処理（図３参照）は実行されない。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
　なお、図８には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置２０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１～Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１，Ｓ２２，Ｓ２３Ｂ，Ｓ２４のそれぞれの処理を並列実行することが可能である。
　本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｂは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
　なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
実施形態３．
　第１の実施形態の画像処理装置１０は、デプス画像におけるエッジと可視光画像におけるエッジとを比較し、第２の実施形態の画像処理装置２０は、デプス画像におけるエッジと近赤外画像におけるエッジとを比較したが、第３の実施形態では、画像処理装置は、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。
　図９は、第３の実施形態の画像処理装置の構成例を示すブロック図である。
　図９に示す画像処理装置３０においては、デプス信頼度生成部１３Ｃは、近赤外光カメラ４３からの近赤外画像も入力する。デプス信頼度生成部１３Ｃは、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。画像処理装置３０のその他の構成は、画像処理装置１０の構成と同じである。
　なお、画像処理装置３０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
　図１０は、デプス信頼度生成部１３Ｃの構成例を示すブロック図である。図１０に示す例では、デプス信頼度生成部１３Ｃにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｃのその他の構成は、デプス信頼度生成部１３の構成と同じである。
　図１１は、第３の実施形態の画像処理装置３０の動作を示すフローチャートである。
　第３のエッジ検出部１３５は、ステップＳ２３の処理を実行するとともに、近赤外画像における小領域ごとにエッジを検出する（ステップＳ２３Ｂ）。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。
　ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
　デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、さらに、近赤外画像においてエッジが存在する位置とが共通する領域が存在するときに、デプス画像における当該領域に高い信頼度を付与する。
　なお、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合に、デプス画像における当該領域に高い信頼度を付与し、デプス画像においてエッジが存在する位置と、近赤外画像においてエッジが存在する位置とが共通する領域が存在する場合にも、デプス画像における当該領域に高い信頼度を付与するようにしてもよい。
　また、図１１には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置３０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１～Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１～Ｓ２４のそれぞれの処理を並列実行することが可能である。
　本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｃは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
　なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
　また、上記の各実施形態では、画像処理装置１０，２０，３０は、画像における小領域ごとに、勾配検出、測距不能画素判定、およびエッジ検出を行ったが、フレーム全体を対象として、勾配検出、測距不能画素判定、およびエッジ検出を行ってもよい。
　上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
　上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
　図１２は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１，図６，図９に示された画像処理装置１０，２０，３０における、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３，１３Ｂ，１３Ｃ、および前景検出部１４の機能を実現する。
　記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
　メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
　図１３は、画像処理装置の主要部を示すブロック図である。図１３に示す画像処理装置１００は、可視光画像から第１の前景尤度（例えば、可視光画像前景尤度）を生成する第１の尤度生成手段（実施形態では、可視光前景尤度生成部１１で実現される。）１０１と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段（実施形態では、デプス前景尤度生成部１２で実現される。）１０２と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段（実施形態では、デプス信頼生成部１３，１３Ｂ，１３Ｃで実現される。）１０３と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段（実施形態では、前景検出部１４で実現される。）１０４とを備える。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下に限定されるわけではない。
（付記１）可視光画像から第１の前景尤度を生成し、
　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
　画像処理方法。
（付記２）前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
　付記１の画像処理方法。
（付記３）前記デプス画像におけるエッジを検出し、
　前記可視光画像におけるエッジを検出し、
　前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記１または付記２の画像処理方法。
（付記４）前記デプス画像におけるエッジを検出し、
　前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
　前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記１または付記２の画像処理方法。
（付記５）前記デプス画像におけるエッジを検出し、
　前記可視光画像におけるエッジを検出し、
　前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
　前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記１または付記２の画像処理方法。
（付記６）測距不能画素からなる領域に低い信頼度を与える
　付記１から付記５のうちのいずれかの画像処理方法。
（付記７）可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
　を備えた画像処理装置。
（付記８）前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
　前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
　付記７の画像処理装置。
（付記９）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記７または付記８の画像処理装置。
（付記１０）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記７または付記８の画像処理装置。
（付記１１）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
　付記７または付記８の画像処理装置。
（付記１２）前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
　前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
　請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
（付記１３）コンピュータに、
　可視光画像から第１の前景尤度を生成する処理と、
　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
　を実行させるための画像処理プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０，２０，３０　画像処理装置
　１１　　　可視光前景尤度生成部
　１２　　　デプス前景尤度生成部
　１３，１３Ｂ，１３Ｃ　デプス信頼度生成部
　１４　　　前景検出部
　４１　　　可視光カメラ
　４２　　　デプスカメラ
　４３　　　近赤外光カメラ
　１００　　画像処理装置
　１０１　　第１の尤度生成手段
　１０２　　第２の尤度生成手段
　１０３　　デプス信頼度生成手段
　１０４　　前景検出手段
　１３１　　観測値勾配算出部
　１３２　　測距不能画素判定部
　１３３　　第１のエッジ検出部
　１３４　　第２のエッジ検出部
　１３５　　第３のエッジ検出部
　１３６　　デプス信頼度決定部
　１０００　ＣＰＵ
　１００１　記憶装置
　１００２　メモリ

Claims (13)

  1. 　可視光画像から第１の前景尤度を生成し、
    　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
    　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
    　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
    　画像処理方法。
  2. 　前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
    　請求項１記載の画像処理方法。
  3. 　前記デプス画像におけるエッジを検出し、
    　前記可視光画像におけるエッジを検出し、
    　前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項１または請求項２記載の画像処理方法。
  4. 　前記デプス画像におけるエッジを検出し、
    　前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
    　前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項１または請求項２記載の画像処理方法。
  5. 　前記デプス画像におけるエッジを検出し、
    　前記可視光画像におけるエッジを検出し、
    　前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
    　前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項１または請求項２記載の画像処理方法。
  6. 　測距不能画素からなる領域に低い信頼度を与える
    　請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
  7. 　可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
    　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
    　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
    　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
    　を備えた画像処理装置。
  8. 　前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    　前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
    　請求項７記載の画像処理装置。
  9. 　前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項７または請求項８記載の画像処理装置。
  10. 　前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項７または請求項８記載の画像処理装置。
  11. 　前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部を含み、
    　前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    　請求項７または請求項８記載の画像処理装置。
  12. 　前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
    　前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
    　請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
  13. 　コンピュータに、
    　可視光画像から第１の前景尤度を生成する処理と、
    　前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
    　少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
    　前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
    　を実行させるための画像処理プログラム。
PCT/JP2018/042673 2018-11-19 2018-11-19 画像処理方法および画像処理装置 WO2020105092A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/294,071 US20220005203A1 (en) 2018-11-19 2018-11-19 Image processing method and image processing device
JP2020557043A JP7036227B2 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置
PCT/JP2018/042673 WO2020105092A1 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/042673 WO2020105092A1 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置

Publications (1)

Publication Number Publication Date
WO2020105092A1 true WO2020105092A1 (ja) 2020-05-28

Family

ID=70774663

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042673 WO2020105092A1 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置

Country Status (3)

Country Link
US (1) US20220005203A1 (ja)
JP (1) JP7036227B2 (ja)
WO (1) WO2020105092A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700595B1 (ko) * 2010-01-05 2017-01-31 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
US9955140B2 (en) * 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
JPWO2020105092A1 (ja) 2021-09-27
JP7036227B2 (ja) 2022-03-15
US20220005203A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US20200043225A1 (en) Image processing apparatus and control method thereof
JP4308319B2 (ja) 画像処理装置および画像処理方法
US20190188860A1 (en) Detection system
EP3594617B1 (en) Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
WO2020059565A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
JPWO2009019886A1 (ja) 法線情報生成装置および法線情報生成方法
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
JP2015175644A (ja) 測距システム、情報処理装置、情報処理方法及びプログラム
CN112313541A (zh) 设备和方法
WO2019102966A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
KR20160110039A (ko) 화상 처리 장치 및 화상 처리 방법
JP6964834B2 (ja) 画像処理装置および画像処理方法
JP2014048131A (ja) 画像処理装置、方法及びプログラム
US10489928B2 (en) Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
JP2015090562A (ja) 画像処理装置、方法、及びプログラム
WO2020105092A1 (ja) 画像処理方法および画像処理装置
Kwon et al. Automatic sphere detection for extrinsic calibration of multiple RGBD cameras
JP6250035B2 (ja) 奥行きセンサベース反射物体の形状取得方法及び装置
KR102079686B1 (ko) 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
JP2020021314A (ja) 画像処理装置及び画像処理方法
JP7279817B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940503

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557043

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940503

Country of ref document: EP

Kind code of ref document: A1