WO2018051459A1 - 物体検出装置および物体検出方法 - Google Patents
物体検出装置および物体検出方法 Download PDFInfo
- Publication number
- WO2018051459A1 WO2018051459A1 PCT/JP2016/077268 JP2016077268W WO2018051459A1 WO 2018051459 A1 WO2018051459 A1 WO 2018051459A1 JP 2016077268 W JP2016077268 W JP 2016077268W WO 2018051459 A1 WO2018051459 A1 WO 2018051459A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- object detection
- optical flow
- image
- unit
- feature map
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Definitions
- the present invention relates to an object detection apparatus and an object detection method for detecting an object from a moving image photographed by a camera.
- an object detection device described in Patent Document 1 As a technique for detecting an object from a moving image photographed by a camera, for example, an object detection device described in Patent Document 1 is cited. This device generates an optical flow of the screen that is assumed in a standard environment where no object exists, generates an optical flow based on the video actually captured by the camera, and detects the object based on the difference between the two. ing.
- the optical flow is information that represents a movement amount of the same object associated with successive frame images taken at different times as a vector.
- the object detection device described in Patent Document 1 has a problem that an object at a position far from the camera cannot be detected with high accuracy.
- the present invention solves the above-described problems, and an object of the present invention is to obtain an object detection apparatus and an object detection method that can accurately detect an object in the range from the vicinity of the camera to the distance.
- An object detection apparatus includes an image feature map generation unit and an object detection unit.
- the image feature map generation unit generates an image feature map that represents an estimated distribution of objectiness on an image based on feature amounts extracted from a plurality of images continuously captured by the camera.
- the object detection unit detects an object based on the image feature map generated by the image feature map generation unit.
- the object is detected based on the estimated distribution of the object likeness on the image. Therefore, the object can be accurately detected in the range from the vicinity of the camera photographed by the camera to the distance.
- FIG. 3 is a flowchart showing an operation of the object detection apparatus according to the first embodiment. It is a flowchart which shows the specific example of the process of step ST4 of FIG. 3, and step ST5. It is a flowchart which shows the production
- step ST5c of FIG. 8 is a flowchart showing the operation of the object detection apparatus according to the second embodiment. It is a flowchart which shows the specific example of the process of step ST5c of FIG. 8, and step ST7c. It is a graph which shows the relationship between the distance from a vehicle to a moving body, and a coincidence rate.
- FIG. 1 is a block diagram showing a functional configuration of an object detection apparatus 1 according to Embodiment 1 of the present invention.
- the object detection device 1 detects an object from a moving image shot by a camera.
- the detection target object may be a moving object such as a person or a vehicle, or may be a stationary object such as a sign.
- the object detection device 1 includes a moving image photographing unit 2, an image feature map generation unit 3, an object detection unit 4, and an object recognition unit 5, as shown in FIG.
- the moving image shooting unit 2 acquires moving image data shot by the camera.
- the moving image data is an image sequence of a plurality of images taken continuously by the camera, and individual images arranged in time series are frame images.
- the camera may be a fixed camera that is fixedly provided at a predetermined position, or may be a camera mounted on a moving body such as a vehicle.
- the image feature map generation unit 3 generates an image feature map based on the feature amount extracted from the moving image data photographed by the camera.
- the image feature map is a map that represents an estimated distribution of object likeness on an image.
- the object-likeness is, for example, the degree of being an object or some target.
- the image feature map generation unit 3 generates an image pyramid composed of a plurality of images having different image sizes by gradually reducing the frame image. Subsequently, the image feature map generation unit 3 extracts the feature amount of the image feature on the image from each image in the image pyramid, and maps the extracted feature amount to the two-dimensional coordinate system.
- This map is an image feature map showing an estimated distribution of object likeness in the image.
- the object detection unit 4 detects an object based on the image feature map generated by the image feature map generation unit 3. For example, the object detection unit 4 detects an object on the image using the image feature map.
- the object recognition unit 5 recognizes the object detected by the object detection unit 4. For example, the object recognition unit 5 recognizes the attribute of the object based on the shape of the object detected by the object detection unit 4.
- FIG. 1 shows the case where the object detection apparatus 1 includes the moving image capturing unit 2
- the moving image capturing unit 2 may be configured to be included in the camera itself.
- the object recognition unit 5 may be configured not to be provided in the object detection device 1 but to be provided in an external device connected to the subsequent stage of the object detection device 1. That is, the object detection device 1 only needs to include at least the image feature map generation unit 3 and the object detection unit 4.
- FIG. 2 is a block diagram showing a hardware configuration of the object detection apparatus 1.
- the moving image photographing unit 2 illustrated in FIG. 1 takes an image sequence photographed by the camera 109 via the camera interface 106 and stores it in a data ROM (Read Only Memory) 101.
- the image feature map generation unit 3 shown in FIG. 1 generates an image feature map using an image sequence stored in the data ROM 101, and stores the generated image feature map in a RAM (Random Access Memory) 103.
- RAM Random Access Memory
- the object detection unit 4 illustrated in FIG. 1 detects an object using an estimated distribution corresponding to each of a plurality of images having different image sizes stored in the RAM 103.
- the detection result of the object is stored in the external memory 107 via the disk controller 104 or displayed on the display device 108 via the display controller 105.
- the object recognition unit 5 shown in FIG. 1 recognizes the attribute of the object detected by the object detection unit 4. Examples of the attribute of the object include a type such as a vehicle, a person, or a two-wheeled vehicle.
- the object recognition result is stored in the external memory 107 via the disk controller 104 or displayed on the display device 108 via the display controller 105.
- the disk controller 104, the display controller 105, the camera interface 106, the external memory 107, the display device 108, and the camera 109 may not be provided in the object detection apparatus 1. That is, these devices may be provided separately from the object detection device 1 and provided in an external device that can input and output data from the object detection device 1.
- the object detection apparatus 1 includes a processing circuit for generating an image feature map based on feature amounts extracted from a plurality of images continuously captured by a camera and detecting an object based on the image feature map.
- the processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) 100 that executes a program stored in the program ROM 102.
- the processing circuit can be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an AISC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), Or what combined these corresponds.
- each function of the image feature map generation unit 3 and the object detection unit 4 may be realized by a processing circuit, or each function may be realized by a single processing circuit.
- the processing circuit is the CPU 100
- the functions of the image feature map generation unit 3 and the object detection unit 4 are realized by software, firmware, or a combination of software and firmware.
- Software and firmware are described as programs and stored in the program ROM 102.
- the CPU 100 implements each function by reading and executing a program stored in the program ROM 102. That is, the object detection device 1 has a memory for storing a program in which a step of generating an image feature map when executed by the processing circuit and a step of detecting an object based on the image feature map are executed as a result. I have.
- these programs cause the computer to execute the procedures or methods of the image feature map generation unit 3 and the object detection unit 4.
- the memory is, for example, a nonvolatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Programmable EPROM), magnetic disk, flexible disk, optical disk, compact disk, Mini-discs, DVDs (Digital Versatile Disks), etc. are applicable.
- a nonvolatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Programmable EPROM), magnetic disk, flexible disk, optical disk, compact disk, Mini-discs, DVDs (Digital Versatile Disks), etc. are applicable.
- a part may be implement
- the image feature map generation unit 3 realizes its function by a dedicated hardware processing circuit
- the object detection unit 4 realizes its function by the CPU 100 executing a program stored in the program ROM 102.
- the processing circuit can realize the above-described functions by hardware, software, firmware, or a combination thereof.
- FIG. 3 is a flowchart showing the operation of the object detection apparatus 1 and shows a series of processes until an object is detected.
- the moving image shooting unit 2 takes in moving image data shot by the camera 109 (step ST1).
- step ST2 the series of processes shown in FIG. 3 is finished. That is, the capturing of the moving image data by the moving image capturing unit 2 is continued until the capturing by the camera 109 is completed.
- the object detection device 1 is a vehicle detection device using an in-vehicle camera
- photographing outside the vehicle by the in-vehicle camera is continued while the vehicle is traveling.
- step ST2 If the shooting by the camera 109 has not ended (step ST2; NO), the image feature map generation unit 3 inputs the image sequence captured by the moving image shooting unit 2, and gradually reduces the frame images in the image sequence. An image pyramid is generated (step ST3). The process in step ST3 is repeated for the number of frame images in the image sequence.
- the image feature map generation unit 3 extracts feature amounts from a plurality of images having different image sizes in the image pyramid, and generates an image feature map for each image (step ST4).
- the process in step ST4 is repeated for the number of image pyramids.
- the object detection unit 4 integrates the image feature map obtained for each image in the image pyramid as an estimation result in one frame image, and detects an object based on the integrated result (step ST5).
- the object detection result obtained in this way is output from the object detection unit 4 to the object recognition unit 5, and the object recognition unit 5 recognizes the attributes of the object.
- FIG. 4 is a flowchart showing a specific example of each process of step ST4 and step ST5 of FIG.
- the image feature map generator 3 acquires a frame image in the image sequence captured by the moving image capturing unit 2 (step ST1a), acquires the same frame image from the image sequence, and inverts it (step ST2a).
- inversion means to invert the lightness in the frame image. That is, the dark part in the image is converted into a bright part, and the bright part is converted into a dark part.
- the image feature map generation unit 3 gradually reduces the acquired frame image to generate an image pyramid, and further reduces the inverted frame image gradually to generate an image pyramid. Subsequently, the image feature map generation unit 3 generates a saliency map from the image pyramid for the non-inverted frame image (step ST3a), and generates a saliency map from the image pyramid for the inverted frame image (step ST3a). Step ST4a).
- the saliency map is a map representing a saliency area different from the surrounding area on the image.
- said surrounding area is an area
- the saliency area corresponds to an estimated distribution of objectness
- the saliency map is a specific example of the image feature map.
- the object detection unit 4 integrates the saliency map obtained for each image in the image pyramid as an estimation result in one frame image. This process is performed on both the saliency map obtained in the image pyramid for the uninverted frame image and the saliency map obtained in the image pyramid for the inverted frame image, and these are also integrated. Is done.
- the object detection unit 4 compares the image feature of the saliency map with a threshold value related to the image feature, and determines whether or not there is a region having a feature amount larger than the threshold value (step ST5a).
- a threshold value related to the image feature
- the object detection unit 4 detects this region as a region having a detection target object (step ST6a). Thereafter, the object detection unit 4 groups the regions extracted in this way, and outputs them to the object recognition unit 5 as object detection regions.
- FIG. 5 is a flowchart showing a saliency map generation process.
- the image feature map generation unit 3 converts an image to be processed into a Lab space designed by approximating a human color perception level (step ST1b).
- the image feature map generation unit 3 calculates the average color of the image converted into the Lab space (step ST2b). This average color becomes the representative color of this image.
- the image feature map generation unit 3 applies a DoG (Difference of Gaussian) filter to the image converted into the Lab space (step ST3b). Accordingly, Gaussian filters having different scales in the DoG filter are applied to the pixel values of the image, and the difference between them is obtained.
- DoG Difference of Gaussian
- retinal cells perceive light intensity and edge directionality from the difference between the center and its surroundings.
- the DoG filter imitates the function of such retinal cells by image processing.
- Taking the difference in pixel value between the two images means taking the difference in pixel value between the target pixel and its surrounding pixels, and it is possible to obtain an image with a large change compared to the surrounding pixels. It becomes.
- the image feature map generation unit 3 calculates the difference between the color of the image to which the DoG filter is applied and the average color calculated in step ST2b (step ST4b). As a result, a remarkable region having a large deviation from the average color is left, and the representative colors in the peripheral region of this region can be removed. As described above, in step ST4b, a global salient portion with respect to the entire image is obtained. Note that the above-described processing of the DoG filter only needs to obtain images with different resolutions. For example, the image may be resized to a different size and then restored to the original size without being limited to the Gaussian filter.
- the image feature map generation unit 3 applies an adaptive binarization filter to the image processed in step ST4b (step ST5b).
- the adaptive binarization filter the entire image is not binarized by a threshold value, but pixels are filtered by a threshold value determined for each pixel. Thereby, each pixel in the image is compared with a threshold value for each pixel, and a pixel having a pixel value larger than the threshold value is extracted.
- the threshold value for each pixel is determined based on brightness information in the vicinity of the target pixel. A high threshold is set when the vicinity of the target pixel is bright, and a low threshold is set when the vicinity of the target pixel is dark. Is set.
- the image feature map generation unit 3 applies a Gaussian filter to the salient pixel group extracted in step ST5b, thereby obtaining a region due to the salient pixel group as a map (step ST6b). Then, the image feature map generation unit 3 binarizes the map (step ST7b). The object detection unit 4 detects an object based on the map binarized in this way.
- step ST5b local saliency pixels are further narrowed down from the saliency obtained in step ST4b. This makes it possible to specify an edge component that is robust against local luminance changes included in the pixel and has a pattern different from the surroundings. Further, since the image that has not been inverted in step ST1a in FIG. 4 is used and the image that has been inverted in step ST2a is used, a dark saliency point when the surrounding region of the pixel of interest is bright and the surrounding region of the pixel of interest are dark. The bright salient points in the case can be extracted as well.
- the object detection device 1 includes the image feature map generation unit 3 and the object detection unit 4.
- the image feature map generation unit 3 generates an image feature map that represents an estimated distribution of objectiness on an image based on feature amounts extracted from a plurality of images continuously captured by the camera 109.
- the object detection unit 4 detects an object based on the image feature map generated by the image feature map generation unit 3.
- the object is detected based on the estimated distribution of the object likeness on the image, and thus the object is accurately detected in the range from the vicinity of the camera 109 photographed by the camera 109 to the distance. be able to.
- the object detection device 1 Since the object detection device 1 detects an object region that is easily visible to human eyes in an image, it is effective for, for example, signboard detection, human detection, defect detection, or vehicle detection.
- the characters on the signboard are often written in a color different from the background portion of the characters in order to improve visibility. For this reason, the character part is easily detected by the object detection device 1 as a prominent area different from the background part.
- the object detection device 1 does not detect a background pattern (texture) but detects a prominent region different from the surroundings. Accordingly, in human detection, unless human clothes are assimilated with the background, the human clothes are detected as a prominent region different from the background. Furthermore, if the object detection device 1 is used, for example, the number of parts on a transport line in a factory can be detected and the number thereof can be measured, and the part forming result can be determined from the part shape recognized by the object recognition unit 5. You can also
- the object detection device 1 can detect other vehicles based on moving image data from a vehicle-mounted camera such as a camera used in a drive recorder. In this case, a region of an object having a color and shape different from the background region in the image is detected as a vehicle region.
- FIG. FIG. 6 is a block diagram showing a functional configuration of an object detection apparatus 1A according to Embodiment 2 of the present invention.
- object detection based on the optical flow and object detection based on the image feature map are performed according to the reliability of the optical flow.
- the object detection apparatus 1A includes a moving image photographing unit 2, an image feature map generation unit 3, an object detection unit 4A, an object recognition unit 5, an optical flow calculation unit 6, a reliability calculation unit 7, and noise.
- a removal unit 8 is provided.
- the optical flow calculation unit 6 calculates an optical flow between frame images of moving image data taken by a camera.
- the optical flow is information representing a movement amount of the same object associated between the frame images as a vector, and the vector is calculated in units of pixels. Note that the optical flow can be expressed in a vector that reflects the shape of the object as a feature by considering not only the movement information of the object in the time direction but also the spatial continuity.
- the reliability calculation unit 7 calculates the reliability of the optical flow. For example, the magnitude of a vector indicating the amount of movement of an object between frame images, that is, a scalar value is calculated as the reliability. An object far away from the camera has a smaller apparent value on the image taken by the camera, and thus a scalar value is also reduced.
- the noise removing unit 8 removes the optical flow in the direction along the moving direction of the camera from the optical flow as noise. For example, when a camera is mounted on a vehicle, the optical flow obtained from an image captured by the camera is dominantly observed in the traveling direction of the vehicle. The optical flow in this direction is included in the background area of the object, and the optical flow in the opposite direction can be considered to be included in the foreground, that is, the area where the object exists. Therefore, the noise removing unit 8 removes the optical flow included in the background area.
- the object detection unit 4A performs object detection based on the optical flow and object detection based on the image feature map in accordance with the reliability of the optical flow. For example, the object detection unit 4A performs object detection based on the optical flow in a region where the scalar value of the optical flow is higher than the threshold among the regions on the image captured by the camera, and the scalar value is equal to or less than the threshold. Then, object detection based on the image feature map is performed. As described above, the object detection based on the optical flow is based on the difference between the optical flow of the screen assumed in a standard environment where no object exists and the optical flow based on the video actually captured by the camera. Based on this, an object is detected.
- the object detection based on the image feature map is the object detection described in the first embodiment.
- FIG. 6 shows the case where the object detection apparatus 1A includes the moving image capturing unit 2
- the moving image capturing unit 2 may be configured to be included in the camera itself.
- the object recognition unit 5 may also be configured to be provided in an external device connected to the subsequent stage of the object detection device 1A without being provided in the object detection device 1A.
- the noise removal unit 8 may be one function of the object detection unit 4A. That is, the object detection apparatus 1A only needs to include at least the image feature map generation unit 3, the object detection unit 4A, the optical flow calculation unit 6, and the reliability calculation unit 7.
- FIG. 7 is a block diagram illustrating a hardware configuration of the object detection apparatus 1A.
- the moving image capturing unit 2 illustrated in FIG. 6 captures an image sequence captured by the camera 209 via the camera interface 206 and stores it in the data ROM 201.
- the optical flow calculation unit 6 shown in FIG. 6 expands the image sequence stored in the data ROM 201 to the RAM 203, and calculates the motion vector of the object between the frame images in units of pixels.
- the reliability calculation unit 7 illustrated in FIG. 6 calculates an absolute value (scalar value) of a vector that is an optical flow developed in the RAM 203.
- the noise removing unit 8 shown in FIG. 6 removes the optical flow included in the background area from the image developed in the RAM 203, and holds the optical flow included in the foreground object area in the RAM 203.
- the RAM 203 holds a plurality of optical flows included in the object region in time series, so that it is guaranteed that the direction of the optical flow is stable.
- the image feature map generation unit 3 shown in FIG. 6 generates an image feature map using the image sequence stored in the data ROM 201, and stores the generated image feature map in the RAM 203.
- the object detection unit 4A illustrated in FIG. 6 performs object detection based on the optical flow stored in the RAM 203 and object detection based on the image feature map. Further, the object recognition unit 5 shown in FIG. 6 recognizes the attribute of the object detected by the object detection unit 4A. Examples of the attribute of the object include a type such as a vehicle, a person, or a two-wheeled vehicle.
- the object detection result is stored in the external memory 207 via the disk controller 204 or displayed on the display device 208 via the display controller 205.
- the object detection result by the object detection unit 4A and the object recognition result by the object recognition unit 5 are output to the vehicle body control unit 210.
- the vehicle body control unit 210 is a device provided in the subsequent stage of the object recognition unit 5 in FIG. 6 and controls the brake 211 and the steering 212.
- the vehicle body control unit 210 controls the brake 211 and the steering 212 to perform a driving operation to avoid the collision.
- the vehicle body control unit 210 determines an optimum driving behavior based on the relationship between the object and the vehicle from the attribute of the object recognized by the object recognition unit 5, and controls the brake 211 and the steering 212 to control the driving behavior. I do.
- the disk controller 204, the display controller 205, the camera interface 206, the external memory 207, the display device 208, and the camera 209 may not be provided in the object detection apparatus 1A. That is, these devices may be provided separately from the object detection device 1A and provided in an external device that can input and output data from the object detection device 1A.
- the object detection apparatus 1A includes a processing circuit for performing operations according to the above functions.
- the processing circuit may be dedicated hardware or the CPU 200 that executes a program stored in the program ROM 202.
- the processing circuit corresponds to, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, AISC, FPGA, or a combination thereof.
- each function of the image feature map generation unit 3, the object detection unit 4A, the optical flow calculation unit 6, and the reliability calculation unit 7 may be realized by a processing circuit, or the functions may be combined into one processing circuit. It may be realized.
- the processing circuit is the CPU 200
- the functions of the image feature map generation unit 3, the object detection unit 4A, the optical flow calculation unit 6, and the reliability calculation unit 7 are realized by software, firmware, or a combination of software and firmware.
- the Software and firmware are described as programs and stored in the program ROM 202.
- the CPU 200 implements each function by reading and executing a program stored in the program ROM 202.
- the object detection apparatus 1A includes a memory for storing a program in which operations by the above functions are executed as a result.
- these programs cause the computer to execute the procedures or methods of the image feature map generation unit 3, the object detection unit 4A, the optical flow calculation unit 6, and the reliability calculation unit 7.
- the memory is, for example, a nonvolatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, magnetic disk, flexible disk, optical disk, compact disk, minidisk, DVD. And so on.
- a nonvolatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, magnetic disk, flexible disk, optical disk, compact disk, minidisk, DVD. And so on.
- the image feature map generation unit 3 realizes its function by a dedicated hardware processing circuit, and the CPU 200 is stored in the program ROM 202 for the object detection unit 4A, the optical flow calculation unit 6, and the reliability calculation unit 7. This function is realized by executing the program.
- the processing circuit can realize the above-described functions by hardware, software, firmware, or a combination thereof.
- FIG. 8 is a flowchart showing the operation of the object detection apparatus 1A, and shows a series of processes until an object is detected.
- the moving image shooting unit 2 takes in moving image data shot by the camera 209 (step ST1c).
- the camera 209 is assumed to be movable. This state means that, for example, the camera 209 is an in-vehicle camera, and the camera 209 can move together with the vehicle. Note that the camera 209 does not have to move when shooting a moving image.
- step ST2c When shooting with the camera 209 is completed (step ST2c; YES), the series of processes shown in FIG. That is, the capturing of the moving image data by the moving image capturing unit 2 is continued until the capturing by the camera 209 is completed. If the shooting by the camera 209 has not ended (step ST2c; NO), the optical flow calculation unit 6 calculates the optical flow between the frame images in the image sequence captured by the moving image shooting unit 2 for each pixel (step). ST3c). For example, a dense optical flow (Dense Optical Flow) is calculated.
- Dense Optical Flow a dense optical flow
- the reliability calculation unit 7 calculates the scalar value of the optical flow as the reliability.
- An object located far from the camera 209 has a smaller scalar value because an apparent movement on the image taken by the camera 209 is smaller. Further, the scalar value of the optical flow calculated from an object moving at a constant speed with the vehicle on which the camera 209 is mounted is very small.
- the reliability calculation unit 7 determines whether or not the scalar value is larger than the threshold value by comparing the scalar value of the optical flow with the threshold value (step ST4c).
- the threshold value a value that can appropriately separate an area on an image into an area with a moving body and an area other than that is adaptively determined by a discriminant analysis method using an absolute value of a motion vector in an optical flow. .
- the reliability calculation unit 7 determines that the reliability of the optical flow of the region where the optical flow of the scalar value is obtained is high in the region on the image. To do. The determination result is notified from the reliability calculation unit 7 to the noise removal unit 8. Upon receiving this notification, the noise removing unit 8 removes the optical flow in the background area as noise from the optical flows in the area where the reliability of the optical flow is high (step ST5c).
- the reliability calculation unit 7 determines that the reliability of the optical flow in the region where the optical flow of the scalar value is obtained is low. judge. The determination result is notified from the reliability calculation unit 7 to the image feature map generation unit 3.
- the image feature map generation unit 3 generates an image feature map in the same manner as the processing of FIGS. 4 and 5 shown in the first embodiment (step ST6c).
- the object detection unit 4A performs object detection based on the optical flow in a region where the reliability of the optical flow is high among regions on the image, and performs object detection based on the image feature map in a region where the reliability of the optical flow is low. This is performed (step ST7c).
- the object detection result obtained in this way is output from the object detection unit 4A to the object recognition unit 5, and the object recognition unit 5 recognizes the attributes of the object.
- FIG. 9 is a flowchart showing a specific example of the processing of step ST5c and step ST7c of FIG.
- the noise removing unit 8 separates a background region in the image based on the direction component of the optical flow (step ST1d).
- the noise removing unit 8 uses the k-means method to separate the frame image into a region including the optical flow in the dominant direction and a region including the optical flow in the opposite direction.
- the region including the optical flow in the dominant direction is set as the background region
- the region including the optical flow in the opposite direction is set as the foreground region.
- the noise removing unit 8 removes the optical flow included in the background area (step ST2d). For example, the noise removal unit 8 removes the optical flow included in the background region based on the dynamic background difference method expanded in time series.
- the dynamic background subtraction method is a method for obtaining a foreground area that does not exist in the background area by dynamically generating and updating a background model from time-series frame images.
- the object detection unit 4A confirms in time series whether or not the optical flows included in the frame image from which noise has been removed by the noise removal unit 8 are stably in the same direction (step ST3d). For example, the object detection unit 4A estimates the position of the foreground region in the next frame image by using the direction of the optical flow for the frame image from which the noise in the foreground region has been removed. To do. By adding the estimation result and the actual next frame image, the region where the object exists is estimated in time series. The object detection unit 4A performs this correction processing a predetermined number of times.
- the object detection unit 4A determines whether or not the absolute value of the vector of the optical flow in the foreground area in which the time-series position data is corrected in step ST3d is larger than the threshold (step ST4d). If the absolute value of the vector is equal to or less than the threshold (step ST4d; NO), the object detection unit 4A determines that the foreground area is not a moving body area and ends the process.
- the object detection unit 4A detects the foreground region as a region with a moving body (step ST5d). Next, the object detection unit 4A groups the extracted regions and outputs the grouped regions to the object recognition unit 5 as a moving object detection region.
- FIG. 10 is a graph showing the relationship between the distance from the vehicle to the moving object and the coincidence rate.
- the horizontal axis indicates the distance from the vehicle to the moving body
- the vertical axis indicates the matching rate between the correct position of the moving body and the position of the detection result.
- the results with reference numerals a1 to a3 are the results of the conventional object detection apparatus described in Reference Document 1 below, and the other results are the results of the object detection apparatus 1A.
- Reference Document 1 Reference Document 1
- the object detection device described in the above reference largely depends on the optical flow calculation result, as shown by reference numerals a1 to a3, an object can be detected only in the vicinity of the vehicle, and an object far from the vehicle can be detected. I can't react.
- the object detection device 1A detects a distant object based on the saliency map that does not depend on the movement of the object, it is possible to stably detect an object that is 100 m or more away from the vehicle.
- the optical flow calculating unit 6 may calculate the optical flow using the compression information.
- compression methods there is a method that performs motion prediction of moving image data using the previous and next frame images, and by using this method, it is possible to extract motion regions with similar gradient directions in units of blocks. is there. By using this motion information, only moving objects can be extracted. In this case, since motion information is included in the compressed moving image data, there is no need to newly calculate an optical flow by analyzing the moving image. Thereby, a calculation load can be reduced.
- the object detection device 1A includes the optical flow calculation unit 6 and the reliability calculation unit 7 in addition to the configuration of the object detection device 1 according to the first embodiment.
- the object detection unit 4A performs object detection based on the optical flow and object detection based on the image feature map in accordance with the reliability calculated by the reliability calculation unit 7. For example, when there is an object far from the camera 209, the reliability of the optical flow is low and object detection based on the image feature map is performed, and when there is an object near the camera 209, the reliability is high. Thus, object detection based on the optical flow is performed. Thereby, the object can be detected with high accuracy in the range from the vicinity of the camera 209 to the distant place.
- the object detection apparatus 1A includes a noise removal unit 8.
- the object detection unit 4A determines that an area where an optical flow in a direction opposite to the optical flow removed by the noise removal unit 8 is obtained from the area on the image is the area where the object exists. With this configuration, it is possible to accurately detect a region where an object is present.
- the object detection apparatus according to the present invention is suitable for vehicle detection, human detection, and the like, for example, because it can accurately detect objects in the range from the vicinity of the camera to the distance.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
画像特徴マップ生成部(3)が、カメラ(109)により連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布である画像特徴マップを生成する。物体検出部(4)が、画像特徴マップ生成部(3)により生成された画像特徴マップに基づいて物体を検出する。
Description
この発明は、カメラにより撮影された動画から物体を検出する物体検出装置および物体検出方法に関する。
カメラにより撮影された動画から物体を検出する技術としては、例えば、特許文献1に記載される物体検出装置が挙げられる。この装置では、物体が存在しない標準的な環境で想定される画面のオプティカルフローを生成し、カメラによって実際に撮影された動画に基づくオプティカルフローを生成して両者の差異に基づいて物体を検出している。
なお、オプティカルフローは、異なる時間に撮影された連続するフレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報である。
なお、オプティカルフローは、異なる時間に撮影された連続するフレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報である。
オプティカルフローでは、物体の位置がカメラから遠くなるにつれて撮影画像における物体の画素数が少なくなるので、物体の移動量を表すベクトルの絶対値が小さくなる。
このため、カメラから遠方の位置にある物体の画像に基づくオプティカルフローを使用した場合、物体が存在しない画像から得られたオプティカルフローとの差異が正確に得られず、物体を精度よく検出できない。すなわち、特許文献1に記載の物体検出装置では、カメラから遠方の位置にある物体を精度よく検出できないという課題があった。
このため、カメラから遠方の位置にある物体の画像に基づくオプティカルフローを使用した場合、物体が存在しない画像から得られたオプティカルフローとの差異が正確に得られず、物体を精度よく検出できない。すなわち、特許文献1に記載の物体検出装置では、カメラから遠方の位置にある物体を精度よく検出できないという課題があった。
この発明は上記課題を解決するもので、カメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができる物体検出装置および物体検出方法を得ることを目的とする。
この発明に係る物体検出装置は、画像特徴マップ生成部および物体検出部を備える。
この構成において、画像特徴マップ生成部は、カメラにより連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部は、画像特徴マップ生成部により生成された画像特徴マップに基づいて物体を検出する。
この構成において、画像特徴マップ生成部は、カメラにより連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部は、画像特徴マップ生成部により生成された画像特徴マップに基づいて物体を検出する。
この発明によれば、画像上の物体らしさの推定分布に基づいて物体を検出するので、カメラにより撮影されたカメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る物体検出装置1の機能構成を示すブロック図である。物体検出装置1は、カメラにより撮影された動画から物体を検出する。検出対象の物体は、人、車両などの移動体であってもよく、標識などの静止物体であってもよい。
また、物体検出装置1は、図1に示すように動画撮影部2、画像特徴マップ生成部3、物体検出部4および物体認識部5を備える。
実施の形態1.
図1は、この発明の実施の形態1に係る物体検出装置1の機能構成を示すブロック図である。物体検出装置1は、カメラにより撮影された動画から物体を検出する。検出対象の物体は、人、車両などの移動体であってもよく、標識などの静止物体であってもよい。
また、物体検出装置1は、図1に示すように動画撮影部2、画像特徴マップ生成部3、物体検出部4および物体認識部5を備える。
動画撮影部2は、カメラによって撮影された動画データを取得する。また、動画データは、カメラにより連続して撮影された複数の画像による画像列であり、時系列に並んだ個々の画像がフレーム画像である。
なお、カメラは、予め決められた位置に固定して設けられた固定カメラであってもよいが、車両などの移動体に搭載されたカメラであってもよい。
なお、カメラは、予め決められた位置に固定して設けられた固定カメラであってもよいが、車両などの移動体に搭載されたカメラであってもよい。
画像特徴マップ生成部3は、カメラにより撮影された動画データから抽出した特徴量に基づいて画像特徴マップを生成する。画像特徴マップは、画像上の物体らしさの推定分布を表すマップである。ここで、物体らしさとは、例えば、物体または何らかの対象であることの度合いである。
例えば、画像特徴マップ生成部3は、フレーム画像を段々に縮小することによって画像サイズが異なる複数の画像からなる画像ピラミッドを生成する。続いて、画像特徴マップ生成部3は、画像ピラミッドにおけるそれぞれの画像から、当該画像上の画像特徴の特徴量を抽出し、抽出した特徴量を2次元座標系にマッピングする。このマップが、当該画像における物体らしさの推定分布を示す画像特徴マップである。
物体検出部4は、画像特徴マップ生成部3により生成された画像特徴マップに基づいて物体を検出する。例えば、物体検出部4は、画像特徴マップを用いて画像上の物体を検出する。物体認識部5は、物体検出部4によって検出された物体を認識する。例えば、物体認識部5は、物体検出部4により検出された物体の形状などに基づいて物体の属性を認識する。
図1では、物体検出装置1が動画撮影部2を備える場合を示したが、動画撮影部2は、カメラ自体が備える構成であってもよい。
また、物体認識部5についても、物体検出装置1が備えずに、物体検出装置1の後段に接続された外部装置が備える構成であってもよい。
すなわち、物体検出装置1は、画像特徴マップ生成部3と物体検出部4とを少なくとも備えていればよい。
また、物体認識部5についても、物体検出装置1が備えずに、物体検出装置1の後段に接続された外部装置が備える構成であってもよい。
すなわち、物体検出装置1は、画像特徴マップ生成部3と物体検出部4とを少なくとも備えていればよい。
図2は、物体検出装置1のハードウェア構成を示すブロック図である。図2において、図1に示した動画撮影部2は、カメラインタフェース106を介して、カメラ109により撮影された画像列を取り込んで、データROM(Read Only Memory)101に格納する。図1に示した画像特徴マップ生成部3は、データROM101に格納された画像列を用いて画像特徴マップを生成し、生成した画像特徴マップをRAM(Random Access Memory)103に格納する。
図1に示した物体検出部4は、RAM103に格納されている画像サイズが異なる複数の画像のそれぞれに対応する推定分布を用いて物体を検出する。物体の検出結果は、ディスクコントローラ104を介して外部メモリ107に保存されるか、あるいは、ディスプレイコントローラ105を介して表示デバイス108に表示される。
また、図1に示した物体認識部5は、物体検出部4によって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体認識結果は、ディスクコントローラ104を介して外部メモリ107に保存されるか、あるいはディスプレイコントローラ105を介して表示デバイス108に表示される。
また、図1に示した物体認識部5は、物体検出部4によって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体認識結果は、ディスクコントローラ104を介して外部メモリ107に保存されるか、あるいはディスプレイコントローラ105を介して表示デバイス108に表示される。
なお、ディスクコントローラ104、ディスプレイコントローラ105、カメラインタフェース106、外部メモリ107、表示デバイス108およびカメラ109は、物体検出装置1が備えていなくてもよい。すなわち、これらの装置は、物体検出装置1とは別に設けられて、物体検出装置1からデータの入出力が可能な外部装置が備えていてもよい。
なお、物体検出装置1における画像特徴マップ生成部3と物体検出部4との各機能は、処理回路により実現される。すなわち、物体検出装置1は、カメラによって連続して撮影された複数の画像から抽出した特徴量に基づいて画像特徴マップを生成し、画像特徴マップに基づいて物体を検出するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、プログラムROM102に格納されたプログラムを実行するCPU(Central Processing Unit)100であってもよい。
処理回路がハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、AISC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、または、これらを組み合わせたものが該当する。
また、画像特徴マップ生成部3および物体検出部4の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて1つの処理回路で実現してもよい。
また、画像特徴マップ生成部3および物体検出部4の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて1つの処理回路で実現してもよい。
処理回路が、CPU100である場合、画像特徴マップ生成部3および物体検出部4の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアは、プログラムとして記述され、プログラムROM102に格納される。CPU100は、プログラムROM102に格納されたプログラムを読み出して実行することにより、各機能を実現する。
すなわち、物体検出装置1は、処理回路により実行されるときに画像特徴マップを生成するステップ、画像特徴マップに基づいて物体を検出するステップが結果的に実行されるプログラムを格納するためのメモリを備えている。
また、これらのプログラムは画像特徴マップ生成部3および物体検出部4の手順または方法をコンピュータに実行させるものである。
すなわち、物体検出装置1は、処理回路により実行されるときに画像特徴マップを生成するステップ、画像特徴マップに基づいて物体を検出するステップが結果的に実行されるプログラムを格納するためのメモリを備えている。
また、これらのプログラムは画像特徴マップ生成部3および物体検出部4の手順または方法をコンピュータに実行させるものである。
ここで、メモリとは、例えば、RAM、ROM、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)などが該当する。
また、画像特徴マップ生成部3および物体検出部4の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、画像特徴マップ生成部3は、専用のハードウェアの処理回路でその機能を実現し、物体検出部4については、CPU100がプログラムROM102に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
例えば、画像特徴マップ生成部3は、専用のハードウェアの処理回路でその機能を実現し、物体検出部4については、CPU100がプログラムROM102に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
次に動作について説明する。
図3は、物体検出装置1の動作を示すフローチャートであって、物体を検出するまでの一連の処理を示している。
動画撮影部2は、カメラ109により撮影された動画データを取り込む(ステップST1)。カメラ109による撮影が終了した場合(ステップST2;YES)、図3に示す一連の処理は終了する。すなわち、動画撮影部2による動画データの取り込みは、カメラ109による撮影が終了するまで続けられる。例えば、物体検出装置1が、車載カメラを利用した車両検出装置である場合、車両が走行している間、車載カメラによる車外の撮影が継続される。
図3は、物体検出装置1の動作を示すフローチャートであって、物体を検出するまでの一連の処理を示している。
動画撮影部2は、カメラ109により撮影された動画データを取り込む(ステップST1)。カメラ109による撮影が終了した場合(ステップST2;YES)、図3に示す一連の処理は終了する。すなわち、動画撮影部2による動画データの取り込みは、カメラ109による撮影が終了するまで続けられる。例えば、物体検出装置1が、車載カメラを利用した車両検出装置である場合、車両が走行している間、車載カメラによる車外の撮影が継続される。
画像特徴マップ生成部3は、カメラ109による撮影が終了していない場合(ステップST2;NO)、動画撮影部2が取り込んだ画像列を入力して、画像列中のフレーム画像を段々に縮小して画像ピラミッドを生成する(ステップST3)。ステップST3の処理は、画像列中のフレーム画像の数分繰り返し行われる。
次に、画像特徴マップ生成部3は、画像ピラミッドにおける画像サイズの異なる複数の画像から特徴量をそれぞれ抽出して画像ごとに画像特徴マップを生成する(ステップST4)。ステップST4の処理は、画像ピラミッドの数分繰り返し行われる。
物体検出部4は、画像ピラミッドにおける画像ごとに得られた画像特徴マップを1つのフレーム画像における推定結果として統合し、統合した結果に基づいて物体を検出する(ステップST5)。このようにして得られた物体の検出結果は、物体検出部4から物体認識部5に出力され、物体認識部5によって物体の属性などが認識される。
ここで、画像特徴マップに基づいた物体検出について詳細に説明する。
図4は、図3のステップST4およびステップST5の各処理の具体例を示すフローチャートである。
まず、画像特徴マップ生成部3は、動画撮影部2が取り込んだ画像列中のフレーム画像を取得し(ステップST1a)、上記画像列から同じフレーム画像を取得して反転させる(ステップST2a)。ここで、反転とは、フレーム画像における明度を反転させることを言う。すなわち、画像における暗い部分は明るい部分に変換され、明るい部分は暗い部分に変換される。
図4は、図3のステップST4およびステップST5の各処理の具体例を示すフローチャートである。
まず、画像特徴マップ生成部3は、動画撮影部2が取り込んだ画像列中のフレーム画像を取得し(ステップST1a)、上記画像列から同じフレーム画像を取得して反転させる(ステップST2a)。ここで、反転とは、フレーム画像における明度を反転させることを言う。すなわち、画像における暗い部分は明るい部分に変換され、明るい部分は暗い部分に変換される。
次に、画像特徴マップ生成部3は、取得したフレーム画像を段々に縮小して画像ピラミッドを生成し、さらに、反転させたフレーム画像を段々に縮小して画像ピラミッドを生成する。続いて、画像特徴マップ生成部3は、反転させていないフレーム画像についての画像ピラミッドから顕著性マップを生成し(ステップST3a)、反転させたフレーム画像についての画像ピラミッドから顕著性マップを生成する(ステップST4a)。
ここで、顕著性マップとは、画像上で周囲領域とは異なる顕著な領域をマップで表したものである。また、上記の周囲領域は、人の視覚モデルに基づいて当該画像上で人が注視すると考えられる領域である。ここで、顕著な領域は、物体らしさの推定分布に相当し、顕著性マップは、画像特徴マップの具体例と言える。
次に、物体検出部4は、画像ピラミッドにおける画像ごとに得られた顕著性マップを、1つのフレーム画像における推定結果として統合する。この処理は、反転させていないフレーム画像についての画像ピラミッドで得られた顕著性マップと、反転させたフレーム画像についての画像ピラミッドで得られた顕著性マップとの両方で行われ、さらにこれらも統合される。
続いて、物体検出部4は、顕著性マップの画像特徴と画像特徴に関する閾値とを比較して、閾値より大きい特徴量を有する領域があるか否かを判定する(ステップST5a)。
ここで、顕著性マップに閾値より大きい特徴量を有する領域がなければ(ステップST5a;NO)、物体が検出されなかったと判断されて処理が終了する。
ここで、顕著性マップに閾値より大きい特徴量を有する領域がなければ(ステップST5a;NO)、物体が検出されなかったと判断されて処理が終了する。
顕著性マップに閾値より大きい特徴量を有する領域があった場合(ステップST5a;YES)、物体検出部4は、この領域を検出対象の物体がある領域として検出する(ステップST6a)。この後、物体検出部4は、このようにして抽出された領域をグルーピングして物体の検出領域として物体認識部5に出力する。
ここで、前述した顕著性マップの生成処理について詳細に説明する。
図5は、顕著性マップの生成処理を示すフローチャートである。
まず、画像特徴マップ生成部3は、処理対象の画像を、人の色の知覚レベルを近似して設計されたLab空間に変換する(ステップST1b)。
続いて、画像特徴マップ生成部3は、Lab空間に変換した画像の平均色を算出する(ステップST2b)。この平均色が、この画像の代表色となる。
図5は、顕著性マップの生成処理を示すフローチャートである。
まず、画像特徴マップ生成部3は、処理対象の画像を、人の色の知覚レベルを近似して設計されたLab空間に変換する(ステップST1b)。
続いて、画像特徴マップ生成部3は、Lab空間に変換した画像の平均色を算出する(ステップST2b)。この平均色が、この画像の代表色となる。
次に、画像特徴マップ生成部3は、Lab空間に変換した画像にDoG(Difference of Gaussian)フィルタを適用する(ステップST3b)。これにより、DoGフィルタにおけるスケールの異なるガウシアンフィルタが当該画像の画素値に対してそれぞれ適用され、これらの差分が得られる。
人の知覚系において、網膜細胞は、中心とその周囲との差から光の強度およびエッジの方向性を知覚することが知られている。DoGフィルタは、このような網膜細胞の働きを画像処理で模したものである。
DoGフィルタにおけるガウシアンフィルタのうち、スケールの小さい方が適用されると高解像度の画像が得られるが、スケールの大きな方が適用されると、低解像度となってぼやけた画像が得られる。両画像間の画素値の差分をとることは、注目画素とその周辺画素との間で画素値の差分をとることを意味しており、周囲画素に比べて変化の大きい画像を求めることが可能となる。
続いて、画像特徴マップ生成部3は、DoGフィルタを適用した画像の色と、ステップST2bで算出した平均色との差分を算出する(ステップST4b)。これにより、平均色からのずれ幅が大きい顕著な領域が残され、この領域の周辺領域の代表色を除くことができる。このようにステップST4bにおいては、画像全体に対する大域的な顕著箇所が求められる。
なお、前述したDoGフィルタの処理では解像度が異なる画像が得られればよいので、ガウシアンフィルタに限らず、例えば画像を異なるサイズにリサイズしてから元のサイズに復元する処理を行ってもよい。
なお、前述したDoGフィルタの処理では解像度が異なる画像が得られればよいので、ガウシアンフィルタに限らず、例えば画像を異なるサイズにリサイズしてから元のサイズに復元する処理を行ってもよい。
次に、画像特徴マップ生成部3は、ステップST4bで処理した画像に対して、適応的二値化フィルタを適用する(ステップST5b)。適応的二値化フィルタでは、画像全体が閾値で二値化されるのではなく、画素ごとに決めた閾値によって画素がフィルタリングされる。これにより、当該画像におけるそれぞれの画素が画素ごとの閾値と比較されて、画素値が閾値よりも大きい画素が抽出される。
なお、画素ごとの閾値は、対象の画素の近傍における明るさ情報に基づいて決定され、対象の画素の近傍が明るい場合には高い閾値が設定され、対象の画素の近傍が暗い場合は低い閾値が設定される。
なお、画素ごとの閾値は、対象の画素の近傍における明るさ情報に基づいて決定され、対象の画素の近傍が明るい場合には高い閾値が設定され、対象の画素の近傍が暗い場合は低い閾値が設定される。
次に、画像特徴マップ生成部3は、ステップST5bで抽出した顕著な画素群に対してガウシアンフィルタを適用することで、顕著な画素群による領域をマップとして求める(ステップST6b)。そして、画像特徴マップ生成部3は、上記マップを二値化する(ステップST7b)。物体検出部4は、このように二値化されたマップに基づいて物体を検出する。
なお、ステップST5bでは、ステップST4bで得られた顕著箇所からさらに局所的な顕著画素が絞り込まれる。これにより、画素に含まれる局所的な輝度変化に頑健でかつ周囲と異なる模様を有したエッジ成分を特定することが可能となる。
また、図4のステップST1aにおいて反転させていない画像を使用し、ステップST2aにおいて反転させた画像を使用するので、注目画素の周囲領域が明るい場合における暗い顕著点と、注目画素の周囲領域が暗い場合における明るい顕著点とが同様に抽出することができる。
また、図4のステップST1aにおいて反転させていない画像を使用し、ステップST2aにおいて反転させた画像を使用するので、注目画素の周囲領域が明るい場合における暗い顕著点と、注目画素の周囲領域が暗い場合における明るい顕著点とが同様に抽出することができる。
以上のように、実施の形態1に係る物体検出装置1が、画像特徴マップ生成部3および物体検出部4を備える。この構成において、画像特徴マップ生成部3が、カメラ109により連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部4は、画像特徴マップ生成部3により生成された画像特徴マップに基づいて物体を検出する。
このように構成することで、画像上の物体らしさの推定分布に基づいて物体が検出されるので、カメラ109により撮影されたカメラ109の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。
このように構成することで、画像上の物体らしさの推定分布に基づいて物体が検出されるので、カメラ109により撮影されたカメラ109の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。
物体検出装置1は、画像中の人の目につきやすい物体の領域を検出するので、例えば、看板検出、人検出、欠陥検出または車両検出に効果がある。
看板の文字は、視認性を高めるために、文字の背景部分とは異なる色で記載されている場合が多い。このため、文字部分は、物体検出装置1によって背景部分とは異なる顕著な領域として検出されやすい。
看板の文字は、視認性を高めるために、文字の背景部分とは異なる色で記載されている場合が多い。このため、文字部分は、物体検出装置1によって背景部分とは異なる顕著な領域として検出されやすい。
また、物体検出装置1は、背景の模様(テクスチャ)を検出せず、周囲と異なる顕著な領域を検出する。従って、人検出では、人の服装が背景と同化していない限り、人の服装が背景と異なる顕著な領域となって検出される。
さらに、物体検出装置1を用いれば、例えば、工場の搬送ライン上の部品を検出して、その数を計測することができ、物体認識部5によって認識された部品形状から部品の成形結果を判別することもできる。
さらに、物体検出装置1を用いれば、例えば、工場の搬送ライン上の部品を検出して、その数を計測することができ、物体認識部5によって認識された部品形状から部品の成形結果を判別することもできる。
構造物のひび割れなどを検出する場合、従来では、構造物の補修跡または構造物が元々有する模様なども検出されるので、これらとひび割れとを区別する処理が必要であった。
これに対して、物体検出装置1では、背景に含まれる模様は検出されないため、構造物のひび割れを容易に検出することができる。
これに対して、物体検出装置1では、背景に含まれる模様は検出されないため、構造物のひび割れを容易に検出することができる。
また、物体検出装置1は、ドライブレコーダに使用されるカメラなどの車載カメラからの動画データに基づいて他の車両を検出することも可能である。この場合、画像中の背景領域とは異なる色および形状を有する物体の領域が、車両の領域として検出される。
実施の形態2.
図6は、この発明の実施の形態2に係る物体検出装置1Aの機能構成を示すブロック図である。図6において、図1と同一の構成要素には同一の符号を付して説明を省略する。
物体検出装置1Aでは、オプティカルフローの信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とが行われる。
また、物体検出装置1Aは、図6に示すように、動画撮影部2、画像特徴マップ生成部3、物体検出部4A、物体認識部5、オプティカルフロー算出部6、信頼度算出部7およびノイズ除去部8を備える。
図6は、この発明の実施の形態2に係る物体検出装置1Aの機能構成を示すブロック図である。図6において、図1と同一の構成要素には同一の符号を付して説明を省略する。
物体検出装置1Aでは、オプティカルフローの信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とが行われる。
また、物体検出装置1Aは、図6に示すように、動画撮影部2、画像特徴マップ生成部3、物体検出部4A、物体認識部5、オプティカルフロー算出部6、信頼度算出部7およびノイズ除去部8を備える。
オプティカルフロー算出部6は、カメラにより撮影された動画データのフレーム画像間におけるオプティカルフローを算出する。
オプティカルフローは、フレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報であり、ベクトルは画素単位で算出される。
なお、オプティカルフローは、物体の時間方向の移動情報だけでなく、空間的な連続性を考慮することで、物体の形状を特徴として反映したベクトル表記が可能である。
オプティカルフローは、フレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報であり、ベクトルは画素単位で算出される。
なお、オプティカルフローは、物体の時間方向の移動情報だけでなく、空間的な連続性を考慮することで、物体の形状を特徴として反映したベクトル表記が可能である。
信頼度算出部7は、オプティカルフローの信頼度を算出する。例えば、フレーム画像間における物体の移動量を示すベクトルの大きさ、すなわち、スカラ値が信頼度として算出される。カメラの遠方にある物体は、カメラによって撮影された画像上の見かけの動きが小さくなるので、スカラ値も小さくなる。
ノイズ除去部8は、オプティカルフローのうち、カメラの移動方向に沿った方向のオプティカルフローをノイズとして除去する。例えば、車両にカメラが搭載されている場合、カメラにより撮影された画像から得られるオプティカルフローは、車両の進行方向に観測されるものが支配的となる。この方向のオプティカルフローは物体の背景領域に含まれるものであり、これに反する方向のオプティカルフローは、前景、すなわち物体がある領域に含まれるものと考えることができる。そこで、ノイズ除去部8は、この背景領域に含まれるオプティカルフローを除去する。
物体検出部4Aは、オプティカルフローの信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行う。例えば、物体検出部4Aは、カメラにより撮影された画像上の領域のうち、オプティカルフローのスカラ値が閾値よりも高い領域ではオプティカルフローに基づいた物体検出を行い、上記スカラ値が閾値以下の領域では画像特徴マップに基づいた物体検出を行う。
なお、オプティカルフローに基づいた物体検出は、前述したように、物体が存在しない標準的な環境で想定される画面のオプティカルフローと、カメラによって実際に撮影された動画に基づくオプティカルフローとの差異に基づいて物体を検出するものである。
また、画像特徴マップに基づいた物体検出は実施の形態1で説明した物体検出である。
なお、オプティカルフローに基づいた物体検出は、前述したように、物体が存在しない標準的な環境で想定される画面のオプティカルフローと、カメラによって実際に撮影された動画に基づくオプティカルフローとの差異に基づいて物体を検出するものである。
また、画像特徴マップに基づいた物体検出は実施の形態1で説明した物体検出である。
図6では物体検出装置1Aが動画撮影部2を備える場合を示したが、動画撮影部2は、カメラ自体が備える構成であってもよい。
また、物体認識部5についても、物体検出装置1Aが備えずに物体検出装置1Aの後段に接続された外部装置が備える構成であってもよい。
さらに、ノイズ除去部8は、物体検出部4Aの1つの機能であってもよい。
すなわち、物体検出装置1Aは、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7を少なくとも備えていればよい。
また、物体認識部5についても、物体検出装置1Aが備えずに物体検出装置1Aの後段に接続された外部装置が備える構成であってもよい。
さらに、ノイズ除去部8は、物体検出部4Aの1つの機能であってもよい。
すなわち、物体検出装置1Aは、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7を少なくとも備えていればよい。
図7は、物体検出装置1Aのハードウェア構成を示すブロック図である。
図7において、図6に示した動画撮影部2は、カメラインタフェース206を介して、カメラ209により撮影された画像列を取り込んで、データROM201に格納する。
図6に示したオプティカルフロー算出部6は、データROM201に格納された画像列をRAM203に展開し、フレーム画像間における物体の動きベクトルを画素単位で算出する。図6に示した信頼度算出部7は、RAM203に展開されたオプティカルフローであるベクトルの絶対値(スカラ値)を算出する。
図7において、図6に示した動画撮影部2は、カメラインタフェース206を介して、カメラ209により撮影された画像列を取り込んで、データROM201に格納する。
図6に示したオプティカルフロー算出部6は、データROM201に格納された画像列をRAM203に展開し、フレーム画像間における物体の動きベクトルを画素単位で算出する。図6に示した信頼度算出部7は、RAM203に展開されたオプティカルフローであるベクトルの絶対値(スカラ値)を算出する。
図6に示したノイズ除去部8は、RAM203に展開されている画像のうち、背景領域に含まれるオプティカルフローを除去し、前景となる物体の領域に含まれるオプティカルフローをRAM203に保持する。なお、RAM203には、物体の領域に含まれる複数のオプティカルフローが時系列に保持されるので、オプティカルフローの方向が安定していることが保証される。
図6に示した画像特徴マップ生成部3は、データROM201に格納された画像列を用いて画像特徴マップを生成し、生成した画像特徴マップをRAM203に格納する。
図6に示した物体検出部4Aは、RAM203に格納されているオプティカルフローに基づく物体検出と、画像特徴マップに基づく物体検出を行う。
また、図6に示した物体認識部5は、物体検出部4Aによって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体検出結果は、ディスクコントローラ204を介して外部メモリ207に保存されるか、あるいはディスプレイコントローラ205を介して表示デバイス208に表示される。
図6に示した物体検出部4Aは、RAM203に格納されているオプティカルフローに基づく物体検出と、画像特徴マップに基づく物体検出を行う。
また、図6に示した物体認識部5は、物体検出部4Aによって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体検出結果は、ディスクコントローラ204を介して外部メモリ207に保存されるか、あるいはディスプレイコントローラ205を介して表示デバイス208に表示される。
物体検出部4Aによる物体の検出結果と物体認識部5による物体の認識結果とは、車体制御部210に出力される。ここで、車体制御部210とは、図6における物体認識部5の後段に設けられる装置であり、ブレーキ211とステアリング212とを制御する。
例えば、車体制御部210は、物体検出装置1Aにより検出された物体と車両との衝突を回避する場合、ブレーキ211とステアリング212とを制御して衝突を回避する運転操作を行う。また、車体制御部210は、物体認識部5によって認識された物体の属性から、この物体と車両との関係で最適な運転行動を決定し、ブレーキ211とステアリング212とを制御して当該運転行動を行う。
例えば、車体制御部210は、物体検出装置1Aにより検出された物体と車両との衝突を回避する場合、ブレーキ211とステアリング212とを制御して衝突を回避する運転操作を行う。また、車体制御部210は、物体認識部5によって認識された物体の属性から、この物体と車両との関係で最適な運転行動を決定し、ブレーキ211とステアリング212とを制御して当該運転行動を行う。
なお、ディスクコントローラ204、ディスプレイコントローラ205、カメラインタフェース206、外部メモリ207、表示デバイス208およびカメラ209は、物体検出装置1Aが備えていなくてもよい。すなわち、これらの装置は、物体検出装置1Aとは別に設けられて、物体検出装置1Aからデータの入出力が可能な外部装置が備えていてもよい。
なお、物体検出装置1Aにおける画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の各機能は、処理回路により実現される。
すなわち、物体検出装置1Aは、上記各機能による動作を行うための処理回路を備えている。処理回路は、専用のハードウェアであってもよく、プログラムROM202に格納されたプログラムを実行するCPU200であってもよい。
すなわち、物体検出装置1Aは、上記各機能による動作を行うための処理回路を備えている。処理回路は、専用のハードウェアであってもよく、プログラムROM202に格納されたプログラムを実行するCPU200であってもよい。
処理回路がハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、AISC、FPGA、または、これらを組み合わせたものが該当する。
また、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて1つの処理回路で実現してもよい。
また、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて1つの処理回路で実現してもよい。
処理回路が、CPU200である場合、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。
ソフトウェアおよびファームウェアは、プログラムとして記述され、プログラムROM202に格納される。CPU200は、プログラムROM202に格納されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、物体検出装置1Aは、上記各機能による動作が結果的に実行されるプログラムを格納するためのメモリを備えている。また、これらのプログラムは、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の手順または方法をコンピュータに実行させるものである。
ソフトウェアおよびファームウェアは、プログラムとして記述され、プログラムROM202に格納される。CPU200は、プログラムROM202に格納されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、物体検出装置1Aは、上記各機能による動作が結果的に実行されるプログラムを格納するためのメモリを備えている。また、これらのプログラムは、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の手順または方法をコンピュータに実行させるものである。
メモリとは、実施の形態1と同様に、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROMなどの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
また、画像特徴マップ生成部3、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像特徴マップ生成部3は、専用のハードウェアの処理回路でその機能を実現し、物体検出部4A、オプティカルフロー算出部6および信頼度算出部7については、CPU200がプログラムROM202に格納されたプログラム実行することにより、その機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。
次に動作について説明する。
図8は、物体検出装置1Aの動作を示すフローチャートであり、物体を検出するまでの一連の処理を示している。
まず、動画撮影部2は、カメラ209により撮影された動画データを取り込む(ステップST1c)。ここで、カメラ209は移動可能な状態であるものとする。この状態は、例えば、カメラ209が車載カメラであり、車両とともにカメラ209が移動可能であることを意味する。なお、カメラ209は、動画を撮影しているときに移動していなくてもよい。
図8は、物体検出装置1Aの動作を示すフローチャートであり、物体を検出するまでの一連の処理を示している。
まず、動画撮影部2は、カメラ209により撮影された動画データを取り込む(ステップST1c)。ここで、カメラ209は移動可能な状態であるものとする。この状態は、例えば、カメラ209が車載カメラであり、車両とともにカメラ209が移動可能であることを意味する。なお、カメラ209は、動画を撮影しているときに移動していなくてもよい。
カメラ209による撮影が終了すると(ステップST2c;YES)、図8に示す一連の処理は終了する。すなわち、動画撮影部2による動画データの取り込みは、カメラ209による撮影が終了するまで続けられる。
オプティカルフロー算出部6は、カメラ209による撮影が終了していない場合(ステップST2c;NO)、動画撮影部2により取り込まれた画像列中のフレーム画像間におけるオプティカルフローを画素ごとに算出する(ステップST3c)。例えば、密なオプティカルフロー(Dense Optical Flow)を算出する。
オプティカルフロー算出部6は、カメラ209による撮影が終了していない場合(ステップST2c;NO)、動画撮影部2により取り込まれた画像列中のフレーム画像間におけるオプティカルフローを画素ごとに算出する(ステップST3c)。例えば、密なオプティカルフロー(Dense Optical Flow)を算出する。
次に、信頼度算出部7が、オプティカルフローのスカラ値を信頼度として算出する。
カメラ209の遠方にある物体は、カメラ209によって撮影された画像上の見かけの動きが小さくなるのでスカラ値も小さくなる。また、カメラ209を搭載する車両と等速に移動している物体から算出されたオプティカルフローのスカラ値は、非常に小さい。
カメラ209の遠方にある物体は、カメラ209によって撮影された画像上の見かけの動きが小さくなるのでスカラ値も小さくなる。また、カメラ209を搭載する車両と等速に移動している物体から算出されたオプティカルフローのスカラ値は、非常に小さい。
信頼度算出部7は、オプティカルフローのスカラ値と閾値とを比較することによって、閾値よりもスカラ値が大きいか否かを判定する(ステップST4c)。
上記閾値としては、オプティカルフローにおける動きベクトルの絶対値を使用した判別分析法によって、画像上の領域を移動体のある領域とそれ以外の領域とに適切に分離可能な値を適応的に決定する。
上記閾値としては、オプティカルフローにおける動きベクトルの絶対値を使用した判別分析法によって、画像上の領域を移動体のある領域とそれ以外の領域とに適切に分離可能な値を適応的に決定する。
スカラ値が閾値よりも大きい場合(ステップST4c;YES)、信頼度算出部7は、画像上の領域のうち、このスカラ値のオプティカルフローが得られた領域のオプティカルフローの信頼度が高いと判定する。この判定結果は、信頼度算出部7からノイズ除去部8に通知される。ノイズ除去部8は、この通知を受けると、オプティカルフローの信頼度が高い領域におけるオプティカルフローのうち、背景領域のオプティカルフローをノイズとして除去する(ステップST5c)。
一方、スカラ値が閾値以下の場合(ステップST4c;NO)、信頼度算出部7は、画像上の領域のうち、このスカラ値のオプティカルフローが得られた領域のオプティカルフローの信頼度が低いと判定する。この判定結果は、信頼度算出部7から画像特徴マップ生成部3に通知される。画像特徴マップ生成部3は、実施の形態1で示した図4および図5の処理と同様にして画像特徴マップを生成する(ステップST6c)
物体検出部4Aは、画像上の領域のうち、オプティカルフローの信頼度が高い領域ではオプティカルフローに基づいた物体検出を行い、オプティカルフローの信頼度が低い領域では画像特徴マップに基づいた物体検出を行う(ステップST7c)。
このようにして得られた物体の検出結果は、物体検出部4Aから物体認識部5に出力され、物体認識部5によって物体の属性などが認識される。
このようにして得られた物体の検出結果は、物体検出部4Aから物体認識部5に出力され、物体認識部5によって物体の属性などが認識される。
ここで、ノイズ除去部8によるノイズ除去処理について詳細に説明する。
図9は、図8のステップST5cおよびステップST7cの処理の具体例を示すフローチャートである。
まず、ノイズ除去部8は、オプティカルフローの方向成分に基づいて画像中の背景領域を分離する(ステップST1d)。
例えば、ノイズ除去部8は、k-means法を用いることにより、フレーム画像を、支配的な方向のオプティカルフローを含む領域とこれに反する方向のオプティカルフローを含む領域とに分離する。ここでは、支配的な方向のオプティカルフローが含まれる領域を背景領域とし、これに反する方向のオプティカルフローが含まれる領域を前景領域としている。
図9は、図8のステップST5cおよびステップST7cの処理の具体例を示すフローチャートである。
まず、ノイズ除去部8は、オプティカルフローの方向成分に基づいて画像中の背景領域を分離する(ステップST1d)。
例えば、ノイズ除去部8は、k-means法を用いることにより、フレーム画像を、支配的な方向のオプティカルフローを含む領域とこれに反する方向のオプティカルフローを含む領域とに分離する。ここでは、支配的な方向のオプティカルフローが含まれる領域を背景領域とし、これに反する方向のオプティカルフローが含まれる領域を前景領域としている。
次に、ノイズ除去部8は、背景領域に含まれるオプティカルフローを除去する(ステップST2d)。例えば、ノイズ除去部8が、時系列に拡張された動的背景差分法に基づいて、背景領域に含まれるオプティカルフローを除去する。なお、動的背景差分法とは、時系列に並ぶフレーム画像から背景モデルを動的に生成して更新することで、背景領域には存在しない前景領域を求める方法である。
物体検出部4Aは、ノイズ除去部8によりノイズが除去されたフレーム画像に含まれるオプティカルフローが安定して同一方向であるか否かを時系列に確認する(ステップST3d)。例えば、物体検出部4Aは、1つ前のフレーム画像であって前景領域のノイズが除去されたフレーム画像に対し、オプティカルフローの方向を利用して次のフレーム画像での前景領域の位置を推定する。この推定結果と実際の次のフレーム画像とを足し合わせることで、物体の存在箇所領域を時系列に推定する。物体検出部4Aは、この補正処理を予め定められた繰り返し回数だけ実施する。
次に、物体検出部4Aは、ステップST3dにて時系列位置データを補正した前景領域のオプティカルフローについて、そのベクトルの絶対値が閾値よりも大きいか否かを判定する(ステップST4d)。ここで、ベクトルの絶対値が閾値以下である場合(ステップST4d;NO)、物体検出部4Aは、前景領域が移動体領域ではないと判定して処理を終了する。
一方、ベクトルの絶対値が閾値よりも大きい場合(ステップST4d;YES)、物体検出部4Aは、前景領域を移動体がある領域として検出する(ステップST5d)。
次に、物体検出部4Aは、このように抽出した領域をグルーピングして、移動体の検出領域として物体認識部5に出力する。
次に、物体検出部4Aは、このように抽出した領域をグルーピングして、移動体の検出領域として物体認識部5に出力する。
図10は、車両から移動体までの距離と一致率との関係を示すグラフである。図10において、横軸は、車両から移動体までの距離を示しており、縦軸は、移動体の正解位置と検出結果の位置との一致率を示している。
符号a1~a3を付した結果が下記参考文献1に記載される従来の物体検出装置の結果であり、それ以外の結果が物体検出装置1Aの結果である。
(参考文献1)橋口典男, 東野全寿, 上野大輔, 中野泰彦, “ コンバージェンスサービスを支えるセンシング技術 ”, FUJITSU技報, Vol. 64, pp. 74-80, 2013.
符号a1~a3を付した結果が下記参考文献1に記載される従来の物体検出装置の結果であり、それ以外の結果が物体検出装置1Aの結果である。
(参考文献1)橋口典男, 東野全寿, 上野大輔, 中野泰彦, “ コンバージェンスサービスを支えるセンシング技術 ”, FUJITSU技報, Vol. 64, pp. 74-80, 2013.
上記参考文献に記載の物体検出装置は、オプティカルフロー算出結果に大きく依存するため、符号a1~a3で示すように、車両の近傍位置でしか物体を検出できず、車両から遠方にある物体には反応できない。
これに対して、物体検出装置1Aは、物体の動きに依存しない顕著性マップに基づいて遠方の物体を検出するので、車両から100m以上離れた物体でも安定して検出することが可能である。
これに対して、物体検出装置1Aは、物体の動きに依存しない顕著性マップに基づいて遠方の物体を検出するので、車両から100m以上離れた物体でも安定して検出することが可能である。
なお、オプティカルフロー算出部6は、動画撮影部2により取り込まれた動画データが圧縮されている場合、その圧縮情報を利用してオプティカルフローを算出してもよい。
圧縮方法の中には、動画データの動き予測を前後のフレーム画像を利用して行う方法があり、この方法を利用すれば、勾配方向が類似した動き領域をブロック単位で抽出することが可能である。この動き情報を利用することで、移動している物体のみを抽出することができる。この場合、圧縮された動画データに動き情報が含まれているため、動画を解析して新たにオプティカルフローを算出する必要がない。これにより、演算負荷を低減することができる。
圧縮方法の中には、動画データの動き予測を前後のフレーム画像を利用して行う方法があり、この方法を利用すれば、勾配方向が類似した動き領域をブロック単位で抽出することが可能である。この動き情報を利用することで、移動している物体のみを抽出することができる。この場合、圧縮された動画データに動き情報が含まれているため、動画を解析して新たにオプティカルフローを算出する必要がない。これにより、演算負荷を低減することができる。
以上のように、実施の形態2に係る物体検出装置1Aは、実施の形態1に係る物体検出装置1の構成に加えて、オプティカルフロー算出部6および信頼度算出部7を備える。
この構成において、物体検出部4Aは、信頼度算出部7により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行う。例えば、カメラ209から遠方に物体がある場合、オプティカルフローの信頼度が低くなって画像特徴マップに基づく物体検出が行われ、カメラ209の近傍に物体がある場合には、上記信頼度が高くなってオプティカルフローに基づく物体検出が行われる。
これにより、カメラ209の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。
この構成において、物体検出部4Aは、信頼度算出部7により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行う。例えば、カメラ209から遠方に物体がある場合、オプティカルフローの信頼度が低くなって画像特徴マップに基づく物体検出が行われ、カメラ209の近傍に物体がある場合には、上記信頼度が高くなってオプティカルフローに基づく物体検出が行われる。
これにより、カメラ209の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。
また、実施の形態2に係る物体検出装置1Aは、ノイズ除去部8を備える。物体検出部4Aは、画像上の領域のうち、ノイズ除去部8により除去されたオプティカルフローに反する方向のオプティカルフローが得られた領域を物体がある領域と判定する。
このように構成することで、物体がある領域を精度よく検出することができる。
このように構成することで、物体がある領域を精度よく検出することができる。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせあるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る物体検出装置は、カメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができるので、例えば、車両検出、人検出などに好適である。
1,1A 物体検出装置、2 動画撮影部、3 画像特徴マップ生成部、4,4A
物体検出部、5 物体認識部、6 オプティカルフロー算出部、7 信頼度算出部、8 ノイズ除去部、100,200 CPU、101,201 データROM、102,202 プログラムROM、103,203 RAM、104,204 ディスクコントローラ、105,205 ディスプレイコントローラ、106,206 カメラインタフェース、107,207 外部メモリ、108,208 表示デバイス、109,209 カメラ、210 車体制御部、211 ブレーキ、212 ステアリング。
物体検出部、5 物体認識部、6 オプティカルフロー算出部、7 信頼度算出部、8 ノイズ除去部、100,200 CPU、101,201 データROM、102,202 プログラムROM、103,203 RAM、104,204 ディスクコントローラ、105,205 ディスプレイコントローラ、106,206 カメラインタフェース、107,207 外部メモリ、108,208 表示デバイス、109,209 カメラ、210 車体制御部、211 ブレーキ、212 ステアリング。
Claims (5)
- カメラにより連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する画像特徴マップ生成部と、
前記画像特徴マップ生成部により生成された画像特徴マップに基づいて物体を検出する物体検出部と
を備えたことを特徴とする物体検出装置。 - 前記カメラにより連続して撮影された複数の画像間におけるオプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部により算出されたオプティカルフローについての信頼度を算出する信頼度算出部とを備え、
前記物体検出部は、前記信頼度算出部により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行うことを特徴とする請求項1記載の物体検出装置。 - 前記物体検出部は、画像上の領域のうち、オプティカルフローについての信頼度が閾値よりも高い領域でオプティカルフローに基づいた物体検出を行い、オプティカルフローの信頼度が前記閾値以下の領域では画像特徴マップに基づいた物体検出を行うことを特徴とする請求項2記載の物体検出装置。
- オプティカルフローのうち、カメラの移動方向に沿った方向のオプティカルフローを、物体の背景領域に含まれるオプティカルフローとして除去するノイズ除去部を備え、
前記物体検出部は、画像上の領域のうち、前記ノイズ除去部により除去されたオプティカルフローに反する方向のオプティカルフローが得られた領域を、物体がある領域と判定することを特徴とする請求項2記載の物体検出装置。 - 画像特徴マップ生成部が、カメラによって連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成するステップと、
オプティカルフロー算出部が、前記カメラによって連続して撮影された複数の画像間におけるオプティカルフローを算出するステップと、
信頼度算出部が、前記オプティカルフロー算出部により算出されたオプティカルフローについての信頼度を算出するステップと、
物体検出部が、前記信頼度算出部により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行うステップと
を備えたことを特徴とする物体検出方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017510924A JP6230751B1 (ja) | 2016-09-15 | 2016-09-15 | 物体検出装置および物体検出方法 |
US16/329,146 US10943141B2 (en) | 2016-09-15 | 2016-09-15 | Object detection device and object detection method |
CN201680089086.7A CN109690615A (zh) | 2016-09-15 | 2016-09-15 | 物体检测装置和物体检测方法 |
PCT/JP2016/077268 WO2018051459A1 (ja) | 2016-09-15 | 2016-09-15 | 物体検出装置および物体検出方法 |
DE112016007131.0T DE112016007131B4 (de) | 2016-09-15 | 2016-09-15 | Objektdetektionseinrichtung und Objektbestimmungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/077268 WO2018051459A1 (ja) | 2016-09-15 | 2016-09-15 | 物体検出装置および物体検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018051459A1 true WO2018051459A1 (ja) | 2018-03-22 |
Family
ID=60321093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/077268 WO2018051459A1 (ja) | 2016-09-15 | 2016-09-15 | 物体検出装置および物体検出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10943141B2 (ja) |
JP (1) | JP6230751B1 (ja) |
CN (1) | CN109690615A (ja) |
DE (1) | DE112016007131B4 (ja) |
WO (1) | WO2018051459A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188392A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
WO2021130881A1 (ja) * | 2019-12-25 | 2021-07-01 | 三菱電機株式会社 | 物体検出装置、モニタリング装置及び学習装置 |
JP2021108155A (ja) * | 2020-05-29 | 2021-07-29 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像内のキーポイント位置の認識方法、装置、電子機器及び媒体 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6570789B2 (ja) * | 2017-04-24 | 2019-09-04 | 三菱電機株式会社 | 報知制御装置および報知制御方法 |
US10440229B2 (en) * | 2017-11-15 | 2019-10-08 | Dean Drako | Aerial imaging privacy enhancement system |
US10607462B2 (en) * | 2017-11-15 | 2020-03-31 | Eagle Eye Networks, Inc. | Aerial imaging privacy enhancement system |
US10939074B2 (en) * | 2017-11-15 | 2021-03-02 | Dean Drako | Aerial imaging privacy enhancement system |
US10223611B1 (en) * | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
US10839522B2 (en) * | 2018-05-11 | 2020-11-17 | Toyota Research Institute, Inc. | Adaptive data collecting and processing system and methods |
EP3951744A4 (en) * | 2019-03-26 | 2022-05-25 | Sony Semiconductor Solutions Corporation | IMAGE PROCESSING DEVICE, VEHICLE CONTROL DEVICE, METHOD AND PROGRAM |
US11922667B2 (en) | 2020-04-28 | 2024-03-05 | Rakuten Group, Inc. | Object region identification device, object region identification method, and object region identification program |
JP2022099120A (ja) * | 2020-12-22 | 2022-07-04 | キヤノン株式会社 | 被写体追尾装置およびその制御方法 |
CN113486721B (zh) * | 2021-06-09 | 2023-08-29 | 北京科技大学 | 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 |
CN113807337B (zh) * | 2021-08-17 | 2022-09-06 | 厦门市美亚柏科信息股份有限公司 | 一种基于图连通的文本检测方法、终端设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006047091A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | 移動体検出装置 |
JP2011028689A (ja) * | 2009-07-29 | 2011-02-10 | Sony Corp | 動画抽出装置、プログラム、および動画抽出方法 |
JP2013105432A (ja) * | 2011-11-16 | 2013-05-30 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2013205410A (ja) * | 2012-03-30 | 2013-10-07 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3880702B2 (ja) * | 1997-09-11 | 2007-02-14 | 富士重工業株式会社 | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
US7587064B2 (en) * | 2004-02-03 | 2009-09-08 | Hrl Laboratories, Llc | Active learning system for object fingerprinting |
JP2007069488A (ja) | 2005-09-07 | 2007-03-22 | Fujifilm Corp | セルロース系樹脂フィルム及びその製造方法 |
JP4958279B2 (ja) | 2006-05-17 | 2012-06-20 | 株式会社デンソーアイティーラボラトリ | 物体検出装置 |
JP2009146153A (ja) | 2007-12-13 | 2009-07-02 | Fujitsu Ltd | 移動体検出装置、移動体検出方法および移動体検出プログラム |
JP2009229085A (ja) | 2008-03-19 | 2009-10-08 | Nikon Corp | 欠陥抽出装置、方法、プログラム |
JP2009251892A (ja) | 2008-04-04 | 2009-10-29 | Fujifilm Corp | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム |
JP5612915B2 (ja) | 2010-06-18 | 2014-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 移動体検出装置及び移動体検出方法 |
JP5792091B2 (ja) | 2012-02-16 | 2015-10-07 | 富士通テン株式会社 | 物体検出装置及び物体検出方法 |
JP5917303B2 (ja) * | 2012-06-05 | 2016-05-11 | 株式会社東芝 | 移動体検出装置、移動体検出システム、および、移動体検出方法 |
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
JP2015056054A (ja) | 2013-09-12 | 2015-03-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10198689B2 (en) * | 2014-01-30 | 2019-02-05 | Hrl Laboratories, Llc | Method for object detection in digital image and video using spiking neural networks |
US10032280B2 (en) * | 2014-09-19 | 2018-07-24 | Brain Corporation | Apparatus and methods for tracking salient features |
-
2016
- 2016-09-15 WO PCT/JP2016/077268 patent/WO2018051459A1/ja active Application Filing
- 2016-09-15 DE DE112016007131.0T patent/DE112016007131B4/de active Active
- 2016-09-15 US US16/329,146 patent/US10943141B2/en active Active
- 2016-09-15 CN CN201680089086.7A patent/CN109690615A/zh active Pending
- 2016-09-15 JP JP2017510924A patent/JP6230751B1/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006047091A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | 移動体検出装置 |
JP2011028689A (ja) * | 2009-07-29 | 2011-02-10 | Sony Corp | 動画抽出装置、プログラム、および動画抽出方法 |
JP2013105432A (ja) * | 2011-11-16 | 2013-05-30 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2013205410A (ja) * | 2012-03-30 | 2013-10-07 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188392A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
WO2021130881A1 (ja) * | 2019-12-25 | 2021-07-01 | 三菱電機株式会社 | 物体検出装置、モニタリング装置及び学習装置 |
JPWO2021130881A1 (ja) * | 2019-12-25 | 2021-07-01 | ||
JP7031081B2 (ja) | 2019-12-25 | 2022-03-07 | 三菱電機株式会社 | 物体検出装置、モニタリング装置及び学習装置 |
JP2021108155A (ja) * | 2020-05-29 | 2021-07-29 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像内のキーポイント位置の認識方法、装置、電子機器及び媒体 |
JP7054746B2 (ja) | 2020-05-29 | 2022-04-14 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像内のキーポイント位置の認識方法、装置、電子機器及び媒体 |
Also Published As
Publication number | Publication date |
---|---|
US10943141B2 (en) | 2021-03-09 |
JP6230751B1 (ja) | 2017-11-15 |
DE112016007131T5 (de) | 2019-05-09 |
DE112016007131B4 (de) | 2023-11-02 |
US20190197345A1 (en) | 2019-06-27 |
JPWO2018051459A1 (ja) | 2018-09-13 |
CN109690615A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
KR101669713B1 (ko) | 물체 검출 | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
US11893789B2 (en) | Deep neural network pose estimation system | |
CN103810475B (zh) | 一种目标物识别方法及装置 | |
CN112950725A (zh) | 一种监控相机参数标定方法及装置 | |
JP2009048629A (ja) | 検出方法 | |
JP2012048484A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10525900B2 (en) | Vehicle periphery monitoring device | |
CN103093198A (zh) | 一种人群密度监测方法及装置 | |
CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
Wong et al. | A smart moving vehicle detection system using motion vectors and generic line features | |
CN106651903B (zh) | 一种运动物体检测方法 | |
CN110909620A (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
US10417507B2 (en) | Freespace detection apparatus and freespace detection method | |
US9569674B2 (en) | Movement amount estimation device, movement amount estimation method, and computer-readable recording medium storing movement amount estimation program | |
KR101851492B1 (ko) | 번호판 인식 방법 및 번호판 인식 장치 | |
Webster et al. | Improved raindrop detection using combined shape and saliency descriptors with scene context isolation | |
Tasson et al. | FPGA-based pedestrian detection under strong distortions | |
CN112767412A (zh) | 车辆部件级分割方法、装置以及电子设备 | |
JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
CN112784817B (zh) | 车辆所在车道检测方法、装置、设备及存储介质 | |
JP2018147241A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US11107197B2 (en) | Apparatus for processing image blurring and method thereof | |
JP6060612B2 (ja) | 移動面状況認識装置、移動体、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2017510924 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16916241 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16916241 Country of ref document: EP Kind code of ref document: A1 |