WO2010058821A1 - 接近物体検知システム - Google Patents
接近物体検知システム Download PDFInfo
- Publication number
- WO2010058821A1 WO2010058821A1 PCT/JP2009/069649 JP2009069649W WO2010058821A1 WO 2010058821 A1 WO2010058821 A1 WO 2010058821A1 JP 2009069649 W JP2009069649 W JP 2009069649W WO 2010058821 A1 WO2010058821 A1 WO 2010058821A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vehicle
- moving
- approaching object
- images
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 197
- 230000003287 optical effect Effects 0.000 claims abstract description 78
- 238000009826 distribution Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 72
- 238000005111 flow chemistry technique Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 abstract description 41
- 230000008569 process Effects 0.000 abstract description 24
- 238000003384 imaging method Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 13
- 239000000284 extract Substances 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Definitions
- the present invention relates to an approaching object detection system, and more particularly to a system for detecting an approaching object based on two or more images preceding and following a time series taken by a camera.
- the monitor displays a focus on an area where the driver or other occupant visually perceives It is done to make up with the image.
- Patent Documents 1 and 2 As a method of detecting a moving object approaching the host vehicle, for example, an area in which the position is changed between the images that sequentially precede and follow in time by optical flow processing based on a plurality of images that There is a method of detecting a part of an image as a moving object (Patent Documents 1 and 2).
- a velocity vector (optical flow) for each pixel constituting an image is generated between two or more images (frames) that sequentially and sequentially Although it is necessary to obtain it, the velocity vector is specified by searching in all directions centering on the target pixel, and it is necessary to sequentially apply all the pixels constituting the image as the target pixel.
- Patent Document 3 can be sufficiently coped with an on-board microcomputer because the calculation load is light, but the detection accuracy of the above-mentioned vertical edge is difficult, and erroneous detection increases, and practicability is poor. .
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an approaching object detection system capable of detecting an approaching moving object with high accuracy while reducing the load of arithmetic processing.
- the approaching object detection system performs an optical flow process on an image so as to detect only a velocity vector in a specific direction, thereby reducing the processing load on the image while having a velocity vector in the specific direction.
- the approaching object detection system is an optical system based on a camera which is fixed at a predetermined position and takes an image, and a plurality of images which are obtained by taking an image by the camera and which go back and forth in time series.
- First moving area detection means for detecting (extracting) an image portion moved in a specific direction in time series among the images by flow processing, and the first moving area detection means for each of the plurality of images
- Second moving area detection means for performing processing based on dynamic programming on each of the image portions detected by the step d) to obtain variation in size of the image portions along a direction different from the specific direction;
- An approaching object determination unit that determines whether or not the moving object corresponding to the image portion is an approaching object with respect to the camera according to the change.
- the specific direction is ideally a single (orientation)
- the narrow angle range may be divided into four One direction, five directions, etc. may be used.
- this specific direction is set in a large number, the computational load of the optical flow process will increase, so it is not preferable to carry out excessive fragmentation.
- the above-mentioned dynamic programming is a method for determining the degree of similarity in consideration of expansion and contraction, which is used in optimal path search of so-called graph theory, and is also called DP (Dynamic Programming) matching. That is, by applying this processing based on dynamic programming to two similar images, it is possible to obtain enlargement / reduction ratios before and after scaling of these two images.
- the “first direction different from the specific direction” is detected by the above-described first movement area detection means by optical flow processing. It is preferable that the direction is substantially orthogonal to the “specific direction” of the velocity vector to be attempted.
- one of the multiple directions may be a reference direction. It is possible to apply substantially orthogonal directions.
- the first moving area detection means performs optical flow processing based on a plurality of images which are sequentially back and forth in time
- the second moving area detection means detects (extracts) the image portion moved to a specific direction in series, and for each detected image part, based on dynamic programming along a direction different from the specific direction.
- the variation in size of the image portion in the later image in time series with respect to the image portion in the previous image in time sequence is determined, and the approaching object is determined according to the variation of the size.
- the determination means determines whether or not the mobile corresponding to the image portion is approaching.
- the optical flow process by the first moving area detection means is a process for detecting only the velocity vector in a specific direction
- the operation processing load is reduced. It is possible to accurately detect (extract) an image part having a velocity vector in a specific direction, and the processing based on the dynamic programming by the second moving area detection means is a light processing as arithmetic processing, and the first The approaching object determination means performs the moving object detection by subjecting the image portion detected by the movement area detection means to processing based on dynamic programming in a direction different from the specific direction described above to obtain variation in size. It is possible to accurately determine whether or not the vehicle is approaching.
- the second moving area detection means is a dynamic programming method for each image portion detected by the first moving area detection means in each of the plurality of images.
- the fluctuation of the magnitude is obtained based on the correspondence of the distribution of signal values.
- the second moving area detecting means is for each image portion detected by the first moving area detecting means in each of the plurality of images.
- a distribution (profile) of signal values along a direction different from the specific direction for each image portion by performing processing based on dynamic programming, and Distribution of signal values (distribution of signal values along a direction different from a specific direction) and distribution of signal values of an image portion in a later image in time series (signal values along a direction different from a specific direction)
- the ratio of the sizes of the two image parts can be easily determined by correlating the distribution with the distribution), and the ratio of the sizes is considered as the “variation in size” in the approaching object detection system according to the present invention. Because you can .
- the first moving area detection means is a direction corresponding to the horizontal direction in the image as the specific direction to be subjected to the optical flow processing, and the horizontal direction. And one or more predetermined orientations within an angle range from 15 degrees upward to 15 degrees downward, and the second moving area detection means is based on the dynamic programming method.
- a direction corresponding to the vertical direction in the image is applied as a direction different from the specific direction in processing.
- the first moving area detection unit is an orientation corresponding to the horizontal direction in the image as the specific orientation to be subjected to optical flow processing. Since the orientation within the angle range of 15 degrees upward to 15 degrees downward with respect to the horizontal direction is applied, it is possible to detect a mobile body moving mainly in the horizontal direction.
- the processing of the dynamic programming by the second moving area detecting means is an image of the image portion detected by the first moving area detecting means, with respect to the image portion including the moving body moving mainly in the horizontal direction.
- the approaching object determination means determines that the moving object in the detected image portion is a moving object (approaching object) approaching the camera.
- the approaching object determination means determines that the moving object in the detected image portion is a moving object moving away from the camera.
- the approaching object determination means determines that the moving object in the detected image portion is approaching with respect to the diameter direction of the lens of the camera but is separating with respect to the optical axis direction. It is determined that the object is not an approaching object.
- the approaching object determination means determines that the moving object in the image portion is an approaching object when the magnitude of the change is in the increasing direction.
- the approaching object determination unit detects the detection result of the second moving area detection unit only when it fluctuates in the direction in which the size increases. Since the moving object in the image portion is determined to be an approaching object, the accuracy of determining the approaching object can be improved more than that of determining the approaching object based only on the detection result by the first moving area detection means. .
- the first moving area detection means may, among the images obtained by photographing by the camera prior to detection of the moved image portion by the optical flow processing, It is preferable to exclude at least one of the sky and the ground.
- the sky and the ground are excluded from the target of the approaching object to be detected by the present invention.
- the calculation load of the optical flow process can be further reduced.
- the first moving area detection means Since the sky and the ground in the image are usually areas where the density (brightness) and hue are substantially uniform, the first moving area detection means has such a flat (brightness) distribution (brightness) A region (generally uniform) is judged as an empty region or a region of the ground, and such a concentration (brightness) distribution is substantially flat (a density (brightness) is substantially uniform) prior to optical flow processing.
- the amount of computation can be reduced by removing the signal from the optical flow processing.
- the first moving area detection means performs optical flow processing based on the two images (two frames) preceding and following in time series, and time series of the images
- the second moving area detection means detects an image portion moved in a specific direction, and processing based on dynamic programming based on the two images (two frames) targeted for the optical flow processing. It is preferable that the variation of the magnitude is determined by
- the approaching object detection system having the preferable configuration as described above, the approaching object can be detected with high accuracy based on only two images which are sequentially back and forth.
- the camera is fixed to the rear of the vehicle so as to capture an image of the rear of the vehicle.
- the approaching object detection system for example, when the vehicle is parked by moving forward instead of moving backward, the vehicle is withdrawn from the parking lot or the garage when moving out.
- the camera in the approaching object detection system according to the present invention is fixed to the rear of the vehicle, it is difficult to visually recognize this. Since the system reliably detects an approaching object approaching a moving vehicle, the driving operation of the vehicle can be safely supported.
- the camera is attached to a vehicle, and vehicle information acquisition means for acquiring vehicle information on the traveling state of the vehicle including the vehicle speed, and the vehicle information indicates movement of the vehicle Image processing that performs size correction to correct the size of the image in a direction that suppresses the occurrence of a change in the size of the image according to the movement of the vehicle in the images that sequentially move in time series. It is preferable to have a part.
- the image processing unit when the vehicle equipped with the camera moves, the image processing unit performs size correction to move the vehicle, thereby moving on the image.
- the image processing unit performs size correction to move the vehicle, thereby moving on the image.
- the image processing unit changes the enlargement ratio of the image according to the moving distance of the vehicle between the images preceding and following in time series at the time of size correction.
- the enlargement ratio is changed according to the vehicle movement distance between the images one after another in time series.
- the first moving area detecting means obtains a variation in shape of an area occupied by the moving object moved in the specific direction between the images sequentially back and forth in time series
- the approaching object determination unit determines that the moving body is a pedestrian when the variation in the shape of the area is larger than a preset setting value.
- the approaching object detection system having such a preferable configuration, it is possible to determine the pedestrian based on the variation in the shape of the area occupied by the moving object on the image. That is, in the case of a pedestrian, the moving speed is slow or the moving direction is unstable, and the appearance of the optical flow in a specific direction is not remarkable between the images that are back and forth in time series as compared with the vehicle. In some cases, the size variation due to dynamic programming may not be noticeable. However, pedestrians shake their arms or step on their feet, and the moving direction of a part of the body changes, which causes variations in the coordinates obtained by the optical flow in a specific direction, whereas In the case of such a constant shape, the variation in shape is small.
- the directivity of the optical flow is specified by determining the moving object as a pedestrian, and the processing load using the dynamic programming method is light. Even with the means, pedestrians can be detected with high accuracy.
- the variation calculating unit obtains a difference in the area of the area occupied by the moving object moved in the specific direction in the images sequentially back and forth, and the plurality of images back and forth in time series It is preferable to set the value accumulated over the range as the variation.
- a pedestrian can be obtained by accumulating the difference in area of the area occupied by the moving object between the images which are sequentially back and forth in a plurality of images. Even if the moving speed is low, and the shape change is small between the images adjacent in time series, the pedestrian can be determined with high accuracy.
- the approaching object detection system it is possible to accurately detect an approaching moving object while reducing the load of arithmetic processing.
- FIG. 1 is a block diagram showing a configuration of an approaching object detection system 100 according to Embodiment 1 of the present invention. It is a schematic diagram which shows the typical example of the condition where the approaching object detection system 100 shown in FIG. 1 is utilized. 5 is a flowchart showing the processing procedure of the approaching object detection system 100. It is a figure showing the example of the time-sequential image image
- the obtained optical flow and an area moving in a substantially horizontal direction obtained based on the optical flow are shown.
- This is a schematic diagram showing a moving state determined to be an approaching object, a moving state determined to be an distant object, and a moving state determined to be neither approaching nor separating from the vehicle. is there.
- FIG. 17 is a flowchart illustrating the first half of the processing procedure of the approaching object detection system 100b according to the second embodiment.
- FIG. 17 is a flowchart showing the second half of the processing procedure of the approaching object detection system 100b according to the second embodiment.
- FIG. 1 is a block diagram showing a configuration of an approaching object detection system 100 according to Embodiment 1 (Example 1) of the present invention
- FIG. 2 is a typical situation where the approaching object detection system 100 shown in FIG.
- FIG. 3 is a schematic diagram showing a typical example, showing a situation where a vehicle 200 equipped with this approaching object detection system 100 is about to enter an intersection
- FIG. 3 is a flowchart showing the processing procedure of the approaching object detection system 100.
- the vehicle 200 on which the approaching object inspection system 100 is mounted is hereinafter referred to as a host vehicle 200 in order to distinguish it from other vehicles 300 described later.
- the illustrated approaching object detection system 100 is a camera 10 fixed to the front end of the vehicle 200 so as to capture a landscape Jm on the side (right side) of the vehicle at the front end of the vehicle 200 as an image P (t). And an image P (t) obtained by optical flow processing based on two images P (t) and P (t + 1) (refer to FIG. 4) which are obtained by photographing with this camera 10 and which are sequentially obtained in time series. , P (t + 1), rectangular image portions Q (t), Q (t) including regions q (t), q (t + 1) (see FIG. 6) moved in a substantially horizontal direction (specific direction) in time series.
- first moving area detecting means 30 for detecting (extracting) t + 1) see FIG.
- the approaching object detection system 100 includes the own vehicle 200 at the front end of the own vehicle 200 in addition to the camera 10 that captures the landscape Jm on the right side of the own vehicle 200.
- the camera 20 which photographs the scenery Jn of the left side of is also provided.
- a single camera having an optical system with a wide angle of view of, for example, 180 degrees or more may be applied, and in that case, the right side of the captured image
- An image obtained by cutting out the angle of view range corresponding to the other landscape Jm may be applied as an image obtained by shooting with the camera 10 for the right side, and among the photographed images, the landscape in the left direction
- An image obtained by extracting the angle of view corresponding to Jn may be applied as an image obtained by photographing with the left-side camera 20.
- the operation of the approaching object detection system 100 will be described.
- the driver of the vehicle interior of the vehicle 200 advances the vehicle 200.
- Other vehicles, bicycles, etc. passing through the road crossing the road may be overlooked or difficult to see directly.
- the camera 10 installed at the front end can capture a landscape Jm on the right side of the intersecting road, and The camera 20 installed at the front end captures a landscape Jn on the left side of the intersecting road (step # 1 in FIG. 3).
- the scenery Jm on the right side taken by the camera 10 is performed, and the scenery Jn on the left side taken by the camera 20 is the scenery Jm on the right side.
- the description is appropriately omitted because it may be applied symmetrically.
- the image captured by the camera 10 is acquired as an image P of 30 [frames / sec] in the image acquisition unit 25 with, for example, VGA size (640 [pix] x 480 [pix]) and video signal standard NTSC. (# 2 in FIG. 3).
- the images P (t), P (t + 1), P (t + 2),... Which are photographed by the camera 10 and acquired sequentially by the image acquisition unit 25 are input to the first moving area detection means 30.
- the first moving area detection means 30 performs optical flow processing on the basis of the images P (t), P (t + 1), P (t + 2),.
- the first moving area detection unit 30 detects an interval between two images P (t) and P (t + 1) that are consecutive in time series (hereinafter referred to as “image P (t + 1), P (t + 2) , And between images P (t + 2) and P (t + 3),...
- the direction for obtaining the optical flow is limited to the substantially horizontal direction. That is, when a moving body is usually extracted by optical flow processing, as shown in FIG. 5A, the optical flow is obtained for the direction of 360 degrees centering on the pixel of interest as the direction for obtaining the optical flow.
- an angle interval is, for example, an interval of 1 degree or an interval of 5 degrees, and in the case of an interval of 1 degree, it is necessary to perform 360 times of search per pixel of interest. It is necessary to perform the search 72 times per one target pixel ((a) in the figure shows the directions at intervals of 10 degrees).
- the first moving area detection means 30 in the present embodiment horizontally (in the directions of 0 degree and 180 degrees) and the horizontal direction with respect to the pixel of interest.
- Optical flow is to be obtained for only a total of six directions of an upward direction of 15 degrees with respect to the direction and an downward direction of 15 degrees with respect to the horizontal direction.
- the first movement area detection unit 30 in the embodiment performs only six searches per pixel of interest.
- the computational load required for optical flow processing can be significantly reduced compared to the conventional computational load for performing optical flow processing for an angle of 360 degrees around the entire circumference.
- the calculation microcomputer used for the first moving area detection means 30 can be covered by a general on-vehicle microcomputer, and a reduction in manufacturing cost can also be realized.
- an object moving in a substantially horizontal direction in the image P is It can be detected (extracted) as a mobile. That is, since other vehicles 300 and road traffic objects such as bicycles and pedestrians are moving objects that move generally in the horizontal direction, the other vehicles 300 that are passing as the above-described moving objects in the substantially horizontal direction And bicycles, pedestrians, etc. can be detected without leakage.
- direction to be subjected to the optical flow processing is limited to six directions in the present embodiment, 14 directions having a slightly finer 5 degree interval, and other angle intervals (equal angle intervals) May be applied).
- the moving object to be detected moves in a substantially horizontal direction, such as another vehicle 300, a bicycle, a pedestrian, etc.
- a substantially horizontal direction such as another vehicle 300, a bicycle, a pedestrian, etc.
- the moving object to be detected is an object that moves from the upper side to the lower side or from the lower side to the upper side (falling objects, raindrops, hanging load of crane, etc.)
- the direction of movement in the substantially vertical direction may be limited to the substantially vertical direction as the target direction of the optical flow processing.
- the optical flow OP (t to t + 1) and the images P (t + 1) and P (t + 2) of FIG.
- the optical flow OP (t + 1 to t + 2) of (b) is obtained.
- the gray colored portions on the left side are regions having velocity vectors (optical flows) in the substantially horizontal direction.
- the first moving area detection means 30 occupies the moving object in the substantially horizontal direction in each of the images P (t) and P (t + 1). Regions q (t) and q (t + 1) are identified (# 3 in FIG. 3).
- the first moving area detection means 30 moves the mobile unit in the substantially horizontal direction in each of the images P (t + 1) and P (t + 2).
- the occupied regions q (t + 1) and q (t + 2) are identified (# 3 in FIG. 3).
- the colored portions on the right side are the regions q occupied by the mobile body in the substantially horizontal direction.
- the first moving area detection unit 30 encloses the area q (t) in the image P (t) in a rectangle and sets it as an image portion Q (t) including the moving area, and similarly
- the area q (t + 1) in the image P (t + 1) is enclosed in a rectangle, which is set as an image portion Q (t + 1) including the movement area (see FIG. 7A).
- the area q (t + 2) in) is enclosed in a rectangle, and this is set as an image portion Q (t + 2) including the movement area (see FIG. 7A, # 4 in FIG. 3).
- the image portions Q (t), Q (t + 1), Q (t + 2),... Detected by the first moving area detecting means 30 are inputted to the second moving area detecting means 40.
- the timing when the image portion Q is input from the first moving area detection unit 30 to the second moving area detection unit 40 is sequentially input as soon as the first moving area detection unit 30 identifies the image portion Q. Be done.
- the second moving area detection means 40 detects image portions Q sequentially input and output between two image portions Q (t) and Q (t + 1), image portions Q (t + 1), DP matching processing is performed between Q (t + 2), ..., ... (# 5, # 6, # 7 in Fig. 3).
- an image signal value (brightness along the vertical direction at a predetermined position preset in the horizontal direction)
- the distribution (profile) of pixel values (values etc.) is determined (# 5 in FIG. 3), and then, for each image portion in a set of two images sequentially linked in time series, relative as shown in FIG.
- the distribution of the image signal values of the image portion Q (t + 2) determined in step S2 is matched (# 6 in FIG. 3), and matching based on this association results in the image portion Q (t + 2) of both image portions Q (t + 1)
- processing based on DP matching is sequentially performed on each image portion of another set of two images sequentially linked in time series, and the obtained enlargement factor K is sequentially input to the approaching object determination unit 50.
- the approaching object determination means 50 determines an area q included in the image portion Q (an image of the moving body (the other vehicle 300 is illustrated in the figure)) based on the enlargement factor K detected by the second moving area detection means. Is a moving object approaching or moving away from the host vehicle 200, or approaching in a substantially horizontal direction, but along the optical axis direction of the camera 10. It is determined that the moving object is moving away (for example, a co-traveling vehicle traveling in parallel) and not a moving object approaching as a whole (# 8, # 9, # 10, # 11 in FIG. 3). , # 12).
- the time series is relatively later among the two images P (t) and P (t + 1) that are sequentially related in time series.
- the size of the image portion Q (t + 1) in the image P (t + 1) is larger than that of the image portion Q (t) in the previous image P (t) because the time series is relatively large.
- Can be determined to have an increasing tendency (# 8 in FIG. 3) and the moving object corresponding to the region q included in the image portion Q approaches the vehicle 200 as shown in A1 of FIG. It is determined that the object is moving (for example, an approaching vehicle) (# 9 in FIG. 3).
- the image P (t + 1) in the later time series is Since the size of the image portion Q (t + 1) is smaller than that of the image portion Q (t) in the previous image P (t) in time series, it is determined that the size does not tend to be equal. 3 and the moving object corresponding to the area q included in the image portion Q is determined to be an object moving away from the host vehicle 200, as shown at A3 in FIG. (# 12 in FIG. 3).
- the first moving area detection unit 30 performs the optical flow processing based on the two images P and P sequentially related in time series.
- the second moving area detection means 40 detects (extracts) the image portions Q, Q which have been moved in a substantially horizontal direction in time series among the images P, P, and the second moving area detection means 40 By performing processing based on dynamic programming along the vertical direction, the image portion Q (t) in the previous image P (t) in time-sequentially the image P (t + 1) in time-sequentially The variation in size of the image portion Q (t + 1) is obtained, and the approaching object determination means 50 determines the moving object corresponding to the image portion Q (t), Q (t + 1) according to the variation in the size. It is determined whether it is approaching.
- the optical flow processing by the first moving area detection means 30 is processing for detecting only the velocity vector in the substantially horizontal direction, it is possible to substantially reduce the processing load.
- the image portion Q corresponding to another vehicle 300 moving in the horizontal direction can be detected (extracted) with high accuracy, and the processing based on the dynamic programming by the second moving area detection means 40 is a processing with a light computational load Further, by performing processing based on dynamic programming in the vertical direction on the image portion Q detected by the first moving area detection means 30, the approaching object determination means 50 is obtained by obtaining a variation in size. However, it can be accurately determined whether the moving object is approaching.
- each of the second moving area detection means 40 is an image detected by the first moving area detection means 30 in each of the two images P and P. Processing based on dynamic programming is performed on parts Q and Q, and for each image part Q and Q, the distribution (profile) of signal values along the vertical direction is obtained, and the previous image is obtained in chronological order The distribution of the signal values of the image portion Q (t) in P (t) and the distribution of the signal values of the image portion Q (t + 1) in the image P (t + 1) later in time series correspond to each other. By doing this, the size ratio between the two image parts Q (t) and Q (t + 1) can be easily determined, which makes it easy to determine whether the moving object is a truly approaching object or not. It can be determined.
- the approaching object determination unit 50 determines the inside of the passenger compartment.
- a signal S is output to warn or warn a driver or other occupant of the vehicle.
- the image display device and the notification device in the existing in-vehicle system (for example, a car navigation system, a voice guidance system, a camera monitor system, a back alarm sound alerting system, etc.) having received this signal S It may be displayed or sound may be generated to alert or warn.
- the existing in-vehicle system for example, a car navigation system, a voice guidance system, a camera monitor system, a back alarm sound alerting system, etc.
- a rectangular frame T surrounding an area q representing an approaching object blinks or the frame T is visually stimulated. It is also possible to employ display in a vivid color or the like.
- the approaching object detection system 100 has been described only for the landscape Jm taken on the right side by the camera 10, the landscape Jm taken on the left side taken by the camera 20 is the scenery Jm on the right side And should be applied symmetrically.
- the first moving area detection means 30 is obtained by photographing with the camera 10 prior to detection of the moved area q (image part) by optical flow processing.
- the image P at least one of the region corresponding to the sky and the region corresponding to the ground may be excluded in advance.
- these empty regions are extracted from the image P before the optical flow processing. By removing the ground region in advance, it is possible to further reduce the calculation load of the optical flow processing.
- the first moving area detection means Since the sky and the ground in the image are usually areas where the density (brightness) and hue are substantially uniform, the first moving area detection means has such a flat (brightness) distribution (brightness)
- the optical flow is determined by determining that the density (brightness) is substantially uniform area as an empty area (represented by a symbol Ps in FIG. 4A) or a ground region (represented by a symbol Pr in FIG. 4A). The amount of calculation can be reduced by removing such a region where the concentration (brightness) distribution is substantially flat prior to processing so as not to be a target of optical flow processing.
- the first moving area detection unit 30 performs time-sequentially of the images P by optical flow processing based on two images (two frames) that sequentially and sequentially.
- the second moving area detecting means 40 detects the area q moved to the specific direction in the second direction, and the second moving area detecting means 40 performs processing based on the dynamic programming based on the two images (two frames) targeted for the optical flow processing.
- the approaching object detection system 100b according to the second embodiment is a modification of the first embodiment, and the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and the description thereof is omitted.
- the differences from Embodiment 1 will be mainly described.
- the approaching object detection system 100b includes a camera 240, an image processing unit 210, and a variation calculation unit 220 in addition to the configuration shown in the first embodiment.
- the camera 240 is fixed to the rear of the host vehicle 200 and captures an image of the rear of the host vehicle 200.
- the image processing unit 210 corrects the image P obtained by the image acquisition unit 25 based on the vehicle information obtained from the vehicle information acquisition unit 230 and outputs the image P to the first moving area detection unit 30 b.
- the vehicle information acquisition unit 230 acquires vehicle information via CAN communication or the like from a control unit (not shown) that controls the traveling of the vehicle.
- the vehicle information includes shift information indicating a shift position of the vehicle, vehicle speed information for obtaining a movement distance of the vehicle, and steering angle information for obtaining a rotational component of the vehicle.
- the vehicle speed information may be obtained not only from the signal from the vehicle speed sensor outside the figure but also from the signal from the wheel speed sensor outside the figure at low speed when the detection accuracy of the vehicle speed sensor is low.
- FIG. 12 is an explanatory view showing a relationship between an actual image photographed by the cameras 10 and 20 and an image P projected on a two-dimensional plane, and as shown in this figure, the cameras 10 and 20 at the position of 0c.
- the real image (three-dimensional camera coordinates Pc) captured by the above is converted into an image P on the screen projected on a two-dimensional plane.
- the object image projected on the image P is enlarged.
- FIG. 13 A specific example will be described with reference to FIG. 13.
- the object image B (a) in the image P (a) shown in FIG. 13 (a) is obtained before the host vehicle 200 moves forward (this object image It is assumed that the vehicle indicated by B (a) is at a stop), and after the own vehicle 200 approaches the camera coordinates Pc, an object image B (b) on the image P (b) as shown in FIG. b) is enlarged.
- the image processing unit 210 based on the vehicle speed information obtained by the vehicle information obtaining unit 230, for example, an image P (a) shown in FIG. 13 (a) and an image P (shown in FIG. Calculate the movement amount of the vehicle 200 between b) and use it as a distance correction value of perspective projection (coordinate conversion), and the projection size of the object image B (b) in the current image P (b), A correction is performed to obtain an image P (c) in which the enlargement ratio of the image P is reduced so that the projection size of the object image B (a) of the image P (a) in the previous frame is the same.
- the sizes of non-moving objects such as the background in each image P can be made uniform, and only moving objects are enlarged, and the approaching object image is enlarged. Distant object images can be reduced.
- the lens distortion correction is a correction that eliminates or reduces distortion caused by the lens characteristics of the cameras 10, 20, and 240. That is, depending on the lens, images of the lens peripheral portion and the lens focusing portion may be different.
- FIG. 14 (b) shows an example in which barrel distortion type distortion appears, and in this case, distortion occurs in which the frame wx, wy is curved. Therefore, when the lens has such distortion, the frame frames wx and wy are straight as shown by dotted lines in the figure, respectively.
- Image processing (lens distortion correction) to form
- the relationship between the size of the object on the image P and the distance to the vehicle 200 can be made uniform at any position on the image P.
- the first moving area detection unit 30 b performs optical flow processing on the time-series continuous image P after the correction in the image processing unit 210, and moves the image in the specific direction in time series. Detect part Q. This optical flow process is the same as that of the first embodiment, and the description will be omitted.
- the variation calculating section 220 obtains the variation in the shape of the area q occupied by the moving body.
- the variation in shape is used for pedestrian determination in the approaching object determination means 50b described later.
- the difference in the area of the area q occupied by the moving object between the images P that precede and follow in time series is determined, and this difference is set in advance Use the value accumulated over the interval. That is, when the approaching object is a vehicle, the shape is constant, and the change in the area between the preceding and succeeding frames is also small. On the other hand, in the case of a pedestrian, the movement direction of the hand or foot changes, so the size of the area q having the optical flow in the horizontal direction changes, but in the case of a pedestrian Therefore, the change between the previous and next frames is small.
- the value becomes larger as the area q in which the shape (area) changes continuously between the frames, and this value is the degree of the variation in the shape of the area q. It can be a value representing
- the approaching object determination unit 50b performs pedestrian determination in addition to the determination of the approaching vehicle, the parallel traveling vehicle, and the distant vehicle described in the first embodiment.
- the approaching object determination unit 50b extracts, as the image portion Q, a pedestrian or another vehicle 300 having a high possibility size as a determination target object, and extracts this determination target object. If the image portion Q has a variation in shape larger than a preset value (degree), it is determined as a pedestrian. In this case, it is determined whether or not the accumulated value of the area difference between the regions q in the preceding and succeeding images P is larger than a preset threshold value.
- the enlargement ratio is calculated based on the enlargement ratio K obtained by the second moving area detection unit 40.
- K is greater than 1
- the enlargement ratio K is an equal ratio of approximately 1, parallel traveling vehicles traveling parallel to the host vehicle 200 If the magnification ratio K is less than 1, it is determined that the vehicle is a distant vehicle (moving object).
- the approaching object detection process is performed at the time of going into an intersection at the time of forward traveling or at the time of backward traveling as shown in FIG. 2 described above. Or may be automatically started when a backward travel is detected, or may be started by the driver turning on a switch instructing to start an approaching object detection process.
- intersection approach at the time of forward traveling may be regarded as intersection approach when the vehicle speed falls below the set speed by the driver's braking operation to simplify control, or navigation outside the figure
- intersection approach may be determined based on information of the system and other driving support systems.
- step S1 the vehicle information acquisition unit 230 acquires vehicle information, and the process proceeds to the next step S2.
- the image P is acquired 30 frames per second.
- step S4 after the size correction and lens distortion correction described above are performed in the image processing unit 210, the process proceeds to step S5.
- step S6 the variation calculation unit 220 of the first moving area detection unit 30b determines the variation in shape of the area q occupied by the moving object obtained in step S5 (accumulation of the area difference between the preceding and succeeding images). Ask.
- the approaching object determination means 50b determines the presence or absence of a pedestrian and the approaching vehicle, the parallel traveling vehicle, and the distant vehicle.
- step S11 it is determined whether or not the image part Q is large to some extent. If it is large, the process proceeds to step S12. If it is not large, the process proceeds to step S14.
- “somewhat large” means that the size of the image portion Q on the image P is high enough to avoid the collision with the vehicle 200, that is, the image portion on the image P
- the size of Q corresponds to the size of the moving object itself and the distance to the vehicle 200. For example, when the moving object is another vehicle 300, although it has a certain size itself, it has a high moving speed, so it is from a time point where it is present to a certain distance (small in image P). Care must be taken to avoid contact.
- the size of the moving object is smaller than that of the other vehicles 300, but is relatively close to the vehicle 200 because the moving speed is low (the size on the image P is large) At this point, care must be taken to avoid contact.
- a threshold value of the size on the image P that needs to be recognized as an approaching object is set in advance, regardless of whether the moving object is another vehicle 300 or a pedestrian. In step S11, the threshold and the size of the area q are compared and determined.
- step S12 the variation in the shape of the area q occupied by the moving object obtained in step S6 (the accumulated value between the set frames of the area difference in the previous and subsequent images P in the second embodiment) is somewhat large If it is large, the process proceeds to step S13, and if it is not large, the process proceeds to step S14.
- “large to some extent” means that the size of the variation in shape can be regarded as a high possibility of being a pedestrian or a bicycle, and is set in advance based on actual measurements of the pedestrian or bicycle It is determined by comparing with a threshold.
- step S13 which proceeds when the variation in shape is large to a certain extent, the image portion Q is determined to be a pedestrian including a bicycle, and the process returns to step S1.
- the image of the area q occupied by the moving object is a pedestrian, although the variation in shape becomes large as described above, the change in the position of the center of gravity of the area q is small. You may add as conditions.
- Step S14 and the subsequent steps S15 to S18 when the variation in shape is not large are the same as # 8 to # 12 in the first embodiment, and the process proceeds to step S15 when the enlargement ratio K tends to increase. If the image portion Q is determined to be an approaching vehicle, and the enlargement ratio K tends to increase by the same factor, the process proceeds to step S17, and it is determined to be a parallel traveling vehicle. If the enlargement ratio K is not equal to any increase At step S18, it is determined that the vehicle is a distant vehicle (non-approaching object).
- the vehicle 200 on which the approaching object detection system 100b is mounted is about to enter an intersection.
- the vehicle 200 on which the approaching object detection system 100b is mounted is about to enter an intersection.
- the approaching object detection system 100b starts object detection processing, and first acquires vehicle information (step S1). Then, based on the vehicle information, when entering the intersection in this forward traveling, the left and right landscapes Jm and Jn are photographed by the cameras 10 and 20 mounted at the front end of the vehicle (step S2). The images P captured by the cameras 10 and 20 are acquired as images P continuous in time series (step S3).
- the image processing unit 210 when the vehicle 200 is moving without stopping based on the vehicle information, the stopped object in the current image P (t) based on the shift information and the vehicle speed information A size correction is performed to correct the frame magnification so that the projection size of (background) and the projection size of the stop object (background) in the immediately preceding image P (t-1) are the same. It corrects so that the change of the size of the stop object image in the image P resulting from traveling does not occur.
- lens distortion correction is also performed to correct the image in the image P (t) to be an image without distortion (step S4). In addition, when the own vehicle 200 has stopped, this size correction is not performed.
- the first moving area detection means 30b performs optical flow processing based on the images P (t), P (t + 1), P (t + 2),. ), P (t + 1),..., Areas q (t), q (t + 1), q (t + 2) occupied by the moving object moved in the horizontal direction (specific direction) in time series are detected (step S5) . Further, the variation calculation unit 220 of the first moving region detection means 30b obtains the variation of the outer shape in the region q occupied by the moving body, and the variation of the area in the second embodiment (step S6). Further, the first moving area detecting means 30b sets rectangular image portions Q (t), Q (t + 1), Q (t + 2),... Including the area q occupied by the moving body (step S7).
- the second moving area detection means 40 extracts the luminance in the vertical direction in the image portion Q (step S8), and further associates the horizontal scale and the position in the image portion Q of the image P that precedes and follows the image. Then (step S9), the enlargement factor K of the image portion Q is calculated (step S10).
- the object indicated by the image portion Q is another one based on the enlargement factor K detected by the second moving area detection means 40 and the variation calculated by the variation calculation unit 220. It is determined whether the vehicle 300 is a pedestrian, a pedestrian, a parallel traveling vehicle, or a distant vehicle.
- the size of the area q occupied by the moving object determined to have movement by the optical flow is somewhat large and the variation of the shape is large to a certain extent. Since it is not constant, it is determined as a pedestrian including a bicycle (S11 ⁇ S12 ⁇ S13).
- the enlargement ratio K in the area q determined to have movement by the optical flow tends to increase, it is determined to be another vehicle 300 approaching (S11 ⁇ S12 ⁇ S14 ⁇ S15) and enlarged If the ratio K tends to be equal, it is determined that the vehicle is a parallel traveling vehicle (S11 ⁇ S12 ⁇ S14 ⁇ S16 ⁇ S16 ⁇ S17).
- those for which the enlargement ratio K does not tend to increase and to be equal have a detection target as a distant vehicle as having a low degree of danger to the host vehicle for the time being Remove from things.
- a camera monitor system or the like is used for the occupant of the host vehicle such as a driver as in the first embodiment. An action to alert the user is performed. In this case, it is preferable to differentiate the display between the approaching vehicle and the pedestrian.
- the camera 240 at the rear of the vehicle captures a picture of the rear of the vehicle 200, and the same process as described above is performed. To be executed. For example, if you parked in a parking lot, etc. instead of moving backwards, when you leave the parking lot, you will be moving backwards, and it will be difficult to visually recognize the rear of the vehicle, but as mentioned above In the approaching object detection system in which the camera is fixed, the system reliably detects an approaching object approaching to the moving vehicle even when the moving object is difficult to visually recognize. Therefore, the driving operation of the vehicle can be safely supported.
- the following effects a) b) c) d) can be obtained as in the first embodiment.
- a) Optical flow processing in which only the velocity vector in the substantially horizontal direction is detected when the first moving area detection means 30 b extracts an object with motion from two images P and P that are sequentially linked in time series As compared with detection with velocity vectors in all directions, it is possible to accurately detect (extract) an object moving in a substantially horizontal direction in a short time while reducing the calculation processing load.
- the second moving area detection means 40 obtains the distribution (profile) of signal values along the vertical direction for each image portion Q, Q. Distribution of signal values of the image portion Q (t) in the previous image P (t) in time series and distribution of signal values of the image portion Q (t + 1) in the image P (t + 1) after time series
- the enlargement ratio K is determined by making the signal values correspond to each other. Thus, based on the enlargement factor K, it can be easily determined whether the moving object is an object that is truly approaching.
- the special effects of the second embodiment of the following e) to f) can be achieved.
- e) In order to detect an approaching object in the first movement area detection means 30b, when the host vehicle 200 is in the non-stop state, the enlargement ratio of the image P is set based on the vehicle speed and the traveling direction of the host vehicle 200. , Correction was made in the direction in which the size of the non-moving object (background) does not change. For this reason, it is possible to prevent erroneous detection due to the size change of the non-moving object (background) on the image P due to the forward and backward movement of the vehicle 200.
- the optical flow is limited to a specific direction, and the size change of the non-moving object image (background) on the image P due to the movement of the own vehicle 200 is a method of lightening the operation processing load using dynamic programming. Can be removed to improve the detection accuracy of the approaching object. Moreover, since the removal of the size change of the non-moving object is performed by changing the enlargement factor of the image P, the load of the correction processing is compared to performing the image processing of the specific image in the image P. Can be small.
- the detection direction of the optical flow is specified, and the dynamic programming method A pedestrian can be detected with high accuracy even with a means with low computational processing load using.
- the moving direction is unstable or the moving speed is slow, so that, for example, optical flow is difficult to appear between the images P adjacent to each other in time series, and the enlargement ratio K is also low.
- determination of an approaching object is performed even when the host vehicle 200 is moving, and when there is a pedestrian approaching the host vehicle 200, the host vehicle 200 is stopped.
- the probability of contact with a pedestrian is higher than when it is. Therefore, it is more effective to perform pedestrian determination as an approaching object in this manner.
- the pedestrian is determined by narrowing the size of the area q occupied by the moving object to a certain extent and the pedestrian with a low possibility of contact is excluded from the determination. Can reduce the load on
- the variation is determined based on the numerical value accumulated over a predetermined time for the difference in the area of the region q in the preceding and succeeding images P.
- the processing is based on the area, the comparison is simple and the calculation can be simplified.
- the area difference is accumulated and determined, even if the discrimination is difficult between the images P adjacent to each other like the pedestrian by the optical flow and the dynamic programming, the pedestrian's It becomes possible to judge.
- the cameras 10, 20, and 240 are fixed to the front and rear of the vehicle 200, but in the present invention, the installation positions of the cameras are limited to these.
- the camera in the approaching object detection system according to the present invention may be fixed to any part of the vehicle, and may be provided, for example, on the side of the vehicle.
- the camera is not limited to one fixed to a vehicle, and may be attached to a structure or the like.
- the size of the image of the non-moving object (background) in the image P is corrected to be the same when the vehicle 200 is moving.
- the size of the images may not be completely the same as long as correction is performed in the direction in which the change in the size of the image is suppressed. Also in this case, it is possible to suppress false detection, as compared with the case where correction is not performed.
- the size of the stop object becomes the same on the images that sequentially go back and forth in time series according to the back and forth movement amount of the vehicle.
- the size correction is performed, but the following correction may be added. That is, in the image processing unit, when the image on the image P moves in the horizontal direction as the vehicle turns, the image of the non-moving object stays at the same place on the image P according to the steering angle and the vehicle speed. A correction may be made to move the center of the image P in the horizontal direction (x-axis direction).
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
接近物体検知システムにおいて、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出するものとする。カメラ10で撮影(#1)して得られた画像Pに対して、第1の移動領域検出手段30が、略水平方向へのオプティカルフローだけを検出し(#3)、得られたオプティカルフローに基づいて略水平方向に移動する領域を含む矩形の画像部分Qを設定し(#4)、設定された矩形の画像部分Qに対して、第2の移動領域検出手段40が、鉛直方向(縦方向)に沿った信号値の分布(プロファイル)を求め(#5)、さらに第2の移動領域検出手段40は動的計画法に基づく処理により、時系列手に相前後する2つの画像P,Pの画像部分Q,Qの信号値分布同士を対応させて(#6)拡大率を求め(#7)、接近物体判定手段50が、拡大率に応じて、真に接近してくる物体か否かを判定する。
Description
本発明は、接近物体検知システムに関し、詳細には、カメラによって撮影された時系列に前後する2つ以上の画像に基づいて、接近する物体を検知するシステムに関する。
従来、車両に設置されたカメラで車両周囲を撮影し、得られた画像を車室内のモニタに表示することで、運転者等の乗員の目視では死角となる領域への注力を、モニタの表示画像で補うことが行われている。
さらに、カメラで得られた画像に処理を施すことで、その画像内に写った移動体を自動的に検出し、その移動体が接近して来るものであれば、乗員に注意を喚起する技術も提案されている。
ここで、自車両に接近する移動体の検出方法としては、例えば、時系列的に前後する複数の画像に基づいたオプティカルフロー処理により、時系列的に前後する画像間で位置の変化した領域(画像の一部分)を移動体として検出する方法がある(特許文献1,2)。
また、画像に基づいて移動体に対応した領域を特定し、この特定された移動体に対応した領域における縦エッジ間の距離の変化に基づいて、拡大率を求め、この拡大率に基づいて、その移動体が接近しているか否かを判定する技術も提案されている(特許文献3)。
ところで、上述したオプティカルフロー処理によって画像内の移動体を検出する場合、時系列的に前後する2つ以上の画像(フレーム)間で、画像を構成する各画素ごとの速度ベクトル(オプティカルフロー)を求める必要があるが、その速度ベクトルは、注目画素を中心として全ての方向について探索することで特定され、しかも、画像を構成する全ての画素を順次、注目画素として適用する必要があり、計算処理の負荷が大きい。
特に、カメラを車両に設置して、この車両に接近してくる他の車両等を検出しようとする場合、その他車両等の走行速度を考慮すると、非常に短い間隔で画像を得て、略リアルタイムにオプティカルフローを算出する必要があり、車両に搭載されている一般的な車載マイコンなどの演算処理機で対応するのは困難である。
一方、特許文献3に示す技術は、演算負荷が軽いため、車載マイコンで十分に対応可能であるが、上述の縦エッジの検出精度に難があり、誤検出が多くなって、実用性が乏しい。
本発明は上記事情に鑑みてなされたもので、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出することができる接近物体検知システムを提供することを目的とする。
本発明に係る接近物体検知システムは、特定の向きへの速度ベクトルだけを検出するように、画像にオプティカルフロー処理を施すことで、演算処理負荷を軽減しつつ特定向きへの速度ベクトルを有する画像部分を精度よく抽出し、その抽出された画像部分に対して、前記の特定向きとは異なる方向について動的計画法に基づく処理を施すことで、その画像部分が真に接近してくる物体か否かを判定し、これにより、接近してくる移動体を精度よく検出するものである。
すなわち、本発明に係る接近物体検知システムは、所定の位置に固定され、画像を撮影するカメラと、前記カメラによって撮影して得られた、時系列的に前後する複数の画像に基づいて、オプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出(抽出)する第1の移動領域検出手段と、前記複数の画像のそれぞれにおける、前記第1の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記画像部分の、前記特定の向きとは異なる方向に沿った大きさの変動を求める第2の移動領域検出手段と、前記変動に応じて、前記画像部分に対応した移動体が前記カメラに対する接近物か否かを判定する接近物体判定手段と、を備えたことを特徴とする。
ここで、特定の向きは、理想的には単一(の向き)であることが好ましいが、カメラの撮像素子に結像させるためのレンズの画角などとの関係により、単一の向きに沿った速度ベクトルだけの検出では検出漏れを生じる虞があるため、特定の基準となる向きを含む狭い角度範囲(例えば、90度未満の角度範囲)の向きであれば、上記特定の向きとして適用することができる。
この場合、その狭い角度範囲の両端の角度の向き(2つの向き)と、基準となる向き(1つの向き)との3つの向きであってもよいし、その狭い角度範囲を分割して4つの向き、5つの向き、などとしてもよい。ただし、この特定の向きを多く設定すると、オプティカルフロー処理の演算負荷が増大するため、過度に細分化するのは好ましくない。
また、上記動的計画法とは、いわゆるグラフ理論の最適経路探索で用いられる、伸縮を考慮した類似度を判別するための手法であり、DP(Dynamic Programming)マッチングとも称されている。すなわち、この動的計画法に基づく処理を、類似した2つの画像に適用することで、これら2つの画像の、伸縮前後での拡大率乃至縮小率を得ることができる。
なお、第2の移動領域検出手段が動的計画法に基づく処理を画像部分に施す場合における「特定の向きとは異なる方向」は、上述した第1の移動領域検出手段がオプティカルフロー処理によって検出しようとする速度ベクトルの「特定の向き」に対して、略直交する方向であることが好ましい。
「特定の向き」が、上述したように単一の向きでないとき(狭い角度範囲に含まれる複数の向きのとき)における好ましい方向としては、これら複数の向きのうち基準となる1つの向きに対して略直交する方向を適用することができる。
以上のように構成された本発明に係る接近物体検知システムによれば、第1の移動領域検出手段が、時系列的に前後する複数の画像に基づくオプティカルフロー処理により、これらの画像のうち時系列的に特定の向きへ移動した画像部分を検出(抽出)し、第2の移動領域検出手段が、各検出画像部分に対し、特定の向きとは異なる方向に沿って動的計画法に基づく処理を施すことで、時系列的に前の画像におけるその画像部分に対する、時系列的に後の画像におけるその画像部分の、大きさの変動を求め、その大きさの変動に応じて、接近物体判定手段が、その画像部分に対応した移動体が接近しつつあるか否かを判定する。
そして、本発明に係る接近物体検知システムによれば、第1の移動領域検出手段によるオプティカルフロー処理が、特定の向きへの速度ベクトルだけを検出する処理であるため、演算処理負荷を軽減しつつ特定向きへの速度ベクトルを有する画像部分を精度よく検出(抽出)することができ、第2の移動領域検出手段による動的計画法に基づく処理は演算処理として軽い処理であり、しかも第1の移動領域検出手段によって検出された画像部分に対して、前記の特定向きとは異なる方向について動的計画法に基づく処理を施して大きさの変動を得ることで、接近物体判定手段が、移動体が接近しつつあるか否かの判定を精度よく行うことができる。
本発明に係る接近物体検知システムにおいては、前記第2の移動領域検出手段は、前記複数の画像のそれぞれにおける、前記第1の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記各画像部分ごとに、前記特定の向きとは異なる方向に沿った信号値の分布を求め、前記時系列的に前後する複数の画像における前記各画像部分ごとの前記信号値の分布の対応関係に基づいて、前記大きさの変動を求めるものであることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、第2の移動領域検出手段が、複数の画像のそれぞれにおける、第1の移動領域検出手段によって検出された各画像部分に対して、動的計画法に基づく処理を施して、各画像部分ごとに、特定の向きとは異なる方向に沿った信号値の分布(プロファイル)を求め、時系列的に前の画像における画像部分の信号値の分布(特定の向きとは異なる方向に沿った信号値の分布)と時系列的に後の画像における画像部分の信号値の分布(特定の向きとは異なる方向に沿った信号値の分布)とを対応させることで、両画像部分の大きさの比を簡単に求めることができ、この大きさの比を、本発明に係る接近物体検知システムにおける「大きさの変動」とすることができるからである。
本発明に係る接近物体検知システムにおいては、前記第1の移動領域検出手段は、前記オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して15度上向きから15度下向きまでの角度範囲内の所定の1または2以上の向きと、を適用したものであり、前記第2の移動領域検出手段は、前記動的計画法に基づく処理における前記特定の向きとは異なる方向として、前記画像における、鉛直方向に対応した方向を適用したものであることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、第1の移動領域検出手段は、オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して15度上向きから15度下向きまでの角度範囲内の向きが適用されるため、主として水平方向に移動する移動体を検出することができる。
そして、このとき、水平方向という単一方向に沿った向きだけでなく、この水平方向を中心とした15度上向きから15度下向きまでの角度範囲内の向きの速度ベクトルを検出することができるため、厳密に水平方向に移動するものだけでなく、水平方向に対してわずかに角度を有した向きの移動体も検出することができ、主として水平方向に移動する移動体の検出洩れを防止することができる。
また、第2の移動領域検出手段による動的計画法の処理が、第1の移動領域検出手段によって検出された、主として水平方向の向きに移動する移動体を含む画像部分に対して、その画像部分のうち鉛直方向に対応した方向に沿った信号値の分布を対象とすることで、画像部分が鉛直方向に関して拡大されたか、縮小されたか、または拡大も縮小もされていないか、を検出することができる。
これにより、略水平方向に沿って移動していて(第1の移動領域検出手段による検出結果)、かつ鉛直方向の大きさが拡大されている(第2の移動領域検出手段による検出結果)場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラに対して接近しつつある移動体(接近物体)であると判定する。
また、略水平方向に沿って移動していて(第1の移動領域検出手段による検出結果)、かつ鉛直方向の大きさが縮小されている(第2の移動領域検出手段による検出結果)場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラに対して遠離りつつある移動体であると判定する。
さらに、略水平方向に沿って移動していて(第1の移動領域検出手段による検出結果)、かつ鉛直方向の大きさが拡大も縮小もされていない(第2の移動領域検出手段による検出結果)場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラのレンズの直径方向については接近しつつあるが、光軸方向については離れつつある、と判定し、この移動体は接近物体ではない、と判定する。
したがって、上述した、カメラのレンズの直径方向については接近しつつあるが、光軸方向については離れつつある移動体を、誤って接近物体と判定するのを回避することができ、接近物体の検出精度を向上させることができる。
本発明に係る接近物体検知システムにおいては、接近物体判定手段は、前記大きさが大きくなる方向への変動のときは、前記画像部分における移動体が接近物であると判定することが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、第2の移動領域検出手段による検出結果が大きさの大きくなる方向への変動のときに限って、接近物体判定手段は、画像部分における移動体が接近物であると判定するため、単に第1の移動領域検出手段による検出結果にのみ基づいて接近物体を判定するものよりも、接近物体を判定する精度を高めることができる。
本発明に係る接近物体検知システムにおいては、前記第1の移動領域検出手段は、前記オプティカルフロー処理による前記移動した画像部分の検出に先立って、前記カメラによって撮影して得られた画像のうち、空および地面のうち少なくとも一方の領域を除外することが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、空や地面は、本発明が検出しようとする接近物体の対象外であるため、オプティカルフロー処理前に、画像から、これら空や地面を予め除去しておくことで、オプティカルフロー処理の演算負荷を一層軽減させることができる。
なお、画像中における空や地面は、通常、濃度(輝度)や色相が略一様な領域であるため、第1の移動領域検出手段が、そのような濃度(輝度)分布が略平坦な(略一様な)領域を、空の領域または地面の領域と判断し、オプティカルフロー処理に先立って、そのような濃度(輝度)分布が略平坦な(濃度(輝度)が略一様な)領域を、オプティカルフロー処理の対象とならないように除去することで、演算量を軽減させることができる。
本発明に係る接近物体検知システムにおいては、前記第1の移動領域検出手段は、前記時系列的に前後する2つの画像(2フレーム)に基づくオプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出するものであり、前記第2の移動領域検出手段は、前記オプティカルフロー処理の対象とされた前記2つの画像(2フレーム)に基づく動的計画法に基づく処理により、前記大きさの変動を求めるものであることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、時系列的に前後する2つの画像のみに基づいて接近物体を精度良く検出することができる。
本発明に係る接近物体検知システムにおいては、前記カメラは、前記車両の後方の画像を撮影するように、前記車両の後部に固定されるものであることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、例えば後退してではなく前進して駐車した場合は、この駐車場や車庫から出庫する際、後退しての出庫となるが、車両後方は目視では視認しにくいが、本発明に係る接近物体検知システムにおけるカメラが、車両の後部に固定されている構成にあっては、目視での視認が難しい後退時にあっても、この後退する車両に対して接近しつつある接近物体をこのシステムが確実に検知するため、車両の運転操作を安全に支援することができる。
本発明に係る接近物体検知システムにおいては、前記カメラは、車両に取り付けられており、車速を含む前記車両の走行状態に関する車両情報を取得する車両情報取得手段と、前記車両情報が前記車両の移動を示すときには、前記時系列的に前後する前記画像において前記車両の移動に応じた像の大きさの変化が生じるのを抑制する方向に前記画像の大きさを補正するサイズ補正を実行する画像処理部と、を備えていることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、カメラを搭載した車両が移動した際には、画像処理部がサイズ補正を実行することで、車両が移動することにより画像上の像の大きさが変化するのを抑制する方向に補正するため、車両が移動することで画像上の像の大きさが変化したのを、移動物体と誤検出するのを抑制できる。したがって、オプティカルフローの方向性を特定するとともに、動的計画法を用いた演算処理負荷の軽い手段であっても、カメラを搭載した車両の移動を原因とした誤検出を抑制して、移動物体の検出精度を向上できる。
なお、画像処理部は、サイズ補正時に、時系列的に前後する画像間における車両移動距離に応じて画像の拡大率を変えるのが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、画像処理部のサイズ補正実行時に、時系列的に前後する画像間の車両移動距離に応じて拡大率を変更するため、画像上の特定部分の大きさを変更するのと比較して演算負荷を抑えることができるとともに、移動距離に応じて拡大率を変えることで、自車両の移動による非移動物体の大きさ変化を、いっそう抑制することができる。
本発明に係る接近物体検知システムにおいては、前記第1の移動領域検出手段は、前記時系列的に前後する画像間で、前記特定向きへ移動した移動体の占める領域の形状のバラツキを求めるバラツキ算出部を備え、前記接近物体判定手段は、前記領域の形状のバラツキが、あらかじめ設定された設定値よりも大きい場合は、前記移動体を歩行者と判定することが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、画像上の移動体が占める領域の形状のバラツキに基づき歩行者の判定を行うことができる。すなわち、歩行者の場合、移動速度が遅かったり、移動方向が不安定であったりして、車両と比較すると、時系列的に前後する画像間における特定方向のオプティカルフローの現れ方が顕著でなかったり、動的計画法による大きさの変動が顕著でなかったりする場合がある。しかし、歩行者は、腕を振ったり、足を踏み出したりして、体の一部の移動方向が変化するため、特定方向のオプティカルフローで得られた座標にバラツキが生じるのに対し、車両のような形状が一定のものは、形状のバラツキが小さい。したがって、移動体が占める領域の形状のバラツキがある程度大きなものは、移動体を歩行者と判定することで、オプティカルフローの方向性を特定するとともに、動的計画法を用いた演算処理負荷の軽い手段であっても、歩行者を高い精度で検出することができる。
なお、バラツキ算出部は、前記時系列的に前後する画像において、特定向きへ移動した移動体の占める領域の面積の差を求め、かつ、前記差を、前記時系列的に前後する複数の画像に亘って蓄積した値を前記バラツキとすることが好ましい。
このように好ましい構成の本発明に係る接近物体検知システムによれば、時系列的に前後する画像間における移動体の占める領域の面積の差を複数の画像に亘って蓄積することで、歩行者のように移動速度が低く、時系列的に前後する隣り合う画像間では形状変化が少なくても、高い精度で歩行者と判定することができる。
本発明に係る接近物体検知システムによれば、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出することができる。
以下、本発明の実施の形態1の接近物体検知システム100について、図面を参照して説明する。
図1は、本発明の実施の形態1(実施例1)に係る接近物体検知システム100の構成を示すブロック図、図2は図1に示した接近物体検知システム100が利用される状況の典型的な例を示す模式図であり、この接近物体検知システム100が搭載された車両200が交差点に進入しようとしている状況を示し、図3は接近物体検知システム100の処理手順を示すフローチャートである。なお、接近物体検視システム100が搭載された車両200は、後述する他の車両300と区別するために、以下、自車両200と称する。
図示の接近物体検知システム100は、自車両200の前端部において車両側方(右側方)の風景Jmを画像P(t)として撮影するように、自車両200の前端部に固定されたカメラ10と、このカメラ10によって撮影して得られた、時系列的に前後する2つの画像P(t),P(t+1)(図4参照)に基づいて、オプティカルフロー処理により、画像P(t),P(t+1)のうち、時系列的に略水平方向(特定向き)へ移動した領域q(t),q(t+1)(図6参照)を含む矩形の画像部分Q(t),Q(t+1)(図7参照)を検出(抽出)する第1の移動領域検出手段30と、2つの画像P(t),P(t+1)のそれぞれにおける、第1の移動領域検出手段30によって検出された各画像部分Q(t),Q(t+1)に、動的計画法に基づく処理を施して、画像部分Q(t),Q(t+1)の、鉛直方向(特定の向きとは異なる方向)に沿った大きさの変動を求める第2の移動領域検出手段40と、この大きさの変動に応じて、画像部分Q(t),Q(t+1)に対応した領域q(t),q(t+1)、すなわち移動体がカメラ10の搭載された自車両200に対する接近物か否かを判定する接近物体判定手段50と、を備えた構成である。
ここで、本実施形態の接近物体検知システム100は、自車両200の前端部において、自車両200の右側方の風景Jmを写すカメラ10の他に、自車両200の前端部において、自車両200の左側方の風景Jnを写すカメラ20も備えている。
なお、上述した2つのカメラ10,20に代えて、例えば180度以上の広画角の光学系を有する単一のカメラを適用してもよく、その場合は、撮影された画像のうち、右側方の風景Jmに対応した画角範囲を切り出して得られた画像を、右側方用のカメラ10で撮影して得られた画像として適用すればよく、撮影された画像のうち、左側方の風景Jnに対応した画角範囲を切り出して得られた画像を、左側方用のカメラ20で撮影して得られた画像として適用すればよい。
次に、本実施形態の接近物体検知システム100の作用について説明する。 まず、図2に示すように、この接近物体検知システム100が搭載された自車両200が交差点に進入しようとしている状況において、自車両200の車室内の運転者は、自車両200が進行している道路に対して交差する道路を通行している他の車両や自転車、通行人などを、直接視認しにくい場合や見落とす場合がある。
一方、自車両200の前端部は既に交差点内に位置しているため、この前端部に設置されたカメラ10は、交差する道路の右側方の風景Jmを撮影することができ、また、同じく、前端部に設置されたカメラ20は、交差する道路の左側方の風景Jnを撮影する(図3におけるステップ#1)。
以下、本実施形態の接近物体検知システム100の説明では、カメラ10によって撮影された右側方の風景Jmについてのみ行い、カメラ20によって撮影された左側方の風景Jnについては、右側方の風景Jmと左右対称に適用すればよいため、説明を適宜省略する。
カメラ10で撮影された画像は、画像取得部25において、例えばVGAサイズ(横640[pix]×縦480[pix])、ビデオ信号規格NTSCで、30[フレーム/sec]の画像Pとして取得される(図3における#2)。
図4(a),(b),(c)は、このようにして得られる時系列な画像P(t),P(t+1),P(t+2),…のうち画像P(t),P(t+1),P(t+2)を表し、(a)の画像P(t)は最も古い画像、(b)の画像P(t+1)は次に古い画像、(c)の画像P(t+2)はこれら3つの画像のうち最も新しい画像である。
これらの画像P(t),P(t+1),P(t+2)には、交差する道路を通行する他の車両300が進行している様子が写っている。ただし、この他の車両300が移動しているか否かは、1つの画像だけを見ても判断できるものではなく、時系列的に前後する2つ以上の画像P(t),P(t+1)等を見比べて、他の車両300が写っている位置の違いに基づいて、初めて判断することができるものである。
カメラ10によって撮影されて画像取得部25で取得された時系列的に前後する画像P(t),P(t+1),P(t+2),…は、第1の移動領域検出手段30に入力され、この第1の移動領域検出手段30は、これら入力された画像P(t),P(t+1),P(t+2),…に基づいて、オプティカルフロー処理により、画像P(t),P(t+1),…のうち、時系列的に水平方向(特定向き)へ移動した領域q(t),q(t+1),q(t+2),…を含む矩形の画像部分Q(t),Q(t+1),Q(t+2),…を検出(抽出)する(図3における#3,#4)。
具体的には、第1の移動領域検出手段30は、時系列的に相前後する2つの画像P(t),P(t+1)間で(以下、画像P(t+1),P(t+2)間、画像P(t+2),P(t+3)間、…,…間も同様に)、オプティカルフローを求める。
このとき、オプティカルフローを求める向きとしては、略水平方向に限定する。つまり、通常はオプティカルフロー処理によって移動体を抽出する場合、オプティカルフローを求める向きとして、図5(a)に示すように、注目画素を中心として、360度の向きについてオプティカルフローを求める。
このとき、角度間隔としては、例えば1度間隔であったり、5度間隔とされ、1度間隔のときは、1注目画素当たり360回の探索を行う必要があり、5度間隔のときは、1注目画素当たり72回の探索を行う必要がある(同図(a)は10度間隔で向きを表示している)。
これに対して、本実施形態における第1の移動領域検出手段30は、同図(b)に示すように、注目画素を中心として、水平方向(0度および180度の向き)と、この水平方向に対して上向き15度の向きと、水平方向に対して下向き15度の向きとの、合計6つの向きについてのみ、オプティカルフローを求める対象とする。
したがって、実施形態における第1の移動領域検出手段30は、1注目画素当たりに行う探索は、わずかに6回となる。
この結果、オプティカルフロー処理に要する演算の負荷を、全周の角度360度についてオプティカルフロー処理を行う従来の演算負荷に比べて、格段に低減することができる。
しかも、演算負荷を軽くしたことで、第1の移動領域検出手段30に用いられる演算マイコンを一般的な車載マイコンで賄うことができ、製造コストの低減も実現することができる。
なお、オプティカルフロー処理の対象とする向きとして、略水平方向の向き(上記水平方向および上下15度の向き)を適用したことにより、画像Pの中で、略水平方向に移動している物体を移動体として検出(抽出)することができる。すなわち、他の車両300や自転車、歩行者等の道路通行物体は、通常は水平方向に移動する移動体であるため、上述した略水平方向への移動体として、通行している他の車両300や自転車、歩行者等を洩れなく検出することが可能となる。
また、このオプティカルフロー処理の対象とする向きとしては、本実施形態では6つの向きに限定しているが、もうすこし細かい5度間隔とした14個の向きや、その他の角度間隔(等角度間隔でなくてもよい)を適用してもよい。
さらに、本実施形態では、検出の対象とする移動体が、他の車両300や自転車、歩行者などの、略水平方向に移動するものであるため、オプティカルフロー処理の対象とする向きとしては略水平方向に限定しているが、検出の対象とする移動体が上方から下方、あるいは下方から上方に移動するような物(落下物や雨滴等、クレーンの吊り荷など)である場合は、これらは略鉛直方向に移動するものであるため、オプティカルフロー処理の対象とする向きとしては略鉛直方向に限定すればよい。
以上の処理によって、画像P(t),P(t+1)に基づいて、図6(a)のオプティカルフローOP(t~t+1)、画像P(t+1),P(t+2)に基づいて、図6(b)のオプティカルフローOP(t+1~t+2)が求められる。 なお、図6(a),(b)において、それぞれ左側の図のグレーの着色部分が、略水平方向への速度ベクトル(オプティカルフロー)を有する領域である。
そして、第1の移動領域検出手段30は、得られたオプティカルフローOP(t~t+1)に基づいて、各画像P(t),P(t+1)内での略水平方向への移動体の占める領域q(t),q(t+1)を特定する(図3における#3)。
同様に、第1の移動領域検出手段30は、得られたオプティカルフローOP(t+1~t+2)に基づいて、各画像P(t+1),P(t+2)内での略水平方向への移動体の占める領域q(t+1),q(t+2)を特定する(図3における#3)。 なお、図6(a),(b)において、それぞれ右側の図の着色部分が、略水平方向への移動体の占める領域qである。
さらに、第1の移動領域検出手段30は、画像P(t)内での領域q(t)を矩形に囲んで、これを移動領域を含む画像部分Q(t)として設定し、同様に、画像P(t+1)内での領域q(t+1)を矩形に囲んで、これを移動領域を含む画像部分Q(t+1)として設定し(図7(a)参照)、同様に、画像P(t+2)内での領域q(t+2)を矩形に囲んで、これを移動領域を含む画像部分Q(t+2)として設定する(図7(a)参照、図3における#4)。
次に、第1の移動領域検出手段30によって検出された画像部分Q(t),Q(t+1),Q(t+2),…が、第2の移動領域検出手段40に入力される。 なお、第1の移動領域検出手段30から第2の移動領域検出手段40に、画像部分Qが入力されるタイミングは、第1の移動領域検出手段30によって画像部分Qが特定され次第、順次入力される。
第2の移動領域検出手段40は、順次入力されてくる画像部分Qに対して、系列的に相前後する2つの画像部分Q(t),Q(t+1)間、画像部分Q(t+1),Q(t+2)間、…,…間で、それぞれDPマッチング処理を施す(図3における#5,#6,#7)。
具体的には、図7(a),(b)にそれぞれ示すように、入力された画像部分Qごとに、その水平方向における予め設定された所定位置における鉛直方向に沿った画像信号値(輝度値等の画素値)の分布(プロファイル)を求め(図3における#5)、次いで、時系列的に相前後する2つの画像の組における各画像部分について、図8に示すように、相対的に時系列が前の画像P(t+1)における、#5で求められた画像部分Q(t+1)の画像信号値の分布と、相対的に時系列が後の画像P(t+2)における、#5で求められた画像部分Q(t+2)の画像信号値の分布とを対応付け(図3における#6)、この対応付けによるマッチングにより、両画像部分Q(t+1)に対する画像部分Q(t+2)の大きさの拡大率K(または比(K=1/(tanθ)))を算出する(図3における#7)。
他の、時系列的に相前後する2つの画像の組における各画像部分についても同様に順次DPマッチングに基づく処理を行い、得られた拡大率Kを順次、接近物体判定手段50に入力する。
接近物体判定手段50は、第2の移動領域検出手段によって検出された拡大率Kに基づいて、その画像部分Qに含まれる領域q(移動体(図では他の車両300を例示)の像)が、自車両200に対して、接近しつつある移動体であるのか、または遠離りつつある移動体であるのか、または略水平方向については接近しつつあるものの、カメラ10の光軸方向に沿って遠離りつつある移動体(例えば、平行走行する併走車両など)であり、全体としては接近しつつある移動体ではない、と判定する(図3における#8,#9,#10,#11,#12)。
具体的には、拡大率Kが1.0を上回る値であるときは、時系列的に相前後する2つの画像P(t),P(t+1)のうち、相対的に時系列が後の画像P(t+1)における画像部分Q(t+1)の方が、相対的に時系列が前の画像P(t)における画像部分Q(t)よりも大きさが大きくなっているため、その大きさが増大傾向にあると判定することができ(図3における#8)、その画像部分Qに含まれる領域qに対応した移動体は、図9のA1に示すように、自車両200に接近しつつある物体(例えば、接近車両)と判定する(図3における#9)。
一方、拡大率Kが1.0を上回る値でないときは、時系列的に相前後する2つの画像P(t),P(t+1)のうち、相対的に時系列が後の画像P(t+1)における画像部分Q(t+1)の方が、相対的に時系列が前の画像P(t)における画像部分Q(t)よりも大きさが大きくなっているものではないため、その大きさが増大傾向にあるものでないと判定することができ(図3における#8)、次いで、その大きさが等倍傾向にあるか否かを判定する(図3における#10)。
すなわち、拡大率Kが略1.0であるときは、時系列的に相前後する2つの画像P,Pのうち、相対的に時系列が後の画像P(t+1)における画像部分Q(t+1)と、相対的に時系列が前の画像P(t)における画像部分Q(t)との大きさが略等しいため、その大きさは等倍傾向にあると判定することができ(図3における#10)、その画像部分Qに含まれる領域qに対応した移動体は、図9のA2に示すように、略水平方向については自車両200に接近しつつあるが、カメラ10の光軸方向に沿って遠離りつつある物体(例えば、平行走行する併走車両など)であると判定する(図3における#11)。
また、拡大率Kが1.0を下回るときは、時系列的に相前後する2つの画像P(t),P(t+1)のうち、相対的に時系列が後の画像P(t+1)における画像部分Q(t+1)は、相対的に時系列が前の画像P(t)における画像部分Q(t)に対して、その大きさが小さいため、大きさは等倍傾向にないと判定することができ(図3における#10)、その画像部分Qに含まれる領域qに対応した移動体は、図9のA3に示すように、自車両200から遠離りつつある物体であると判定する(図3における#12)。
以上のように、本実施形態に係る接近物体検知システム100によれば、第1の移動領域検出手段30が、時系列的に相前後する2つの画像P,Pに基づくオプティカルフロー処理により、これらの画像P,Pのうち時系列的に略水平の向きへ移動した画像部分Q,Qをそれぞれ検出(抽出)し、第2の移動領域検出手段40が、各画像部分Q,Qに対し、鉛直方向に沿って動的計画法に基づく処理を施すことで、時系列的に前の画像P(t)におけるその画像部分Q(t)に対する、時系列的に後の画像P(t+1)におけるその画像部分Q(t+1)の、大きさの変動を求め、その大きさの変動に応じて、接近物体判定手段50が、その画像部分Q(t),Q(t+1)に対応した移動体が接近しつつあるか否かを判定する。
そして、この接近物体検知システム100によれば、第1の移動領域検出手段30によるオプティカルフロー処理が、略水平方向への速度ベクトルだけを検出する処理であるため、演算処理負荷を軽減しつつ略水平方向に移動する他の車両300等に対応した画像部分Qを精度よく検出(抽出)することができ、第2の移動領域検出手段40による動的計画法に基づく処理は演算負荷が軽い処理であり、しかも第1の移動領域検出手段30によって検出された画像部分Qに対して、鉛直方向について動的計画法に基づく処理を施して大きさの変動を得ることで、接近物体判定手段50が、移動体が接近しつつあるか否かの判定を精度よく行うことができる。
したがって、略水平方向に移動する移動体の検出洩れを防止しつつ、その移動体が実際に接近してくる物体である場合にのみ、接近物体として検出するため、誤検出を抑制することができ、演算負荷を低減しつつ、接近物体を精度よく検出することができる。
また、本実施形態に係る接近物体検知システム100によれば、第2の移動領域検出手段40が、2つの画像P,Pのそれぞれにおける、第1の移動領域検出手段30によって検出された各画像部分Q,Qに対して、動的計画法に基づく処理を施して、各画像部分Q,Qごとに、鉛直方向に沿った信号値の分布(プロファイル)を求め、時系列的に前の画像P(t)における画像部分Q(t)の信号値の分布と時系列的に後の画像P(t+1)における画像部分Q(t+1)の信号値の分布とを、それらの信号値同士を対応させることで、両画像部分Q(t),Q(t+1)間の大きさの比を簡単に求めることができ、これによって、移動体が、真に接近してくる物体か否かを簡単に判定することができる。
なお、本実施形態に係る接近物体検知システム100は、自車両200に接近しつつある物体(例えば、接近車両)を検知したとき(図3における#9)、接近物体判定手段50が、車室内の運転者等乗員に対して、注意を喚起させ、または警報を与えるための信号Sを出力する。
そして、この信号Sを受けた、既存の車載システム(例えば、カーナビゲーションシステムや、音声案内システム、カメラモニタシステム、バック警報音発報システム等)における画像表示装置や発報装置は、乗員に対して注意を喚起させ、または警報を与えるように、その旨表示したり、その旨の音を発生させればよい。
例えば、画像表示装置にその旨表示させる態様としては、図10に示すように、接近物体を表す領域qを囲む矩形の枠Tを点滅させたり、枠Tを、視覚的に刺激を与えるような鮮やかな色で表示させるなどを採用することもできる。
上述した実施形態の接近物体検知システム100の説明は、カメラ10によって撮影された右側方の風景Jmについてのみ行ったが、カメラ20によって撮影された左側方の風景Jnについては、右側方の風景Jmと左右対称に適用すればよい。
また、本実施形態の接近物体検知システム100においては、第1の移動領域検出手段30が、オプティカルフロー処理による移動した領域q(画像部分)の検出に先立って、カメラ10によって撮影して得られた画像Pのうち、空に対応した領域および地面に対応した領域のうち少なくとも一方の領域を予め除外する処理を施してもよい。
このように、空の領域や地面の領域は、本実施形態の接近物体検知システム100が検出しようとする接近物体の対象外であるため、オプティカルフロー処理前に、画像Pから、これら空の領域や地面の領域を予め除去しておくことで、オプティカルフロー処理の演算負荷を一層軽減させることができる。
なお、画像中における空や地面は、通常、濃度(輝度)や色相が略一様な領域であるため、第1の移動領域検出手段が、そのような濃度(輝度)分布が略平坦な(濃度(輝度)が略一様な)領域を、空の領域(図4(a)において符号Psで表す)または地面の領域(図4(a)において符号Prで表す)と判断し、オプティカルフロー処理に先立って、そのような濃度(輝度)分布が略平坦な領域を、オプティカルフロー処理の対象とならないように除去することで、演算量を軽減させることができる。
本実施形態に係る接近物体検知システム100においては、第1の移動領域検出手段30が、時系列的に前後する2つの画像(2フレーム)に基づくオプティカルフロー処理により、画像Pのうち時系列的に特定向きへ移動した領域qを検出し、第2の移動領域検出手段40は、オプティカルフロー処理の対象とされた2つの画像(2フレーム)に基づく動的計画法に基づく処理により、大きさの変動を求めることで、時系列的に前後する2つの画像のみに基づいて、接近してくる移動体を精度良く検出することができる。
次に、実施の形態2の接近物体検知システム100bについて説明する。なお、実施の形態2の接近物体検知システム100bは、実施の形態1の変形例であり、実施の形態1と同様の構成については実施の形態1と同じ符号を付して説明を省略し、実施の形態1との相違点を中心に説明する。
図11に示す本実施の形態2の接近物体検知システム100bは、実施の形態1で示した構成に加え、カメラ240、画像処理部210、バラツキ算出部220を備えている。
カメラ240は、自車両200の後部に固定され、自車両200の後方を撮影する。 画像処理部210は、車両情報取得部230から得られる車両情報に基づいて、画像取得部25で得られた画像Pに補正を加えて第1の移動領域検出手段30bに出力する。
なお、車両情報取得部230は、車両の走行を制御する図外のコントロールユニットから、CAN通信などを介して車両情報を取得する。この車両情報としては、車両のシフトポジションを示すシフト情報と、車両の移動距離を求めるための車速情報と、車両の回転成分を求めるための舵角情報と、が含まれている。なお、車速情報としては、図外の車速センサからの信号のみならず、車速センサの検出精度が低い低速時には、図外の車輪速センサの信号から得るようにしてもよい。
画像処理部210は、画像Pのサイズ補正およびレンズ歪み補正を実行する。まず、サイズ補正について説明する。図12は、カメラ10,20で撮影される実映像と、2次元平面に投影された画像Pとの関係を示す説明図であり、この図に示すように、0cの位置のカメラ10,20で撮影される実映像(3次元のカメラ座標Pc)は、2次元平面に投影されたスクリーン上の画像Pに変換される。
この状態で、自車両200が前進あるいは後退した場合、カメラ座標Pcが投影される画像Pに投影された物体は、自車両200の移動方向に応じて大きくなったり小さくなったりする。
例えば、自車両200が、前進してカメラ座標Pcに接近した場合、画像Pに投影される物体像は拡大される。具体例を図13により説明すると、自車両200が前進する前の時点で、図13(a)に示される画像P(a)における物体像B(a)が得られていた場合(この物体像B(a)が示す車両は停止しているものとする)、自車両200がカメラ座標Pcに接近した後は、図13(b)に示すように画像P(b)上の物体像B(b)が拡大される。
そこで、画像処理部210では、車両情報取得部230にて得られた車速情報を基に、例えば、図13(a)に示す画像P(a)と、図13(b)に示す画像P(b)との間における自車両200の移動量を算出し、それを透視投影(座標変換)の距離補正値として用い、現在の画像P(b)における物体像B(b)の投影サイズと、前フレームにおける画像P(a)の物体像B(a)の投影サイズとが、同一となるように、画像Pの拡大率を下げた画像P(c)を得る補正を行う。これより、自車両200が移動(前進、後退)しても、各画像Pにおける背景などの非移動物体のサイズを均一化でき、移動物体のみ、接近している物体像は拡大し、また、遠離かる物体像は縮小させることができる。
次に、レンズ歪み補正について説明する。 このレンズ歪補正は、カメラ10,20,240のレンズ特性により生じる歪を解消あるいは緩和させる補正である。すなわち、レンズによっては、レンズ周辺部とレンズ焦点部との映像が異なることがある。例えば、図14(b)は、樽型歪曲収差タイプの歪みが現れた例を示しており、この場合、フレーム枠wx,wyが湾曲した歪みが生じている。そこで、レンズが、このような歪みを有している場合、フレーム枠wx,wyが、それぞれ、図において点線で示すような直線状として同図(a)に示す歪みの無いフレーム枠wx、wyを形成する画像処理(レンズ歪み補正)を行なう。このレンズ歪み補正により、画像P上の物体の大きさと、自車両200との距離との関係を、画像P上のどの位置でも均一にすることができる。
第1の移動領域検出手段30bは、画像処理部210において補正を行なった後の時系列的に連続する画像Pに対して、オプティカルフロー処理を行なって、時系列的に特定向きへ移動した画像部分Qを検出する。このオプティカルフロー処理は実施の形態1と同様であり説明を省略する。
さらに、第1の移動領域検出手段30bでは、バラツキ算出部220(図11参照)により、移動体が占める領域qの形状のバラツキを求める。この形状のバラツキは、後述する接近物体判定手段50bにおいて、歩行者の判定に用いる。
本実施の形態2では、領域qの形状のバラツキを表す値として、時系列的に前後する画像P間における移動体が占める領域qの面積の差を求め、この差をあらかじめ設定された複数フレーム間に亘って積算した値を用いる。すなわち、接近物体が車両の場合は、形状は一定であり、前後するフレーム間における面積の変化も小さい。一方、歩行者の場合、手や足の移動方向が変化することから、水平方向のオプティカルフローを有した領域qの大きさが変化するが、歩行者の場合、移動速度や手足の速度が低いため、前後のフレームどうしの間での変化は小さい。そこで、この面積差を複数フレームに亘って蓄積することで、フレーム間で連続的に形状(面積)の変化が生じている領域qほど大きな値となり、この値を領域qの形状のバラツキの程度を表す値とすることができる。
接近物体判定手段50bは、実施の形態1で説明した接近車両、平行走行車両、遠離る車両の判定に加え、歩行者判定を行なう。この場合、接近物体判定手段50bは、画像部分Qとして、歩行者や他の車両300の可能性が高い大きさを有しているものを判定対象物体として抽出し、この判定対象物体として抽出された画像部分Qが、あらかじめ設定された値(程度)よりも大きな形状のバラツキを有している場合には、歩行者と判定する。この場合、前述した前後の画像Pにおける領域qの面積差の蓄積値が、あらかじめ設定された閾値よりも大きいか否かにより判定する。
また、判定対象物体が、あらかじめ設定された値(程度)よりも大きな形状のバラツキを有していない場合には、第2の移動領域検出手段40において求めた拡大率Kに基づいて、拡大率Kが1よりも大きい増加傾向の場合は、接近している他の車両300と判定し、拡大率Kが略1の当倍傾向の場合は、自車両200と平行に走行する平行走行車両と判定し、拡大率Kが1未満の場合は、遠離る車両(移動物体)と判定する。
次に、実施の形態2の接近物体検知システム100bの処理(これを接近物体検知処理と称する)の流れを図15および図16のフローチャートに基づいて説明する。 なお、この接近物体検知処理は、前述した図2に示すような、前進走行の際の交差点進入時や、後退走行時に実行するものであるが、この接近物体検知処理は、このような交差点進入や後退走行が検出されたときに自動的に実行開始するようにしてもよいし、あるいは、運転者が、接近物体検知処理の開始を指令するスイッチを投入することで開始してもよい。
また、前進走行時の交差点進入の検出は、制御の簡略化のため、運転者の制動操作により車速が設定速度以下に低下した場合を交差点進入とみなしてもよいし、あるいは、図外のナビゲーションシステムや他の運転支援システムの情報に基づいて交差点進入を判定するようにしてもよい。
まず、ステップS1では、車両情報取得部230において車両情報を取得し、次のステップS2に進む。
ステップS2では、車両前部のカメラ10,20と車両後部のカメラ240のいずれかの選択を行なって撮影を開始し(=#1)た後、ステップS3に進む。すなわち、車両情報取得部230で得られた車両情報に基づいて、自車両200が前進走行と判定された場合は、車両前部のカメラ10,20により撮影が実行され、一方、後退走行と判定された場合は、車両後部のカメラ240により撮影が実行される。なお、以下の説明では、図2に示す状況において、車両前部のカメラ10,20により撮影を行なったものとして説明する。
ステップS3では、画像取得部25において、カメラ10,20で撮影された映像から、処理時間に応じて画像Pを取得し(=#2)、次のステップS4に進む。なお、画像Pは、本実施の形態では、前述したように、1秒間に30フレーム取得される。
ステップS4では、画像処理部210において前述したサイズ補正およびレンズ歪み補正を行った後、ステップS5に進む。
ステップS5では、第1の移動領域検出手段30bにおいて、オプティカルフロー処理により、画像Pにおける移動体が占める領域qの検出を行い(=#3)、ステップS6に進む。
次に、ステップS6では、第1の移動領域検出手段30bのバラツキ算出部220において、ステップS5で得られた移動体の占める領域qの形状のバラツキ(前後の画像間の面積差の蓄積)を求める。
ステップS7では、第1の移動領域検出手段30bにおいて、第2の移動領域検出手段40の動的計画法による輝度パターン算出に用いる画像部分Qを設定し(=#4)、ステップS8に進む。
ステップS8~S10では、第2の移動領域検出手段40において、動的計画法により、時系列的に相前後する画像部分Qの拡大率K(あるいは比K=1/(tanθ)でもよい)を算出する(実施の形態1の#5~#7と同様)。
ステップS11~S18では、接近物体判定手段50bにより、歩行者の有無、ならびに接近車両、平行走行車両、遠離る車両の判定を行う。
まず、ステップS11では、画像部分Qが、ある程度大きいか否か判定し、大きい場合は、ステップS12に進み、大きくない場合はステップS14に進む。ここで、ある程度大きいとは、画像P上の画像部分Qの大きさが、自車両200との衝突を回避する必要性が十分に高い大きさのことであり、すなわち、画像P上の画像部分Qの大きさは、移動物体のそのものの大きさと自車両200との距離とに対応している。例えば、移動物体が他の車両300である場合、それ自体ある程度の大きさを有しているが、移動速度が高いことから、ある程度遠くに存在する(画像P上の大きさが小さい)時点から接触回避のための注意を払う必要がある。一方、移動物体が歩行者である場合、それ自体の大きさは他の車両300よりも小さいが、移動速度が低いことから自車両200にある程度近くなった(画像P上の大きさが大きくなった)時点で、接触回避のための注意を払う必要がある。これらを踏まえ、実測値に基づいて、移動物体が他の車両300と歩行者とのいずれであっても、接近物体として認識する必要がある画像P上の大きさの閾値をあらかじめ設定しておき、ステップS11では、この閾値と領域qの大きさとを比較して判定する。
ステップS12では、ステップS6で得られた移動体が占める領域qの形状のバラツキ(本実施の形態2では、前後の画像Pにおける領域qの面積差の設定フレーム間の蓄積値)が、ある程度大きいか否か判定し、大きい場合はステップS13に進み、大きくない場合はステップS14に進む。なお、ある程度大きいとは、形状のバラツキの大きさが、歩行者や自転車である可能性が高いとみなすことができる大きさであり、あらかじめ歩行者や自転車などの実測値に基づいて設定された閾値と比較することで判定される。
形状のバラツキがある程度大きい場合に進むステップS13では、画像部分Qが、自転車を含む歩行者と判定し、ステップS1に戻る。なお、移動体が占める領域qの像が歩行者のものである場合、前述したように形状のバラツキが大きくなるものの、領域qの重心位置の変化は少ないことから、これを歩行者判定のアンド条件として加えてもよい。
形状のバラツキが大きくない場合に進むステップS14およびそれ以降のステップS15~18は、実施の形態1の#8~#12と同様であって、拡大率Kが増加傾向の場合はステップS15に進んで画像部分Qが接近車両と判定し、拡大率Kが当倍増加傾向の場合はステップS17に進んで、平行走行車両と判定し、拡大率Kが増加、当倍のいずれでもない場合は、ステップS18に進んで、遠離る車両(非接近物体)と判定する。
次に、本実施形態2の接近物体検知システム100bの作用について、実施の形態1と同様に、図2に示すように、この接近物体検知システム100bが搭載された自車両200が交差点に進入しようとしている状況の動作を説明する。
このような交差点で、実施の形態の接近物体検知システム100bは、物体検知処理を開始し、まず、車両情報を取得する(ステップS1)。そして、車両情報に基づき、このように前進走行で交差点に進入した場合は、車両前端部に搭載したカメラ10,20によって左右の風景Jm、Jnを撮影し(ステップS2)、画像取得部25では、カメラ10,20が撮像した画像Pを、時系列的に連続する画像Pとして取得する(ステップS3)。
次に、画像処理部210では、車両情報に基づいて、自車両200が停止せずに移動している場合には、シフト情報および車速情報を基に、現在の画像P(t)における停止物体(背景)の投影サイズと、1つ前の画像P(t-1)における停止物体(背景)の投影サイズとが同一となるようにフレーム倍率を補正するサイズ補正を実行し、自車両200の走行を原因とする画像Pにおける停止物体像の大きさの変化が生じないように補正する。加えて、レンズ歪み補正も実行し、画像P(t)における画像が歪みの無い画像となるように補正する(ステップS4)。なお、自車両200が停止している場合は、このサイズ補正は実行しない。
次に、第1の移動領域検出手段30bは、上記補正処理を行った画像P(t),P(t+1),P(t+2),…に基づいて、オプティカルフロー処理を行い、画像P(t),P(t+1),…のうち、時系列的に水平方向(特定向き)へ移動した移動体の占める領域q(t),q(t+1),q(t+2)を検出する(ステップS5)。 また、第1の移動領域検出手段30bのバラツキ算出部220では、移動体が占める領域qにおける外形形状のバラツキ、本実施の形態2では、面積のバラツキを求める(ステップS6)。さらに、第1の移動領域検出手段30bでは、移動体が占める領域qを含む矩形の画像部分Q(t),Q(t+1),Q(t+2),…を設定する(ステップS7)。
次に、第2の移動領域検出手段40では、画像部分Qにおける縦方向の輝度を抽出し(ステップS8)、さらに、前後する画像Pの画像部分Qにおける水平方向尺度と位置との対応付けを行い(ステップS9)、画像部分Qの拡大率Kを算出する(ステップS10)。
次に、接近物体判定手段50bでは、第2の移動領域検出手段40によって検出された拡大率Kと、バラツキ算出部220で算出されたバラツキとに基づいて、画像部分Qが示す物体が、他の車両300、歩行者、平行走行車両、遠離る車両のいずれであるかの判定を行う。
この場合、接近物体判定手段50bでは、画像Pにおいて、オプティカルフローにより動きがあると判定された移動体が占める領域qの大きさがある程度大きく、かつ、形状のバラツキがある程度大きいものは、形状が一定でないことから、自転車を含む歩行者と判定する(S11→S12→S13)。
一方、オプティカルフローにより動きがあると判定された領域qのうち、拡大率Kが増加傾向にある場合は、接近している他の車両300と判定し(S11→S12→S14→S15)、拡大率Kが等倍傾向にある場合は、平行走行車両と判定する(S11→S12→S14→S16→S17)。
また、オプティカルフローにより動きがあると判定された領域qのうち、拡大率Kが増加傾向および等倍傾向にないものは、当面、自車両に対する危険度の少ないものとして、遠離る車両として検出対象物から外す。
なお、本実施の形態2にあっても、歩行者や他の車両300を検出した場合には、実施の形態1と同様に、運転者などの自車両乗員に対し、カメラモニタシステムなどを用いて注意を喚起させる作動が実行される。この場合、接近車両と歩行者とで、表示を異ならせるのが好ましい。
また、後退時には、車両後部のカメラ240により自車両200の後方の風景が撮影され、上記と同様の処理が実行され、接近する物体が存在する場合は、上記と同様に注意を喚起する作動が実行される。 例えば、駐車場などに後退してではなく前進して駐車した場合、この駐車場から出庫する際、後退しての出庫となり、車両後方は目視では視認しにくいが、上述したように車両後部にカメラが固定されている形態の接近物体検知システムでは、乗員の目視での視認が難しい後退時にあっても、この後退する車両に対して接近しつつある接近物体を、このシステムが確実に検知するため、車両の運転操作を安全に支援することができる。
(実施の形態の効果)
以下に、本発明の実施の形態2の接近物体検知システム100bが奏する効果を列挙する。
以下に、本発明の実施の形態2の接近物体検知システム100bが奏する効果を列挙する。
まず、実施の形態2の接近物体検知システム100bによれば、実施の形態1と同様に、下記のa)b)c)d)の効果が得られる。a)第1の移動領域検出手段30bが、時系列的に相前後する2つの画像P,Pから動きのある物体を抽出するのにあたり、略水平方向への速度ベクトルだけを検出するオプティカルフロー処理で行うようにしたため、全方向の速度ベクトルで検出するのと比較して、演算処理負荷を軽減しつつ略水平方向に移動する物体を精度よく短時間に検出(抽出)することができる。
b)画像P中の移動体が接近しているか否かを、第2の移動領域検出手段40による動的計画法に基づき、時系列的に相前後する画像P間における移動体の、拡大率Kにより求めるようにした。このような、第2の移動領域検出手段40による動的計画法に基づく処理は、演算負荷が軽い処理であり、短時間に精度よく接近物体を検出できる。
c)上記b)のように、拡大率Kを求めるのにあたり、第2の移動領域検出手段40では、各画像部分Q,Qごとに、鉛直方向に沿った信号値の分布(プロファイル)を求め、時系列的に前の画像P(t)における画像部分Q(t)の信号値の分布と時系列的に後の画像P(t+1)における画像部分Q(t+1)の信号値の分布とを、それらの信号値同士を対応させることで、拡大率Kを求めるようにした。これにより、拡大率Kに基づいて、移動体が、真に接近してくる物体か否かを、簡単に判定することができる。
d)上記a)b)に基づき、時系列的に連続する画像P中で、オプティカルフローの方向を略水平方向に特定して演算処理負荷を抑制しながら、例えば、正面から接近する物体のように、略水平方向への移動量が少ない移動体の検出洩れは、動的計画法により抑制することができ、演算負荷を低減しつつ、接近物体を精度よく検出することができる。
さらに、実施の形態2の接近物体検知システム100bによれば、以下のe)~f)の実施の形態2の特有の効果を奏する。 e)第1の移動領域検出手段30bにおいて、接近物体を検出するのにあたり、自車両200が非停止状態の場合には、自車両200の車速および進行方向に基づいて、画像Pの拡大率を、非移動物体(背景)の大きさが変化しない方向に補正するようにした。このため、自車両200が前後移動することによる画像P上の非移動物体(背景)の大きさ変化による誤検出を防止できる。したがって、オプティカルフローを特定方向に限定するとともに、動的計画法を用いた演算処理負荷の軽い手法でありながら、自車両200の移動による画像P上の非移動物体像(背景)の大きさ変化を取り除いて、接近物体の検出精度を向上させることができる。しかも、このような非移動物体のサイズ変化を除去することを、画像Pの拡大率を変えることで行うため、画像P内の特定像の画像処理を行うのと比較して、補正処理の負荷が小さくて済む。
f)各カメラ10,20,240におけるレンズの歪み補正するようにした。このため、レンズの歪みを原因としてレンズ焦点部とレンズ周辺部とで、自車両200からの距離と画像P上の大きさの関係が異なることによる誤検出の発生を抑制できる。
g)オプティカルフローで得られた移動体が占める領域qの形状のバラツキ(面積変化)により自転車を含む歩行者を検出するようにしたため、オプティカルフローの検出方向を特定方向するとともに、動的計画法を用いた演算処理負荷の低い手段であっても、高い精度で歩行者を検出することができる。歩行者の場合、移動方向が不安定であったり、移動速度が遅かったりするため、例えば、時系列的に前後に隣り合う画像P間では、オプティカルフローが現れにくいとともに、拡大率Kも低く、検出が難しいが、時系列的に前後する複数の画像Pに亘る形状のバラツキ(面積差の蓄積値)に基づいて歩行者と判定することにより、車両や非移動物体(背景)との差異を明確にし、検出精度を向上できる。
特に、本実施の形態2では、自車両200が移動している場合も接近物体の判定を行っており、自車両200の近くに接近している歩行者が存在する場合、自車両200が停止している場合と比較して、歩行者との接触の可能性が高くなる。したがって、このように接近物体として、歩行者判定を行うことが、より有効となる。さらに、移動体が占める領域qの大きさがある程度大きなものに絞って歩行者の判定を行い、接触の可能性の低い遠くの歩行者は判定から除外しているため、歩行者判定に対する演算処理の負荷を軽減できる。
h)移動体が占める領域qの形状のバラツキを求めるのにあたり、前後の画像Pにおける領域qの面積の差を所定の時間に亘って蓄積した数値に基づいてバラツキを判定するようにした。このように、面積に基づく処理としてため、比較が単純で演算を簡易化できる。また、面積差を蓄積して判定するため、歩行者のように、前後に隣り合う画像P間では、オプティカルフローおよび動的計画法により判別が難しいものであっても、高い精度で歩行者の判定が可能となる。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
例えば、実施の形態2では、カメラ10,20,240が自車両200の前部および後部に固定されているものを示したが、本発明では、カメラの設置位置は、これらに限定されるものではなく、本発明に係る接近物体検知システムにおけるカメラは、車両の如何なる部分に固定されているものであってもよく、例えば、車両側部などに設けてもよい。また、カメラは、実施の形態1,2で示したように、車両に固定されるものに限定されず、建造物などに取り付けてもよい。
また、実施の形態2では、自車両200が移動している場合、画像Pにおける非移動物体(背景)の像の大きさが同一となるように補正する例を示したが、自車両200による像の大きさの変化を抑制する方向の補正を行うものであれば、像の大きさが完全に同一とならなくてもよい。この場合も、補正を行わないものと比較すれば、誤検出を抑制することが可能である。
さらに、本実施の形態2では、画像処理部210における車両が移動した場合の補正として、車両の前後移動量に応じて時系列的に前後する画像上で停止物体の大きさが同一となるようにサイズ補正を実行するものを示したが、さらに、下記の補正を加えるようにしてもよい。すなわち、画像処理部において、車両の旋回により画像P上の像が水平方向に移動した場合に、非移動物体の像が画像P上の同一箇所に留まるように、操舵角度と車速とに応じ、画像Pの中心を、水平方向(x軸方向)に移動させる補正を行なうようにしてもよい。
[関連出願への相互参照]
本出願は、2008年11月19日に日本国特許庁に出願された特願2008-296030および2009年11月9日に日本国特許庁に出願された特願2009-255666に基づいて優先権を主張し、そのすべての開示は完全に本明細書で参照により組み込まれる。
[関連出願への相互参照]
本出願は、2008年11月19日に日本国特許庁に出願された特願2008-296030および2009年11月9日に日本国特許庁に出願された特願2009-255666に基づいて優先権を主張し、そのすべての開示は完全に本明細書で参照により組み込まれる。
Claims (11)
- 所定の位置に固定され、画像を撮影するカメラと、
前記カメラによって撮影して得られた時系列的に前後する複数の画像に基づいて、オプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出する第1の移動領域検出手段と、
前記複数の画像のそれぞれにおける、前記第1の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記画像部分の、前記特定の向きとは異なる方向に沿った大きさの変動を求める第2の移動領域検出手段と、
前記変動に応じて、前記画像部分に対応した移動体が前記カメラに対する接近物か否かを判定する接近物体判定手段と、を備えたことを特徴とする接近物体検知システム。 - 前記第2の移動領域検出手段は、
前記複数の画像のそれぞれにおける、前記第1の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記各画像部分ごとに、前記特定の向きとは異なる方向に沿った信号値の分布を求め、
前記時系列的に前後する複数の画像における前記各画像部分ごとの前記信号値の分布の対応関係に基づいて、前記大きさの変動を求めるものであることを特徴とする請求項1に記載の接近物体検知システム。 - 前記第1の移動領域検出手段は、前記オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して15度上向きから15度下向きまでの角度範囲内の所定の1または2以上の向きと、を適用したものであり、
前記第2の移動領域検出手段は、前記動的計画法に基づく処理における前記特定の向きとは異なる方向として、前記画像における、鉛直方向に対応した方向を適用したものであることを特徴とする請求項1または2に記載の接近物体検知システム。 - 前記接近物体判定手段は、
前記大きさが大きくなる方向への変動のときは、前記画像部分における移動体が接近物であると判定することを特徴とする請求項1から3のうちいずれか1項に記載の接近物体検知システム。 - 前記第1の移動領域検出手段は、前記オプティカルフロー処理による前記移動した画像部分の検出に先立って、前記カメラによって撮影して得られた画像のうち、空および地面のうち少なくとも一方の領域を除外することを特徴とする請求項1から4のうちいずれか1項に記載の接近物体検知システム。
- 前記第1の移動領域検出手段は、前記時系列的に前後する2つの画像に基づくオプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出するものであり、
前記第2の移動領域検出手段は、前記オプティカルフロー処理の対象とされた前記2つの画像に基づく動的計画法に基づく処理により、前記大きさの変動を求めるものであることを特徴とする請求項1から5のうちいずれか1項に記載の接近物体検知システム。 - 前記カメラは、前記車両の後方の画像を撮影するように、前記車両の後部に固定されるものであることを特徴とする請求項1から6のうちいずれか1項に記載の接近物体検知システム。
- 前記カメラは、車両に取り付けられており、
車速を含む前記車両の走行状態に関する車両情報を取得する車両情報取得手段と、
前記車両情報が前記車両の移動を示すときには、前記時系列的に前後する前記画像において前記車両の移動に応じた像の大きさの変化が生じるのを抑制する方向に前記画像の大きさを補正するサイズ補正を実行する画像処理部と、を備えていることを特徴とする請求項1~請求項7のいずれか1項に記載の接近物体検知システム。 - 前記画像処理部は、サイズ補正時に、前記時系列的に前後する画像間における車両の移動距離に応じて前記画像の拡大率を変えることを特徴とする請求項8に記載の接近物体検知システム。
- 前記第1の移動領域検出手段は、前記時系列的に前後する画像間で、前記特定向きへ移動した移動体の占める領域の形状のバラツキを求めるバラツキ算出部を備え、
前記接近物体判定手段は、前記領域の形状のバラツキが、あらかじめ設定された設定値よりも大きい場合は、前記移動体を歩行者と判定することを特徴とする請求項1~請求項9のいずれか1項に記載の接近物体検知システム。 - 前記バラツキ算出部は、前記時系列的に前後する画像において、特定向きへ移動した移動体の占める領域の面積の差を求め、かつ、前記差を、前記時系列的に前後する複数の画像に亘って蓄積した値を前記バラツキとすることを特徴とする請求項10に記載の接近物体検知システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/129,869 US8712097B2 (en) | 2008-11-19 | 2009-11-19 | Approaching object detection system |
EP09827602.5A EP2369552B1 (en) | 2008-11-19 | 2009-11-19 | Approaching object detection system |
CN2009801458033A CN102257533B (zh) | 2008-11-19 | 2009-11-19 | 接近物体检测系统 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008296030 | 2008-11-19 | ||
JP2008-296030 | 2008-11-19 | ||
JP2009-255666 | 2009-11-09 | ||
JP2009255666A JP5421072B2 (ja) | 2008-11-19 | 2009-11-09 | 接近物体検知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010058821A1 true WO2010058821A1 (ja) | 2010-05-27 |
Family
ID=42198260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/069649 WO2010058821A1 (ja) | 2008-11-19 | 2009-11-19 | 接近物体検知システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8712097B2 (ja) |
EP (1) | EP2369552B1 (ja) |
JP (1) | JP5421072B2 (ja) |
CN (1) | CN102257533B (ja) |
WO (1) | WO2010058821A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2541465A3 (en) * | 2011-06-27 | 2017-09-13 | Clarion Co., Ltd. | Vehicle periphery monitoring system |
CN113689714A (zh) * | 2020-05-19 | 2021-11-23 | 大唐移动通信设备有限公司 | 通行控制方法、装置及交通控制系统 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201221391A (en) * | 2010-11-26 | 2012-06-01 | Hon Hai Prec Ind Co Ltd | Vehicle and backing up method thereof |
JP5533766B2 (ja) * | 2011-04-05 | 2014-06-25 | 株式会社デンソー | 車両用表示装置 |
WO2012160657A1 (ja) * | 2011-05-24 | 2012-11-29 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
WO2013088517A1 (ja) * | 2011-12-13 | 2013-06-20 | 株式会社日立製作所 | 停立人物の向き推定方法 |
JP5792091B2 (ja) * | 2012-02-16 | 2015-10-07 | 富士通テン株式会社 | 物体検出装置及び物体検出方法 |
JP5615862B2 (ja) * | 2012-03-07 | 2014-10-29 | クラリオン株式会社 | 車両周囲監視装置 |
JP5192597B1 (ja) * | 2012-04-03 | 2013-05-08 | 株式会社ナナオ | 動き画像領域判定装置またはその方法 |
JP5867273B2 (ja) * | 2012-04-27 | 2016-02-24 | 富士通株式会社 | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム |
MY158374A (en) * | 2012-07-27 | 2016-09-26 | Nissan Motor | Three-dimensional object detection device and three-dimensional object detection method |
CN104380039B (zh) * | 2012-07-31 | 2017-11-17 | 哈曼国际工业有限公司 | 使用单个相机检测障碍物的系统和方法 |
EP2701093B1 (en) * | 2012-08-20 | 2016-06-22 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
JP2014131257A (ja) * | 2012-11-27 | 2014-07-10 | Ricoh Co Ltd | 画像補正システム、画像補正方法及びプログラム |
EP2757527B1 (en) | 2013-01-16 | 2018-12-12 | Honda Research Institute Europe GmbH | System and method for distorted camera image correction |
JP2014044730A (ja) * | 2013-09-24 | 2014-03-13 | Clarion Co Ltd | 画像処理装置 |
JP6496982B2 (ja) * | 2014-04-11 | 2019-04-10 | 株式会社デンソー | 認知支援システム |
US9471853B2 (en) * | 2014-05-19 | 2016-10-18 | Jinling Institute Of Technology | Method and apparatus for image processing |
JP6323262B2 (ja) * | 2014-08-29 | 2018-05-16 | トヨタ自動車株式会社 | 車両の接近物体検出装置 |
EP2990290B1 (en) * | 2014-09-01 | 2019-11-06 | Honda Research Institute Europe GmbH | Method and system for post-collision manoeuvre planning and vehicle equipped with such system |
KR20160075135A (ko) * | 2014-12-19 | 2016-06-29 | 현대모비스 주식회사 | 자동차 물체인식 시스템 및 그 동작방법 |
EP3136288A1 (en) * | 2015-08-28 | 2017-03-01 | Autoliv Development AB | Vision system and method for a motor vehicle |
JP6620977B2 (ja) * | 2015-10-09 | 2019-12-18 | パナソニックIpマネジメント株式会社 | 表示制御装置、投影装置、および表示制御プログラム |
WO2017094140A1 (ja) * | 2015-12-02 | 2017-06-08 | 三菱電機株式会社 | 物体検出装置及び物体検出方法 |
CN108122253A (zh) * | 2017-12-04 | 2018-06-05 | 广东欧珀移动通信有限公司 | 接近检测方法、装置及电子设备 |
DE102018208278A1 (de) | 2018-05-25 | 2019-11-28 | Robert Bosch Gmbh | Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung |
US11228737B2 (en) * | 2019-07-31 | 2022-01-18 | Ricoh Company, Ltd. | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium |
WO2021075377A1 (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 物体検知装置、物体検知方法、および物体検知プログラム |
US11783490B2 (en) * | 2020-03-19 | 2023-10-10 | Objectvideo Labs, Llc | Ground plane filtering of video events |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000074645A (ja) * | 1998-08-27 | 2000-03-14 | Yazaki Corp | 周辺監視装置及び方法 |
JP2004056763A (ja) | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視装置、監視方法および監視用プログラム |
JP2007233469A (ja) | 2006-02-27 | 2007-09-13 | Toshiba Corp | 物体検出装置及びその方法 |
JP2007257025A (ja) | 2006-03-20 | 2007-10-04 | Clarion Co Ltd | 移動体監視装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
US6342904B1 (en) * | 1998-12-17 | 2002-01-29 | Newstakes, Inc. | Creating a slide presentation from full motion video |
JP3808242B2 (ja) * | 1999-07-26 | 2006-08-09 | パイオニア株式会社 | 画像処理装置、画像処理方法及びナビゲーション装置 |
JP2002314989A (ja) * | 2001-04-10 | 2002-10-25 | Yazaki Corp | 車両用周辺監視装置 |
US7266220B2 (en) * | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
DE102005013920B4 (de) | 2004-03-26 | 2007-12-13 | Mitsubishi Jidosha Kogyo K.K. | Frontsicht-Überwachungsvorrichtung |
US20060088188A1 (en) * | 2004-10-11 | 2006-04-27 | Alexander Ioffe | Method for the detection of an obstacle |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
US8300887B2 (en) * | 2007-05-10 | 2012-10-30 | Honda Motor Co., Ltd. | Object detection apparatus, object detection method and object detection program |
CN100568266C (zh) | 2008-02-25 | 2009-12-09 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
-
2009
- 2009-11-09 JP JP2009255666A patent/JP5421072B2/ja active Active
- 2009-11-19 CN CN2009801458033A patent/CN102257533B/zh active Active
- 2009-11-19 US US13/129,869 patent/US8712097B2/en active Active
- 2009-11-19 WO PCT/JP2009/069649 patent/WO2010058821A1/ja active Application Filing
- 2009-11-19 EP EP09827602.5A patent/EP2369552B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000074645A (ja) * | 1998-08-27 | 2000-03-14 | Yazaki Corp | 周辺監視装置及び方法 |
JP2004056763A (ja) | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視装置、監視方法および監視用プログラム |
JP2007233469A (ja) | 2006-02-27 | 2007-09-13 | Toshiba Corp | 物体検出装置及びその方法 |
JP2007257025A (ja) | 2006-03-20 | 2007-10-04 | Clarion Co Ltd | 移動体監視装置 |
Non-Patent Citations (1)
Title |
---|
MASAMI MIZUTANI ET AL.: "Gazo Ninshiki Gijutsu no Driver Shikaku Shien eno Oyo", FUJITSU, vol. 59, no. 4, 10 July 2008 (2008-07-10), pages 397 - 402, XP008169038 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2541465A3 (en) * | 2011-06-27 | 2017-09-13 | Clarion Co., Ltd. | Vehicle periphery monitoring system |
CN113689714A (zh) * | 2020-05-19 | 2021-11-23 | 大唐移动通信设备有限公司 | 通行控制方法、装置及交通控制系统 |
Also Published As
Publication number | Publication date |
---|---|
EP2369552A4 (en) | 2016-08-17 |
EP2369552B1 (en) | 2018-09-19 |
CN102257533A (zh) | 2011-11-23 |
US8712097B2 (en) | 2014-04-29 |
US20110228985A1 (en) | 2011-09-22 |
JP5421072B2 (ja) | 2014-02-19 |
JP2010152873A (ja) | 2010-07-08 |
EP2369552A1 (en) | 2011-09-28 |
CN102257533B (zh) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010058821A1 (ja) | 接近物体検知システム | |
US8405491B2 (en) | Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices | |
US10956757B2 (en) | Image processing device, outside recognition device | |
JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
US20150062141A1 (en) | Alert display device and alert display method | |
JP5054612B2 (ja) | 接近物検出装置および接近物検出方法 | |
JP2008123215A (ja) | 運転支援装置、運転支援方法、及び、プログラム | |
JP2005309797A (ja) | 歩行者警報装置 | |
US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
CN108280445B (zh) | 一种车辆周围运动物体和凸起障碍物的检测方法 | |
JP2010044561A (ja) | 乗物搭載用監視装置 | |
US20180330619A1 (en) | Display device and display method for displaying pictures, and storage medium | |
JP4826355B2 (ja) | 車両周囲表示装置 | |
US9827906B2 (en) | Image processing apparatus | |
JP4986070B2 (ja) | 車両用周囲監視装置 | |
KR100355993B1 (ko) | 차선 이탈 경보장치 및 방법 | |
JP2005309660A (ja) | 車両用右左折支援装置 | |
US20220408062A1 (en) | Display control apparatus, display control method, and program | |
WO2021084818A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
JP3942289B2 (ja) | 車両監視装置 | |
JP2000251199A (ja) | 車両用後側方監視装置 | |
JP4218441B2 (ja) | 車載用移動体検出装置 | |
JP2009214790A (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
JP2006107000A (ja) | 画像異常判定方法及び画像異常判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200980145803.3 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09827602 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13129869 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2009827602 Country of ref document: EP |