WO2009099022A1 - 周辺監視装置及び周辺監視方法 - Google Patents

周辺監視装置及び周辺監視方法 Download PDF

Info

Publication number
WO2009099022A1
WO2009099022A1 PCT/JP2009/051691 JP2009051691W WO2009099022A1 WO 2009099022 A1 WO2009099022 A1 WO 2009099022A1 JP 2009051691 W JP2009051691 W JP 2009051691W WO 2009099022 A1 WO2009099022 A1 WO 2009099022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
collision
moving body
monitoring device
position information
Prior art date
Application number
PCT/JP2009/051691
Other languages
English (en)
French (fr)
Inventor
Hiroshi Yamato
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to US12/865,926 priority Critical patent/US20110019873A1/en
Priority to JP2009552460A priority patent/JPWO2009099022A1/ja
Priority to EP09708707.6A priority patent/EP2249310A4/en
Publication of WO2009099022A1 publication Critical patent/WO2009099022A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a periphery monitoring device and a periphery monitoring method for monitoring the periphery of a moving object.
  • a three-dimensional object is recognized from image data obtained by a stereo camera, a three-dimensional optical flow is calculated based on the two-dimensional optical flow and distance of the three-dimensional object, and the three-dimensional object is a stationary object or A technique for determining whether the object is a moving object is disclosed.
  • Patent Document 3 a vertical edge and a horizontal edge of an object included in captured image data captured by a camera are extracted to calculate a two-dimensional optical flow, and a vertical movement speed component reaches the host vehicle.
  • a technique for determining a monitoring target area based on the time until is disclosed.
  • Patent Document 4 discloses a technique for calculating a time until an object collides using a vanishing point of two-dimensional image data and an optical flow.
  • Patent Document 5 discloses a collision avoidance action device that calculates a danger determination and a collision time by a two-dimensional optical flow detected from image data.
  • patent document 2 determines whether it is a stationary object or a moving object using a three-dimensional optical flow, and does not determine the presence or absence of a collision.
  • An object of the present invention is to provide a periphery monitoring device and a periphery monitoring method capable of accurately determining the possibility of a collision.
  • a periphery monitoring device is a periphery monitoring device that is mounted on a mobile body and monitors the periphery of the mobile body, and includes an image acquisition unit that acquires image data around the mobile body in time series.
  • a movement information calculation unit that sets a plurality of measurement points in each image data acquired by the image acquisition unit and calculates movement information of each measurement point; and a three-dimensional real space of each position around the moving body
  • a three-dimensional optical flow of each measurement point is calculated based on position information acquisition means for acquiring position information at the position, movement information calculated by the movement information calculation means, and position information acquired by the position information acquisition means.
  • a collision object in which an object located around the moving body may collide with the moving body based on the flow calculating means and the three-dimensional optical flow calculated by the flow calculating means. Characterized in that it comprises a collision decision means for making a decision whether or not Luke.
  • a periphery monitoring method is a periphery monitoring method for monitoring the periphery of a moving body, the image acquiring step for acquiring image data around the moving body in time series, and the image acquiring step Calculated by the movement information calculation step for calculating the movement information of the object included in the image data acquired by the step, the position information acquisition step for acquiring the position information of the object in the three-dimensional real space, and the movement information calculation step.
  • a collision determination step for determining whether or not the object is a collision object that may collide with the body. To.
  • FIG. 1 shows a schematic configuration diagram of a periphery monitoring device according to Embodiment 1 of the present invention.
  • FIG. The block diagram of the periphery monitoring apparatus shown in FIG. 1 is shown. It is a flowchart which shows operation
  • the block diagram of a measuring device is shown. It is explanatory drawing of the distance measured by a measuring device. It is explanatory drawing of the calculation process of a three-dimensional optical flow. It is the figure which showed an example of the scene where a collision determination process is implemented.
  • FIG. 16 is a block diagram of the controller shown in FIG. 15.
  • FIG. 1 shows a schematic configuration diagram of a periphery monitoring device according to Embodiment 1 of the present invention.
  • the periphery monitoring device is mounted on a moving body such as an automobile and monitors the surroundings of the moving body, and includes a camera 10, a measuring device 20, and a controller 100.
  • the camera 10 is installed on the moving body so that the traveling direction of the moving body and the optical axis are parallel, and shoots a scene ahead of the moving body at a predetermined frame rate. It is assumed that the camera 10 is calibrated in advance and the camera parameters are also known in advance.
  • the controller 100 is configured by a predetermined hardware device including a CPU, a ROM, a RAM, and the like, and controls the entire periphery monitoring device. In addition, the controller 100 sequentially captures image data captured by the camera 10 via a communication cable. Note that the controller 100 may capture image data captured by the camera 10 wirelessly.
  • FIG. 2 is a block diagram of the periphery monitoring device shown in FIG.
  • the periphery monitoring device includes a camera 10 (an example of an image acquisition unit), a measurement device 20 (an example of a position information acquisition unit), a controller 100, a display unit 200 (an example of a notification unit), and a buzzer 300 (an example of a notification unit). It has.
  • the measuring device 20 measures position information in the three-dimensional real space at each position around the moving body and outputs the position information to the controller 100.
  • the controller 100 includes a movement information calculation unit 30 (an example of movement information calculation unit), a position information acquisition unit 40 (an example of position information acquisition unit), a flow calculation unit 50 (an example of flow calculation unit), and a collision determination unit 60 (collision).
  • An example of a determination unit) and a notification control unit 70 (an example of a notification unit) are provided.
  • the periphery of the moving body is an area having a certain size including image data photographed by the camera 10, and each position is at least when the area is divided with a resolution higher than the resolution of the camera 10. Each position is shown.
  • the movement information calculation unit 30 sets a plurality of measurement points in each image data photographed by the camera 10 and calculates movement information of each measurement point. Specifically, the movement information calculation unit 30 sets a plurality of measurement points for each image data photographed by the camera 10 at a predetermined frame rate, and is one image data of a pair of image data that are time-series. The corresponding point of the measurement point set to is searched from the other image data, and the two-dimensional optical flow of each measurement point is calculated as movement information using the measurement point and the corresponding point.
  • the position information acquisition unit 40 acquires position information measured by the measuring device 20.
  • the flow calculation unit 50 calculates the three-dimensional optical flow of each measurement point based on the movement information of each measurement point calculated by the movement information calculation unit 30 and the position information acquired by the position information acquisition unit 40.
  • the flow calculation unit 50 obtains a difference vector of position information between each measurement point and the corresponding point that is a pair from the position information acquired by the position information acquisition unit 40, and obtains the obtained difference vector.
  • the position information is represented by, for example, an X, Y, Z coordinate system with the installation position of the measuring device 20 as the origin.
  • the Z component indicates the forward direction of the moving body
  • the Y component indicates the vertical direction
  • the X component indicates the width direction of the moving body orthogonal to each of the Z and Y components.
  • the collision determination unit 60 determines whether or not an object located around the moving body is a collision object that may collide with the moving body based on the three-dimensional optical flow calculated by the flow calculation unit 50. Judgment processing is performed. Specifically, the collision determination unit 60 identifies each object located around the moving body based on the distribution of position information of each measurement point, and the extension line of the three-dimensional optical flow of the measurement point of the object Based on whether or not the moving object intersects, it is determined whether or not the object is a collision object.
  • the notification control unit 70 When the collision determination unit 60 determines that an object around the moving body is a collision object, the notification control unit 70 generates information for notifying that there is a risk of collision and displays the information on the display unit 200. And causes the buzzer 300 to sound a horn.
  • the speed acquisition unit 80 acquires the speed of the moving body M1 measured by, for example, a speed measuring device included in the moving body.
  • the display unit 200 includes a display device such as a liquid crystal display or an organic EL display, and displays various information under the control of the controller 100.
  • the display unit 200 may be configured by a display device of the car navigation system, or may be configured by a display device different from the car navigation system. Good.
  • the buzzer 300 sounds a horn for notifying the passenger that there is a danger of a collision.
  • FIG. 3 is a flowchart showing the operation of the periphery monitoring device.
  • the camera 10 acquires image data of the current frame.
  • the acquisition time of the current frame is t
  • the acquisition time of the previous frame one frame before the current frame is t-1
  • the image data of the current frame is I (t)
  • the image one frame before the current frame Let the data be I (t-1).
  • step S2 the movement information calculation unit 30 calculates a two-dimensional optical flow at each measurement point.
  • the two-dimensional optical flow is calculated as follows. First, a measurement point is set in the image data I (t ⁇ 1). Here, each pixel of the image data I (t ⁇ 1) may be set as a measurement point, or pixels thinned out at a constant interval may be set as a measurement point.
  • corresponding point search processing is executed to search for corresponding points at each measurement point from the image data I (t).
  • the difference between each measurement point and the corresponding point that forms a pair is calculated, and the two-dimensional optical flow of each measurement point is calculated.
  • the difference between the horizontal and vertical components between the measurement point and the corresponding point is calculated as a two-dimensional optical flow.
  • SAD Sud of Absolute Difference
  • the SAD is obtained by Expression (1) while setting a window (reference window) for the image data I (t ⁇ 1), setting a window (reference window) for the image data (t), and shifting the reference window.
  • the correlation between the image data in the reference window and the image data in the reference window is obtained from the correlation value, and the center point of the reference window when the correlation is the highest is searched as the corresponding point of the attention point.
  • the SAD has a feature that the correlation value is calculated by subtracting the pixel values of the two pieces of image data as they are, so that the calculation amount is small and high-speed processing is possible. .
  • M L represents the image data in the reference window
  • M R represents an image data in the reference window
  • Q is shows the horizontal size of the window
  • P is indicating the vertical size of the window.
  • SSD (Sum of Squared intensity Difference) SSD is a method of searching for corresponding points in the same manner as SAD, except that Equation (2) is used.
  • the SSD makes it possible to clarify the error between both pieces of image data even when the window size is small. Can do.
  • NCC Normalized Cross Correlation
  • [mu] M L represents the local mean value of the image data in the reference window
  • [mu] M R represents a local mean value of the image data in the reference window
  • NCC obtains a correlation value based on a variance value of two pieces of image data from which a local average value has been reduced. Therefore, linear brightness change (pixel value and linearity of contrast) This is a technique that is not affected by changes, noise, and the like.
  • phase-only correlation method is based on the correlation of signals in which image data in a window set to image data I (t-1) and I (t) is frequency-resolved and amplitude components are suppressed. This is a method for searching for corresponding points.
  • any of fast Fourier transform, discrete Fourier transform, discrete cosine transform, discrete sine transform, wavelet transform, and Hadamard transform can be employed.
  • FIG. 4 is a diagram showing a processing flow of the phase only correlation method.
  • a window reference window
  • a window is set so that the center is located at the measurement point set in the image data I (t ⁇ 1), and a window is set in the image data I (t).
  • the window set in the image data I (t) is shifted to the position of the image data I (t) that matches the image data in the reference window by pattern matching or the like, and the reference window is set.
  • the image data f in the standard window and the image data g in the reference window are subjected to discrete Fourier transform (DFT) to obtain image data F and image data G.
  • DFT discrete Fourier transform
  • the image data F and the image data G are normalized, and the image data F ′ and the image data G ′ are obtained.
  • the image data F ′ and the image data G ′ are combined to obtain correlated image data R.
  • the correlation image data R is subjected to inverse discrete Fourier transform (IDFT) to obtain a POC function r.
  • IDFT inverse discrete Fourier transform
  • the POC function r has a steep correlation peak and is known to have high robustness and estimation accuracy in image matching.
  • the height of the correlation peak increases as the correlation between the image data f and the image data g increases. Therefore, by specifying the position of the correlation peak, it is possible to calculate the positional deviation amount of the reference window with respect to the reference window, and to calculate the corresponding points.
  • the position of the correlation peak is also obtained at the pixel level.
  • the POC function is interpolated and is calculated at the sub-pixel level.
  • the position of the correlation peak may be estimated.
  • FIG. 6 is an explanatory diagram of the multi-resolution technique.
  • the image data I (t) and I (t ⁇ 1) to be processed are converted to multi-resolution so that the resolution increases from the lower level to the higher level.
  • the lowest hierarchy is set as the attention hierarchy, and corresponding points for the measurement points of the image data I (t ⁇ 1) of the attention hierarchy are searched from the image data I (t) of the attention hierarchy.
  • the corresponding points may be searched using any one of the methods (1) to (4).
  • the layer one level higher than the target layer is set as the target layer.
  • a search range is set in the image data I (t) of the target layer with reference to the corresponding point searched in the next lower layer.
  • the search range is set to be narrower than the search range set in the next lower hierarchy.
  • a corresponding point is searched by searching the search range. The above processing is repeatedly executed up to the highest hierarchy to obtain corresponding points as solutions.
  • step S3 the position information acquisition unit 40 acquires position information D (t) of each position around the moving object at time t measured by the measurement device 20.
  • FIG. 7 shows a configuration diagram of the measuring device 20.
  • the measuring device 20 shown in FIG. 7 irradiates near infrared rays from an LED (light emitting diode) 21 mounted around the CMOS sensor 22 and measures the time until the CMOS sensor 22 receives the reflected light by the timer 23.
  • This is a device that measures a three-dimensional position by the TOF (time of flight) method.
  • the measuring device 20 outputs the measured position to the controller 100 as position information.
  • a laser range finder manufactured by Canesta may be employed.
  • FIG. 8 is an explanatory diagram of the distance measured by the measuring device 20, (a) is a schematic diagram from above the moving body, and (b) shows the relationship between the distance and the detection angle of the millimeter wave. It is a graph, (c) represents the scene ahead of a moving body.
  • the measuring device 20 can measure the distance according to the detection angle of the millimeter wave. Therefore, the measurement device 20 can acquire two-dimensional distance image data indicating the distribution of distances at each position in the scene in front of the moving object.
  • step S4 the flow calculation unit 50 calculates a three-dimensional optical flow of each measurement point.
  • FIG. 9 is an explanatory diagram of the calculation process of the three-dimensional optical flow.
  • step S2 a two-dimensional optical flow of each measurement point is obtained. This is because the measurement point (x t ⁇ 1 , y t ⁇ 1 ) on the image data I (t ⁇ 1) captured at the timing of time t ⁇ 1 is the image data I (t ) It has moved to some position (x t , y t ) above.
  • positional information (X t ⁇ 1 , Y t ⁇ 1 , Z t ⁇ 1 ) in the three-dimensional real space between the measurement point (x t ⁇ 1 , y t ⁇ 1 ) and the corresponding point (x t , y t ) , (X t , Y t , Z t ) can be specified from the position information acquired in step S3.
  • step S5 the collision determination unit 60 performs a collision determination process.
  • FIG. 10 is a diagram illustrating an example of a scene where the collision determination process is performed.
  • FIG. 11 is a diagram showing a two-dimensional optical flow in the scene of FIG.
  • FIG. 12 is a diagram showing a three-dimensional optical flow in the scene of FIG.
  • the moving body M1 is traveling on the road surface RO1.
  • an object OB1 made of a person moves so as to cross the moving body M1.
  • an object OB2 made of a building stands on the road surface RO1 in front of the moving body M1.
  • an object OB3 which is another moving body is traveling in front of the moving body M1.
  • Such a scene is photographed by the camera 10 attached to the moving body M1, and the two-dimensional optical flow is obtained as shown in FIG. As shown in FIG. 11, it can be seen that the camera 10 captures an image obtained by capturing the scene shown in FIG. 10 from the traveling direction of the moving object M1.
  • the circles shown in FIG. 11 indicate the measurement points KP that are the calculation target of the two-dimensional optical flow OF2. Further, in the image shown in FIG. 11, it can be seen that a plurality of pixels thinned out at a constant thinning width are set as measurement points KP, and the two-dimensional optical flow OF2 is calculated at each measurement point KP. In the image shown in FIG. 11, it can be seen that the road surface RO1 and the sky SK1 are taken as background images of the objects OB1 to OB3.
  • the two-dimensional optical flow OF2 is not significantly different from the two-dimensional optical flow OF2 of each object OB1 to OB3 and the two-dimensional optical flow OF2 of the background image. This is because in the two-dimensional optical flow OF2, the speed of the moving body M1 becomes dominant compared to the speed of the objects OB1 to OB3, and in particular, the speed of the objects OB1 to OB3 is lower than the speed of the moving body M1. Become noticeable in the case. Therefore, when the two-dimensional optical flow OF2 is used, it is difficult to accurately perform the collision determination process.
  • the three-dimensional optical flow OF3 may determine whether or not the extension line and the moving body M1 intersect with each other, so that an object positioned in front of the moving body M1 may collide with the moving body M1. It is possible to determine whether or not there is a collision object.
  • the extension line of the three-dimensional optical flow OF3 intersects the moving body M1, so that the object OB1 is determined as a collision object.
  • the three-dimensional optical flow OF3 is represented by a combined vector of the speed of the moving body M1 and the speed of the object, and the motion of the object can be analyzed three-dimensionally. Is possible.
  • the three-dimensional optical flow OF3 is a difference vector (X t ⁇ X t ⁇ 1 , Y t ⁇ ) of position information in the three-dimensional real space between the measurement point in the frame at time t ⁇ 1 and the corresponding point in the frame at time t.
  • the collision time T until the object collides with the moving body M1 can be calculated from OFZ t which is the Z component of the three-dimensional optical flow OF3 as shown in the equation (A).
  • T D (OFZ t ) / (OFZ t ) (A)
  • D (OFZ t ) represents the distance in the Z direction between the moving body M1 and the object. Strictly speaking, T does not have a time dimension, but represents the number of frames until the object reaches the moving body M1, and thus can be considered to have a dimension equivalent to time. .
  • Equation (B) shows where the three-dimensional optical flow (OFX t , OFY t , OFZ t ) is at the time of the collision time T.
  • F (X, Y, Z) (D (OFX t ) ⁇ OFX t ⁇ T, D (OFY t ) ⁇ OFY t ⁇ T, D (OFZ t ) ⁇ OFZ t ⁇ T) (B) Then, collision determination processing is performed by determining F (X, Y, Z).
  • F (X) determination is performed in consideration of the width of the moving body M1, that is, the length in the X direction.
  • the collision determination unit 60 sets a virtual three-dimensional space including three axes of X, Y, and Z assuming that the width is W and the camera 10 and the measurement device 20 are installed at the center of the width, and the position of the measurement device 20 Is the origin. If the following equation (C) is satisfied, the object set with the measurement point of the three-dimensional optical flow to be determined is determined to be a collision object in the X direction, and the equation (C) is not satisfied. , It is determined that the object is not a collision object in the X direction.
  • the collision determination unit 60 specifies position information on the three-dimensional real space of each pixel of the image data captured by the camera 10 from the measurement result of the measurement apparatus 20, and the image data is distributed according to the distribution of the position information. What is necessary is just to extract each object contained in and to identify which object each measurement point belongs to. Specifically, an area composed of continuous pixels in which the Z component of the position information belongs within a certain range may be determined as one object. In addition, the area
  • an area where the width W of the moving body M1 has some margin may be set as the moving body area in order to avoid collision more reliably.
  • the determination formula is represented by Formula (D).
  • (alpha) shows margin and has a predetermined value.
  • F (Y) determination is performed in consideration of the height of the moving body M1, that is, the length in the Y direction.
  • the collision determination unit 60 determines whether to satisfy the equation (E). It is determined that the object for which the measurement point of the three-dimensional optical flow is set is a collision object in the Y direction, and when the expression (E) is not satisfied, it is determined that the object is not a collision object in the Y direction.
  • the collision determination unit 60 may perform the collision determination process using an equation (F) that gives a slight margin to the equation (E).
  • ⁇ 1 and ⁇ 2 indicate margins and have predetermined values.
  • F (Z) a determination is made in consideration of the length of the moving body M1, that is, the length in the Z direction. For example, when the installation location of the camera 10 and the measurement device 20 is used as a reference, and the front length of the moving body M1 is LF and the rear length is LB, the collision determination unit 60 determines that the expression (G) is satisfied. An object for which a measurement point of the target three-dimensional optical flow is set is determined as a collision object, and when the equation (G) is not satisfied, it is not determined as a collision object.
  • the collision determination unit 60 may perform the collision determination process by using an expression (H) that gives a slight margin to the expression (G).
  • ⁇ 1 and ⁇ 2 indicate margins and have predetermined values.
  • the collision determination unit 60 is an object that is set as a determination target for which a measurement point of the three-dimensional optical flow is set as a collision object. Is determined.
  • the collision determination unit 60 has a three-dimensional optical flow of F (X, Y, Z) at one or more predetermined number of measurement points. If the condition is satisfied, the object may be determined as a collision object. As the predetermined number, a preferable value is appropriately adopted in order to prevent erroneous determination.
  • FIG. 13 is an explanatory diagram of the collision determination process on the YZ plane.
  • FIG. 14 is an explanatory diagram of the collision determination process on the XZ plane.
  • a virtual three-dimensional space defined by three axes of X, Y, and Z is set with reference to a moving body region R1 that is a region of the moving body M1.
  • the three-dimensional optical flow OFA at the measurement point A of the object OB1 is directed toward the moving body M1, satisfies the above condition of F (X, Y, Z), and is extended. Since the line intersects the moving object region R1, the object OB1 is determined as a collision object.
  • the three-dimensional optical flow OFB at the measurement point B on the road surface does not satisfy the condition of F (Y) of F (X, Y, Z), and its extension line Does not intersect the moving body region R1, the road surface is not determined as a collision object.
  • the three-dimensional optical flow OFC at the measurement point C of the object OB1 is directed to the opposite side of the moving body M1, and does not satisfy the condition of F (X, Y, Z). Therefore, the object OB1 is not determined as a collision object.
  • the three-dimensional optical flow OFA at the measurement point A of the object OB1 is directed toward the moving body M1, and satisfies the above condition of F (X, Y, Z). Since the extension line intersects the moving body region R1, the object OB1 is determined as a collision object.
  • the three-dimensional optical flows OFB and OFC at the measurement points B and C of the object OB1 are F (X) and F (X) of F (X, Y, Z) and Since the condition of F (Z) is not satisfied and the extension line does not intersect the moving body region R1, the object OB1 is not determined as a collision object.
  • the collision determination unit 60 may perform the collision determination processing as follows. That is, when the extension line of the three-dimensional optical flow of the object around the moving object intersects the moving object M1 and the distance between the object and the moving object M1 is shorter than a predetermined reference distance, the collision determination unit 60 It is determined that this object is a collision object. Specifically, the stop distance of the mobile body M1 is calculated based on the speed of the mobile body M1 acquired by the speed acquisition unit 80, and the stop distance is obtained based on the obtained stop distance. The reference distance may be changed.
  • the stop distance can be calculated from the free running distance E and the braking distance B.
  • T the reaction time
  • V the speed of the moving body M1.
  • u is a friction coefficient during braking
  • g is gravitational acceleration.
  • the speed acquisition unit 80 may employ a method of calculating the speed from the distance information instead of the configuration of acquiring the speed measured by the speed measurement device. Specifically, an average value of the magnitudes of the three-dimensional optical flows (OFX t , OFY t , OFZ t ) at a plurality of measurement points that are not moving objects is obtained, and this average value is calculated as the velocity of the moving object M1. Good. In this case, it is preferable to estimate the road surface from the height of the moving body M1, and to calculate the average value of the three-dimensional optical flow sizes at a plurality of measurement points on the road surface as the speed of the moving body M1. Thereby, the speed of the moving body M1 can be calculated more accurately.
  • the collision determination unit 60 may change the reference distance based on the ratio between the size of the three-dimensional optical flow of the object and the distance to the object.
  • the collision determination unit 60 is a ratio R between the distance to the measurement point of the object and the size of the three-dimensional optical flow (specifically, the distance between the X and Z components to the object). And the ratio of the X and Z components of the three-dimensional optical flow), and an object having the ratio R within a predetermined threshold is determined as a collision object.
  • the reference distance may be changed depending on the size of the object as well as the above determination method.
  • the moving body M1 can perform an avoidance action on a small object, but it is difficult to perform an avoidance action on a large object. Therefore, for a large object, the reference distance is set longer than that for a small object.
  • the size of the object may be calculated from the information obtained by obtaining the distance to the object in the three-dimensional real space and the area of the object on the image data.
  • the collision determination unit 60 sets a certain threshold value, performs a collision determination process by setting a predetermined reference distance for a large object for an object larger than this threshold value, and previously determines an object smaller than this threshold value for an object smaller than this threshold value.
  • the collision determination process may be performed by setting a predetermined reference distance for a small object.
  • the reference distance may be set continuously or stepwise so that the reference distance increases as the size of the object increases.
  • the collision determination unit 60 avoids the collision of the object based on the processing result obtained by executing the collision determination processing multiple times in time series and the speed of the moving body M1. It may be determined whether or not the object has changed, and based on the obtained determination result, it may be determined whether or not the object is a collision object.
  • the passenger of the object may not be aware of the presence of the moving object M1. .
  • the speed of the object is reduced, it is considered that the passenger of the object is aware of the presence of the moving object M1.
  • the collision determination unit 60 performs the collision determination process for each of a plurality of frame periods, holds the processing result of the collision determination process for each object in the plurality of frame periods, and determines that the object has been determined to collide more than a certain number of times.
  • the speed change of the object may be obtained from the three-dimensional optical flow of the object, and the speed change of the moving body M1 may be obtained from the speed acquired by the speed acquisition unit 80.
  • step S6 the notification control unit 70 generates information indicating the result of the collision determination process in step S5, displays the information on the display unit 200, and outputs the information to the buzzer 300. Specifically, when it is determined in step S5 that a collision object exists, the notification control unit 70 causes the display unit 200 to display image data in which the collision object is marked on image data captured by the camera 10, for example. Thus, the presence of the collision object may be notified to the passenger.
  • the notification control unit 70 may output an alarm such as a horn from the buzzer 300 to notify the passenger of the danger.
  • the degree of danger may be determined, and the alarm sound or image display method may be changed according to the degree of danger. For example, even if it is determined in step S5 that the object is a collision object, if the distance to the moving body M1 is long and the risk level is low, an alarm sound or image display for a low risk level is performed. When the distance to the moving body M1 is close and the risk level is high, an alarm sound or an image for high risk level may be displayed. Further, the risk level may be judged in stages, and an alarm sound or an image display corresponding to the risk level may be performed.
  • the periphery monitoring device since the presence or absence of a collision is determined using the three-dimensional optical flow, the possibility of a collision can be accurately determined.
  • FIG. 15 is a schematic configuration diagram of the periphery monitoring device according to the second embodiment. As shown in FIG. 15, in this embodiment, a stereo camera including two cameras 11 and 12 is employed.
  • the cameras 11 and 12 are synchronized in photographing timing so that frames are photographed at the same time, and the automobiles, motorcycles and bicycles traveling in front of the moving body M1, and the front of the vehicle body Shooting objects such as passers-by.
  • the cameras 11 and 12 are calibrated in advance and the camera parameters are known in advance. Although two cameras 11 and 12 are used, the present invention is not limited to this, and three or more cameras may be used.
  • the cameras 11 and 12 are installed on the movable body M1 with the optical axis parallel to the Z direction, the same height position (position in the Y direction), and a certain interval in the width direction (X direction). .
  • FIG. 16 shows a block diagram of the controller 100 shown in FIG.
  • the difference from FIG. 2 is that the camera 10 and the measuring device 20 are the cameras 11 and 12.
  • the position information acquisition unit 40 uses the image data captured by the camera 11 as a standard image, the image data captured by the camera 12 as a reference image, and the corresponding point of the measurement point set in the standard image at time t is the time t.
  • a search is performed from the reference image, parallax between the measurement point and the corresponding point is obtained, and position information of the measurement point in the three-dimensional real space is calculated based on the parallax.
  • the position information acquisition unit 40 may search for corresponding points by employing the same method as the corresponding point search process of the movement information calculation unit 30 described above.
  • x and y indicate the coordinates of the measurement point on the image data
  • f indicates the focal length
  • d indicates the parallax
  • B indicates the baseline length between the camera 11 and the camera 12, that is, the interval in the X direction. Indicates.
  • the difference between the horizontal and vertical components of the measurement point and the corresponding point can be adopted as the parallax.
  • step S1 a standard image is acquired by the camera 11, and a reference image is acquired by the camera 12.
  • step S3 the position information acquisition unit 40 searches the reference image I2 (t) for the corresponding point TP1 (t) of each measurement point KP (t) in the reference image I1 (t) at the time t, and the measurement point KP (
  • the parallax d (t) is calculated from the pair of t) and the corresponding point TP1 (t), and the position information of the measurement point KP (t) is calculated from the obtained parallax d (t).
  • the position information acquisition unit 40 measures the corresponding point TP2 (t) of the measurement point KP (t-1) of the reference image I1 (t-1) searched from the reference image I1 (t) in step S2.
  • the point KP (t) may be used.
  • the position information of the object can be calculated from the information of only the image data.
  • a corresponding point search process a method of calculating corresponding points at a subpixel level by fitting a function such as a parabola is illustrated, but the present invention is not limited to this, and a subpixel template is generated, You may employ
  • the subpixel template is calculated as follows. First, it is assumed that the corresponding point TP2 (t) is calculated at the subpixel level in step S3 of the second embodiment. In this case, a reference window is set around the corresponding point TP2 (t). Next, the luminance at each point of the image data in the reference window is calculated using bilinear interpolation (bilinear interpolation) or bicubic interpolation. Thereby, a subpixel template is obtained. Then, a corresponding point may be searched from the reference image using this subpixel template.
  • bilinear interpolation bilinear interpolation
  • bicubic interpolation bicubic interpolation
  • the three-dimensional optical flow is generated as distance image data D1 from L1-R1 and distance image data D2 from L2-R2 as stereo image data L1, R1 at time T1 and stereo image data L2, R2 at time T2.
  • the two-dimensional optical flow may be calculated from L1-L2, and the three-dimensional optical flow may be calculated from the distance image data D1, D2 and the two-dimensional optical flow.
  • the periphery monitoring device is a periphery monitoring device that is mounted on a mobile body and monitors the periphery of the mobile body, and includes image acquisition means for acquiring image data around the mobile body in time series, A movement information calculation unit that sets a plurality of measurement points for each image data acquired by the image acquisition unit and calculates movement information of each measurement point, and a position in the three-dimensional real space around each position of the moving body
  • a position information acquisition means for acquiring information, a flow calculation for calculating a three-dimensional optical flow of each measurement point based on the movement information calculated by the movement information calculation means and the position information acquired by the position information acquisition means
  • an object located around the moving body is a collision object that may collide with the moving body based on the means and the three-dimensional optical flow calculated by the flow calculating means Characterized in that it comprises a determining collision determining means.
  • the periphery monitoring method is a periphery monitoring method for monitoring the periphery of the moving body, the image acquiring step for acquiring the image data around the moving body in time series, and the image acquired by the image acquiring step.
  • a movement information calculation step for calculating movement information of an object included in the data; a position information acquisition step for acquiring position information of the object in a three-dimensional real space; the movement information calculated by the movement information calculation step;
  • a collision determination step for determining whether or not the object is a collision object having a characteristic.
  • the collision determination means determines whether or not the object is a collision object based on whether or not an extension line of the three-dimensional optical flow of the object intersects the moving body. Is preferred.
  • the collision determination unit may be configured such that an extension line of the three-dimensional optical flow of the object intersects the moving body and the distance between the object and the moving body is shorter than a predetermined reference distance. It is preferable to determine that the object is a collision object.
  • the object when the extension line of the three-dimensional optical flow of the object intersects the moving object and the distance between the object and the moving object is shorter than the predetermined reference distance, the object is determined to be a collision object. Therefore, although the three-dimensional optical flows intersect, it is possible to prevent an object that is clearly unlikely to collide because it is located far away from being determined as a collision object.
  • the collision determination unit changes the reference distance according to the speed of the moving body.
  • the collision determination unit calculates a stop distance of the moving body based on the speed of the moving body, and changes the reference distance based on the obtained stop distance.
  • the collision determination unit changes the reference distance based on a ratio between the size of the three-dimensional optical flow of the object and the distance to the object.
  • the said collision determination means changes the said reference distance based on the magnitude
  • the collision object for example, if the collision object is small, it is possible to perform the avoidance action, but if the collision object is large, it is difficult to perform the avoidance action. Even if it does, it can determine as a collision object, and can ensure more safety.
  • the collision determination means based on the processing result obtained by executing the process of determining whether or not it is a collision object a plurality of times in time series, and the speed of the moving body, It is preferable to determine whether or not the speed of the object has changed so as to avoid a collision, and to determine whether or not the object is a collision object based on the obtained determination result.
  • a notifying means for notifying that there is a risk of a collision when the collision determining means determines that the object is a collision object.
  • the movement information calculation means executes a corresponding point search process for searching for the corresponding point of the target point set in one image data among the image data moving back and forth in time series from the other image data. It is preferable to calculate the movement information.
  • the movement information of the object can be calculated from the information of only the image data.
  • the image acquisition means is a stereo camera, and the position information acquisition means sets the corresponding point of the attention point set in one image data of the pair of image data acquired by the stereo camera as the other. It is preferable to calculate the position information by executing corresponding point search processing for searching from image data.
  • the position information of the object in the three-dimensional real space can be calculated from the information of only the image data.
  • the position information acquisition means is a distance measuring device.
  • position information can be calculated by a distance measuring device such as a millimeter wave radar.
  • the corresponding point search process is preferably a correlation calculation. According to this configuration, since the corresponding point is searched by the correlation calculation, the corresponding point can be searched with high accuracy.
  • the corresponding point search processing is performed based on a correlation of signals in which a window is set for a plurality of image data to be processed, image data in the set window is subjected to frequency decomposition, and amplitude components are suppressed. It is preferable to search for points.
  • This configuration makes it possible to robustly search for corresponding points without being affected by luminance differences between images and noise.
  • the frequency decomposition is preferably one of fast Fourier transform, discrete Fourier transform, discrete cosine transform, discrete sine transform, wavelet transform, and Hadamard transform.
  • the corresponding point search process is preferably a phase-only correlation method.
  • the corresponding points are searched using the phase-only correlation method, the corresponding points can be searched with higher accuracy than methods using other frequency decomposition.
  • the image data to be processed is multi-resolutioned so that the resolution increases from the lower level toward the higher level, and based on the corresponding point search result in the lower level.
  • a multi-resolution method for setting a search range so that a search range for corresponding points in a layer one level higher than the lower layer is narrowed, and sequentially searching for corresponding points from a lower layer to an upper layer It is preferable to use it to search for corresponding points.
  • the corresponding points are searched using a so-called multi-resolution method, the corresponding points can be searched effectively and with high accuracy even when the positions of the corresponding points are far apart.
  • the corresponding point search process searches for corresponding points over the entire area of the image data.
  • the movement information calculation unit can calculate more detailed movement information, and the position information acquisition unit acquires the detailed shape and distance of the object. can do.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

フロー算出部５０は、移動情報算出部３０により算出された各計測点の移動情報と位置情報取得部４０により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出する。衝突判定部６０は、フロー算出部５０により算出された３次元オプティカルフローを基に移動体の周囲に位置する物体が移動体に衝突する可能性のある衝突物体であるか否かを判定する。報知制御部７０は、判定結果を報知する。

Description

周辺監視装置及び周辺監視方法
　本発明は、移動体の周囲を監視する周辺監視装置及び周辺監視方法に関するものである。
　近年、ステレオカメラにより得られた時系列画像データに基づいて前方を走行する物体の２次元のオプティカルフローを求め、当該物体との衝突の可能性を判定する技術が知られている（例えば、特許文献１）。
　特許文献２には、ステレオカメラにより得られた画像データから立体物を認識し、当該立体物の２次元オプティカルフローと距離とに基づいて３次元オプティカルフローを算出し、当該立体物が静止物体又は移動物体であるかを判定する技術が開示されている。
　特許文献３には、カメラにより撮像された撮像画像データに含まれる物体の縦エッジと横エッジとを抽出して２次元のオプティカルフローを算出し、縦方向の移動速度成分が自車両に到達するまでの時間に基づいて監視対象領域を確定する技術が開示されている。
　特許文献４には、対象物が衝突するまでの時間を２次元画像データの消失点とオプティカルフローとを用いて算出する技術が開示されている。
　特許文献５には、画像データから検出した２次元のオプティカルフローにより危険判定と衝突時間とを算出する衝突回避行動装置が開示されている。
　しかしながら、特許文献１、３～５の手法では、いずれも２次元のオプティカルフローを用いて衝突判定処理が行われているため、移動体の前方を走行する物体の速度が移動体の速度に比べて小さい場合、移動体の速度の影響により物体のオプティカルフローと物体の背景のオプティカルフローとの差が顕著に表れなくなり、物体と背景とのオプティカルフローを切り分けることが困難となり、物体との衝突の可能性を正確に判定することができないという問題ある。
　また、特許文献２の手法は、３次元のオプティカルフローを用いて静止物体であるか移動物体であるかを判定するものであり、衝突の有無を判定するものではない。
特開２００１－６０９６号公報 特開２００６－１３４０３５号公報 特開２００６－９９１５５号公報 特開２００６－１０７４２２号公報 特願平１０－１６０９５２号公報
　本発明の目的は、衝突の可能性を正確に判定することができる周辺監視装置及び周辺監視方法を提供することである。
　本発明の一局面による周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
　本発明の別の一局面による周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。
本発明の実施の形態１による周辺監視装置の概略構成図を示している。 図１に示す周辺監視装置のブロック図を示している。 本発明の実施の形態１による周辺監視装置の動作を示すフローチャートである。 位相限定相関法の処理の流れを示した図である。 ＰＯＣ関数を示したグラフである。 多重解像度手法の説明図である。 計測装置の構成図を示している。 計測装置により計測される距離の説明図である。 ３次元オプティカルフローの算出処理の説明図である。 衝突判定処理が実施されるシーンの一例を示した図である。 図１０のシーンにおける２次元オプティカルフローを示した図である。 図１０のシーンにおける３次元オプティカルフローを示した図である。 Ｙ－Ｚ平面での衝突判定処理の説明図である。 Ｘ－Ｚ平面での衝突判定処理の説明図である。 本発明の実施の形態２による周辺監視装置の概略構成図を示している。 図１５に示すコントローラのブロック図を示している。
　（実施の形態１）
　以下、本発明の実施の形態１による周辺監視装置について説明する。図１は、本発明の実施の形態１による周辺監視装置の概略構成図を示している。周辺監視装置は、自動車等の移動体に搭載され、移動体の周囲を監視するものであり、カメラ１０、計測装置２０、及びコントローラ１００を備えている。
　カメラ１０は、移動体の進行方向と光軸が平行になるように移動体に設置され、所定のフレームレートで移動体の前方のシーンを撮影する。なお、カメラ１０は予めキャリブレーションがされており、カメラパラメータも予め分かっているものとする。
　コントローラ１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える所定のハードウエア装置により構成され、周辺監視装置の全体制御を司る。また、コントローラ１００は、通信ケーブル介してカメラ１０により撮影された画像データを順次取り込む。なお、コントローラ１００は、無線によりカメラ１０により撮影された画像データを取り込んでも良い。
　図２は、図１に示す周辺監視装置のブロック図を示している。本周辺監視装置は、カメラ１０（画像取得手段の一例）、計測装置２０（位置情報取得部の一例）、コントローラ１００、表示部２００（報知手段の一例）、及びブザー３００（報知手段の一例）を備えている。
　計測装置２０は、移動体の周囲の各位置における３次元実空間上での位置情報を計測し、コントローラ１００に出力する。コントローラ１００は、移動情報算出部３０（移動情報算出手段の一例）、位置情報取得部４０（位置情報取得手段の一例）、フロー算出部５０（フロー算出手段の一例）、衝突判定部６０（衝突判定手段の一例）、報知制御部７０（報知手段の一例）を備えている。ここで、移動体の周囲とは、カメラ１０により撮影された画像データを含む一定の大きさの領域であり、各位置とは、少なくともカメラ１０の解像度以上の分解能で前記領域を区切ったときの各位置を示す。
　移動情報算出部３０は、カメラ１０により撮影された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する。具体的には、移動情報算出部３０は、カメラ１０により所定のフレームレートで撮影された各画像データに複数の計測点を設定し、時系列的に前後するペアの画像データの一方の画像データに設定した計測点の対応点を他方の画像データから探索し、計測点と対応点とを用いて各計測点の２次元オプティカルフローを移動情報として算出する。
　位置情報取得部４０は、計測装置２０により計測された位置情報を取得する。フロー算出部５０は、移動情報算出部３０により算出された各計測点の移動情報と位置情報取得部４０により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出する。
　具体的には、フロー算出部５０は、位置情報取得部４０により取得された位置情報から、各計測点とそのペアとなる対応点との位置情報の差分ベクトルを求め、得られた差分ベクトルを３次元オプティカルフローとして算出する。ここで、位置情報は、例えば計測装置２０の設置位置を原点とするＸ，Ｙ，Ｚの座標系で表される。なお、Ｚ成分は移動体の前進方向を示し、Ｙ成分は鉛直方向を示し、Ｘ成分はＺ及びＹ成分のそれぞれに直交する移動体の幅方向を示す。
　衝突判定部６０は、フロー算出部５０により算出された３次元オプティカルフローを基に移動体の周囲に位置する物体が移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定処理を行う。具体的には、衝突判定部６０は、各計測点の位置情報の分布を基に、移動体の周囲に位置する各物体を特定し、当該物体の計測点の３次元オプティカルフローの延長線と移動体とが交差するか否かに基づいて、当該物体が衝突物体であるか否かを判定する。
　報知制御部７０は、衝突判定部６０により移動体の周囲の物体が衝突物体であると判定された場合、衝突する危険性があることを報知するための情報を生成し、表示部２００に表示させると共に、ブザー３００に警笛を鳴らさせる。速度取得部８０は、例えば移動体が備える速度計測装置により計測された移動体Ｍ１の速度を取得する。
　表示部２００は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、コントローラ１００の制御の下、種々の情報を表示する。ここで、表示部２００は、移動体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。ブザー３００は、コントローラ１００の制御の下、搭乗者に衝突の危険性があることを報知するための警笛を鳴らす。
　（周辺監視装置の動作）
　次に、周辺監視装置の動作について説明する。図３は、周辺監視装置の動作を示すフローチャートである。まず、ステップＳ１において、カメラ１０は、現フレームの画像データを取得する。ここで、現フレームの取得時刻をｔとし、現フレームより１フレーム前の前フレームの取得時刻をｔ－１とし、現フレームの画像データをＩ（ｔ）とし、現フレームより１フレーム前の画像データをＩ（ｔ－１）とする。
　ステップＳ２において、移動情報算出部３０は、各計測点の２次元オプティカルフローを算出する。具体的には、２次元オプティカルフローは以下のようにして算出される。まず、画像データＩ（ｔ－１）に計測点を設定する。ここで、画像データＩ（ｔ－１）の各画素を計測点として設定してもよいし、一定間隔で間引かれた画素を計測点として設定してもよい。
　次に、対応点探索処理を実行し、各計測点の対応点を画像データＩ（ｔ）から探索する。次に、各計測点と、そのペアとなる対応点との差分を算出し、各計測点の２次元オプティカルフローを算出する。ここで、計測点と対応点との水平及び垂直成分の差分が２次元オプティカルフローとして算出される。
　なお、上記対応点探索処理としては以下（１）～（４）の手法を採用することができる。
　（１）ＳＡＤ（Sum of Absolute Difference）
　ＳＡＤは、画像データＩ（ｔ－１）にウインドウ（基準ウインドウ）を設定すると共に、画像データ（ｔ）にウインドウ（参照ウインドウ）を設定し、参照ウインドウをずらしながら、式（１）により得られる相関値から基準ウインドウ内の画像データと参照ウインドウ内の画像データとの相関を求め、相関が最も高い値を示すときの参照ウインドウの中心点を注目点の対応点として探索する手法である。式（１）に示すようにＳＡＤは、２枚の画像データの画素値をそのまま減算することで相関値を算出するため、計算量が少なく、高速処理が可能であるといった特徴を有している。
Figure JPOXMLDOC01-appb-I000001
　但し、ＭＬは基準ウインドウ内の画像データを示し、ＭＲは参照ウインドウ内の画像データを示し、Ｑはウインドウの水平方向のサイズを示し、Ｐはウインドウの垂直方向のサイズを示す。
　（２）ＳＳＤ（Sum of Squared intensity Difference：２乗残差法）
　ＳＳＤは、式（２）を用いる以外はＳＡＤと同様にして対応点を探索する手法である。
Figure JPOXMLDOC01-appb-I000002
　式（２）に示すように、ＳＳＤは、２枚の画像データの画素値の減算値が２乗されているため、ウインドウサイズが小さい場合であっても両画像データの誤差を明確にすることができる。
　（３）ＮＣＣ（Normalized Cross Correlation：正規化相互相関法）
　ＮＣＣは、式（３）を用いる以外はＳＡＤと同様にして対応点を探索する手法である。
Figure JPOXMLDOC01-appb-I000003
　但し、μＭＬは基準ウインドウ内の画像データの局所的な平均値を示し、μＭＲは参照ウインドウ内の画像データの局所的な平均値を示す。
　ＮＣＣは、式（３）に示すように、局所的な平均値が減じられた２枚の画像データの分散値によって相関値が求められるため、線形な明るさの変化（画素値及びコントラストの線形変化やノイズ等）に影響されない手法である。
　（４）位相限定相関法
　位相限定相関法は、画像データＩ（ｔ－１）、Ｉ（ｔ）に設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索する手法である。なお、周波数分解する手法としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを採用することができる。
　図４は、位相限定相関法の処理の流れを示した図である。まず、画像データＩ（ｔ－１）に設定された計測点に中心が位置するようにウインドウ（基準ウインドウ）が設定され、かつ、画像データＩ（ｔ）にウインドウが設定される。次に、パターンマッチング等により基準ウインドウ内の画像データにマッチする画像データＩ（ｔ）の位置に画像データＩ（ｔ）に設定されたウインドウがずらされ、参照ウインドウが設定される。
　次に、基準ウインドウ内の画像データｆ及び参照ウインドウ内の画像データｇが離散フーリエ変換（ＤＦＴ）され、画像データＦ及び画像データＧが得られる。次に、画像データＦ及び画像データＧが規格化され、画像データＦ´及び画像データＧ´が得られる。次に、画像データＦ´及び画像データＧ´が合成され、相関画像データＲが得られる。次に、相関画像データＲが逆離散フーリエ変換（ＩＤＦＴ）され、ＰＯＣ関数ｒが得られる。図５はＰＯＣ関数ｒを示したグラフである。
　図５に示すようにＰＯＣ関数ｒは、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは画像データｆ及び画像データｇの相関が高いほど大きくなる。したがって、相関ピークの位置を特定することで基準ウインドウに対する参照ウインドウの位置ズレ量を算出し、対応点を算出することができる。
　ここで、ＰＯＣ関数は、基準画像データの画素単位、すなわち、ピクセルレベルで算出されているため、相関ピークの位置もピクセルレベルで求められることになるが、ＰＯＣ関数を補間し、サブピクセルレベルで相関ピークの位置を推定してもよい。
　そして、参照ウインドウＷ２の中心点の座標に位置ズレ量を加算することにより得られる座標上の点が対応点として算出される。
　また、対応点探索処理としては、多重解像度手法を採用してもよい。図６は、多重解像度手法の説明図である。この手法は、まず、処理対象となる画像データＩ（ｔ）、Ｉ（ｔ－１）を下位から上位の階層に向かって解像度が高くなるように多重解像度化する。次に、最下位の階層を注目階層とし、注目階層の画像データＩ（ｔ－１）の計測点に対する対応点を注目階層の画像データＩ（ｔ）から探索する。この場合、上記（１）～（４）のいずれかの手法を用いて対応点を探索すればよい。
　次に、注目階層よりも１つ上の階層を注目階層として設定する。次に、注目階層の画像データＩ（ｔ）に、１つ下の階層で探索した対応点を基準として探索範囲を設定する。この場合、１つ下の階層で設定した探索範囲よりも狭くなるように探索範囲を設定する。次に、探索範囲内を探索することで対応点を探索する。以上の処理を最上位の階層まで繰り返し実行し、解となる対応点を得る。
　図３に戻り、ステップＳ３において、位置情報取得部４０は、計測装置２０により計測された時刻ｔにおける移動体周囲の各位置の位置情報Ｄ（ｔ）を取得する。図７は、計測装置２０の構成図を示している。図７に示す計測装置２０は、ＣＭＯＳセンサ２２の周辺に装着されたＬＥＤ（発光ダイオード）２１から近赤外線を照射し、その反射光をＣＭＯＳセンサ２２が受光するまでの時間をタイマ２３により計測するＴＯＦ（ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）方式により３次元位置を計測する装置である。そして、計測装置２０は、計測した位置を位置情報としてコントローラ１００に出力する。本実施の形態では、例えば、Ｃａｎｅｓｔａ社によるレーザレンジファインダを採用することができる。
　図８は、計測装置２０により計測される距離の説明図であり、（ａ）は移動体の上方からの模式図であり、（ｂ）は距離とミリ波の検知角度との関係を示したグラフであり、（ｃ）は移動体前方のシーンを表している。
　図８（ｂ）に示すように、計測装置２０はミリ波の検知角度に応じた距離を計測することが可能である。したがって、計測装置２０は、移動体の前方のシーンの各位置の距離の分布を示す２次元の距離画像データを取得することができる。
　また、図８（ａ）に示すようにミリ波の検知角度θ１とカメラ１０の画角θ２との関係、及び計測装置２０とカメラ１０との設置位置の関係が分かっていれば、距離画像データの各位置がカメラ１０により撮影された画像データのどの位置に対応しているかを特定することができる。
　したがって、カメラ１０により撮影された画像データの各計測点までの距離を求めることが可能となり、図８（ｃ）の矢印で示すような３次元オプティカルフローを算出することができる。なお、３次元オプティカルフローが算出される処理の詳細については後述する。
　図３に戻り、ステップＳ４において、フロー算出部５０は、各計測点の３次元オプティカルフローを算出する。図９は、３次元オプティカルフローの算出処理の説明図である。ステップＳ２において各計測点の２次元オプティカルフローが得られている。これは時刻ｔ－１のタイミングで撮影された画像データＩ（ｔ－１）上の計測点（ｘｔ－１，ｙｔ－１）が、時刻ｔのタイミングで撮影された画像データＩ（ｔ）上のどこかの位置（ｘｔ，ｙｔ）に移動していることを示している。
　一方、計測点（ｘｔ－１，ｙｔ－１）と対応点（ｘｔ，ｙｔ）との３次元実空間における位置情報（Ｘｔ－１，Ｙｔ－１，Ｚｔ－１）、（Ｘｔ，Ｙｔ，Ｚｔ）は、ステップＳ３により取得された位置情報から特定することができる。したがって、対応点（ｘｔ，ｙｔ）の位置情報（Ｘｔ，Ｙｔ，Ｚｔ）と計測点（ｘｔ－１，ｙｔ－１）の位置情報（Ｘｔ－１，Ｙｔ－１，Ｚｔ－１）との差分ベクトル（Ｘｔ－Ｘｔ－１，Ｙｔ－Ｙｔ－１，Ｚｔ－Ｚｔ－１）を求めることで、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）を算出することができる。
　図３に戻り、ステップＳ５において、衝突判定部６０は、衝突判定処理を行う。図１０は、衝突判定処理が実施されるシーンの一例を示した図である。図１１は、図１０のシーンにおける２次元オプティカルフローを示した図である。図１２は、図１０のシーンにおける３次元オプティカルフローを示した図である。
　図１０では、移動体Ｍ１は道路面ＲＯ１上を走行している。移動体Ｍ１の前方には、人物からなる物体ＯＢ１が移動体Ｍ１を横切るように動いている。また、移動体Ｍ１の前方には建物からなる物体ＯＢ２が道路面ＲＯ１に立設している。また、移動体Ｍ１の前方には別の移動体である物体ＯＢ３が走行している。このようなシーンを移動体Ｍ１に取り付けられたカメラ１０で撮影し、２次元オプティカルフローを求めると図１１のようになる。図１１に示すように、カメラ１０は、図１０に示すシーンを移動体Ｍ１の進行方向からとらえた画像を撮影していることが分かる。
　なお、図１１に示す丸印は２次元オプティカルフローＯＦ２の算出対象となる計測点ＫＰを示している。また、図１１に示す画像では、一定の間引き幅で間引かれた複数の画素が計測点ＫＰとして設定され、各計測点ＫＰにおいて２次元オプティカルフローＯＦ２が算出されていることが分かる。また、図１１に示す画像では、物体ＯＢ１～ＯＢ３の背景画像として道路面ＲＯ１と空ＳＫ１とが撮影されていることが分かる。
　図１１に示すように、２次元オプティカルフローＯＦ２は各物体ＯＢ１～ＯＢ３の２次元オプティカルフローＯＦ２と、背景画像の２次元オプティカルフローＯＦ２とに大差がないことが分かる。これは、２次元オプティカルフローＯＦ２において、移動体Ｍ１の速度が物体ＯＢ１～ＯＢ３の速度に比べて支配的となるからであり、特に物体ＯＢ１～ＯＢ３の速度が移動体Ｍ１の速度に比べて小さい場合に顕著になる。したがって、２次元オプティカルフローＯＦ２を用いた場合、衝突判定処理を精度良く行うことが困難となってしまう。
　そこで、本周辺監視装置では、図１２に示すように、３次元オプティカルフローＯＦ３を用いることで高精度な衝突判定処理を実現している。図１２に示すように３次元オプティカルフローＯＦ３が、延長線と移動体Ｍ１とが交差するか否かを判定することで、移動体Ｍ１の前方に位置する物体が移動体Ｍ１に衝突する可能性のある衝突物体であるか否かを判定することができる。
　例えば、図１２の人物からなる物体ＯＢ１において、３次元オプティカルフローＯＦ３の延長線が移動体Ｍ１と交差するため、物体ＯＢ１は衝突物体と判定される。このように、３次元オプティカルフローＯＦ３は移動体Ｍ１の速度と物体の速度との合成ベクトルによって表され、物体の動きを３次元的に解析することができるため、衝突判定処理を精度良く行うことが可能となる。
　以下、本周辺監視装置における衝突判定処理について具体的に説明する。３次元オプティカルフローＯＦ３は、時刻ｔ－１のフレームにおける計測点と時刻ｔのフレームにおける対応点との３次元実空間上での位置情報の差分ベクトル（Ｘｔ－Ｘｔ－１，Ｙｔ－Ｙｔ－１，Ｚｔ－Ｚｔ－１＝ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ＝ＯＦ３）、すなわち３次元ベクトルにより表されるため、計測点の１フレーム間での移動距離、すなわち、計測点の１フレームあたりの速度を表すことになる。
　したがって、式（Ａ）に示すように３次元オプティカルフローＯＦ３のＺ成分であるＯＦＺｔから物体が移動体Ｍ１に衝突するまでの衝突時間Ｔを算出することができる。
　Ｔ＝Ｄ（ＯＦＺｔ）／（ＯＦＺｔ）　　　（Ａ）
　但し、Ｄ（ＯＦＺｔ）は、移動体Ｍ１と物体とのＺ方向の距離を表す。また、Ｔは厳密には時間のディメンションを有していないが、物体が移動体Ｍ１に到達するまでのフレーム数を表しているため、時間と同等のディメンションを有していると考えることができる。
　そして、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）が衝突時間Ｔの時点でどこにあるかが以下の式（Ｂ）により分かる。
　Ｆ（Ｘ，Ｙ，Ｚ）＝（Ｄ（ＯＦＸｔ）－ＯＦＸｔ・Ｔ，Ｄ（ＯＦＹｔ）－ＯＦＹｔ・Ｔ，Ｄ（ＯＦＺｔ）－ＯＦＺｔ・Ｔ）　　　（Ｂ）
　そして、Ｆ（Ｘ，Ｙ，Ｚ）を判定することで衝突判定処理が行われる。ここで、Ｆ（Ｘ）においては、移動体Ｍ１の幅、すなわち、Ｘ方向の長さを考慮した判定が行われる。衝突判定部６０は、例えば、幅をＷとし、カメラ１０及び計測装置２０を幅の中心に設置したとしてＸ，Ｙ，Ｚの３軸からなる仮想３次元空間を設定し、計測装置２０の位置を原点とする。そして、以下に示す式（Ｃ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、Ｘ方向に関して衝突物体であると判定し、式（Ｃ）を満たさない場合、Ｘ方向に関して衝突物体でないと判定する。
　－Ｗ／２≦Ｆ（Ｘ）≦Ｗ／２　　　（Ｃ）
　ここで、衝突判定部６０は、計測装置２０による計測結果からカメラ１０により撮影された画像データの各画素の３次元実空間上での位置情報を特定し、この位置情報の分布にしたがって画像データ内に含まれる各物体を抽出し、各計測点がどの物体のものであるかを特定すればよい。具体的には、位置情報のＺ成分が一定の範囲内に属する連続する画素からなる領域を１つの物体と判定すればよい。なお、仮想３次元空間内に設定された移動体Ｍ１の領域を移動体領域と称する。
　また、衝突をより確実に回避するべく移動体Ｍ１の幅Ｗに多少余裕を持たせた領域を移動体領域として設定してもよい。この場合、判定式は式（Ｄ）により表される。
　－（Ｗ＋α）／２≦Ｆ（Ｘ）≦（Ｗ＋α）／２　　　（Ｄ）
　但し、αは余裕量を示し、予め定められた値を有している。
　次に、Ｆ（Ｙ）においては、移動体Ｍ１の高さ、すなわちＹ方向の長さを考慮した判定が行われる。例えば、計測装置２０を基準としたときの移動体Ｍ１の高さをＨ、タイヤを考慮した道路面までの距離をＰとすると、衝突判定部６０は、式（Ｅ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、Ｙ方向に関して衝突物体であると判定し、式（Ｅ）を満たさない場合、Ｙ方向に関して衝突物体でないと判定する。
　－Ｐ≦Ｆ（Ｙ）≦Ｈ　　　（Ｅ）
　ここで、式（Ｅ）ではタイヤの高さが考慮されているため道路面が衝突物体と判定されることを防止することができる。また、衝突判定部６０は、式（Ｅ）に多少余裕を持たせた式（Ｆ）を用いて衝突判定処理を行ってもよい。
　－Ｐ＋β１≦Ｆ（Ｙ）≦Ｈ＋β２　　　（Ｆ）
　但し、β１，β２は余裕量を示し、予め定められた値を有している。
　最後に、Ｆ（Ｚ）においては、移動体Ｍ１の長さ、すなわち、Ｚ方向の長さを考慮した判定が行われる。例えば、カメラ１０及び計測装置２０の設置箇所を基準とし、移動体Ｍ１の前方の長さをＬＦ、後方の長さをＬＢとすると、衝突判定部６０は、式（Ｇ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、衝突物体として判定し、式（Ｇ）を満たさない場合、衝突物体として判定しない。
　－ＬＢ≦Ｆ（Ｚ）≦ＬＦ　　　（Ｇ）
　ここで、衝突判定部６０は、式（Ｇ）に多少余裕を持たせた式（Ｈ）を用いて衝突判定処理を行ってもよい。
　－ＬＢ＋γ１≦Ｆ（Ｚ）≦ＬＦ＋γ２　　　（Ｈ）
　但し、γ１，γ２は余裕量を示し、予め定められた値を有している。
　そして、衝突判定部６０は、Ｆ（Ｘ），Ｆ（Ｙ），Ｆ（Ｚ）が全て満たされた場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を衝突物体であると判定する。ここで、衝突判定部６０は、１つの物体に複数の計測点が設定されている場合、例えば１又は複数の所定数以上の計測点における３次元オプティカルフローがＦ（Ｘ，Ｙ，Ｚ）の条件を満たしていれば、当該物体を衝突物体として判定すればよい。なお、所定数としては、誤判定を防止するうえで好ましい値が適宜採用される。
　図１３は、Ｙ－Ｚ平面での衝突判定処理の説明図である。図１４は、Ｘ－Ｚ平面での衝突判定処理の説明図である。図１３、図１４に示すように移動体Ｍ１の領域である移動体領域Ｒ１を基準として、Ｘ，Ｙ，Ｚの３軸で規定される仮想３次元空間が設定される。そして、図１３の上段に示すように、物体ＯＢ１の計測点Ａの３次元オプティカルフローＯＦＡは、移動体Ｍ１側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たし、その延長線が移動体領域Ｒ１と交差しているため、物体ＯＢ１は衝突物体として判定される。
　一方、図１３の上段に示すように、道路面の計測点Ｂの３次元オプティカルフローＯＦＢは、上記Ｆ（Ｘ，Ｙ，Ｚ）のＦ（Ｙ）の条件を満たしておらず、その延長線が移動体領域Ｒ１と交差していないため、道路面は衝突物体として判定されない。
　また、図１３の下段に示すように、物体ＯＢ１の計測点Ｃの３次元オプティカルフローＯＦＣは、移動体Ｍ１の反対側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たさないため、物体ＯＢ１は衝突物体として判定されない。
　また、図１４の２段目に示すように、物体ＯＢ１の計測点Ａの３次元オプティカルフローＯＦＡは、移動体Ｍ１側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たし、その延長線が移動体領域Ｒ１と交差しているため、物体ＯＢ１は衝突物体として判定される。
　一方、図１４の３段目、４段目に示すように、物体ＯＢ１の計測点Ｂ及びＣの３次元オプティカルフローＯＦＢ及びＯＦＣは、上記Ｆ（Ｘ，Ｙ，Ｚ）のＦ（Ｘ）及びＦ（Ｚ）の条件を満たしておらず、その延長線が移動体領域Ｒ１と交差していないため、物体ＯＢ１は衝突物体として判定されない。
　また、衝突判定部６０は、上記処理に加えて以下のようにして、衝突判定処理を行っても良い。すなわち、衝突判定部６０は、移動体の周囲の物体の３次元オプティカルフローの延長線が移動体Ｍ１と交差し、かつ、物体と移動体Ｍ１との距離が所定の基準距離より短い場合に、この物体が衝突物体であると判定し、具体的には、速度取得部８０により取得された移動体Ｍ１の速度を基に移動体Ｍ１の停止距離を算出し、得られた停止距離を基に基準距離を変更してもよい。
　停止距離は、空走距離Ｅと制動距離Ｂとによって算出することができる。空走距離はＥ＝ＶＴにより算出することができる。ここで、Ｔは反応時間であり、Ｖは移動体Ｍ１の速度である。
　制動距離は、Ｂ＝Ｖ２／２ｕ・ｇにより算出することができる。ここで、ｕは制動時の摩擦係数であり、ｇは重力加速度である。そして、これらの合計値（Ｓ＝Ｅ＋Ｂ）により停止距離Ｓを算出することができる。
　なお、速度取得部８０は、速度計測装置により計測された速度を取得する構成に代えて、距離情報から速度を算出する手法を採用してもよい。具体的には、移動物体でない複数の計測点における３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）の大きさの平均値を求め、この平均値を移動体Ｍ１の速度として算出してもよい。この場合、移動体Ｍ１の高さから道路面を推定し、道路面上の複数の計測点の３次元オプティカルフローの大きさの平均値を移動体Ｍ１の速度として算出することが好ましい。これにより、移動体Ｍ１の速度をより正確に算出することができる。
　このような処理を採用すると、停止距離Ｓの範囲よりも遠くに位置する物体は、衝突物体として判定されなくなるため、衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができ、搭乗者に不必要な報知がなされることを防止することができる。
　また、衝突判定部６０は、物体の３次元オプティカルフローの大きさと、物体までの距離との比率を基に基準距離を変更してもよい。
　例えば、移動体Ｍ１から停止距離以上に距離が離れていても、移動体Ｍ１に急速に向かってくるような物体は停止距離Ｓ内に入った時点で判定するのでは衝突する可能性が高くなる。そこで、衝突判定部６０は、式（Ｉ）に示すように、物体の計測点までの距離と、３次元オプティカルフローの大きさとの比率Ｒ（具体的には物体までのＸ，Ｚ成分の距離と、３次元オプティカルフローのＸ，Ｚ成分の大きさとの比率）を求め、この比率Ｒが予め定められた閾値以内の物体を衝突物体として判定する。
　Ｒ＝（ＯＦＸｔ ２，ＯＦＺｔ ２）１／２／（Ｄ（ＯＦＸｔ）２＋Ｄ（ＯＦＺｔ）２）１／２　　　（Ｉ）
　また、上記判定方法だけでなく、物体の大きさにより基準距離を変更しても良い。例えば、移動体Ｍ１は、小さい物体に対して回避行動を行うことは可能であるが、大きな物体に対しては回避行動を行うことが難しい。そこで、大きい物体に関しては、小さい物体よりも基準距離を長く設定する。ここで、物体の大きさは、３次元実空間上での物体までの距離と、当該物体の画像データ上での面積とを求め、これらの情報から算出すればよい。また、衝突判定部６０は、ある閾値を設け、この閾値よりも大きな物体に関しては予め定められた大きな物体用の基準距離を設定して衝突判定処理を行い、この閾値よりも小さな物体に関しては予め定められた小さな物体用の基準距離を設定して衝突判定処理を行っても良い。また、物体の大きさが大きくなるにつれて基準距離が大きくなるように連続的、又は段階的に基準距離を設定してもよい。
　また、衝突判定部６０は、衝突判定処理を時系列的に複数回実行することで得られた処理結果と、移動体Ｍ１の速度とを基に、物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に物体が衝突物体であるか否かを判定してもよい。
　例えば、衝突判定処理の結果から衝突の可能性があると判断された場合であって、物体の速度が変化しない場合、当該物体の搭乗者は、移動体Ｍ１の存在に気付いてない恐れがある。一方、物体の速度が減速した場合、当該物体の搭乗者は、移動体Ｍ１の存在に気付いていると考えられる。
　そこで、衝突判定部６０は、複数フレーム期間毎に衝突判定処理を実行するものとし、複数フレーム期間において各物体の衝突判定処理の処理結果を保持しておき、一定回数以上衝突すると判定された物体の速度変化を求めると共に、移動体Ｍ１の速度変化を求め、両変化の比率Ｒｋ（＝物体の速度変化／移動体Ｍ１の速度変化）が所定の閾値よりも大きい場合、当該物体の搭乗者は、移動体Ｍ１の存在に気づいていると判定し、比率Ｒｋが所定の閾値より小さい場合、当該物体の搭乗者は、移動体Ｍ１の存在に気づいていないと判定すればよい。なお、物体の速度変化は、当該物体の３次元オプティカルフローから求めればよく、また、移動体Ｍ１の速度変化は、速度取得部８０により取得された速度から求めればよい。
　図３に戻り、ステップＳ６において、報知制御部７０は、ステップＳ５による衝突判定処理の結果を示す情報を生成し、表示部２００に表示させると共に、ブザー３００に出力する。具体的には、報知制御部７０は、ステップＳ５で衝突物体が存在すると判定された場合は、例えばカメラ１０が撮影した画像データ上に当該衝突物体をマーキングした画像データを表示部２００に表示させて、搭乗者に衝突物体の存在を報知してもよい。
　また、報知制御部７０は、ステップＳ５で衝突物体が存在すると判定された場合、警笛などのアラームをブザー３００から出力させることで、搭乗者に危険を報知するようにしてもよい。この場合、危険度を判定し、危険度の度合いに応じて、アラーム音や画像表示の手法を変更してもよい。例えば、ステップＳ５で衝突物体であると判定された場合であっても移動体Ｍ１までの距離が遠く、危険度が低いような場合は、危険度が低い用のアラーム音や画像表示を行い、移動体Ｍ１までの距離が近く危険度が高いような場合は、危険度が高い用のアラーム音や画像表示を行えばよい。また、危険度を段階的に判断し、危険度に応じたアラーム音や画像表示を行うようにしてもよい。
　このように、実施の形態１による周辺監視装置によれば、３次元オプティカルフローを用いて衝突の有無が判定されているため、衝突の可能性を正確に判定することができる。
　（実施の形態２）
　次に、本発明の実施の形態２による周辺監視装置について説明する。実施の形態２による周辺監視装置は、位置情報取得部４０がステレオ法により位置情報を算出することを特徴とする。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１５は、実施の形態２による周辺監視装置の概略構成図を示している。図１５に示すように、本実施の形態では、２台のカメラ１１，１２からなるステレオカメラが採用されている。
　ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、移動体Ｍ１の前方を走行する自動車、自動二輪車、及び自転車、並びに車体の前方を通行する通行人等の物体を撮影する。また、カメラ１１，１２は予めキャリブレーションがされており、カメラパラメータも予め分かっているものとする。なお、カメラ１１，１２は２台としたが、これに限定されず３台以上のカメラを採用してもよい。
　また、カメラ１１，１２は、光軸がＺ方向と平行、同一の高さ位置（Ｙ方向の位置）、かつ幅方向（Ｘ方向）に一定の間隔を設けて移動体Ｍ１に設置されている。
　図１６は、図１５に示すコントローラ１００のブロック図を示している。図２との相違点はカメラ１０及び計測装置２０がカメラ１１及び１２とされている点にある。位置情報取得部４０は、カメラ１１により撮影された画像データを基準画像、カメラ１２により撮影された画像データを参照画像とし、時刻ｔにおける基準画像に設定された計測点の対応点を時刻ｔにおける参照画像から探索し、計測点と対応点との視差を求め、この視差を基に計測点の３次元実空間上での位置情報を算出する。なお、位置情報取得部４０は、上述した移動情報算出部３０の対応点探索処理と同一の手法を採用して対応点を探索すればよい。
　なお、位置情報（Ｘ，Ｙ，Ｚ）は、例えば以下の式より算出される。
　Ｘ＝ｘ・Ｄ／ｆ
　Ｙ＝ｙ・Ｄ／ｆ
　Ｚ＝ｆ・Ｂ／ｄ
　但し、ｘ、ｙは計測点の画像データ上での座標を示し、ｆは焦点距離を示し、ｄは視差を示し、Ｂは、カメラ１１とカメラ１２との基線長、すなわち、Ｘ方向の間隔を示す。また、視差は計測点と対応点との水平及び垂直成分同士の差分を採用することができる。
　次に、実施の形態２による周辺監視装置の動作について図３を用いて説明する。ステップＳ１，Ｓ３以外の処理は実施の形態１と同一であるため、説明を省略する。
　まず、ステップＳ１において、カメラ１１により基準画像が取得され、カメラ１２により参照画像が取得される。
　ステップＳ３において、位置情報取得部４０は、時刻ｔにおける基準画像Ｉ１（ｔ）における各計測点ＫＰ（ｔ）の対応点ＴＰ１（ｔ）を参照画像Ｉ２（ｔ）から探索し、計測点ＫＰ（ｔ）と対応点ＴＰ１（ｔ）とのペアから視差ｄ（ｔ）を算出し、得られた視差ｄ（ｔ）から計測点ＫＰ（ｔ）の位置情報を算出する。この場合、位置情報取得部４０は、ステップＳ２で基準画像Ｉ１（ｔ）から探索された、基準画像Ｉ１（ｔ－１）の計測点ＫＰ（ｔ－１）の対応点ＴＰ２（ｔ）を計測点ＫＰ（ｔ）とすればよい。
　このように、実施の形態２における周辺監視装置によれば、ステレオカメラにより位置情報が算出されているため、画像データのみの情報から物体の位置情報を算出することが可能となる。
　なお、上記説明では、対応点探索処理として、放物線などの関数をフィッティングすることで対応点をサブピクセルレベルで算出する手法を例示したが、これに限定されず、サブピクセルテンプレートを生成して、直接的にサブピクセルレベルで対応点を探索する手法を採用してもよい。
　なお、サブピクセルテンプレートは以下のように算出される。まず、実施の形態２のステップＳ３において、対応点ＴＰ２（ｔ）がサブピクセルレベルで算出されたとする。この場合、対応点ＴＰ２（ｔ）を中心に基準ウインドウを設定する。次に、基準ウインドウ内の画像データの各点における輝度を双一次補間（バイリニア補間）や双三次補間を用いて算出する。これによりサブピクセルテンプレートが得られる。そして、このサブピクセルテンプレートを用いて参照画像から対応点を探索すればよい。
　また、３次元オプティカルフローを時刻Ｔ１のステレオ画像データＬ１、Ｒ１と時刻Ｔ２のステレオ画像データＬ２、Ｒ２として、Ｌ１－Ｒ１から距離画像データＤ１を生成し、Ｌ２－Ｒ２から距離画像データＤ２を生成し、Ｌ１－Ｌ２から２次元オプティカルフローを算出し、距離画像データＤ１，Ｄ２、及び２次元オプティカルフローから３次元オプティカルフローを算出する手法を用いて算出してもよい。
　上記周辺監視装置及び周辺監視方法は下記のように纏めることができる。
　（１）上記周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
　また、上記周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。
　これらの構成によれば、３次元オプティカルフローを用いて衝突の有無が判定されているため、衝突の可能性を正確に判定することができる。
　（２）また、前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差するか否かに基づいて、前記物体が衝突物体であるか否かを判定することが好ましい。
　この構成によれば、３次元オプティカルフローの延長線と移動体とが交差するか否かに基づいて、衝突の有無が判定されているため、複雑な判定を行わずとも衝突の可能性を正確に判定することができる。
　（３）また、前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差し、かつ、前記物体と前記移動体との距離が所定の基準距離より短い場合に前記物体が衝突物体であると判定することが好ましい。
　この構成によれば、物体の３次元オプティカルフローの延長線と移動体とが交差し、かつ、物体と移動体との距離が所定の基準距離より短い場合に物体が衝突物体であると判定されているため、３次元オプティカルフローは交差するが、遠方に位置しているために衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
　（４）前記衝突判定手段は、前記移動体の速度に応じて前記基準距離を変更することが好ましい。
　この構成によれば、３次元オプティカルフローは交差するが、遠方に位置しているために衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
　（５）前記衝突判定手段は、前記移動体の速度を基に前記移動体の停止距離を算出し、得られた停止距離を基に前記基準距離を変更することが好ましい。
　この構成によれば、３次元オプティカルフローは交差するが、移動体が減速しているため衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
　（６）前記衝突判定手段は、前記物体の３次元オプティカルフローの大きさと、前記物体までの距離との比率を基に前記基準距離を変更することが好ましい。
　この構成によれば、遠くに位置していても移動体に急速に向かっているような物体を衝突物体として判定することができる。
　（７）また、前記衝突判定手段は、前記物体の大きさを基に、前記基準距離を変更することが好ましい。
　この構成によれば、例えば、衝突物体が小さい場合は、回避行動を行うことは可能であるが、大きい場合は回避行動を行うことが難しいことを考慮して、大きい物体に関しては、遠くに位置する場合でも衝突物体として判定することができ、安全性をより確保することができる。
　（８）また、前記衝突判定手段は、衝突物体であるか否かを判定する処理を時系列的に複数回実行することで得られた処理結果と、前記移動体の速度とを基に、前記物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に前記物体が衝突物体であるか否かを判定することが好ましい。
　この構成によれば、衝突を回避するように速度が変化している物体が衝突物体として判定されなくなるため、高精度の衝突判定処理を行うことができる。
　（９）前記衝突判定手段により前記物体が衝突物体であると判定された場合、衝突する危険性があることを報知する報知手段を更に備えることが好ましい。
　この構成によれば、衝突の可能性を移動体の搭乗者に報知することができる。
　（１０）前記移動情報算出手段は、時系列的に前後する画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記移動情報を算出することが好ましい。
　この構成によれば、画像データのみの情報から物体の移動情報を算出することができる。
　（１１）前記画像取得手段は、ステレオカメラであり、前記位置情報取得手段は、前記ステレオカメラにより取得されたペアの画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記位置情報を算出することが好ましい。
　この構成によれば、画像データのみの情報から物体の３次元実空間における位置情報を算出することができる。
　（１２）また、前記位置情報取得手段は、距離計測装置であることが好ましい。
　この構成によれば、ミリ波レーダなどの距離計測装置により位置情報を算出することができる。
　（１３）前記対応点探索処理は、相関演算であることが好ましい。この構成によれば、相関演算により対応点が探索されるため、対応点を精度良く探索することができる。
　（１４）また、前記対応点探索処理は、処理対象となる複数の画像データにウインドウを設定し、設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索することが好ましい。
　この構成によれば、画像データ間の輝度差やノイズの影響を受けにくく、ロバストに対応点を探索することができる。
　（１５）また、前記周波数分解は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかであることが好ましい。
　この構成によれば、既に確立されている手法を用いているため、周波数分解を確実に行うことができる。
　（１６）また、前記対応点探索処理は、位相限定相関法であることが好ましい。
　この構成によれば、位相限定相関法を用いて対応点が探索されているため、他の周波数分解を用いた方法よりも高精度に対応点を探索することができる。
　（１７）また、前記対応点探索処理は、処理対象となる画像データを下位から上位の階層に向かって解像度が高くなるように多重解像度化し、下位の階層での対応点の探索結果を基に、当該下位の階層よりも１つ上の階層での対応点の探索範囲が狭くなるように探索範囲を設定し、下位の階層から上位の階層に向けて順次対応点を探索する多重解像度手法を用いて対応点を探索することが好ましい。
　この構成によれば、いわゆる多重解像度手法を用いて対応点が探索されているため、対応点の位置が大きく離れている場合でも、効果的、かつ高精度に対応点を探索することができる。
　（１８）また、前記対応点探索処理は、画像データの全領域にわたって対応点を探索することが好ましい。
　この構成によれば、画像データの全領域にわたって対応点が算出されるため、移動情報算出手段ではより詳細な移動情報が算出可能であり、位置情報取得手段では詳細な物体の形状及び距離を取得することができる。

Claims (19)

  1. 　移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、
    　前記移動体の周囲の画像データを時系列に取得する画像取得手段と、
    　前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、
    　前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、
    　前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、
    　前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする周辺監視装置。
  2. 　前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差するか否かに基づいて、前記物体が衝突物体であるか否かを判定することを特徴とする請求項１記載の周辺監視装置。
  3. 　前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差し、かつ、前記物体と前記移動体との距離が所定の基準距離より短い場合に前記物体が衝突物体であると判定することを特徴とする請求項２記載の周辺監視装置。
  4. 　前記衝突判定手段は、前記移動体の速度に応じて前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  5. 　前記衝突判定手段は、前記移動体の速度を基に前記移動体の停止距離を算出し、得られた停止距離を基に前記基準距離を変更することを特徴とする請求項４記載の周辺監視装置。
  6. 　前記衝突判定手段は、前記物体の３次元オプティカルフローの大きさと、前記物体までの距離との比率を基に前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  7. 　前記衝突判定手段は、前記物体の大きさを基に、前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  8. 　前記衝突判定手段は、衝突物体であるか否かを判定する処理を時系列的に複数回実行することで得られた処理結果と、前記移動体の速度とを基に、前記物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に前記物体が衝突物体であるか否かを判定することを特徴とする請求項１～７のいずれかに記載の周辺監視装置。
  9. 　前記衝突判定手段により前記物体が衝突物体であると判定された場合、衝突する危険性があることを報知する報知手段を更に備えることを特徴とする請求項１～８のいずれかの周辺監視装置。
  10. 　前記移動情報算出手段は、時系列的に前後する画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記移動情報を算出することを特徴とする請求項１～９のいずれかに記載の周辺監視装置。
  11. 　前記画像取得手段は、ステレオカメラであり、
    　前記位置情報取得手段は、前記ステレオカメラにより取得されたペアの画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記位置情報を算出することを特徴とする請求項１～１０のいずれかに記載の周辺監視装置。
  12. 　前記位置情報取得手段は、距離計測装置であることを特徴とする請求項１～１０のいずれかに記載の周辺監視装置。
  13. 　前記対応点探索処理は、相関演算であることを特徴とする請求項１０又は１１記載の周辺監視装置。
  14. 　前記対応点探索処理は、処理対象となる複数の画像データにウインドウを設定し、設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索することを特徴とする請求項１０又は１１記載の周辺監視装置。
  15. 　前記周波数分解は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかであることを特徴とする請求項１４記載の周辺監視装置。
  16. 　前記対応点探索処理は、位相限定相関法であることを特徴とする請求項１４又は１５記載の周辺監視装置。
  17. 　前記対応点探索処理は、処理対象となる画像データを下位から上位の階層に向かって解像度が高くなるように多重解像度化し、下位の階層での対応点の探索結果を基に、当該下位の階層よりも１つ上の階層での対応点の探索範囲が狭くなるように探索範囲を設定し、下位の階層から上位の階層に向けて順次対応点を探索する多重解像度手法を用いて対応点を探索することを特徴とする請求項１３～１６のいずれかに記載の周辺監視装置。
  18. 　前記対応点探索処理は、画像データの全領域にわたって対応点を探索することを特徴とする請求項１～１６のいずれかに記載の周辺監視装置。
  19. 　移動体の周囲を監視する周辺監視方法であって、
    　前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、
    　前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、
    　前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、
    　前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、
    　前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする周辺監視方法。
PCT/JP2009/051691 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法 WO2009099022A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/865,926 US20110019873A1 (en) 2008-02-04 2009-02-02 Periphery monitoring device and periphery monitoring method
JP2009552460A JPWO2009099022A1 (ja) 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法
EP09708707.6A EP2249310A4 (en) 2008-02-04 2009-02-02 PERIPHERAL MONITORING DEVICE AND PERIPHERAL MONITORING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008024478 2008-02-04
JP2008-024478 2008-02-04

Publications (1)

Publication Number Publication Date
WO2009099022A1 true WO2009099022A1 (ja) 2009-08-13

Family

ID=40952097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051691 WO2009099022A1 (ja) 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法

Country Status (4)

Country Link
US (1) US20110019873A1 (ja)
EP (1) EP2249310A4 (ja)
JP (1) JPWO2009099022A1 (ja)
WO (1) WO2009099022A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109831A1 (ja) * 2009-03-23 2010-09-30 コニカミノルタホールディングス株式会社 ドライブレコーダ
WO2012121107A1 (ja) * 2011-03-04 2012-09-13 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP2017083895A (ja) * 2017-01-18 2017-05-18 オリンパス株式会社 内視鏡装置およびプログラム
JP2017117342A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
EP2486516A4 (en) * 2009-10-07 2018-03-28 iOnRoad Technologies Ltd. Automatic content analysis method and system
JP2018066604A (ja) * 2016-10-18 2018-04-26 株式会社Ｓｏｋｅｎ 視差検出装置
US10147004B2 (en) 2011-05-03 2018-12-04 Ionroad Technologies Ltd. Automatic image content analysis method and system
JP2020530608A (ja) * 2017-07-17 2020-10-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
WO2014172875A1 (en) * 2013-04-25 2014-10-30 Harman International Industries, Incorporated Moving object detection
TWI595450B (zh) * 2014-04-01 2017-08-11 能晶科技股份有限公司 物件偵測系統
JP6815963B2 (ja) * 2017-09-29 2021-01-20 クラリオン株式会社 車両用外界認識装置
JP7102800B2 (ja) * 2018-03-13 2022-07-20 富士通株式会社 評価プログラム、評価方法および評価装置
US11235734B2 (en) * 2020-02-07 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity based vehicle security system
JP2022059958A (ja) * 2020-10-02 2022-04-14 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置
JP7470008B2 (ja) 2020-10-19 2024-04-17 株式会社東芝 半導体装置
JP7446214B2 (ja) 2020-12-16 2024-03-08 株式会社東芝 半導体装置及びその製造方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160952A (ja) 1996-11-29 1998-06-19 Kyocera Corp 波長分波素子及び光波長多重伝送モジュール
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 障害物検出装置、方法及びプログラム
JP2006099155A (ja) 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法
JP2006107422A (ja) 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置
JP2006134035A (ja) 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2006218935A (ja) * 2005-02-09 2006-08-24 Advics:Kk 車両用走行支援装置
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0516811A (ja) * 1991-07-08 1993-01-26 Toshiba Corp 物体検出システム
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP4615139B2 (ja) * 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP3791490B2 (ja) * 2002-12-18 2006-06-28 トヨタ自動車株式会社 運転補助システム及び装置
JP2005214914A (ja) * 2004-02-02 2005-08-11 Fuji Heavy Ind Ltd 移動速度検出装置および移動速度検出方法
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160952A (ja) 1996-11-29 1998-06-19 Kyocera Corp 波長分波素子及び光波長多重伝送モジュール
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2005209019A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 障害物検出装置、方法及びプログラム
JP2006107422A (ja) 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置
JP2006099155A (ja) 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法
JP2006134035A (ja) 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2006218935A (ja) * 2005-02-09 2006-08-24 Advics:Kk 車両用走行支援装置
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2249310A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109831A1 (ja) * 2009-03-23 2010-09-30 コニカミノルタホールディングス株式会社 ドライブレコーダ
US9970774B2 (en) 2009-10-07 2018-05-15 Ionroad Technologies Ltd. Automatic content analysis method and system
EP2486516A4 (en) * 2009-10-07 2018-03-28 iOnRoad Technologies Ltd. Automatic content analysis method and system
CN103403779A (zh) * 2011-03-04 2013-11-20 日立汽车系统株式会社 车载摄像机和车载摄像机系统
US8878935B2 (en) 2011-03-04 2014-11-04 Hitachi Automotive Systems, Ltd. In-vehicle camera and in-vehicle camera system
CN103403779B (zh) * 2011-03-04 2015-01-28 日立汽车系统株式会社 车载摄像机和车载摄像机系统
JP2012185588A (ja) * 2011-03-04 2012-09-27 Hitachi Automotive Systems Ltd 車戴カメラ及び車載カメラシステム
WO2012121107A1 (ja) * 2011-03-04 2012-09-13 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
US10147004B2 (en) 2011-05-03 2018-12-04 Ionroad Technologies Ltd. Automatic image content analysis method and system
JP2017117342A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
WO2017111147A1 (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置及び走行支援方法
US10745008B2 (en) 2015-12-25 2020-08-18 Denso Corporation Driving support device and driving support method
JP2018066604A (ja) * 2016-10-18 2018-04-26 株式会社Ｓｏｋｅｎ 視差検出装置
JP2017083895A (ja) * 2017-01-18 2017-05-18 オリンパス株式会社 内視鏡装置およびプログラム
JP2020530608A (ja) * 2017-07-17 2020-10-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置

Also Published As

Publication number Publication date
US20110019873A1 (en) 2011-01-27
EP2249310A4 (en) 2013-11-27
JPWO2009099022A1 (ja) 2011-05-26
EP2249310A1 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
WO2009099022A1 (ja) 周辺監視装置及び周辺監視方法
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP6623044B2 (ja) ステレオカメラ装置
JP5603835B2 (ja) 車両周囲監視装置
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
JP6417729B2 (ja) 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP2009181492A (ja) 解析装置
TWI595450B (zh) 物件偵測系統
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2014154898A (ja) 物体検知装置
JP2017009572A5 (ja)
JP5056861B2 (ja) 測距装置
US7885430B2 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP5640788B2 (ja) 移動者警報装置
JPWO2021166742A5 (ja) 物体測距装置、方法、及びプログラム
JP2014044730A (ja) 画像処理装置
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
JP4872943B2 (ja) 解析装置
JP2012256159A (ja) 接近物検知装置および接近物検知方法
JP4804202B2 (ja) ステレオ式監視装置
JP2006072757A (ja) 物体検出装置
JP5272818B2 (ja) 画像処理装置および方法、並びに、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09708707

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009552460

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12865926

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009708707

Country of ref document: EP