WO2014199929A1 - 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 - Google Patents

単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 Download PDF

Info

Publication number
WO2014199929A1
WO2014199929A1 PCT/JP2014/065152 JP2014065152W WO2014199929A1 WO 2014199929 A1 WO2014199929 A1 WO 2014199929A1 JP 2014065152 W JP2014065152 W JP 2014065152W WO 2014199929 A1 WO2014199929 A1 WO 2014199929A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical flow
distance estimation
unit
stereo distance
Prior art date
Application number
PCT/JP2014/065152
Other languages
English (en)
French (fr)
Inventor
芳紀 倉貫
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to EP14810726.1A priority Critical patent/EP3009789A4/en
Publication of WO2014199929A1 publication Critical patent/WO2014199929A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a monocular motion stereo distance estimation method and a monocular motion stereo distance estimation apparatus for estimating a distance from a plurality of images taken by a monocular camera.
  • a system for three-dimensionally recognizing the surrounding environment of a vehicle has been developed to realize a collision prevention device for driving assistance and preventive safety of an automobile.
  • a method for detecting the environment around the vehicle there are a method using an active sensor such as a millimeter wave radar and a laser radar, and a method using a passive sensor such as a stereo camera and a monocular camera.
  • An active sensor can provide a stable output regardless of distance accuracy and light source environment, but its spatial resolution is low although it is expensive.
  • a stereo camera using two or more cameras is generally used as a three-dimensional reconstruction method.
  • a stereo camera requires a plurality of cameras (lenses and image sensors), and it is necessary to fix the plurality of cameras with a sturdy housing, so that it is likely to be an expensive sensor.
  • it is necessary to increase the distance between the cameras, and there is a drawback that the size of the photographing unit itself increases.
  • Patent Document 1 The monocular motion stereo apparatus described in Patent Document 1 extracts feature points between consecutive images, and selects corresponding points with high reliability among the extracted feature points based on epipole errors. . Furthermore, a high-precision basic matrix (matrix representing a relative position between cameras) is calculated.
  • Patent Document 1 a considerable time is required for extracting feature points, selecting feature points, and calculating a basic matrix by iterative calculation. There is a problem that can not be processed.
  • the present invention has been made in view of such circumstances, and a monocular motion stereo distance estimation method that can easily estimate the distance to an object in a captured image and a monocular motion stereo distance estimation apparatus using the same The purpose is to provide.
  • the present invention has the following configuration.
  • a monocular motion stereo distance estimation method from a moving object, an imaging step of capturing an image, and an optical from the center of the image based on the plurality of images captured in time series.
  • An optical flow calculating step for calculating a flow; a speed measuring step for measuring the speed of the moving body; and a distance estimating step for estimating a distance to the object in the image from the optical flow and the speed from the center of the image.
  • the front image is taken by the photographing step.
  • the optical flow calculation step the optical flow from the center of the image is calculated based on a plurality of images taken in time series. Further, the speed of the moving body is detected by the speed measurement step.
  • the distance estimation step the distance to the object in the image is estimated from the optical flow from the center of the image and the measured speed of the moving body.
  • the direction of the optical flow is limited to the direction from the image center to the outside, and the vertical and horizontal optical flows are calculated from each pixel of the entire image. Can be omitted, and the calculation load for distance estimation can be greatly reduced. Thereby, the distance to the object in the imaged image can be easily estimated.
  • the optical flow calculation step includes an image enlargement step for enlarging an image captured in the previous frame, and a matching step for matching the enlarged image with an image of the current frame, and the image enlargement ratio of the matched enlarged image It is preferable to calculate the optical flow based on the above.
  • the image taken in the previous frame is enlarged by the image enlargement step. Also, the enlarged image and the current frame are matched in the matching step, and the enlarged image that best matches the current frame is selected. Since the optical flow is calculated based on the image enlargement ratio of the selected enlarged image, the calculation load for distance estimation can be greatly reduced.
  • an image capturing unit movement amount estimating step for estimating a moving amount of the image capturing unit that captures an image, and an image correction for correcting the image so that the vanishing point is located at the center of the image based on the movement amount of the image capturing unit.
  • the optical flow calculation step calculates the optical flow from the center of the image from the captured image and the corrected image.
  • the image correction step corrects the image so that the vanishing point is located at the center of the image based on the estimated movement amount of the photographing unit. As a result, even if the vanishing point is deviated from the center of the image according to the road condition, it is corrected so as to be positioned at the center of the image, so that the optical flow calculation step determines from the captured image and the corrected image.
  • the optical flow from the center of the image can be calculated, and the calculation load for distance estimation can be reduced without depending on the running road condition.
  • a specific area optical flow calculation step of calculating an optical flow of a specific area in the plurality of captured images is provided, and the imaging unit movement amount estimation step includes the movement amount of the imaging unit from the optical flow of the specific area Is preferably estimated.
  • the specific area optical flow calculation step calculates the optical flow of the specific area in the plurality of captured images. Furthermore, the imaging unit movement amount estimation step estimates the movement amount of the imaging unit from the optical flow of the specific area. As described above, since the moving amount of the photographing unit can be estimated only from the photographed image, it is possible to suppress the cost increase and to easily apply to an existing moving body.
  • a monocular motion stereo distance estimation device mounted on a moving body, a photographing unit that captures an image, an image storage unit that stores the captured image, and a plurality of the images
  • An optical flow calculation unit that calculates an optical flow from the center of the image based on the image, a speed sensor that measures the speed of the moving body, a distance from the optical flow and the speed from the center of the image to the object in the image
  • an image in front of the photographing unit is photographed by the photographing unit.
  • the image storage unit sequentially stores captured images.
  • the optical flow calculation unit calculates an optical flow from the center of the image based on a plurality of images taken in time series.
  • the speed sensor measures the speed of the moving body.
  • the distance estimation unit estimates the distance to the object in the image from the optical flow from the center of the image and the measured speed of the moving body.
  • the direction of the optical flow is limited to the direction from the image center to the outside, and the vertical and horizontal optical flows are calculated from each pixel of the entire image. Can be omitted, and the calculation load for distance estimation can be greatly reduced. Thereby, the distance to the object in the imaged image can be easily estimated.
  • the optical flow calculation unit includes an image enlargement unit that enlarges an image captured in the previous frame, and a matching unit that matches the enlarged image and the image of the current frame. It is preferable to calculate the optical flow based on the enlargement ratio.
  • the image taken in the previous frame is enlarged by the image enlargement unit.
  • the matching unit matches the enlarged image with the current frame, and selects the enlarged image that most closely matches the current frame. Since the optical flow is calculated based on the image enlargement ratio of the selected enlarged image, the calculation load for distance estimation can be greatly reduced.
  • a photographing unit moving amount estimating unit configured to estimate a moving amount of the photographing unit; and an image correcting unit configured to correct the image so that a vanishing point is positioned at the center of the image based on the moving amount of the photographing unit.
  • the optical flow calculation unit preferably calculates the optical flow from the center of the image from the captured image and the corrected image.
  • the image correcting unit corrects the image so that the vanishing point is located at the center of the image based on the estimated movement amount of the photographing unit.
  • the optical flow calculation unit calculates from the captured image and the corrected image.
  • the optical flow from the center of the image can be calculated. Thereby, the calculation of the optical flow from each pixel of the entire image can be omitted, and the calculation load for distance estimation can be greatly reduced. Moreover, the calculation load of distance estimation can be reduced without depending on the running road situation.
  • a specific area optical flow calculation unit configured to calculate an optical flow of the specific area in the plurality of captured images, wherein the imaging unit movement amount estimation unit calculates the movement amount of the imaging unit from the optical flow of the specific area; May be estimated.
  • the specific area optical flow calculation unit calculates the optical flow of the specific area in the plurality of captured images. Further, the photographing unit movement amount estimation unit estimates the movement amount of the photographing unit from the optical flow of the specific area. As described above, since the moving amount of the photographing unit can be estimated only from the photographed image, it is possible to suppress the cost increase and to easily apply to an existing moving body.
  • a specific region optical flow calculation unit that calculates an optical flow of a specific region in the plurality of captured images; and a sensor that detects a movement of the moving body or the imaging unit, and the imaging unit movement amount estimation unit includes: The movement amount may be estimated from the detection value of the sensor and the optical flow in the specific area.
  • the specific area optical flow calculation unit calculates the optical flow of the specific area in the plurality of captured images.
  • the imaging unit movement amount estimation unit can estimate the movement amount of the imaging unit with high accuracy by estimating the movement amount from the detection value of the sensor and the optical flow of the specific area. The accuracy of the distance estimation to the object in the obtained image can be further improved.
  • a sensor that detects the movement of the moving body or the imaging unit may be provided, and the imaging unit movement amount estimation unit may estimate the movement amount of the imaging unit from a detection value of the sensor.
  • the imaging unit movement amount estimation unit estimates the movement amount of the imaging unit from the detection value of the sensor, the calculation load of image processing can be reduced, and the distance can be estimated at a higher speed.
  • the specific area is preferably an image center point.
  • the image center point is preferably an image center point.
  • the specific area may be the lower end center point of the image. By setting the specific area as the center point of the lower end of the image, the optical flow of the specific area can be easily calculated.
  • the sensor is preferably a gyro sensor or an acceleration sensor.
  • the gyro sensor or the acceleration sensor it is possible to appropriately detect the movement of the moving body or the imaging unit.
  • the sensor is a steering angle sensor that detects a steering angle of the moving body, and the imaging unit movement amount estimation unit is detected by the operation steering angle detected by the steering angle sensor and the speed sensor.
  • the moving amount of the photographing unit may be estimated based on the speed and the optical flow in the specific area.
  • the present invention it is possible to provide a monocular motion stereo distance estimation method that can easily estimate the distance to an object in a captured image and a monocular motion stereo distance estimation apparatus using the same.
  • FIG. 7 is an explanatory diagram for obtaining an optical flow from the center of an image according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating a flow of distance estimation according to the first embodiment.
  • FIG. 12 is a flowchart illustrating a flow of distance estimation according to the second embodiment. 12 is an explanatory diagram illustrating a specific area according to Modification 3. FIG. It is a block diagram which shows the structure of the distance estimation apparatus which concerns on Example 4. FIG. 12 is a flowchart illustrating a flow of distance estimation according to the fourth embodiment. It is a block diagram which shows the structure of the distance estimation apparatus which concerns on a modification.
  • FIG. 1 is an explanatory diagram for explaining an image of a current frame
  • FIG. 2 is an explanatory diagram for explaining an image of a past frame.
  • the optical flow is a vector indicating the amount of movement of each corresponding point in an image that moves back and forth in time series.
  • a point existing in the image A is the image. It begins by searching where it moved from B.
  • the V-axis is taken upward in the image and the U-axis is taken in the right direction of the image.
  • the image center is set as the origin of the U axis and V axis.
  • point P moves from image B to image A as shown in FIG.
  • the position of the point P in the image B is (u ⁇ u, v ⁇ v)
  • the position of the point P in the image A is (u, v).
  • the difference between the position of the point P in the image A and the position of the point P in the image B ( ⁇ u, ⁇ v) is an optical flow at the point (u, v) of the image A. That is, the point (u, v) of the image A is the end point of the optical flow, and the point (u ⁇ u, v ⁇ v) on the image A corresponding to the point (u ⁇ u, v ⁇ v) of the image B is It can be said that the starting point of the optical flow.
  • Monocular motion stereo is to estimate the amount of camera movement (hereinafter referred to as camera motion parameter) from the optical flow between the images A and B, and to estimate the distance to the object present in the image. Therefore, in order to implement monocular motion stereo, the relationship between the optical flow between the images A and B, the camera motion parameter, and the distance to the object is required.
  • the camera motion parameter corresponds to the moving amount of the photographing unit in the present invention.
  • a model as shown in FIG. 4 is used for the camera and the imaging surface.
  • the X and Y axes of the camera coordinates and the U and V axes in the captured image are parallel to each other, and the center of the captured image is the position (0, 0, f) in the camera coordinates (FIG. 4). reference).
  • f is the focal length of the camera.
  • the virtual imaging plane PL is a virtual plane on which a captured image is assumed to be located in the camera coordinate system.
  • the camera motion parameter has 6 degrees of freedom as shown in FIG. That is, there are three degrees of freedom for the rotational movement amount ( ⁇ x, ⁇ y, ⁇ z) and three degrees of freedom for the translational movement amount (tx, ty, tz).
  • the rotational movement amount is the change amount of the angle within the unit time
  • the translational movement amount is the change amount of the distance within the unit time.
  • the camera motion parameters are estimated from the optical flow using the above equations (1) and (2). Note that when the vehicle moves straight ahead, the camera motion parameters can be made simpler. Since the camera is monocular, the camera motion parameters for straight travel are as follows.
  • Equation (1) and Equation (2) are as follows.
  • Equation (5) When the squares of both sides of Equation (5) and Equation (6) are added together, the following equation is obtained.
  • Equation (8) means that the distance z can be estimated by using the optical flow ⁇ w (see FIG. 5) in a direction extending radially from the center of the image and the vehicle speed tz. It is theoretically explained that the distance z can be estimated by calculating as described above.
  • FIG. 5 is an image in which the start point of the optical flow in the image B is also displayed on the image A.
  • FIG. 5 can also be said to be an image of an optical flow vector set.
  • the point at which these optical flows ⁇ w converge to the starting point is the vanishing point.
  • the vanishing point can be said to be a point where straight lines extending from the optical flows ⁇ w to the start point intersect.
  • the vanishing point P o and the image centers are coincident.
  • FIG. 6 is a side view of the vehicle 1 according to the first embodiment.
  • a four-wheel vehicle 1 is given.
  • the vehicle 1 is not limited to a passenger car, and includes an automatic guided vehicle and a golf cart that run in a factory or an orchard.
  • the vehicle 1 corresponds to a moving body in the present invention.
  • the moving body is not limited to a four-wheeled vehicle, and may be a two-wheeled vehicle, a three-wheeled vehicle, or a monorail type.
  • a monocular camera 3 is provided at the center of the vehicle 1 in the vehicle width direction. Further, the vehicle 1 is provided with a distance estimation device 5 that estimates a distance from an object ahead of the vehicle 1, a vehicle speed sensor 9 that detects the vehicle speed of the vehicle 1, and a monitor 10 that displays estimated distance information. ing.
  • the vehicle speed sensor 9 is a wheel speed sensor that detects the vehicle speed from the rotational speed of the wheels 7, for example. In the following description, front and rear and left and right are based on the direction in which the vehicle 1 moves forward.
  • FIG. 7 is a block diagram illustrating a configuration of the distance estimation apparatus.
  • the distance estimation apparatus 5 includes a camera 3 that captures an image in front of the vehicle 1, an image storage unit 11 that temporarily stores an image captured by the camera 3, and an optical flow calculation that calculates an optical flow from the center of the image.
  • Unit 13 a distance estimation unit 15 that estimates distance information of each pixel based on the optical flow from the center of the image, and a vehicle speed sensor 9 that detects the vehicle speed of the vehicle 1.
  • the optical flow calculation unit 13 and the distance estimation unit 15 are configured by a microprocessor or an FPGA (Field Programmable Gate Array). Next, each component will be described in order.
  • the camera 3 is a monocular camera.
  • the camera 3 is a general visible light sensor such as a CCD or a CMOS.
  • the optical axis of the camera 3 is installed so as to face the traveling direction of the vehicle 1. Thereby, the center of the image photographed by the camera 3 faces the traveling direction of the vehicle 1.
  • the deviation between the optical axis and the traveling direction of the vehicle is measured in advance, and the vanishing point when the vehicle 1 travels straight on a flat running path Check if it exists at the position.
  • Camera calibration is performed as image correction, such as translating the entire image of the camera 3 so that the vanishing point is positioned at the center of the image when traveling straight on a flat road.
  • a camera calibration unit that performs camera calibration before performing monocular motion stereo.
  • the image storage unit 11 temporarily stores an image captured by the camera 3 for each frame. Each stored image is output to the image enlargement unit 21.
  • the image storage unit 11 includes a memory, a flash memory, a hard disk (HDD), and the like.
  • the optical flow calculation unit 13 calculates the optical flow from the center of the image from the image A of the current frame input from the camera 3 and the image B one frame before input from the image storage unit 11.
  • the optical flow calculation unit 13 includes an image enlargement unit 21 that enlarges the image B of the previous frame B, and a matching unit 23 that matches the enlarged image B with the image A of the current frame. Next, a method for calculating the optical flow from the center of the image will be described.
  • the image enlargement unit 21 enlarges the image B one frame before in order of (1 + a) times, (1 + b) times,..., (1 + n) times.
  • a ⁇ b ⁇ there is a relationship of a ⁇ b ⁇ .
  • FIG. 8 is an explanatory diagram for obtaining an optical flow from the center of the image.
  • the values of a, b,..., n may be increased by 0.1, for example, 0.1, 0.2,.
  • the increase rate and the maximum enlargement rate of the enlargement rate may be determined by the vehicle speed, the frame rate, and the like.
  • the matching unit 23 performs block matching on the image B and each of the enlarged images B a , B b ,..., B n in order based on the image A and the image center.
  • Block matching is a method for evaluating the similarity between images using an evaluation function.
  • SAD Sum of Absolute Difference
  • SSD Small of Squares Difference
  • an area correlation method or the like is used.
  • the similarity is evaluated using the SAD of the following expression with respect to the matching window size (2M + 1) ⁇ (2N + 1).
  • the matching unit 23 obtains the enlargement ratio of the image B that minimizes the SAD in each pixel on the image A by using the image B and the enlarged images related to the image B and the image A using the SAD according to the equation (9). .
  • the point of the image A (u, v) and image B (1 + a), ..., (1 + n) times and enlarged the image B a were, ..., in B n (1 + a) multiplied by the image B a It is assumed that the result that the point (u, v) has the highest similarity is obtained.
  • the distance estimation unit 15 estimates the distance z to the object from the vehicle speed tz and the image enlargement ratio (1 + a) according to the equation (10). That is, distance information from the enlargement ratio of each pixel in the image to the object displayed by the pixel can be obtained.
  • FIG. 9 is a flowchart showing a processing procedure for distance estimation.
  • a front image is taken by the camera 3 provided in front of the vehicle 1 (step S01). Shooting by the camera 3 is continuously performed in time series at a frame interval of 1/30 seconds, for example.
  • the captured image is stored in the image storage unit 11 and sent to the matching unit 23.
  • the image B of the previous frame stored in the image storage unit 11 is sent to the image enlargement unit 21.
  • the image enlarging unit 21 creates images B a , B b ,..., B n obtained by enlarging the input image B at a plurality of magnifications (step S02).
  • the enlarged images B a , B b ,..., B n and the image B are sent to the matching unit 23.
  • block matching is performed for each pixel in the image B one frame before and the enlarged images B a , B b ,..., B n and the image A of the current frame (step S03).
  • the optical flow from the center of the image is calculated.
  • the calculated optical flow from the center of the image is sent to the distance estimation unit 15.
  • Steps S02 and S03 correspond to an optical flow calculation step in the present invention.
  • the vehicle speed of the vehicle 1 is detected by the vehicle speed sensor 9 at the same timing as the image capturing in step S01 (step S11).
  • the detected vehicle speed is sent to the distance estimation unit 15.
  • the distance estimation unit 15 estimates the distance z to the object displayed on each pixel based on the vehicle speed tz of the vehicle 1 obtained from the vehicle speed sensor 9 and the optical flow ⁇ w from the image center input from the matching unit 23. (Step S04).
  • the estimated distance information is output to the monitor 10.
  • the monitor 10 displays distance information in different colors according to the distance to the object. Further, the estimated distance information is not only displayed on the monitor 10 but may be used for vehicle travel control.
  • the optical flow is not obtained by searching in the vertical and horizontal directions of the captured image, but only by matching with an enlarged image captured in the past.
  • the optical flow from the center of the image can be calculated.
  • the distance to the photographed object can be easily estimated, and the calculation load can be greatly reduced.
  • the frame rate of image shooting can be increased, and the distance to the object in the image can be estimated even at shorter time intervals.
  • the feature of the second embodiment is that the distance is estimated even when the center of the image does not become a vanishing point because the vehicle travels according to the road condition.
  • the camera motion parameter varies only in the tz direction.
  • the distance can be estimated even when the camera motion parameter varies in the yaw direction and the pitch direction. Thereby, distance estimation can be performed, without being restrict
  • Embodiment 2 When the vehicle 1 moves up and down in the pitch direction along the road undulations, the camera 3 rotates ⁇ x in the pitch direction. Further, when the vehicle 1 turns, the camera 3 rotates ⁇ y in the yaw direction. In this case, the motion parameter of the camera 3 is represented by the following equation instead of the equation (3).
  • Expression (1) and Expression (2) are as follows.
  • the camera motion parameters ⁇ x and ⁇ y can be obtained by calculating the optical flow of the entire image and solving the simultaneous equations of Equation (11) and Equation (12).
  • the calculation load becomes very large. Therefore, as will be described below, it is possible to reduce the calculation load and reduce the influence of the moving object in the image by performing the optical flow calculation of the specific region.
  • Equations (11) and (12) are as follows.
  • ( ⁇ u 0 , ⁇ v 0 ) indicates the optical flow at the center point.
  • the pitch component ⁇ x and the yaw component ⁇ y of the camera motion parameter can be estimated directly from the optical flow at the center point.
  • block matching is used for the optical flow calculation of the center point.
  • the evaluation function used for block matching uses SAD according to Equation (9), and matching is performed with a resolution of 0.1 pixel.
  • I A is the image A
  • I B is the image B
  • the SAD becomes minimal
  • ⁇ u, ⁇ v is an optical flow of the point (u, v).
  • an interpolation method such as the binile method is used.
  • the camera motion parameter can be estimated by calculating the optical flow of the specific region called the center point.
  • the optical from the center of the image is obtained as in the case where the camera motion parameter is straight.
  • the flow can be calculated.
  • a desired optical flow is obtained by finding the point (u ⁇ u, v ⁇ v) of the image B corresponding to the point (u, v) of the image A. That is, u on the right side of the equation (15) is a point on the image A, and u ⁇ u is a point on the image B. Therefore, the image B (u ⁇ u, v ⁇ v) is obtained from the equations (15) and (16).
  • the distance can be estimated by moving and deforming only.
  • the image correction here is the same as correcting the vanishing point position shifted by the pitch and yaw rotation of the camera 3 to the image center.
  • the above is the theoretical explanation of distance estimation in the second embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of the distance estimation apparatus according to the second embodiment.
  • the configurations of the vehicle 1 and the distance estimation device 31 in the second embodiment other than those described below are the same as the configurations of the vehicle 1 and the distance measurement device 5 in the first embodiment.
  • a distance estimation device 31 according to the second embodiment has a function of correcting the displacement of the vanishing point due to the camera motion in the distance estimation device 5 according to the first embodiment.
  • the distance estimation device 31 in the second embodiment includes a specific area optical flow calculation unit 33, a camera motion parameter estimation unit 35, and an image correction unit 37.
  • the specific area optical flow calculation unit 33, the camera motion parameter estimation unit 35, and the image correction unit 37 are configured by a microprocessor or FPGA.
  • the image A of the current frame shot by the camera 3 is stored in the image storage unit 11 and sent to the specific area optical flow calculation unit 33 and the matching unit 23 '.
  • the image storage unit 11 outputs the image B captured and stored one frame before to the specific area optical flow calculation unit 33.
  • the camera motion parameter estimation unit 35 estimates the camera motion parameters ⁇ x and ⁇ y using the equations (13) and (14) based on the input specific region optical flow ( ⁇ u 0 , ⁇ v 0 ).
  • the estimated camera motion parameters ⁇ x and ⁇ y are output to the image correction unit 37.
  • the image correcting unit 37 uses the input camera motion parameters ⁇ x and ⁇ y to correct the image B of the past frame so that the vanishing point at the time of optical flow calculation is located at the center of the image, thereby correcting the corrected image B ′. obtain.
  • calculations of Expression (15) and Expression (16) are performed.
  • the corrected image B ′ is output to the image enlargement unit 21 ′.
  • Image enlargement unit 21 ' is corrected image B' enlarged in order in the same manner as in Example 1, correction expanded image B 'a, B' b, ..., to create a B 'n.
  • the corrected image B ′ and the corrected enlarged images B ′ a , B ′ b ,..., B ′ n are output to the matching unit 23 ′.
  • the matching unit 23 ′ performs block matching on the input image A of the current frame, the corrected image B ′, and the corrected enlarged images B ′ a , B ′ b ,..., B ′ n in the same manner as in the first embodiment.
  • the optical flow from the center of the image is calculated.
  • the calculated optical flow from the center of the image is output to the distance estimation unit 15.
  • the distance estimation unit 15 can estimate the distance to each object in the captured image by performing the same processing as in the first embodiment.
  • FIG. 11 is a flowchart illustrating a distance estimation processing procedure according to the second embodiment.
  • the specific area optical flow calculation unit 33 calculates the optical flow of the center point that is the specific area of the image A from the current frame image A and the past frame image B. Calculation is performed using block matching (step S21). Based on the calculated optical flow of the specific area, the camera motion parameter estimation unit 35 estimates the camera motion parameters ⁇ x and ⁇ y (step S22).
  • the image correcting unit 37 corrects the image B of the past frame so that the vanishing point is located at the center of the image to obtain a corrected image B ′ (step S23).
  • the image enlarging unit 21 ′ sequentially enlarges the corrected image B ′ in the same manner as in the first embodiment, and creates corrected enlarged images B ′ a , B ′ b ,..., B ′ n (step S02 ′).
  • the matching unit 23 ′ performs block matching on the input image A of the current frame, the corrected image B ′, and the corrected enlarged images B ′ a , B ′ b ,..., B ′ n in the same manner as in the first embodiment.
  • the optical flow from the vanishing point located at the center of the image is calculated (step S03 ′).
  • photographed image can be estimated by processing similarly to Example 1.
  • the camera motion parameter is estimated by obtaining the optical flow with the image center point as the specific region. Further, the vanishing point can be positioned at the center of the image by correcting the image of the past frame based on the estimated camera motion parameter. Thereby, distance estimation can be performed even when the center of an image does not become a vanishing point because the vehicle 1 travels according to the road condition.
  • the distance can be estimated even when the camera 3 fluctuates in the yaw direction and the pitch direction as the vehicle 1 moves. Thereby, distance estimation can be performed, without being restrict
  • the feature of the third embodiment is that the lower end region of the image is used as the specific region in the second embodiment where the specific region is the image center point.
  • the other points are the same as in the second embodiment.
  • the distance z in the equation (18) is often known. Further, assuming that the vehicle speed tz of the equation (18) is input from the vehicle speed sensor 9 of the vehicle 1 equipped with the camera 3, the pitch component ⁇ x and the yaw component of the camera motion parameter are obtained from the equations (17) and (18). ⁇ y can be estimated.
  • the specific area optical flow calculation unit 33 of the distance estimation apparatus 31 according to the second embodiment obtains the specific area optical flow using the specific area as the image center point as the image bottom center point.
  • the camera motion parameter estimation unit in the third embodiment estimates the pitch component ⁇ x and the yaw component ⁇ y of the camera motion parameter by the above method.
  • the camera motion parameter is estimated by obtaining the optical flow using the lower end center point of the image as the specific region.
  • the vanishing point can be positioned at the center of the image by correcting the image of the past frame based on the estimated camera motion parameter. Thereby, distance estimation can be performed even when the center of an image does not become a vanishing point because the vehicle 1 travels according to the road condition.
  • the feature of the fourth embodiment is that the estimation of camera motion parameters is estimated by two methods, and the estimation accuracy of camera motion parameters is improved based on the estimation results.
  • the camera motion parameter is estimated from the optical flow of the specific area in the photographed image.
  • a sensor for detecting the camera motion parameter is provided and is estimated from the detected value.
  • the sensor that detects the camera motion parameter include a gyro sensor or an acceleration sensor. It is preferable that these sensors can detect at least the X-axis direction and the Y-axis direction. These sensors may be provided in the vehicle 1 or in the camera 3.
  • FIG. 13 is a block diagram illustrating a configuration of the distance estimation apparatus according to the fourth embodiment.
  • a distance estimation device 39 according to the fourth embodiment has a configuration in which a gyro sensor 41 and a camera motion parameter correction unit 43 are added to the distance estimation device 31 according to the second embodiment.
  • the gyro sensor 41 is provided in the vehicle 1 (see FIG. 6), and detects the rotational movement amounts ⁇ x 2 and ⁇ y 2 of the vehicle 1 in the X-axis direction and the Y-axis direction.
  • the rotational movement amount of the vehicle 1 and the rotational movement amount of the camera 3 are equal.
  • the rotational movement amount of the camera 3 is detected by correcting the detection value of the gyro sensor 41.
  • the gyro sensor 41 may be directly attached to the camera 3, or an acceleration sensor may be attached instead of the gyro sensor 41.
  • the camera motion parameter correction unit 43 integrates the camera motion parameters ⁇ x and ⁇ y estimated from the specific area optical flow by the method of the second embodiment and the camera motion parameters ⁇ x 2 and ⁇ y 2 detected by the gyro sensor 41. It is possible to obtain the camera motion parameters corrected by. Thereby, it is possible to estimate a camera motion parameter with high accuracy.
  • the integration here may be simply to calculate an average value of the camera motion parameters ⁇ x and ⁇ y estimated from the specific region optical flow and the camera motion parameters ⁇ x 2 and ⁇ y 2 detected by the gyro sensor 41.
  • time series data of a plurality of camera motion estimation values may be used by using a Kalman filter.
  • the corrected camera motion parameter is sent to the image correction unit 37, and the same processing as in the second embodiment is performed.
  • FIG. 14 is a flowchart illustrating a distance estimation processing procedure according to the fourth embodiment.
  • the distance estimation method according to the fourth embodiment is the same as the distance estimation method according to the second embodiment, except that the rotational motion of the vehicle 1 or the camera 3 is detected by the gyro sensor 41, and the camera motion parameter estimated based on the detected value and the photographed image. It has been added to correct camera motion parameters by integrating.
  • the rotational movement amounts ⁇ x 2 and ⁇ y 2 are detected by the gyro sensor 41 at the timing of shooting the image A of the current frame in step S01.
  • the detected rotational movement amounts ⁇ x 2 and ⁇ y 2 are output to the camera motion parameter correction unit 43.
  • Steps S01 to 22 are the same as in the second embodiment.
  • the camera motion parameter correction unit 43 integrates the estimated camera motion parameters ⁇ x and ⁇ y and the rotational movement amounts ⁇ x 2 and ⁇ y 2 detected by the gyro sensor 41 to correct the camera motion parameters (step S32). .
  • image correction is performed using the corrected camera motion parameters ⁇ x ′ and ⁇ y ′.
  • steps S02 ′ to S04 are performed in the same manner as in the second embodiment.
  • both the camera motion parameter detected using the sensor that detects the camera motion parameter and the camera motion parameter obtained by estimation from the optical flow of the specific area are used. Accuracy can be improved. As a result, the accuracy of distance estimation can be improved.
  • the present invention is not limited to the above embodiment, and can be modified as follows.
  • the camera motion parameter is estimated based on the captured image.
  • the camera motion parameter may be directly detected using a sensor such as a gyro sensor or an acceleration sensor. By directly detecting the camera motion parameters ⁇ x and ⁇ y by the sensor, it is possible to reduce the calculation load of image processing.
  • the camera motion parameter is obtained by the steering angle sensor 45 (see FIG. 6) of the vehicle 1.
  • the detection may be performed using the steering angle and the vehicle speed obtained from the vehicle speed sensor 9 of the vehicle 1.
  • the camera motion parameters ⁇ x and ⁇ y can be detected, and the burden of image processing can be reduced.
  • estimation is performed by integrating camera motion parameters using camera motion parameters obtained by estimation from an optical flow in a specific region. May be.
  • distance estimation is performed using the image B one frame before as the image of the past frame, but if the image B one frame before is not saved due to a shooting error, 2 An image before the frame may be used, or an image of the previous frame may be used.
  • FIG. 15 is a block diagram illustrating a configuration of a distance estimation device 51 according to a modification of the second embodiment.
  • the distance estimation device 51 has a configuration in which a second specific area optical flow calculation unit 53, a second camera motion parameter estimation unit 55, and a camera motion parameter selection unit 57 are added to the distance estimation device 31 in the second embodiment. .
  • the specific area optical flow calculation unit 33 calculates the optical flow using the specific area as the image center point as described in the second embodiment.
  • the second specific area optical flow calculation unit calculates the optical flow with the specific area as the image lower end center point.
  • the second camera motion parameter estimation unit 55 estimates camera motion parameters based on the optical flow calculated with the lower end center point of the image as a specific region.
  • the camera motion parameter estimation with the specific area as the image center point and the camera motion parameter estimation with the specific area as the image bottom center point are operated independently to move to either area. Even if an object enters, the camera motion parameter selection unit 57 can select an optimal camera motion parameter.
  • the camera motion parameter may be selected using the gyro sensor 41 or the acceleration sensor.
  • the selection of the optimal camera motion parameter here means that the camera motion parameter obtained from two independent camera motion parameter estimators largely deviates from the value calculated at the timing one frame before. It may be selected.
  • the camera motion parameter detected by the gyro sensor 41 may be used to select a closer value as the optimum camera motion parameter.
  • the distance estimation device is provided in the vehicle 1, but is not limited thereto.
  • it may be adopted in a vision system for a robot that travels autonomously or a support system for a visually impaired person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置を提供する。車両に搭載される距離推定装置において、画像を撮影するカメラと、撮影された画像を保存する画像保存部と、複数の画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部と、車両の速度を計測する車速センサと、画像中心からのオプティカルフローと車速とから画像中の物体までの距離を推定する距離推定部とを備えた距離推定装置である。

Description

単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
　本発明は、単眼カメラで撮影された複数の画像から距離を推定する単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置に関する。
　従来、自動四輪車の運転支援および予防安全のための衝突防止装置を実現するために、車両周辺環境を３次元的に認識するシステムが開発されている。車両周辺環境を検出する方法として、ミリ波レーダー、レーザーレーダーなどのアクティブなセンサを用いる方法やステレオカメラ、単眼カメラなどのパッシブなセンサを用いる方法がある。アクティブなセンサは距離精度、光源環境によらず安定した出力が得られるが、高価な割に空間分解能が低い。
　これに対して、パッシブセンサは、空間分解能や価格などで優れている場合が多い。代表的なセンサであるカメラを使う場合、３次元再構成する方法として２台以上のカメラを使用するステレオカメラが一般的である。しかしながら、ステレオカメラは複数のカメラ（レンズ、撮像素子）が必要になり、また複数のカメラを頑丈な筐体で固定する必要があるので高価なセンサになりやすい。また、距離精度を確保するためにはカメラ間の距離を大きく取る必要があり、撮影部自体のサイズが大きくなってしまう欠点が存在する。
　一方、単眼カメラによるステレオ法も数多く研究されている。１台のカメラでも移動した状態で連続的に撮影し、カメラ間の相対位置が分かれば３次元再構成が可能となる。これを一般に、単眼ステレオ、モーションステレオ、ストラクチャーフロムモーション（SfM；Structure from Motion）と称することが多い。本発明では単眼モーションステレオと呼ぶ。単眼モーションステレオを実現するためには、時間の経過とともに移動したカメラ間の相対位置情報を何らかの方法で推定しなければいけない（特許文献１参照）。
　（１）特許文献１の技術
　特許文献１に記載の単眼モーションステレオ装置は、連続する画像間の特徴点を抽出し、抽出された特徴点のうち信頼性の高い対応点をエピポール誤差により選別する。さらに、精度の高い基礎行列（カメラ間の相対位置を表す行列）を算出する。
特許４９４３０３４号公報
　しかしながら、特許文献１の技術では、特徴点の抽出から、特徴点の選別、また繰り返し計算による基礎行列の算出に相当な時間を必要とし、自動車用の低スペックなＣＰＵでの演算では短い時間内に処理をすることができない問題がある。
　本発明は、このような事情に鑑みてなされたものであって、撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法およびそれを用いた単眼モーションステレオ距離推定装置を提供することを目的とする。
　上記目的を達成するために、本発明は次のような構成をとる。
　すなわち、本発明に係る第１の発明は、移動体からの単眼モーションステレオ距離推定方法において、画像を撮影する撮影ステップと、時系列に撮影された複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出ステップと、前記移動体の速度を計測する速度計測ステップと、画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定ステップとを備えた単眼モーションステレオ距離推定方法である。
　第１の発明によれば、撮影ステップにより前方の画像を撮影する。オプティカルフロー算出ステップでは、時系列に撮影された複数の画像を基に、画像中心からのオプティカルフローを算出する。また、速度計測ステップにより移動体の速度が検出される。距離推定ステップでは、画像中心からのオプティカルフローと、計測された移動体の速度とから前記画像中の物体までの距離を推定する。
　時系列に撮影された画像の画像中心からのオプティカルフローを算出することで、オプティカルフローの方向が画像中心から外側に向かう方向に制限され、画像全体の各画素からの縦横方向のオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。これにより、撮影された画像中の物体までの距離を簡易に推定することができる。
　また、前記オプティカルフロー算出ステップは、前フレームで撮影された画像を拡大する画像拡大ステップと、拡大画像と現フレームの画像とをマッチングするマッチングステップとを備え、マッチングされた拡大画像の画像拡大率を基にオプティカルフローを算出することが好ましい。
　画像拡大ステップにより前フレームで撮影された画像が拡大される。また、マッチングステップにより拡大画像と現フレームとがマッチングされ、現フレームに最もマッチングする拡大画像が選ばれる。この選ばれた拡大画像の画像拡大率を基にオプティカルフローが算出されるので、距離推定の演算負荷を大幅に低減することができる。
　また、画像を撮影する撮影部の移動量を推定する撮影部移動量推定ステップと、前記撮影部の前記移動量を基に、消失点が画像中心に位置するように前記画像を補正する画像補正ステップとを備え、前記オプティカルフロー算出ステップは、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出することが好ましい。
　撮影部移動量推定ステップにより、画像を撮影する撮影部の移動量を推定するので、走路状況に応じて運動するカメラの移動量を推定することができる。画像補正ステップは、推定された撮影部の移動量を基に、消失点が画像中心に位置するように画像を補正する。これにより、消失点が走路状況に応じて画像中心から外れる場合であっても、画像中心に位置するように補正されるので、オプティカルフロー算出ステップにより、撮影された画像と補正された画像とから画像中心からのオプティカルフローを算出することができ、走路状況に依存することなく、距離推定の演算負荷を軽減することができる。
　また、撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出ステップを備え、前記撮影部移動量推定ステップは、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定することが好ましい。
　特定領域オプティカルフロー算出ステップは、撮影された複数の前記画像における特定領域のオプティカルフローを算出する。さらに、撮影部移動量推定ステップは、特定領域のオプティカルフローから撮影部の移動量を推定する。このように、撮影部の移動量を撮影された画像のみから推定することができるので、コスト高を抑制し、既存の移動体に簡易に適用することができる。
　また、本発明に係る第２の発明は、移動体に搭載される単眼モーションステレオ距離推定装置において、画像を撮影する撮影部と、撮影された画像を保存する画像保存部と、複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部と、前記移動体の速度を計測する速度センサと、画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定部とを備えた単眼モーションステレオ距離推定装置である。
　第２の発明によれば、撮影部により撮影部前方の画像を撮影する。画像保存部は、撮影された画像を順次保存する。オプティカルフロー算出部は、時系列に撮影された複数の画像を基に、画像中心からのオプティカルフローを算出する。速度センサは移動体の速度を計測する。距離推定部は、画像中心からのオプティカルフローと、計測された移動体の速度とから画像中の物体までの距離を推定する。
　時系列に撮影された画像の画像中心からのオプティカルフローを算出することで、オプティカルフローの方向が画像中心から外側に向かう方向に制限され、画像全体の各画素からの縦横方向のオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。これにより、撮影された画像中の物体までの距離を簡易に推定することができる。
　また、前記オプティカルフロー算出部は、前フレームで撮影された画像を拡大する画像拡大部と、拡大された画像と現フレームの画像とをマッチングするマッチング部とを備え、マッチングされた拡大画像の画像拡大率を基にオプティカルフローを算出することが好ましい。
　画像拡大部により前フレームで撮影された画像が拡大される。また、マッチング部により拡大画像と現フレームとがマッチングされ、現フレームに最もマッチングする拡大画像が選ばれる。この選ばれた拡大画像の画像拡大率を基にオプティカルフローが算出されるので、距離推定の演算負荷を大幅に低減することができる。
　また、前記撮影部の移動量を推定する撮影部移動量推定部と、前記撮影部の前記移動量を基に画像中心に消失点が位置するように前記画像を補正する画像補正部とを備え、前記オプティカルフロー算出部は、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出することが好ましい。
　撮影部移動量推定部により、画像を撮影する撮影部の移動量を推定するので、走路状況に応じて運動するカメラの移動量を推定することができる。画像補正部は、推定された撮影部の移動量を基に、消失点が画像中心に位置するように画像を補正する。これにより、消失点が走路状況に応じて画像中心から外れる場合であっても、画像中心に位置するように補正されるので、オプティカルフロー算出部により、撮影された画像と補正された画像とから画像中心からのオプティカルフローを算出することができる。これにより、画像全体の各画素からのオプティカルフローの算出を省略することができ、距離推定の演算負荷を大幅に低減することができる。また、走路状況に依存することなく、距離推定の演算負荷を軽減することができる。
　また、撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部を備え、前記撮影部移動量推定部は、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定してもよい。
　特定領域オプティカルフロー算出部は、撮影された複数の前記画像における特定領域のオプティカルフローを算出する。さらに、撮影部移動量推定部は、特定領域のオプティカルフローから撮影部の移動量を推定する。このように、撮影部の移動量を撮影された画像のみから推定することができるので、コスト高を抑制し、既存の移動体に簡易に適用することができる。
　また、撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部と、前記移動体または前記撮影部の動きを検出するセンサを備え、前記撮影部移動量推定部は、前記センサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定してもよい。
　特定領域オプティカルフロー算出部は、撮影された複数の前記画像における特定領域のオプティカルフローを算出する。また、これとは別に、移動体または撮影部の動きを検出するセンサを備えることで、移動体または撮影部の動きをセンサにより直接検出することができる。撮影部移動量推定部は、このセンサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定することで、撮影部の移動量を精度良く推定することができ、これにより、撮影された画像中の物体までの距離推定の精度をより向上することができる。
　また、前記移動体または前記撮影部の動きを検出するセンサを備え、前記撮影部移動量推定部は、前記センサの検出値より前記撮影部の前記移動量を推定してもよい。この構成により、移動体または撮影部の動きを検出するセンサを備えることで、移動体または撮影部の動きをセンサにより直接検出することができる。撮影部移動量推定部は、このセンサの検出値より撮影部の移動量を推定するので、画像処理の演算負荷を低減することができ、より高速に距離推定をすることができる。
　また、前記特定領域は、画像中心点であることが好ましい。画像中心点を特定領域とすることで、容易に特定領域のオプティカルフローを算出することができる。
　また、前記特定領域は、画像下端中心点でもよい。特定領域を画像下端中心点とすることで、容易に特定領域のオプティカルフローを算出することができる。
　また、前記センサは、ジャイロセンサまたは加速度センサであることが好ましい。ジャイロセンサまたは加速度センサを用いることで、適切に、移動体または撮影部の動きを検出することができる。
　また、前記センサは前記移動体の操舵角を検出する操舵角センサであり、前記撮影部移動量推定部は、前記操舵角センサにより検出された前記操作舵角と、前記速度センサにより検出された前記速度と、特定領域の前記オプティカルフローとを基に前記撮影部移動量を推定してもよい。移動体に操舵角センサが用いられている場合、新たにセンサを備える必要がないので、コスト高を抑制することができ、容易に撮影部の移動量を推定することができる。
　本発明によれば、撮影された画像中の物体までの距離を簡易に推定できる単眼モーションステレオ距離推定方法およびそれを用いた単眼モーションステレオ距離推定装置を提供することができる。
現在のフレームの画像を説明する説明図である。 過去フレームの画像を説明する説明図である。 単眼カメラと各軸との関係を示す説明図である。 カメラと撮像面との関係を示す説明図である。 画像中心からのオプティカルフローを説明する説明図である。 実施例に係る車両を示す側面図である。 実施例１に係る距離推定装置の構成を示すブロック図である。 実施例１に係る画像中心からオプティカルフローを求める説明図である。 実施例１に係る距離推定の流れを示すフローチャートである。 実施例２に係る距離推定装置の構成を示すブロック図である。 実施例２に係る距離推定の流れを示すフローチャートである。 変形例３に係る特定領域を示す説明図である。 実施例４に係る距離推定装置の構成を示すブロック図である。 実施例４に係る距離推定の流れを示すフローチャートである。 変形例に係る距離推定装置の構成を示すブロック図である。
　１．実施例１の理論的説明
　最初に、本発明の理論的説明をする。
　１．１オプティカルフロー
　まず、オプティカルフローについて図１および図２を用いて説明する。図１は、現在のフレームの画像を説明する説明図であり、図２は過去フレームの画像を説明する説明図である。オプティカルフローとは、時系列的に前後する画像中の対応する各点の移動量を示すベクトルである。例えば、現在フレームの画像Ａ（図１参照）と画像Ａよりも過去に取得された過去フレームの画像Ｂ（図２参照）とからオプティカルフローを求めるには、画像Ａ中に存在する点が画像Ｂ中のどこから移動したかを探索することから始まる。なお、画像上方向にＶ軸をとり、画像右方向にＵ軸をとる。また、画像中心をＵ軸およびＶ軸の原点とする。
　画像Ｂから画像Ａにかけて点Ｐが、図１に示すように移動したとする。画像Ｂでの点Ｐの位置が（ｕ－Δｕ，ｖ－Δｖ）であり、画像Ａでは点Ｐの位置が（ｕ，ｖ）である。この画像Ａにおける点Ｐの位置と画像Ｂにおける点Ｐの位置の差である（Δｕ，Δｖ）が画像Ａの点（ｕ，ｖ）におけるオプティカルフローとなる。すなわち、画像Ａの点（ｕ，ｖ）はオプティカルフローの終点であり、画像Ｂの点（ｕ－Δｕ，ｖ－Δｖ）に対応する画像Ａ上の点（ｕ－Δｕ，ｖ－Δｖ）はオプティカルフローの始点ともいえる。
　１．２．単眼モーションステレオ
　次に単眼モーションステレオについて説明する。単眼モーションステレオは、画像Ａおよび画像Ｂ間のオプティカルフローからカメラの移動量（以下、カメラ運動パラメータと称す）を推定し、画像中に存在する物体までの距離を推定することである。したがって、単眼モーションステレオを実施するには、画像Ａおよび画像Ｂ間のオプティカルフローと、カメラ運動パラメータと、物体までの距離との関係が必要となる。カメラ運動パラメータは本願発明における撮影部移動量に相当する。
　ここで、カメラが撮影した物体は静止しているものと仮定する。図３に示されるような一般的なピンホールカメラのモデルでは、カメラと撮像面は図４のようなモデルが使われる。カメラ座標のＸ、Ｙ軸と撮影された画像におけるＵ、Ｖ軸とはそれぞれ平行であり、撮影された画像中心はカメラ座標での（０，０，ｆ）の位置であるとする（図４参照）。ここでｆはカメラの焦点距離である。仮想撮像平面ＰＬは撮影された画像がカメラ座標系において位置すると想定される仮想平面である。
　カメラ運動パラメータは、図３に示すように６自由度ある。すなわち、回転移動量（ωｘ，ωｙ，ωｚ）についての３自由度と、並進移動量（ｔｘ，ｔｙ，ｔｚ）についての３自由度である。回転移動量は単位時間内の角度の変化量であり、並進移動量は単位時間内の距離の変化量である。これらのカメラ運動パラメータ（ωｘ，ωｙ，ωｚ）、（ｔｘ，ｔｙ，ｔｚ）と、カメラで撮影された物体までの距離ｚと、画像中のある点（ｕ，ｖ）およびその点におけるオプティカルフロー（Δｕ，Δｖ）との間には次の関係があることが知られている。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上式（１）、（２）を用いてオプティカルフローからカメラ運動パラメータを推定する。なお、車両が直進運動する場合は、カメラ運動パラメータをより簡単にすることができる。カメラが単眼であるので、直進の場合のカメラ運動パラメータは以下の式となる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　式（３）および式（４）を用いると、式（１）および式（２）が以下のようになる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　式（５）および式（６）の両辺を二乗して足し合わせると次式となる。
Figure JPOXMLDOC01-appb-M000007
　ここで、画像中心からの距離ｗは、ｗ２＝ｕ２＋ｖ２であるので、式（７）は式（５）と式（６）を用いることで次式となる。
Figure JPOXMLDOC01-appb-M000008
　式（８）は、画像中心から放射状に伸びる方向のオプティカルフローΔｗ（図５参照）と車速ｔｚを用いれば、距離ｚが推定できることを意味している。以上のように演算することで、距離ｚが推定できることが理論的に説明される。図５は、画像Ａ上に、画像Ｂにおけるオプティカルフローの始点も表示した画像である。図５は、オプティカルフローのベクトル集合の画像ともいえる。これらのオプティカルフローΔｗが始点側に収束する点が消失点である。すなわち、消失点は、各オプティカルフローΔｗを始点側に延長した直線が交差する点ともいえる。図５においては、消失点Ｐｏと画像中心とが一致している。
　２．実施例１の車両
　上述した理論を実施する実施例１を図面を参照して説明する。図６は、実施例１に係る車両１の側面図である。本発明における移動体の実施形態として、四輪の車両１を挙げる。車両１は乗用車に限られず、工場や果樹園で走行する無人搬送車やゴルフカートも含まれる。車両１は本願発明における移動体に相当する。また、移動体は四輪車に限られず、二輪車でも三輪車でもよいし、モノレール型でもよい。
　車両１の車幅方向の中央部に単眼のカメラ３が設けられている。また、車両１には、車両１の前方の物体との距離を推定する距離推定装置５と、車両１の車速を検出する車速センサ９と、推定された距離情報を表示するモニタ１０が設けられている。車速センサ９は、例えば、車輪７の回転速度から車速を検出する車輪速センサである。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。
　３．実施例１の距離推定装置
　次に図７を参照して車両１に備えられた距離推定装置５の構成を説明する。図７は、距離推定装置の構成を示すブロック図である。
　距離推定装置５は、車両１の前方の画像を撮影するカメラ３と、カメラ３により撮影された画像を一時的に保存する画像保存部１１と、画像中心からのオプティカルフローを算出するオプティカルフロー算出部１３と、画像中心からのオプティカルフローを基に各画素の距離情報を推定する距離推定部１５と、車両１の車速を検出する車速センサ９とを備える。オプティカルフロー算出部１３および距離推定部１５はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。
　カメラ３は、単眼のカメラで構成される。カメラ３はＣＣＤやＣＭＯＳなど一般的な可視光センサである。カメラ３の光軸は車両１の進行方向を向くように設置されている。これにより、カメラ３により撮影された画像中心は車両１の進行方向を向いている。カメラ３の光軸が車両１の進行方向を向いていない場合は、光軸と車両進行方向のズレを予め計測しておき、車両１が平坦な走路を直進する際の消失点が画像のどの位置に存在するかを確認する。この消失点が平坦な走路を直進する際の画像中心に位置するようにカメラ３の画像全体を平行移動させるなどの画像補正としてのカメラキャリブレーションを実施する。このように、カメラ３の光軸が車両１の進行方向を向いていない場合は、単眼モーションステレオを実施する前に、カメラキャリブレーションを実施するカメラキャリブレーション部を備える必要がある。
　画像保存部１１は、カメラ３で撮影した画像をフレームごとに一時的に保存する。保存された各画像は画像拡大部２１へ出力される。画像保存部１１は、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などで構成される。
　オプティカルフロー算出部１３は、カメラ３から入力される現フレームの画像Ａと、画像保存部１１から入力される１フレーム前の画像Ｂとから、画像中心からのオプティカルフローを算出する。オプティカルフロー算出部１３は、１フレーム前の画像Ｂの画像を拡大する画像拡大部２１と、拡大された画像Ｂと現フレームの画像Ａとをマッチングするマッチング部２３とを有する。次に、画像中心からのオプティカルフローを算出する方法を説明する。
　従来のオプティカルフロー計算では、画像の縦横方向、つまりＵＶ方向のオプティカルフローを求めなければならなかった。しかしながら、画像中心からのオプティカルフローに限定することで、直接Δｗを求めることができる。つまり、ΔｕおよびΔｖを求めなくとも、Δｗを求めることができるので、演算負荷を大幅に軽減することができる。
　画像拡大部２１は、図８に示すように、１フレーム前の画像Ｂを（１＋ａ）倍、（１＋ｂ）倍、…、（１＋ｎ）倍、と順に拡大する。ここで、ａ＜ｂ＜…＜ｎの関係がある。図８は、画像中心からのオプティカルフローを求める説明図である。ａ、ｂ、…、ｎの値は、例えば、０．１、０．２、…、のように、０．１ずつ増やしていってもよい。拡大率の増加率および最大拡大率は、車速およびフレームレート等により決めるとよい。
　マッチング部２３は画像Ｂおよび拡大された各画像Ｂａ、Ｂｂ、…、Ｂｎを画像Ａと画像中心を基準に順にブロックマッチングする。ブロックマッチングは、画像間の類似性を評価関数によって評価する方法であり、ここでの評価関数には、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squares Difference）、面積相関法等が用いられる。実施例１においても、マッチング窓サイズ（２Ｍ＋１）×（２Ｎ＋１）に関して下式のＳＡＤを用いて類似性を評価する。
Figure JPOXMLDOC01-appb-M000009
　マッチング部２３は、画像Ｂおよび画像Ｂに関する拡大された各画像と画像Ａとを式（９）によるＳＡＤを用いて、画像Ａ上の各画素においてＳＡＤが最少となる画像Ｂの拡大率を求める。例えば、画像Ａの点（ｕ，ｖ）と画像Ｂが（１＋ａ）、…、（１＋ｎ）倍と拡大された各画像Ｂａ、…、Ｂｎの中で（１＋ａ）倍した画像Ｂａの点（ｕ，ｖ）が最も類似度が高いとの結果が出たとする。画像Ｂａにおける実際の（ｕ，ｖ）は（ｕ（１＋ａ），ｖ（１＋ａ））に移動しているので、画像Ａにおける点（ｕ，ｖ）は、画像Ｂａでは点（ｕ（１＋ａ），ｖ（１＋ａ））に移動したと考えることが出来る。すなわち、オプティカルフロー（Δｕ，Δｖ）＝（ｕａ，ｖａ）となる。
　ｗ２＝ｕ２＋ｖ２であるので、Δｗ＝ｗａとなる。これにより式（８）は以下の式となる。
Figure JPOXMLDOC01-appb-M000010
　距離推定部１５は、式（１０）により、車速ｔｚと画像の拡大率（１＋ａ）から物体までの距離ｚを推定する。すなわち、画像中の各画素の拡大率から画素が表示する物体までの距離情報を得ることができる。
　４．実施例１の距離推定方法
　次に、実施例１における距離推定の動作を図９を用いて説明する。図９は距離推定の処理手順を示すフローチャートである。
　車両１の前面に設けられたカメラ３により前方の画像を撮影する（ステップＳ０１）。カメラ３による撮影は、例えば、１／３０秒のフレーム間隔で時系列的に連続して行われる。撮影された画像は画像保存部１１に保存されるとともに、マッチング部２３へ送られる。
　現フレームの画像Ａが撮影されるのと並行して、画像保存部１１に保存されている１フレーム前の画像Ｂが画像拡大部２１へ送られる。画像拡大部２１は、入力された画像Ｂを複数の倍率でそれぞれ拡大した画像Ｂａ、Ｂｂ、…、Ｂｎを作成する（ステップＳ０２）。拡大された各画像Ｂａ、Ｂｂ、…、Ｂｎと画像Ｂとがマッチング部２３へ送られる。マッチング部２３では、１フレーム前の画像Ｂおよび拡大された各画像Ｂａ、Ｂｂ、…、Ｂｎと現フレームの画像Ａとで、各画素ごとにブロックマッチングする（ステップＳ０３）ことで、画像中心からのオプティカルフローを算出する。算出された画像中心からのオプティカルフローは距離推定部１５へ送られる。ステップＳ０２およびステップＳ０３は、本発明におけるオプティカルフロー算出ステップに相当する。
　また、ステップＳ０１における画像撮影と同じタイミングで車両１の車速が車速センサ９により検出される（ステップＳ１１）。検出された車速は距離推定部１５へ送られる。距離推定部１５は、車速センサ９から得られる車両１の車速ｔｚとマッチング部２３から入力される画像中心からのオプティカルフローΔｗとを基に各画素に表示されている物体までの距離ｚを推定する（ステップＳ０４）。推定された距離情報はモニタ１０に出力される。モニタ１０は、物体までの距離に応じて色分けして距離情報を表示する。また、推定された距離情報は、モニタ１０に表示するだけでなく、車両の走行制御に利用してもよい。
　このように、実施例１によれば、車両１が直進運動する場合、撮影画像の縦横方向に探索してオプティカルフローを求めるのではなく、過去に撮影した画像を拡大したものとマッチングするだけで画像中心からのオプティカルフローを算出することができる。この画像中心からのオプティカルフローを用いることで、撮影された物体までの距離を容易に推定することができ、演算負荷を大幅に低減することができる。また、演算負荷を大幅に低減することで、画像撮影のフレームレートを上げることができ、より短い時間間隔でも画像中の物体までの距離を推定することができる。
　次に、車両１が旋回および上下運動する場合における距離推定方法および距離推定装置を説明する。実施例２の特徴は、車両が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定を実施する点である。実施例１ではカメラ運動パラメータが変動するのはｔｚ方向にのみ限定していたが、実施例２ではヨー方向およびピッチ方向に変動する場合にも距離を推定することができる。これにより、走路状況に制限されることなく距離推定をすることができる。
　５．実施例２の理論的説明
　車両１が道路の起伏に沿ってピッチ方向に上下運動する場合、カメラ３はピッチ方向にωｘ回転する。また、車両１が旋回運動する場合、カメラ３はヨー方向にωｙ回転する。この場合、カメラ３の運動パラメータは、式（３）に代えて以下の式となる。
　（ωｘ，ωｙ，ωｚ）＝（ωｘ，ωｙ，０）　・・・（３）’
　式（３）’および式（４）より、式（１）および式（２）は以下の式となる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　画像全体のオプティカルフローを計算し、式（１１）および式（１２）の連立方程式を解くことでカメラ運動パラメータωｘ，ωｙを求めることができる。しかしながら、この方法だと、画像全体のオプティカルフローを求める必要があるので、演算負荷が非常に大きくなる。そこで、これから説明するように、特定領域のオプティカルフロー演算を行うことで演算負荷の低減と、画像中の移動物体の影響軽減を図ることができる。
　実施例２では、特定領域として画像中心を設定した場合を説明する。画像中心は（ｕ，ｖ）＝（０，０）であるので、式（１１）および式（１２）は以下の式となる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　なお、ここで（Δｕ０，Δｖ０）は中心点のオプティカルフローを示す。これにより、中心点でのオプティカルフローから直接、カメラ運動パラメータのピッチ成分のωｘとヨー成分のωｙを推定することができる。中心点のオプティカルフロー計算には、実施例１と同様にブロックマッチングを用いる。ブロックマッチングに用いる評価関数には式（９）によるＳＡＤを用い、分解能は０．１ピクセルでのマッチングを行う。
　式（９）において、ＩＡは画像Ａであり、ＩＢは画像Ｂであり、このＳＡＤが最少になる（Δｕ，Δｖ）が点（ｕ，ｖ）のオプティカルフローとなる。実施例２では、（Δｕ，Δｖ）は少数第１位のサブピクセルの値を持つので、画像Ｂからサブピクセル値で輝度値を参照する場合、バイニリア法などの補間方法を用いる。以上により、中心点という特定領域のオプティカルフローを計算することで、カメラ運動パラメータを推定することができる。
　しかしながら、カメラ運動パラメータωｘおよびωｙが推定されても、カメラ運動パラメータが直進ｔｚのみの場合と全く同様の方法で画像中心からのオプティカルフロー計算をすることができない。カメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙが存在する場合は消失点が画像中心に存在しないからである。そこで、画像中心に消失点が位置するように画像補正を行う。式（１１）および式（１２）を変形すると以下の式となる。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　式（１５）および式（１６）から、過去フレームの画像Ｂに対して、推定したカメラ運動パラメータωｘおよびωｙで補正することで、カメラ運動パラメータが直進の場合と同様に、画像中心からのオプティカルフローを計算することができる。オプティカルフロー（Δｕ，Δｖ）を求めるためには、画像Ａの点（ｕ，ｖ）に対応する画像Ｂの点（ｕ－Δｕ、ｖ－Δｖ）を見つけることで所望のオプティカルフローが求まる。つまり、式（１５）の右辺のｕは画像Ａのある点であり、ｕ－Δｕは画像Ｂのある点である。したがって、式（１５）および式（１６）より、画像Ｂ（ｕ－Δｕ、ｖ－Δｖ）を
Figure JPOXMLDOC01-appb-I000017
だけ移動変形することで実施例１と同様に、距離推定をすることができる。ここでの画像補正は、カメラ３のピッチおよびヨー回転によりずれた消失点の位置を画像中心に補正することと同一である。以上が実施例２おける距離推定の理論的説明である。
　次に、上述した理論を実施する距離推定装置を図１０を参照して説明する。図１０は、実施例２における距離推定装置の構成を示すブロック図である。なお、以下に記載したこと以外の実施例２における車両１および距離推定装置３１の構成は、実施例１における車両１および距離測定装置５の構成と同様である。
　　６．実施例２の距離推定装置
　実施例２における距離推定装置３１は、実施例１における距離推定装置５に、カメラ運動による消失点のズレを補正する機能を有する。実施例２における距離推定装置３１は、実施例１における距離推定装置５の構成に加えて、特定領域オプティカルフロー算出部３３、カメラ運動パラメータ推定部３５、および画像補正部３７を有する。これら、特定領域オプティカルフロー算出部３３、カメラ運動パラメータ推定部３５、および画像補正部３７は、マイクロプロセッサまたはＦＰＧＡで構成される。
　カメラ３により撮影された現フレームの画像Ａは、画像保存部１１で保存されるとともに、特定領域オプティカルフロー算出部３３とマッチング部２３’へ送られる。画像保存部１１は、１フレーム前に撮影されて保存されている画像Ｂを、特定領域オプティカルフロー算出部３３へ出力する。
　特定領域オプティカルフロー算出部３３は、入力された現フレーム画像Ａと過去フレーム画像Ｂとから、画像Ａの中心点のオプティカルフローをブロックマッチングを用いて算出する。すなわち、式（９）のＳＡＤを用いることで（ｕ，v）=(０，０)における（Δｕ０、Δｖ０）を算出する。この中心点のオプティカルフローは小数点第１位のサブピクセル単位で算出する。算出された特定領域オプティカルフロー（Δｕ０、Δｖ０）はカメラ運動パラメータ推定部３５へ出力される。
　カメラ運動パラメータ推定部３５は、入力された特定領域オプティカルフロー（Δｕ０、Δｖ０）を基に、式（１３）および式（１４）を用いてカメラ運動パラメータωｘ、およびωｙを推定する。推定したカメラ運動パラメータωｘ、ωｙは画像補正部３７へ出力する。
　画像補正部３７は、入力されたカメラ運動パラメータωｘ、ωｙを用いることで、オプティカルフロー算出時の消失点が画像中心に位置するように、過去フレームの画像Ｂを補正して補正画像Ｂ’を得る。補正方法は、式（１５）および式（１６）の演算を実施する。補正画像Ｂ’は画像拡大部２１’へ出力される。
　画像拡大部２１’は補正画像Ｂ’を実施例１と同様に順に拡大して、補正拡大画像Ｂ’ａ、Ｂ’ｂ、…、Ｂ’ｎを作成する。補正画像Ｂ’および各補正拡大画像Ｂ’ａ、Ｂ’ｂ、…、Ｂ’ｎはマッチング部２３’へ出力される。
　マッチング部２３’は、入力された現フレームの画像Ａと補正画像Ｂ’および各補正拡大画像Ｂ’ａ、Ｂ’ｂ、…、Ｂ’ｎとを、実施例１と同様にブロックマッチングすることで、画像中心からのオプティカルフローを算出する。算出された画像中心からのオプティカルフローは、距離推定部１５へ出力される。距離推定部１５では、実施例１と同様の処理をすることで、撮影された画像中の各物体までの距離を推定することができる。
　次に、実施例２における距離推定の動作を図１１を用いて説明する。図１１は実施例２に係る距離推定の処理手順を示すフローチャートである。
　７．実施例２の距離推定方法
　実施例２における距離推定方法は、実施例１の距離推定方法にカメラ運動パラメータを推定し、推定したカメラ運動パラメータに応じて過去フレームの画像を補正することが追加されている。すなわち、実施例１と同様にステップＳ０１において画像を撮影した後、特定領域オプティカルフロー算出部３３が現フレーム画像Ａと過去フレーム画像Ｂとから、画像Ａの特定領域である中心点のオプティカルフローをブロックマッチングを用いて算出する（ステップＳ２１）。算出された特定領域のオプティカルフローにより、カメラ運動パラメータ推定部３５は、カメラ運動パラメータωｘ、ωｙを推定する（ステップＳ２２）。
　推定されたカメラ運動パラメータωｘ、ωｙを用いて、画像補正部３７は、消失点が画像中心に位置するように、過去フレームの画像Ｂを補正して補正画像Ｂ’を得る（ステップＳ２３）。次に、画像拡大部２１’は補正画像Ｂ’を実施例１と同様に順に拡大して、補正拡大画像Ｂ’ａ、Ｂ’ｂ、…、Ｂ’ｎを作成する（ステップＳ０２’）。マッチング部２３’は、入力された現フレームの画像Ａと補正画像Ｂ’および各補正拡大画像Ｂ’ａ、Ｂ’ｂ、…、Ｂ’ｎとを、実施例１と同様にブロックマッチングすることで、画像中心に位置する消失点からのオプティカルフローを算出する（ステップＳ０３’）。ステップＳ１１およびステップＳ０４について、実施例１と同様に処理することで、撮影された画像中の各物体までの距離を推定することができる。
　このように、実施例２によれば、画像中心点を特定領域としてオプティカルフローを求めてカメラ運動パラメータを推定している。さらに、推定されたカメラ運動パラメータを基に、過去フレームの画像を補正することで、消失点を画像中心に位置することができる。これにより、車両１が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定をすることができる。
　すなわち、カメラ３が車両１の動きに伴って、ヨー方向およびピッチ方向に変動する場合にも、距離を推定することができる。これにより、走路状況に制限されることなく距離推定をすることができる。さらに、静止物体に限らず、例えば前方を走る車や人といった移動物体がある場合でも、安定的に距離推定が行える。
　実施例３の特徴は、実施例２において、特定領域が画像中心点であったものを、特定領域として画像下端領域を用いる点が特徴である。その他の点においては実施例２と同様である。
　特定領域として、画像下端中心点を用いる場合について説明する。画像下端中心点Ｐｅは、図１２に示すように、（ｕ，ｖ）＝（０，ｖ）であるので、式（１１）および式（１２）は、下式となる。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　ここで、画像下端中心点Ｐｅは車両１の幅方向の中心点の前方下方であることから常に路面である場合が多いので、式（１８）における距離ｚが既知であることが多い。また、式（１８）の車速ｔｚはカメラ３が装備された車両１の車速センサ９から入力されたものとすると、式（１７）および式（１８）からカメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙを推定することができる。
　実施例３による距離推定装置は実施例２における距離推定装置３１の特定領域オプティカルフロー算出部３３が、特定領域を画像中心点としていたのを、画像下端中心点として、特定領域オプティカルフローを求める。また、実施例３におけるカメラ運動パラメータ推定部は、上記方法によりカメラ運動パラメータのピッチ成分ωｘおよびヨー成分ωｙを推定する。このように、実施例３によれば、画像下端中心点を特定領域としてオプティカルフローを求めてカメラ運動パラメータを推定している。さらに、推定されたカメラ運動パラメータを基に、過去フレームの画像を補正することで、消失点を画像中心に位置することができる。これにより、車両１が走路状況に応じて走行することで、画像中心が消失点とならない場合においても、距離推定をすることができる。
　次に、カメラ運動パラメータの推定精度をさらに向上させた距離推定方法および距離推定装置を説明する。実施例４の特徴は、カメラ運動パラメータの推定を２つの方法により推定し、それらの推定結果を基にカメラ運動パラメータの推定精度を向上させる点である。
　上記実施例２において、カメラ運動パラメータを、撮影した画像における特定領域のオプティカルフローから推定していたが、カメラ運動パラメータを検出するセンサを設けて、この検出値からも推定する。カメラ運動パラメータを検出するセンサとして、例えば、ジャイロセンサ、または、加速度センサ等が挙げられる。これらのセンサは、少なくともＸ軸方向およびＹ軸方向について検出できることが好ましい。これらのセンサは車両１に備えてもよいし、カメラ３に備えてもよい。
　図１３を参照して説明する。図１３は実施例４における距離推定装置の構成を示すブロック図である。実施例４における距離推定装置３９は、実施例２における距離推定装置３１に、ジャイロセンサ４１、およびカメラ運動パラメータ補正部４３とを加えた構成である。
　ジャイロセンサ４１は車両１に備えられており（図６参照）、車両１のＸ軸方向およびＹ軸方向の回転移動量ωｘ２およびωｙ２を検出する。ここで、車両１の回転移動量とカメラ３の回転移動量とは等しいものとする。車両１の回転移動量とカメラ３の回転移動量とが異なる場合には、ジャイロセンサ４１の検出値に補正をすることで、カメラ３の回転移動量を検出する。また、ジャイロセンサ４１を直接カメラ３に取り付けてもよいし、ジャイロセンサ４１に替えて加速度センサを取り付けてもよい。
　カメラ運動パラメータ補正部４３は、実施例２の方法により特定領域オプティカルフローから推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出されたカメラ運動パラメータωｘ２およびωｙ２とを統合することで補正したカメラ運動パラメータを得ることができる。これにより、精度の高いカメラ運動パラメータを推定することができる。
　ここでの統合とは、単に特定領域オプティカルフローから推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出されたカメラ運動パラメータωｘ２およびωｙ２との平均値を算出することでもよい。また、この他にも、カルマンフィルターを用いることで、複数のカメラ運動推定値の時系列データを用いることでもよい。補正されたカメラ運動パラメータは画像補正部３７に送られ、実施例２と同様の処理が実施される。
　次に、実施例４における距離推定の動作を図１４を用いて説明する。図１４は実施例４に係る距離推定の処理手順を示すフローチャートである。
　実施例４における距離推定方法は、実施例２の距離推定方法に、ジャイロセンサ４１により車両１またはカメラ３の回転運動を検出し、この検出値と撮影画像を基に推定されたカメラ運動パラメータとを統合することでカメラ運動パラメータを補正することが追加されている。
　ステップＳ０１における現フレームの画像Ａの撮影のタイミングで、ジャイロセンサ４１により回転移動量ωｘ２およびωｙ２が検出される。検出された回転移動量ωｘ２およびωｙ２は、カメラ運動パラメータ補正部４３へ出力される。また、ステップＳ０１～ステップ２２までは実施例２と同様である。
　カメラ運動パラメータ補正部４３は、推定されたカメラ運動パラメータωｘおよびωｙと、ジャイロセンサ４１により検出された回転移動量ωｘ２およびωｙ２とを統合して、カメラ運動パラメータを補正する（ステップＳ３２）。次に、実施例２におけるステップＳ２３と同様に、補正されたカメラ運動パラメータωｘ’およびωｙ’を用いて、画像補正する。これ以降の、ステップＳ０２’～ステップＳ０４も実施例２と同様に実施する。
　実施例４によれば、カメラ運動パラメータを検出するセンサを用いて検出したカメラ運動パラメータと、特定領域のオプティカルフローから推定して得られたカメラ運動パラメータとの両方を用いるので、カメラ運動パラメータの精度を向上することができる。この結果、距離推定の精度を向上させることができる。
　本発明は、上記実施例のものに限らず、次のように変形実施することができる。
　（１）上記実施例２において、撮影画像を基にカメラ運動パラメータを推定していたが、これに限られない。すなわち、実施例４のように、ジャイロセンサ、または、加速度センサ等のセンサを用いて直接カメラ運動パラメータを検出してもよい。センサにより、カメラ運動パラメータωｘ、ωｙを直接検出することで、画像処理の演算負荷を軽減することができる。
　（２）カメラ運動パラメータの検出方法として、変形例（１）のようにジャイロセンサ、または、加速度センサを用いて直接検出する替わりに、車両１の操舵角センサ４５（図６参照）によって得られた操舵角と、車両１の車速センサ９から得られた車速とを用いて検出してもよい。この方法によっても、カメラ運動パラメータωｘ、ωｙを検出することができ、画像処理の負担を軽減することができる。また、操舵角および車速に加えて、実施例４に記載されているように、特定領域のオプティカルフローから推定して得られたカメラ運動パラメータも用いて、カメラ運動パラメータを統合することで推定してもよい。
　（３）上記実施例において、過去フレームの画像として１フレーム前の画像Ｂを用いて距離推定を実施していたが、１フレーム前の画像Ｂが撮影エラーにより保存されていない場合には、２フレーム前の画像を用いてもよいし、それより前のフレームの画像を用いてもよい。
　（４）上記実施例において、実施例２における特定領域オプティカルフロー算出方法と実施例３における特定領域オプティカルフロー算出方法とを併用してもよい。図１５を参照する。図１５は実施例２の変形例における距離推定装置５１の構成を示すブロック図である。距離推定装置５１は、実施例２における距離推定装置３１に、第２特定領域オプティカルフロー算出部５３と、第２カメラ運動パラメータ推定部５５と、カメラ運動パラメータ選択部５７とを追加した構成である。
　特定領域オプティカルフロー算出部３３は、実施例２で説明したように、特定領域を画像中心点としてオプティカルフローを算出する。これに対して、第２特定領域オプティカルフロー算出部は、実施例３で説明したように、特定領域を画像下端中心点としてオプティカルフローを算出する。第２カメラ運動パラメータ推定部５５は、画像下端中心点を特定領域として算出されたオプティカルフローを基に、カメラ運動パラメータを推定する。
　このように、特定領域を画像中心点としたカメラ運動パラメータ推定と、特定領域を画像下端中心点としたカメラ運動パラメータ推定とを、独立して動作させておくことで、どちらかの領域に移動物体が入ったとしても、カメラ運動パラメータ選択部５７が最適なカメラ運動パラメータを選択することができる。また、カメラ運動パラメータの選択にはジャイロセンサ４１や加速度センサを用いて判別してもよい。
　ここでの最適なカメラ運動パラメータの選択とは、独立した２つのカメラ運動パラメータ推定部から得られたカメラ運動パラメータが大きく乖離した場合に、１フレーム前のタイミングで算出された値に近い方を選択することでもよい。また、この他にも、ジャイロセンサ４１により検出されたカメラ運動パラメータを用いて、より値が近い方を最適なカメラ運動パラメータとして選択してもよい。
　（５）上記実施例において、距離推定装置は車両１に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。
　１　…　車両
　３　…　カメラ
　５、３１、３９，５１　…　距離推定装置
　９　…　車速センサ
　１１　…　画像保存部
　１３、１３’　…　オプティカルフロー算出部
　１５　…　距離推定部
　２１、２１’　…　画像拡大部
　２３、２３’　…　マッチング部
　３３　…　特定領域オプティカルフロー算出部
　５３　…　第２特定領域オプティカルフロー算出部
　３５　…　カメラ運動パラメータ推定部
　５５　…第２カメラ運動パラメータ推定部
　３７…　画像補正部
　４１…　ジャイロセンサ
　４３…　カメラ運動パラメータ補正部
　４５…　舵角センサ
 

Claims (14)

  1. 　移動体からの単眼モーションステレオ距離推定方法において、
    　画像を撮影する撮影ステップと、
    　時系列に撮影された複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出ステップと、
    　前記移動体の速度を計測する速度計測ステップと、
    　画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定ステップと
    　を備えた単眼モーションステレオ距離推定方法。
  2. 　請求項１に記載の単眼モーションステレオ距離推定方法において、
    　前記オプティカルフロー算出ステップは、
    　前フレームで撮影された画像を拡大する画像拡大ステップと、
    　拡大画像と現フレームの画像とをマッチングするマッチングステップと
    　を備え、
    　マッチングされた拡大画像の画像拡大率を基にオプティカルフローを算出する
    　単眼モーションステレオ距離推定方法。
  3. 　請求項１に記載の単眼モーションステレオ距離推定方法において、
    　画像を撮影する撮影部の移動量を推定する撮影部移動量推定ステップと、
    　前記撮影部の前記移動量を基に、消失点が画像中心に位置するように前記画像を補正する画像補正ステップと
    　を備え、
    　前記オプティカルフロー算出ステップは、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出する
    　単眼モーションステレオ距離推定方法。
  4. 　請求項３に記載の単眼モーションステレオ距離推定方法において、
    　撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出ステップを備え、
    　前記撮影部移動量推定ステップは、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定する
    単眼モーションステレオ距離推定方法。
  5. 　移動体に搭載される単眼モーションステレオ距離推定装置において、
    　画像を撮影する撮影部と、
    　撮影された画像を保存する画像保存部と、
    　複数の前記画像を基に画像中心からのオプティカルフローを算出するオプティカルフロー算出部と、
    　前記移動体の速度を計測する速度センサと、
    　画像中心からの前記オプティカルフローと前記速度とから前記画像中の物体までの距離を推定する距離推定部と
    　を備えた単眼モーションステレオ距離推定装置。
  6. 　請求項５に記載の単眼モーションステレオ距離推定装置において、
    　前記オプティカルフロー算出部は、
    　前フレームで撮影された画像を拡大する画像拡大部と、
    　拡大された画像と現フレームの画像とをマッチングするマッチング部と
    　を備え、
    　マッチングされた拡大画像の画像拡大率を基にオプティカルフローを算出する
    　単眼モーションステレオ距離推定装置。
  7. 　請求項５に記載の単眼モーションステレオ距離推定装置において、
    　前記撮影部の移動量を推定する撮影部移動量推定部と、
    　前記撮影部の前記移動量を基に画像中心に消失点が位置するように前記画像を補正する画像補正部と
    　を備え、
    　前記オプティカルフロー算出部は、撮影された前記画像と補正された画像とから画像中心からの前記オプティカルフローを算出する
    　単眼モーションステレオ距離推定装置。
  8. 　請求項７に記載の単眼モーションステレオ距離推定装置において、
    　撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部を備え、
    　前記撮影部移動量推定部は、特定領域の前記オプティカルフローから前記撮影部の前記移動量を推定する
    　単眼モーションステレオ距離推定装置。
  9. 　請求項７に記載の単眼モーションステレオ距離推定装置において、
    　撮影された複数の前記画像における特定領域のオプティカルフローを算出する特定領域オプティカルフロー算出部と、
    　前記移動体または前記撮影部の動きを検出するセンサを備え、
    　前記撮影部移動量推定部は、
    　前記センサの検出値と、特定領域の前記オプティカルフローとから前記移動量を推定する
    　単眼モーションステレオ距離推定装置。
  10. 　請求項７に記載の単眼モーションステレオ距離推定装置において、
    　前記移動体または前記撮影部の動きを検出するセンサを備え、
    　前記撮影部移動量推定部は、前記センサの検出値より前記撮影部の前記移動量を推定する
    　単眼モーションステレオ距離推定装置。
  11. 　請求項８または９に記載の単眼モーションステレオ距離推定装置において、
    　前記特定領域は、画像中心点である
    　単眼モーションステレオ距離推定装置。
  12. 　請求項８または９に記載の単眼モーションステレオ距離推定装置において、
    　前記特定領域は、画像下端中心点である
    　単眼モーションステレオ距離推定装置。
  13. 　請求項９または１０に記載の単眼モーションステレオ距離推定装置において、
    　前記センサは、ジャイロセンサまたは加速度センサである
    　単眼モーションステレオ距離推定装置。
  14. 　請求項９または１０に記載の単眼モーションステレオ距離推定装置において、
    　前記センサは前記移動体の操舵角を検出する操舵角センサであり、
    　前記撮影部移動量推定部は、前記操舵角センサにより検出された前記操作舵角と、前記速度センサにより検出された前記速度と、特定領域の前記オプティカルフローとを基に前記撮影部移動量を推定する
    　単眼モーションステレオ距離推定装置。
     
PCT/JP2014/065152 2013-06-11 2014-06-06 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 WO2014199929A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP14810726.1A EP3009789A4 (en) 2013-06-11 2014-06-06 METHOD AND APPARATUS FOR MONOCULAR-MOTION-STEREO DISTANCE ESTIMATING

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-122896 2013-06-11
JP2013122896A JP2016148512A (ja) 2013-06-11 2013-06-11 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置

Publications (1)

Publication Number Publication Date
WO2014199929A1 true WO2014199929A1 (ja) 2014-12-18

Family

ID=52022225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/065152 WO2014199929A1 (ja) 2013-06-11 2014-06-06 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置

Country Status (3)

Country Link
EP (1) EP3009789A4 (ja)
JP (1) JP2016148512A (ja)
WO (1) WO2014199929A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
JP2017215525A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN112902911A (zh) * 2019-12-03 2021-06-04 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质
CN113124764A (zh) * 2019-12-30 2021-07-16 南京智能情资创新科技研究院有限公司 一种基于光流法的无人机树径测量方法
WO2022142782A1 (zh) * 2020-12-30 2022-07-07 速感科技（北京）有限公司 自主移动设备的运动参数确定方法和装置
US20220270354A1 (en) * 2019-08-15 2022-08-25 Guangzhou Huya Technology Co., Ltd. Monocular image-based model training method and apparatus, and data processing device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6905173B2 (ja) * 2016-10-31 2021-07-21 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法
CN106845446A (zh) * 2017-02-17 2017-06-13 广州因赛电子科技有限公司 一种图像报警的方法和系统
JP6782895B2 (ja) * 2017-03-09 2020-11-11 国立研究開発法人農業・食品産業技術総合研究機構 車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法
JP6782192B2 (ja) 2017-05-17 2020-11-11 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
JP6858681B2 (ja) 2017-09-21 2021-04-14 株式会社日立製作所 距離推定装置及び方法
US10545506B2 (en) 2018-02-14 2020-01-28 Ford Global Technologies, Llc Methods and apparatus to perform visual odometry using a vehicle camera system
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
CN109300143B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 运动向量场的确定方法、装置、设备、存储介质和车辆
DE102020126401A1 (de) 2020-10-08 2022-04-14 Jungheinrich Aktiengesellschaft Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches
JP7236487B2 (ja) * 2021-03-30 2023-03-09 本田技研工業株式会社 測距装置及び測距方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP2003329411A (ja) * 2002-05-14 2003-11-19 Matsushita Electric Ind Co Ltd カメラ校正装置
US20070154068A1 (en) * 2006-01-04 2007-07-05 Mobileye Technologies, Ltd. Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
JP2011209070A (ja) * 2010-03-29 2011-10-20 Daihatsu Motor Co Ltd 画像処理装置
JP2012010145A (ja) * 2010-06-25 2012-01-12 Jvc Kenwood Corp 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム
JP4943034B2 (ja) 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ ステレオ画像処理装置
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US9251708B2 (en) * 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP2003329411A (ja) * 2002-05-14 2003-11-19 Matsushita Electric Ind Co Ltd カメラ校正装置
US20070154068A1 (en) * 2006-01-04 2007-07-05 Mobileye Technologies, Ltd. Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
JP4943034B2 (ja) 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ ステレオ画像処理装置
JP2011209070A (ja) * 2010-03-29 2011-10-20 Daihatsu Motor Co Ltd 画像処理装置
JP2012010145A (ja) * 2010-06-25 2012-01-12 Jvc Kenwood Corp 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3009789A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017038395A1 (ja) * 2015-08-31 2018-02-22 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
JP2017215525A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
US20220270354A1 (en) * 2019-08-15 2022-08-25 Guangzhou Huya Technology Co., Ltd. Monocular image-based model training method and apparatus, and data processing device
CN112902911A (zh) * 2019-12-03 2021-06-04 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质
CN112902911B (zh) * 2019-12-03 2023-06-20 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质
CN113124764A (zh) * 2019-12-30 2021-07-16 南京智能情资创新科技研究院有限公司 一种基于光流法的无人机树径测量方法
WO2022142782A1 (zh) * 2020-12-30 2022-07-07 速感科技（北京）有限公司 自主移动设备的运动参数确定方法和装置

Also Published As

Publication number Publication date
EP3009789A4 (en) 2016-06-29
JP2016148512A (ja) 2016-08-18
EP3009789A1 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
WO2014199929A1 (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
US20210124029A1 (en) Calibration of laser and vision sensors
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
KR102508843B1 (ko) 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치
JP6623044B2 (ja) ステレオカメラ装置
KR101532320B1 (ko) 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법
JP4958279B2 (ja) 物体検出装置
JP6110256B2 (ja) 対象物推定装置および対象物推定方法
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
JP2007263669A (ja) ３次元座標取得装置
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP3765862B2 (ja) 車両用環境認識装置
WO2020137110A1 (ja) 移動量推定装置
JP7256734B2 (ja) 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
JP2009139324A (ja) 車両用走行路面検出装置
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6161704B2 (ja) 撮影装置、車両および画像補正方法
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
JP5062626B2 (ja) 物体識別装置
JP6740116B2 (ja) 移動車両
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP2019212203A (ja) ３ｄモデル作成システム
JP5455037B2 (ja) 画像から平面を検出する平面検出装置及び検出方法
JP7311406B2 (ja) 画像処理装置、および、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14810726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014810726

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP