WO2017145541A1 - 移動体 - Google Patents

移動体 Download PDF

Info

Publication number
WO2017145541A1
WO2017145541A1 PCT/JP2017/000694 JP2017000694W WO2017145541A1 WO 2017145541 A1 WO2017145541 A1 WO 2017145541A1 JP 2017000694 W JP2017000694 W JP 2017000694W WO 2017145541 A1 WO2017145541 A1 WO 2017145541A1
Authority
WO
WIPO (PCT)
Prior art keywords
calculated
image
moving body
feature points
speed
Prior art date
Application number
PCT/JP2017/000694
Other languages
English (en)
French (fr)
Inventor
アレックス益男 金子
山本　健次郎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2018501027A priority Critical patent/JP6708730B2/ja
Priority to EP17755983.8A priority patent/EP3422293B1/en
Priority to US16/079,372 priority patent/US10740908B2/en
Publication of WO2017145541A1 publication Critical patent/WO2017145541A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a moving body such as a robot or an automobile.
  • autonomous driving technology and driving support technology have been developed to detect information on the surrounding environment and control driving according to the situation in order to improve safety and convenience.
  • an object of the present invention is to provide a moving body capable of calculating a moving amount with low processing load and high accuracy even when a three-dimensional object that is stationary or moving is reflected in a camera image.
  • a representative mobile body of the present invention includes an imaging device that captures an image of a road surface, and an image processing unit that calculates the amount of movement of the mobile body based on an image captured by the imaging device.
  • the image processing unit extracts a plurality of first feature points from the first image captured at the first timing, and the second image captured at the second timing after the first timing.
  • a plurality of second feature points are extracted from the image, each of the plurality of first feature points is tracked to each of the plurality of second feature points, and the amount of movement and the speed of each of the plurality of second feature points And the amount of movement of the moving body is calculated based on the feature points whose speed is within a predetermined range among the plurality of second feature points.
  • the present invention it is possible to provide a moving object capable of calculating a moving amount with a low processing load and high accuracy even when a three-dimensional object that is stationary or moving is reflected in a camera image.
  • the block diagram of a moving body The flowchart of an image process part. Detailed view of velocity filtering. Explanatory drawing of the movement amount calculation on a road. Explanatory drawing of the height and distance calculation of a solid object.
  • FIG. 1 is a configuration diagram of a moving body.
  • the moving body 1 captures an image of the surrounding environment, processes the image captured by the imaging apparatus 2, calculates the amount of movement of the moving body 1, and outputs a display or control signal according to the calculation result. It is comprised by the processing apparatus 3 to perform.
  • the processing device 3 is configured by a computer system or the like, and includes an image processing unit 4 that processes an image captured by the imaging device 2, a control unit (CPU) 5 that performs various controls based on the processed image, movement amount calculation, and the like.
  • a memory 6 for storing various data used in the control unit, a display unit 7 for outputting calculation results of the control unit 5 and a bus 8 for connecting these components to each other are provided.
  • the imaging device 2 is, for example, a monocular camera or a stereo camera installed facing the front of the moving body 1.
  • the imaging device 2 is a monocular camera
  • the pixel position on the image and the actual positional relationship (x, y) are constant, so that the feature points can be calculated geometrically.
  • the imaging device 2 is a stereo camera
  • the distance to the feature point can be measured more accurately.
  • any standard camera, wide-angle camera, or stereo camera can be used as long as it has a viewing angle from which feature points can be extracted during driving. Good.
  • Each camera finally generates one image, and the imaging apparatus 2 may be configured by combining a plurality of cameras.
  • the imaging device 2 acquires an image when a command is input from the control unit 5 or at regular time intervals, and outputs the acquired image and the acquisition time to the image processing unit 4 via the memory 6.
  • the original image and the acquisition time of the acquired image are stored in the memory 6, and an intermediate processed image is created in the image processing unit 4.
  • These intermediate images are also stored in the memory 6 as necessary, and are used for determination and processing by the control unit 5 and the like. Note that the result data used for processing in the control unit 5 is also stored in the memory 6 as appropriate.
  • the bus 8 for transmitting data between the blocks can be composed of an IEBUS (Inter Equipment Bus), a LIN (Local Interconnect Network), a CAN (Controller Area Network), or the like.
  • the image processing unit 4 calculates the amount of movement by the imaging device 2 based on the captured image while the moving body 1 is traveling. First, feature points on the image transmitted from the imaging device 2 are extracted. Further, feature points on the next transmitted image are also extracted. Then, the feature point extracted first (previous) and the next (current) feature point are tracked (processing for associating feature points with each other: see FIG. 4), and the moving amount of the moving object is calculated. Is output to the control unit 5.
  • IEBUS Inter Equipment Bus
  • LIN Local Interconnect Network
  • CAN Controller Area Network
  • the control unit 5 calculates the position of the moving body 1 based on the movement amount calculated by the image processing unit 4, determines the future moving direction and speed, and controls the moving body 1. Then, by displaying a necessary detection result on the display unit 7, information is provided to the operator of the moving body 1.
  • FIG. 2 is a diagram showing a flowchart of the image processing unit 4.
  • the image processing unit 4 acquires an image captured by the imaging device 2 from the memory 6 (step 20).
  • a region of interest for extracting feature points is set on the image acquired in step 20 (step 21).
  • a traveling road surface that can be accurately converted from a pixel position of an image to a meter position on a road surface is set as a region of interest.
  • feature points are extracted from the region of interest set in step 21 (step 22).
  • the feature points are edges, corners, and the like on the image, and techniques such as Canny, Sobel, FAST, Hessian, and Gaussian are used.
  • the feature points extracted from the image captured at the first timing (previous frame), that is, the image captured before the image captured at the second timing (current frame) are captured this time. Tracking is performed on the recorded image (step 23). For tracking, techniques such as the Lucas-Kanade method and the Shi-Tomasi method are used.
  • step 24 it is checked whether or not the tracking in step 23 is successful (step 24). If the tracking is successful, the process proceeds to step 25, and if unsuccessful, the process is terminated. Since tracking requires two images captured in different frames, the first image captured first after the moving body 1 is activated cannot be tracked in step 23. After step 24, the processing is performed. finish.
  • n is the number of feature points that can be tracked
  • m is the number of times the moving object 1 is calculated.
  • a relative speed v mn ⁇ d mn / ⁇ t m of each feature point is calculated using the difference ⁇ t m between the acquisition time of the previous frame and the current imaging time.
  • the movement amount ⁇ D m of the moving body 1 is calculated using the feature points not filtered in step 26 (step 27).
  • o the number of feature points not filtered
  • a calculation method for example, Rigid Body Transformation, Sliding Window, least square method, median filter, or the like can be used.
  • step 28 it is checked whether or not there is a feature point filtered in step 26 (step 28). If there is a filtered feature point, the process proceeds to step 29. If there is no filtered feature point, the process ends.
  • step 29 When there is a filtered feature point, the height of the three-dimensional object, the speed to the three-dimensional object, the speed of the three-dimensional object, using each feature point filtered in step 26 and the movement amount ⁇ D m of the moving object 1 calculated in step 27. Is calculated (step 29).
  • FIG. 3 is a diagram showing details of the speed filtering in step 26.
  • Figure 3 (A) shows a time transition of the movement amount [Delta] D m of the moving body 1 calculated in step 27. Since the processing time for moving amount calculation varies depending on the number of feature points extracted in each frame, the difference ⁇ t m in imaging time between frames fluctuates irregularly, and the moving amount ⁇ D m calculated during the difference ⁇ t m is also Change irregularly. For this reason, there is no correlation between the movement amount calculated this time and the movement amount calculated in the previous frame.
  • FIG. 3B shows the velocity V m of the moving body 1 calculated in step 25.
  • the number of data described in FIG. 3B and the difference ⁇ t m are the same as in FIG. 3A, but change regularly by dividing the irregularly moving amount ⁇ D m by ⁇ t m. It can be converted to velocity V m. Physically, the speed does not change significantly in a short time (millisecond unit), so if V m ⁇ 1 is known, V m is within a threshold V threshold around V m ⁇ 1 . Therefore, in step 26, the relative speed v mn of each feature point calculated in step 25 is compared with the speeds V m ⁇ 1 , V m ⁇ 2 ... Of past moving objects stored in time series. Can be filtered.
  • the function f for calculating the current speed of the moving body 1 is the average of the time series information (V m ⁇ 1 , V m ⁇ 2 , V m ⁇ 3... ) Of the speed of the moving body calculated in the past and the current speed. It can be composed of polynomials for interpolation.
  • V e f (Sensor_V m ⁇ 1 , Sensor_V m ⁇ 2 , Sensor_V m ⁇ 3 ). Is calculated based on the speed Sensor_V m of the moving body 1 calculated by a speed sensor such as a wheel encoder, radar, or laser. Good.
  • FIG. 4 is a diagram showing calculation of the amount of movement on the road.
  • the frame 41 is an image captured by the imaging device 2.
  • (U, v) is the coordinates in pixel units on the image, and (x, y) is the coordinates in meters of the road of the imaging apparatus 2.
  • the road 42 is a road surface on which the moving body 1 travels.
  • Feature point 43a is the feature point extracted in steps 20 to 22 in frame A. After tracking the feature point 43a in the frame B (step 23), the feature point 43a in the frame A (white circle in the frame B) moves to the feature point 43b in the frame B. After the feature point 43b is tracked in the frame C (step 23), the feature point 43b (the white circle in the frame C) moves to the feature point 43c in the frame C.
  • the movement amount 44b is the relative movement amount ⁇ d Bn (where n is the feature point number) calculated in step 25 based on the positions of the feature points 43a and 43b, and the movement amount 44c is the feature point 43b.
  • the movement amount ⁇ d Cn calculated in step 25 based on the position of the feature point 43c.
  • the relative velocity v Bn ⁇ d Bn / ⁇ t B of each feature point 43b is calculated. Since the relative movement amounts ⁇ d Bn of the feature points are all calculated as the relative movement amounts of the feature points 43a on the same road surface, there is no significant difference between the plurality of feature points 43a (there is a slight difference because there is a turning component). Different).
  • the feature point 43b is filtered by the speed filtering condition
  • > V threshold in step 26, and the movement amount ⁇ D m ⁇ D B and the speed V are used in step 27 by using the unfiltered v Bn.
  • B calculates the ⁇ D B / t B. It is also possible to calculate the direction change ⁇ B from the distribution of the movement amount ⁇ d Cn on the road coordinates.
  • the three-dimensional object 45 is a dynamic three-dimensional object shown in the frame B image.
  • the feature point 46b is a feature point of the three-dimensional object 45 in the frame B extracted in steps 20-22.
  • the feature point 46c is a point obtained by tracking the feature point 46b in step 23 in the frame C.
  • the movement amount 47 is the movement amount from the feature point 46 b to 46 c calculated in step 25.
  • the frame C includes a movement amount 44c from the feature points 43b to 43c calculated in steps 20 to 24 and a movement amount 47 of the three-dimensional object 45 from the feature points 46b to 46c.
  • the relative speed v Cn of each feature point is calculated using the time ⁇ t C between frames.
  • > When the speed V B of the moving body 1 calculated in the frame B is used as the speed V e of V threshold , V B is substituted for V e and Step 26 is executed. To do.
  • the feature point 46c Since the amount of movement 47 of the three-dimensional object 45 from the feature point 46b to 46c is different from the amount of movement 44c from the feature point 43b to 43c of the road surface, the feature point 46c satisfies the condition
  • FIG. 5 is a diagram showing details of step 29.
  • Steps 20 to 22 are executed at the position P1, and feature points 53a on the road surface 51 are extracted. If the road surface 51 is flat, the pixel position (u, v) on the image and the actual positional relationship (x, y) are constant, and therefore, from the pixel position (U, V) feature of the feature point 53a on the image. The actual position (X, Y) feature of the feature point 53a can be converted, and the distance d1 from the position P1 to the feature point 53a can be calculated.
  • the three-dimensional object 55 is located at a height h from the road surface 51 in FIG. 5B.
  • the feature point 53b of the three-dimensional object 55 is reflected in the pixel position (U, V) feature on the image at the position P1
  • the erroneous coordinate 53a ′ (X, X) is detected from the pixel (U, V) feature .
  • Y) Since it is converted to feature , the distance d3 from the position P1 to the feature point 53b is also calculated with an incorrect value d1.
  • the imaging device 2 moves to the position P2
  • the distance from the position P2 to the feature point 53b is calculated as an incorrect value d2 ′.
  • ⁇ db is an error of the movement amount ⁇ d caused by tracking the feature point 53b of the three-dimensional object 55.
  • the distance dist is the distance from the position P2 to the three-dimensional object 55
  • the distance l1 is the distance from the three-dimensional object 55 to the point 53a ′
  • the distance l2 is the difference between the distance d2 ′ and the distance dist.
  • Formula (3) and Formula (4) are obtained from Formula (1) and Formula (2).
  • the movement amount ⁇ d” calculated erroneously when the three-dimensional object 55 is present can be expressed by the installation height H of the camera and the height h of the three-dimensional object 55.
  • h H * ( ⁇ d′ ⁇ d) / ⁇ d ′ (4)
  • the height h of the three-dimensional object can be calculated.
  • the installation height H of the camera is fixed and known.
  • the distance from the position P2 to the three-dimensional object 55 is calculated geometrically by the equation (5).
  • the distance dist to each feature point can be calculated.
  • the height h and the distance dist of the three-dimensional object 55 can be calculated by combining the information acquired by the GPS or speed sensor and the information acquired by the imaging device 2.
  • the more accurate movement amount ⁇ d is calculated from the GPS
  • the more accurate height h can be calculated by substituting the movement amount ⁇ d into Equation (3).
  • the distance dist to the three-dimensional object 55 can be calculated more accurately by substituting the height h into the equation (5).
  • the speed sensor is mounted
  • the height h is calculated from the equation (4)
  • the equation (5) is used. The distance dist is calculated.
  • FIG. 5C shows a case where the three-dimensional object 55 is a dynamic three-dimensional object with a movement amount ⁇ d object between frames.
  • ⁇ d is the amount of movement of the moving object
  • d1 is a converted value of the distance to the three-dimensional object when the moving object is at the point P1
  • d5 is a converted value of the distance to the three-dimensional object when the moving object is at the point P2
  • H is the installation height of the camera
  • h is the height of the three-dimensional object. Equation (6) is obtained from the relationship shown in the figure.
  • ⁇ d, d1, and d5 are known, and when two or more feature points of a three-dimensional object can be acquired and acquired from Equation (6), the movement amount and height of the three-dimensional object can be calculated simultaneously.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

カメラ画像に静止もしくは移動する立体物が映っている場合でも、低処理負荷、かつ高精度な移動量算出が可能な移動体を提供することを目的とする。　移動体は、路面の画像を撮像する撮像装置と、撮像装置が撮像した画像に基づいて、移動体の移動量を算出する画像処理部と、を備え、該画像処理部は、第１のタイミングで撮像された第１の画像から第１の特徴点を複数抽出し、第１のタイミングより後の第２のタイミングで撮像された第２の画像から第２の特徴点を複数抽出し、複数の第１の特徴点の各々を複数の第２の特徴点の各々にトラッキングし、複数の第２の特徴点の各々の移動量と速度を算出し、複数の第２の特徴点のうち、その速度が所定範囲内の特徴点に基づいて、移動体の移動量を算出する。

Description

移動体
　本発明は、ロボットや自動車などの移動体に関する。
　ロボットや自動車などの移動体において、安全性や利便性向上のため、周囲環境の情報を検出し、状況に応じた走行制御を行う自律走行技術及び運転支援技術が開発されている。
　移動体の移動量を算出する例として、移動体のカメラで撮影したカメラ画像に基づいて所定の微小時間間隔Δｔにおける移動量を表す変位ベクトルΔＳを算出する技術がある（特許文献１参照）。該文献では、ベクトルΔＳを算出するために、車道にある特徴点をなるべく多く抽出し、各特徴点の移動量の平均値を移動体の移動量としている。
特開２００３－１７８３０９号公報
　しかし、特許文献１のように、多数の特徴点の移動量の平均値をとっても、精度を高められるとは限らない。例えば、カメラ画像の半分以上に立体物が映っていれば、立体物の高さや移動量の影響で、特徴点のトラッキングの失敗もしくは、移動体の移動量を誤る場合がある。
　そこで、本発明の目的は、カメラ画像に静止もしくは移動する立体物が映っている場合でも、低処理負荷、かつ高精度な移動量算出が可能な移動体を提供することにある。
　上記課題を解決するために、代表的な本発明の移動体は、路面の画像を撮像する撮像装置と、撮像装置が撮像した画像に基づいて、移動体の移動量を算出する画像処理部と、を備え、該画像処理部は、第１のタイミングで撮像された第１の画像から第１の特徴点を複数抽出し、第１のタイミングより後の第２のタイミングで撮像された第２の画像から第２の特徴点を複数抽出し、複数の第１の特徴点の各々を複数の第２の特徴点の各々にトラッキングし、複数の第２の特徴点の各々の移動量と速度を算出し、複数の第２の特徴点のうち、その速度が所定範囲内の特徴点に基づいて、移動体の移動量を算出する。
　本発明によれば、カメラ画像に静止もしくは移動する立体物が映っている場合でも、低処理負荷、かつ高精度な移動量算出が可能な移動体を提供することができる。
移動体の構成図。 画像処理部のフローチャート。 速度フィルタリングの詳細図。 道路での移動量算出の説明図。 立体物の高さ及び距離算出の説明図。
　以下、図面を用いて実施例を説明する。図１は、移動体の構成図である。
　移動体１は、周囲環境の画像を撮像する撮像装置２、撮像装置２が撮像した画像を処理して移動体１の移動量を算出し、算出結果に応じた表示あるいは制御用の信号を出力する処理装置３により構成されている。
　処理装置３は、計算機システム等により構成され、撮像装置２が撮像した画像を処理する画像処理部４、該処理された画像に基づき種々の制御を行う制御部（ＣＰＵ）５、移動量算出等のために制御部で使用する各種データを格納するメモリ６、制御部５の演算結果等を出力する表示部７、及び、これら構成要素を相互に接続するバス８を備えている。
　撮像装置２は、例えば、移動体１の前方に向けられて設置された単眼カメラやステレオカメラである。撮像装置２が単眼カメラの場合、路面が平らであれば、画像上のピクセル位置と実際の位置関係（ｘ,ｙ）が一定になるため、特徴点を幾何学的に計算できる。撮像装置２がステレオカメラの場合、特徴点までの距離をより正確に計測できる。以下では説明を簡単にするため、１台の標準カメラを採用した事例について説明するが、走行中に特徴点が抽出可能な視野角を有するものであれば、標準カメラでも広角カメラでもステレオカメラでもよい。どのカメラも最終的に１枚の画像を生成するものであり、複数台のカメラを組み合わせて撮像装置２を構成してもよい。
　撮像装置２は、制御部５から指令が入力された時、もしくは一定の時間間隔で画像を取得し、取得した画像と取得時間を、メモリ６を介して画像処理部４に出力する。取得した画像の原画と取得時間はメモリ６に格納された上で、画像処理部４において中間的な加工画像が作成される。これらの中間画像も適宜必要に応じてメモリ６に格納され、制御部５などの判断や処理に利用される。尚、制御部５での処理に用いられた結果データなども適宜メモリ６に格納される。
　各ブロック間のデータの伝送を行うバス８は、ＩＥＢＵＳ（Ｉｎｔｅｒ　Ｅｑｕｉｐｍｅｎｔ　Ｂｕｓ）やＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）やＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などで構成できる。　
　画像処理部４は、移動体１の走行中に撮像装置２が撮像画像に基づいて、移動量を算出する。まず、撮像装置２から伝送された画像上の特徴点を抽出する。更に、次に伝送された画像上の特徴点も抽出する。そして、先に（前回）抽出された特徴点と次に（今回）抽出された特徴点をトラッキング（特徴点同士を対応付ける処理：図４参照）し、移動体の移動量を算出し、その結果を制御部５に出力する。
　制御部５は、画像処理部４で算出した移動量に基づいて、移動体１の位置を算出し、将来の移動方向や速度を決定し、移動体１を制御する。そして、必要な検知結果を表示部７に表示することで、移動体１の運転員に情報提供を行う。
　図２は、画像処理部４のフローチャートを示す図である。
　画像処理部４は、撮像装置２が撮像した画像をメモリ６から取得する（ステップ２０）。
　次に、ステップ２０で取得した画像上に、特徴点を抽出するための関心領域を設定する（ステップ２１）。例えば単眼カメラの場合、幾何学的に画像のピクセル位置から道路路面のメートル位置に精度良く変換可能な走行路面を関心領域に設定する。
　次に、ステップ２１で設定した関心領域の中から特徴点を抽出する（ステップ２２）。特徴点は、画像上のエッジやコーナーなどであり、Ｃａｎｎｙ、Ｓｏｂｅｌ、ＦＡＳＴ、Ｈｅｓｓｉａｎ、Ｇａｕｓｓｉａｎなどの技術を用いる。
　次に、第1のタイミングで撮像された画像（前フレーム）、即ち、第2のタイミングで撮像された画像（現フレーム）よりも前に撮像された画像から抽出した特徴点を、今回撮像された画像上でトラッキングする（ステップ２３）。トラッキングにはＬｕｃａｓ－Ｋａｎａｄｅ法やＳｈｉ－Ｔｏｍａｓｉ法などの技術を用いる。
　次に、ステップ２３のトラッキングが成功したか否かをチェックする（ステップ２４）。該トラッキングに成功すればステップ２５に進み、失敗すれば処理を終了する。尚、トラッキングには異なるフレームで撮像した２枚の画像が必要であるため、移動体１を起動して最初に撮像した一枚目についてはステップ２３でトラッキングできず、ステップ２４の後、処理を終了する。
　トラッキングに成功した場合、トラッキングできた各特徴点の移動量と速度を算出する（ステップ２５）。例えば、トラッキングできた特徴点の点数をｎとし、移動体１の移動量算出回数をｍとする。各特徴点１、…、ｎの移動量は、前フレームで抽出した特徴点の相対位置ｄ（m-1)nと今回抽出した特徴点の相対位置ｄｍｎの差分（Δｄｍｎ＝ｄｍｎ－ｄ（ｍ－１)ｎ)で算出する。前フレームと今回の撮像時刻の取得時間の差分Δｔｍを用いて、各特徴点の相対速度ｖｍｎ＝Δｄｍｎ /Δｔｍを算出する。
　次に、ステップ２５で算出した各特徴点の相対速度ｖｍｎと時系列に保存した移動体１の速度Ｖｍと比較し、時系列に保存した移動体１の速度と前記相対速度ｖｍｎの差分が定められた値より大きい特徴点をフィルタリング（除去）する（ステップ２６）。
　次に、ステップ２６でフィルタリングされなかった特徴点を用い、移動体１の移動量ΔＤｍを算出する（ステップ２７）。フィルタリングされなかった特徴点の点数をｏとし、前フレームで抽出した特徴点の相対位置ｄ（m-1)ｏと今回抽出した特徴点の相対位置ｄｍｏの差分（Δｄｍｏ=ｄｍｏ-ｄ（ｍ－１)ｏ)を算出し、複数のΔｄｍｏを用いて移動体１の移動量ΔＤｍを算出する。算出する方法には、例えばＲｉｇｉｄ　Ｂｏｄｙ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ、最小二乗法、中央値フィルタなどを利用することができる。
　次に、ステップ２６でフィルタリングされた特徴点があるか否かをチェックする（ステップ２８）。フィルタリングされた特徴点がある場合、ステップ２９に進み、フィルタリングされた特徴点がない場合、処理を終了する。
　フィルタリングされた特徴点がある場合、ステップ２６でフィルタリングされた各特徴点とステップ２７で算出した移動体１の移動量ΔＤｍを用い、立体物の高さ立体物までの距離、立体物の速度を算出する（ステップ２９）。
　図３は、ステップ２６の速度フィルタリングの詳細を示す図である。
　図３（Ａ）は、ステップ２７で算出した移動体１の移動量ΔＤｍの時間推移を示す。各フレームで抽出した特徴点の点数によって、移動量算出の処理時間が異なるため、フレーム間の撮像時刻の差分Δｔｍが不規則に変動し、差分Δｔｍの間に算出した移動量ΔＤｍも不規則に変化する。そのため、今回算出した移動量と前フレームで算出した移動量に相関関係はない。
　一方、図３（Ｂ）は、ステップ２５で算出した移動体１の速度Ｖｍを示す。図３（Ｂ）に記載しているデータ数と差分Δｔｍは図３（Ａ）と同じであるが、不規則に変化する移動量ΔＤｍをΔｔｍで割ることで、規則的に変化する速度Ｖｍに変換できる。物理的に、速度は短時間（ミリ秒単位）で大きく変わらないので、Ｖｍ－１が既知であればＶｍはＶｍ－１を中心とする閾値Ｖｔｈｒｅｓｈｏｌｄ以内にある。従って、ステップ２６では、ステップ２５で算出した各特徴点の相対速度ｖｍｎと、時系列に保存した過去の移動体の速度Ｖｍ－１、Ｖｍ－２…とを比較することで特徴点のフィルタリングができる。
　例えば、｜Ｖｍ－１－ｖｍｎ｜> Ｖｔｈｒｅｓｈｏｌｄの条件を設定すれば前フレームで算出した移動体１の速度と相対速度ｖｍｎとの差分が大きい特徴点がフィルタリングされる。また、前フレームで算出した移動体１の速度Ｖｍ－１だけではなく、過去に算出した速度の時系列情報をもとに現在速度により近い速度Ｖｅ＝ｆ（Ｖｍ－１、Ｖｍ－２、Ｖｍ－３…）を算出し、｜Ｖｅ－ｖｍｎ｜＞ Ｖｔｈｒｅｓｈｏｌｄという条件を設定することで、ステップ２６のフィルタリングをより正確に行うことができる。移動体１の現在速度を算出するための関数ｆは、過去に算出した移動体の速度の時系列情報（Ｖｍ－１、Ｖｍ－２、Ｖｍ－３…）の平均や現在速度を補間するための多項式で構成できる。
　尚、Ｖｔｈｒｅｓｈｏｌｄは一定値ではなく、関数Ｖｔｈｒｅｓｈｏｌｄ＝Ｆ（Ｖｍ－１、Ｖｍ－２、Ｖｍ－３…）で算出してもよい。即ち、過去に算出した移動体１の速度の時系列情報をもとにＶｔｈｒｅｓｈｏｌｄを変動させてもよい。例えば、過去の速度の時系列情報をもとに算出したＶｅの標準偏差σを算出し、Ｖｔｈｒｅｓｈｏｌｄ＝σｍ＊ｋ（０≦ｋ≦３）と設定することで統計学的にフィルタリングできる。このパラメータｋは周囲の環境や移動体１の状態に合わせて、適宜変更できる。 
　また、移動量算出装置の起動後、過去の移動体１の過去の速度情報はないため、抽出した特徴点のほとんどを用いて、現在速度を算出する。即ち、速度Ｖｅの初期値を０とし、Ｖｔｈｒｅｓｈｏｌｄを大きく設定する。
　また、ステップ２６の速度フィルタリングは、撮像装置２だけではなく、移動体１に搭載された他の速度センサで構成してもよい。例えば、現在位置ＧＰＳ＿ｐｏｓｍと時間ＧＰＳ＿ｔｍを算出できるＧＰＳが搭載されていれば、移動体１の速度ＧＰＳ＿Ｖｍ＝（ＧＰＳ＿ｐｏｓｍ－ＧＰＳ＿ｐｏｓｍ－１）／ＧＰＳ＿ｔｍを算出し、速度Ｖｅを、Ｖｅ＝ｆ（ＧＰＳ＿Ｖｍ－１、ＧＰＳ＿Ｖｍ－２、ＧＰＳ＿Ｖｍ－３…）で算出してもよい。車輪エンコーダやレーダやレーザなどの速度センサにより算出した移動体１の速度Ｓｅｎｓｏｒ＿ＶｍをもとにＶｅ＝ｆ（Ｓｅｎｓｏｒ＿Ｖｍ－１、Ｓｅｎｓｏｒ＿Ｖｍ－２、Ｓｅｎｓｏｒ＿Ｖｍ－３…）を算出してもよい。
　図４は、道路での移動量算出を示す図である。
　フレーム４１は撮像装置２が撮像した画像である。（ｕ,ｖ）は画像上のピクセル単位の座標であり、（ｘ,ｙ）は撮像装置２の道路のメートル単位の座標である。また、道路４２は移動体１が走行する路面である。
　特徴点４３ａは、フレームＡにおいてステップ２０～２２で抽出した特徴点である。フレームＢにおいて特徴点４３ａをトラッキングした（ステップ２３）後、フレームＡにおける特徴点４３ａ（フレームＢの白丸）はフレームＢにおける特徴点４３ｂに移動する。そして、フレームＣにおいて特徴点４３ｂをトラッキングした（ステップ２３）後、特徴点４３ｂ（フレームＣの白丸）はフレームＣにおける特徴点４３ｃに移動する。
　移動量４４ｂは特徴点４３ａと特徴点４３ｂの位置をもとにステップ２５で算出した相対的な移動量ΔｄＢn（但し、ｎは特徴点の番号）であり、移動量４４ｃは特徴点４３ｂと特徴点４３ｃの位置をもとにステップ２５で算出した移動量ΔｄＣｎである。フレームＢにおいて、フレーム間の時間をΔｔＢとすると、各特徴点４３ｂの相対速度ｖＢｎ＝ΔｄＢｎ /ΔｔＢが算出される。特徴点の相対的な移動量ΔｄＢｎは全て同じ路面上にある特徴点４３ａの相対移動量として算出されるため、複数の特徴点４３ａ間で大きな差はない（旋回成分があるので僅かには異なる）。従って、ステップ２６の速度フィルタリングの条件｜Ｖｅ－ｖBｎ｜＞ Ｖｔｈｒｅｓｈｏｌｄで特徴点４３ｂをフィルタリングし、フィルタリングされなかったｖＢｎを用いて、ステップ２７で移動量ΔＤｍ＝ΔＤＢと速度ＶＢ＝ΔＤＢ /ｔＢを算出する。また、移動量ΔｄＣｎの道路座標上の分布から方向変化ΔθＢを算出することも可能である。
　立体物４５はフレームＢの画像に映っている動的立体物である。特徴点４６ｂはステップ２０～２２で抽出したフレームＢにおける立体物４５の特徴点である。特徴点４６ｃはフレームＣにステップ２３で特徴点４６ｂをトラッキングした点である。
　移動量４７はステップ２５で算出した特徴点４６ｂから４６ｃへの移動量である。フレームＣには、ステップ２０～２４で算出した特徴点４３ｂから４３ｃへの移動量４４ｃと、立体物４５の特徴点４６ｂから４６ｃへの移動量４７がある。ステップ２５でフレーム間の時間ΔｔＣ時間を用い、それぞれの特徴点の相対速度ｖＣｎを算出する。速度フィルタリングの条件｜Ｖｅ－ｖBｎ｜＞ Ｖｔｈｒｅｓｈｏｌｄの速度Ｖｅに、フレームＢで算出した移動体１の速度ＶＢを用いる場合は、ＶＢをＶｅに代入し、ステップ２６を実行する。立体物４５の特徴点４６ｂから４６ｃへの移動量４７は路面の特徴点４３ｂから４３ｃへの移動量４４ｃと異なるため、特徴点４６ｃはステップ２６の条件｜Ｖｅ－ｖＣｎ｜>Ｖｔｈｒｅｓｈｏｌｄを満たし、フィルタリングされる。従って、残った路面上の特徴点４３ｂから４３ｃへの移動量４４ｃをもとに、ステップ２７で精度よく移動体１の移動量ΔＤＣを算出できる。
　尚、立体物の影響で全ての特徴点がフィルタリングされた場合、移動体１の移動量はステップ２６の速度フィルタリングに用いたＶｅとフレーム間の撮像時刻の差分Δｔｍを用いて、ΔＤｍ＝Ｖｅ／Δｔｍで近似値を算出する。
　図５は、ステップ２９の詳細を示す図である。
　まず、路面５１から高さＨにある撮像装置２が位置Ｐ１からＰ２へ移動する時、立体物が路面上に無い場合について説明する。位置Ｐ１でステップ２０～２２を実行し、路面５１の上にある特徴点５３ａを抽出する。路面５１が平らであれば、画像上のピクセル位置（ｕ,ｖ）と実際の位置関係（ｘ,ｙ）が一定になるため、画像上の特徴点５３ａのピクセル位置（Ｕ,Ｖ）ｆｅａｔｕｒｅから実際の特徴点５３ａの位置（Ｘ,Ｙ）ｆｅａｔｕｒｅへ変換でき、位置Ｐ１から特徴点５３ａまでの距離ｄ１ を算出できる。次に、位置Ｐ２でステップ２０～２７を実行し、位置Ｐ２から特徴点５３ａまでの距離ｄ２を算出し、距離ｄ１とｄ２をもとに移動量Δｄを算出する（Δｄ ＝ ｄ１－ｄ２）。
　次に、図５（Ｂ）の路面５１から高さｈの位置に立体物５５がある場合について説明する。位置Ｐ１において立体物５５の特徴点５３ｂが画像上のピクセル位置（Ｕ,Ｖ）ｆｅａｔｕｒｅに映っているとき、特徴点５３ｂについては、ピクセル（Ｕ,Ｖ）ｆｅａｔｕｒｅから誤った座標５３ａ’（Ｘ,Ｙ）ｆｅａｔｕｒｅに変換されるため、位置Ｐ１から特徴点５３ｂまでの距離ｄ３も誤った値ｄ１で算出される。同様に、撮像装置２が位置Ｐ２へ移動した時も位置Ｐ２から特徴点５３ｂまでの距離は誤った値ｄ２’と算出され、ステップ２０～２７では移動体１の移動量をΔｄ’＝ ｄ1－ｄ２’＝ Δｄｂ＋Δｄと誤って算出される。図５（Ｂ）において、Δｄｂは立体物５５の特徴点５３ｂをトラッキングしたことによって生じる移動量Δｄの誤差である。距離ｄｉｓｔは位置Ｐ２から立体物５５までの距離であり、距離ｌ１は立体物５５から地点５３ａ’までの距離、距離ｌ２は距離ｄ２’と距離ｄｉｓｔの差分である。ここで、式（１）と式（２）から式（３）および式（４）が得られる。‘式（３）および式（４）によると、立体物５５がある場合誤って算出した移動量Δｄ’はカメラの設置高さＨと立体物５５の高さｈで表せる。
ｈ／Ｈ＝ｌ２／ｄ２’＝ｌ１／ｄ１　（１）
Δｄｂ＝ｌ１-ｌ２＝ｈ＊（ｄ１－ｄ２’）／Ｈ　（２）
Δｄ’＝Δｄｂ+Δｄ＝ｄ１－ｄ２’
　＝ｈ＊（ｄ１－ｄ２’)／Ｈ ＋ Δｄ
　＝ｈ＊Δｄ’／Ｈ ＋ Δｄ
よって、Δｄ’＝Δｄ＊Ｈ／（Ｈ－ｈ） （３）
ｈ＝Ｈ＊（Δｄ’－ Δｄ）／Δｄ’（４）
　以上より、カメラの設置高さＨと立体物５５がある場合に誤って算出した移動量Δｄ’= Δｄｂ＋Δｄと、立体物５５がない場合に正しく算出した移動量Δｄを式（３）に代入することで、立体物の高さｈを算出できる。カメラの設置高さＨは固定で既知である。立体物５５がある場合の誤った移動量Δｄ’= Δｄｂ＋Δｄはステップ２０～２５で算出でき、立体物がない場合の正しい移動量Δｄはステップ２６でフィルタリングされなかった特徴点を用いてステップ２７で算出できる。立体物の影響で全ての特徴点がフィルタリングされた場合、移動体１の移動量はステップ２６で算出したＶｅとフレーム間の撮像時刻の差分Δｔｍを用いて、Δｄ＝Ｖｅ／Δｔｍで算出する。ステップ２９では、移動量Δｄと移動量Δｄ’を式（４）に代入し、立体物５５の高さｈを算出する。式（４）に特徴点の相対移動量Δｄ’=Δｄｍｎを代入すれば、それぞれの特徴点の高さを算出できる。しかし、全ての特徴点の高さを算出するには時間がかかるため、ステップ２６でフィルタリングされた特徴点の高さのみ算出すればよい。
　次に、式（５）により幾何学的に位置Ｐ２から立体物５５までの距離を算出する。位置Ｐ２から特徴点５３ｂまでの算出した距離ｄ２’と、立体物５５の算出した高さｈを式（５）に代入することで、各特徴点までの距離ｄｉｓｔを算出できる。
ｄｉｓｔ　＝　ｄ２’－ｌ２ ＝ ｄ２’－ｄ２’＊ｈ／Ｈ ＝ ｄ２’＊（Ｈ－ｈ）／Ｈ　（５）
　移動体１にＧＰＳや速度センサを搭載することでＧＰＳや速度センサで取得した情報と撮像装置２で取得した情報を組み合わせて立体物５５の高さｈや距離ｄｉｓｔを算出できる。例えば、ＧＰＳからより正確な移動量Δｄを算出した場合は、移動量Δｄを式（３）に代入することで、より正確な高さｈを算出できる。更に、高さｈを式（５）に代入することで立体物５５までの距離ｄｉｓｔもより正確に算出できる。速度センサを搭載する場合、速度センサで取得した移動体１の速度Ｖを用いて移動量Δｄ＝Ｖ＊Δｔｍを算出し、式（４）より高さｈを算出し、式（５）より距離ｄｉｓｔを算出する。
　図５（Ｃ）は、立体物５５がフレーム間で移動量Δｄobjectの移動を伴う動的立体物である場合を示している。ここで、Δｄは移動体の移動量、ｄ１は移動体が地点Ｐ１にいたときの立体物までの距離換算値、ｄ５は移動体が地点Ｐ２にいたときの立体物までの距離換算値、Ｈはカメラの設置高さ、ｈは立体物の高さである。図の関係より、式（６）が得られる。
　
　ｄobject＝Δｄ＋ｄ4-ｄ3＝Δｄ＋（ｄ１-ｄ５）＊（Ｈ－ｈ）／Ｈ　　（６）
　前述のように、Δｄ、ｄ１、ｄ５は既知であり、式（６）より、立体物の特徴点が２つ以上取得取得できると、立体物の移動量と高さが同時に算出できる。
１　移動体
２　撮像装置
３　処理装置
４　画像処理部
５　制御部
６　メモリ
７　表示部
８　バス

Claims (3)

  1. 　路面の画像を撮像する撮像装置と、
    　前記撮像装置が撮像した画像に基づいて、移動体の移動量を算出する画像処理部と、を備え、
    　前記画像処理部は、
    　第１のタイミングで撮像された第１の画像から第１の特徴点を複数抽出し、
    　前記第１のタイミングより後の第２のタイミングで撮像された第２の画像から第２の特徴点を複数抽出し、
    　前記複数の第１の特徴点の各々を前記複数の第２の特徴点の各々にトラッキングし、
    　前記複数の第２の特徴点の各々の移動量と速度を算出し、
    　前記複数の第２の特徴点のうち、その速度が所定の範囲内の特徴点に基づいて、前記移動体の移動量を算出する、移動体。
  2. 　前記複数の第２の特徴点のうち、その速度が前記所定の範囲より大きい特徴点に基づいて、前記撮像装置により撮像された路面上の立体物の高さ、及び/または、前記移動体から該立体物までの距離、及び/または、該立体物の速度を算出する、請求項１記載の移動体。
  3. 　前記移動量と、前記撮像装置で画像を取得した時刻に基づいて、前記移動体の速度を算出する、請求項１又は２に記載の移動体。
PCT/JP2017/000694 2016-02-23 2017-01-12 移動体 WO2017145541A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018501027A JP6708730B2 (ja) 2016-02-23 2017-01-12 移動体
EP17755983.8A EP3422293B1 (en) 2016-02-23 2017-01-12 Mobile object
US16/079,372 US10740908B2 (en) 2016-02-23 2017-01-12 Moving object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016031570 2016-02-23
JP2016-031570 2016-02-23

Publications (1)

Publication Number Publication Date
WO2017145541A1 true WO2017145541A1 (ja) 2017-08-31

Family

ID=59686123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000694 WO2017145541A1 (ja) 2016-02-23 2017-01-12 移動体

Country Status (4)

Country Link
US (1) US10740908B2 (ja)
EP (1) EP3422293B1 (ja)
JP (1) JP6708730B2 (ja)
WO (1) WO2017145541A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073772A1 (ja) * 2017-10-11 2019-04-18 日立オートモティブシステムズ株式会社 移動体の位置推定装置及び位置推定方法
JP2020071202A (ja) * 2018-11-02 2020-05-07 コーデンシ株式会社 移動体検知システム及び移動体検知システム用プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482610B2 (en) * 2017-11-01 2019-11-19 Adobe Inc. Detection of partially motion-blurred video frames
CN109537455A (zh) * 2019-01-10 2019-03-29 上海市机械施工集团有限公司 3d打印建筑的装置及方法
CN111104920B (zh) * 2019-12-27 2023-12-01 深圳市商汤科技有限公司 视频处理方法及装置、电子设备和存储介质
JP2022036537A (ja) * 2020-08-24 2022-03-08 富士通株式会社 移動体速度導出方法及び移動体速度導出プログラム
JP2022142515A (ja) * 2021-03-16 2022-09-30 本田技研工業株式会社 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム
DE102021207834A1 (de) * 2021-07-22 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
JP2003178309A (ja) 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
JP2013031310A (ja) * 2011-07-29 2013-02-07 Sanyo Electric Co Ltd 制御装置、バッテリシステム、電動車両、移動体、電力貯蔵装置および電源装置
JP6340957B2 (ja) * 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
JP6281460B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JP6281459B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
US9996981B1 (en) * 2016-03-07 2018-06-12 Bao Tran Augmented reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073772A1 (ja) * 2017-10-11 2019-04-18 日立オートモティブシステムズ株式会社 移動体の位置推定装置及び位置推定方法
JP2019070983A (ja) * 2017-10-11 2019-05-09 日立オートモティブシステムズ株式会社 移動体の位置推定装置及び位置推定方法
US11151729B2 (en) 2017-10-11 2021-10-19 Hitachi Automotive Systems, Ltd. Mobile entity position estimation device and position estimation method
JP2020071202A (ja) * 2018-11-02 2020-05-07 コーデンシ株式会社 移動体検知システム及び移動体検知システム用プログラム
JP7148126B2 (ja) 2018-11-02 2022-10-05 コーデンシ株式会社 移動体検知システム及び移動体検知システム用プログラム

Also Published As

Publication number Publication date
US10740908B2 (en) 2020-08-11
US20190066312A1 (en) 2019-02-28
JPWO2017145541A1 (ja) 2018-11-08
EP3422293A1 (en) 2019-01-02
EP3422293B1 (en) 2024-04-10
EP3422293A4 (en) 2019-10-16
JP6708730B2 (ja) 2020-06-10

Similar Documents

Publication Publication Date Title
WO2017145541A1 (ja) 移動体
EP3280976B1 (en) Object position measurement with automotive camera using vehicle motion data
JP6623044B2 (ja) ステレオカメラ装置
US9599706B2 (en) Fusion method for cross traffic application using radars and camera
US20170337434A1 (en) Warning Method of Obstacles and Device of Obstacles
CN107121132B (zh) 求取车辆环境图像的方法和设备及识别环境中对象的方法
US20180137376A1 (en) State estimating method and apparatus
CN110023951B (zh) 信息处理设备、成像设备、装置控制系统、信息处理方法和计算机可读记录介质
CN106447730B (zh) 参数估计方法、装置和电子设备
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
EP2924655B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
US20090297036A1 (en) Object detection on a pixel plane in a digital image sequence
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
JP6032034B2 (ja) 物体検知装置
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
KR20160077684A (ko) 객체 추적 장치 및 방법
JP6035095B2 (ja) 車両の衝突判定装置
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
JP6564127B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
EP3486871B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、系统及存储介质
US12106492B2 (en) Computer vision system for object tracking and time-to-collision
JP4231883B2 (ja) 画像処理装置及びその方法
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JP4144464B2 (ja) 車載用距離算出装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018501027

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017755983

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017755983

Country of ref document: EP

Effective date: 20180924

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17755983

Country of ref document: EP

Kind code of ref document: A1