WO2019225817A1 - 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체 - Google Patents

차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체 Download PDF

Info

Publication number
WO2019225817A1
WO2019225817A1 PCT/KR2018/013252 KR2018013252W WO2019225817A1 WO 2019225817 A1 WO2019225817 A1 WO 2019225817A1 KR 2018013252 W KR2018013252 W KR 2018013252W WO 2019225817 A1 WO2019225817 A1 WO 2019225817A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
camera
vehicle
landmark
estimated position
Prior art date
Application number
PCT/KR2018/013252
Other languages
English (en)
French (fr)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201880093798.5A priority Critical patent/CN112166059A/zh
Priority to US17/056,670 priority patent/US20210207977A1/en
Publication of WO2019225817A1 publication Critical patent/WO2019225817A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to an apparatus for estimating a position of a vehicle, a method for estimating a position of a vehicle, and a computer-readable recording medium for storing a computer program programmed to perform the method.
  • this application claims priority based on Korean Patent Application (Application No. 10-2018-0059626) filed May 25, 2017. The entire contents of the application on which this priority is based are incorporated herein by reference.
  • a vehicle refers to a transportation device that drives a road or a track using fossil fuel, electricity, and the like as a power source.
  • AVS active safety system
  • ADAS Advanced Driver Assist System
  • the problem to be solved by the present invention is to provide a technique for estimating the position of the vehicle more precisely than the existing technology.
  • the technique proposed in the present invention is applied to various vehicles, for example, a vehicle equipped with an advanced driver assistance system.
  • a method of estimating a location of a vehicle may include obtaining initial position information of the camera by matching a landmark of a precision map corresponding to initial position information of a GPS-based vehicle with an image captured by the camera of the vehicle. ; Obtaining estimated position information of the vehicle using a comparison result between the landmark and the image of the precision map corresponding to each of the plurality of candidate position information sampled based on the initial position information of the camera.
  • a computer-readable recording medium storing a computer program programmed to perform a method of estimating a location of a vehicle, according to an embodiment, photographs a landmark of a precision map corresponding to initial location information of a GPS-based vehicle by the camera of the vehicle. Acquiring initial position information of the camera by matching the captured image; Obtaining estimated position information of the vehicle using a comparison result between the landmark and the image of the precision map corresponding to each of the plurality of candidate position information sampled based on the initial position information of the camera.
  • an apparatus for estimating a vehicle may include: a camera configured to acquire initial position information of the camera by matching a landmark of a precision map corresponding to initial position information of a GPS-based vehicle with an image captured by the camera of the vehicle; Initial location information acquisition unit; Camera estimated position information acquisition unit for obtaining estimated position information of the camera using a comparison result between the landmark and the image of the precision map corresponding to each of the plurality of candidate position information sampled based on the initial position information of the camera ; And a vehicle estimation position information obtaining unit which obtains estimated position information of the vehicle based on the estimated position information of the camera.
  • the apparatus for estimating the position of the vehicle, the method for estimating the position of the vehicle, and the computer-readable recording medium storing the computer program programmed to perform the method according to an embodiment may include images obtained by the camera of the vehicle as well as satellite signals; Accurate maps can be used to estimate the location of the vehicle more accurately.
  • 1A and 1B are control block diagrams of a vehicle position estimation system according to various embodiments.
  • FIG. 2 is a diagram for describing a coordinate system of a vehicle and a camera, according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method of acquiring camera initial position information by the camera initial position information acquiring unit according to an exemplary embodiment.
  • FIG. 4 is a diagram for describing a method of matching landmarks, according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a result according to the method of acquiring initial camera position information of FIG. 3.
  • FIG. 6 is a flowchart of a method of acquiring camera estimated position information by the camera estimated position information obtaining unit, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating a first landmark extraction result of a lane and a second landmark other than the lane in an image photographed by a camera according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating a result of matching a landmark of a precision map with the image of FIG. 7.
  • 9A and 9B illustrate an error according to the matching of FIG. 8.
  • FIG. 10 is a diagram illustrating a final result according to a method for acquiring camera estimated position information according to an embodiment.
  • FIG. 11 is a flowchart of a method of obtaining vehicle estimation position information by the vehicle estimation position information obtaining unit, according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating a final landmark matching result according to a method of obtaining vehicle estimation position information, according to an exemplary embodiment.
  • FIG. 1A and 1B are control block diagrams of a vehicle position estimation system according to various embodiments
  • FIG. 2 is a diagram for describing a coordinate system of a vehicle and a camera, according to an exemplary embodiment.
  • the vehicle position estimating system 1 may include a vehicle V and an apparatus 100 for estimating the position of the vehicle.
  • the vehicle V may refer to a vehicle capable of moving a human, an object, or an animal from one location to another while traveling along a road or a track.
  • the vehicle V may include a three-wheeled or four-wheeled vehicle, a two-wheeled vehicle such as a motorcycle, a construction machine, a prime mover bicycle, a bicycle, and a train traveling on a track.
  • the vehicle V of FIG. 1A may include a GPS module to receive a satellite signal including navigation data from at least one Global Position System (GPS) satellite.
  • GPS Global Position System
  • the vehicle V may acquire a current position of the GPS-based vehicle V and a traveling direction of the vehicle V based on the satellite signal.
  • the vehicle V of FIG. 1A may store the precision map in advance.
  • the precision map may have a high accuracy for safe and precise control of the vehicle (V), and may mean a map including information on altitude, slope, curvature, etc., as well as the plane position of the road.
  • the precision map may mean a map further including information on road facilities such as lanes, signs, traffic lights, and guardrails.
  • the vehicle V of FIG. 1A may be equipped with an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the advanced driver assistance system is a system that provides driving environment information such as vehicle V status, driver status, and surrounding environment information or actively controls the vehicle V in order to reduce the burden on the driver and improve convenience. It may mean.
  • the advanced driver assistance system mounted on the vehicle V may include sensing means for sensing the driving environment of the vehicle V.
  • the sensing means irradiates pulses around the vehicle V, receives an echo pulse reflected from an object located in a corresponding direction, and detects a radar environment, and a laser around the vehicle V. Irradiates ultrasonic waves around LiDAR, and / or vehicle V, and receives echo ultrasonic waves reflected from an object positioned in a corresponding direction. It may include an ultrasonic sensor.
  • the advanced driver assistance system may also include a camera C as sensing means.
  • the camera C may be provided to face the front, the side, and / or the rear of the vehicle V, and may photograph an image in the corresponding direction.
  • the captured image may be a basis for obtaining information such as lanes or signs as well as objects around the vehicle V through image processing.
  • the vehicle V may include CAN data such as image information obtained by the camera C, wheel rotation information and yaw rate information transmitted through the CAN communication method, which is a communication method between the modules inside the vehicle V. Can be used to control the vehicle (V).
  • the image acquired by the camera C follows the camera coordinate system, while the CAN DATA may follow the vehicle coordinate system.
  • FIG. 2 is a schematic plan view of a vehicle V according to an embodiment, illustrating a coordinate system of the vehicle V and a coordinate system of the camera C installed in the vehicle V.
  • the vehicle V has an origin of O V , an X V axis in a traveling direction of the vehicle V, a Z V axis in a direction perpendicular to the ground, and an X V axis and a Z V axis. It may have a vehicle coordinate system composed of a vertical Y V axis.
  • the camera (C) mounted on the vehicle (V) is an O C as the origin, and may have a camera coordinate system composed of X C-axis, Y C-axis, Z C-axis, which is determined according to the installation position and attitude angle.
  • a camera C calibration In order to fuse two pieces of information on different coordinate systems as described above, unification of coordinate systems is required, which is called a camera C calibration.
  • the camera C may be calibrated before the vehicle V travels.
  • an image of a correction recognition pattern may be obtained by using the camera C installed in the vehicle V, and an angle and a location where the camera C is mounted may be manually obtained by using the image.
  • an attitude angle of the camera C may be obtained by recognizing a lane through the camera C while checking the position of the vanishing point based on the recognized lane while the vehicle V is driving.
  • the camera C calibration may be performed in real time by the vehicle position estimating apparatus 100 of the vehicle position estimating system 1. This will be described later.
  • the apparatus 100 for estimating position of a vehicle 100 may estimate position information of the vehicle V using information received from the vehicle V.
  • the position information may include a position and an attitude angle.
  • the vehicle position estimation apparatus 100 may exchange information by communicating with the vehicle V by various known communication methods.
  • the apparatus 100 for estimating the position of a vehicle adopts a known communication method such as CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, and EPC to communicate with the vehicle V through a base station. Can be.
  • the vehicle location estimation apparatus 100 may include a wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD, and UWB. (Ultra wideband), Infrared Data Association (IrDA), Bluetooth Low Energy (BLE), and Near Field Communication (NFC) may be adopted to communicate with the vehicle V within a predetermined distance.
  • the manner in which the communication unit communicates with the vehicle V is not limited to the above-described embodiment.
  • the apparatus 100 for estimating the position of the vehicle acquires the initial position information of the camera C based on the information received from the vehicle V, and sets the landmark corresponding to the initial position information of the camera C.
  • the camera C estimated position information may be obtained by matching the image captured by the apparatus, and the vehicle V estimated position information may be obtained based on the obtained camera C estimated position information.
  • the vehicle position estimation apparatus 100 includes a camera initial position information acquisition unit 110 for acquiring the initial position information of the camera C of the vehicle V; Camera estimate position information acquisition unit 120 for acquiring camera C estimated position information; And a vehicle estimation position information obtaining unit 130 for obtaining vehicle V estimation position information.
  • FIG. 1A illustrates a case in which the vehicle position estimating apparatus 100 is provided separately from the vehicle V to configure the vehicle position estimating system 1, but unlike this, the vehicle position estimating apparatus 100 is illustrated. It may be possible to be provided inside the vehicle (V).
  • the vehicle position estimation system 1 may be configured as a vehicle V including the vehicle position estimation device 100.
  • the operation method of the position estimation system 1 of the vehicle of FIG. 1A and the position estimation system 1 of the vehicle of FIG. 1B are the same.
  • the apparatus 100 for estimating a vehicle position may estimate position information of the vehicle V by matching a landmark photographed on the precision map with an image photographed by the camera C.
  • FIG. In order to match the image and the map, accurate position information of the camera C is required.
  • the coordinate system of the vehicle V and the coordinate system of the camera C may be set differently, and thus the coordinate system needs to be converted.
  • the initial positional information of the GPS-based vehicle V may not be accurate, such as an area where high-rise buildings are concentrated, camera C calibration needs to be preceded before the position of the vehicle V is estimated.
  • the camera initial position information acquisition unit 110 may perform camera C calibration using the initial position information of the GPS-based vehicle V.
  • FIG. Hereinafter, the operation of the camera initial position information acquisition unit 110 will be described in detail with reference to FIGS. 3 to 5.
  • FIG. 3 is a flowchart of a method of acquiring camera initial position information by the camera initial position information acquisition unit according to an embodiment.
  • FIG. 4 is a diagram for describing a method of matching landmarks, according to an embodiment.
  • 3 is a diagram illustrating a result according to the camera initial position information acquisition method of FIG. 3.
  • the camera initial position information acquisition unit 110 may acquire initial position information of a GPS-based vehicle V determined based on a satellite signal (S100).
  • the camera initial position information acquisition unit 110 may receive initial position information including an initial position and an initial attitude angle of the GPS-based vehicle V from the vehicle V.
  • the camera initial position information acquisition unit 110 receives only the initial position of the GPS-based vehicle from the vehicle V, and uses the initial position information including the initial attitude angle of the vehicle V. May be obtained.
  • the camera initial position information acquisition unit 110 uses the initial position of the received GPS-based vehicle V to initialize the initial position of the vehicle V. You can get the angle.
  • the camera initial position information acquisition unit 110 acquires an X V axis indicating a moving direction of the vehicle V based on the initial position of the GPS-based vehicle V continuously received, and by the lane on the precision map.
  • the Y V axis may be obtained by performing a cross product to the X V axis with respect to the Z V axis.
  • the camera initial position information acquisition unit 110 may move to the Y V axis with respect to the Z V axis. You can correct the X V axis by performing a cross product.
  • the camera initial position information acquisition unit 110 may obtain a three-dimensional coordinates of the initial position of the camera (C) and a three-dimensional coordinate axis of the initial attitude angle.
  • the camera initial position information acquisition unit 110 may determine the first ROI based on the initial position information of the GPS-based vehicle V in the precision map (S110).
  • the camera initial position information acquisition unit 110 may determine an area within the first radius as the first ROI based on the initial position information of the GPS-based vehicle V.
  • the first radius can be several m or less.
  • the camera initial position information acquisition unit 110 matches the first landmark of the lane existing in the first ROI with the image photographed by the camera C, so that the camera C An initial posture angle may be obtained (S120).
  • the camera initial position information acquisition unit 110 may obtain a rotation matrix R according to the initial attitude angle of the camera C according to Equation 1.
  • S * a solution of Equation 1, represents initial position information including a rotation matrix R with respect to the initial attitude angle of the camera C and a movement matrix T with respect to the initial position
  • Z k is the coordinate of the lane detected from the image.
  • P k denotes the coordinates of the landmark on the precision map corresponding to Z k
  • C zk and C pk each denote a covariance indicating an error for Z k and P k
  • H denotes a function h ( ) Can mean a partial differential (Jacobian).
  • the function h () means a function of projecting the landmark coordinates on the precision map to the image, it may be defined according to equation (2).
  • T means a movement matrix for the initial position of the camera (C)
  • R means a rotation matrix for the initial attitude angle of the camera (C)
  • P means the coordinates of the landmark on the precision map
  • K may refer to a camera C internal parameter matrix for projecting coordinates based on the camera C coordinate system into an image captured by the camera C.
  • the camera initial position information acquisition unit 110 may select at least one of known algorithms, for example, the Gauss Newton algorithm or the Levenberg-Marquardt algorithm.
  • the dotted line region may mean covariance of internal feature points.
  • the covariance of a feature point of a point cloud set of a landmark extending in one direction, such as a lane, may be an ellipse shape formed in the extension direction.
  • the camera initial position information acquisition unit 110 may match the first landmark to the image by iteratively calculating the solution of Equation 1 using the feature points closest to each other as a correspondence relationship.
  • feature points connected by a dotted line may indicate a mutual correspondence relationship.
  • Equation 1 When Equation 1 is calculated to match a first landmark of a lane extending in one direction with an image, an error may be large in the longitudinal direction in which the lane extends, but a small error in the lateral direction. As a result, the rotation matrix R with respect to the initial attitude angle of the camera C can have reliable accuracy.
  • the camera initial position information acquisition unit 110 may obtain a movement matrix T for the initial position of the camera C by matching the second landmark other than the lane with the image.
  • the camera initial position information acquisition unit 110 may determine the second ROI based on the initial position information of the GPS-based vehicle V in the precision map (S130).
  • the camera initial position information acquisition unit 110 may determine an area within a second radius of the first radius or more as the second region of interest based on the initial position information of the GPS-based vehicle V. Since the initial attitude angle of the camera C initial position information is obtained, it is to accurately acquire the initial position of the camera C by using a landmark within a wider range. In this case, the second radius may be several hundred m or less.
  • the camera initial position information acquisition unit 110 matches the second landmark other than the lane existing in the second ROI to the image based on the initial posture angle of the camera C, and thus the initial position of the camera C. It may be obtained (S140). Specifically, the camera initial position information acquisition unit 110 calculates the movement matrix T for the initial position of the camera C by substituting the rotation matrix R for the initial position of the camera C obtained before Equation 1. Can be obtained.
  • a movement matrix T for a plurality of camera C initial positions corresponding to the rotation matrix R with respect to one camera C initial attitude angle may be obtained.
  • the initial position information including the initial position of the camera C and the initial attitude angle thus obtained may be used as an input value for estimating the position of the camera C, which will be described later.
  • the initial position information of the camera C is more accurate when the above-described method is used. By using it as an input value, the accuracy and processing speed of camera C positional information estimation can be improved.
  • FIG. 5 illustrates a case where a plurality of candidate groups acquired when the camera C initial position information obtained through landmark matching is used as an input value is illustrated on a precision map.
  • a plurality of candidate positions P C estimated according to the above-described method on a precision map including a plurality of landmarks L M are shown.
  • the landmark matching result P C is the actual position of the vehicle V compared to the initial position P G of the GPS-based vehicle V. It can be seen that it appears closer to the position P R.
  • the camera estimated position information obtaining unit 120 may obtain the estimated position information of the camera C by using the initial position of the camera C as an input value.
  • a method of obtaining estimated position information of the camera C will be described in detail with reference to FIGS. 6 to 10.
  • FIG. 6 is a flowchart illustrating a method for acquiring camera estimated position information by a camera estimated position information obtaining unit according to an embodiment
  • FIG. 7 is a first landmark and a lane for a lane in an image photographed by a camera according to an embodiment
  • FIG. 8 illustrates a result of matching a landmark of a precision map with the image of FIG. 7, and
  • FIGS. 9A and 9B illustrate an error according to the matching of FIG. 8.
  • 10 is a diagram illustrating a final result according to a method for acquiring camera estimated position information according to an embodiment.
  • the camera estimate position information acquirer 120 may sample a plurality of candidate position information around the initial position information of the camera C (S200).
  • the camera estimation position information acquisition unit 120 may perform sampling by using a Gaussian probability model in which error modeling is set by using the initial position information of the camera C as an average and a predetermined covariance.
  • the Gaussian probabilistic model may be defined in at least six dimensions having three degrees of freedom and three degrees of freedom.
  • the camera estimated position information acquisition unit 120 may perform sampling on each camera C initial position information according to a Gaussian probability model.
  • the camera estimate position information acquirer 120 may obtain estimated position information of the camera C using the particle filter.
  • the camera estimation position information acquisition unit 120 may reflect driving information of the vehicle V in the plurality of candidate position information (S210). At this time, the camera estimation position information obtaining unit 120 may follow the equation (3).
  • the matrix [x (k), y (k), [theta] (k)] means the position of the vehicle V and the traveling direction at the time k
  • S r is the right wheel speed of the vehicle V
  • S l may mean a moving distance according to the left wheel speed of the vehicle V.
  • the camera estimation position information acquisition unit 120 may receive driving information including wheel speed information and yaw rate information from the vehicle V.
  • the camera estimation position information acquisition unit 120 may assign a weight to each of the candidate position information based on a matching error between the landmark and the image of the precision map corresponding to each of the plurality of candidate position information (S220). ).
  • the camera estimation position information obtaining unit 120 may use an image from which the landmark is extracted. Referring to FIG. 7, a first landmark L I1 for a lane extracted with a white line on the ground and a second landmark L I2 for a sign extracted with a black square in front of the image taken by the camera C You can check.
  • the candidate position information off the road as a result of the reflection of the driving information or the candidate position information present on the road in a direction opposite to the traveling direction of the vehicle V may be excluded.
  • the camera estimate position information acquirer 120 may match the landmark of the precision map corresponding to each of the plurality of candidate position information with the image. .
  • the camera estimation position information acquisition unit 120 may use the equation of FIG. 2 for landmark matching.
  • the first landmark L M1 for the vehicle V extracted in a line shape on the precision map corresponding to the specific candidate position information and the second landmark L M2 other than the lane extracted in the cross shape in front of the vehicle. It can be confirmed that is matched with the image of FIG. At this time, there may be a matching result error of each of the first landmarks L I1 , L M1 and each of the second landmarks L I2 , L M2 .
  • an error equal to the distance d 2 exists as a result of matching the second landmarks L I2 and L M2 .
  • an error equal to the distance d 1 exists as a result of the matching of the first landmarks L I1 and L M1 .
  • the camera estimation position information obtaining unit 120 may obtain a weight corresponding to the matching error, which may be expressed by Equation 4.
  • G ⁇ means a weight
  • ( ⁇ x, ⁇ y) may mean an error of x and y in an image
  • ⁇ may mean a standard deviation
  • the camera estimation position information acquisition unit 120 may reflect the matching error by assigning a weight corresponding to the candidate position information.
  • the camera estimation position information acquisition unit 120 may newly sample the plurality of candidate position information using the weighted candidate position information (S230). Since sampling is newly performed based on the weighted result, the plurality of candidate position information may converge around the candidate position information having a small matching error.
  • the camera estimation position information acquisition unit 120 may check whether the standard deviations of the newly sampled pieces of candidate position information are equal to or less than the reference standard deviations (S240).
  • the reference standard deviation may mean a maximum standard deviation that can obtain camera C estimated position information using a plurality of candidate positions.
  • the camera estimate position information obtaining unit 120 uses the average value of the newly sampled pieces of candidate position information as the estimated position information of the camera C. Can be obtained (S250).
  • the camera estimated position information obtaining unit 120 reflects the driving information of the vehicle V to the newly sampled plurality of candidate position information (S260). After that, the process may return to step S220 again.
  • FIG. 10 illustrates a result of repeating the above-described method until the standard deviation of the plurality of candidate location information is equal to or less than the reference standard deviation, on the precision map.
  • the estimated position information acquisition unit of the vehicle V verifies the validity of the estimated position information of the camera C, and then based on the estimated position information of the valid camera C.
  • the estimated position information of (V) can be obtained.
  • a method of obtaining estimated position information of the vehicle V will be described in detail with reference to FIGS. 11 and 12.
  • FIG. 11 is a flowchart illustrating a method of acquiring vehicle estimation position information by the vehicle estimation position information obtaining unit
  • FIG. 12 illustrates a final landmark matching result according to the method of acquiring vehicle estimation position information according to an embodiment. Drawing.
  • the vehicle estimation position information obtaining unit 130 may first identify a second landmark other than the lane among the landmarks of the precision map corresponding to the estimated position information of the camera C (S300).
  • the vehicle estimation position information obtaining unit 130 may obtain a weight of the camera C estimated position information corresponding to each matching error of the second landmark (S310).
  • the weight of the camera C estimated position information may follow Equation 4 described above.
  • the vehicle estimation position information obtaining unit 130 may check whether the number of weights equal to or greater than the reference value is greater than or equal to the reference number (S320).
  • the reference value means a minimum weight according to a matching error when the position information of the camera C can be determined as valid, and the reference number is a weight greater than or equal to the reference value when the position information of the camera C can be determined to be valid. It may mean the minimum number of.
  • the reference number may be determined according to the number of confirmed second landmarks, and the reference number according to an embodiment may be determined at an arbitrary ratio with respect to the number of confirmed second landmarks.
  • the vehicle estimation position information acquisition unit 130 may determine that the estimated position information of the camera C is valid (S330). As a result, the vehicle estimation position information acquisition unit 130 may obtain estimated position information of the vehicle V using the camera C estimated position information (S340). In this case, the vehicle estimation position information acquisition unit 130 may obtain vehicle V estimation position information using the movement matrix T and the rotation matrix R. FIG.
  • the vehicle estimation location information acquisition unit 130 may determine that the location information of the estimated camera C is invalid (S350). As a result, the vehicle estimation position information acquisition unit 130 may perform the vehicle V estimation position acquisition process again by newly obtaining initial position information of the camera C (S360).
  • the vehicle estimation position information acquisition unit 130 may verify the validity of the estimated position information of the camera C by performing the above-described validation on each frame image and comparing the execution result with a predetermined criterion. have.
  • the vehicle estimation position information acquisition unit 130 repeatedly performs verification while the vehicle V travels a predetermined reference distance, and if the estimated camera C position information is not valid, the initial state of the camera C is invalid. It may also be possible to obtain new location information.
  • the vehicle estimation position information acquisition unit 130 may monitor the estimated camera C position information by repeatedly performing validation based on each frame image, a predetermined period, or a predetermined driving distance.
  • FIG. 12 illustrates a result of matching a landmark to an image based on vehicle V estimated position information acquired according to FIG. 11. As the position of the vehicle V is accurately estimated, it can be confirmed that the first landmarks L I1 , L M1 for the lanes and the second landmarks L I2 , L M2 for the signs match the image correctly.
  • the apparatus for estimating the position of the vehicle, the method for estimating the position of the vehicle, and the computer-readable recording medium storing the computer program programmed to perform the method according to the above-described embodiment are images obtained by the camera of the vehicle as well as satellite signals. And the precise map can be used to estimate the position of the vehicle more accurate. In addition, since the position of the vehicle can be estimated without expensive devices such as LiDar, manufacturing cost can be reduced.
  • each step included in the method for estimating the position of the vehicle according to the above-described embodiment may be implemented in a computer readable recording medium for recording a computer program programmed to perform such a step.
  • the above-described apparatus for estimating the position of a vehicle, a method for estimating the position of a vehicle, and a computer readable recording medium storing a computer program programmed to perform the method may be used in various fields such as a home or an industrial site. Therefore, there is industrial possibility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 차량의 위치 추정 방법은 GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 차량의 추정 위치 정보를 획득하는 단계를 포함한다.

Description

차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
본 발명은 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에 관한 것이다. 참고로, 본 출원은 2017년 05월 25일자로 출원된 한국특허출원(출원번호 10-2018-0059626호)을 기초로 우선권을 주장한다. 이러한 우선권의 기초가 되는 해당 출원의 전체 내용은 본 출원에서 참조문헌으로서 인용된다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 자차의 위치에 의해 결정되는 주행 환경에 따라 동작하므로, 정확한 차량의 위치 추정이 선행될 필요가 있다. 종래에는 위성 신호를 이용하여 차량의 위치를 추정하는 방법이 널리 이용되었으나, 최근에는 정확도를 높이기 위해 다양한 정보를 함께 고려하는 방법에 대한 연구가 활발히 진행 중이다.
본 발명이 해결하고자 하는 과제는, 기존 기술보다 정밀하게 차량의 위치를 추정하는 기술을 제공하는 것이다.
또한, 빌딩 등에 의해 GPS와 같은 시스템이 제대로 동작하기 어렵거나 복잡한 도심 등의 주행 환경에서도 보다 정밀하게 차량의 위치를 판단하는 기술을 제공하는 것이다.
아울러, 본 발명에서 제안하는 기술을 다양한 이동 수단, 예를 들어 첨단 운전자 지원 시스템이 탑재된 차량에 적용하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 차량의 위치 추정 방법은, GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 차량의 추정 위치 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체는, GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 차량의 추정 위치 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 차량의 위치 추정 장치는, GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 카메라 초기 위치 정보 획득부; 상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 카메라의 추정 위치 정보를 획득하는 카메라 추정 위치 정보 획득부; 및 상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 차량 추정 위치 정보 획득부를 포함한다.
일 실시예에 따른 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 위성 신호뿐만 아니라 차량의 카메라에 의해 획득되는 영상 및 정밀 지도를 이용하여 보다 정확한 차량의 위치를 추정할 수 있다.
또한, 라이다(LiDar)와 같은 고가의 장치 없이도 차량의 위치 추정이 가능하므로, 제조 원가를 절감할 수 있다.
도 1a 및 1b 는 여러 가지 실시예에 따른 차량의 위치 추정 시스템의 제어 블록도이다.
도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 카메라 초기 위치 정보 획득부에 의한 카메라 초기 위치 정보 획득 방법의 흐름도이다.
도 4는 일 실시예에 따른 랜드마크의 매칭 방법을 설명하기 위한 도면이다.
도 5는 도 3의 카메라 초기 위치 정보 획득 방법에 따른 결과를 나타내는 도면이다.
도 6은 일 실시예에 따른 카메라 추정 위치 정보 획득부에 의한 카메라 추정 위치 정보 획득 방법의 흐름도이다.
도 7은 일 실시예에 따른 카메라에 의해 촬영된 영상에서 차선에 대한 제 1 랜드마크 및 차선 이외의 제 2 랜드마크 추출 결과를 예시한 도면이다.
도 8은 도 7의 영상에 정밀 지도의 랜드마크를 매칭시킨 결과를 예시한 도면이다.
도 9a 및 9b는 도 8의 매칭에 따른 오차를 예시한 도면이다.
도 10은 일 실시예에 따른 카메라 추정 위치 정보 획득 방법에 따른 최종 결과를 예시한 도면이다.
도 11은 일 실시예에 따른 차량 추정 위치 정보 획득부에 의한 차량 추정 위치 정보 획득 방법의 흐름도이다.
도 12는 일 실시예에 따른 차량 추정 위치 정보 획득 방법에 따른 최종 랜드마크 매칭 결과를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 및 1b 는 여러 가지 실시예에 따른 차량의 위치 추정 시스템의 제어 블록도이고, 도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
도 1a를 참조하면, 일 실시예에 따른 차량의 위치 추정 시스템(1)은 차량(V) 및 차량의 위치 추정 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1a의 차량(V)은 GPS 모듈을 구비하여, 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 GPS 기반 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1a의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다.
아울러, 도 1a의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 촬영할 수 있다. 촬영된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
한편, 차량(V)은 카메라(C)에 의해 획득된 영상 정보와, 차량(V) 내부 모듈간 통신 방식인 CAN 통신 방식으로 전송되는 휠 회전 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
도 2는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)의 좌표계와 차량(V)에 설치된 카메라(C)의 좌표계를 예시한다. 도 2를 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 이처럼 서로 상이한 좌표계 상의 두 정보의 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 카메라(C) 캘리브레이션(CAMERA CALIBRATION)이라 한다.
이를 위해, 차량(V)의 주행에 앞서 사전에 카메라(C) 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)에 설치된 카메라(C)를 이용하여 보정용 인식 패턴에 대한 영상을 획득하고, 이를 이용하여 카메라(C)가 장착된 각도와 위치를 수동으로 획득할 수 있다. 다른 예로, 차량(V)의 주행 중에 카메라(C)를 통해 차선을 인식하고, 인식된 차선에 기초하여 소실점의 위치를 확인함으로써 카메라(C)의 자세각을 획득할 수도 있다.
이와는 달리, 차량의 위치 추정 시스템(1) 중 차량의 위치 추정 장치(100)에서 실시간으로 카메라(C) 캘리브레이션을 수행할 수도 있다. 이에 대하여는 후술한다.
다시 도 1a를 참조하면, 일 실시예에 따른 차량의 위치 추정 장치(100)는 차량(V)으로부터 수신한 정보를 이용하여 차량(V)의 위치 정보를 추정할 수 있다. 여기서, 위치 정보란 위치, 및 자세각을 포함할 수 있다.
위치 추정을 위해, 차량의 위치 추정 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 차량의 위치 추정 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 차량의 위치 추정 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 통신부가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
차량의 위치 추정 장치(100)는 차량(V)으로부터 수신한 정보에 기초하여 카메라(C) 초기 위치 정보를 획득하고, 획득된 카메라(C) 초기 위치 정보에 대응되는 랜드마크를 카메라(C)에 의해 촬영된 영상에 매칭하여 카메라(C) 추정 위치 정보를 획득하고, 획득된 카메라(C) 추정 위치 정보에 기초하여 차량(V) 추정 위치 정보를 획득할 수 있다.
이를 위해, 차량의 위치 추정 장치(100)는 차량(V)의 카메라(C) 초기 위치 정보를 획득하는 카메라 초기 위치 정보 획득부(110); 카메라(C) 추정 위치 정보를 획득하는 카메라 추정 위치 정보 획득부(120); 및 차량(V) 추정 위치 정보를 획득하는 차량 추정 위치 정보 획득부(130)를 포함할 수 있다.
한편, 도 1a에서는 차량의 위치 추정 장치(100)가 차량(V)과 별개로 마련되어 차량의 위치 추정 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 차량의 위치 추정 장치(100)가 차량(V) 내부에 마련되는 것도 가능할 수 있다.
도 1b를 참조하면, 다른 실시예에 따른 차량의 위치 추정 시스템(1)은 차량의 위치 추정 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 차량의 위치 추정 장치(100)가 마련되는 방식을 제외하고는, 도 1a의 차량의 위치 추정 시스템(1)과 도 1b의 차량의 위치 추정 시스템(1)의 동작 방식을 동일하다.
이하에서는 도 3 내지 12를 참조하여, 차량의 위치 추정 장치(100)의 각 구성에 대하여 상세히 설명한다.
일 실시예에 따른 차량의 위치 추정 장치(100)는 카메라(C)에 의해 촬영된 영상과 정밀 지도 상의 랜드마크를 매칭함으로써 차량(V)의 위치 정보를 추정할 수 있다. 영상과 지도의 매칭을 위해서는 정확한 카메라(C)의 위치 정보가 요구되는데, 상술한 바와 같이 차량(V)의 좌표계와 카메라(C)의 좌표계가 다르게 설정될 수 있어, 좌표계의 변환이 필요하다. 또한, 고층 건물이 밀집한 지역과 같이 GPS 기반 차량(V)의 초기 위치 정보가 정확하지 않을 수 있으므로, 차량(V)의 위치 추정에 앞서 카메라(C) 캘리브레이션이 선행될 필요가 있다.
카메라 초기 위치 정보 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 이용하여 카메라(C) 캘리브레이션을 수행할 수 있다. 이하에서는 도 3 내지 5를 참조하여, 카메라 초기 위치 정보 획득부(110)의 동작을 상세히 설명한다.
도 3은 일 실시예에 따른 카메라 초기 위치 정보 획득부에 의한 카메라 초기 위치 정보 획득 방법의 흐름도이고, 도 4는 일 실시예에 따른 랜드마크의 매칭 방법을 설명하기 위한 도면이고, 도 5는 도 3의 카메라 초기 위치 정보 획득 방법에 따른 결과를 나타내는 도면이다.
도 3을 참조하면, 먼저 카메라 초기 위치 정보 획득부(110)는 위성 신호를 기초로 결정되는 GPS 기반 차량(V)의 초기 위치 정보를 획득할 수 있다(S100). 일 실시예에 따른 카메라 초기 위치 정보 획득부(110)는 차량(V)으로부터 GPS 기반 차량(V)의 초기 위치 및 초기 자세각을 포함하는 초기 위치 정보를 수신할 수 있다. 이와는 달리, 다른 실시예에 따른 카메라 초기 위치 정보 획득부(110)는 차량(V)으로부터 GPS 기반 챠량의 초기 위치만을 수신하고, 이를 이용하여 차량(V)의 초기 자세각을 포함하는 초기 위치 정보를 획득할 수도 있다.
차량(V)으로부터 GPS 기반 차량(V)의 초기 위치만을 수신하는 경우, 카메라 초기 위치 정보 획득부(110)는 수신된 GPS 기반 차량(V)의 초기 위치를 이용하여 차량(V)의 초기 자세각을 획득할 수 있다. 구체적으로, 카메라 초기 위치 정보 획득부(110)는 연속하여 수신된 GPS 기반 차량(V)의 초기 위치를 기초로 차량(V)의 진행방향을 나타내는 XV축을 획득하고, 정밀 지도 상의 차선에 의해 결정되는 지면 영역으로부터 수직 방향으로의 ZV축을 획득한 후, ZV축에 대하여 XV축으로의 외적(Cross Product)을 수행하여 YV축을 획득할 수 있다. 나아가, 위성 신호에 내제된 오차에 의해 앞서 획득한 XV축과 YV축이 수직이 아닐 수 있음을 고려하여, 카메라 초기 위치 정보 획득부(110)는 ZV축에 대하여 YV축으로의 외적(Cross Product)을 수행하여 XV축을 보정할 수 있다.
이를 통해, 카메라 초기 위치 정보 획득부(110)는 카메라(C) 초기 위치인 3차원 좌표 및 초기 자세각인 3차원 좌표축을 획득할 수 있다.
그 다음, 카메라 초기 위치 정보 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 1 관심 영역을 결정할 수 있다(S110). 구체적으로, 카메라 초기 위치 정보 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이내의 영역을 제 1 관심 영역으로 결정할 수 있다. 예를 들어, 제 1 반경은 수 m 이하일 수 있다.
제 1 관심 영역이 결정되면, 카메라 초기 위치 정보 획득부(110)는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 카메라(C)에 의해 촬영된 영상에 매칭하여 카메라(C)의 초기 자세각을 획득할 수 있다(S120). 구체적으로, 카메라 초기 위치 정보 획득부(110)는 수학식 1에 따라 카메라(C)의 초기 자세각에 따른 회전 행렬 R을 획득할 수 있다.
Figure PCTKR2018013252-appb-M000001
여기서, 수학식 1의 해인 S*는 카메라(C)의 초기 자세각에 대한 회전 행렬 R과 초기 위치에 대한 이동 행렬 T로 구성되는 초기 위치 정보를 나타내고, Zk는 영상으로부터 검출된 차선의 좌표를 의미하고, Pk는 Zk에 대응되는 정밀 지도 상의 랜드마크의 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 정밀 지도 상의 랜드마크 좌표를 영상에 투영하는 함수를 의미하며, 수학식 2에 따라 정의될 수 있다.
Figure PCTKR2018013252-appb-M000002
여기서, T는 카메라(C)의 초기 위치에 대한 이동 행렬을 의미하고, R은 카메라(C)의 초기 자세각에 대한 회전 행렬을 의미하고, P는 정밀 지도 상에서 랜드마크의 좌표를 의미하고, K는 카메라(C) 좌표계에 기초한 좌표를 카메라(C)에 의해 촬영된 영상으로 투영하기 위한 카메라(C) 내부 파라미터 행렬을 의미할 수 있다.
수학식 1의 해를 구하기 위해, 카메라 초기 위치 정보 획득부(110)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
도 4는 2차원 공간 상에서 특징점 PI1, PI2, PI3로 구성되는 Point Cloud Set LI와 특징점 PM1, PM2, PM3, PM11, PM12, PM13로 구성되는 Point Cloud Set LM을 예시한 도면으로, 점선 영역은 내부 특징점의 공분산을 의미할 수 있다.
도 4를 참조하면, 차선과 같이 일방향으로 연장되는 랜드마크의 Point Cloud Set의 특징점에 대한 공분산은 연장 방향으로 형성되는 타원 형상일 수 있다. 이를 기초로, 카메라 초기 위치 정보 획득부(110)는 서로 가장 가까운 특징점들을 대응관계로 하여 수학식 1의 해를 반복 연산함으로써 제 1 랜드마크를 영상에 매칭할 수 있다. 도 4에서 점선으로 연결되는 특징점은 상호 대응관계를 나타낼 수 있다.
일 방향으로 연장되는 차선에 대한 제 1 랜드마크를 영상에 매칭하고자 수학식 1을 연산하는 경우, 차선이 연장되는 종 방향에 대해서는 오차가 큰 반면, 횡 방향에 대해서는 오차가 작을 수 있다. 그 결과, 카메라(C)의 초기 자세각에 대한 회전 행렬 R은 신뢰할 만한 정확도를 가질 수 있다.
반면 카메라(C)의 초기 위치에 대한 이동 행렬 T는 회전 행렬 R에 비해 부정확할 수 있다. 따라서, 카메라 초기 위치 정보 획득부(110)는 차선 이외의 제 2 랜드마크를 영상에 매칭함으로써 카메라(C)의 초기 위치에 대한 이동 행렬 T를 구할 수 있다. 구체적으로, 카메라 초기 위치 정보 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 2 관심 영역을 결정할 수 있다(S130). 구체적으로, 카메라 초기 위치 정보 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이상의 제 2 반경 이내의 영역을 제 2 관심 영역으로 결정할 수 있다. 카메라(C) 초기 위치 정보 중 초기 자세각이 획득된 바, 보다 넓은 범위 내의 랜드마크를 이용함으로써 카메라(C) 초기 위치를 정확하게 획득하기 위함이다. 이 때, 제 2 반경은 수백 m 이하일 수 있다.
그 다음, 카메라 초기 위치 정보 획득부(110)는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 카메라(C)의 초기 자세각을 기준으로 영상에 매칭하여 카메라(C)의 초기 위치를 획득할 수 있다(S140). 구체적으로, 카메라 초기 위치 정보 획득부(110)는 수학식 1에 앞서 획득한 카메라(C) 초기 자세각에 대한 회전 행렬 R을 대입하여 연산함으로써, 카메라(C) 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이 때, 하나의 카메라(C) 초기 자세각에 대한 회전 행렬 R에 대응하는 복수의 카메라(C) 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이렇게 획득된 카메라(C) 초기 위치 및 초기 자세각을 포함하는 초기 위치 정보는 후술하는 카메라(C) 위치 정보를 추정하기 위한 입력값으로 이용될 수 있다.
단순히 GPS 기반 차량(V)의 초기 위치 정보를 카메라(C)의 위치 정보로 하여 카메라(C) 위치 정보를 추정하는 경우에 비해, 상술한 방법에 따를 때 보다 정확한 카메라(C) 초기 위치 정보를 입력값으로 이용하므로, 카메라(C) 위치 정보 추정의 정확도 및 처리 속도를 향상시킬 수 있다.
도 5는 랜드마크 매칭을 통해 획득된 카메라(C) 초기 위치 정보를 입력값으로 할 때 획득되는 복수의 후보군을 정밀 지도 상에 나타낸 경우를 예시한다. 구체적으로, 도 5에서는 복수의 랜드마크 LM을 포함하는 정밀 지도 상에 상술한 방법에 따라 추정되는 복수의 후보 위치 PC가 도시된다. GPS 기반 차량의 초기 위치를 PG라 하고, 차량의 실제 위치를 PR이라 하고 할 때, GPS 기반 차량(V)의 초기 위치 PG에 비해 랜드마크 매칭 결과 PC가 차량(V)의 실제 위치 PR에 더욱 근접하여 나타남을 확인할 수 있다.
카메라(C) 초기 위치 정보가 획득되면, 카메라 추정 위치 정보 획득부(120)는 카메라(C)의 초기 위치를 입력값으로하여 카메라(C)의 추정 위치 정보를 획득할 수 있다. 이하에서는 도 6 내지 10을 참조하여, 카메라(C)의 추정 위치 정보 획득 방법을 상세히 설명한다.
도 6은 일 실시예에 따른 카메라 추정 위치 정보 획득부에 의한 카메라 추정 위치 정보 획득 방법의 흐름도이고, 도 7은 일 실시예에 따른 카메라에 의해 촬영된 영상에서 차선에 대한 제 1 랜드마크 및 차선 이외의 제 2 랜드마크 추출 결과를 예시한 도면이고, 도 8은 도 7의 영상에 정밀 지도의 랜드마크를 매칭시킨 결과를 예시한 도면이고, 도 9a 및 9b는 도 8의 매칭에 따른 오차를 예시한 도면이고, 도 10은 일 실시예에 따른 카메라 추정 위치 정보 획득 방법에 따른 최종 결과를 예시한 도면이다.
도 6을 참조하면, 카메라 추정 위치 정보 획득부(120)는 카메라(C)의 초기 위치 정보 주변에 복수의 후보 위치 정보를 샘플링 할 수 있다(S200). 구체적으로, 카메라 추정 위치 정보 획득부(120)는 카메라(C) 초기 위치 정보를 평균으로 하고, 미리 정해진 공분산으로 에러 모델링이 설정된 가우시안 확률 모델을 이용하여 샘플링을 수행할 수 있다. 이 때, 가우시안 확률 모델은 자세각 3자유도, 위치 3자유도를 가지는 최소 6차원으로 정의될 수 있다.
만약, 카메라(C)의 초기 위치 정보가 복수인 경우, 카메라 추정 위치 정보 획득부(120)는 각각의 카메라(C) 초기 위치 정보에 대하여 가우시안 확률 모델에 따라 샘플링을 수행할 수 있다.
그 다음, 카메라 추정 위치 정보 획득부(120)는 Particle Filter를 이용하여 카메라(C)의 추정 위치 정보를 획득할 수 있다. 구체적으로, 카메라 추정 위치 정보 획득부(120)는 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영할 수 있다(S210). 이 때, 카메라 추정 위치 정보 획득부(120)는 수학식 3에 따를 수 있다.
Figure PCTKR2018013252-appb-M000003
여기서, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
이를 위해, 카메라 추정 위치 정보 획득부(120)는 차량(V)으로부터 휠 속도 정보 및 요 레이트 정보를 포함하는 주행 정보를 수신할 수 있다.
그 다음, 카메라 추정 위치 정보 획득부(120)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 영상 간 매칭 오차에 기초하여 복수의 후보 위치 정보 각각에 가중치를 부여할 수 있다(S220).
이를 위해, 카메라 추정 위치 정보 획득부(120)는 랜드마크가 추출된 영상을 이용할 수 있다. 도 7을 참조하면, 카메라(C)에 의해 촬영된 영상에서 지면에 흰색 선으로 추출된 차선에 대한 제 1 랜드마크 LI1 및 전방에 검은 네모 형상으로 추출된 표지판에 대한 제 2 랜드마크 LI2 를 확인할 수 있다.
이 때, 주행 정보의 반영 결과 도로를 벗어난 후보 위치 정보 또는 차량(V)의 진행 방향과 반대 방향의 도로에 존재하는 후보 위치 정보는 배제할 수 있다.
영상으로부터 제 1 랜드마크 LI1 및 제 2 랜드마크 LI2가 추출되면, 카메라 추정 위치 정보 획득부(120)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크를 영상에 매칭할 수 있다. 이 때, 카메라 추정 위치 정보 획득부(120)는 랜드마크 매칭을 위해 도 2의 수학식을 이용할 수 있다.
도 8을 참조하면, 특정 후보 위치 정보에 대응되는 정밀 지도 상에서 선 형상으로 추출된 차량(V)에 대한 제 1 랜드마크 LM1 및 전방에 십자 형상으로 추출된 차선 이외의 제 2 랜드마크 LM2가 도 7의 영상에 매칭됨을 확인할 수 있다. 이 때, 각각의 제 1 랜드마크 LI1, LM1 및 각각의 제 2 랜드마크 LI2, LM2의 매칭 결과 오차가 존재할 수 있다.
도 9a를 참조하면, 제 2 랜드마크 LI2, LM2의 매칭 결과 거리 d2만큼의 오차가 존재함을 확인할 수 있다. 또한, 도 9b를 참조하면, 제 1 랜드마크 LI1, LM1의 매칭 결과 거리 d1만큼의 오차가 존재함을 확인할 수 있다.
매칭 오차가 확인되면, 카메라 추정 위치 정보 획득부(120)는 매칭 오차에 대응되는 가중치를 획득할 수 있으며, 이는 수학식 4를 따를 수 있다.
Figure PCTKR2018013252-appb-M000004
여기서, Gσ는 가중치를 의미하며, (Δx, Δy)는 영상에서의 x와 y에 대한 오차를 의미하고, σ는 표준편차를 의미할 수 있다.
그 다음, 카메라 추정 위치 정보 획득부(120)는 해당 후보 위치 정보에 대응되는 가중치를 부여함으로써, 매칭 오차를 반영할 수 있다.
가중치 부여 후, 카메라 추정 위치 정보 획득부(120)는 가중치가 부여된 복수의 후보 위치 정보를 이용하여 복수의 후보 위치 정보를 새롭게 샘플링 할 수 있다(S230). 가중치가 부여된 결과에 기초하여 새롭게 샘플링을 수행하므로, 매칭 오차가 작은 후보 위치 정보 주변으로 복수의 후보 위치 정보가 수렴할 수 있다.
샘플링이 완료되면, 카메라 추정 위치 정보 획득부(120)는 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하인지 확인할 수 있다(S240). 여기서, 기준 표준편차란 복수의 후보 위치를 이용하여 카메라(C) 추정 위치 정보를 획득할 수 있는 최대 표준편차를 의미할 수 있다.
만약, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 카메라 추정 위치 정보 획득부(120)는 새롭게 샘플링된 복수의 후보 위치 정보의 평균값을 카메라(C)의 추정 위치 정보로서 획득할 수 있다(S250).
반면, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차보다 크면, 카메라 추정 위치 정보 획득부(120)는 새롭게 샘플링된 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영(S260)한 후, 다시 단계 S220에 진입할 수 있다.
도 10은 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하가 될 때까지 상술한 방법을 반복 수행한 결과를 정밀 지도 상에 예시한다. 매칭 오차가 작은 후보 위치 정보에 높은 가중치를 부여함으로써, 매칭 오차가 작은 후보 위치 정보 주변으로 새롭게 샘플링된 후보 위치 PC가 수렴함을 확인할 수 있다.
카메라(C)의 추정 위치 정보가 획득되면, 차량(V)의 추정 위치 정보 획득부는 카메라(C)의 추정 위치 정보의 유효성을 검증한 후, 유효한 카메라(C)의 추정 위치 정보를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다. 이하에서는, 도 11 및 12를 참조하여, 차량(V)의 추정 위치 정보 획득 방법을 상세히 설명한다.
도 11은 일 실시예에 따른 차량 추정 위치 정보 획득부에 의한 차량 추정 위치 정보 획득 방법의 흐름도이고, 도 12는 일 실시예에 따른 차량 추정 위치 정보 획득 방법에 따른 최종 랜드마크 매칭 결과를 예시한 도면이다.
도 11을 참조하면, 차량 추정 위치 정보 획득부(130)는 먼저 카메라(C)의 추정 위치 정보에 대응되는 정밀 지도의 랜드마크 중 차선 이외의 제 2 랜드마크를 확인할 수 있다(S300).
그 다음, 차량 추정 위치 정보 획득부(130)는 제 2 랜드마크 각각의 매칭 오차에 대응되는 카메라(C) 추정 위치 정보의 가중치를 획득할 수 있다(S310). 여기서, 카메라(C) 추정 위치 정보의 가중치는 상술한 수학식 4를 따를 수 있다.
제 2 랜드마크 각각의 매칭 오차에 대응되는 가중치가 획득되면, 차량 추정 위치 정보 획득부(130)는 기준치 이상의 가중치의 수가 기준 개수 이상인지 확인할 수 있다(S320). 여기서, 기준치란 카메라(C)의 위치 정보를 유효한 것으로 결정할 수 있을 때의 매칭 오차에 따른 최소 가중치를 의미하고, 기준 개수란 카메라(C)의 위치 정보를 유효한 것으로 결정할 수 있을 때의 기준치 이상의 가중치의 최소 개수를 의미할 수 있다.
이 때, 기준 개수는 확인된 제 2 랜드마크의 수에 따라 결정될 수 있으며, 일 실시예에 따른 기준 개수는 확인된 제 2 랜드마크의 수에 대한 임의의 비율로 결정될 수 있다.
만약, 기준치 이상의 가중치의 수가 기준 개수 이상이면, 차량 추정 위치 정보 획득부(130)는 추정된 카메라(C)의 위치 정보를 유효한 것으로 결정할 수 있다(S330). 그 결과, 차량 추정 위치 정보 획득부(130)는 카메라(C) 추정 위치 정보를 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다(S340). 이 때, 차량 추정 위치 정보 획득부(130)는 이동 행렬 T 및 회전 행렬 R을 이용하여 차량(V) 추정 위치 정보를 획득할 수 있다.
반면, 기준치 이상의 가중치의 수가 기준 개수 미만이면, 차량 추정 위치 정보 획득부(130)는 추정된 카메라(C)의 위치 정보를 유효하지 않은 것으로 결정할 수 있다(S350). 그 결과, 차량 추정 위치 정보 획득부(130)는 카메라(C)의 초기 위치 정보를 새롭게 획득(S360)함으로써, 차량(V) 추정 위치 획득 과정을 다시 수행할 수 있다.
도 11에서는 단일 영상 기준으로 기준치 이상의 가중치의 수가 기준 개수 이상인지 여부를 기준으로 추정된 카메라(C)의 위치 정보의 유효성을 검증하였다. 이와는 달리, 차량 추정 위치 정보 획득부(130)는 매 프레임 영상에 대하여 상술한 유효성 검증을 수행하고, 수행 결과를 미리 정해진 기준과 비교하여 추정된 카메라(C)의 위치 정보의 유효성을 검증할 수도 있다. 또는, 차량 추정 위치 정보 획득부(130)는 차량(V)이 미리 정해진 기준 거리를 주행하는 동안 검증을 반복 수행하여, 추정된 카메라(C) 위치 정보가 유효하지 않으면, 카메라(C)의 초기 위치 정보를 새롭게 획득하는 것도 가능할 수 있다.
이처럼, 차량 추정 위치 정보 획득부(130)는 매 프레임 영상, 미리 정해진 주기, 또는 미리 정해진 주행 거리를 기준으로 반복하여 유효성 검증을 수행함으로써, 추정된 카메라(C) 위치 정보를 모니터링 할 수 있다.
도 12는 도 11에 따라 획득된 차량(V) 추정 위치 정보에 기초하여 랜드마크를 영상에 매칭한 결과를 나타낸다. 차량(V)의 위치가 정확하게 추정된 바, 차선에 대한 제 1 랜드마크 LI1, LM1 및 표지판에 대한 제 2 랜드마크 LI2, LM2가 영상에 정확히 매칭됨을 확인할 수 있다.
상술한 실시예에 따른 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는, 위성 신호뿐만 아니라 차량의 카메라에 의해 획득되는 영상 및 정밀 지도를 이용하여 보다 정확한 차량의 위치를 추정할 수 있다. 또한, 라이다(LiDar)와 같은 고가의 장치 없이도 차량의 위치 추정이 가능하므로, 제조 원가를 절감할 수 있다.
한편, 상술한 일 실시예에 따른 차량의 위치 추정 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체는 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.

Claims (20)

  1. GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 및
    상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법.
  2. 제 1 항에 있어서,
    상기 카메라의 초기 위치 정보를 획득하는 단계는,
    상기 정밀 지도에서 상기 GPS 기반 차량의 초기 위치 정보에 의해 결정되는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 상기 영상에 매칭하여 상기 카메라의 초기 위치 정보 중 초기 자세각을 획득하는 단계를 포함하는 차량의 위치 추정 방법.
  3. 제 2 항에 있어서,
    상기 정밀 지도에서 상기 GPS 기반 차량의 초기 위치 정보에 의해 결정되는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 상기 영상에 매칭하여 상기 카메라의 초기 위치 정보 중 초기 위치를 획득하는 단계를 더 포함하는 차량의 위치 추정 방법.
  4. 제 3 항에 있어서,
    상기 카메라의 초기 위치를 획득하는 단계는,
    상기 획득된 카메라의 초기 자세각을 기준으로, 상기 제 1 관심 영역을 포함하는 상기 제 2 관심 영역 내에 존재하는 상기 제 2 랜드마크를 상기 영상에 매칭하는 차량의 위치 추정 방법.
  5. 제 1 항에 있어서,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및
    상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법.
  6. 제 5 항에 있어서,
    상기 카메라의 추정 위치 정보를 획득하는 단계는,
    상기 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 복수의 후보 위치 정보 각각에 가중치를 부여하는 단계;
    상기 가중치가 부여된 복수의 후보 위치 정보에 기초하여 상기 복수의 후보 위치 정보를 변경하는 단계; 및
    상기 변경된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 상기 변경된 복수의 후보 위치 정보의 평균값을 상기 카메라의 추정 위치 정보로서 획득하는 단계를 포함하는 차량의 위치 추정 방법.
  7. 제 6 항에 있어서,
    상기 카메라의 추정 위치 정보를 획득하는 단계는,
    상기 변경된 복수의 후보 위치 정보의 표준편차가 기준 표준편차보다 크면, 상기 변경된 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 카메라의 추정 위치 정보를 획득하는 단계를 더 포함하는 차량의 위치 추정 방법.
  8. 제 5 항에 있어서,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    상기 카메라의 추정 위치 정보에 대응되는 상기 정밀 지도의 랜드마크 중 차선에 대한 제 1 랜드마크를 제외한 제 2 랜드마크와 상기 영상 간 매칭 오차를 기초로 상기 카메라의 추정 위치 정보를 검증하는 단계; 및
    상기 검증에 따라 상기 카메라의 추정 위치 정보가 유효하다고 결정되면, 상기 카메라의 추정 위치 정보로부터 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법.
  9. 제 8 항에 있어서,
    상기 카메라의 추정 위치 정보를 검증하는 단계는,
    상기 제 2 랜드마크 각각에 대응되는 상기 카메라의 추정 위치 정보의 가중치를 획득하는 단계; 및
    상기 획득된 가중치 중 기준치 이상인 가중치의 수가 기준 개수 이상이면, 상기 카메라의 추정 위치 정보를 유효하다고 결정하는 단계를 포함하는 차량의 위치 추정 방법.
  10. 제 8 항에 있어서,
    상기 카메라의 추정 위치 정보를 검증하는 단계는,
    매 프레임마다 상기 카메라에 의해 획득되는 상기 영상과 상기 제 2 랜드마크 간 매칭 오차를 기초로 상기 카메라의 추정 위치 정보를 검증하는 차량의 위치 추정 방법.
  11. 제 8 항에 있어서,
    상기 검증에 따라 상기 카메라의 추정 위치 정보가 유효하지 않다고 결정되면, 상기 카메라의 초기 위치 정보를 새롭게 획득하는 단계를 더 포함하는 차량의 위치 추정 방법.
  12. GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 및
    상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  13. 제 12 항에 있어서,
    상기 카메라의 초기 위치 정보를 획득하는 단계는,
    상기 정밀 지도에서 상기 GPS 기반 차량의 초기 위치 정보에 의해 결정되는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 상기 영상에 매칭하여 상기 카메라의 초기 위치 정보 중 초기 자세각을 획득하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  14. 제 13 항에 있어서,
    상기 정밀 지도에서 상기 GPS 기반 차량의 초기 위치 정보에 의해 결정되는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 상기 영상에 매칭하여 상기 카메라의 초기 위치 정보 중 초기 위치를 획득하는 단계를 더 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  15. 제 14 항에 있어서,
    상기 카메라의 초기 위치를 획득하는 단계는,
    상기 획득된 카메라의 초기 자세각을 기준으로, 상기 제 1 관심 영역을 포함하는 상기 제 2 관심 영역 내에 존재하는 상기 제 2 랜드마크를 상기 영상에 매칭하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  16. 제 12 항에 있어서,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및
    상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  17. 제 16 항에 있어서,
    상기 카메라의 추정 위치 정보를 획득하는 단계는,
    상기 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 오차에 기초하여 상기 복수의 후보 위치 정보 각각에 가중치를 부여하는 단계;
    상기 가중치가 부여된 복수의 후보 위치 정보에 기초하여 상기 복수의 후보 위치 정보를 변경하는 단계; 및
    상기 변경된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 상기 변경된 복수의 후보 위치 정보의 평균값을 상기 카메라의 추정 위치 정보로서 획득하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  18. 제 16 항에 있어서,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    상기 카메라의 추정 위치 정보에 대응되는 상기 정밀 지도의 랜드마크 중 차선에 대한 제 1 랜드마크를 제외한 제 2 랜드마크와 상기 영상 간 매칭 오차를 기초로 상기 카메라의 추정 위치 정보를 검증하는 단계; 및
    상기 검증에 따라 상기 카메라의 추정 위치 정보가 유효하다고 결정되면, 상기 카메라의 추정 위치 정보로부터 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  19. 제 18 항에 있어서,
    상기 카메라의 추정 위치 정보를 검증하는 단계는,
    상기 제 2 랜드마크 각각에 대응되는 상기 카메라의 추정 위치 정보의 가중치를 획득하는 단계; 및
    상기 획득된 가중치 중 기준치 이상인 가중치의 수가 기준 개수 이상이면, 상기 카메라의 추정 위치 정보를 유효하다고 결정하는 단계를 포함하는 차량의 위치 추정 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
  20. GPS 기반 차량의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 카메라 초기 위치 정보 획득부(110);
    상기 카메라의 초기 위치 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 비교 결과를 이용하여 상기 카메라의 추정 위치 정보를 획득하는 카메라 추정 위치 정보 획득부(120); 및
    상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 차량 추정 위치 정보 획득부(130)를 포함하는 차량의 위치 추정 장치(100).
PCT/KR2018/013252 2018-05-25 2018-11-02 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체 WO2019225817A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880093798.5A CN112166059A (zh) 2018-05-25 2018-11-02 车辆的位置估计装置、车辆的位置估计方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
US17/056,670 US20210207977A1 (en) 2018-05-25 2018-11-02 Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180059626A KR102420476B1 (ko) 2018-05-25 2018-05-25 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR10-2018-0059626 2018-05-25

Publications (1)

Publication Number Publication Date
WO2019225817A1 true WO2019225817A1 (ko) 2019-11-28

Family

ID=68616385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013252 WO2019225817A1 (ko) 2018-05-25 2018-11-02 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체

Country Status (4)

Country Link
US (1) US20210207977A1 (ko)
KR (1) KR102420476B1 (ko)
CN (1) CN112166059A (ko)
WO (1) WO2019225817A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114537442A (zh) * 2022-03-21 2022-05-27 中维建通信技术服务有限公司 移动智能车辆管理方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
KR20210041224A (ko) * 2019-10-07 2021-04-15 현대자동차주식회사 자동차 및 그를 위한 주변 정보 출력 방법
KR102305393B1 (ko) 2019-12-27 2021-09-28 한국산업기술대학교산학협력단 Vlc를 활용한 실내 위치 추적 방법 및 장치
KR102662730B1 (ko) * 2020-03-04 2024-05-02 주식회사 에이치엘클레무브 운전자 보조 장치 및 그 제어 방법
CN111523471B (zh) * 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质
KR102218881B1 (ko) * 2020-05-11 2021-02-23 네이버랩스 주식회사 차량 위치 결정 방법 및 시스템
US11906613B2 (en) * 2020-06-17 2024-02-20 Sony Group Corporation Electronic device, an electronic reference device, and related method for positioning of the electronic device
CN111833717B (zh) * 2020-07-20 2022-04-15 阿波罗智联(北京)科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
US20220189294A1 (en) * 2020-12-10 2022-06-16 Argo AI, LLC Data integrity verification and misbehavior detection and reporting of connected vehicles through smart infrastructure
CN112949609B (zh) * 2021-04-16 2024-05-28 北京车和家信息技术有限公司 一种车道识别方法、装置、介质和电子设备
JP2024010995A (ja) * 2022-07-13 2024-01-25 株式会社東芝 パターン識別装置
JP7351391B1 (ja) 2022-09-22 2023-09-27 いすゞ自動車株式会社 車線内車両位置推定装置
CN115328171B (zh) * 2022-10-11 2023-02-10 青岛慧拓智能机器有限公司 装载点位置的生成方法、装置、芯片、终端、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR20110060315A (ko) * 2009-11-30 2011-06-08 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
KR20120112293A (ko) * 2012-08-24 2012-10-11 전자부품연구원 이동체의 위치 판단 장치 및 위치 판단 방법
US20130155222A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Apparatus and method for recognizing location of vehicle
KR20170104242A (ko) * 2016-03-07 2017-09-15 한국전자통신연구원 카메라 자세 추정 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5127128B2 (ja) * 2004-12-21 2013-01-23 韓國電子通信研究院 カメラの位置及び姿勢情報補正方法及びその装置
JP5162103B2 (ja) * 2006-05-15 2013-03-13 トヨタ自動車株式会社 支援制御装置
CN103534431B (zh) * 2011-04-15 2016-09-14 亨特道格拉斯公司 包括热成型板条叶片的建筑开口覆盖物
US9740942B2 (en) * 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US9558584B1 (en) * 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
KR101454153B1 (ko) * 2013-09-30 2014-11-03 국민대학교산학협력단 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
CN103954275B (zh) * 2014-04-01 2017-02-08 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
US9151626B1 (en) * 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
KR101624185B1 (ko) * 2014-12-09 2016-05-25 현대자동차주식회사 단말기, 그와 통신하는 차량 및 그의 제어 방법
CA3067160A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
EP3306429B1 (en) * 2015-05-28 2019-09-25 Nissan Motor Co., Ltd. Position estimation device and position estimation method
CN105021201B (zh) * 2015-08-17 2017-12-01 武汉光庭信息技术有限公司 利用交通标示牌的坐标反推汽车自身位置的系统及方法
WO2017076928A1 (en) * 2015-11-02 2017-05-11 Starship Technologies Oü Method, device and assembly for map generation
CN107031523A (zh) * 2015-11-30 2017-08-11 法乐第未来公司 利用已知目标进行基于摄像头的车辆位置确定
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
KR20170097435A (ko) 2016-02-18 2017-08-28 한국전자통신연구원 자율주행 시스템에서의 교차로 우회전 판단 장치 및 그 방법
CN105783936B (zh) * 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
EP3527456A4 (en) * 2016-10-13 2019-10-23 Nissan Motor Co., Ltd. METHOD AND DEVICE FOR ESTIMATING HOST POSITION
CN106774335B (zh) * 2017-01-03 2020-01-21 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
CN106981082B (zh) * 2017-03-08 2020-04-17 驭势科技（北京）有限公司 车载摄像头标定方法、装置及车载设备
JP6932058B2 (ja) * 2017-10-11 2021-09-08 日立Astemo株式会社 移動体の位置推定装置及び位置推定方法
US20200302662A1 (en) * 2019-03-23 2020-09-24 Uatc, Llc System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR20110060315A (ko) * 2009-11-30 2011-06-08 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
US20130155222A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Apparatus and method for recognizing location of vehicle
KR20120112293A (ko) * 2012-08-24 2012-10-11 전자부품연구원 이동체의 위치 판단 장치 및 위치 판단 방법
KR20170104242A (ko) * 2016-03-07 2017-09-15 한국전자통신연구원 카메라 자세 추정 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114537442A (zh) * 2022-03-21 2022-05-27 中维建通信技术服务有限公司 移动智能车辆管理方法及系统
CN114537442B (zh) * 2022-03-21 2022-09-23 中维建通信技术服务有限公司 移动智能车辆管理方法及系统

Also Published As

Publication number Publication date
CN112166059A (zh) 2021-01-01
US20210207977A1 (en) 2021-07-08
KR102420476B1 (ko) 2022-07-13
KR20190134231A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2020036295A1 (ko) 좌표계 변환 정보 획득 장치 및 방법
CA3027921C (en) Integrated sensor calibration in natural scenes
WO2019221349A1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
CN106650705B (zh) 区域标注方法、装置和电子设备
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别系统及方法
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN110060298B (zh) 一种基于图像的车辆位置和姿态确定系统以及相应的方法
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111731304B (zh) 车辆控制装置、车辆控制方法及存储介质
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
CN104268884B (zh) 一种基于车联网的车道偏离预警的标定系统和方法
WO2022114455A1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18919490

Country of ref document: EP

Kind code of ref document: A1