WO2020180076A1 - 차량용 센서의 보정 정보 획득 장치 및 방법 - Google Patents

차량용 센서의 보정 정보 획득 장치 및 방법 Download PDF

Info

Publication number
WO2020180076A1
WO2020180076A1 PCT/KR2020/002976 KR2020002976W WO2020180076A1 WO 2020180076 A1 WO2020180076 A1 WO 2020180076A1 KR 2020002976 W KR2020002976 W KR 2020002976W WO 2020180076 A1 WO2020180076 A1 WO 2020180076A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
sensor
estimated
yaw rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/002976
Other languages
English (en)
French (fr)
Inventor
이성수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN202080018430.XA priority Critical patent/CN113544034B/zh
Publication of WO2020180076A1 publication Critical patent/WO2020180076A1/ko
Priority to US17/467,201 priority patent/US12188773B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors
    • B60Y2400/3032—Wheel speed sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]

Definitions

  • the present invention relates to an apparatus and method for obtaining correction information for correction of a vehicle sensor.
  • this application claims priority based on the Korean patent application (application number 10-2019-0026434) filed on March 7, 2019. The entire contents of the application on which this priority is based are incorporated by reference in this application.
  • a vehicle refers to a transportation device that travels on a road or track using fossil fuel, electricity, or the like as a power source.
  • ADAS Advanced Driver Assist System
  • the advanced driver assistance system operates according to the driving environment determined by the position of the own vehicle, it is necessary to accurately estimate the position of the vehicle.
  • a method of estimating the position of a vehicle using a satellite signal has been widely used, but in recent years, research on a method of considering various information together to increase accuracy is actively in progress.
  • an advanced driver assistance system uses vehicle movement distance detected by a wheel speed sensor mounted on the vehicle, or vehicle attitude information detected by a yaw rate sensor mounted on the vehicle. Location information can be estimated.
  • the problem to be solved by the present invention is to calculate the scale factor for the wheel speed sensor and the bias for the yaw rate sensor based on the estimated location information of the vehicle obtained by matching between a camera image and a precision map. It is to provide an apparatus and method for determining correction information of a vehicle sensor to be determined.
  • a method for determining correction information of a vehicle sensor includes: obtaining estimated location information of the vehicle based on matching information between a camera image captured by a camera of the vehicle and a landmark of a precision map; And a scale factor for the wheel speed sensor defined as a ratio of the estimated moving distance acquired based on the acquired estimated position information of the vehicle and the moving distance of the vehicle detected by the wheel speed sensor of the vehicle. And determining.
  • the step of determining the conversion coefficient for the wheel speed sensor includes two estimated movement distances in which the estimated moving distance is greater than or equal to the critical distance among estimated position information in which a diagonal component of the covariance for the obtained estimated position information of the vehicle is less than or equal to a threshold value. Selecting the estimated location information of the dogs; And obtaining a conversion coefficient for the wheel speed sensor based on the moving distance of the vehicle detected by the wheel speed sensor of the vehicle and the estimated moving distance according to the selected two estimated position information. .
  • determining the conversion coefficient for the wheel speed sensor may include storing a plurality of candidate conversion coefficients obtained based on different estimated position information; Obtaining an average of the candidate conversion coefficients of a predetermined reference number according to an order in which the storage time point is adjacent to the current time point; And determining a conversion coefficient for the wheel speed sensor based on the average of the obtained candidate conversion coefficients.
  • a method of determining correction information of a vehicle sensor includes: acquiring estimated location information of the vehicle based on matching information between a camera image captured by a camera of the vehicle and a landmark of a precision map; And determining a bias for the yaw rate sensor of the vehicle based on lane information according to the acquired estimated location information of the vehicle in the precision map.
  • the determining of a bias for the yaw rate sensor of the vehicle may include determining whether the vehicle exists on a flat ground based on the lane information on the obtained estimated position information of the vehicle in the precision map; Obtaining a yaw rate sensor value of the vehicle when the vehicle is stopped when the vehicle is on a level surface; And determining a bias for the yaw rate sensor based on the obtained yaw rate sensor value.
  • determining whether the vehicle is on a flat ground may include: acquiring the lane information on the obtained estimated location information of the vehicle in the precision map; Obtaining plane information about the ground based on the obtained lane information; And determining whether the vehicle exists on a flat ground based on the obtained plane information.
  • the step of determining whether the vehicle exists on a flat ground based on the plane information may include determining that the vehicle exists on a flat ground if the difference between the normal vector and a predetermined reference vector among the plane information is less than or equal to a threshold difference. I can.
  • the vehicle yaw rate sensor value when a diagonal component of the covariance with respect to the obtained estimated position information of the vehicle is less than or equal to a threshold value, the vehicle yaw rate sensor value may be obtained.
  • a plurality of yaw rate sensor values of the vehicle may be obtained at a plurality of times when the vehicle is stopped.
  • determining a bias for the yaw rate sensor based on the obtained yaw rate sensor values may include: generating a histogram of the obtained yaw rate sensor values; Setting a reference section based on the accumulated value in the generated histogram; And determining an average of the yaw rate sensor values in the reference period as a bias for the yaw rate sensor.
  • the obtaining of the estimated location information of the vehicle may include obtaining initial location information of the camera by matching a landmark of the precision map corresponding to the initial location information of the vehicle based on GPS with the camera image; Obtaining the estimated location information of the camera based on matching information between the landmark of the precision map and the camera image corresponding to each of the plurality of candidate location information sampled based on the initial location information of the camera and the driving information of the vehicle Step to do; And obtaining the estimated location information of the vehicle based on the estimated location information of the camera.
  • the apparatus for determining correction information for a vehicle sensor is to obtain an estimated location for obtaining the estimated location information of the vehicle based on matching information between a camera image captured by a camera of the vehicle and a landmark on a precision map. part; Determine a scale factor for the wheel speed sensor defined as the ratio of the estimated moving distance acquired based on the acquired estimated position information of the vehicle and the moving distance of the vehicle detected by the wheel speed sensor of the vehicle It includes a conversion factor determining unit.
  • an apparatus for determining correction information for a vehicle sensor may include obtaining an estimated location for obtaining the estimated location information of the vehicle based on matching information between a camera image captured by a vehicle camera and a landmark on a precision map. part; And a bias determining unit configured to determine a bias for the yaw rate sensor of the vehicle based on lane information according to the acquired estimated location information of the vehicle in the precision map.
  • the present invention it is possible to accurately determine correction information for correction of the wheel speed sensor and the yaw rate sensor, thereby increasing the accuracy of vehicle position estimation.
  • the vehicle position may be accurately estimated by a vehicle sensor including a wheel speed sensor and a yaw rate sensor.
  • 1 and 2 are control block diagrams of a system for determining correction information for a vehicle sensor according to various embodiments of the present disclosure.
  • FIG. 3 is a flowchart of a method of determining correction information of a vehicle sensor according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method of obtaining estimated location information of a vehicle according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating estimated location information of a vehicle obtained by an estimated location obtaining unit according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a method for determining a conversion factor according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a method of correcting a position of a vehicle using a conversion factor for a wheel speed sensor according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a bias determination method according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a histogram of a yaw rate sensor value according to an embodiment of the present invention.
  • 1 and 2 are control block diagrams of a system for determining correction information for a vehicle sensor according to various embodiments of the present disclosure.
  • a system 1 for determining correction information for a vehicle sensor may include a vehicle V and an apparatus 100 for determining correction information for a vehicle sensor.
  • the vehicle V may refer to a transportation means capable of moving humans, objects, animals, etc. from one location to another while driving along a road or track.
  • the vehicle V may include a three-wheeled or four-wheeled vehicle, a two-wheeled vehicle such as a motorcycle, a construction machine, a prime mover bicycle, a bicycle, and a train running on a track.
  • the vehicle V of FIG. 1 includes a GPS module and may receive a satellite signal including navigation data from at least one Global Position System (GPS) satellite.
  • GPS Global Position System
  • the vehicle V may acquire a current location of the GPS-based vehicle V and a traveling direction of the vehicle V based on a satellite signal.
  • the vehicle V of FIG. 1 may store a precision map in advance.
  • the precision map has high accuracy for safe and precise vehicle V control, and may mean a map including information on altitude, slope, curvature, etc. as well as a plane position of a road.
  • the precision map may mean a map further including information on road facilities such as lanes, signs, traffic lights, and guard rails.
  • the vehicle V of FIG. 1 may be equipped with an Advanced Driver Assistance System (ADAS).
  • ADAS Advanced Driver Assistance System
  • the advanced driver assistance system is a system that provides driving environment information such as vehicle (V) status, driver status, and surrounding environment information or actively controls the vehicle (V) in order to reduce the burden on the driver and improve convenience.
  • driving environment information such as vehicle (V) status, driver status, and surrounding environment information or actively controls the vehicle (V) in order to reduce the burden on the driver and improve convenience.
  • the advanced driver assistance system mounted on the vehicle V may include a driving environment detection means for detecting a driving environment of the vehicle V.
  • the driving environment detection means irradiates a pulse around the vehicle V and receives an echo pulse reflected from an object located in a corresponding direction to detect a driving environment, a radar, a vehicle ( V)
  • a LiDAR that irradiates a laser to the periphery and receives a laser reflected from an object located in the corresponding direction, and/or an ultrasonic wave is irradiated around the vehicle (V), and reflected from an object located in that direction. It may include an ultrasonic sensor or the like for receiving echo ultrasonic waves.
  • advanced driver assistance systems may include cameras as sensing means.
  • the camera is provided to face the front, side, and/or rear of the vehicle V, and the camera image in the corresponding direction may be photographed.
  • the captured camera image may be used to acquire information such as lanes or signs as well as objects around the vehicle V through an image processing process.
  • the current location of the vehicle V can be estimated by matching the obtained camera image with the above-described precision map.
  • the behavior information of the vehicle V may be referred to.
  • the vehicle (V) is a motion information detection sensor that detects the moving distance of the vehicle (V) based on the rotational speed of the wheel of the vehicle (V) and/or the attitude information of the vehicle (V). It can be equipped with a yaw rate sensor that detects.
  • the motion information detection sensor mounted on the vehicle V in order to detect the behavior information may have a different detection accuracy depending on the sensor's own factor and/or the behavior information detection environment.
  • the wheel speed sensor is affected by the air pressure of the tire mounted on the wheel, and thus an error may occur in the output sensor value.
  • the yaw rate sensor among the behavior sensors may have a different bias value of the sensor itself due to disturbances such as operating time and internal temperature.
  • the correction information detection system determines a conversion factor as correction information for the wheel speed sensor among the motion information detection sensors mounted on the vehicle V, and the yaw rate sensor among the motion information detection sensors.
  • the bias can be determined as correction information for.
  • the apparatus 100 for determining correction information of a vehicle sensor may determine correction information of a vehicle sensor using information received from the vehicle V.
  • the correction information may include a conversion factor for the wheel speed sensor and a bias for the yaw rate sensor.
  • the apparatus 100 for determining correction information of a vehicle sensor may exchange information by communicating with the vehicle V through various known communication methods.
  • the apparatus 100 for determining correction information of a vehicle sensor according to an embodiment adopts a known communication method such as CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC, etc. V) can communicate.
  • the device 100 for determining correction information of a vehicle sensor according to another embodiment includes a wireless LAN, Wi-Fi, Bluetooth, Zigbee, and Wi-Fi Direct (WFD).
  • UWB Ultra wideband
  • infrared communication IrDA; Infrared Data Association
  • BLE Bluetooth Low Energy
  • NFC Near Field Communication
  • the method for the vehicle sensor correction information determining apparatus 100 of the present invention to communicate with the vehicle V is not limited to the above-described embodiment.
  • the vehicle sensor correction information determination device 100 obtains the estimated position information of the vehicle V based on the information received from the vehicle V, and the conversion coefficient and the yaw rate for the wheel speed sensor from the obtained estimated position information It is possible to determine the bias information for the sensor.
  • the apparatus 100 for determining correction information of a vehicle sensor may include an estimated position obtaining unit 110, a conversion factor determining unit 120, and a bias determining unit 130.
  • the estimated location obtaining unit 110 may obtain the estimated location information of the vehicle V based on matching information between the camera image captured by the camera of the vehicle V and the landmark of the precision map.
  • the estimated location information means location information obtained based on matching information between a camera image and a landmark of a precision map, and the location information may include location coordinates and an attitude angle.
  • the conversion coefficient determination unit 120 uses the estimated moving distance obtained based on the estimated position information of the vehicle V and the moving distance of the vehicle V detected by the wheel speed sensor of the vehicle V. You can determine the scale factor for.
  • the conversion coefficient may be defined as a ratio of the estimated moving distance obtained based on the estimated location information of the vehicle V and the moving distance of the vehicle V detected by the wheel speed sensor of the vehicle V.
  • the bias determiner 130 may obtain lane information based on the estimated location information of the vehicle V. That is, the bias determination unit 130 substitutes the estimated location information of the vehicle V obtained based on matching between the camera image captured by the camera of the vehicle V and the landmark of the precision map to the precision map.
  • the location of the vehicle V on the map can be estimated, and lane information previously input to the precision map can be obtained according to the estimated location on the precision map.
  • the bias determination unit 130 biases the yaw rate sensor of the vehicle V (Bias) can be determined.
  • Each configuration of the apparatus 100 for determining correction information for a vehicle sensor may be implemented as a computing device including a microprocessor, for example, a central processing unit (CPU). ), a graphic processing unit (GPU), or the like.
  • a plurality of components constituting the apparatus 100 for determining correction information for a vehicle sensor may be implemented as a single SOC (System On Chip).
  • FIG. 1 illustrates a case in which the vehicle sensor correction information determination device 100 is provided separately from the vehicle V to configure the vehicle sensor correction information determination system 1, but unlike this, the vehicle sensor correction The information determination device 100 may be provided inside the vehicle V.
  • a system 1 for determining correction information of a vehicle sensor may be configured as a vehicle V including an apparatus 100 for determining correction information of a vehicle sensor.
  • FIG. 3 is a flowchart of a method of determining correction information of a vehicle sensor according to an embodiment of the present invention.
  • the apparatus 100 for determining correction information of a vehicle sensor may obtain the estimated location information of the vehicle V based on matching information between the camera image captured by the camera of the vehicle V and the landmark of the precision map ( S100).
  • the estimated position acquisition unit 110 of the apparatus 100 for determining correction information of a vehicle sensor may acquire estimated position information of the vehicle V according to the method of FIG. 4.
  • FIG. 4 is a flowchart of a method of obtaining estimated location information of a vehicle according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating estimated location information of a vehicle obtained by an estimated location obtaining unit according to an embodiment of the present invention. to be.
  • the estimated location acquisition unit 110 may acquire initial location information of the camera by matching the landmark of the precision map corresponding to the initial location information of the GPS-based vehicle V with the camera image (S110). To this end, the estimated location obtaining unit 110 may first obtain initial location information of the GPS-based vehicle V determined based on a satellite signal.
  • the estimated position acquisition unit 110 may receive initial position information including an initial position and an initial attitude angle of the GPS-based vehicle V from the vehicle V.
  • the estimated location acquisition unit 110 according to another embodiment receives only the initial location of the GPS-based vehicle from the vehicle V, and acquires initial location information including the initial attitude angle of the vehicle V using this. You may.
  • the estimated location obtaining unit 110 may match the landmark of the precision map corresponding to the initial location information with the camera image. Specifically, the estimated location acquisition unit 110 may determine the first ROI based on initial location information of the GPS-based vehicle V on the precision map. For example, the estimated location obtaining unit 110 may determine an area within the first radius as the first ROI based on initial location information of the GPS-based vehicle V. For example, the first radius may be several meters or less.
  • the estimated position acquisition unit 110 may acquire the initial attitude angle of the camera by matching the first landmark for the lane existing in the first region of interest with the camera image captured by the camera. have. Specifically, the camera initial estimated position acquisition unit may acquire a rotation matrix R according to the initial posture angle of the camera according to Equation 1.
  • Equation 1 the solution of Equation 1, represents initial position information consisting of a rotation matrix R for the initial attitude angle of the camera and a movement matrix T for the initial position
  • Z k denotes the coordinates of the lane detected from the camera image
  • P k means the coordinates of the landmark on the precision map corresponding to Z k
  • C zk and C pk each mean the covariance representing the error for Z k and P k
  • H is the function h(). It can mean the partial derivative of (Jacobian).
  • the function h() refers to a function for projecting the coordinates of the landmark on the precision map onto the camera image, and may be defined according to Equation 2.
  • T means a movement matrix for the initial position of the camera
  • R means a rotation matrix for the initial attitude angle of the camera
  • P means the coordinates of the landmark on the precision map
  • K means the camera coordinate system. It may mean a camera internal parameter matrix for projecting coordinates onto a camera image captured by the camera.
  • the estimated position acquisition unit 110 may select at least one of known algorithms, and may use, for example, the Gauss Newton algorithm or the Levenberg-Marquardt algorithm.
  • the covariance for the feature points of the point cloud set of the landmark extending in one direction, such as a lane, may be an elliptical shape formed in the extending direction of the lane. Based on this, the estimated position acquisition unit 110 may match the first landmark to the camera image by repeatedly calculating the solution of Equation 1 by using the feature points closest to each other as a correspondence relationship.
  • Equation 1 When Equation 1 is calculated to match a first landmark for a lane extending in one direction with a camera image, an error may be large in a longitudinal direction in which the lane extends, whereas an error may be small in a lateral direction. As a result, the rotation matrix R for the initial attitude angle of the camera can have reliable accuracy.
  • the estimated position obtaining unit 110 may obtain a movement matrix T for the initial position of the camera by matching the second landmark other than the lane with the camera image.
  • the camera initial estimated location acquisition unit 110 may determine the second ROI based on the initial location information of the GPS-based vehicle V on the precision map.
  • the estimated location acquisition unit 110 determines an area within a second radius greater than or equal to the first radius as the second ROI based on the initial location information of the GPS-based vehicle V. I can.
  • the initial posture angle is obtained from the initial position information of the camera, and this is to accurately obtain the initial position of the camera by using a landmark within a wider range.
  • the second radius may be several hundred m or less.
  • the estimated position acquisition unit 110 may acquire the initial position of the camera by matching the second landmark other than the lane existing in the second ROI with the camera image based on the initial attitude angle of the camera. Specifically, the estimated position acquisition unit 110 may obtain a movement matrix T for the initial position of the camera by substituting and calculating the rotation matrix R for the initial attitude angle of the camera obtained prior to Equation 1.
  • the estimated position obtaining unit 110 corresponds to each of the plurality of candidate position information sampled based on the initial position information of the camera and the driving information of the vehicle V.
  • Estimated location information of the camera may be obtained based on matching information between the landmark of the precision map and the camera camera image (S120).
  • the estimated position acquisition unit 110 may first sample a plurality of candidate position information around the initial position information of the camera.
  • the estimated position acquisition unit 110 may perform sampling using a Gaussian probability model in which initial position information of a camera is averaged and error modeling is set with a predetermined covariance.
  • the Gaussian probability model may be defined as a minimum of six dimensions having three degrees of freedom for an attitude angle and three degrees of freedom for a position.
  • the estimated position acquisition unit 110 may acquire the estimated position information of the camera by using a particle filter. Specifically, the estimated location acquisition unit 110 may reflect driving information of the vehicle V to a plurality of candidate location information. In this case, the estimated position acquisition unit 110 may use Equation 3.
  • the matrix [x(k), y(k), ⁇ (k)] means the position and direction of the vehicle V at the point k
  • S r is the speed of the right wheel of the vehicle V
  • the moving distance according to the S l may mean a moving distance according to the speed of the left wheel of the vehicle V.
  • the estimated position acquisition unit 110 may receive driving information including wheel speed information and yaw rate information from the vehicle V.
  • the estimated location acquisition unit 110 may assign a weight to each of the plurality of candidate location information based on matching information between the landmark of the precision map and the camera image corresponding to each of the plurality of candidate location information. To this end, the estimated position acquisition unit 110 may use the camera camera image from which the landmark is extracted.
  • the estimated location acquisition unit 110 may match the landmark of the precision map corresponding to each of the plurality of candidate location information with the camera image. In this case, the estimated location acquisition unit 110 may use the equation of FIG. 2 for landmark matching.
  • the estimated position obtaining unit 110 may obtain a weight corresponding to the matching error, which may follow Equation 4.
  • G ⁇ denotes a weight
  • ( ⁇ x, ⁇ y) denotes an error for x and y in the camera image
  • ⁇ may denote a standard deviation
  • the estimated location obtaining unit 110 may reflect the matching error by assigning a weight corresponding to the candidate location information.
  • the estimated location obtaining unit 110 may newly sample a plurality of candidate location information by using the weighted candidate location information. Since sampling is newly performed based on the weighted result, a plurality of candidate location information may converge around candidate location information having a small matching error.
  • the estimated location acquisition unit 110 may check whether the standard deviation of the plurality of newly sampled candidate location information is less than or equal to the reference standard deviation.
  • the reference standard deviation may mean a maximum standard deviation capable of obtaining camera estimation position information by using a plurality of candidate positions.
  • the estimated position acquisition unit 110 may obtain an average value of the newly sampled plurality of candidate position information as the estimated position information of the camera.
  • the estimated position acquisition unit 110 reflects the driving information of the vehicle (V) (V) in the newly sampled plurality of candidate position information. It is possible to repeat the above-described process.
  • the estimated location obtaining unit 110 may obtain the estimated location information of the vehicle V based on the estimated location information of the camera (S130). To this end, the estimated position acquisition unit 110 may first determine whether the estimated position information of the camera is valid.
  • the estimated location acquisition unit 110 may first check a second landmark other than a lane among landmarks of a precision map corresponding to the estimated location information of the camera. Then, the estimated position obtaining unit 110 may obtain a weight of the camera estimated position information corresponding to the matching error of each of the second landmarks.
  • the weight of the camera estimated location information may follow Equation 4 described above.
  • the estimated location obtaining unit 110 may check whether the number of weights equal to or greater than the reference value is equal to or greater than the reference number.
  • the reference value means the minimum weight according to the matching error when the location information of the camera can be determined as valid
  • the reference number means the minimum number of weights equal to or greater than the reference value when the location information of the camera can be determined as valid. I can.
  • the estimated position obtaining unit 110 may determine the estimated position information of the camera as valid. As a result, the estimated position obtaining unit 110 may obtain the estimated position information of the vehicle V by using the camera estimated position information. In this case, the estimated position obtaining unit 110 may obtain the estimated position information of the vehicle V by using the movement matrix T and the rotation matrix R.
  • the estimated position obtaining unit 110 may determine that the estimated position information of the camera is invalid. Then, the estimated position acquisition unit 110 may newly acquire the initial position information of the camera, thereby performing a process of obtaining the estimated position of the vehicle V again.
  • the estimated position acquisition unit 110 performs the above-described validity verification on a camera image every frame, and compares the execution result with a predetermined criterion, You can also verify the validity of location information.
  • the estimated position acquisition unit 110 according to another embodiment of the present invention repeatedly performs verification while the vehicle V is traveling a predetermined distance, and if the estimated camera position information is not valid, It may be possible to newly acquire initial location information.
  • the estimated position acquisition unit 110 monitors the estimated camera position information by repeatedly performing validation based on the camera image every frame, a predetermined period, or a predetermined driving distance, and based on the result, the vehicle Estimated location information of (V) can be obtained.
  • the estimated position information of the vehicle V thus obtained may be composed of the estimated position coordinate P v and the covariance S c .
  • the estimated position coordinate P v may be composed of an estimated position and an estimated attitude angle expressed in two dimensions, and the covariance S c may be expressed as a matrix including a diagonal component representing an error of the estimated position coordinate.
  • the covariance S c may be substituted for the yaw rate sensor value.
  • the apparatus 100 for determining correction information of the vehicle sensor may use this to determine a conversion factor for the wheel speed sensor.
  • the apparatus 100 for determining correction information of a vehicle sensor includes an estimated moving distance obtained based on the estimated position information of the vehicle V and the vehicle V detected by the wheel speed sensor of the vehicle V. ) May be used to determine a conversion factor for the wheel speed sensor (S200).
  • the conversion factor determination unit 120 of the apparatus 100 for determining correction information for a vehicle sensor may determine a conversion factor for the speed sensor according to FIG. 6.
  • FIG. 6 is a flowchart of a method for determining a conversion factor according to an embodiment of the present invention.
  • the conversion coefficient determiner 120 may first obtain estimated position information in which the diagonal component of the covariance with respect to the estimated position information of the vehicle V is less than or equal to a threshold value (S210).
  • a threshold value S210
  • the small diagonal component in the covariance represented by the matrix may mean that the error of the estimated position information of the vehicle V obtained in a probability is small.
  • the accuracy of the calculated vehicle V movement distance may be higher as the diagonal component of the covariance decreases in the starting position coordinate and the ending position coordinate for obtaining the moving distance of the vehicle V.
  • the conversion coefficient determination unit 120 may compare a plurality of estimated position information obtained by the estimated position obtaining unit 110 with a threshold value to obtain estimated position information equal to or less than the threshold value.
  • the threshold value may mean a maximum value of the covariance for reliable estimated location information.
  • the conversion coefficient determiner 120 may select two pieces of estimated location information whose estimated movement distance is greater than or equal to the threshold distance among estimated location information in which the diagonal component of the covariance is less than or equal to the threshold value (S220).
  • the conversion factor since the moving distance of the vehicle V detected by the wheel speed sensor is compared based on the estimated moving distance according to two estimated position information, the farther the starting position coordinate and the end position coordinate are, the more advantageous it is. .
  • the conversion coefficient determiner 120 may compare the estimated moving distance with the threshold distance among the estimated location information in which the diagonal component of the variance is less than or equal to the threshold value, and select two estimated location information that is greater than or equal to the threshold distance.
  • the critical distance may mean a minimum value of the estimated moving distance that can be used to determine a reliable conversion factor.
  • the conversion coefficient determination unit 120 determines the wheel speed sensor based on the moving distance of the vehicle V detected by the wheel speed sensor of the vehicle V and the estimated moving distance according to the selected two estimated position information.
  • a conversion factor may be obtained (S230).
  • the conversion factor ⁇ for the wheel speed sensor may be defined by Equation 3.
  • D 1 may denote a moving distance of the vehicle V sensed by the wheel speed sensor
  • D 2 may denote an estimated moving distance according to two selected estimated position information.
  • the wheel speed sensor may detect the rotation speed of the left wheel and the right wheel of the vehicle V and a moving distance based thereon. Specifically, the wheel speed sensor may detect an average S of the moving distance S l for the left wheel of the vehicle V and the moving distance S r for the right wheel as the moving distance D 1 of the vehicle V.
  • Scale factor determining unit 120 may obtain the coefficient ⁇ converted into an estimated movement distance D 2 of the two selected ahead of the estimated position information to the moving distance D 1 of a vehicle (V).
  • the conversion factor ⁇ obtained in this way may be used to correct the position of the vehicle V in the future.
  • a method of correcting the position of the vehicle V using a conversion factor will be described with reference to FIG. 7.
  • FIG. 7 is a diagram for explaining a method of correcting a position of a vehicle using a conversion factor for a wheel speed sensor according to an embodiment of the present invention.
  • Equation 6 is a conversion factor ⁇ for the wheel speed sensor applied to Equation 3, and the matrix [x(k), y(k), ⁇ (k)] is the position of the vehicle V at the time point k, and It means a traveling direction, S r may mean a moving distance according to the speed of the right wheel of the vehicle V, and S l may mean a moving distance according to the speed of the left wheel of the vehicle V.
  • the conversion coefficient determination unit 120 may determine a conversion coefficient for the wheel speed sensor based on a plurality of different estimated position information obtained from the estimated position acquisition unit 110. To this end, the conversion coefficient determiner 120 may first determine candidate conversion coefficients using each of the different estimated position information sequentially obtained by the wheel speed sensor, and then store them in the determined order.
  • the conversion coefficient determiner 120 may obtain an average of the candidate conversion coefficients of a predetermined reference number in an order in which the storage time point is adjacent to the current time point.
  • the reference number may mean the number of optimal candidate conversion coefficients to be used to determine the conversion coefficient.
  • the conversion factor determiner 120 may determine a conversion factor for the wheel speed sensor based on the average of the obtained candidate conversion factors. Whenever a new candidate conversion coefficient is obtained, the conversion coefficient determiner 120 may newly determine and update the conversion coefficient. Through this, the conversion coefficient determination unit 120 may determine a conversion coefficient for a wheel speed sensor in which external environmental changes such as tire pressure installed on the wheel are reflected in real time.
  • the apparatus for obtaining correction information of the vehicle sensor may determine a bias for the yaw rate sensor of the vehicle V based on lane information according to the estimated location information of the vehicle V in the precision map (S300). ).
  • the bias determination unit 130 of the apparatus for obtaining correction information of a vehicle sensor may determine a bias for the yaw rate sensor according to FIG. 8.
  • FIG. 8 is a flowchart illustrating a method for determining a bias according to an embodiment of the present invention
  • FIG. 9 is a diagram illustrating a histogram of a yaw rate sensor value according to an embodiment of the present invention.
  • the bias determiner 130 may first obtain plane information on the ground based on lane information according to the estimated location information of the vehicle V in the precision map (S310). To this end, the bias determiner 130 may preselect information on the estimated position of the vehicle V to be used for determining the bias. As described above, the smaller the covariance, the higher the positional accuracy of the estimated position information, so the bias determination unit 130 includes the diagonal component of the covariance among the estimated positional information obtained by the estimated position acquisition unit 110 The following estimated location information can be selected.
  • the threshold value may mean a maximum value of the covariance for reliable estimated location information.
  • the bias determination unit 130 may check the estimated position information of the vehicle V obtained by the estimated position acquisition unit 110 on a precision map, and then acquire lane information within the ROI determined from the corresponding position.
  • the region of interest may mean a peripheral region determined from estimated location information of the vehicle V.
  • the bias determiner 130 may obtain plane information on the ground based on the obtained lane information. To this end, the bias determination unit 130 obtains a covariance for the distribution of the acquired vertices of the lane, and then an eigenvector corresponding to the minimum eigenvalue according to the Eigenvalue Decomposition method ( Eigenvector) can be obtained. In this case, the bias determining unit 130 may determine that the selected vertical direction is reliable only when the ratio of the minimum eigenvalue and the next eigenvalue is greater than the reference eigenvalue ratio.
  • the eigenvector obtained in this way is plane information about the ground, and may mean a normal vector of the ground.
  • the bias determination unit 130 may determine whether the vehicle V exists on a flat ground based on the obtained plane information of the ground (S320). To this end, the bias determiner 130 may compare a normal vector of plane information of the ground with a reference vector.
  • the reference vector means a normal vector when the ground is flat, and may preferably be determined as [0,0,1].
  • the bias determination unit 130 may determine that the vehicle V exists on the slope. On the other hand, if the difference between the normal vector and the reference vector among the plane information is less than or equal to the threshold difference, the bias determining unit 130 may determine that the vehicle V does not exist on the slope.
  • the critical difference may mean an error range that can be regarded as a ground.
  • the bias determining unit 130 may re-acquire the plane information at a different time point.
  • the bias determination unit 130 may obtain a yaw rate sensor value of the vehicle V at the time when the vehicle V stops (S330). Finally, the bias determination unit 130 may determine a bias for the yaw rate sensor based on the obtained yaw rate sensor value (S340).
  • the bias determining unit 130 may replace the bias for the current yaw rate sensor with the obtained yaw rate sensor value.
  • the bias determination unit 130 acquires a plurality of yaw rate sensor values of the vehicle V at a plurality of times when the vehicle V stops, and based on this, the yaw rate sensor It is also possible to obtain a bias for.
  • the bias determination unit 130 may generate a histogram of the obtained values of the plurality of yaw rate sensors. Referring to FIG. 9, by accumulating the obtained yaw rate sensor values, the bias determination unit 130 may generate a histogram including the number of accumulated data for each yaw rate sensor value.
  • the bias determiner 130 may set the reference section based on the accumulated value in the generated histogram.
  • the reference interval may mean a yaw rate sensor value interval to be used to determine an actual bias.
  • the bias determiner 130 may search for a yaw rate sensor value in which the largest amount of data is accumulated.
  • the bias determiner 130 may search for a yaw rate sensor value D T in which the most data is accumulated.
  • the bias determining unit 130 may set a predetermined section as a search section based on the searched yaw rate sensor value.
  • the bias determining unit 130 may set a search section of D s around the searched yaw rate sensor value.
  • the bias determination unit 130 may determine the average of the yaw rate sensor values within the reference period as a bias for the yaw rate sensor.
  • the bias may be determined by a weighted average of the yaw rate sensor values according to the number of accumulated data in the reference period.
  • the bias determination unit 130 may reflect the yaw rate sensor value in the histogram. Also, the yaw rate sensor value that has passed the threshold time from the accumulation point may be deleted from the histogram. Through this, it is possible to determine the bias for the yaw rate sensor based on the latest data.
  • the bias determining unit 130 may limit the number of values of the yaw rate sensor output at a specific position to be reflected in the histogram.
  • the sensor value output from the yaw rate sensor may be corrected. Through this, it is possible to determine a bias for the yaw rate sensor in which disturbances such as operating time and internal temperature are reflected in real time.
  • correction information for correction of the wheel speed sensor and the yaw rate sensor can be accurately determined, the accuracy of estimating the position of the vehicle V can be improved.
  • the position of the vehicle V is accurately estimated by a vehicle sensor including a wheel speed sensor and a yaw rate sensor. can do.
  • a vehicle sensor including a wheel speed sensor and a yaw rate sensor.
  • each step included in the method for obtaining correction information for a vehicle sensor according to the above-described exemplary embodiment may be implemented in a computer-readable recording medium that records a computer program programmed to perform this step.
  • the above-described apparatus and method for obtaining correction information of a vehicle sensor may be used in various fields such as indoors or industrial sites, and thus has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함한다.

Description

차량용 센서의 보정 정보 획득 장치 및 방법
본 발명은 차량용 센서의 보정을 위한 보정 정보를 획득하는 장치 및 방법에 관한 것이다. 참고로, 본 출원은 2019년 3월 7일자로 출원된 한국특허출원(출원번호 10-2019-0026434호)을 기초로 우선권을 주장한다. 이러한 우선권의 기초가 되는 해당 출원의 전체 내용은 본 출원에서 참조문헌으로서 인용된다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 자차의 위치에 의해 결정되는 주행 환경에 따라 동작하므로, 정확한 차량의 위치 추정이 선행될 필요가 있다. 종래에는 위성 신호를 이용하여 차량의 위치를 추정하는 방법이 널리 이용되었으나, 최근에는 정확도를 높이기 위해 다양한 정보를 함께 고려하는 방법에 대한 연구가 활발히 진행 중이다.
예를 들어, 첨단 운전자 지원 시스템은 차량에 탑재된 휠 속도 센서에 의해 감지된 차량의 이동 거리, 또는 차량에 탑재된 요레이트(Yaw Rate) 센서에 의해 감지된 차량의 자세 정보를 이용하여 차량의 위치 정보를 추정할 수 있다.
본 발명이 해결하고자 하는 과제는, 카메라 영상과 정밀 지도 간 매칭에 의해 획득된 차량의 추정 위치 정보를 기초로 휠 속도 센서에 대한 환산계수(Scale Factor) 및 요레이트 센서에 대한 바이어스(Bias)를 결정하는 차량용 센서의 보정 정보 결정 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함한다.
또한, 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는, 상기 획득된 차량의 추정 위치 정보에 대한 공분산(Covariance)의 대각 성분이 임계값 이하인 추정 위치 정보 중 상기 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택하는 단계; 및 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리 및 상기 선택된 두 개의 추정 위치 정보에 따른 상기 추정 이동 거리를 기초로 상기 휠 속도 센서에 대한 환산계수를 획득하는 단계를 포함할 수 있다.
또한, 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는, 서로 다른 상기 추정 위치 정보를 기초로 획득되는 복수의 후보 환산계수를 저장하는 단계; 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수의 상기 후보 환산계수의 평균을 획득하는 단계; 및 상기 획득된 후보 환산계수의 평균으로 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따른 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 단계를 포함한다.
또한, 상기 차량의 요레이트 센서에 대한 바이어스를 결정하는 단계는, 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 대한 상기 차선 정보에 기초하여 상기 차량이 평지에 존재하는지 여부를 결정하는 단계; 상기 차량이 평지에 존재할 경우, 상기 차량이 정지하는 시점에 상기 차량의 요레이트 센서 값을 획득하는 단계; 및 상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계를 포함할 수 있다.
또한, 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는, 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 대한 상기 차선 정보를 획득하는 단계; 상기 획득된 차선 정보를 기초로 지면에 대한 평면 정보를 획득하는 단계; 및 상기 획득된 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
또한, 상기 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는, 상기 평면 정보 중 법선 벡터와 미리 정해진 기준 벡터의 차이가 임계 차이 이하이면, 상기 차량이 평지에 존재하는 것으로 결정할 수 있다.
또한, 상기 차량의 요레이트 센서 값을 획득하는 단계는, 상기 획득된 차량의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하일 때, 상기 차량의 요레이트 센서 값을 획득할 수 있다.
또한, 상기 차량의 요레이트 센서 값을 획득하는 단계는, 상기 차량이 정지하는 복수의 시점에 상기 차량의 요레이트 센서 값을 복수 개 획득할 수 있다.
또한, 상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계는, 상기 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성하는 단계; 상기 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정하는 단계; 및 상기 참조 구간 내 상기 요레이트 센서 값의 평균을 상기 요레이트 센서에 대한 바이어스로 결정하는 단계를 포함할 수 있다.
또한, 상기 차량의 추정 위치 정보를 획득하는 단계는, GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도의 랜드마크를 상기 카메라 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 카메라 영상 간 매칭 정보에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및 상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치는, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 환산계수 결정부를 포함한다.
본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 장치는, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 및 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따른 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 바이어스 결정부를 포함한다.
본 발명의 실시예에 의하면, 휠 속도 센서 및 요레이트 센서의 보정을 위한 보정 정보를 정확하게 결정할 수 있어, 차량의 위치 추정 정확도를 높일 수 있다. 특히, 타이어의 공기압과 무관하게 휠 속도 센서에 대한 환산계수를 결정할 수 있고, 동작 시간, 내부 온도 등과 같은 외란(外亂)과 무관하게 요레이트 센서에 대한 바이어스를 결정할 수 있어, 차량용 센서의 감지 결과를 정확하게 보정할 수 있다.
그 결과, 카메라 영상과 정밀 지도의 매칭을 통한 차량의 위치 추정 결과가 정확하지 않은 경우에, 휠 속도 센서 및 요레이트 센서를 포함하는 차량용 센서에 의해 차량의 위치를 정확하게 추정할 수 있다. 이를 통해, 첨단 운전자 지원 시스템뿐만 아니라, 자율 주행 차량의 제어 정확도를 높임으로써, 운전자에 대한 주행 편의성 및 주행 안전성을 증대시킬 수 있다.
아울러, 별도의 센싱 수단을 추가함이 없이도, 종래 차량에 탑재된 센서의 감지 성능을 향상시킬 수 있어, 제조 원가를 절감할 수도 있다.
도 1 및 도 2는 본 발명의 여러 가지 실시예에 따른 차량용 센서의 보정 정보 결정 시스템의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 추정 위치 정보 획득 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 추정 위치 획득부에 의해 획득된 차량의 추정 위치 정보를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 환산계수 결정 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 휠 속도 센서에 대한 환산계수를 이용하여 차량의 위치를 보정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 바이어스 결정 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시에에 따른 요레이트 센서 값에 대한 히스토그램을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 도 2는 본 발명의 여러 가지 실시예에 따른 차량용 센서의 보정 정보 결정 시스템의 제어 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 시스템(1)은 차량(V) 및 차량용 센서의 보정 정보 결정 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1의 차량(V)은 GPS 모듈을 구비하여, 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 GPS 기반 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V) 제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 주행 환경 감지 수단을 포함할 수 있다. 본 발명의 일 실시예에 따른 주행 환경 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라를 포함할 수 있다. 카메라는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 카메라 영상을 촬영할 수 있다. 촬영된 카메라 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는데 이용될 수 있다.
이렇게 획득된 카메라 영상과 상술한 정밀 지도를 매칭하면 차량(V)의 현재 위치를 추정할 수 있다. 이 때, 위치 추정의 정확도를 높이기 위해, 차량(V)의 거동 정보를 참조할 수 있다. 이를 위해, 차량(V)은 거동 정보 감지 센서로서 차량(V)의 휠에 대한 회전 속도를 기초로 차량(V)의 이동 거리를 감지하는 휠 속도 센서 및/또는 차량(V)의 자세 정보를 감지하는 요레이트(Yaw Rate) 센서 등을 탑재할 수 있다.
한편, 거동 정보를 감지하기 위해 차량(V)에 탑재된 거동 정보 감지 센서는 센서 자체적인 요인 및/또는 거동 정보 감지 환경에 의하여 감지 정확도가 달라질 수 있다. 예를 들어, 거동 센서 중 휠 속도 센서는 휠에 장착된 타이어의 공기압에 영향을 받게 되어, 출력되는 센서 값에 오차가 발생할 수 있다. 또한, 거동 센서 중 요레이트 센서는 동작 시간, 내부 온도 등과 같은 외란에 의해 센서 자체의 바이어스(Bias) 값이 달라질 수 있다.
따라서, 거동 정보를 참조하여 차량(V)의 위치를 추정할 경우, 상술한 오차를 줄이기 위한 보정 정보를 이용하여 거동 정보 감지 센서에 의해 감지된 거동 정보를 보정할 필요가 있다. 이를 위해, 본 발명의 일 실시예에 따른 보정 정보 감지 시스템은 차량(V)에 탑재된 거동 정보 감지 센서 중 휠 속도 센서에 대한 보정 정보로서 환산계수를 결정하고, 거동 정보 감지 센서 중 요레이트 센서에 대한 보정 정보로서 바이어스를 결정할 수 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)으로부터 수신한 정보를 이용하여 차량용 센서의 보정 정보를 결정할 수 있다. 여기서, 보정 정보란 휠 속도 센서에 대한 환산계수 및 요레이트 센서에 대한 바이어스를 포함할 수 있다.
보정 정보 획득을 위해, 차량용 센서의 보정 정보 결정 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 본 발명의 차량용 센서 보정 정보 결정 장치(100)가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
차량용 센서의 보정 정보 결정 장치(100)는 차량(V)으로부터 수신한 정보에 기초하여 차량(V)의 추정 위치 정보를 획득하고, 획득된 추정 위치 정보로부터 휠 속도 센서에 대한 환산계수와 요레이트 센서에 대한 바이어스 정보를 결정할 수 있다. 이를 위해, 차량용 센서의 보정 정보 결정 장치(100)는 추정 위치 획득부(110), 환산계수 결정부(120), 및 바이어스 결정부(130)를 포함할 수 있다.
추정 위치 획득부(110)는 차량(V)의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 차량(V)의 추정 위치 정보를 획득할 수 있다. 여기서, 추정 위치 정보란 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 획득되는 위치 정보를 의미하며, 위치 정보는 위치 좌표와 자세각을 포함할 수 있다.
환산계수 결정부(120)는 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 이용하여 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정할 수 있다. 여기서, 환산계수란 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리의 비로 정의될 수 있다.
바이어스 결정부(130)는 차량(V)의 추정 위치 정보에 기초하여 차선 정보를 획득할 수 있다. 즉, 바이어스 결정부(130)는 차량(V)의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간의 매칭에 기초하여 획득한 차량(V)의 추정 위치 정보를 정밀 지도에 대입함으로써, 정밀 지도 상에서의 차량(V)의 위치를 추정할 수 있고, 추정된 정밀 지도 상의 위치에 따라 정밀 지도에 기 입력된 차선 정보를 획득할 수 있다.
바이어스 결정부(130)는 정밀 지도 내 차량(V)의 추정 위치 정보에 따라 결정된 차선 정보에 기초하여 차량(V)이 평지에 정지하는 것으로 판단되면, 차량(V)의 요레이트 센서에 대한 바이어스(Bias)를 결정할 수 있다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등으로 구현될 수 있다. 이와는 달리, 차량용 센서의 보정 정보 결정 장치(100)를 구성하는 복수의 구성이 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
한편, 도 1에서는 차량용 센서의 보정 정보 결정 장치(100)가 차량(V)과 별개로 마련되어 차량용 센서의 보정 정보 결정 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 차량용 센서의 보정 정보 결정 장치(100)가 차량(V) 내부에 마련되는 것도 가능할 수 있다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 시스템(1)은 차량용 센서의 보정 정보 결정 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 차량용 센서의 보정 정보 결정 장치(100)가 마련되는 방식을 제외하고는, 도 1의 차량용 센서의 보정 정보 결정 시스템(1)과 도 2의 차량용 센서의 보정 정보 결정 시스템(1)의 동작 방식은 동일하다.
지금까지는 차량용 센서의 보정 정보 결정 시스템(1)의 각 구성에 대하여 설명하였다. 이하에서는 상술한 차량용 센서의 보정 정보 결정 장치(100)에 의해 수행되는 차량용 센서의 보정 정보 결정 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법의 흐름도이다.
먼저 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 차량(V)의 추정 위치 정보를 획득할 수 있다(S100). 구체적으로, 차량용 센서의 보정 정보 결정 장치(100) 중 추정 위치 획득부(110)는 도 4의 방법에 따라 차량(V)의 추정 위치 정보를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량의 추정 위치 정보 획득 방법의 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 추정 위치 획득부에 의해 획득된 차량의 추정 위치 정보를 예시한 도면이다.
추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭하여 카메라의 초기 위치 정보를 획득할 수 있다(S110). 이를 위해, 추정 위치 획득부(110)는 먼저 위성 신호를 기초로 결정되는 GPS 기반 차량(V)의 초기 위치 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 차량(V)으로부터 GPS 기반 차량(V)의 초기 위치 및 초기 자세각을 포함하는 초기 위치 정보를 수신할 수 있다. 이와는 달리, 다른 실시예에 따른 추정 위치 획득부(110)는 차량(V)으로부터 GPS 기반 챠량의 초기 위치만을 수신하고, 이를 이용하여 차량(V)의 초기 자세각을 포함하는 초기 위치 정보를 획득할 수도 있다.
GPS 기반의 차량(V)의 초기 위치 정보 획득 후, 추정 위치 획득부(110)는 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭할 수 있다. 구체적으로, 추정 위치 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 1 관심 영역을 결정할 수 있다. 예를 들어, 추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이내의 영역을 제 1 관심 영역으로 결정할 수 있다. 예를 들어, 제 1 반경은 수 m 이하일 수 있다.
제 1 관심 영역이 결정되면, 추정 위치 획득부(110)는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 카메라에 의해 촬영된 카메라 영상에 매칭하여 카메라의 초기 자세각을 획득할 수 있다. 구체적으로, 카메라 초기 추정 위치 획득부는 수학식 1에 따라 카메라의 초기 자세각에 따른 회전 행렬 R을 획득할 수 있다.
Figure PCTKR2020002976-appb-M000001
여기서, 수학식 1의 해인 S*는 카메라의 초기 자세각에 대한 회전 행렬 R과 초기 위치에 대한 이동 행렬 T로 구성되는 초기 위치 정보를 나타내고, Zk는 카메라 영상으로부터 검출된 차선의 좌표를 의미하고, Pk는 Zk에 대응되는 정밀 지도 상의 랜드마크의 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 정밀 지도 상의 랜드마크 좌표를 카메라 영상에 투영하는 함수를 의미하며, 수학식 2에 따라 정의될 수 있다.
Figure PCTKR2020002976-appb-M000002
여기서, T는 카메라의 초기 위치에 대한 이동 행렬을 의미하고, R은 카메라의 초기 자세각에 대한 회전 행렬을 의미하고, P는 정밀 지도 상에서 랜드마크의 좌표를 의미하고, K는 카메라 좌표계에 기초한 좌표를 카메라에 의해 촬영된 카메라 영상으로 투영하기 위한 카메라 내부 파라미터 행렬을 의미할 수 있다.
수학식 1의 해를 구하기 위해, 추정 위치 획득부(110)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
차선과 같이 일방향으로 연장되는 랜드마크의 Point Cloud Set의 특징점에 대한 공분산은 차선의 연장 방향으로 형성되는 타원 형상일 수 있다. 이를 기초로, 추정 위치 획득부(110)는 서로 가장 가까운 특징점들을 대응관계로 하여 수학식 1의 해를 반복 연산함으로써 제 1 랜드마크를 카메라 영상에 매칭할 수 있다.
일 방향으로 연장되는 차선에 대한 제 1 랜드마크를 카메라 영상에 매칭하고자 수학식 1을 연산하는 경우, 차선이 연장되는 종 방향에 대해서는 오차가 큰 반면, 횡 방향에 대해서는 오차가 작을 수 있다. 그 결과, 카메라의 초기 자세각에 대한 회전 행렬 R은 신뢰할 만한 정확도를 가질 수 있다.
반면, 카메라의 초기 위치에 대한 이동 행렬 T는 회전 행렬 R에 비해 부정확할 수 있다. 따라서, 추정 위치 획득부(110)는 차선 이외의 제 2 랜드마크를 카메라 영상에 매칭함으로써 카메라의 초기 위치에 대한 이동 행렬 T를 구할 수 있다. 구체적으로, 카메라 초기 추정 위치 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 2 관심 영역을 결정할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이상의 제 2 반경 이내의 영역을 제 2 관심 영역으로 결정할 수 있다. 카메라 초기 위치 정보 중 초기 자세각이 획득된 바, 보다 넓은 범위 내의 랜드마크를 이용함으로써 카메라 초기 위치를 정확하게 획득하기 위함이다. 이 때, 제 2 반경은 수백 m 이하일 수 있다.
그 다음, 추정 위치 획득부(110)는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 카메라의 초기 자세각을 기준으로 카메라 영상에 매칭하여 카메라의 초기 위치를 획득할 수 있다. 구체적으로, 추정 위치 획득부(110)는 수학식 1에 앞서 획득한 카메라 초기 자세각에 대한 회전 행렬 R을 대입하여 연산함으로써, 카메라 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이와 같은 방법에 따라 카메라의 초기 위치 정보를 획득한 후, 추정 위치 획득부(110)는 카메라의 초기 위치 정보 및 차량(V)의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 카메라 카메라 영상 간 매칭 정보에 기초하여 카메라의 추정 위치 정보를 획득할 수 있다(S120).
이를 위해, 추정 위치 획득부(110)는 먼저 카메라의 초기 위치 정보 주변에 복수의 후보 위치 정보를 샘플링할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 카메라 초기 위치 정보를 평균으로 하고, 미리 정해진 공분산으로 에러 모델링이 설정된 가우시안 확률 모델을 이용하여 샘플링을 수행할 수 있다. 이 때, 가우시안 확률 모델은 자세각 3자유도, 위치 3자유도를 가지는 최소 6차원으로 정의될 수 있다.
그 다음, 추정 위치 획득부(110)는 Particle Filter를 이용하여 카메라의 추정 위치 정보를 획득할 수 있다. 구체적으로, 추정 위치 획득부(110)는 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영할 수 있다. 이 때, 추정 위치 획득부(110)는 수학식 3을 이용할 수 있다.
Figure PCTKR2020002976-appb-M000003
여기서, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
이를 위해, 추정 위치 획득부(110)는 차량(V)으로부터 휠 속도 정보 및 요레이트 정보를 포함하는 주행 정보를 수신할 수 있다.
그 다음, 추정 위치 획득부(110)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 카메라 영상 간 매칭 정보에 기초하여 복수의 후보 위치 정보 각각에 가중치를 부여할 수 있다. 이를 위해, 추정 위치 획득부(110)는 랜드마크가 추출된 카메라 카메라 영상을 이용할 수 있다.
카메라 영상으로부터 제 1 랜드마크 및 제 2 랜드마크가 추출되면, 추정 위치 획득부(110)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭할 수 있다. 이 때, 추정 위치 획득부(110)는 랜드마크 매칭을 위해 도 2의 수학식을 이용할 수 있다.
매칭을 통해 매칭 오차가 확인되면, 추정 위치 획득부(110)는 매칭 오차에 대응되는 가중치를 획득할 수 있으며, 이는 수학식 4를 따를 수 있다.
Figure PCTKR2020002976-appb-M000004
여기서, Gσ는 가중치를 의미하며, (Δx, Δy)는 카메라 영상에서의 x와 y에 대한 오차를 의미하고, σ는 표준편차를 의미할 수 있다.
그 다음, 추정 위치 획득부(110)는 해당 후보 위치 정보에 대응되는 가중치를 부여함으로써, 매칭 오차를 반영할 수 있다.
가중치 부여 후, 추정 위치 획득부(110)는 가중치가 부여된 복수의 후보 위치 정보를 이용하여 복수의 후보 위치 정보를 새롭게 샘플링할 수 있다. 가중치가 부여된 결과에 기초하여 새롭게 샘플링을 수행하므로, 매칭 오차가 작은 후보 위치 정보 주변으로 복수의 후보 위치 정보가 수렴할 수 있다.
샘플링이 완료되면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하인지 확인할 수 있다. 여기서, 기준 표준편차란 복수의 후보 위치를 이용하여 카메라 추정 위치 정보를 획득할 수 있는 최대 표준편차를 의미할 수 있다.
만약, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보의 평균값을 카메라의 추정 위치 정보로서 획득할 수 있다.
반면, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차보다 크면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보에 차량(V)(V)의 주행 정보를 반영한 후, 상술한 과정을 반복 수행할 수 있다.
카메라의 추정 위치 정보가 획득되면, 추정 위치 획득부(110)는 카메라의 추정 위치 정보를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다(S130). 이를 위해, 추정 위치 획득부(110)는 먼저 카메라의 추정 위치 정보가 유효한지 여부를 결정할 수 있다.
구체적으로, 추정 위치 획득부(110)는 먼저 카메라의 추정 위치 정보에 대응되는 정밀 지도의 랜드마크 중 차선 이외의 제 2 랜드마크를 확인할 수 있다. 그 다음, 추정 위치 획득부(110)는 제 2 랜드마크 각각의 매칭 오차에 대응되는 카메라 추정 위치 정보의 가중치를 획득할 수 있다. 여기서, 카메라 추정 위치 정보의 가중치는 상술한 수학식 4를 따를 수 있다.
제 2 랜드마크 각각의 매칭 오차에 대응되는 가중치가 획득되면, 추정 위치 획득부(110)는 기준치 이상의 가중치의 수가 기준 개수 이상인지 확인할 수 있다. 여기서, 기준치란 카메라의 위치 정보를 유효한 것으로 결정할 수 있을 때의 매칭 오차에 따른 최소 가중치를 의미하고, 기준 개수란 카메라의 위치 정보를 유효한 것으로 결정할 수 있을 때의 기준치 이상의 가중치의 최소 개수를 의미할 수 있다.
만약, 기준치 이상의 가중치의 수가 기준 개수 이상이면, 추정 위치 획득부(110)는 추정된 카메라의 위치 정보를 유효한 것으로 결정할 수 있다. 그 결과, 추정 위치 획득부(110)는 카메라 추정 위치 정보를 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다. 이 때, 추정 위치 획득부(110)는 이동 행렬 T 및 회전 행렬 R을 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다.
반면, 기준치 이상의 가중치의 수가 기준 개수 미만이면, 추정 위치 획득부(110)는 추정된 카메라의 위치 정보를 유효하지 않은 것으로 결정할 수 있다. 그 다음, 추정 위치 획득부(110)는 카메라의 초기 위치 정보를 새롭게 획득함으로써, 차량(V) 추정 위치 획득 과정을 다시 수행할 수 있다.
상술한 방법과는 달리, 본 발명의 다른 실시예에 따른 추정 위치 획득부(110)는 매 프레임 카메라 영상에 대하여 상술한 유효성 검증을 수행하고, 수행 결과를 미리 정해진 기준과 비교하여 추정된 카메라의 위치 정보의 유효성을 검증할 수도 있다. 또는, 본 발명의 또 다른 실시예에 따른 추정 위치 획득부(110)는 차량(V)이 미리 정해진 소정 거리를 주행하는 동안 검증을 반복 수행하여, 추정된 카메라 위치 정보가 유효하지 않으면, 카메라의 초기 위치 정보를 새롭게 획득하는 것도 가능할 수 있다.
이처럼, 추정 위치 획득부(110)는 매 프레임 카메라 영상, 미리 정해진 주기, 또는 미리 정해진 주행 거리를 기준으로 반복하여 유효성 검증을 수행함으로써, 추정된 카메라 위치 정보를 모니터링하고, 그 결과를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다.
도 5를 참조하면, 이렇게 획득된 차량(V)의 추정 위치 정보는 추정 위치 좌표 Pv와 공분산 Sc로 구성될 수 있다. 추정 위치 좌표 Pv는 2차원으로 표현되는 추정 위치와 추정 자세각으로 이루어질 수 있고, 공분산 Sc는 추정 위치 좌표의 오차를 나타내는 대각 성분을 포함하는 행렬로 나타낼 수 있다. 이 때, 공분산 Sc는 요레이트 센서 값을 대체될 수도 있다.
차량(V)의 추정 위치 정보를 획득한 후, 차량용 센서의 보정 정보 결정 장치(100)는 이를 이용하여 휠 속도 센서에 대한 환산계수를 결정할 수 있다. 다시 도 3을 참조하면, 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 이용하여 휠 속도 센서에 대한 환산계수를 결정할 수 있다(S200). 구체적으로, 차량용 센서의 보정 정보 결정 장치(100) 중 환산계수 결정부(120)는 도 6에 따라 횔 속도 센서에 대한 환산계수를 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 환산계수 결정 방법에 대한 흐름도이다.
환산계수 결정부(120)는 먼저 차량(V)의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하인 추정 위치 정보를 획득할 수 있다(S210). 상술한 바와 같이, 행렬로 표현되는 공분산에 있어서 대각 성분이 작다는 것은 확률적으로 획득된 차량(V)의 추정 위치 정보의 오차가 작다는 것을 의미할 수 있다. 그 결과, 차량(V)의 이동 거리를 구하기 위한 출발 위치 좌표와 종료 위치 좌표는 공분산의 대각 성분이 작을수록 계산된 차량(V) 이동 거리의 정확도가 높을 수 있다.
따라서, 환산계수 결정부(120)는 추정 위치 획득부(110)에서 획득한 복수의 추정 위치 정보를 임계값과 비교하여, 임계값 이하인 추정 위치 정보를 획득할 수 있다. 여기서, 임계값은 신뢰할 수 있는 추정 위치 정보에 대한 공분산의 최대값을 의미할 수 있다.
그 다음, 환산계수 결정부(120)는 공분산의 대각 성분이 임계값 이하인 추정 위치 정보 중 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택할 수 있다(S220). 환산계수를 결정하기 위해서는 두 개의 추정 위치 정보에 따른 추정 이동 거리를 기준으로 휠 속도 센서에 의해 감지된 차량(V)의 이동거리를 비교하므로, 출발 위치 좌표와 종료 위치 좌표는 멀수록 유리할 수 있다.
따라서, 환산계수 결정부(120)는 분산의 대각 성분이 임계값 이하인 추정 위치 정보 중 추정 이동 거리를 임계 거리와 비교하여, 임계 거리 이상인 두 개의 추정 위치 정보를 선택할 수 있다. 여기서, 임계 거리란 신뢰할 수 있는 환산계수를 결정하는데 이용될 수 있는 추정 이동 거리의 최소 값을 의미할 수 있다.
마지막으로, 환산계수 결정부(120)는 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리 및 선택된 두 개의 추정 위치 정보에 따른 추정 이동 거리를 기초로 휠 속도 센서에 대한 환산계수를 획득할 수 있다(S230). 여기서, 휠 속도 센서에 대한 환산계수 λ는 수학식 3에 의해 정의될 수 있다.
Figure PCTKR2020002976-appb-M000005
여기서, D1은 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 의미하고, D2는 선택된 두 개의 추정 위치 정보에 따른 추정 이동 거리를 의미할 수 있다.
휠 속도 센서는 차량(V)의 좌측 휠 및 우측 휠의 회전 속도 및 이에 기초하여 이동 거리를 감지할 수 있다. 구체적으로, 휠 속도 센서는 차량(V)의 좌측 휠에 대한 이동 거리 Sl과 우측 휠에 대한 이동 거리 Sr의 평균 S를 차량(V)의 이동 거리 D1으로서 감지할 수 있다.
환산계수 결정부(120)는 앞서 선택한 두 개의 추정 위치 정보에 따른 추정 이동 거리 D2를 차량(V)의 이동 거리 D1으로 나누어 환산계수 λ를 획득할 수 있다. 이렇게 획득된 환산계수 λ는 추후 차량(V)의 위치를 보정하는데 이용될 수 있다. 이하에서는, 도 7을 참조하여, 환산계수를 이용하여 차량(V)의 위치를 보정하는 방법을 설명한다.
도 7은 본 발명의 일 실시예에 따른 휠 속도 센서에 대한 환산계수를 이용하여 차량의 위치를 보정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, k시점에 원점 O에 위치하는 폭이 b인 차량(V)이 곡선 주행하여 k+1시점에 A에 위치하는 경우, 휠 속도 센서의 감지 값을 기초로 k+1시점에 차량(V)의 위치를 구할 수 있다. 특히, 휠 속도 센서에 대한 환산계수 λ를 이용하여 휠 속도 센서의 감지 값을 보정함으로써 k+1시점에서의 차량(V)의 위치를 보다 정확하게 획득할 수 있다.
휠 속도 센서에 의해 차량(V)의 좌측 휠에 대한 이동 거리 Sl과 우측 휠에 대한 이동 거리 Sr가 제공되면, k+1시점에서의 차량(V)의 위치 (x', y')는 수학식 6에 따라 보정될 수 있다.
Figure PCTKR2020002976-appb-M000006
수학식 6은 수학식 3에 휠 속도 센서에 대한 환산계수 λ를 적용한 것으로, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
한편, 환산계수 결정부(120)는 추정 위치 획득부(110)로부터 획득된 서로 다른 복수의 추정 위치 정보를 기초로 휠 속도 센서에 대한 환산계수를 결정할 수도 있다. 이를 위해, 환산계수 결정부(120)는 먼저 휠 속도 센서에 의해 순차적으로 획득된 서로 다른 추정 위치 정보 각각을 이용하여 후보 환산계수를 결정한 후, 결정된 순서대로 저장할 수 있다.
그 다음, 환산계수 결정부(120)는 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수의 후보 환산계수의 평균을 획득할 수 있다. 여기서, 참조 개수는 환산계수를 결정하는데 이용될 최적의 후보 환산계수의 수를 의미할 수 있다.
마지막으로, 환산계수 결정부(120)는 획득된 후보 환산계수의 평균으로 휠 속도 센서에 대한 환산계수를 결정할 수 있다. 환산계수 결정부(120)는 새로운 후보 환산계수가 획득될 때마다, 환산계수를 새롭게 결정하여 갱신할 수 있다. 이를 통해, 환산계수 결정부(120)는 차륜에 장착된 타이어 공기압 등의 외부 환경 변화가 실시간으로 반영된 휠 속도 센서에 대한 환산계수를 결정할 수 있다.
다시 도 3을 참조하면, 차량용 센서의 보정 정보 획득 장치는 정밀 지도 내 차량(V)의 추정 위치 정보에 따른 차선 정보에 기초하여 차량(V)의 요레이트 센서에 대한 바이어스를 결정할 수 있다(S300). 구체적으로, 차량용 센서의 보정 정보 획득 장치 중 바이어스 결정부(130)는 도 8에 따라 요레이트 센서에 대한 바이어스를 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 바이어스 결정 방법에 대한 흐름도이고, 도 9는 본 발명의 일 실시에에 따른 요레이트 센서 값에 대한 히스토그램을 예시한 도면이다.
바이어스 결정부(130)는 먼저 정밀 지도 내 차량(V)의 추정 위치 정보에 따른 차선 정보를 기초로 지면에 대한 평면 정보를 획득할 수 있다(S310). 이를 위해, 바이어스 결정부(130)는 바이어스 결정에 이용할 차량(V)의 추정 위치 정보를 미리 선택할 수 있다. 상술한 바와 같이, 공분산이 작을수록 추정 위치 정보의 위치 정확도가 높음을 의미하므로, 바이어스 결정부(130)는 추정 위치 획득부(110)에 의해 획득된 추정 위치 정보 중 공분산의 대각 성분이 임계값 이하인 추정 위치 정보를 선택할 수 있다. 여기서, 임계값은 신뢰할 수 있는 추정 위치 정보에 대한 공분산의 최대값을 의미할 수 있다.
그 다음, 바이어스 결정부(130)는 추정 위치 획득부(110)에 의해 획득된 차량(V)의 추정 위치 정보를 정밀 지도 상에서 확인한 후, 해당 위치로부터 결정되는 관심 영역 내 차선 정보를 획득할 수 있다. 여기서, 관심 영역이란 차량(V)의 추정 위치 정보로부터 결정되는 주변 영역을 의미할 수 있다.
바이어스 결정부(130)는 획득된 차선 정보를 기초로 지면에 대한 평면 정보를 획득할 수 있다. 이를 위해, 바이어스 결정부(130)는 획득된 차선의 꼭짓점(Vertex)의 분포에 대한 공분산(Covariance)를 구한 다음, 고유값 분해(Eigenvalue Decomposition) 방법에 따라 최소의 고유값에 해당하는 고유 벡터(Eigenvector)를 획득할 수 있다. 이 때, 바이어스 결정부(130)는 최소 고유값 및 그 다음 고유값의 비율이 기준 고유값 비율보다 큰 경우에만 선택된 수직 방향이 신뢰할 수 있다고 결정할 수 있다.
이렇게 획득된 고유 벡터는 지면에 대한 평면 정보로서 지면의 법선 벡터를 의미할 수 있다.
그 다음, 바이어스 결정부(130)는 획득된 지면의 평면 정보를 기초로 차량(V)이 평지에 존재하는지 여부를 판단할 수 있다(S320). 이를 위해, 바이어스 결정부(130)는 지면의 평면 정보 중 법선 벡터를 기준 벡터와 비교할 수 있다. 여기서, 기준 벡터란 지면이 평지일 때의 법선 벡터를 의미하고, 바람직하게는 [0,0,1]로 결정될 수 있다.
만약, 평면 정보 중 법선 벡터와 기준 벡터의 차이가 임계 차이를 초과하면, 바이어스 결정부(130)는 차량(V)이 경사로에 존재하는 것으로 판단할 수 있다. 반면, 평면 정보 중 법선 벡터와 기준 벡터의 차이가 임계 차이 이하이면, 바이어스 결정부(130)는 차량(V)이 경사로에 존재하지 않는 것으로 판단할 수 있다. 여기서, 임계 차이란 지면으로 간주할 수 있는 오차 범위를 의미할 수 있다.
차량(V)이 평지에 존재하지 않는 것으로 판단되면, 바이어스 결정부(130)는 다른 시점에 평면 정보를 다시 획득할 수 있다.
이와는 달리, 차량(V)이 평지에 존재하는 것으로 판단되면, 바이어스 결정부(130)는 차량(V)이 정지하는 시점에 차량(V)의 요레이트 센서 값을 획득할 수 있다(S330). 마지막으로, 바이어스 결정부(130)는 획득된 요레이트 센서 값을 기초로 요레이트 센서에 대한 바이어스를 결정할 수 있다(S340).
본 발명의 일 실시예에 따른 바이어스 결정부(130)는 현재 요레이트 센서에 대한 바이어스를 획득된 요레이트 센서 값으로 대체할 수 있다. 이와는 달리, 본 발명의 다른 실시예에 따른 바이어스 결정부(130)는 차량(V)이 정지하는 복수의 시점에 차량(V)의 요레이트 센서 값을 복수 개 획득하고, 이에 기초하여 요레이트 센서에 대한 바이어스를 획득할 수도 있다.
구체적으로, 바이어스 결정부(130)는 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성할 수 있다. 도 9를 참조하면, 바이어스 결정부(130)는 획득된 요레이트 센서 값을 누적함으로써, 각각의 요레이트 센서 값에 대한 누적 데이터 수로 구성되는 히스토그램을 생성할 수 있다.
그 다음, 바이어스 결정부(130)는 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정할 수 있다. 여기서, 참조 구간이란 실제 바이어스를 결정하는데 이용될 요레이트 센서 값 구간을 의미할 수 있다. 참조 구간 설정을 위해, 바이어스 결정부(130)는 최다 데이터가 누적된 요레이트 센서 값을 탐색할 수 있다. 도 9의 경우, 바이어스 결정부(130)는 최다 데이터가 누적된 요레이트 센서 값인 DT를 탐색할 수 있다. 최다 데이터가 누적된 요레이트 센서 값을 탐색한 후, 바이어스 결정부(130)는 탐색된 요레이트 센서 값을 기초로 소정 구간을 탐색 구간으로 설정할 수 있다. 도 9의 경우, 바이어스 결정부(130)는 탐색된 요레이트 센서 값 주변으로 Ds의 탐색 구간을 설정할 수 있다.
마지막으로, 바이어스 결정부(130)는 참조 구간 내 요레이트 센서 값의 평균을 요레이트 센서에 대한 바이어스로 결정할 수 있다. 이 때, 참조 구간 내 누적 데이터 수에 따라 요레이트 센서 값의 가중 평균으로 바이어스를 결정할 수도 있다.
또한, 시간이 지남에 따라 요레이트 센서의 바이어스가 변화하므로, 차량(V)이 평지에서 정지할 때마다, 바이어스 결정부(130)는 요레이트 센서 값을 히스토그램에 반영할 수 있다. 또한, 누적 시점으로부터 임계 시간이 지난 요레이트 센서 값은 히스토그램에서 삭제할 수도 있다. 이를 통해, 최근의 데이터에 기반한 요레이트 센서에 대한 바이어스를 결정할 수 있다.
또한, 특정 위치에서 바이어스가 오버 피팅(Over Fitting) 되는 것을 방지할 수 있도록, 바이어스 결정부(130)는 특정 위치에서 출력된 요레이트 센서 값이 히스토그램에 반영될 수 있는 개수를 제한할 수도 있다.
상술한 방법에 따라 바이어스가 결정되면, 이후 요레이트 센서로부터 출력되는 센서 값을 보정할 수 있다. 이를 통해, 동작 시간, 내부 온도 등과 같은 외란이 실시간으로 반영된 요레이트 센서에 대한 바이어스를 결정할 수 있다.
휠 속도 센서 및 요레이트 센서의 보정을 위한 보정 정보를 정확하게 결정할 수 있어, 차량(V)의 위치 추정 정확도를 높일 수 있다. 특히, 타이어의 공기압과 무관하게 휠 속도 센서에 대한 환산계수를 결정할 수 있고, 동작 시간, 내부 온도 등과 같은 외란(外亂)과 무관하게 요레이트 센서에 대한 바이어스를 결정할 수 있어, 차량용 센서의 감지 결과를 정확하게 보정할 수 있다.
그 결과, 카메라 영상과 정밀 지도의 매칭을 통한 차량(V)의 위치 추정 결과가 정확하지 않은 경우에, 휠 속도 센서 및 요레이트 센서를 포함하는 차량용 센서에 의해 차량(V)의 위치를 정확하게 추정할 수 있다. 이를 통해, 첨단 운전자 지원 시스템뿐만 아니라, 자율 주행 차량(V)의 제어 정확도를 높임으로써, 운전자에 대한 주행 편의성 및 주행 안전성을 증대시킬 수 있다.
아울러, 별도의 센싱 수단을 추가함이 없이도, 종래 차량(V)에 탑재된 센서의 감지 성능을 향상시킬 수 있어, 제조 원가를 절감할 수도 있다.
한편, 상술한 일 실시예에 따른 차량용 센서의 보정 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 차량용 센서의 보정 정보 획득 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.

Claims (12)

  1. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및
    상기 획득된 차량의 추정 위치 정보를 기초로 산출되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리에 기초하여 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  2. 제 1 항에 있어서,
    상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는,
    상기 획득된 차량의 추정 위치 정보들 중에서, 상기 추정 위치 정보에 대한 공분산(Covariance)의 대각 성분이 임계값 이하이고, 상기 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택하는 단계; 및
    상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리 및 상기 선택된 두 개의 추정 위치 정보에 따라 산출된 상기 추정 이동 거리를 기초로 상기 휠 속도 센서에 대한 환산계수를 획득하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  3. 제 1 항에 있어서,
    상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는,
    서로 다른 추정 위치 정보들을 기초로 획득되는 복수의 후보 환산계수를 저장하는 단계;
    상기 복수의 후보 환산계수 중에서, 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수만큼의 후보 환산계수들의 평균을 획득하는 단계; 및
    상기 획득된 후보 환산계수들의 평균으로 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  4. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및
    상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따라 결정되는 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  5. 제 4 항에 있어서,
    상기 차량의 요레이트 센서에 대한 바이어스를 결정하는 단계는,
    상기 차선 정보에 기초하여 상기 차량이 평지에 존재하는지 여부를 결정하는 단계;
    상기 차량이 평지에 존재할 경우, 상기 차량이 정지하는 시점에 상기 차량의 요레이트 센서 값을 획득하는 단계; 및
    상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  6. 제 5 항에 있어서,
    상기 차량이 평지에 존재하는지 여부를 결정하는 단계는,
    상기 차선 정보를 기초로 지면에 대한 평면 정보를 획득하는 단계; 및
    상기 획득된 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  7. 제 6 항에 있어서,
    상기 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는,
    상기 평면 정보 중 법선 벡터와 미리 정해진 기준 벡터의 차이가 임계 차이 이하이면, 상기 차량이 평지에 존재하는 것으로 결정하는
    차량용 센서의 보정 정보 결정 방법.
  8. 제 5 항에 있어서,
    상기 차량의 요레이트 센서 값을 획득하는 단계는,
    상기 획득된 차량의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하일 때, 상기 차량의 요레이트 센서 값을 획득하는
    차량용 센서의 보정 정보 결정 방법.
  9. 제 5 항에 있어서,
    상기 차량의 요레이트 센서 값을 획득하는 단계는,
    상기 차량이 정지하는 복수의 시점에 상기 차량의 요레이트 센서 값을 복수 개 획득하는
    차량용 센서의 보정 정보 결정 방법.
  10. 제 9 항에 있어서,
    상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계는,
    상기 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성하는 단계;
    상기 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정하는 단계; 및
    상기 참조 구간 내에서의 요레이트 센서 값의 평균을 상기 요레이트 센서에 대한 바이어스로 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도의 랜드마크를 상기 카메라 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계;
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 카메라 영상 간 매칭 정보에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및
    상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  12. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및
    상기 획득된 차량의 추정 위치 정보를 기초로 산출되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리에 기초하여 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능 기록매체.
PCT/KR2020/002976 2019-03-07 2020-03-02 차량용 센서의 보정 정보 획득 장치 및 방법 Ceased WO2020180076A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080018430.XA CN113544034B (zh) 2019-03-07 2020-03-02 用于确定交通工具传感器的校正信息的装置和方法
US17/467,201 US12188773B2 (en) 2019-03-07 2021-09-04 Apparatus and method for determining of correction information of vehicle sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190026434A KR102634443B1 (ko) 2019-03-07 2019-03-07 차량용 센서의 보정 정보 획득 장치 및 방법
KR10-2019-0026434 2019-03-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/467,201 Continuation US12188773B2 (en) 2019-03-07 2021-09-04 Apparatus and method for determining of correction information of vehicle sensor

Publications (1)

Publication Number Publication Date
WO2020180076A1 true WO2020180076A1 (ko) 2020-09-10

Family

ID=72337919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002976 Ceased WO2020180076A1 (ko) 2019-03-07 2020-03-02 차량용 센서의 보정 정보 획득 장치 및 방법

Country Status (4)

Country Link
US (1) US12188773B2 (ko)
KR (1) KR102634443B1 (ko)
CN (1) CN113544034B (ko)
WO (1) WO2020180076A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179115A1 (en) * 2019-12-16 2021-06-17 GM Global Technology Operations LLC Method and apparatus for monitoring a yaw sensor
CN114018284B (zh) * 2021-10-13 2024-01-23 上海师范大学 一种基于视觉的轮速里程计校正方法
CN116381707A (zh) * 2023-04-11 2023-07-04 中国第一汽车股份有限公司 一种基于激光雷达的车端数据的融合定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5425713B2 (ko) * 1974-01-18 1979-08-30
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR20110060315A (ko) * 2009-11-30 2011-06-08 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
US20160290810A1 (en) * 2015-04-01 2016-10-06 Trimble Navigation Limited Vehicle navigation system with adaptive gyroscope bias compensation
KR20180137904A (ko) * 2017-06-20 2018-12-28 현대모비스 주식회사 차량 주행 정보의 보정 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006199242A (ja) * 2005-01-24 2006-08-03 Toyota Motor Corp 車両の挙動制御装置
JP4905016B2 (ja) * 2006-09-20 2012-03-28 トヨタ自動車株式会社 車輪速パルス補正システム
JP5425713B2 (ja) * 2010-06-01 2014-02-26 本田技研工業株式会社 ヨーレート検出装置
US8447519B2 (en) * 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
KR101417456B1 (ko) * 2012-12-07 2014-07-08 현대자동차주식회사 차량 요레이트센서의 바이어스 획득방법
KR101463848B1 (ko) * 2013-01-11 2014-11-21 주식회사 만도 요레이트 센서 오프셋 보정 장치 및 보정 방법
KR101514132B1 (ko) 2013-06-21 2015-04-22 현대위아 주식회사 사륜 구동 차량의 조향각 추정 방법
US9528834B2 (en) * 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9996986B2 (en) * 2014-08-28 2018-06-12 GM Global Technology Operations LLC Sensor offset calibration using map information
EP3232159B1 (en) * 2014-12-08 2025-06-18 Hitachi Astemo, Ltd. Host vehicle position estimation device
CA2986698C (en) * 2015-05-26 2023-08-01 Crown Equipment Corporation Systems and methods for image capture device calibration for a materials handling vehicle
BR112017025513A2 (pt) * 2015-05-28 2018-08-07 Nissan Motor dispositivo de estimação de posição e método de estimação de posição
US20210199437A1 (en) * 2016-01-08 2021-07-01 Intelligent Technologies International, Inc. Vehicular component control using maps
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
US10275550B2 (en) * 2016-04-27 2019-04-30 The Climate Corporation Assimilating a soil sample into a digital nutrient model
JP6770393B2 (ja) * 2016-10-04 2020-10-14 株式会社豊田中央研究所 トラッキング装置及びプログラム
US10829149B1 (en) * 2017-03-01 2020-11-10 Zoox, Inc. Steering control for vehicles
WO2018170444A1 (en) * 2017-03-17 2018-09-20 The Regents Of The University Of Michigan Method and apparatus for constructing informative outcomes to guide multi-policy decision making
JP6911693B2 (ja) * 2017-10-11 2021-07-28 トヨタ自動車株式会社 運転支援制御システム
CN107957266B (zh) * 2017-11-16 2020-09-01 北京小米移动软件有限公司 定位方法、装置及存储介质
WO2019098002A1 (ja) * 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5425713B2 (ko) * 1974-01-18 1979-08-30
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR20110060315A (ko) * 2009-11-30 2011-06-08 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
US20160290810A1 (en) * 2015-04-01 2016-10-06 Trimble Navigation Limited Vehicle navigation system with adaptive gyroscope bias compensation
KR20180137904A (ko) * 2017-06-20 2018-12-28 현대모비스 주식회사 차량 주행 정보의 보정 장치 및 방법

Also Published As

Publication number Publication date
KR20200107382A (ko) 2020-09-16
US12188773B2 (en) 2025-01-07
CN113544034A (zh) 2021-10-22
CN113544034B (zh) 2024-07-05
KR102634443B1 (ko) 2024-02-05
US20210396527A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
CN108692719B (zh) 物体检测装置
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2019221349A1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
JP2020052695A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
WO2020101156A1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN110751693A (zh) 用于相机标定的方法、装置、设备和存储介质
US20200158520A1 (en) Map update apparatus, map update system, map update method, and program
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
CN110766760A (zh) 用于相机标定的方法、装置、设备和存储介质
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20240394911A1 (en) Position estimating device, method, and computer program for estimating position
US12018946B2 (en) Apparatus, method, and computer program for identifying road being traveled
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
US12188773B2 (en) Apparatus and method for determining of correction information of vehicle sensor
CN115507838A (zh) 地图更新装置、地图更新方法以及地图更新用计算机程序
JPH0727541A (ja) 道路形状及び自車両位置の計測装置
JP2021017073A (ja) 位置推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20765767

Country of ref document: EP

Kind code of ref document: A1