KR102331312B1 - 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal - Google Patents

3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal Download PDF

Info

Publication number
KR102331312B1
KR102331312B1 KR1020170131623A KR20170131623A KR102331312B1 KR 102331312 B1 KR102331312 B1 KR 102331312B1 KR 1020170131623 A KR1020170131623 A KR 1020170131623A KR 20170131623 A KR20170131623 A KR 20170131623A KR 102331312 B1 KR102331312 B1 KR 102331312B1
Authority
KR
South Korea
Prior art keywords
vehicle
sensor
speed
posture
unit
Prior art date
Application number
KR1020170131623A
Other languages
Korean (ko)
Other versions
KR20190040818A (en
Inventor
한중희
박지호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170131623A priority Critical patent/KR102331312B1/en
Publication of KR20190040818A publication Critical patent/KR20190040818A/en
Application granted granted Critical
Publication of KR102331312B1 publication Critical patent/KR102331312B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
    • G01S1/08—Systems for determining direction or position line
    • G01S1/38—Systems for determining direction or position line using comparison of [1] the phase of the envelope of the change of frequency, due to Doppler effect, of the signal transmitted by an antenna moving, or appearing to move, in a cyclic path with [2] the phase of a reference signal, the frequency of this reference signal being synchronised with that of the cyclic movement, or apparent cyclic movement, of the antenna
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/26—Acquisition or tracking or demodulation of signals transmitted by the system involving a sensor measurement for aiding acquisition or tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Abstract

본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템은, 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부; 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하고, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다.A three-dimensional vehicle navigation system using a vehicle internal sensor, a camera, and a GNSS terminal according to the present invention obtains data of a wheel speed sensor, a turning speed sensor, and a gravity sensor mounted on the vehicle, and calculates vehicle motion information of the vehicle an internal sensor processing unit; an image processing unit for acquiring image coordinates by identifying road facilities from an image taken from a camera, extracting absolute coordinates of an object from a spatial information DB, and calculating the position and posture of the vehicle through the image coordinates and the absolute coordinates; and a positioning unit that calculates a navigation solution of the vehicle using the vehicle motion information, and corrects an error of the calculated navigation solution using the position and posture of the vehicle, even when a GNSS signal is defective or disconnected. When the captured image is acquired, the error of dead reckoning can be corrected, so that more precise positioning is possible.

Figure R1020170131623
Figure R1020170131623

Description

차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템{3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal }3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal }

본 발명은 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템에 관한 것이다. 보다 상세하게는, 3차원 차량 항법 시스템에서 차량 움직임과 위성 항법 결과, 및 영상 처리 결과를 이용하여 차량의 위치를 정밀하게 판단하는 방법에 관한 것이다.The present invention relates to a three-dimensional vehicle navigation system using an in-vehicle sensor, a camera, and a GNSS terminal. More particularly, the present invention relates to a method of precisely determining a position of a vehicle using a vehicle motion, a satellite navigation result, and an image processing result in a 3D vehicle navigation system.

현재 위치 결정의 기술은 다양한 방법을 통해 이루어지고 있지만 이동체를 대상으로 진행되는 위치 결정 기술로, 가장 대중화된 방법은 위성 항법 시스템(GNSS, Global Navigation Satellite System)을 이용한 위치 결정 기술이다. 위성 항법 시스템은 GPS(Global Positioning System), GLONASS(Global Navigation Satellite System), Compass Navigation System, Galileo Positioning System 등을 포함할 수 있다.Although the current positioning technology is achieved through various methods, it is a positioning technology for moving objects, and the most popular method is a positioning technology using a global navigation satellite system (GNSS). The satellite navigation system may include a Global Positioning System (GPS), a Global Navigation Satellite System (GLONASS), a Compass Navigation System, and a Galileo Positioning System.

하지만, 이러한 위성 항법 시스템과 관련하여, 종래 기술은 GPS 및 차량 속도계 등의 외부정보를 이용할 수 없는 상황에서 관성센서를 이용한 비접촉 항법 시스템의 센서 오차를 연속적으로 보정하여 계속적인 항법 기능을 수행하였다. 또한, 가속도계 및 자이로 센서의 출력 특성을 이용하여 정지 상태를 판단하여 센서 출력의 바이어스를 직접 추정하였다. 이와 관련하여, 종래 특허는 차량 항법 시스템 및 그 제어방법(등록번호 : 10-0675362)과 위치 측정 장치 및 방법(출원번호 : 10-2013-0064283)가 있다.However, in relation to such a satellite navigation system, the prior art continuously corrects a sensor error of a non-contact navigation system using an inertial sensor in a situation where external information such as GPS and vehicle speedometer cannot be used to continuously perform a navigation function. In addition, the bias of the sensor output was directly estimated by determining the stationary state using the output characteristics of the accelerometer and the gyro sensor. In this regard, the prior patent includes a vehicle navigation system and its control method (registration number: 10-0675362) and a position measuring device and method (application number: 10-2013-0064283).

하지만, 이러한 위성 항법 시스템에서는 다음과 같은 제약 사항 및 가정하에 차량의 정확한 위치, 자세 등의 판단이 가능하다는 문제점이 있다. 즉, 이러한 제약 사항 및 가정이 만족되지 않는 상황에서는 차량의 정확한 위치, 자세 등의 판단이 어렵다는 문제점이 있다. However, this satellite navigation system has a problem in that it is possible to determine the exact position and attitude of the vehicle under the following restrictions and assumptions. That is, there is a problem in that it is difficult to determine the exact position and attitude of the vehicle in a situation where these restrictions and assumptions are not satisfied.

이와 관련하여, 상하 및 좌우 움직임이 거의 없다는 차량 움직임 제한 조건을 통해 센서 오차를 연속적으로 보정하지만, 고속 주행 및 노면 상에 과속방지턱 등이 존재할 경우에는 상기 제약 조건을 위반하게 되어 부정확한 항법해가 추정될 수 있다는 문제점이 있다. 또한, 가속도 센서와 자이로 센서에서 출력되는 값을 이용하여 정지 상황을 판단할 경우에 상기 센서에서 제거되지 않는 계통오차(편이, 스케일링 팩터)로 인하여 오판단을 할 수 있으며, 관성 센서마다 센서 오차의 크기가 다르므로 정지 판단을 위한 기준값은 관성 센서마다 다를 수 있다는 문제점이 있다. 또한, 제안된 방법을 적용하더라도 장시간의 GPS 신호 단절 상황에서는 관성 센서의 오차가 적분되어 계산되는 항법 정보의 오차가 급격하게 증가하여 항법해 정보의 신뢰성이 저하된다는 문제점이 있다. 또한, 관성 센서를 추가적으로 장착하여야 하므로, 상기 기술을 적용하기에는 비용적인 문제가 발생될 수 있다는 문제점이 있다.In this regard, the sensor error is continuously corrected through the vehicle motion restriction condition that there is little up/down and left/right movement, but if there is a speed bump or the like on the road surface at high speed, the above restriction condition is violated, resulting in an inaccurate navigation solution. There is a problem that it can be estimated. In addition, when judging a stop condition using the values output from the acceleration sensor and the gyro sensor, a erroneous judgment may be made due to a systematic error (deviation, scaling factor) that is not removed from the sensor. Since the sizes are different, there is a problem that the reference value for determining the stop may be different for each inertial sensor. In addition, even if the proposed method is applied, there is a problem in that the error of the navigation information calculated by integrating the error of the inertial sensor in a situation of disconnection of the GPS signal for a long time increases rapidly, and thus the reliability of the navigation information is deteriorated. In addition, since the inertial sensor needs to be additionally mounted, there is a problem in that a cost problem may occur in applying the above technology.

따라서, 본 발명에서 해결하고자 하는 과제 및 목적은 관성센서를 추가적으로 설치하지 않고 차량에 탑재되어 있는 차량내부센서를 이용하여 추측항법을 수행하는 데에 있다.Accordingly, the problem and object to be solved by the present invention is to perform dead reckoning using an in-vehicle sensor mounted on a vehicle without additionally installing an inertial sensor.

또한, 본 발명에서 해결하고자 하는 과제 및 목적은 위성항법시스템으로 계산된 위치 및 속도뿐만 아니라 단일 영상으로 계산된 위치 및 자세도 함께 이용하므로, GNSS 신호 불량 및 차단 지역에서도 추측항법으로 계산된 차량의 항법해 오차를 보정할 수 있는 방법을 제공하는 데에 있다.In addition, the problem and object to be solved by the present invention is to use not only the position and velocity calculated by the satellite navigation system, but also the position and attitude calculated from a single image, so that the The purpose of the present invention is to provide a method for correcting the navigational solution error.

상기와 같은 과제를 해결하기 위한 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템은, 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부; 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하고, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다.A three-dimensional vehicle navigation system using a vehicle internal sensor, a camera, and a GNSS terminal according to the present invention for solving the above problems obtains the wheel speed sensor, the turning speed sensor, and the gravity sensor data mounted on the vehicle, an internal sensor processing unit for calculating vehicle motion information of the vehicle; an image processing unit for acquiring image coordinates by identifying road facilities from an image taken from a camera, extracting absolute coordinates of an object from a spatial information DB, and calculating the position and posture of the vehicle through the image coordinates and the absolute coordinates; and a positioning unit that calculates a navigation solution of the vehicle using the vehicle motion information, and corrects an error of the calculated navigation solution using the position and posture of the vehicle, even when a GNSS signal is defective or disconnected. When the captured image is acquired, the error of dead reckoning can be corrected, so that more precise positioning is possible.

일 실시 예에서, 상기 영상 처리부는, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부; 상기 영상에서 도로시설물을 파악하여 영상좌표를 획득하는 객체 인지부; 상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산하는 전처리 필터; 및 상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산하는 항법해 계산부를 포함할 수 있다.In one embodiment, the image processing unit, the image receiving unit for receiving the image taken from the camera; an object recognition unit for acquiring image coordinates by recognizing road facilities in the image; Single Photo Resection (SPR) calculation using the image coordinates, the absolute coordinates of the road facility extracted from the spatial information DB, and the first position and first posture of the vehicle from the positioning unit a pre-processing filter that calculates an initial value for ; and a navigation solution calculator configured to calculate a second position and a second posture of the vehicle through the SPR using the initial value.

일 실시 예에서, 상기 측위부는, 상기 내부센서 처리부에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산하는 추측 항법 계산부를 포함할 수 있다.In one embodiment, the positioning unit, the current position, velocity, and It may include a dead reckoning calculator for calculating the posture.

일 실시 예에서, 상기 측위부는, GNSS 수신부 또는 상기 영상 처리부에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산하는 오차 보정부를 더 포함할 수 있다.In an embodiment, the positioning unit updates the error state variable through the Kalman filter using the measurement value transmitted from the GNSS receiver or the image processing unit to determine the position, speed and posture of the vehicle, the error state of which is corrected, and the internal sensor error. It may further include an error correction unit for re-calculation.

일 실시 예에서, 상기 내부센서 처리부는, 상기 오차 보정부에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산하는 차량 움직임 계산부를 포함하고, 상기 차량 움직임 계산부는, 상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산하고, 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산하는 것을 특징으로 할 수 있다.In one embodiment, the internal sensor processing unit, the vehicle of the vehicle using the data on the position, speed, and posture of the vehicle recalculated by the error correction unit and the wheel speed sensor, the turning speed sensor, and the gravity sensor data a vehicle motion calculation unit for calculating motion information, wherein the vehicle motion calculation unit calculates the vehicle speed using the wheel speed of the rear left and right wheels of the vehicle from the wheel speed sensor, It may be characterized in that the yaw angle according to time of the vehicle is calculated through error correction between the turning speed and the error correcting unit.

일 실시 예에서, 상기 차량 움직임 계산부는, 상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산하고, 종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산하는 것을 특징으로 할 수 있다.In one embodiment, the vehicle motion calculation unit calculates the longitudinal acceleration using the longitudinal speed calculated as the wheel speed, and the longitudinal gravity measurement value (f x ) obtained from the longitudinal gravity sensor and the lateral gravity sensor and calculating a pitch angle and a roll angle of the vehicle using the lateral gravity measurement f y .

일 실시 예에서, 상기 단일 영상 처리부는, 상기 도로시설물의 개수가 3개 미만이면 상기 영상 처리부의 연산을 종료하고, 상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부와 상기 내부센서 처리부를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출하고, 상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인하고, 상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하고, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하는 것을 특징으로 할 수 있다.In one embodiment, the single image processing unit, if the number of the road facilities is less than three, ends the operation of the image processing unit, and if the number of the road facilities is three or more, the GNSS receiver and the internal sensor processing unit The absolute coordinates of the road facility are extracted by using the location, speed, and posture of the vehicle calculated through Check the location of the road facility, if the road facility is located in front of the vehicle, calculate an initial position and posture for performing the SPR, and if the road facility is not located in front of the vehicle, the road facility It may be characterized in that the current position of the vehicle is adjusted to be located in front of the vehicle, and an initial position and posture for performing the SPR are calculated.

본 발명의 적어도 일 실시 예에 따르면, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다는 장점이 있다.According to at least one embodiment of the present invention, when an image of a road facility is acquired even when a GNSS signal is defective or disconnected, an error of dead reckoning can be corrected, thereby enabling more precise positioning.

또한, 본 발명의 적어도 하나의 실시예에 따르면, 차량에 미리 탑재된 자동차내부센서, GNSS 단말기, 블랙박스 카메라를 적용하여 본 항법시스템을 구현할 수 있음에 따라 추가적인 센서 탑재에 따른 비용적인 문제가 발생되지 않는다는 장점이 있다.In addition, according to at least one embodiment of the present invention, the present navigation system can be implemented by applying the in-vehicle sensor, GNSS terminal, and black box camera pre-mounted to the vehicle, resulting in a cost problem due to the additional sensor mounting. The advantage is that it doesn't.

도 1은 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템의 상세한 구성을 나타낸다.
도 2는 본 발명에 따른 (단일) 영상 처리부에서 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 흐름도를 도시한다.
도 3은 본 발명에 따른 오차 보정부가 차량 움직임 계산부, 추측항법 계산부, GNSS 수신부, 및 영상 처리부와 함께 차량 위치/속도/자세를 판단하는 구성을 도시한다. 1 shows a detailed configuration of a three-dimensional vehicle navigation system using an in-vehicle sensor, a camera, and a GNSS terminal according to the present invention.
2 is a flowchart illustrating a method of calculating (correcting) an initial position and posture for performing SPR in a (single) image processing unit according to the present invention.
3 shows a configuration in which the error correction unit according to the present invention determines the vehicle position/speed/posture together with the vehicle motion calculation unit, the dead reckoning calculation unit, the GNSS receiver, and the image processing unit.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.In describing each figure, like reference numerals are used for like elements.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term “and/or” includes a combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. shouldn't

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈", "블록" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. The suffixes “module,” “block,” and “part” for the components used in the following description are given or mixed in consideration of the ease of writing the specification only, and do not have a meaning or role distinct from each other by themselves. .

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. Hereinafter, a preferred embodiment of the present invention will be described with reference to the accompanying drawings so that a person skilled in the art can easily implement it. In the following description of embodiments of the present invention, if it is determined that a detailed description of a related known function or a known configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

이하에서는, 본 발명에 따른 안전지대 내비게이션 방법 및 이와 연동된 내비게이터 시스템에 대해 살펴보기로 한다. 한편, 본 발명에 따른 장치(기기) 또는 시스템의 각각의 구성요소들 간의 연결 관계는 설명에 한정되는 것이 아니라, 응용에 따라 자유롭게 변형 가능하다. 또한, 본 발명에 따른 각 단계들의 순서는 설명에 한정되는 것이 아니라, 응용에 따라 자유롭게 변형 가능하다. Hereinafter, a safe zone navigation method and a navigator system linked thereto according to the present invention will be described. On the other hand, the connection relationship between the respective components of the device (device) or system according to the present invention is not limited to the description, but can be freely modified according to the application. In addition, the order of each step according to the present invention is not limited to the description, and can be freely modified according to application.

이와 관련하여, 도 1은 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템의 상세한 구성을 나타낸다. 한편, 3차원 차량 항법 시스템은 차량 내의 내비게이션 시스템에 해당하거나, 또는 차량 내의 사용자가 소지한 이동 단말 내의 어플리케이션과 차량 내의 센서들과 결합된 시스템일 수 있다. 한편, 도 1에 도시된 바와 같이, 3차원 차량 항법 시스템은 (자동차) 내부센서 처리부(100), (단일) 영상 처리부(200), 및 측위부(300)를 포함한다. 또한, 3차원 차량 항법 시스템은 GNSS (Global Navigation Satellite System) 수신부(400)를 더 포함할 수 있다.In this regard, FIG. 1 shows a detailed configuration of a three-dimensional vehicle navigation system using an in-vehicle sensor, a camera, and a GNSS terminal according to the present invention. Meanwhile, the 3D vehicle navigation system may correspond to a navigation system in a vehicle, or may be a system in which an application in a mobile terminal possessed by a user in the vehicle and sensors in the vehicle are combined. Meanwhile, as shown in FIG. 1 , the 3D vehicle navigation system includes a (vehicle) internal sensor processing unit 100 , a (single) image processing unit 200 , and a positioning unit 300 . In addition, the 3D vehicle navigation system may further include a Global Navigation Satellite System (GNSS) receiver 400 .

내부센서 처리부(100)는 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산한다. 한편, 내부센서 처리부(100)는 차량 움직임 계산부(110)를 포함한다. 차량 움직임 계산부(110)는 동적 좌표계 기준 속도를 계산하고, 중력 모델에 기반하여 롤(roll) 각도 및 피치(pitch) 각도를 계산하고, 요(yaw) 각도를 계산할 수 있다. 이와 관련하여, 내부센서 처리부(100)는 차량에 탑재되어 있는 바퀴속력센서, 선회속도센서, 중력센서 데이터를 CAN (Controller Area Network) 통신을 통해 수신한다. 또한, 차량 움직임 계산부(110)는 자동차 내부센서 데이터를 이용한 추측항법을 수행할 수 있도록 차량 움직임 정보(속도, 자세)를 계산한다. 구체적으로, 차량 움직임 계산부(110)는 오차 보정부(320)에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산한다. The internal sensor processing unit 100 obtains data of a wheel speed sensor, a turning speed sensor, and a gravity sensor mounted on the vehicle, and calculates vehicle motion information of the vehicle. Meanwhile, the internal sensor processing unit 100 includes a vehicle motion calculation unit 110 . The vehicle motion calculator 110 may calculate a reference speed of a dynamic coordinate system, calculate a roll angle and a pitch angle based on a gravity model, and calculate a yaw angle. In this regard, the internal sensor processing unit 100 receives the wheel speed sensor, the turning speed sensor, and the gravity sensor data mounted on the vehicle through CAN (Controller Area Network) communication. In addition, the vehicle motion calculation unit 110 calculates vehicle motion information (speed, posture) to perform dead reckoning using vehicle internal sensor data. Specifically, the vehicle motion calculation unit 110 uses the data on the position, speed, and posture of the vehicle recalculated by the error correction unit 320 and the wheel speed sensor, turning speed sensor, and gravity sensor data for the vehicle. Calculate the vehicle motion information of

또한, 차량 움직임 계산부(110)는 상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산한다. 이와 관련하여 차량 속력(vr)은 아래의 수학식 1에 따라 계산될 수 있다.In addition, the vehicle motion calculation unit 110 calculates the vehicle speed by using the wheel speed of the rear left and right wheels of the vehicle from the wheel speed sensor. In this regard, the vehicle speed v r may be calculated according to Equation 1 below.

Figure 112017099734341-pat00001
Figure 112017099734341-pat00001

여기서, vrL과 vrR는 각각 상기 차량의 좌측 및 우측 바퀴의 바퀴속력이다. 한편, 상기 차량 속력을 동체 좌표계 상의 속도로 정의할 수 있다. 이때, 차량이 바닥에서 이격된 상태로 점프하거나 타이어의 횡 방향 슬립(slip)이 발생되지 않는다는 가정하에 횡방향 속도 및 수직방향 속도를 0으로 설정할 수 있다. 이에 따라, 동체 좌표계 상의 속도로 정의된 차량 속력의 아래의 수학식 2와 같이 표시될 수 있다. 여기서, vx, vy, 및 vz는 차량의 종방향 속도, 횡방향 속도, 및 수직방향 속도에 해당한다.Here, v rL and v rR are wheel speeds of the left and right wheels of the vehicle, respectively. Meanwhile, the vehicle speed may be defined as a speed on a body coordinate system. In this case, the lateral speed and the vertical speed may be set to 0 on the assumption that the vehicle does not jump apart from the floor or the lateral slip of the tire does not occur. Accordingly, the vehicle speed defined as the speed on the body coordinate system may be expressed as in Equation 2 below. where v x , v y , and v z correspond to the longitudinal velocity, the lateral velocity, and the vertical velocity of the vehicle.

Figure 112017099734341-pat00002
Figure 112017099734341-pat00002

또한, 차량 움직임 계산부(110)는 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산할 수 있다. 즉, 차량의 요(yaw) 각도는 오차 보정된 선회 속도를 이용하여 아래의 수학식 3과 같이 구할 수 있다. 여기서, Ψt와 Ψt - 1는 각각 시각 t 및 t-1에서의 요(yaw) 각도,

Figure 112017099734341-pat00003
는 오차가 보정된 선회 속도, Δt는 추측항법 시간 간격을 나타낸다.In addition, the vehicle motion calculator 110 may calculate a yaw angle according to time of the vehicle by correcting an error between the turning speed from the turning speed sensor and the error correcting unit. That is, the yaw angle of the vehicle can be obtained as in Equation 3 below using the error-corrected turning speed. where Ψ t and Ψ t - 1 are the yaw angles at times t and t-1, respectively,
Figure 112017099734341-pat00003
is the error-corrected turning speed, and Δt is the dead reckoning time interval.

Figure 112017099734341-pat00004
Figure 112017099734341-pat00004

또한, 상기 차량 움직임 계산부(110)는 상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산한다. 즉, 상기 바퀴속력으로 계산한 종 방향 속도를 수치 미분하여 종방향 가속도를 아래의 수학식 4와 같이 구할 수 있다. 여기서, ax는 종 방향 가속도, vxt -1과 vxt은 각각 시각 t와 t-1 에서의 종 방향 속도, Δt는 추측항법 시간 간격을 나타낸다.In addition, the vehicle motion calculation unit 110 calculates the longitudinal acceleration by using the longitudinal speed calculated as the wheel speed. That is, by numerically differentiating the longitudinal speed calculated with the wheel speed, the longitudinal acceleration can be obtained as in Equation 4 below. where a x is the longitudinal acceleration, vx t -1 and vx t are the longitudinal velocities at times t and t-1, respectively, and Δt is the dead reckoning time interval.

Figure 112017099734341-pat00005
Figure 112017099734341-pat00005

또한, 상기 차량 움직임 계산부(110)는 종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산할 수 있다. 즉, 아래의 수학식 5 및 6과 같이, 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도(θ) 및 롤(roll) 각도(φ)를 계산할 수 있다.In addition, the vehicle motion calculation unit 110 uses the longitudinal gravity measurement value (f x ) and the lateral gravity measurement value (f y ) obtained from the longitudinal gravity sensor and the lateral gravity sensor to determine the pitch of the vehicle. Angles and roll angles can be calculated. That is, as shown in Equations 5 and 6 below, the pitch angle θ and the roll angle of the vehicle using the longitudinal gravity measurement f x and the lateral gravity measurement f y ( φ) can be calculated.

Figure 112017099734341-pat00006
Figure 112017099734341-pat00006

Figure 112017099734341-pat00007
Figure 112017099734341-pat00007

영상 처리부(200)는 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산한다. The image processing unit 200 obtains image coordinates by identifying road facilities in the image taken from the camera, extracts the absolute coordinates of the object from the spatial information DB, and the position and attitude of the vehicle through the image coordinates and the absolute coordinates to calculate

한편, 영상 처리부(200)는 영상 수신부(210), 객체 인지부(220), 전처리 필터(230), 및 항법해 계산부(240)를 포함한다. 영상 수신부(210)는 상기 카메라로부터 촬영된 영상을 수신한다. 또한, 객체 인지부(220)는 상기 영상에서 도로시설물을 파악하여 영상좌표를 획득한다. 또한, 전처리 필터(230)는 상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산한다. 또한, 항법해 계산부(240)는 상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산한다.Meanwhile, the image processing unit 200 includes an image receiving unit 210 , an object recognition unit 220 , a preprocessing filter 230 , and a navigation solution calculation unit 240 . The image receiving unit 210 receives the image captured by the camera. In addition, the object recognition unit 220 acquires image coordinates by identifying road facilities in the image. In addition, the pre-processing filter 230 uses the image coordinates, the absolute coordinates of the road facility extracted from the spatial information DB, and the first position and first posture of the vehicle from the positioning unit to perform a single photo rear intersection method. (SPR: Single Photo Resection) Calculate the initial value for calculation. Also, the navigation solution calculator 240 calculates a second position and a second posture of the vehicle through the SPR using the initial value.

한편, 영상 처리부(200)에서 전술된 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 구체적인 방법에 대해 좀 더 상세하게 살펴보면 다음과 같다. 이와 관련하여, 도 2는 본 발명에 따른 (단일) 영상 처리부에서 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 흐름도를 도시한다. 도 2에 도시된 바와 같이, SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 도로시설물의 영상 좌표를 획득(S210)한다. 이와 관련하여, 영상 수신부(210)에서는 카메라를 통해 촬영된 영상을 수신하고, 객체 인지부(220)에서는 기계학습(머신러닝)방법을 이용하여 도로시설물(도로표지판, 신호등, 노면화살표)를 탐색하고, 검출된 도로시설물의 영상좌표를 계산한다. 다음으로, 상기 도로시설물의 개수가 3개 이상인지를 판단(S220)한다. 이에 따라, 상기 도로시설물의 개수가 3개 미만이면, 영상 처리부(200)에 의한 연산을 종료(S225)한다. 반면에, 상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부(400)와 상기 내부센서 처리부(100)를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출(S230)한다. Meanwhile, a detailed method of calculating (correcting) the initial position and posture for performing the above-described SPR in the image processing unit 200 will be described in more detail as follows. In this regard, FIG. 2 is a flowchart illustrating a method of calculating (correcting) an initial position and posture for performing SPR in the (single) image processing unit according to the present invention. As shown in FIG. 2 , the method of calculating (correcting) the initial position and posture for performing SPR acquires image coordinates of road facilities (S210). In this regard, the image receiving unit 210 receives the image captured by the camera, and the object recognition unit 220 searches for road facilities (road signs, traffic lights, road arrows) using a machine learning (machine learning) method. and calculate the image coordinates of the detected road facilities. Next, it is determined whether the number of the road facilities is three or more (S220). Accordingly, if the number of the road facilities is less than three, the operation by the image processing unit 200 is terminated (S225). On the other hand, if the number of the road facilities is three or more, the location, speed, and posture of the vehicle calculated through the GNSS receiving unit 400 and the internal sensor processing unit 100 and the road from the spatial information DB By using the information on the facility, the absolute coordinates of the road facility are extracted (S230).

다음으로, 상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인(S240)하고, 상기 차량의 전방에 상기 도로 시설물이 위치하는지 여부를 판단(S250)한다. 이에 따라, 상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산(S260)한다. 반면에, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정(S255)하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산(S260)할 수 있다. 즉, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면 추측항법으로 계산된 위치, 자세에 오차가 발생된 것으로 판단하여, 차량과 도로 시설물과의 위치(또는 거리)에 기반하여 차량의 현재 위치를 조정할 수 있다. 예를 들어, 차량에 탑재된 카메라를 통해 획득한 영상 내의 도로시설물이 차량과 특정 방향으로 100m 전방에 있는 것으로 판단되었음에도, 도로시설물이 추측 항법을 통해 계산된 차량의 위치보다 100m 후방에 있다면, 차량 현재 위치는 특정 방향으로 200m의 오차가 발생한 것이다. 따라서, 도로시설물이 차량 전방에 위치하도록 현재 차량의 위치가 도로 시설물의 절대 좌표에서 특정 방향으로 200m 후방에 있는 것으로 판단할 수 있다.Next, the location of the road facility is checked based on the current position and posture of the vehicle (S240), and it is determined whether the road facility is located in front of the vehicle (S250). Accordingly, when the road facility is located in front of the vehicle, an initial position and posture for performing the SPR are calculated (S260). On the other hand, if the road facility is not located in front of the vehicle, the current position of the vehicle is adjusted (S255) so that the road facility is located in front of the vehicle, and the initial position and posture for performing the SPR are determined. It can be calculated (S260). That is, if the road facility is not located in front of the vehicle, it is determined that an error has occurred in the position and posture calculated by the dead reckoning method, and the current location of the vehicle is determined based on the location (or distance) between the vehicle and the road facility. Can be adjusted. For example, even if it is determined that the road facility in the image acquired through the camera mounted on the vehicle is 100m ahead of the vehicle in a specific direction, if the road facility is 100m behind the vehicle's location calculated through dead reckoning, the vehicle The current position is an error of 200m in a specific direction. Accordingly, it may be determined that the current vehicle location is 200 m behind the road facility in a specific direction in the absolute coordinates of the road facility so that the road facility is located in front of the vehicle.

측위부(300)는 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정한다. The positioning unit 300 calculates a navigation solution of the vehicle using the vehicle motion information, and corrects an error in the calculated navigation solution using the position and posture of the vehicle.

한편, 측위부(300)는 추측 항법 계산부(310)와 오차 보정부(320)를 포함한다. 오차 보정부(320)에서의 차량 위치/속도/자세를 판단하는 구체적인 방법이 도 3에 도시된다. 즉, 도 3은 본 발명에 따른 오차 보정부가 차량 움직임 계산부, 추측항법 계산부, GNSS 수신부, 및 영상 처리부와 함께 차량 위치/속도/자세를 판단하는 구성을 도시한다. 이와 관련하여, 추측 항법 계산부(310)는 차량 움직임 계산부(100)에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산한다. 또한, 오차 보정부(320)는 GNSS 수신부(400) 또는 상기 영상 처리부(200)에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산한다. 한편, 오차 보정부(320)에서 오차 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 값은 내부 센서 처리부(100)의 차량 움직임 계산부(110)로 피드백된다.Meanwhile, the positioning unit 300 includes a dead reckoning calculating unit 310 and an error correcting unit 320 . A specific method for determining the vehicle position/speed/posture in the error correcting unit 320 is illustrated in FIG. 3 . That is, FIG. 3 shows a configuration in which the error correction unit according to the present invention determines the vehicle position/speed/posture together with the vehicle motion calculator, the dead reckoning calculator, the GNSS receiver, and the image processor. In this regard, the dead reckoning calculation unit 310 uses the position, speed, and attitude of the vehicle calculated by the vehicle motion calculation unit 100 and the previous position, speed, and attitude of the vehicle at a previous time. Calculate your current position, velocity, and posture. In addition, the error correction unit 320 updates the error state variable through the Kalman filter using the measurement value transmitted from the GNSS receiver 400 or the image processing unit 200 to determine the position, speed and Recalculate posture and internal sensor errors. Meanwhile, the position, speed, and attitude of the vehicle and the internal sensor values corrected by the error correction unit 320 are fed back to the vehicle motion calculation unit 110 of the internal sensor processing unit 100 .

이상에서는, 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템 및 영상 처리 방법 및 오차 보정 방법에 대해 살펴보았다. In the above, a three-dimensional vehicle navigation system using an in-vehicle sensor, a camera, and a GNSS terminal according to the present invention, an image processing method, and an error correction method have been described.

이와 관련한 본원의 3차원 차량 항법 시스템 및 영상 처리 방법 및 오차 보정 방법의 선행 기술 등에 비한 차이점은 다음과 같다.In this regard, the three-dimensional vehicle navigation system and the image processing method and the error correction method of the present application are different from the prior art and the like.

- 관성센서를 추가적으로 설치하지 않고 차량에 탑재되어 있는 차량내부센서를 이용하여 추측항법을 수행할 수 있다.- Dead reckoning can be performed using the in-vehicle sensor mounted on the vehicle without additionally installing an inertial sensor.

- 추측항법으로 계산된 항법해 오차 및 차량 내부 센서 오차를 보상하기 위하여, 위성항법시스템으로 계산된 위치 및 속도뿐만 아니라 단일 영상으로 계산된 위치 및 자세도 함께 이용하므로, GNSS 신호 불량 및 차단 지역에서도 추측항법으로 계산된 차량의 항법해 오차를 보정할 수 있어 정밀하고 안정적인 항법해 추정이 가능하다.- In order to compensate for the navigation solution error calculated by dead reckoning and the in-vehicle sensor error, not only the position and velocity calculated by the satellite navigation system, but also the position and attitude calculated from a single image are used together, so even in areas with poor GNSS signals and blocking It is possible to correct the navigation solution error of the vehicle calculated by dead reckoning, enabling precise and stable navigation solution estimation.

- 바퀴속력센서는 바퀴의 회전수를 통해 속력을 계산하므로, 정지 상태를 명확하게 판단할 수 있다.- Since the wheel speed sensor calculates the speed through the number of revolutions of the wheel, it is possible to clearly determine the stop state.

- 정지상태에서 바퀴속력센서는 항상 속력이 0이므로 추측항법으로 계산된 위치 오차의 드리프트가 나타나지 않아 관성센서를 이용하는 경우보다 정밀한 위치를 계산할 수 있다.- Since the wheel speed sensor always has 0 speed in the stationary state, the drift of the position error calculated by dead reckoning does not appear, so the position can be calculated more precisely than when using the inertial sensor.

- 정지상태에서 영(zero) 속도 및 영 선회속도 제약조건을 적용함에 따라 자세 오차의 발산을 방지하고, 중력 센서 및 선회 속도 센서의 오차를 추정할 수 있어 보다 정밀한 항법해를 추정할 수 있다.- By applying zero speed and zero turning speed constraint in the stationary state, the divergence of attitude error is prevented, and the error of the gravity sensor and the turning speed sensor can be estimated, so that a more precise navigation solution can be estimated.

한편, 본 발명의 적어도 일 실시 예에 따르면, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다는 장점이 있다.Meanwhile, according to at least one embodiment of the present invention, when an image of road facilities is acquired even when a GNSS signal is defective or disconnected, an error of dead reckoning can be corrected, thereby enabling more precise positioning.

또한, 본 발명의 적어도 하나의 실시예에 따르면, 차량에 미리 탑재된 자동차내부센서, GNSS 단말기, 블랙박스 카메라를 적용하여 본 항법시스템을 구현할 수 있음에 따라 추가적인 센서 탑재에 따른 비용적인 문제가 발생되지 않는다는 장점이 있다.In addition, according to at least one embodiment of the present invention, the present navigation system can be implemented by applying the in-vehicle sensor, GNSS terminal, and black box camera pre-mounted to the vehicle, resulting in a cost problem due to the additional sensor mounting. The advantage is that it doesn't.

또한, 바퀴속력센서에서 측정된 속력을 통해 추측항법에 필요한 속도를 계산하므로, 관성 센서를 이용하는 것보다 정지상태에서 정밀한 항법해가 계산 가능하다는 장점이 있다.In addition, since the speed required for dead reckoning is calculated based on the speed measured by the wheel speed sensor, there is an advantage that a precise navigation solution can be calculated in a stationary state rather than using an inertial sensor.

또한, 제안된 기술은 기존 위성항법시스템 및 관성센서를 기반으로 한 측위 기술을 적용하고 있는 자동차 내비게이션, 차세대 지능형 교통시스템, 첨단 운전자 보조 시스템, 자율 주행 자동차 등에 적용할 수 있다는 장점이 있다.In addition, the proposed technology has the advantage that it can be applied to car navigation systems, next-generation intelligent transportation systems, advanced driver assistance systems, and autonomous vehicles that apply positioning technology based on existing satellite navigation systems and inertial sensors.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들은 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.According to the software implementation, each component as well as the procedures and functions described in this specification may be implemented as a separate software module. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in a memory and executed by a controller or a processor.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: (자동차) 내부센서 처리부 110: 차량 움직임 계산부
200: (단일) 영상 처리부 210: 영상 수신부
220: 객체 인지부 230: 전처리 필터
240: 항법해 계산부 300: 측위부
310: 추측 항법 계산부 320: 오차 보정부
400: GNSS 수신부100: (vehicle) internal sensor processing unit 110: vehicle motion calculation unit
200: (single) image processing unit 210: image receiving unit
220: object recognition unit 230: pre-processing filter
240: navigation solution calculation unit 300: positioning unit
310: dead reckoning calculation unit 320: error correction unit
400: GNSS receiver

Claims (7)

차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템에 있어서,
상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부;
카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및
상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하고,
상기 영상 처리부는,
상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부;
상기 영상에서 도로시설물을 파악하여 영상좌표를 획득하는 객체 인지부;
상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산하는 전처리 필터; 및
상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산하는 항법해 계산부를 포함하는
3차원 차량 항법 시스템.
In a three-dimensional vehicle navigation system using an in-vehicle sensor, a camera, and a GNSS terminal,
an internal sensor processing unit for acquiring data of a wheel speed sensor, a turning speed sensor, and a gravity sensor mounted on the vehicle, and calculating vehicle motion information of the vehicle;
an image processing unit for acquiring image coordinates by identifying road facilities from an image taken from a camera, extracting absolute coordinates of an object from a spatial information DB, and calculating the position and posture of the vehicle through the image coordinates and the absolute coordinates; and
and a positioning unit that calculates a navigation solution of the vehicle using the vehicle motion information and corrects an error of the calculated navigation solution using the position and posture of the vehicle,
The image processing unit,
an image receiving unit for receiving the image taken from the camera;
an object recognition unit for acquiring image coordinates by recognizing road facilities in the image;
Single Photo Resection (SPR) calculation using the image coordinates, the absolute coordinates of the road facility extracted from the spatial information DB, and the first position and first posture of the vehicle from the positioning unit a pre-processing filter that calculates an initial value for ; and
and a navigation solution calculator configured to calculate a second position and a second posture of the vehicle through the SPR using the initial value.
3D vehicle navigation system.
 삭제delete 제1 항에 있어서,
상기 측위부는,
상기 내부센서 처리부에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산하는 추측 항법 계산부를 포함하는, 3차원 차량 항법 시스템.According to claim 1,
The positioning unit,
and a dead reckoning calculation unit for calculating the current position, speed, and attitude of the vehicle using the position, speed, and attitude of the vehicle calculated by the internal sensor processing unit and the previous position, speed, and attitude of the vehicle at a previous time 3D vehicle navigation system. 제3 항에 있어서,
상기 측위부는,
GNSS 수신부 또는 상기 영상 처리부에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산하는 오차 보정부를 더 포함하는, 3차원 차량 항법 시스템.4. The method of claim 3,
The positioning unit,
Using the measurement value transmitted from the GNSS receiving unit or the image processing unit, updating the error state variable through the Kalman filter to recalculate the position, speed, and attitude of the vehicle for which the error state has been corrected and the internal sensor error further comprising an error correction unit , a three-dimensional vehicle navigation system. 제4 항에 있어서,
상기 내부센서 처리부는,
상기 오차 보정부에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산하는 차량 움직임 계산부를 포함하고,
상기 차량 움직임 계산부는,
상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산하고, 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템.5. The method of claim 4,
The internal sensor processing unit,
A vehicle motion calculation unit for calculating vehicle motion information of the vehicle using the data on the position, speed, and posture of the vehicle recalculated by the error correcting unit and the wheel speed sensor, turning speed sensor, and gravity sensor data, and ,
The vehicle motion calculation unit,
The vehicle speed is calculated using the wheel speed of the rear left and right wheels of the vehicle from the wheel speed sensor, and the time of the vehicle is calculated by correcting the error between the turning speed from the turning speed sensor and the error correction unit. A three-dimensional vehicle navigation system, characterized in that it calculates a yaw angle. 제5 항에 있어서,
상기 차량 움직임 계산부는,
상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산하고,
종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템.6. The method of claim 5,
The vehicle motion calculation unit,
Calculate the longitudinal acceleration using the longitudinal speed calculated as the wheel speed,
Calculating the pitch angle and roll angle of the vehicle using the longitudinal gravity measurement (f x ) and the lateral gravity measurement (f y ) obtained from the longitudinal gravity sensor and the lateral gravity sensor Characterized in, a three-dimensional vehicle navigation system. 제4 항에 있어서,
상기 단일 영상 처리부는,
상기 도로시설물의 개수가 3개 미만이면 상기 영상 처리부의 연산을 종료하고,
상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부와 상기 내부센서 처리부를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출하고,
상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인하고,
상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하고,
상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템.5. The method of claim 4,
The single image processing unit,
If the number of road facilities is less than three, the operation of the image processing unit is terminated,
If the number of the road facilities is three or more, using the location, speed, and posture of the vehicle calculated through the GNSS receiving unit and the internal sensor processing unit, and information on the road facilities from the spatial information DB, the Extract the absolute coordinates of road facilities,
Check the location of the road facility based on the current location and posture of the vehicle,
If the road facility is located in front of the vehicle, calculate an initial position and posture for performing the SPR,
When the road facility is not located in front of the vehicle, the current position of the vehicle is adjusted so that the road facility is located in front of the vehicle, and an initial position and posture for performing the SPR are calculated. , a three-dimensional vehicle navigation system.
KR1020170131623A 2017-10-11 2017-10-11 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal KR102331312B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170131623A KR102331312B1 (en) 2017-10-11 2017-10-11 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170131623A KR102331312B1 (en) 2017-10-11 2017-10-11 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal

Publications (2)

Publication Number Publication Date
KR20190040818A KR20190040818A (en) 2019-04-19
KR102331312B1 true KR102331312B1 (en) 2021-11-24

Family

ID=66283473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170131623A KR102331312B1 (en) 2017-10-11 2017-10-11 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal

Country Status (1)

Country Link
KR (1) KR102331312B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102315703B1 (en) * 2019-04-08 2021-10-20 한국교통대학교산학협력단 A method and apparatus for sharing object sensing information of infra sensor
JP7207163B2 (en) * 2019-05-23 2023-01-18 株式会社デンソー Anomaly detection device, anomaly detection method, anomaly detection program
CN112464796A (en) * 2020-11-25 2021-03-09 迪蒙智慧交通科技有限公司 Vehicle searching method, vehicle searching system and computer readable storage medium
JP7177862B2 (en) * 2021-01-04 2022-11-24 本田技研工業株式会社 positioning device
KR102549210B1 (en) * 2021-04-01 2023-06-30 한국전자통신연구원 Method and apparatus for collecting gps positioning error
CN114018284B (en) * 2021-10-13 2024-01-23 上海师范大学 Wheel speed odometer correction method based on vision

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628427B1 (en) * 2012-12-17 2016-06-08 주식회사 만도 Deadreckoning-based navigation system using camera and control method thereof
KR101569354B1 (en) * 2014-01-08 2015-11-17 인하대학교 산학협력단 Method and Apparatus for Error Correction of Global Navigation Satellite System Signal using Imaging Sensor

Also Published As

Publication number Publication date
KR20190040818A (en) 2019-04-19

Similar Documents

Publication Publication Date Title
KR102331312B1 (en) 3D vehicular navigation system using vehicular internal sensor, camera, and GNSS terminal
US10788830B2 (en) Systems and methods for determining a vehicle position
CN106289275B (en) Unit and method for improving positioning accuracy
CN107328410B (en) Method for locating an autonomous vehicle and vehicle computer
US9933268B2 (en) Method and system for improving accuracy of digital map data utilized by a vehicle
US9965699B2 (en) Methods and systems for enabling improved positioning of a vehicle
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
US10024668B2 (en) Position estimation system, position estimation method and mobile unit
US8452535B2 (en) Systems and methods for precise sub-lane vehicle positioning
KR101454153B1 (en) Navigation system for unmanned ground vehicle by sensor fusion with virtual lane
Jo et al. GPS-bias correction for precise localization of autonomous vehicles
US9767372B2 (en) Target detection apparatus and target detection method
CN113519019B (en) Self-position estimating device, automatic driving system equipped with same, and self-generated map sharing device
KR101704405B1 (en) System and method for lane recognition
KR20140078158A (en) Deadreckoning-based navigation system using camera and control method thereof
KR102441073B1 (en) Apparatus for compensating sensing value of gyroscope sensor, system having the same and method thereof
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
US11287281B2 (en) Analysis of localization errors in a mobile object
Niu et al. Camera-based lane-aided multi-information integration for land vehicle navigation
JP7143947B2 (en) SELF POSITION CORRECTION METHOD AND SELF POSITION CORRECTION DEVICE
KR102336071B1 (en) Apparatus for determining position of vehicle and method thereof
JP2020046411A (en) Data structure, storage device, terminal device, server device, control method, program, and storage medium
KR20210082422A (en) Apparatus for determining position of vehicle and method thereof
RU2781373C1 (en) Method for correcting one's location and a device for correcting one's location
JP7378591B2 (en) Travel route generation device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant