KR20190040818A - 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 - Google Patents
차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 Download PDFInfo
- Publication number
- KR20190040818A KR20190040818A KR1020170131623A KR20170131623A KR20190040818A KR 20190040818 A KR20190040818 A KR 20190040818A KR 1020170131623 A KR1020170131623 A KR 1020170131623A KR 20170131623 A KR20170131623 A KR 20170131623A KR 20190040818 A KR20190040818 A KR 20190040818A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- sensor
- posture
- image
- speed
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
- G01S1/08—Systems for determining direction or position line
- G01S1/38—Systems for determining direction or position line using comparison of [1] the phase of the envelope of the change of frequency, due to Doppler effect, of the signal transmitted by an antenna moving, or appearing to move, in a cyclic path with [2] the phase of a reference signal, the frequency of this reference signal being synchronised with that of the cyclic movement, or apparent cyclic movement, of the antenna
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
- G01S19/26—Acquisition or tracking or demodulation of signals transmitted by the system involving a sensor measurement for aiding acquisition or tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Automation & Control Theory (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Navigation (AREA)
Abstract
본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템은, 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부; 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하고, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다.
Description
본 발명은 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템에 관한 것이다. 보다 상세하게는, 3차원 차량 항법 시스템에서 차량 움직임과 위성 항법 결과, 및 영상 처리 결과를 이용하여 차량의 위치를 정밀하게 판단하는 방법에 관한 것이다.
현재 위치 결정의 기술은 다양한 방법을 통해 이루어지고 있지만 이동체를 대상으로 진행되는 위치 결정 기술로, 가장 대중화된 방법은 위성 항법 시스템(GNSS, Global Navigation Satellite System)을 이용한 위치 결정 기술이다. 위성 항법 시스템은 GPS(Global Positioning System), GLONASS(Global Navigation Satellite System), Compass Navigation System, Galileo Positioning System 등을 포함할 수 있다.
하지만, 이러한 위성 항법 시스템과 관련하여, 종래 기술은 GPS 및 차량 속도계 등의 외부정보를 이용할 수 없는 상황에서 관성센서를 이용한 비접촉 항법 시스템의 센서 오차를 연속적으로 보정하여 계속적인 항법 기능을 수행하였다. 또한, 가속도계 및 자이로 센서의 출력 특성을 이용하여 정지 상태를 판단하여 센서 출력의 바이어스를 직접 추정하였다. 이와 관련하여, 종래 특허는 차량 항법 시스템 및 그 제어방법(등록번호 : 10-0675362)과 위치 측정 장치 및 방법(출원번호 : 10-2013-0064283)가 있다.
하지만, 이러한 위성 항법 시스템에서는 다음과 같은 제약 사항 및 가정하에 차량의 정확한 위치, 자세 등의 판단이 가능하다는 문제점이 있다. 즉, 이러한 제약 사항 및 가정이 만족되지 않는 상황에서는 차량의 정확한 위치, 자세 등의 판단이 어렵다는 문제점이 있다.
이와 관련하여, 상하 및 좌우 움직임이 거의 없다는 차량 움직임 제한 조건을 통해 센서 오차를 연속적으로 보정하지만, 고속 주행 및 노면 상에 과속방지턱 등이 존재할 경우에는 상기 제약 조건을 위반하게 되어 부정확한 항법해가 추정될 수 있다는 문제점이 있다. 또한, 가속도 센서와 자이로 센서에서 출력되는 값을 이용하여 정지 상황을 판단할 경우에 상기 센서에서 제거되지 않는 계통오차(편이, 스케일링 팩터)로 인하여 오판단을 할 수 있으며, 관성 센서마다 센서 오차의 크기가 다르므로 정지 판단을 위한 기준값은 관성 센서마다 다를 수 있다는 문제점이 있다. 또한, 제안된 방법을 적용하더라도 장시간의 GPS 신호 단절 상황에서는 관성 센서의 오차가 적분되어 계산되는 항법 정보의 오차가 급격하게 증가하여 항법해 정보의 신뢰성이 저하된다는 문제점이 있다. 또한, 관성 센서를 추가적으로 장착하여야 하므로, 상기 기술을 적용하기에는 비용적인 문제가 발생될 수 있다는 문제점이 있다.
따라서, 본 발명에서 해결하고자 하는 과제 및 목적은 관성센서를 추가적으로 설치하지 않고 차량에 탑재되어 있는 차량내부센서를 이용하여 추측항법을 수행하는 데에 있다.
또한, 본 발명에서 해결하고자 하는 과제 및 목적은 위성항법시스템으로 계산된 위치 및 속도뿐만 아니라 단일 영상으로 계산된 위치 및 자세도 함께 이용하므로, GNSS 신호 불량 및 차단 지역에서도 추측항법으로 계산된 차량의 항법해 오차를 보정할 수 있는 방법을 제공하는 데에 있다.
상기와 같은 과제를 해결하기 위한 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템은, 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부; 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하고, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다.
일 실시 예에서, 상기 영상 처리부는, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부; 상기 영상에서 도로시설물을 파악하여 영상좌표를 획득하는 객체 인지부; 상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산하는 전처리 필터; 및 상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산하는 항법해 계산부를 포함할 수 있다.
일 실시 예에서, 상기 측위부는, 상기 내부센서 처리부에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산하는 추측 항법 계산부를 포함할 수 있다.
일 실시 예에서, 상기 측위부는, GNSS 수신부 또는 상기 영상 처리부에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산하는 오차 보정부를 더 포함할 수 있다.
일 실시 예에서, 상기 내부센서 처리부는, 상기 오차 보정부에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산하는 차량 움직임 계산부를 포함하고, 상기 차량 움직임 계산부는, 상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산하고, 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산하는 것을 특징으로 할 수 있다.
일 실시 예에서, 상기 차량 움직임 계산부는, 상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산하고, 종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산하는 것을 특징으로 할 수 있다.
일 실시 예에서, 상기 단일 영상 처리부는, 상기 도로시설물의 개수가 3개 미만이면 상기 영상 처리부의 연산을 종료하고, 상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부와 상기 내부센서 처리부를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출하고, 상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인하고, 상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하고, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하는 것을 특징으로 할 수 있다.
본 발명의 적어도 일 실시 예에 따르면, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다는 장점이 있다.
또한, 본 발명의 적어도 하나의 실시예에 따르면, 차량에 미리 탑재된 자동차내부센서, GNSS 단말기, 블랙박스 카메라를 적용하여 본 항법시스템을 구현할 수 있음에 따라 추가적인 센서 탑재에 따른 비용적인 문제가 발생되지 않는다는 장점이 있다.
도 1은 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템의 상세한 구성을 나타낸다.
도 2는 본 발명에 따른 (단일) 영상 처리부에서 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 흐름도를 도시한다.
도 3은 본 발명에 따른 오차 보정부가 차량 움직임 계산부, 추측항법 계산부, GNSS 수신부, 및 영상 처리부와 함께 차량 위치/속도/자세를 판단하는 구성을 도시한다.
도 2는 본 발명에 따른 (단일) 영상 처리부에서 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 흐름도를 도시한다.
도 3은 본 발명에 따른 오차 보정부가 차량 움직임 계산부, 추측항법 계산부, GNSS 수신부, 및 영상 처리부와 함께 차량 위치/속도/자세를 판단하는 구성을 도시한다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈", "블록" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
이하에서는, 본 발명에 따른 안전지대 내비게이션 방법 및 이와 연동된 내비게이터 시스템에 대해 살펴보기로 한다. 한편, 본 발명에 따른 장치(기기) 또는 시스템의 각각의 구성요소들 간의 연결 관계는 설명에 한정되는 것이 아니라, 응용에 따라 자유롭게 변형 가능하다. 또한, 본 발명에 따른 각 단계들의 순서는 설명에 한정되는 것이 아니라, 응용에 따라 자유롭게 변형 가능하다.
이와 관련하여, 도 1은 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템의 상세한 구성을 나타낸다. 한편, 3차원 차량 항법 시스템은 차량 내의 내비게이션 시스템에 해당하거나, 또는 차량 내의 사용자가 소지한 이동 단말 내의 어플리케이션과 차량 내의 센서들과 결합된 시스템일 수 있다. 한편, 도 1에 도시된 바와 같이, 3차원 차량 항법 시스템은 (자동차) 내부센서 처리부(100), (단일) 영상 처리부(200), 및 측위부(300)를 포함한다. 또한, 3차원 차량 항법 시스템은 GNSS (Global Navigation Satellite System) 수신부(400)를 더 포함할 수 있다.
내부센서 처리부(100)는 상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산한다. 한편, 내부센서 처리부(100)는 차량 움직임 계산부(110)를 포함한다. 차량 움직임 계산부(110)는 동적 좌표계 기준 속도를 계산하고, 중력 모델에 기반하여 롤(roll) 각도 및 피치(pitch) 각도를 계산하고, 요(yaw) 각도를 계산할 수 있다. 이와 관련하여, 내부센서 처리부(100)는 차량에 탑재되어 있는 바퀴속력센서, 선회속도센서, 중력센서 데이터를 CAN (Controller Area Network) 통신을 통해 수신한다. 또한, 차량 움직임 계산부(110)는 자동차 내부센서 데이터를 이용한 추측항법을 수행할 수 있도록 차량 움직임 정보(속도, 자세)를 계산한다. 구체적으로, 차량 움직임 계산부(110)는 오차 보정부(320)에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산한다.
또한, 차량 움직임 계산부(110)는 상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산한다. 이와 관련하여 차량 속력(vr)은 아래의 수학식 1에 따라 계산될 수 있다.
여기서, vrL과 vrR는 각각 상기 차량의 좌측 및 우측 바퀴의 바퀴속력이다. 한편, 상기 차량 속력을 동체 좌표계 상의 속도로 정의할 수 있다. 이때, 차량이 바닥에서 이격된 상태로 점프하거나 타이어의 횡 방향 슬립(slip)이 발생되지 않는다는 가정하에 횡방향 속도 및 수직방향 속도를 0으로 설정할 수 있다. 이에 따라, 동체 좌표계 상의 속도로 정의된 차량 속력의 아래의 수학식 2와 같이 표시될 수 있다. 여기서, vx, vy, 및 vz는 차량의 종방향 속도, 횡방향 속도, 및 수직방향 속도에 해당한다.
또한, 차량 움직임 계산부(110)는 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산할 수 있다. 즉, 차량의 요(yaw) 각도는 오차 보정된 선회 속도를 이용하여 아래의 수학식 3과 같이 구할 수 있다. 여기서, Ψt와 Ψt - 1는 각각 시각 t 및 t-1에서의 요(yaw) 각도, 는 오차가 보정된 선회 속도, Δt는 추측항법 시간 간격을 나타낸다.
또한, 상기 차량 움직임 계산부(110)는 상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산한다. 즉, 상기 바퀴속력으로 계산한 종 방향 속도를 수치 미분하여 종방향 가속도를 아래의 수학식 4와 같이 구할 수 있다. 여기서, ax는 종 방향 가속도, vxt -1과 vxt은 각각 시각 t와 t-1 에서의 종 방향 속도, Δt는 추측항법 시간 간격을 나타낸다.
또한, 상기 차량 움직임 계산부(110)는 종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산할 수 있다. 즉, 아래의 수학식 5 및 6과 같이, 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도(θ) 및 롤(roll) 각도(φ)를 계산할 수 있다.
영상 처리부(200)는 카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산한다.
한편, 영상 처리부(200)는 영상 수신부(210), 객체 인지부(220), 전처리 필터(230), 및 항법해 계산부(240)를 포함한다. 영상 수신부(210)는 상기 카메라로부터 촬영된 영상을 수신한다. 또한, 객체 인지부(220)는 상기 영상에서 도로시설물을 파악하여 영상좌표를 획득한다. 또한, 전처리 필터(230)는 상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산한다. 또한, 항법해 계산부(240)는 상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산한다.
한편, 영상 처리부(200)에서 전술된 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 구체적인 방법에 대해 좀 더 상세하게 살펴보면 다음과 같다. 이와 관련하여, 도 2는 본 발명에 따른 (단일) 영상 처리부에서 SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 흐름도를 도시한다. 도 2에 도시된 바와 같이, SPR을 수행하기 위한 초기 위치 및 자세를 계산(보정)하는 방법은 도로시설물의 영상 좌표를 획득(S210)한다. 이와 관련하여, 영상 수신부(210)에서는 카메라를 통해 촬영된 영상을 수신하고, 객체 인지부(220)에서는 기계학습(머신러닝)방법을 이용하여 도로시설물(도로표지판, 신호등, 노면화살표)를 탐색하고, 검출된 도로시설물의 영상좌표를 계산한다. 다음으로, 상기 도로시설물의 개수가 3개 이상인지를 판단(S220)한다. 이에 따라, 상기 도로시설물의 개수가 3개 미만이면, 영상 처리부(200)에 의한 연산을 종료(S225)한다. 반면에, 상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부(400)와 상기 내부센서 처리부(100)를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출(S230)한다.
다음으로, 상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인(S240)하고, 상기 차량의 전방에 상기 도로 시설물이 위치하는지 여부를 판단(S250)한다. 이에 따라, 상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산(S260)한다. 반면에, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정(S255)하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산(S260)할 수 있다. 즉, 상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면 추측항법으로 계산된 위치, 자세에 오차가 발생된 것으로 판단하여, 차량과 도로 시설물과의 위치(또는 거리)에 기반하여 차량의 현재 위치를 조정할 수 있다. 예를 들어, 차량에 탑재된 카메라를 통해 획득한 영상 내의 도로시설물이 차량과 특정 방향으로 100m 전방에 있는 것으로 판단되었음에도, 도로시설물이 추측 항법을 통해 계산된 차량의 위치보다 100m 후방에 있다면, 차량 현재 위치는 특정 방향으로 200m의 오차가 발생한 것이다. 따라서, 도로시설물이 차량 전방에 위치하도록 현재 차량의 위치가 도로 시설물의 절대 좌표에서 특정 방향으로 200m 후방에 있는 것으로 판단할 수 있다.
측위부(300)는 상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정한다.
한편, 측위부(300)는 추측 항법 계산부(310)와 오차 보정부(320)를 포함한다. 오차 보정부(320)에서의 차량 위치/속도/자세를 판단하는 구체적인 방법이 도 3에 도시된다. 즉, 도 3은 본 발명에 따른 오차 보정부가 차량 움직임 계산부, 추측항법 계산부, GNSS 수신부, 및 영상 처리부와 함께 차량 위치/속도/자세를 판단하는 구성을 도시한다. 이와 관련하여, 추측 항법 계산부(310)는 차량 움직임 계산부(100)에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산한다. 또한, 오차 보정부(320)는 GNSS 수신부(400) 또는 상기 영상 처리부(200)에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산한다. 한편, 오차 보정부(320)에서 오차 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 값은 내부 센서 처리부(100)의 차량 움직임 계산부(110)로 피드백된다.
이상에서는, 본 발명에 따른 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템 및 영상 처리 방법 및 오차 보정 방법에 대해 살펴보았다.
이와 관련한 본원의 3차원 차량 항법 시스템 및 영상 처리 방법 및 오차 보정 방법의 선행 기술 등에 비한 차이점은 다음과 같다.
- 관성센서를 추가적으로 설치하지 않고 차량에 탑재되어 있는 차량내부센서를 이용하여 추측항법을 수행할 수 있다.
- 추측항법으로 계산된 항법해 오차 및 차량 내부 센서 오차를 보상하기 위하여, 위성항법시스템으로 계산된 위치 및 속도뿐만 아니라 단일 영상으로 계산된 위치 및 자세도 함께 이용하므로, GNSS 신호 불량 및 차단 지역에서도 추측항법으로 계산된 차량의 항법해 오차를 보정할 수 있어 정밀하고 안정적인 항법해 추정이 가능하다.
- 바퀴속력센서는 바퀴의 회전수를 통해 속력을 계산하므로, 정지 상태를 명확하게 판단할 수 있다.
- 정지상태에서 바퀴속력센서는 항상 속력이 0이므로 추측항법으로 계산된 위치 오차의 드리프트가 나타나지 않아 관성센서를 이용하는 경우보다 정밀한 위치를 계산할 수 있다.
- 정지상태에서 영(zero) 속도 및 영 선회속도 제약조건을 적용함에 따라 자세 오차의 발산을 방지하고, 중력 센서 및 선회 속도 센서의 오차를 추정할 수 있어 보다 정밀한 항법해를 추정할 수 있다.
한편, 본 발명의 적어도 일 실시 예에 따르면, GNSS 신호 불량 및 단절 시에도 도로시설물이 촬영된 영상이 획득되면, 추측항법의 오차를 보정할 수 있어 보다 정밀한 측위가 가능하다는 장점이 있다.
또한, 본 발명의 적어도 하나의 실시예에 따르면, 차량에 미리 탑재된 자동차내부센서, GNSS 단말기, 블랙박스 카메라를 적용하여 본 항법시스템을 구현할 수 있음에 따라 추가적인 센서 탑재에 따른 비용적인 문제가 발생되지 않는다는 장점이 있다.
또한, 바퀴속력센서에서 측정된 속력을 통해 추측항법에 필요한 속도를 계산하므로, 관성 센서를 이용하는 것보다 정지상태에서 정밀한 항법해가 계산 가능하다는 장점이 있다.
또한, 제안된 기술은 기존 위성항법시스템 및 관성센서를 기반으로 한 측위 기술을 적용하고 있는 자동차 내비게이션, 차세대 지능형 교통시스템, 첨단 운전자 보조 시스템, 자율 주행 자동차 등에 적용할 수 있다는 장점이 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들은 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: (자동차) 내부센서 처리부
110: 차량 움직임 계산부
200: (단일) 영상 처리부 210: 영상 수신부
220: 객체 인지부 230: 전처리 필터
240: 항법해 계산부 300: 측위부
310: 추측 항법 계산부 320: 오차 보정부
400: GNSS 수신부
200: (단일) 영상 처리부 210: 영상 수신부
220: 객체 인지부 230: 전처리 필터
240: 항법해 계산부 300: 측위부
310: 추측 항법 계산부 320: 오차 보정부
400: GNSS 수신부
Claims (7)
- 차량 내부 센서, 카메라, 및 GNSS 단말기를 이용한 3차원 차량 항법 시스템에 있어서,
상기 차량에 탑재된 바퀴속력센서, 선회속도센서, 중력센서 데이터를 획득하고, 상기 차량의 차량 움직임 정보를 계산하는 내부센서 처리부;
카메라로부터 촬영된 영상에서 도로시설물을 파악하여 영상좌표를 획득하고, 공간정보 DB로부터 객체의 절대좌표를 추출하고, 상기 영상좌표와 상기 절대좌표를 통해 상기 차량의 위치와 자세를 계산하는 영상 처리부; 및
상기 차량 움직임 정보를 이용하여 상기 차량의 항법해를 계산하고, 상기 차량의 위치와 자세를 이용하여 상기 계산된 항법해의 오차를 보정하는 측위부를 포함하는, 3차원 차량 항법 시스템. - 제1 항에 있어서,
상기 영상 처리부는,
상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부;
상기 영상에서 도로시설물을 파악하여 영상좌표를 획득하는 객체 인지부;
상기 영상좌표, 상기 공간정보 DB로부터 추출된 상기 도로시설물의 절대좌표와, 상기 측위부로부터의 상기 차량의 제1 위치와 제1 자세를 이용하여 단사진후방교차법(SPR: Single Photo Resection) 계산을 위한 초기값을 계산하는 전처리 필터; 및
상기 초기값을 이용하는 상기 SPR을 통해 상기 차량의 제2 위치와 제2 자세를 계산하는 항법해 계산부를 포함하는, 3차원 차량 항법 시스템. - 제2 항에 있어서,
상기 측위부는,
상기 내부센서 처리부에서 계산된 상기 차량의 위치, 속도 및 자세와 이전 시각에서의 상기 차량의 이전 위치, 속도 및 자세를 이용하여 상기 차량의 현재 위치, 속도, 및 자세를 계산하는 추측 항법 계산부를 포함하는, 3차원 차량 항법 시스템. - 제3 항에 있어서,
상기 측위부는,
GNSS 수신부 또는 상기 영상 처리부에서 전송된 측정치를 이용하여 칼만 필터를 통해 오차 상태 변수를 갱신하여 오차 상태가 보정된 상기 차량의 위치, 속도 및 자세와 내부 센서 오차를 재계산하는 오차 보정부를 더 포함하는, 3차원 차량 항법 시스템. - 제4 항에 있어서,
상기 내부센서 처리부는,
상기 오차 보정부에서 재계산된 상기 차량의 위치, 속도 및 자세에 대한 데이터와 상기 바퀴속력센서, 선회속도센서, 중력센서 데이터를 이용하여 상기 차량의 차량 움직임 정보를 계산하는 차량 움직임 계산부를 포함하고,
상기 차량 움직임 계산부는,
상기 바퀴속력센서로부터의 상기 차량의 뒤쪽 좌측 및 우측 바퀴의 바퀴속력을 이용하여 차량 속력을 계산하고, 상기 선회속도센서로부터의 선회속도와 상기 오차 보정부와의 오차 보정을 통해 상기 차량의 시간에 따른 요(yaw) 각도를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템. - 제5 항에 있어서,
상기 차량 움직임 계산부는,
상기 바퀴속력으로 계산한 종 방향 속도를 이용하여 종 방향 가속도를 계산하고,
종 방향 중력 센서 및 횡 방향 중력 센서에서 획득한 종 방향 중력 측정치(fx) 및 횡 방향 중력 측정치(fy)를 이용하여 상기 차량의 피치(pitch) 각도 및 롤(roll) 각도를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템. - 제4 항에 있어서,
상기 단일 영상 처리부는,
상기 도로시설물의 개수가 3개 미만이면 상기 영상 처리부의 연산을 종료하고,
상기 도로시설물의 개수가 3개 이상이면, 상기 GNSS 수신부와 상기 내부센서 처리부를 통해 계산된 상기 차량의 위치, 속도, 및 자세와 상기 공간 정보 DB로부터의 상기 도로 시설물에 대한 정보를 이용하여, 상기 도로시설물의 절대 좌표를 추출하고,
상기 차량의 현재 위치 및 자세를 기준으로 상기 도로시설물의 위치를 확인하고,
상기 차량의 전방에 상기 도로 시설물이 위치하면, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하고,
상기 차량의 전방에 상기 도로 시설물이 위치하지 않으면, 상기 도로시설물이 상기 차량의 전방에 위치하도록 상기 차량의 현재 위치를 조정하고, 상기 SPR을 수행하기 위한 초기 위치 및 자세를 계산하는 것을 특징으로 하는, 3차원 차량 항법 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170131623A KR102331312B1 (ko) | 2017-10-11 | 2017-10-11 | 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170131623A KR102331312B1 (ko) | 2017-10-11 | 2017-10-11 | 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190040818A true KR20190040818A (ko) | 2019-04-19 |
KR102331312B1 KR102331312B1 (ko) | 2021-11-24 |
Family
ID=66283473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170131623A KR102331312B1 (ko) | 2017-10-11 | 2017-10-11 | 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102331312B1 (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200120981A (ko) * | 2019-04-08 | 2020-10-23 | 한국교통대학교산학협력단 | 인프라 센서의 객체 센싱 정보를 공유하기 위한 방법 및 장치 |
CN111982179A (zh) * | 2019-05-23 | 2020-11-24 | 株式会社电装 | 异常检测设备、异常检测方法以及计算机可读介质 |
CN112464796A (zh) * | 2020-11-25 | 2021-03-09 | 迪蒙智慧交通科技有限公司 | 寻车方法、寻车系统及计算机可读存储介质 |
KR20210039561A (ko) * | 2019-10-02 | 2021-04-12 | 현대엠엔소프트 주식회사 | 추측항법 오차 보정 방법 및 그 전자 장치 |
CN114018284A (zh) * | 2021-10-13 | 2022-02-08 | 上海师范大学 | 一种基于视觉的轮速里程计校正方法 |
US20220215674A1 (en) * | 2021-01-04 | 2022-07-07 | Honda Motor Co., Ltd. | Position determination device |
KR20220136636A (ko) * | 2021-04-01 | 2022-10-11 | 한국전자통신연구원 | Gps 측위 오차 수집 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140078158A (ko) * | 2012-12-17 | 2014-06-25 | 주식회사 만도 | 카메라를 이용한 추측항법 기반 네비게이션 시스템 및 그 제어방법 |
KR20150083161A (ko) * | 2014-01-08 | 2015-07-17 | 인하대학교 산학협력단 | 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치 |
-
2017
- 2017-10-11 KR KR1020170131623A patent/KR102331312B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140078158A (ko) * | 2012-12-17 | 2014-06-25 | 주식회사 만도 | 카메라를 이용한 추측항법 기반 네비게이션 시스템 및 그 제어방법 |
KR20150083161A (ko) * | 2014-01-08 | 2015-07-17 | 인하대학교 산학협력단 | 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200120981A (ko) * | 2019-04-08 | 2020-10-23 | 한국교통대학교산학협력단 | 인프라 센서의 객체 센싱 정보를 공유하기 위한 방법 및 장치 |
CN111982179A (zh) * | 2019-05-23 | 2020-11-24 | 株式会社电装 | 异常检测设备、异常检测方法以及计算机可读介质 |
CN111982179B (zh) * | 2019-05-23 | 2024-05-10 | 株式会社电装 | 异常检测设备、异常检测方法以及计算机可读介质 |
KR20210039561A (ko) * | 2019-10-02 | 2021-04-12 | 현대엠엔소프트 주식회사 | 추측항법 오차 보정 방법 및 그 전자 장치 |
CN112464796A (zh) * | 2020-11-25 | 2021-03-09 | 迪蒙智慧交通科技有限公司 | 寻车方法、寻车系统及计算机可读存储介质 |
CN112464796B (zh) * | 2020-11-25 | 2024-05-24 | 迪蒙智慧交通科技有限公司 | 寻车方法、寻车系统及计算机可读存储介质 |
US20220215674A1 (en) * | 2021-01-04 | 2022-07-07 | Honda Motor Co., Ltd. | Position determination device |
KR20220136636A (ko) * | 2021-04-01 | 2022-10-11 | 한국전자통신연구원 | Gps 측위 오차 수집 방법 및 장치 |
CN114018284A (zh) * | 2021-10-13 | 2022-02-08 | 上海师范大学 | 一种基于视觉的轮速里程计校正方法 |
CN114018284B (zh) * | 2021-10-13 | 2024-01-23 | 上海师范大学 | 一种基于视觉的轮速里程计校正方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102331312B1 (ko) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9921065B2 (en) | Unit and method for improving positioning accuracy | |
KR102331312B1 (ko) | 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템 | |
CN107084743B (zh) | 利用gnss/ins数据的六自由度惯性测量单元的偏移和失准补偿 | |
CN105988128B (zh) | 车辆定位准确度 | |
JP7073052B2 (ja) | ビークルの角度位置を測定するシステムおよび方法 | |
US7096116B2 (en) | Vehicle behavior detector, in-vehicle processing system, detection information calibrator, and in-vehicle processor | |
KR101454153B1 (ko) | 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템 | |
US8452535B2 (en) | Systems and methods for precise sub-lane vehicle positioning | |
US8892331B2 (en) | Drive assist system and wireless communication device for vehicle | |
CN109696177B (zh) | 补偿陀螺感测值的装置、具有该装置的系统及其方法 | |
US20080228395A1 (en) | Positioning Device, and Navigation System | |
US8467967B2 (en) | Smart-phone bracket for car and truck navigation | |
CN111854740B (zh) | 能够在交通工具中进行航位推算的惯性导航系统 | |
CN115407376A (zh) | 车辆定位校准方法、装置、计算机设备、存储介质 | |
US11287281B2 (en) | Analysis of localization errors in a mobile object | |
KR20210083237A (ko) | 차량의 측위 장치 및 방법 | |
KR20210082422A (ko) | 차량의 측위 장치 및 방법 | |
JP2020046411A (ja) | データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体 | |
WO2020230314A1 (ja) | 自己位置補正方法及び自己位置補正装置 | |
KR101964059B1 (ko) | 실내 주차장 안내 시스템을 위한 바퀴 속력 센서 기반 차량 측위 시스템 | |
JP2020046413A (ja) | データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体 | |
Baer et al. | EgoMaster: A central ego motion estimation for driver assist systems | |
CN113030504B (zh) | 车辆测速方法、装置、车载计算机设备和存储介质 | |
JP6907952B2 (ja) | 自己位置補正装置及び自己位置補正方法 | |
JP7414683B2 (ja) | 自車位置推定装置及び自車位置推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |