KR101767169B1 - 비전 센서 기반 자이로 드리프트 감소 장치 및 방법 - Google Patents

비전 센서 기반 자이로 드리프트 감소 장치 및 방법 Download PDF

Info

Publication number
KR101767169B1
KR101767169B1 KR1020160057825A KR20160057825A KR101767169B1 KR 101767169 B1 KR101767169 B1 KR 101767169B1 KR 1020160057825 A KR1020160057825 A KR 1020160057825A KR 20160057825 A KR20160057825 A KR 20160057825A KR 101767169 B1 KR101767169 B1 KR 101767169B1
Authority
KR
South Korea
Prior art keywords
heading
angular velocity
receiving
hdr
section
Prior art date
Application number
KR1020160057825A
Other languages
English (en)
Inventor
이정욱
강태삼
민덕기
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020160057825A priority Critical patent/KR101767169B1/ko
Application granted granted Critical
Publication of KR101767169B1 publication Critical patent/KR101767169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/56—Turn-sensitive devices using vibrating masses, e.g. vibratory angular rate sensors based on Coriolis forces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Gyroscopes (AREA)

Abstract

본 발명은 비전 센서 기반 자이로 드리프트 감소 장치 및 방법에 관한 것으로, 더욱 상세하게는 비전 센서를 이용하여 자이로 드리프트의 오차를 보정함으로써 운행체의 헤딩을 신속하고 정확하게 추정할수 있도록 하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명은 자이로 센서, HDR 연산부, 요 변환기(Yaw converter), 비전 센서, 헤딩 추정기, 반복 카운터(Repetition counter) 및 커브 스위치(Curve switch)를 포함한다.
그리고, 상기 자이로 센서는 운행체에 장착되어 상기 운행체의 각속도를 측정한다.
또한, 상기 HDR 연산부는 상기 자이로 센서로부터 측정된 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정한다.
그리고, 상기 요 변환기(Yaw converter)는 상기 HDR 연산부로부터 보정된 각속도를 입력받아 헤딩을 추정한다.
또한, 상기 비전 센서는 상기 운행체에 장착되어 이미지 정보를 추출한다.
그리고, 상기 헤딩 추정기는 상기 비전 센서로부터 추출된 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 헤딩을 추정한다.
또한, 상기 반복 카운터(Repetition counter)는 상기 HDR 연산부로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단한다.
그리고, 상기 커브 스위치(Curve switch)는 상기 요 변환기 및 헤딩 추정기로부터 헤딩 정보를 입력받고, 상기 반복 카운터로부터 구간정보를 입력받아 상기 구간정보를 기반으로 헤딩을 판단하여 출력한다.
이와 같은 본 발명에 따른 비전 센서 기반 자이로 드리프트 감소 장치 및 방법은, 지능형 운행체의 운행에서 저가의 자이로 센서와 저가의 비전 센서를 이용하여 헤딩을 신속하고 정확하게 추정할수 있는 효과가 있다.

Description

비전 센서 기반 자이로 드리프트 감소 장치 및 방법{Apparatus and method for vision-based reduction of gyro drift}
본 발명은 비전 센서 기반 자이로 드리프트 감소 장치 및 방법에 관한 것으로, 더욱 상세하게는 비전 센서를 이용하여 자이로 드리프트의 오차를 보정함으로써 운행체의 헤딩을 신속하고 정확하게 추정할수 있도록 하는 비전 센서 기반 자이로 드리프트 감소 장치 및 방법에 관한 것이다.
통상적으로 지능형 운행체(Intelligent vehicle) 시스템은 다양한 센서와 지능형 알고리즘을 사용하여 주변 환경을 인식하고 운행체를 자동으로 제어하는 시스템이다.
구글에서 개발 중인 무인 주행 자동차나 BMW 등의 자동차 회사에서 개발한 자동 주차 시스템은 차량의 상태를 파악하여 운전자 없이 차량의 움직임을 결정하는 서비스를 제공할 수 있다.
또한, 무인 비행체는 원격탐사, 통신 중계 및 산림 화재와 같이 인명 피해가 예상되고 사람의 접근이 어려운 재난 환경에서 활용이 가능하다.
그리고, 지능형 운행체의 항법을 위해서는 운행체의 현재 위치를 알아내는 위치인식 기술이 필수적이며, 이를 위해 정확한 헤딩(heading) 정보를 아는 것이 중요하다.
현재 주로 GPS를 이용하여 항법을 수행하지만, GPS 신호는 인체에 끼치는 영향을 최소화하기 위해 의도적으로 약하게 방출되도록 설계 되어 있다.
이 때문에 무인 운행체는 건물 안, 터널, 주변의 방해물이 있는 곳에서는 GPS의 사용이 불가능한 문제점이 있다.
그래서, 자이로(gyro) 센서를 통해 각속도를 측정하고, 상기 각속도를 알고리즘을 이용하여 계산함으로써 운행체의 헤딩 정보를 얻는 기술이 제시되고 있다.
여기에서, 자이로(gyro)는 각속도를 측정하는 센서로서 운행체의 헤딩은 각속도로부터 계산되어질 수 있다.
그러나, 운행체의 헤딩 정보를 얻기 위해 각속도를 계속 적분하면 적분오차, 즉 드리프트(drift)가 발생하는 문제점이 있다.
이를 위해, 2009년 미국 미시간 대학에서 운행체의 드리프트 감소를 위해 HDR(Heuristic drift reduction) 알고리즘을 제안한 바 있다.
HDR 알고리즘은 피드백 알고리즘을 이용해 적은 계산 자원을 이용하여 효율적으로 센서 데이터의 오류 및 드리프트 현상을 감소시킬수 있었기 때문에 많은 유사 연구가 수행되었고, HDR 자체를 개량하려는 연구가 추가적으로 수행되었다.
그리고, 상기 HDR 알고리즘은 우선 정확한 요(Yaw) 값을 계산하기 위해 폐루푸 제어 시스템(Closed-loop Control System)에 기반을 두고 제작되었다.
이를 위해 HDR 알고리즘은 자이로 센서의 각도 값이 아닌, 자이로 센서의 각속도 값을 이용하여 계산을 한다.
도 1은 종래의 HDR 알고리즘을 보여준다.
도 1에서 보는 바와 같이 HDR 알고리즘은 첫 번째 과정으로 자이로 센서의 각속도(ωtrue)를 입력 값으로 받아, 센서가 가진 고유한 오차(ε0) 및 측정 시에 생긴 오차(εd)를 저역 통과 필터를 통해 제거하는 작업을 수행한다.
두번째 과정으로는 작은 오차에는 민감하게 반응하고, 자이로 센서가 회전하면서 발생시키는 실제 각속도 값의 변화가 만들어낸 큰 오차에는 둔감하게 반응해야 한다.
이러한 과정을 Binary I-Controller를 통해 계산을 수행하게 된다.
또한, 이 과정을 반복 수행할 때, 정확도를 높이기 위해서 턴 스위치(turn switch)와 반복 감쇠기(repetition attenuator)를 사용하게 된다.
그리고, 이러한 보정 작업을 반복 수행하게 되면, 저가형 자이로 센서를 사용하여도 비교적 정확한 요(Yaw) 값을 얻어낼 수 있다.
그러나, 자이로 센서가 사용하는 측정의 기준점이 계속해서 변하고 있기 때문에, 일정 시간이 지난 이후나 운행체가 회전 주행을 한 이후에는 반드시 센서 값을 다른 센서나 외부에서 주어진 수치 등을 이용해서 보정해야할 필요가 있다.
즉, 자이로 센서를 기반으로 하여 피드백 알고리즘을 구현한 HDR 알고리즘은 운행체가 직선 구간을 운행하는 경우에는 비교적 정확한 헤딩 정보를 제시하여 주지만, 회전 구간을 운행하는 동안에는 큰 오차가 발생하는 문제점이 있다.
한편, 이미지 매칭(matching)에는 원 이미지와 대상 이미지와의 픽셀 간 유사성 비교를 통한 매칭 외에 이미지에 대한 주된 특징이 되는 점들을 찾은 뒤 이 점들에 대하여 이 점들을 보다 식별이 용이하게 서술할 수 있는 서술 벡터(description vector)를 생성하고, 이 벡터들 간의 유사성을 측정하여 매칭을 하는 방법이 있다.
이러한 주된 특징이 되는 픽셀 혹은 지점들을 특징점(feature point) 혹은 키포인트(keypoint)라고 한다.
SIFT(Scale-invariant feature transform)는 영상인식 기술 중 하나로 영상 피라미드를 만들어 특징점을 추출하여 크기 변화에 강인하고, 특징점들의 기준 방위를 추출하여 특징벡터를 생성하기 때문에 회전 변화에도 강인한 알고리즘이다.
대한민국 등록특허 제1265693호(2013년 05월 21일 공고)
따라서, 본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결한 것으로서, 지능형 운행체의 운행에서 자이로 센서로부터의 헤딩 오차를 보정하여 신속하고 정확하게 운행체의 헤딩을 추정하는데 그 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 특징에 따른 비전 센서 기반 자이로 드리프트 감소 장치는 자이로 센서, HDR 연산부, 요 변환기(Yaw converter), 비전 센서, 헤딩 추정기, 반복 카운터(Repetition counter) 및 커브 스위치(Curve switch)를 포함한다.
그리고, 상기 자이로 센서는 운행체에 장착되어 상기 운행체의 각속도를 측정한다.
또한, 상기 HDR 연산부는 상기 자이로 센서로부터 측정된 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정한다.
그리고, 상기 요 변환기(Yaw converter)는 상기 HDR 연산부로부터 보정된 각속도를 입력받아 헤딩을 추정한다.
또한, 상기 비전 센서는 상기 운행체에 장착되어 이미지 정보를 추출한다.
그리고, 상기 헤딩 추정기는 상기 비전 센서로부터 추출된 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 헤딩을 추정한다.
또한, 상기 반복 카운터(Repetition counter)는 상기 HDR 연산부로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단한다.
그리고, 상기 커브 스위치(Curve switch)는 상기 요 변환기 및 헤딩 추정기로부터 헤딩 정보를 입력받고, 상기 반복 카운터로부터 구간정보를 입력받아 상기 구간정보를 기반으로 헤딩을 판단하여 출력한다.
이상에서 설명한 바와 같이, 본 발명에 따른 비전 센서 기반 자이로 드리프트 감소 장치 및 방법은,
지능형 운행체의 운행에서 저가의 자이로 센서와 저가의 비전 센서를 이용하여 헤딩을 신속하고 정확하게 추정할수 있는 효과가 있다.
도 1은 종래의 HDR 알고리즘을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 비전센서 기반 자이로 드리프트 감소 장치를 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 일실시예에 따른 VDR(Vision-based drift reduction) 시스템을 개략적으로 나타낸 구성도이다.
도 4는 본 발명의 일실시예에 따른 헤딩추정기를 개략적으로 나타낸 구성도이다.
도 5는 본 발명의 일실시예에 따른 비전센서 기반 자이로 드리프트 감소 방법을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히ε 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 종래의 HDR 알고리즘을 개략적으로 나타낸 구성도이고, 도 2는 본 발명의 일실시예에 따른 비전센서 기반 자이로 드리프트 감소 장치를 개략적으로 나타낸 구성도이다.
도 2에서 도시된 바와 같이 본 발명의 특징에 따른 비전 센서 기반 자이로 드리프트 감소 장치는 자이로 센서(100)와 비전 센서(200) 및 VDR(Vision-based drift reduction) 시스템(300)을 포함한다.
자이로 센서(100)는 운행체에 장착되어 상기 운행체의 각속도를 측정한다.
또한, 비전 센서(200)는 상기 운행체에 장착되어 이미지 정보를 추출한다.
VDR(Vision-based drift reduction) 시스템(300)은 자이로 센서(100)로부터 각속를 입력받고, 비전 센서(200)로부터 이미지 정보를 입력받아 운행체의 헤딩을 추정한다.
여기에서, 자이로 센서(100)로부터 측정된 각속도를 입력받아 자이로 센서(100)가 가진 고유한 오차를 제거하는 저역통과필터(Low pass filter)(110)를 더 포함할수 있다.
도 3은 본 발명의 일실시예에 따른 VDR(Vision-based drift reduction) 시스템을 개략적으로 나타낸 구성도이고, 도 4는 본 발명의 일실시예에 따른 헤딩추정기를 개략적으로 나타낸 구성도이다.
도 3에서 도시된 바와 같이 VDR 시스템(300)은 HDR 연산부(310), 요 변환기(Yaw converter)(320), 헤딩 추정기(330), 반복 카운터(Repetition counter)(340) 및 커브 스위치(Curve switch)(350)를 포함한다.
그리고, HDR 연산부(310)는 자이로 센서(100)로부터 측정된 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정한다.
또한, 상기 요 변환기(Yaw converter)(320)는 HDR 연산부(310)로부터 보정된 각속도를 입력받아 헤딩을 추정한다.
그리고, 헤딩 추정기(330)는 비전 센서(200)로부터 추출된 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 헤딩을 추정한다.
또한, 상기 반복 카운터(Repetition counter)(340)는 HDR 연산부(310)로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단한다.
그리고, 상기 커브 스위치(Curve switch)(350)는 요 변환기(320) 및 헤딩 추정기(330)로부터 헤딩 정보를 입력받고, 반복 카운터(340)로부터 구간정보를 입력받아 상기 구간정보를 기반으로 헤딩을 판단 및 출력한다.
여기에서, 상기 영상처리 알고리즘은 SIFT(Scale-invariant Feature Transform) 알고리즘이 될수 있다.
도 5는 본 발명의 일실시예에 따른 비전센서 기반 자이로 드리프트 감소 방법을 나타낸 순서도이다.
도 5에서 보는 바와 같이 본 발명의 특징에 따른 비전 센서 기반 자이로 드리프트 감소 방법은,
운행체에 장착되어 있는 자이로 센서(100)가 운행체의 각속도를 측정하는 단계;
상기 자이로 센서(100)로부터 측정된 각속도에서 저역통과필터(Low pass filter)(110)를 이용하여 상기 자이로 센서(100)가 가진 고유한 오차를 제거하는 단계;
HRD 연산부가 상기 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정하는 단계;
요 변환기(Yaw converter)(320)가 상기 HDR 연산부(310)로부터 보정된 각속도를 입력받아 제1헤딩을 추정하는 단계;
운행체에 장착되어 있는 비전 센서(200)가 이미지 정보를 추출하는 단계;
헤딩 추정기(330)가 상기 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 제2헤딩을 추정하는 단계;
반복 카운터(Repetition counter)(340)가 상기 HDR 연산부(310)로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단하는 단계;
커브 스위치(350)가 상기 요 변환기(320)로부터 제1헤딩을 입력받는 단계;
상기 커브 스위치(350)가 상기 헤딩 추정기(330)로부터 제2헤딩을 입력받는 단계;
상기 커브 스위치(350)가 상기 반복 카운터(340)로부터 구간정보를 입력받고, 상기 구간정보가 직선구간인 경우에는 제1헤딩을 출력하며, 상기 구간정보가 곡선구간인 경우에는 제2헤딩으로 보정하는 단계;를 포함한다.
그리고, 헤딩 추정기(330)가 상기 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 제2헤딩을 추정하는 단계;는,
상기 이미지 정보로부터 각도에 따른 픽셀크기 DPR(Degree to Pixel ratio)를 추정하는 단계;
상기 DPR의 집합으로부터 최소제곱(least-square)에 의한 다항식 곡선 접합(Polynomial curve fitting)을 이용하여 헤딩을 추정하는 단계;를 포함할수 있다.
이에 대해 상세히 설명하면 다음과 같다.
도 2 및 도 3에서 보는 바와 같이 자이로 센서(100)에 의해 운행체의 각속도(ωtrue)가 측정된다.
이때, 자이로 센서(100)의 출력값은 센서가 가진 고유한 오차(ε0)와 측정시에 생긴 오차(εd)가 포함되어 "ωtrue + ε0 + εd"가 출력된다.
그리고, 자이로 센서(100)의 출력값은 저역통과필터(Low-pass filter)(110)를 통해 센서가 가진 고유한 오차(ε0)가 제거된 후 "ωtrue +εd"가 HDR 연산부(310)에 입력된다.
즉, 상기 저역통과필터(Low-pass filter)(110)를 통해 자이로 센서(100)의 미소한 좌우 움직임이나 흔들림으로 인해 발생하는 오차를 제거할 수가 있는 것이다.
그리고, 상기 자이로 센서(100)의 각속도를 입력 값으로 받아, 센서가 가진 고유한 오차(ε0) 및 측정시에 생긴 오차(εd)를 저역통과필터(Low-pass filter)(110)를 통해 제거하는 작업은 다음의 [수학식 1]에 의해 수행될수 있다.
[수학식 1]
ε'= (ωraw,iT +
Figure 112016045116716-pat00001
ω'i -1)/(T +
Figure 112016045116716-pat00002
)
여기에서, ε'은 저역통과필터(110)를 통해 측정시 오차가 제거된 각속도이고, ωraw,i 는 자이로 센서(100)로 측정된 각속도이며, ω'i -1 은 이전 시점의 각속도이고, T는 샘플링 주기이며,
Figure 112016045116716-pat00003
는 저역통과필터(110)의 시간상수이다.
또한, HDR 연산부(310)에 입력된 각속도(ωtrue +εd)는 HDR 연산부(310)에서 HDR 알고리즘에 의해 수정되어 각속도 ωHDR 가 출력된다.
그리고, 요 변환기(Yaw Converter)(320)는 HDR 연산부(310)로부터 각속도 ωHDR 를 입력받아 헤딩 ψHDR 을 계산한다.
여기에서, 상기 요 변환기(Yaw Converter)(320)는 HDR 연산부(310)에서 입력받은 각속도로부터 다음의 [수학식 2]와 같이 헤딩 ψHDR 을 계산할수 있다.
[수학식 2]
ψHDRi = ψHDR0 + ψHDRi -1 + ωHDRiTi
여기에서, ψHDR0 는 시작 시점에서의 초기 헤딩값이고, Ti는 샘플링 시간 간격이다.
그리고, 운행체에 장착되어 있는 비전센서에 의해 이미지 정보가 측정된다.
또한, 상기 비전센서에 의해 측정된 이미지 정보가 헤딩추정기에 입력되고, 상기 헤딩추정기에서 영상처리 알고리즘에 의해 연산되어 헤딩 값 ψest 이 출력될수 있다.
여기에서 상기 영상처리 알고리즘은 SIFT(Scale-invariant Feature Transform) 알고리즘이 될수 있다.
참고로 설명하면, 연속된 두 이미지에서 SIFT(Scale-invariant Feature Transform) 알고리즘으로 동일한 특징점을 식별하면, 각도에 따른 픽셀크기 DPR(Degree to Pixel ratio)를 추정할수 있다.
예를 들어 설명하면, 첫 번째 이미지를 촬영한 후 카메라를 4도 각도 회전시켜 두 번째 이미지를 촬영하고, 두 이미지에서 동일한 특징점을 매칭한다.
그리고, 두 이미지를 겹쳤을 때 동일한 특징점을 직선으로 연결하면 두 이미지에서 동일한 특징점간 너비차 Xdiff를 구할수 있다.
예들 들어, 첫번째 이미지에서 특정 픽셀의 x 좌표가 2352이고, 동일한 위치의 x 좌표가 두번째 이미지에서는 2500이면, 이 동일한 특징점에서의 너비차 Xdiff는,
2500 - 2348 = 152 이 된다.
또한, DPR은 152/4 = 38 (pixels/degree)가 된다.
그리고, 모든 동일한 특징점들끼리 연결하였을 때의 평균 DPR을 구할수 있다.
즉, 카메라를 1도 간격으로 회전시켜 두 이미지를 촬영하였다면 두 이미지에서 동일한 특징점간 픽셀 너비는 평균 38 픽셀 크기로 추정된다.
도 4는 본 발명의 일실시예에 따른 헤딩추정기를 개략적으로 나타낸 구성도이다.
도 4에서 보는 바와 같이 다양한 각도와 환경에서 측정한 DPR(Degree to Pixel ratio) 집합을
Figure 112016045116716-pat00004
라고 할때,
Figure 112016045116716-pat00005
= {(xdiff1,d1),(xdiff2,d2),...,(xdiffN,dN)}
여기에서, xdiffi ∈ X 는 두 이미지에서 동일한 특징점간 너비차이고, di ∈ D 는 이 때 두 이미지간 촬영 각도를 의미한다.
그리고, 헤딩 추정기(330)는
Figure 112016045116716-pat00006
로부터 최소제곱(least-square)에 의한 다항식 곡선 접합(Polynomial curve fitting)을 이용하여 생성될수 있다.
수집된 데이터를 분석한 결과 xdiffi 가 di와 선형적인 관계에 있으므로 아래의 [수학식 3]과 같이 1차식으로 헤딩추정기를 구성할수 있다.
[수학식 3]
f(xdiff) = m(xdiff) + b
또한, 잔차(residual) Ri를 각 xdiffi 에서의 함수값과 di 와의 차,
Ri = f(xdiffi) - di로 정의하면 모든 xdiffi 에서의 잔차의 제곱의 합 R은 다음의 [수학식 4]와 같이 m과 b의 함수로 정의 될수 있다.
[수학식 4]
R = [m(xdiff1)+b-d1]2 + [m(xdiff2+b-d2]2 + ... + [m(xdiffN)+b-dN]2
그리고, R의 최소값은 아래의 [수학식 5] 및 [수학식 6]과 같이 m과 b에 대한 R의 편도함수를 계산하여 구할수 있다.
[수학식 5]
(∂R)/(∂m) = 0
[수학식 6]
(∂R)/(∂b) = 0
상기의 [수학식 5] 및 [수학식 6]을 풀면 m과 b가 결정되고 이 값을 이용하여 1차식의 헤딩추정기를 구성할수 있다.
그리고, 임의의 xdiff가 주어졌을때 헤딩은 헤딩추정기로부터 f(xdiff)로 계산되어 추정될수 있다.
즉, 연속된 이미지에서 동일한 특징점 위치간 차이, 즉 픽셀 간격 xdiff가 입력되면, 헤딩추정기로 추정된 헤딩 값 ψest 이 출력될수 있다.
한편, 자이로 센서(100)에 의해 측정된 각속도는 직선 구간에서는 0을 중심으로 부호가 계속하여 바뀌지만 곡석 구간에서는 부호가 바뀌지 않고 계속하여 양의 값을 가진다.
그래서, 이를 통해 일정 시간동안 각속도의 부호가 바뀌지 않으면 운행체가 곡선 구간을 움직이고 있다고 추정할 수 있다.
이를 이용하여 반복 카운터(RC: Repetition Counter)(340)는 다음의 [수학식 7]에서와 같이 이전 각속도(ωHDRi - 1)와 현재 각속도(ωHDRi)의 부호가 같으면 1이 증가되고, 그렇지 않으면 1로 리셋된다.
[수학식 7]
RCi = RCi -1 + 1 if SIGN(ωHDRi) = SIGN(ωHDRi -1)
1 if SIGN(ωHDRi) ≠ SIGN(ωHDRi -1)
여기에서, SIGN()은 부호를 판별하는 함수이며, 양수이면 1, 0이면 0, 음수이면 -1의 값을 반환한다.
그리고, 반복 카운터(340) 값이 미리 정의된 임계치(thershold)보다 크면 다음의 [수학식 8]과 같이 커브 스위치(Curve Switch)(350)의 값은 1이 된다.
[수학식 8]
CSi = 1 if RCi
Figure 112016045116716-pat00007
Figure 112016045116716-pat00008
CS
0 if RCi
Figure 112016045116716-pat00009
Figure 112016045116716-pat00010
CS
여기에서, CSi 는 커브 스위치(350)이고,
Figure 112016045116716-pat00011
CS는 커브 스위치(350)에 대한 임계치이다.
또한, 다음의 [수학식 9]와 같이 상기 커브 스위치(350)가 off(0) 이면 운행체는 직선 구간을 운행중이며, ψVDR 의 값은 ψHDR 의 값을 사용한다.
그리고, 커브 스위치(350)가 on(1) 이면 운행체는 곡선 구간을 운행중이며, ψVDR 의 값은 일정 시점마다 ψest 의 값으로 보정된다.
[수학식 9]
ψVDRi = ψesti if CSi = 1
ψHDRi if CSi = 0
즉, ψHDR은 곡선 구간에서 일정한 시점마다 ψest로 보정되어 커브 스위치(350)에서 최종 헤딩값 ψVDR이 출력된다.
이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
100 : 자이로 센서 110 : 저역통과필터(Low-pass filter)
200 : 비전 센서
300 : VDR(Vision-based drift reduction) 시스템
310 : HDR 연산부 320 : 요 변환기(Yaw converter)
330 : 헤딩 추정기
340 : 반복 카운터(Repetition counter)
350 : 커브 스위치(Curve switch)

Claims (7)

  1. 운행체에 장착되어 상기 운행체의 각속도를 측정하는 자이로 센서;
    상기 운행체에 장착되어 이미지 정보를 추출하는 비전 센서;
    상기 자이로 센서로부터 각속도를 입력받고, 상기 비전 센서로부터 이미지 정보를 입력받아 운행체의 헤딩을 추정하는 VDR(Vision-based drift reduction) 시스템;을 포함하되,
    상기 VDR(Vision-based drift reduction) 시스템은,
    상기 자이로 센서로부터 측정된 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정하는 HDR 연산부;
    상기 HDR 연산부로부터 보정된 각속도를 입력받아 헤딩을 추정하는 요 변환기(Yaw converter);
    상기 비전 센서로부터 추출된 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 헤딩을 추정하는 헤딩 추정기;
    상기 HDR 연산부로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단하는 반복 카운터(Repetition counter);
    상기 요 변환기 및 헤딩 추정기로부터 헤딩 정보를 입력받고, 상기 반복 카운터로부터 구간정보를 입력받아 상기 구간정보를 기반으로 헤딩을 판단 및 출력하는 커브 스위치(Curve switch);를 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 자이로 센서로부터 측정된 각속도를 입력받아 상기 자이로 센서가 가진 고유한 오차를 제거하는 저역통과필터(Low pass filter)를 더 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 장치.
  4. 제 1항에 있어서,
    상기 영상처리 알고리즘은 SIFT(Scale-invariant Feature Transform) 알고리즘을 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 장치.
  5. 운행체에 장착되어 있는 자이로 센서가 운행체의 각속도를 측정하는 단계;
    HDR 연산부가 상기 각속도를 입력받고 HDR 알고리즘을 연산하여 상기 각속도를 보정하는 단계;
    요 변환기(Yaw converter)가 상기 HDR 연산부로부터 보정된 각속도를 입력받아 제1헤딩을 추정하는 단계;
    운행체에 장착되어 있는 비전 센서가 이미지 정보를 추출하는 단계;
    헤딩 추정기가 상기 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 제2헤딩을 추정하는 단계;
    반복 카운터(Repetition counter)가 상기 HDR 연산부로부터 각속도를 입력받아 운행체가 움직이는 구간이 직선구간인지 또는 곡선구간인지를 판단하는 단계;
    커브 스위치가 상기 요 변환기로부터 제1헤딩을 입력받는 단계;
    상기 커브 스위치가 상기 헤딩 추정기로부터 제2헤딩을 입력받는 단계;
    상기 커브 스위치가 상기 반복 카운터로부터 구간정보를 입력받고, 상기 구간정보가 직선구간인 경우에는 제1헤딩을 출력하며, 상기 구간정보가 곡선구간인 경우에는 제2헤딩으로 보정하는 단계;를 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 방법.
  6. 제 5항에 있어서,
    상기 운행체에 장착되어 있는 자이로 센서가 운행체의 각속도를 측정하는 단계 이후에,
    상기 자이로 센서로부터 측정된 각속도에서 저역통과필터(Low pass filter)를 이용하여 상기 자이로 센서가 가진 고유한 오차를 제거하는 단계;를 더 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 방법.
  7. 제 5항에 있어서,
    상기 헤딩 추정기가 상기 이미지 정보를 입력받아 영상처리 알고리즘을 연산하고, 상기 이미지 정보로부터 제2헤딩을 추정하는 단계는,
    상기 이미지 정보로부터 각도에 따른 픽셀크기 DPR(Degree to Pixel ratio)를 추정하는 단계;
    상기 DPR의 집합으로부터 최소제곱(least-square)에 의한 다항식 곡선 접합(Polynomial curve fitting)을 이용하여 헤딩을 추정하는 단계;를 포함하는 것을 특징으로 하는 비전센서 기반 자이로 드리프트 감소 방법.
KR1020160057825A 2016-05-11 2016-05-11 비전 센서 기반 자이로 드리프트 감소 장치 및 방법 KR101767169B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160057825A KR101767169B1 (ko) 2016-05-11 2016-05-11 비전 센서 기반 자이로 드리프트 감소 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160057825A KR101767169B1 (ko) 2016-05-11 2016-05-11 비전 센서 기반 자이로 드리프트 감소 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101767169B1 true KR101767169B1 (ko) 2017-08-24

Family

ID=59758201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057825A KR101767169B1 (ko) 2016-05-11 2016-05-11 비전 센서 기반 자이로 드리프트 감소 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101767169B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009139227A (ja) * 2007-12-06 2009-06-25 Alpine Electronics Inc 角速度補正装置及びその補正方法並びにナビゲーション装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009139227A (ja) * 2007-12-06 2009-06-25 Alpine Electronics Inc 角速度補正装置及びその補正方法並びにナビゲーション装置

Similar Documents

Publication Publication Date Title
US10884110B2 (en) Calibration of laser and vision sensors
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US11193782B2 (en) Vehicle position estimation apparatus
JP4600357B2 (ja) 測位装置
JP6222353B2 (ja) 物標検出装置及び物標検出方法
KR101152720B1 (ko) 이동 로봇의 슬립 감지 장치 및 방법
WO2015111344A1 (ja) 特異走行箇所検出装置および特異走行箇所検出方法
JP2009074859A (ja) 運動計測装置及び位置計測装置
JP2018041194A (ja) 車両の運転支援装置
CN107270904B (zh) 基于图像配准的无人机辅助引导控制系统及方法
CN113795726B (zh) 自身位置修正方法及自身位置修正装置
KR20220025585A (ko) 위치 추정 방법 및 장치
KR101767169B1 (ko) 비전 센서 기반 자이로 드리프트 감소 장치 및 방법
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
US11740103B2 (en) Map creation device, map creation system, map creation method, and storage medium
JP2019202642A (ja) 車両用走行制御装置
KR20180137904A (ko) 차량 주행 정보의 보정 장치 및 방법
WO2018212284A1 (ja) 測定装置、測定方法およびプログラム
US20230168352A1 (en) Method for assessing a measuring inaccuracy of an environment detection sensor
KR20160072659A (ko) 차량의 주행차선인지 장치 및 방법
KR101573610B1 (ko) 카메라 영상정보와 차량정보를 융합하여 전후방 차선을 인지하는 차선 감지 방법 및 장치
JP5056436B2 (ja) 三次元地図生成装置、及びプログラム
JP7225079B2 (ja) 障害物認識装置
RU2781373C1 (ru) Способ коррекции собственного местоположения и устройство коррекции собственного местоположения
EP4134625A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant