KR102406240B1 - 강인한 스테레오 비주얼 관성 항법 장치 및 방법 - Google Patents

강인한 스테레오 비주얼 관성 항법 장치 및 방법 Download PDF

Info

Publication number
KR102406240B1
KR102406240B1 KR1020200119896A KR20200119896A KR102406240B1 KR 102406240 B1 KR102406240 B1 KR 102406240B1 KR 1020200119896 A KR1020200119896 A KR 1020200119896A KR 20200119896 A KR20200119896 A KR 20200119896A KR 102406240 B1 KR102406240 B1 KR 102406240B1
Authority
KR
South Korea
Prior art keywords
image
outlier
features
posture
video image
Prior art date
Application number
KR1020200119896A
Other languages
English (en)
Other versions
KR20220037212A (ko
Inventor
김곤우
딘반남
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200119896A priority Critical patent/KR102406240B1/ko
Publication of KR20220037212A publication Critical patent/KR20220037212A/ko
Application granted granted Critical
Publication of KR102406240B1 publication Critical patent/KR102406240B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/166—Mechanical, construction or arrangement details of inertial navigation systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 강인한 스테레오 비주얼 관성 항법 장치 및 그 방법에 관한 것으로, 강인한 스테레오 비주얼 관성 항법 장치는 스테레오 카메라로부터 획득한 영상 이미지의 특징을 추출하는 영상 데이터 처리부; 관성 측정 장치로부터 획득한 자세 데이터의 노이즈를 제거하는 자세 데이터 처리부; 상기 자세 데이터에 기초하여 상기 영상 이미지의 특징에서 이상값(Outlier)을 제거하는 이상값 제거부; 및 상기 이상값이 제거된 영상 이미지에 기초하여 자세를 추정하는 자세 추정부를 포함한다.

Description

강인한 스테레오 비주얼 관성 항법 장치 및 방법{ROBUST STEREO VISUAL INERTIAL NAVIGATION APPARATUS AND METHOD}
본 발명은 강인한 스테레오 비주얼 관성 항법 장치 및 방법에 관한 것으로써, 더욱 상세하게는 자세 데이터를 적용하여 이상값을 정확하게 제거하는 강인한 스테레오 비주얼 관성 항법 장치 및 방법에 관한 것이다.
로봇 매핑 및 주행 측정은 자율 이동 로봇 용 내비게이션 시스템의 주요 역량이다. 그러나 로봇의 상태 추정은 일반적으로 시간이 지남에 따라 누적 오류가 발생한다. RTK (Real-Time Kinematic)-GPS는 실외 위치추정에 탁월한 정밀도를 제공 할 수 있지만 교량 또는 고층 빌딩과 같은 실내 또는 GPS 음영 실외 환경에는 적합하지 않다. 이를 위해, 다중 센서 융합 기술(MSFT)은 관성센서와 환경 인식 센서의 장점을 결합하여 주행 오차를 제한하기 위해 개발되고 있다.
비주얼 관성 항법 장치는 연속된 영상의 상대적인 움직임(포즈)을 추정하고, 그 상대 움직임을 누적하여 카메라 혹은 플랫폼의 최종적인 위치와 자세를 추정하는 비주얼 오도메트리(VO: Visual Odometry) 알고리즘을 채택한다.
비주얼 관성 항법 장치는 로봇 자세를 추정하지만 동적인 물체와 광 반사의 영향으로 인해 동적인 환경에서 자아 모션 추정 상태의 정확도가 심각하게 저하된다.
한편, 최근 관성 측정 센서인 IMU(Inertial Measurement Unit)은 저비용 저전력 소비로 다양하게 활용되고 있다. 그러나, IMU은 바이어스 시스템 오류와 랜덤 노이즈가 발생하여 오류가 발생할 수 있다.
상술한 바와 같은 문제점들을 해결하기 위해 본 발명은 스테레오 카메라를 장착한 객체의 동적 자세를 정확하게 추정하는 강인한 스테레오 비주얼 관성 항법 장치 및 방법의 제공을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명에 따른 강인한 스테레오 비주얼 관성 항법 장치는, 스테레오 카메라로부터 획득한 영상 이미지의 특징을 추출하는 영상 데이터 처리부; 관성 측정 장치로부터 획득한 자세 데이터의 노이즈를 제거하는 자세 데이터 처리부; 상기 자세 데이터에 기초하여 상기 영상 데이터의 특징에서 이상값(Outlier)을 제거하는 이상값 제거부; 및 상기 이상값이 제거된 영상 데이터에 기초하여 자세를 추정하는 자세 추정부를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 영상 데이터 처리부는 RANSAC을 통한 KLT 추적 알고리즘을 이용하여 특징점을 매칭하는 것을 특징으로 한다.
일 실시예에서, 상기 이상값 제어부는 이전 영상 이미지의 특징에 대하여 현재 영상 이미지의 특징으로 업다운 매칭을 적용하고, 현재 영상의 좌측 이미지의 특징과 우측 이미지 특징 간의 순방향 또는 역방향 매칭을 적용하는 것을 특징으로 한다.
일 실시예에서, 상기 이상값 제어부는 추출한 특징을 삼각측량에 적용하여 3D 위치를 계산하는 것을 특징으로 한다.
일 실시예에서, 상기 이상값 제어부는 3D 상의 두 특징점의 거리가 2D 이미지 평면에 투영된 두 특징점의 거리의 차가 임계값을 벗어나는 경우의 값을 이상값으로 간주하여 제거하는 것을 특징으로 한다.
일 실시예에서, 상기 임계값은 각속도 및 선형 함수에 기초하여 설정되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 스테레오 비주얼 관성 항법 장치의 자세 추정 방법은, 스테레오 카메라로부터 획득한 영상 이미지의 특징을 추출하는 단계; 관성 측정 장치로부터 획득한 자세 데이터에 기초하여 상기 영상 데이터의 특징에서 이상값(Outlier)을 제거하는 단계; 및 상기 이상값이 제거된 영상 데이터에 기초하여 자세를 추정하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 영상 이미지의 특징을 추출하는 단계는, RANSAC을 통한 KLT 추적 알고리즘을 이용하여 특징점을 매칭하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 특징점을 매칭하는 단계는, 이전 영상 이미지의 특징에 대하여 현재 영상 이미지의 특징으로 업다운 매칭을 적용하고, 현재 영상의 좌측 이미지의 특징과 우측 이미지 특징 간의 순방향 또는 역방향 매칭을 적용하는 것을 특징으로 한다.
일 실시예에서, 상기 이상값(Outlier)을 제거하는 단계는, 추출한 특징을 삼각측량에 적용하여 3D 위치를 계산하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 이상값(Outlier)을 제거하는 단계는, 3D 상의 두 특징점의 거리가 2D 이미지 평면에 투영된 두 특징점의 거리의 차가 임계값을 벗어나는 경우의 값을 이상값으로 간주하여 제거하는 것을 특징으로 한다.
본 발명에 따른 강인한 스테레오 비주얼 관성 항법 장치는 계산 복잡도가 낮고 정확성이 향상된 성능을 제공한다.
도 1은 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 역방향-순방향-업다운 추적을 이용한 매칭을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동적 비주얼 특징을 적용한 이상값 제거를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
본 발명의 일 실시예에서, 카메라는 스테레오 카메라를 채택하였다. 스테레오 카메라는 깊이 데이터를 지원하고 안정적인 기능 추적 기능을 제공하기 때문이다.
이한, 첨부된 도면을 참조하여 본 발명에 따른 가상현실환경을 이용한 인지 및 실행능력 훈련 평가 방법에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 시스템의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이 본 발명에 따른 강인한 스테레오 비주얼 관성 항법 시스템은 스테레오 카메라(10), IMU(20) 및 비주얼 관성 항법 장치(100)를 포함한다.
스테레오 카메라(10)는 2대의 카메라를 포함하고, 지속적으로 스테레오 영상 데이터를 생성한다.
IMU(Inertial Measurement Unit; 20)는 관성 측정 센서로서, 가속도, 자이로, 지자기 센서 중 어느 하나 이상을 포함하며, 가속도 및 각속도를 포함하는 자세 데이터를 측정한다.
비주얼 관성 항법 장치(100)는 상기 영상 데이터와 자세 데이터에 기초하여 자세를 추정한다.
일 실시예에서, 비주얼 관성 항법 장치(100)는 스테레오 카메라(10)의 좌우 카메라 각각으로부터 획득한 영상 데이터에서 특징을 추출하고, 특징을 매칭시켜 이동을 추정하되, 상기 특징에 자세 데이터를 참조하여 이상값을 제거함으로써 자세를 추정한다.
도 2는 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 장치의 구성을 나타낸 블록도이다.
비주얼 관성 항법 장치(100)는 영상 데이터 처리부(110), 자세 데이터 처리부(120), 이상값 제거부(130) 및 자세 추정부(140)를 포함할 수 있다.
영상 데이터 처리부(110)는 스테레오 카메라로부터 획득한 영상 데이터를 정렬하고, 정렬된 영상 데이터의 특징점을 추출하여 매칭한다. 일 실시예에서, 영상 데이터의 정렬은 각 프레임의 밝기 차이를 줄임으로써 정렬시킬 수 있다. 예를 들어, 이미지 전체에 대하여 이전 스테레오 이미지에 상응하는 이전 최저 해상도 이미지와의 밝기의 차이가 적은 순서대로 프레임을 정렬시킨다.
자세 데이터 처리부(120)는 IMU(20)로부터 획득한 자세 데이터의 노이즈를 제거한다.
이상값 제거부(130)는 관성 측정 장치로부터 획득한 자세 데이터에 기초하여 상기 매칭 처리된 영상 데이터의 특징점(특징)에서 이상값(Outlier)을 제거한다.
영상 데이터에 자세 데이터를 융합하여 이상값을 제거함으로써, 이전 시점의 움직임의 정도가 클수록 관성에 의하여 현재 시점의 움직임이 크게 변화하지 않는다는 특징을 반영하여, 이상값을 효과적으로 제공할 수 있다.
자세 추정부(140)는 상기 이상값이 제거된 영상 데이터와 자세 데이터에 기초하여 자세를 추정한다.
이하에서 상술한 바와 같은 구성을 갖는 본 발명에 따른 강인한 스테레오 비주얼 관성 항법 장치에 의한 자세 추정 방법에 대해 도 3 내지 도 5를 참조하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 강인한 스테레오 비주얼 관성 항법 장치의 동작을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 역방향-순방향-업다운 추적을 이용한 매칭을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 동적 비주얼 특징을 적용한 이상값 제거를 설명하기 위한 도면이다.
단계 S100에서, 스테레오 카메라로부터 영상 데이터를 획득하고, 관성 측정 장치로부터 자세 데이터를 획득한다.
다음, 획득한 데이터에 기초하여 관성 측정 장치로부터 획득한 자세 데이터와 상기 매칭 처리된 영상 데이터에 기초하여 이상값(Outlier)를 제거하여, 자세를 추정한다.
이를 위하여, 먼저, 단계 S110에서, 스테레오 이미지를 블록으로 나누고 특징을 결정한다. 여기서 특징은 이미지 블록의 경계일 수 있다.
일 실시예에서, 장치는 특징을 결정하기 위하여 스테레오 카메라로부터 획득한 스테레오 이미지를 미리 정해진 그리드 영역으로 나누어 각 이미지 그리드 마다 멀티 스레딩 프로세스 FAST(Features from Accelerated Segment Test)를 적용한다.
다음으로, RANSAC(RANdom SAample Consensus)을 통한 KLT(Kanade-Lucas-Tomasi) 추적 알고리즘을 이용하여 광학 흐름을 적용하여 경계에 대응하는 특징을 결정한다. 이때, 급하게 회전 하는 경우, 광학 추적이 어려워지므로, 순방향-역방향 업다운(forward-backward-up-down) 추적을 수행한다.
순방향-역방향 업다운(forward-backward-up-down) 추적은 현재 영상 이미지의 특징과 이전 이미지의 특징에 대하여 업-다운 매칭을 적용하고, 현재 영상의 좌측 이미지의 특징과 우측 이미지의 특징에 대하여 순방향-역방향 매칭을 적용하여 수행한다.
일 실시예에서, 도 4를 참조하면, 왼쪽 카메라의 현재 이미지
Figure 112020098926729-pat00001
, 우측 카메라의 현재 이미지
Figure 112020098926729-pat00002
에 대하여, 현재 좌측 이미지
Figure 112020098926729-pat00003
에서 현재 우측 이미지
Figure 112020098926729-pat00004
방향으로 순방향 매칭하고 다음 우측 이미지
Figure 112020098926729-pat00005
에서 현재 좌측 이미지
Figure 112020098926729-pat00006
방향으로 역방향 매칭시키는 광학 흐름으로 트래킹을 한다. 이후, 조명 효과를 피하기 위하여, 좌측 카메라의 이전 이미지
Figure 112020098926729-pat00007
에서 현재 이미지
Figure 112020098926729-pat00008
로 우측 카메라의 이전 이미지
Figure 112020098926729-pat00009
현재 이미지
Figure 112020098926729-pat00010
로 업다운 매칭시킨다.
단계 S120에서, 2D의 특징점들에 대하여 3D 삼각측량(triangulation)을 사용하여 깊이를 계산하여 3D 위치를 산출하되, 미리 설정된 임계값을 벗어나는 이상값을 제거한다.
일 실시예에서, 강인한 특징
Figure 112020098926729-pat00011
이 있는 경우, 삼각측량을 이용하여, 3D 위치를 계산한다.
특징의 초기 위치를 찾기 위해 선형 삼각측량을 적용한다. 이 방법에서, 특징의 m 획득 측정값을 사용하고, 하기의 선형 방정식의 형태로 블록 행렬을 쌓는다.
Figure 112020098926729-pat00012
여기서,
Figure 112020098926729-pat00013
는 앵커 위치에 대한 방위 정보와 관련된
Figure 112020098926729-pat00014
행렬이고,
Figure 112020098926729-pat00015
은 방위 정보 및 특징 전이에 대응하는
Figure 112020098926729-pat00016
행렬이다.
하우스홀더 rank-revealing QR 분해를 사용함으로써, 선형 방정식의 조건수를 효과적으로 획득할 수 있다 이후, 다음 조건수를 적용하여 오류에 민감한 이상값을 제거한다.
초기화한 후, 더 정확한 특징 위치는 다음 수학식1의 비선형 최적화를 사용하여 획득할 수 있다.
[수학식 1]
Figure 112020098926729-pat00017
여기서,
Figure 112020098926729-pat00018
는 앵커 자세에 관한 3D 특징 위치의 최적값이고,
Figure 112020098926729-pat00019
는 이미지
Figure 112020098926729-pat00020
으로 획득한 방위 측정값이고,
Figure 112020098926729-pat00021
는 3D 특징 위치와 관련된 함수이다. 최소 제곱 문제는 LM 알고리즘으로 해결한다.
이후, 깊이가 미리 설정한 범위를 벗어나는 경우, 필터링을 이용하여 노이즈를 제거한다.
단계 S130에서, 자세 및 속도 정보를 갖는 자세 데이터를 이용하여 이상값을 추가 제거한다.
시각 벡터라고 불리는 슬라이딩 윈도우 기법으로 카메라 움직임을 반영하는 벡터를 투영 및 설정한다. 여기서, 슬라이딩 윈도우 기법은 흐름 제어 방식으로서, 윈도우는 동적으로 변화함으로써, 프로토콜 데이터 유닛을 전송한다.
벡터가 설정되면 그것들은 관계 에러를 계산하는데 사용하고, 미리 설정한 임계값과 비교하여 에러를 계산하여 이상값을 검출한다.
다음 도 5를 참조하여, 자세 데이터를 적용하여 이상값을 제거하는 일 예를 설명한다. 도 5a는 N-k 에서 N 시간 동안 슬라이딩 윈도 내의 특징점 추적을 설명하는 도면이다 도 5에서 초록색 화살표는 이미지 평면 상의 특징점의 광학 흐름을 나타내고, 파란색 화살표는 각 기간 에서 특징의 추정을 나타낸다. 도 5b는 도 5a의 슬라이딩 윈도우의 시작 및 종료까지의 자세 데이터를 적용한 이상값 삭제를 설명하기 위한 도면이고, 도 5c는 3D 환경에서 추적 및 2D 평면 상의 특징으로의 투영을 나타내기 위한 도면이다.
추정된 3D 위치
Figure 112020098926729-pat00022
를 갖는 특징 f를 고려하는 경우를 가정하면, 먼저 특징 위치는 {G} 좌표로 변환된다. 이후, 도 5c에 도시한 바와 같이 집합
Figure 112020098926729-pat00023
의 실제 벡터
Figure 112020098926729-pat00024
및 집합
Figure 112020098926729-pat00025
의 비주얼 벡터
Figure 112020098926729-pat00026
를 슬라딩 윈도우 기법을 적용하여 각 카메라 좌표
Figure 112020098926729-pat00027
로 전송하고, 카메라
Figure 112020098926729-pat00028
의 정규화 이미지 평면으로 투영한다. 집합
Figure 112020098926729-pat00029
및
Figure 112020098926729-pat00030
의 제1 벡터와 마지막 벡터만 사용하고, 실제 벡터 V1과 비주얼 벡터 V2는 도 5b와 같이 설정된다. 각 벡터는 수학식 2에 의해 계산된다.
[수학식 2]
Figure 112020098926729-pat00031
두 벡터에서 최초 포인트들 간의 거리
Figure 112020098926729-pat00032
가 작다고 가정하면 에러는 대략
Figure 112020098926729-pat00033
와 같다. 비주얼 벡터 V2의 민감도를 회피하기 위한 정규화된 재투사 에러 ε는 수학식 3과 같이 산출된다.
[수학식 3]
Figure 112020098926729-pat00034
여기서,
Figure 112020098926729-pat00035
및
Figure 112020098926729-pat00036
는 좌우측 카메라 각각의 정규화된 재투사 에러이다. 마지막으로 오류를 임계 값과 비교하여 오류가 임계값 보다 높은 경우 특징을 이상값으로 간주하여 제거한다.
이후 선형 속도와 회전을 고려하기 위하여 각속도 및 선형 함수로서 적용되는 임계값은 하기와 같이 산출된다.
Figure 112020098926729-pat00037
더 간단하게, 업데이트 임계값은 각속도 및 선형 모듈의 선형 조합이고, 수학식 4와 같이 산출된다.
[수학식 4]
Figure 112020098926729-pat00038
여기서, 파라미터
Figure 112020098926729-pat00039
및
Figure 112020098926729-pat00040
는 카메라에 따라 선택된다.
다시 도 3으로 되돌아와서, 단계 S140에서 EKF(Extended Kalman Filter) 업데이트 중에 카이 제곱 테스트(chi-squared test)를 사용하여 통계 분석을 통해 이상값을 제거한다.
일 실시예에서, 연산 결과가 예상 솔루션에 충분히 근접하지 않는 경우, 마할라노비스(Mahalanobis) 테스트를 적용한다. 영공간 투영한 후의, 선형화 결과를
Figure 112020098926729-pat00041
및
Figure 112020098926729-pat00042
라 하면, 관측값과 예측값의 차이인 잔차(residual)를
Figure 112020098926729-pat00043
,
Figure 112020098926729-pat00044
,
Figure 112020098926729-pat00045
라 한다. 이 때. 조건값은 수학식 5와 같은 계산된다.
[수학식 5]
Figure 112020098926729-pat00046
일단 오차 ξi 값을 계산하여, 95 번째 백분위 수 누적 밀도 함수의 카이 제곱 분포 χ2에 의해 주어진 임계 값과 비교한다. 여기서, χ2의 자유도는 잔차 벡터
Figure 112020098926729-pat00047
의 행(row)의 수이다. 값 ξi가 임계값보다 크면 해당 특징을 이상값으로 판단하여 이너(inlier)에서 제거한다. 이 때, 카이 제곱 분포 χ2를 계산할 수 있다. 계산 비용을 절약하기 위해 효율적인 조회 테이블을 적용하여 값을 검색하도록 구현할 수도 있다.
단계 S150에서, 이상값이 제거된 데이터에 기초하여 자세를 추정한다.
이상값이 제거된 데이터에 기초하여 자세를 추정하는 기술은 종래의 널리 알려진 기술을 적용한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 영상 데이터 처리부
120 : 자세 데이터 처리부
130 : 이상값 제거부
140 : 자세 추정부

Claims (12)

  1. 스테레오 카메라로부터 획득한 영상 이미지의 특징을 추출하는 영상 데이터 처리부;
    관성 측정 장치로부터 획득한 자세 데이터의 노이즈를 제거하는 자세 데이터 처리부;
    상기 자세 데이터에 기초하여 상기 영상 이미지의 특징에서 이상값(Outlier)을 제거하는 이상값 제거부; 및
    상기 이상값이 제거된 영상 이미지에 기초하여 자세를 추정하는 자세 추정부
    를 포함하며,
    상기 영상 데이터 처리부는 KLT(Kanade-Lucas-Tomasi) 추적 알고리즘을 이용하여 복수개의 영상 이미지 상의 특징점을 매칭하고,
    상기 이상값 제거부는 추출한 특징을 삼각측량에 적용하여 3D 위치를 계산하며,
    상기 이상값 제거부는 3D 상의 두 특징점의 거리가 2D 이미지 평면에 투영된 두 특징점의 거리의 차가 임계값을 벗어나는 경우의 값을 이상값으로 간주하여 제거하는 것을 특징으로 하는 강인한 스테레오 비주얼 관성 항법 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 이상값 제거부는 이전 영상 이미지의 특징에 대하여 현재 영상 이미지의 특징으로 업다운 매칭을 적용하고, 현재 영상의 좌측 이미지의 특징과 우측 이미지 특징 간의 순방향 또는 역방향 매칭을 적용하는 것을 특징으로 하는 강인한 스테레오 비주얼 관성 항법 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 임계값은 각속도 및 선형 함수에 기초하여 설정되는 것을 특징으로 하는 강인한 스테레오 비주얼 관성 항법 장치.
  7. 스테레오 비주얼 관성 항법 장치의 자세 추정 방법으로서,
    스테레오 카메라로부터 획득한 영상 이미지의 특징을 추출하는 단계;
    관성 측정 장치로부터 획득한 자세 데이터에 기초하여 상기 영상 이미지의 특징에서 이상값(Outlier)을 제거하는 단계; 및
    상기 이상값이 제거된 영상 이미지에 기초하여 자세를 추정하는 단계
    를 포함하며,
    상기 영상 이미지의 특징을 추출하는 단계는,
    KLT 추적 알고리즘을 이용하여 복수개의 영상 이미지 상의 특징점을 매칭하는 단계를 포함하고,
    상기 이상값(Outlier)을 제거하는 단계는,
    추출한 특징을 삼각측량에 적용하여 3D 위치를 계산하는 단계; 및
    3D 상의 두 특징점의 거리가 2D 이미지 평면에 투영된 두 특징점의 거리의 차가 임계값을 벗어나는 경우의 값을 이상값으로 간주하여 제거하는 단계를 포함하는 것을 특징으로 하는 자세 추정 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 특징점을 매칭하는 단계는,
    이전 영상 이미지의 특징에 대하여 현재 영상 이미지의 특징으로 업다운 매칭을 적용하고, 현재 영상의 좌측 이미지의 특징과 우측 이미지 특징 간의 순방향 또는 역방향 매칭을 적용하는 것을 특징으로 하는 자세 추정 방법.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 임계값은 각속도 및 선형 함수에 기초하여 설정되는 것을 특징으로 하는 자세 추정 방법.
KR1020200119896A 2020-09-17 2020-09-17 강인한 스테레오 비주얼 관성 항법 장치 및 방법 KR102406240B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119896A KR102406240B1 (ko) 2020-09-17 2020-09-17 강인한 스테레오 비주얼 관성 항법 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119896A KR102406240B1 (ko) 2020-09-17 2020-09-17 강인한 스테레오 비주얼 관성 항법 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220037212A KR20220037212A (ko) 2022-03-24
KR102406240B1 true KR102406240B1 (ko) 2022-06-08

Family

ID=80935782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119896A KR102406240B1 (ko) 2020-09-17 2020-09-17 강인한 스테레오 비주얼 관성 항법 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102406240B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4382202A1 (en) 2021-08-02 2024-06-12 Kyungpook National University Industry-Academic Cooperation Foundation Ruthenium-based nano-catalyst for hydrogen generation reaction, preparation method therefor, hydrogen generation electrode, and water electrolysis system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151814B1 (ko) * 2018-12-12 2020-09-03 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)
ROBOTICS AND AUTONOMOUS SYSTEMS*
THE TRANSACTIONS OF THE KOREAN INSTITUTE OF ELECTRICAL ENGINEERS VOL68_NO1_PP182~188_2019

Also Published As

Publication number Publication date
KR20220037212A (ko) 2022-03-24

Similar Documents

Publication Publication Date Title
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
US11126196B2 (en) Monocular modes for autonomous platform guidance systems with auxiliary sensors
Scaramuzza et al. Visual-inertial odometry of aerial robots
CN111052183B (zh) 利用事件相机的视觉惯性里程计
US10948297B2 (en) Simultaneous location and mapping (SLAM) using dual event cameras
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Weiss et al. Real-time onboard visual-inertial state estimation and self-calibration of MAVs in unknown environments
US8761439B1 (en) Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
Levinson et al. Automatic online calibration of cameras and lasers.
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
KR102016551B1 (ko) 위치 추정 장치 및 방법
KR101665386B1 (ko) 로봇 위치 추정 장치 및 방법
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
Wangsiripitak et al. Avoiding moving outliers in visual SLAM by tracking moving objects
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
US20210183100A1 (en) Data processing method and apparatus
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
Yu et al. Vision-aided inertial navigation with line features and a rolling-shutter camera
Motlagh et al. Position Estimation for Drones based on Visual SLAM and IMU in GPS-denied Environment
Scaramuzza et al. Aerial robots, visual-inertial odometry of
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM
Spaenlehauer et al. A loosely-coupled approach for metric scale estimation in monocular vision-inertial systems
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
KR102406240B1 (ko) 강인한 스테레오 비주얼 관성 항법 장치 및 방법
CN112762929B (zh) 一种智能导航方法、装置和设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant