KR102275168B1 - 비전 센서에 기반한 차량 내비게이션 방법 - Google Patents

비전 센서에 기반한 차량 내비게이션 방법 Download PDF

Info

Publication number
KR102275168B1
KR102275168B1 KR1020190120361A KR20190120361A KR102275168B1 KR 102275168 B1 KR102275168 B1 KR 102275168B1 KR 1020190120361 A KR1020190120361 A KR 1020190120361A KR 20190120361 A KR20190120361 A KR 20190120361A KR 102275168 B1 KR102275168 B1 KR 102275168B1
Authority
KR
South Korea
Prior art keywords
pair
image
images
equation
vehicle
Prior art date
Application number
KR1020190120361A
Other languages
English (en)
Other versions
KR20210037893A (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190120361A priority Critical patent/KR102275168B1/ko
Publication of KR20210037893A publication Critical patent/KR20210037893A/ko
Application granted granted Critical
Publication of KR102275168B1 publication Critical patent/KR102275168B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은, 차량 외부의 한 쌍의 시간적으로 차이가 있는 연속 이미지를 획득하는 단계; 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계; 상기 정합 결과에 기반하여 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계; 및 상기 픽셀 변위에 기반하여 위도 및 경도를 계산하여 차량의 현재 위치를 갱신하는 단계를 포함하고, 상기 연속 이미지를 획득하는 단계는, 차량에 장착된 비전 센서를 이용하여 한 쌍의 연속 이미지를 획득하는 단계; 왜곡 성분이 적은 이미지 내부의 고정 경계 영역을 선택하기 위하여 상기 한 쌍의 연속 이미지 각각을 쿼드-트리(quad tree) 분해 방법을 이용하여 복수의 쿼드 트리 이미지 패치들로 분해하는 단계; 및 상기 한 쌍의 연속 이미지 각각에 대한 쿼드-트리 이미지 패치들을 데시메이션하는 단계를 포함하고, 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계는 상기 한 쌍의 연속 이미지 각각의 데시메이션된 이미지 패치들 간의 픽셀 변위를 계산하는 단계를 포함한다.

Description

비전 센서에 기반한 차량 내비게이션 방법{VEHICLE NAVIGATION METHOD BASED ON VISION SENSOR}
본 발명은 비전 센서에 기반한 차량 내비게이션 방법에 관한 것이다.
스마트 시티의 개념은 사물 인터넷(IoT)과 함께 정보 통신 기술(ICT)을 사용하여 도시 자산 및 소유물의 지속 가능한 개발 및 관리를 기반으로 한다. 스마트 시티는 개인의 삶의 질을 향상시키기 위한 기술 기반 통합 솔루션을 제공하는 것을 목표로 한다. 스마트 시티의 개발에서 기술 무지, 인프라 부족, 사회 경제적 근대화와 함께 생태 지속 가능성, 공공 서비스 개선을 위한 공공 거버넌스 참여, 사회 및 환경 문제에 대한 솔루션 예측, 집단 정책 및 의사 결정과 같은 수많은 과제를 해결해야한다. 도시의 스마트한 환경에서 보다 쉽고 안전한 삶을 만들기 위해 기술 사용은 교육 기관, 공공 도서관, 보건소와 같은 도시 자산의 관리와 관련된 삶의 다른 모든 측면에서 기본적일 수 있다. 스마트 시티에서 사회 경제적 발전은 각 삶의 모든 분야에 기술을 통합함으로써 자원을 효과적으로 통제하고 효율적으로 사용함으로써 달성된다.
디지털 스마트 시티에서 기존 도시 환경의 변화는 현실이 되었으며, 이는 인간의 노력의 용이성과 노력 시간의 단축을 위해 일상 생활 활동을 자동화된 프로세스로 변환하는 것을 목표로 한다. 비전 기반 센서는 일반적으로 도시를 모니터링하는 데 사용되며, 도시는 방대한 양의 다양한 데이터를 수집하여 추가 컴퓨터 비전 처리를 위해 저장한다.
한편, 인구가 많은 도시에는 적절한 내비게이션 인프라가 없기 때문에 차량 내비게이션은 도시에서 중요한 문제이며, 특히 도시 환경과 스마트 시티에서 자율 내비게이션을 사용하는 것이 더 적합하다. 자동차 또는 모바일 로봇을 위한 자율 내비게이션 시스템의 주요 임무는 오차가 없는 자체 위치 측정 계산이다. 자체 위치 결정 측정은 모바일 로봇이 관성 기준 프레임에 대한 활성 위치와 방향을 결정하는 능력을 말한다. 위치 측정에 사용되는 가장 일반적인 기술은 GPS(Global Positioning System)를 기반으로 한다. GPS 기반 위치 측정은 위성 신호를 기반으로 하여 경도, 위도 및 고도의 관점에서 지구 표면에서의 물체의 절대 위치와 위치를 계산한다. GPS 기반 위치 측정의 단점 중 하나는 로봇의 운영 영역에 랜드 마크를 설치하는 비용이 많이 든다는 것이다. 마찬가지로, 큰 숲, 산, 터널 및 고층 빌딩과 같은 폐쇄된 환경에서는 GPS 액세스가 가능하지 않거나 거부될 수 있다.
GPS 기반 기술의 대안은 관성항법장치(INS: Inertial Navigation System)를 사용하는 것이다. 관성항법장치는 가속도계 및 자이로스코프의 데이터를 사용하여 알려진 시작 위치, 속도 및 방향에 대한 신체의 위치 및 방향을 추적하는 독립적인 탐색 기술이다. 이 시스템에서 온보드 센서 데이터는 위치를 추정하는 데 도움이 된다. 계산의 기준선은 초기 위치이며 추정 위치는 속도, 가속 및 드리프트 매개 변수에 의해 제공된다. 이러한 유형의 기술의 단점은 바퀴의 미끄러짐 또는 고르지 않은 영역으로 인한 누적 오차로 인하여 정확한 위치를 정밀하게 계산하지 못한다는 것이다.
많은 연구원들이 특히 오프로드 모바일 로봇, 즉, 우주 탐사 임무, 수중 항법 및 탐사 등에서 비전 기반 내비게이션 기법을 성공적으로 사용했다. 영상 주행거리 측정(VO: Visual odometry)은 온보드 카메라를 사용하여 이미지 시퀀스에서 로봇 모션의 증가하는 온라인 근사치이다. 이 아이디어는 환경의 복잡성과 관련하여 위치 정확도 및 견고성 측면에서 개선되었다.
Wong, Deguchi, Ide 및 Murase(2014)에서 저자는 교통 환경에서 차량 위치 측정을 달성하기 위해 동적 시간 왜곡과 함께 SURF 기반 기능을 사용했다. SURF 기반 특징은 특성이 다르지만 각 입력 이미지마다 고유한 특성이 지나치게 많으면 계산 및 정확도 측면에서 시스템이 비효율적이다. 대조적으로, 본 발명에서 제안된 접근법은 그람 다항식 기저 함수를 사용하는 효율적인 이미지 정합을 사용하는데, 이는 입력 이미지로부터 특징의 추출에서 계산 복잡성을 감소시킴으로써 효율적이다.
Xie, Gu 및 Kamijo (2017)에서 저자는 관성 센서와 함께 스테레오 비전 시스템을 사용하여 교량 또는 폐쇄된 환경에서 특별히 설계된 차선 수준의 위치 측정 방법을 제안했다. 이 방법의 단점은, 실시간 스테레오 비전 시스템은 심도 정보를 결정할 때 정확도가 낮아서 위치 측정이 불량하다는 것이다. 또한 스테레오 비전 기반 시스템은 조명, 대비 등과 같은 이미지의 낮은 수준의 픽셀 세부 정보에 크게 의존하므로 부정확성에 취약하여 깊이 매핑의 결정이 불량하다.
Vivacqua, Bertozzi, Cerri, Martins 및 Vassallo (2018)에서 저자는 기존의 주행 거리계 정보와 함께 근거리 시각 차선 마커를 감지하여 레지스트리를 구성하는 방법을 제안했다. 이러한 시스템의 한계 중 하나는 효율적인 위치 측정을 제공하기 위해 환경에 대한 맵에서 기존 정보를 사용하는 것이다. 위에서 설명한 접근 방식과 비교하여 본 발명에서 제안된 기술은 환경에 대한 사전 정보가 필요하지 않으므로 어떤 조건에서도 더 적합하다.
이미지 정합은 동일한 영역의 두 이미지를 서로 상관시키고 기하학적으로 정렬하는 프로세스이다. 광범위한 응용 분야로 인해 수년간 이미지 정합은 활발한 연구 분야였다. 고전적인 이미지 기반 정합에서 스펙트럼 도메인 기능은 주파수 변환을 사용하여 신호를 재구성하는 데 사용된다. 데이터의 강도(텍스처링된 영역) 또는 불연속성(가장자리 또는 모서리)이 데이터에 포함되어 있을 때 이러한 시스템의 성능이 저하되어 재구성이 제대로 이루어지지 않는다.
따라서, 비전 센서에 기반한 내비게이션에 있어서, 강도 변화 또는 불연속이 높은 영역에서도 이미지 정합 프로세스의 효율성과 정확성을 향상시켜, 차량의 위치를 효율적이고 정확하게 제공할 수 있는 방법이 요구된다.
KR 10-1096113 B1
본 발명이 해결하고자 하는 과제는 강도 변화 또는 불연속성이 높은 영역에서도 이미지 정합 프로세스의 효율성과 정확성을 향상시켜, GPS 서비스 거부되는 환경에서도 비전 센서에 기반하여 차량의 위치를 정확하게 제공할 수 있는, 비전 센서에 기반한 차량 내비게이션 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은,
차량 외부의 한 쌍의 시간적으로 차이가 있는 연속 이미지를 획득하는 단계;
수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계;
상기 정합 결과에 기반하여 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계; 및
상기 픽셀 변위에 기반하여 위도 및 경도를 계산하여 차량의 현재 위치를 갱신하는 단계를 포함하고,
상기 연속 이미지를 획득하는 단계는,
차량에 장착된 비전 센서를 이용하여 한 쌍의 연속 이미지를 획득하는 단계;
왜곡 성분이 적은 이미지 내부의 고정 경계 영역을 선택하기 위하여 상기 한 쌍의 연속 이미지 각각을 쿼드-트리(quad tree) 분해 방법을 이용하여 복수의 쿼드 트리 이미지 패치들로 분해하는 단계; 및
상기 한 쌍의 연속 이미지 각각에 대한 쿼드-트리 이미지 패치들을 데시메이션하는 단계를 포함하고,
상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계는 상기 한 쌍의 연속 이미지 각각의 데시메이션된 이미지 패치들 간의 픽셀 변위를 계산하는 단계를 포함한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 있어서, 상기 각각의 이미지 패치(D)를 데시메이션하는 단계는 수학식 7에 기반하여 스펙트럼 Spg를 획득하는 단계를 포함하고,
[수학식 7]
Figure 112019099543194-pat00001
Fx와 Fy는 각각 x 방향과 y 방향에 대한 푸리에 기저 함수를 포함하는 행렬이고, T는 전치(transpose) 연산자를 나타내며,
Dpg는 수학식 5에 기반하여 획득되고,
[수학식 5]
Figure 112019099543194-pat00002
Gx 및 Gy의 열(column)은 각각 x 방향 및 y 방향에 대한 그람 기저 함수를 포함할 수 있다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 있어서, 상기 그람 기저 함수(
Figure 112019099543194-pat00003
)는, 수학식 6에 의해 주어지고,
[수학식 6]
Figure 112019099543194-pat00004
,
상기에서
Figure 112019099543194-pat00005
이며,
Figure 112019099543194-pat00006
,
Figure 112019099543194-pat00007
,
Figure 112019099543194-pat00008
이고,
Figure 112019099543194-pat00009
이며, n<m이고, 상기 수학식 6에서 x는 [-1,1] 범위 내의 값이며, n은 1 이상인 소정의 정수일 수 있다.
또한, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은, 상기 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계 이전에,
상기 이미지 패치들에서 특징이 없는 부분에 근사값을 제공하기 위하여, 상기 이미지 패치들(D) 각각을 [수학식 10]에 기반하여 재구성하여 재구성된 이미지 패치의 스펙트럼(S)을 획득하는 단계를 포함할 수 있다.
[수학식 10]
Figure 112019099543194-pat00010
.
또한, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 있어서, 상기 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계는 수학식 12에 기반하여 표면 P(n)을 획득하는 단계를 포함하고,
[수학식 12]
Figure 112019099543194-pat00011
IFFT는 역 고속 푸리에 변환을 나타내며, M(w) 및 R(w)는 각각 상기 한 쌍의 연속 이미지에 대한 수정된 이미지 패치들의 2D 푸리에 스펙트럼이고,
상기 수정된 이미지 패치들의 2D 푸리에 스펙트럼은, 상기 이미지 패치들의 2D 푸리에 스펙트럼을 차수가 1인 그람 다항식의 직교 보수에 투영함으로써 획득되며,
상기 픽셀 변위는 상기 표면 P(n)에서 피크의 위치에 의해 획득될 수 있다.
또한, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은, 상기 차량 외부의 한 쌍의 연속 이미지를 획득하는 단계 이후에,
상기 한 쌍의 연속 이미지에 수학식 1을 적용하여 정규화된 이미지(N(x, y))를 획득하는 단계를 더 포함할 수 있다.
[수학식 1]
Figure 112019099543194-pat00012
I(x, y)는 입력 이미지, μI는 I(x, y)의 로컬 평균, σI는 로컬 표준 편차임.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 의하면, 강도 변화 또는 불연속성이 높은 영역에서도 이미지 정합 프로세스의 효율성과 정확성을 향상시켜, GPS 서비스 거부되는 환경에서도 비전 센서에 기반하여 차량의 위치를 정확하게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 개략적인 흐름도.
도 2는 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 상세 흐름도.
도 3은 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법이 적용될 수 있는 장치의 블록도.
도 4는 지면 레벨ㄹ부터의 카메라 위치 및 높이를 도시한 도면.
도 5는 연속적인 4개의 이미지들에서의 위도 및 경도 계산을 도시한 도면.
도 6(a) 내지 도 6(d)는 레이어 0 상관 피크, 도 6(e) 내지 도 6(h)는 레이어 1 상관 피크, 그리고 도 6(i) 내지 도 6(l)은 레이어 1 서브 이미지 1 상관 피크를 도시한 도면.
도 7(a) 내지 도 6(d)는 레이어 2 상관 피크, 도 7(e) 내지 도 6(h)는 레이어 3 상관 피크를 도시한 도면.
도 8은 왜곡 맵을 도시한 도면.
도 9(a)는 이미지에 표시된 픽셀 이동, 도 9(b)는 수정된 정규화된 위상 상관에 의한 피크 값을 3D 플롯으로 도시한 도면.
도 10(a)는 1200개 이미지들에 대한 테스트 드라이브를 위한 궤적 및 GPS와 VO의 평가, 도 10(b)는 오차 그래프를 도시한 도면.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
본 발명에서는 보정된 센서와 GPS(Global Positioning System)를 사용하지 않고 스마트 시티에서 비용 효율적인 수단 (비전 기반 센서)을 사용하여 차량을 탐색하는지 여부와 방법을 탐색하고자 한다. 차량 위치 파악 및 내비게이션에는 온보드 보정 센서와 안정적인 GPS 링크가 필요하다. 도시 환경에서는 이러한 센서들은, 실내 환경(터널)이나 붐비고 혼잡 한 지역 및 심한 기상 조건에서 제대로 작동하지 않는다. 비전 기반 내비게이션에 사용되는 가장 효과적인 기술은 이미지 정합(image registration)에 따라 다르다. 성공적이고 효과적인 정합의 과제는 다음과 같다. 환경에서 충분한 조명, 움직이는 물체에 대한 정적 장면의 우세, 연속적인 프레임들 간의 명백한 움직임 및 필요한 장면 겹치기를 허용하는 높은 질감 비율. 본 발명에서는 수정된 정규화된 위상 상관을 사용하는 비전 센서를 기반으로 한 차량 내비게이션에 대한 새로운 접근법을 제안한다. 제안된 접근법에서, 텍스처링된 표면과 덜 텍스처링된 표면의 구별은 대응하는 특징의 식별에 기초한다. 이와 관련하여, 그램 다항식 기저 함수(Gram polynomial basis function)는 정합 프로세스(registration process)에서 피크로 인해 생성된 Gibbs 오류 문제를 제거하는 데 사용된다. 마찬가지로 엔트로피 기반 텐서 근사법을 사용하여 강력한 이미지 정합을 위해 이상치를 제거한다. 테스트 드라이브 중에 실시간으로 수행된 실험은 GPS 계산 데이터와 비교하여 추정된 위치 정확도와 관련하여 탁월한 결과를 보여준다.
본 발명에서 제안된 접근법은 그람 다항식(Gram Polynomial) 기저 함수를 사용하여 강도 변화 또는 불연속성이 높은 영역에서도 이미지 정합 프로세스의 효율성과 정확성을 제공한다.
본 발명에서는 이미지 정합 기술을 활용하는 비전 기반 센서를 사용하여 GPS 기능이 없거나 GPS 서비스가 거부되는 환경(실내 및 실외 모두)에서 차량 내비게이션 문제를 해결한다. 이 접근법에서, 다른 위치들을 나타내는 데이터 사이의 변환을 추정하고 식별하기 위해 특징들이 추출된다. 차량의 위도 및 경도와 관련하여 차량의 위치를 추정하기 위해 데이터가 추가로 처리된다. 본 발명의 주요 공헌은 다음과 같이 요약할 수 있다.
- 비용 효율적인 수단을 사용하여 도시 환경에서 비전 기반 센서를 사용하여 차량을 탐색할 수 있는 자율 주행 시스템을 제공한다.
- 고속 푸리에 변환(FFT: Fast Fourier Transform)을 기반으로 수정된 정규화된 위상 상관을 사용하여 이미지 정합을 통해 차량 내비게이션 솔루션을 제공한다. 마찬가지로, 본 발명에서 제안된 접근법의 혁신적인 단계는 위상 상관을 통해 이미지 정합을 향상시키기 위해 그람 다항식 기저 함수를 사용하는 것이다.
- 서브 픽셀 정합을 고려하여 저해상도 이미지에 사용할 수 있는 시스템을 만들고, 차량 내비게이션의 처리 시간을 줄이고, 비전 기반 내비게이션의 정확한 결과를 제공한다.
제안된 수정된 정규화된 위상 상관 기반 접근법
머신 비전에 의한 자동 내비게이션을 위한 가장 중요한 단계는 두 개의 연속 장면 사이에서 픽셀 이동을 찾는 것이다. 요즘 대부분의 방법은 상관 방법으로 이미지를 정합한다. 상관 기반 방법은 공간 및 스펙트럼의 두 도메인에서 널리 사용된다. 공간 영역에서 두 개의 연속 이미지는 점, 선, 모서리 및 모서리 사이의 가장자리들에 의해 상관되고, 이것은 잘못된 피크 또는 대응하는 포인트가 발생하는 많은 피크 또는 대응하는 포인트를 초래한다. 또한 블러(blur) 이미지에서 중요한 가장자리, 모서리, 포인트를 찾는 것은 어렵고 문제가 있다.
스펙트럼 도메인 상관은 주파수 도메인에서 이미지의 완전한 처리를 통합하며, 노이즈 데이터의 경우 견고성을 제공하는 위상 상관이 수행된다. 위상 상관 기반 정합은 상관 피크의 위치로부터 서브 픽셀 정확성을 갖는 이미지들 사이의 이동을 허용한다. 또한, 적절한 이상적인 경계가 없는 블러 이미지도 상관될 수 있다. 푸리에 기반 함수를 사용하여 (불연속 또는 그라디언트 없는) 부드러운 특성을 갖는 데이터 또는 신호의 분석을 효율적으로 처리하고 재구성할 수 있다. 일반적으로 이미지 정합 프로세스는 일관성 있고 균일한 이미지에서 상당히 만족스러운 결과를 제공하는 푸리에 기저 함수를 사용하지만 데이터에 높은 엔트로피, 분산, 불규칙 및 불연속성이 포함된 상황에서 푸리에 기저 함수는 원래 신호 또는 데이터의 재구성에서 성능이 저하된다. 따라서, 푸리에 기저는 불연속을 나타내기 위해 많은 푸리에 성분을 필요로 하는 불연속 또는 예리한 모서리를 표현하는데 효율적이지 않다. 푸리에 합이 오버슈트되는 이러한 불연속 지점을 깁스 현상(Gibbs Phenomenon)이라고 한다.
도 1은 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 개략적인 흐름도이고, 도 3은 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법이 적용될 수 있는 장치의 블록도이다.
도 3을 참조하면, 비전 센서(300)는 카메라와 같이 차량의 외부의 이미지를 획득하기 위한 센서이고, 메모리(304)는 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법을 프로그램 코드 형태로 저장하고 있으며, 제어부(302)는 메모리(304)에 저장된 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법을 실행하고, 비전 센서(300)와 디스플레이(306) 및 메모리(304)를 제어하며, 디스플레이(306)는 제어부(302)에서 출력되는 차량의 위치를 표시한다.
도 1 및 도 3을 참조하면, 단계 S100에서, 제어부(302)는 비전 센서(300)를 이용하여 차량 외부의 한 쌍의 시간적으로 차이가 있는 연속 이미지를 획득한다.
단계 S102에서, 제어부(302)는, 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하고, 단계 S104에서, 제어부(302)는, 상기 정합 결과에 기반하여 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산한다.
단계 S106에서, 제어부(302)는, 상기 픽셀 변위에 기반하여 위도 및 경도를 계산하여 차량의 현재 위치를 갱신한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 상세 블록도가 도 2에 나와 있으며, 본 발명에서 이미지 정합은 객체 위치 파악을 위한 전역 위치를 추출하는 데 사용된다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 전체 절차는 다음 단계로 요약할 수 있다.
- 지상 차량에 장착된 비전 센서(카메라)를 사용하여 한 쌍의 연속 이미지를 획득하고 시간 (t-1)에서 촬영한 이미지를 선택한다.
- 수정된 정규화된 위상 상관을 사용하여 시간 (t-1)의 이미지와 현재 이미지인 시간 t에서의 이미지를 매칭시킨다.
- 템플릿과 최대 상관점 사이의 픽셀 변위를 추정한다.
- 픽셀 수준의 이미지 해상도를 통해 미터 단위의 거리를 계산한다.
- 거리를 ΔLat 및 ΔLong으로 변환하고 이 값을 사용하여 차량 위치를 업데이트한다.
- 각각의 연속 이미지에 대해 상기 과정을 반복한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 기본 아이디어는 수정된 정규화된 위상 상관을 사용하여 두 개의 연속 이미지의 위치 변화를 찾는 것이다. 위치 변화는 해당 위도 및 경도로 변환된다.
단계 S200에서, 제어부(302)는 비전 센서(300)를 이용하여 이미지 I(x, y)의 시퀀스를 캡처하는데, 즉, 차량 외부의 한 쌍의 시간적으로 차이가 있는 연속 이미지(이미지(t-1), 이미지(t))를 획득한다. 여기서 첫 번째 이미지는 방법의 시작점으로 간주된다. 시퀀스의 다음 이미지는 시프트된 이미지로 간주된다.
한편, 제어부(302)는 불균일한 조명 또는 쉐이딩 아티팩트를 정정하기 위해, 2개의 이미지를 국부적으로 정규화하여 이미지의 국부 평균 및 분산을 균일화한다. 결과로서 생성된 정규화된 이미지 N(x, y)는 다음 수학식을 사용하여 추출된다.
Figure 112019099543194-pat00013
여기서 I(x, y)는 입력 이미지이고 μI는 I(x, y)의 로컬 평균이고 σI는 로컬 표준 편차이다.
종래의 이미지 캡처 장치의 사용으로 인해, 획득된 이미지는 각 이미지의 경계에서 상이한 레벨의 왜곡을 갖는다. 정규화는 불규칙한 조명을 방지하지만 여전히 왜곡 성분은 기본 프로세스에 부정적인 영향을 미친다. 이 문제를 해결하기 위해 왜곡 성분이 적은 이미지 내부의 고정 경계 영역이 선택된다. 이러한 경계는 쿼드-트리(Quad-Tree) 분해 방법을 사용하여 이미지를 분해하여 생성된다.
도 2를 참조하면, 제어부(302)는, 왜곡 성분이 적은 이미지 내부의 고정 경계 영역을 선택하기 위하여 한 쌍의 연속 이미지 각각을 쿼드-트리(quad tree) 분해 방법을 이용하여 복수의 쿼드 트리 이미지 패치들로 분해한다(단계 S202, 단계 S206). 쿼드 트리 분해 방법을 사용하여 이미지를 각각 4개, 16개 및 64개 블록으로 분할하여 이미지를 동일한 크기의 패치로 분해한다.
제어부(302)는, 상기 한 쌍의 연속 이미지 각각에 대한 쿼드-트리 이미지 패치들을 데시메이션한다(단계 S204, 단계 S208).
깁스 다항식 기반으로 각 패치를 데시메이션하여 깁스(Gibbs) 오류 문제를 제거한다. 데시메이션에 널리 사용되는 방법은 보간, 스무딩, 압축, 향상 및 특징 검출이다. 이미지가 균일하게 이격된 노드를 갖는 이산 값 세트로 표현되는 반면, 이 다항식의 계수는 이미지 픽셀의 선형 변환을 나타낸다. 변환의 경우 계산 요구 사항이 훨씬 광범위하지만 2차원 계수를 사용하여 다항식에서 원하는 행렬을 정확하게 표현할 수 있다. 보간 및 최소 제곱 근사를 사용하여 다항식 계수를 데시메이션하면 계산 비용이 줄어든다.
벡터의 확장을 계산하려면 주어진 벡터 공간에 대해 정규 직교 기저를 갖는 것이 더 적절하다. 따라서, 비 정규 직교 기저의 경우, 정규 직교 기저를 얻는 것이 필요하며, 이 변환은 그람-슈미트(Gram-Schmidt) 직교화에 의해 제공된다. 그람-슈미트(Gram-Schmidts)의 직교화 프로세스는 재귀 기법으로, 벡터가 정규 직교 벡터로 변환된다. 변환되면, 원래 벡터와 제 1 정규 직교 벡터에 의해 스팬된 공간에 대한 그것의 투영 사이의 차이가 정규화되어 정규 직교 컬렉션에서 벡터가 획득된다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 그람 다항식 변환을 제시하고 그람 다항식 변환이 이미지 데시메이션에 사용될 수 있음을 보여준다. 데시메이션은 나머지 단계마다 실행 시간을 줄이는 데 도움이 된다.
그람 다항식 기저 함수
더 거칠고 미세한 것까지, 비 강성 정합 기술을 위해 다양한 스케일로 이미지에 데시메이션이 적용된다. 이미지가 비선형적으로 변화하고 더욱이 이미지의 변화는 서로 유사하지 않기 때문에, 강성 정합 방법은 문제를 정확하게 해결할 수 없다. 따라서 이미지의 계층적 세분화를 사용하여 잘라 내기 및 나누기 규칙이 적용되며 정합은 글로벌에서 로컬 방식으로 수행된다. 한편, 그람 다항식 데시메이션은 모든 수준에서 가변 속도로 이미지에 적용된다.
요약하자면, 최상위 또는 제로 레벨에서 최대 데시메이션 비율을 가지며, 여기서 이미지의 크기는 더 높은 레벨에서 최대(원본 이미지)이다. 쿼드-트리 분해 프로세스가 서브-이미지 계층 내부로 더 진행됨에 따라, 이미지의 크기는 마지막 레벨에 도달하면서 감소되어 데시메이션 비율이 감소된다. 해상도를 낮추는 이미지의 데시메이션을 통해 두 가지 주요 오류 원인이 있다. 첫째, 기저 함수로 인해 데이터의 특징을 기술할 수 없는 깁스(Gibbs) 오류가 발생하고, 두 번째 오류의 원인은 앨리어싱이다. 일반적으로 앨리어싱은 주기적인 기저 함수에 대해서만 고려되지만 다항식 기저 함수에 대해서도 동일한 문제가 존재한다. 이러한 문제는 이미지 데이터에 가우시안 노이즈가 존재하여 더 복잡해진다.
n개의 데이터 포인트를 갖는 신호 Y를 고려하여, 그 스펙트럼 S를 찾기 위해, 행렬
Figure 112019099543194-pat00014
의 열(column)을 형성하는 k개의 이산 정규 직교 기저 함수
Figure 112019099543194-pat00015
가 고려된다.
Figure 112019099543194-pat00016
여기서 T는 전치(transpose) 연산자를 나타낸다. 역변환은 다음과 같다.
Figure 112019099543194-pat00017
기저가 완료되면, 즉, 어떤 세트의 기저 함수 B가 완료되면,
Figure 112019099543194-pat00018
는 오류 없는 불연속 신호를 나타낸다. 그러나 수학식 4에 주어진 바와 같이, 깁스 오차는 감소된 세트의 기저 함수에 의해 또는 가중에 의해 신호를 닮아서 정확한 기저와 특히 관련되지는 않는다.
Figure 112019099543194-pat00019
여기서 H는 각 스펙트럼 성분에 추가된 가중치 벡터를 나타낸다.
2D 이미지 정합에서 이미지 데시메이션을 위한 최상의 기저 함수 세트는 고려되는 이미지의 특성에 따라 다르다. 푸리에 기저는 이미지의 주기적인 구조의 경우에 적합한 반면, 그람 기저는 본질적으로 기하학적인 이미지에 적합하다. 따라서, 2D 푸리에 스펙트럼을 계산할 때, 이미지 패치 D는 다음 수학식에서 주어진 바와 같이 절단된 그람 다항식 Dpg 세트의 직교 상보에 투영된다:
Figure 112019099543194-pat00020
여기서 Gx 및 Gy의 열은 각각 x 및 y 방향에 대한 그람 기저 함수를 포함한다. 이것은 패치에서 서브 하모닉 성분을 크게 제거하여 결과적으로 연관된 깁스 오류를 줄인다.
상기 그람 기저 함수(
Figure 112019099543194-pat00021
)는 수학식 6에 의해 주어진다.
Figure 112019099543194-pat00022
상기에서
Figure 112019099543194-pat00023
이며,
Figure 112019099543194-pat00024
,
Figure 112019099543194-pat00025
,
Figure 112019099543194-pat00026
이고,
Figure 112019099543194-pat00027
이며, n<m이고, 상기 그람 기저 함수에 대한 수학식에서 x는 [-1,1] 범위 내의 값이며, n은 1 이상인 소정의 정수이다.
일반적으로 스펙트럼 Spg는 다음과 같이 계산된다.
Figure 112019099543194-pat00028
여기서 Fx와 Fy는 각각 x와 y 방향에 대한 푸리에 기저 함수를 포함하는 행렬이다. 그러나, 그람 다항식 기저 함수에서, 스펙트럼은 Bx 및 By에 의해 주어진 수정된 기저 함수를 사용하여 다음과 같이 계산될 수 있다:
Figure 112019099543194-pat00029
신호대 잡음비는 적합성 계산보다 더 좋다.
엔트로피 가중 텐서 다항식 정규화
참조 이미지 및 시프트된 이미지의 연속적인 패치들은 수정된 정규화된 위상 상관을 사용하여 정합되는데, 제어부(302)는 참조 이미지 및 시프트된 이미지의 연속적인 패치들을 정합하기 이전에, 상기 이미지 패치들에서 특징이 없는 부분에 근사값을 제공하기 위하여, 엔트로피 가중 텐서 다항식 정규화를 이용하여 상기 이미지 패치들(D) 각각을 재구성한다.
즉, 제어부(302)는 정합 프로세스를 개선하기 위하여 (즉, 특징이 적은 영역이 정합됨) 엔트로피 기반 텐서 근사가 이웃 특징에 가중치를 부여한 후 강력한 정합에 적용한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에서, 이미지에서 이용 가능한 특징/텍스처/정보는 가중 함수로서 사용된다. 이미지의 일부 영역에서 이용 가능한 특징이 적을 수 있으며, 위상 상관이 상기 이미지를 정확하게 정합하는 데 요구될 것이다. 결과적으로, 엔트로피는 이와 관련하여 특징이 없는 부분에 할당된 근사값을 제공함으로써 그 역할을 한다.
패치들의 좌표들이 탄성 변형에 해당하는 그리드에 있다고 보장할 수 없다. 탄성 변형을 위한 부분 미분 방정식의 솔루션과 일치하는 그리드로 좌표를 정규화하는 것은 전역 다항식 기저 함수들의 텐서 곱에 의해 근사화함으로써 달성될 수 있다. 이러한 텐서 곱 근사에 대한 함수는 원본 이미지 패치 D와 재구성된 이미지 패치
Figure 112019099543194-pat00030
의 차이를 나타내는 오차 E에 의해 주어진다.
Figure 112019099543194-pat00031
여기서 S는 재구성된 패치의 스펙트럼을 나타내고 F는 프로베니우스 놈(Frobenius norm)이다. 상기 수학식은 S의 값에 의존한다. 즉, S의 값이 작을수록 오차 E가 작을 것이다. 목표는 상기 함수를 최소화하는 매트릭스 S의 엔트리 값을 결정하는 것이다. S는 다음과 같이 계산될 수 있다:
Figure 112019099543194-pat00032
고려해야 할 추가적인 문제는 모든 패치가 동일한 정보 내용을 가지고 있지 않다는 것이다. 패치에 포함된 정보에 의해 패치의 좌표를 가중시키는 것이 바람직하다. 즉, 더 높은 정보 내용을 갖는 패치는 최소 제곱 근사 프로세스 동안 더 중요하다. 가중 행렬 W가 주어지면, 가중 텐서 곱 근사에 대한 오차 Ew는 다음과 같이 공식화될 수 있다.
Figure 112019099543194-pat00033
여기서 는 하다마드 곱(Hadamard product) 연산자이다.
수정된 정규화된 위상 상관
단계 S212에서, 제어부(302)는 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하고, 상기 정합 결과에 기반하여 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산한다.
위상 상관은 이미지의 이동을 찾는 데 사용된다. 위상 상관에 의해 두 개의 이미지를 정합하기 위해, 먼저 두 이미지의 이산 2D 푸리에 변환이 계산된 다음, 시프트된 이미지의 복소 공액을 취함으로써 크로스-파워 스펙트럼이 계산되며, 이는 추가 정규화를 겪는다. 마지막으로, 역 푸리에 변환은 두 이미지에서 필요한 이동을 얻는 데 사용된다.
수정된 정규화된 위상 상관이 두 개의 연속 이미지에 적용되어 상대 이동을 찾는다. 본 발명의 핵심 아이디어는 푸리에 시프트 이론에 기초하고 있는데, 푸리에 시프트 이론은 두 함수의 공간 영역에서의 이동은 푸리에 스펙트럼 영역에서 선형 위상차로 변환된다는 것을 기술한다. 위상 상관법은 이상적인 단일 피크를 포함하는 위상차를 계산한다. 피크의 위치는 두 개의 연속 이미지 사이의 상대적인 변환을 나타낸다. 위상 상관 방법은 노이즈 및 이미지 결함에 강건하고 쉽게 자동화된다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에서 수정된 정규화된 위상 상관 방법은 정합을 실행하기 위해 제시된다. 푸리에 기저 함수는 차수가 1인 그람 다항식의 직교 보수에 투영함으로써 수정된다. 이것은 패치 내에서 강도 및 강도 피크의 영향을 제거한다. 수학적으로 정규화된 위상 상관은 다음과 같다:
Figure 112019099543194-pat00034
여기서 IFFT는 역 고속 푸리에 변환을 나타내며, M(w) 및 R(w)는 각각 수정된 템플릿 이미지 및 수정된 참조 이미지의 2D 푸리에 스펙트럼이다. 픽셀 이동, 즉 픽셀 변위는 표면 P(n)에서 피크의 위치에 의해 주어진다.
마지막으로, 단계 S214에서, 제어부(302)는 상기 픽셀 변위에 기반하여 위도 및 경도를 계산하여 차량의 현재 위치를 갱신한다.
실험 설정 및 결과
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법을 통해 보고된 위치와 기록된 GPS 값을 비교하기 위해 차량에는 간단한 디지털 카메라가 장착되어 있다. 카메라의 수평 시야각은 15.5°이며, 획득 한 이미지 크기는 480×640이다. 50% 이상의 중첩을 초래하는 도 5에 제공된 이미지 쌍(즉, 참조 이미지 및 시프트된 이미지)은 실험적 검증의 목적으로 사용된다. 실험 설정 동안, 지상 차량은 최대 속도 30킬로미터/시간(km/h), 즉 8.333미터/초(m/s)로 움직였다. 따라서 총 거리는 200×8.33=1666.6m 또는 일반 도로에서 1.6km이다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 있어서, 이미지에서 이용 가능한 정보는 가중 함수로서 유지된다.
차량의 변위 추정
변위 [dx, dy]는 도 4에 도시된 바와 같이 카메라가 지면을 향한 각도로 촬영한 이미지를 사용하여 추정된다. 샘플링 순간 t-1에서, 카메라는 지면을 촬영한다. 유사하게, 다음 샘플링 순간 t에서 다른 이미지가 취해지고, 수정된 정규화된 위상 상관은 수학식 8을 사용하여 계산되고, 변환이 계산된다. 수정된 정규화된 위상 상관에 의해 제공된 피크 값은 참조 이미지와 현재 이미지 사이의 이동을 공식화하는 데 사용된다.
픽셀 변위 (Δx, Δy)는 지면을 가리키는 카메라로 촬영한 이미지 시퀀스에서 계산되며, Across 및 Along 거리를 각각 찾는 데 사용된다. 이 거리는 차량의 정확한 위치를 계산하기 위해 위도 및 경도와 같은 측정 단위로 변환된다.
픽셀 값에서 위도와 경도 찾기
위도와 경도를 찾으려면 보정된 해상도를 찾아야한다. 도 4에서 “높이”는 지면 높이 위(AGL: Altitude above Ground Level)로 정의되며 기호 α는 화각을 도 단위로 나타낸다. 다음 변수들은 수학적으로 계산된다.
Figure 112019099543194-pat00035
Figure 112019099543194-pat00036
Figure 112019099543194-pat00037
여기서 FOV는 시야(field of view)를 나타내고 tan은 각도의 탄젠트이다.
x와 y의 움직임이 계산되면, 이들은 횡단 거리(Across distance)와 길이 방향 거리(Along distance)를 각각 찾기 위해 변형될 수 있다. 영향을 주는 구성요소들, 즉 롤에 의해 주어진 x 움직임 및 피치에 의해 주어진 y 움직임을 보상할 필요가 있다. 마찬가지로 측면 거리(side wise distance) 및 길이 방향 거리(along wise distance)는 다음 수학식을 사용하여 계산된다.
Figure 112019099543194-pat00038
Figure 112019099543194-pat00039
가로 거리 및 세로 거리를 GPS와 비교하려면 위도(Lat) 및 경도(long)로 각각 크기를 조정해야 한다.
이를 위해 먼저 시계 방향 회전 행렬을 사용하여 이동 행렬을 계산한다. 두 번째로, 이 이동 행렬은 Factor를 사용하여 도(degree)로 변환되는데, Factor=(180/π)×지구 반경(6378137 미터)이다. 마지막으로, ΔLat 및 ΔLong은 시드 값(이전 위도/경도)에 누적된다. 첫 번째 샘플의 경우, 시드 값은 궤적 시작점의 위도/경도이다. 시작점은 GPS를 통한 현재 위치에 따라 결정된다. 이동 행렬은 다음과 같이 계산된다.
Figure 112019099543194-pat00040
Figure 112019099543194-pat00041
4개의 연속 이미지가 도 5에 도시되어 있으며, 각각의 이미지, 즉, 도 5(b, e, h, k)는 이전의 이미지인 도 5(a, d, g, j)와 정합되어, 도 5(c, f, i, l)에 표시된 쿼드 트리 분해를 통한 픽셀 이동이 획득된다. 도 5(a, d, g, j)의 이미지를 알려진 위치의 초기 지점을 고려하면, 다음 이미지들인, 도 5(b, e, h, k)를 위해, 도 5(a, d, g, j)에 주어진 이미지는 위도 및 경도 거리를 계산하는 데 사용된다. 각 연속 이미지인 도 5(b, e, h k)는 새 이미지의 위도 및 경도 계산에 각각 사용된다. 방향은 도움말 나침반과 함께 향하는 각도를 사용하여 계산되며 거리(위도 및 경도)는 수학식 18 및 19를 사용하여 계산된다.
실시간 실험 결과
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 주요 목표는 GPS 거부 환경에서 정확한 위치를 제공하는 내비게이션 시스템을 구축하는 것이다. 이를 위해 차량에 480x640 해상도의 카메라를 장착하여 주간 실험과 맑은 날씨 조건에서 실시간 실험을 수행하였다.
자율 내비게이션 시스템에 사용되는 일반적인 관행은 GPS에서 추출된 초기 위치 데이터를 사용하는 것이다. 내비게이션을 시작하기 전에 차량의 초기 포지셔닝을 위해 GPS 데이터가 제공되어 차량의 위치를 결정한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 여행을 시작한 지점부터 첫 번째 위치만 있으면 되며 GPS 또는 INS 시스템이 없어도 경로를 따라 목적지까지 자율적으로 이동하는 동안 다음 내비게이션 지점을 결정한다. 실제 환경에서는 비전 센서를 통해 캡처된 이미지에 노이즈로 인해 정보가 적을 수 있다. 이러한 낮은 정보 함량은 잘못된 위상 상관을 초래할 수 있다. 이와 관련하여 엔트로피는 중요한 역할을 하며, 정보가 없거나 정보가 제한된 이들 부분들에 근사값이 할당된다. 최소 제곱 텐서 근사 동안, 낮은 정보 특징을 갖는 이미지는 더 많은 정보 특징을 갖는 이미지에 비해, 크게 기여하지 않는다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 견고성을 실시간으로 평가하기 위해, 실험이 하드웨어에서 실행되는데, 두 이미지 간의 이동을 찾기 위하여 두 이미지가 시스템에 제공된다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에서, 실험 동안, 카메라의 캡처 프레임 레이트는 초당 28 프레임에서 초당 15 프레임으로 감소되어, 프레임 처리를 위한 계산 복잡성을 향상시킨다. 마찬가지로, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 주어진 바와 같이 위도 및 경도를 결정하기 위해 상관 단계을 위해 입력되는 2개의 프레임이 고려된다. 이전 프레임의 처리 후, 새로운 입력 프레임이 추가 처리를 위해 선택된다. 이 과정은 전체 내비게이션 경로의 커버리지까지 계속된다. 각 결과에 대한 계산 시간은 프레임 수에 관계없이 약 900ms가 소요되는데, 카메라에서 데이터를 수집하고, 전처리, 이미지 상관 및 사후 처리를 통해 픽셀 이동을 위치 데이터로 변환한다. 고급 디지털 신호 프로세서(DSP)를 통합함으로써 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 성능을 향상시킬 수 있다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 GPS 또는 마지막으로 보고된 위치에서 초기 또는 시작 위치를 취한다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 경우, GPS 장치를 사용하여 시작점의 초기 위도 및 경도 값만 제공되며, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 드라이브 동안 각각의 이미지의 위도 및 경도 값을 계산한다. 이미지의 픽셀 이동을 사용하여 커버된 거리가 계산된다. 유사하게, 차량의 방향은 차량이 향하는 방향에 의해 발견되며, 이는 또한 거리를 따라 그리고 거리를 가로 질러 보상하는데 추가로 사용된다.
도 6은 2개의 변위된 이미지들, 즉, 서로 다른 수준의 쿼드 트리 분해에서 참조 이미지 (도 6(a, e, i))와 쉬프트된 이미지 (도 6(b, f, j))에 적용된 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 적용 예를 보여준다.
디스플레이 목적으로 피크는 도 6(c, g, k)의 2D 플롯과 도 6(d, h, l)의 3D 플롯 (3D 플롯에서 X축 및 Y축은 픽셀 위치를 나타내고 Z축은 시프트 변환을 나타낸다)에서 도시되었다. 위상 상관법은 각각 도 6(d, h, l)에 도시된 바와 같이 정합 시점에서 현저한 예리한 피크를 제공한다.
실험 동안, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 도 7(a, b)와 도 7(e, f)에서와 같이 최소 특징(즉, 낮은 텍스처 패치)으로 이미지를 정합할 수 있다는 것이 관찰되었다. 즉, 레이어 2와 레이어 3은 최소한의 특징으로 상관 피크를 제공한다. 이것은 엔트로피가 추가된 텐서 근사와 함께 사용될 때 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 위상 상관 기술의 특성으로 인해 현저하게 나타난다.
화이트닝(whitening) 형태의 정규화에 의한 신호의 향상은 두 번째 중요한 특성으로, 노이즈, 예를 들어, 균일한 조명 편차, 일반적인 강도의 오프셋 및 교정 오류가 큰 이미지에 대해 위상 상관이 현저하게 강력하다. 이 속성은 또한 위상 상관을 다른 스펙트럼 대역의 이미지 정합에 적합하게 만든다. 쿼드 트리의 각 레벨에서 패치의 해상도는 데시메이션과 일관되게 결합된 Savitzky-Golay 근사를 통해 줄어든다. 반면, 계산 속도가 더 높은 정도의 데시메이션을 사용하여 달성될 수 있기 때문에, 데시메이션 비율은 신중하게 선택되어야 한다. 그러나 이것은 전역 정합이 가능하도록 확률적 패턴에 대해 유지되어야 하는 충분한 국부적인 정보가 필요하다. 개별 패치에 대해 수정된 FFT(Fast Fourier Transform) 기반 정규화된 위상 상관을 통해 각 계층에서 정합이 수행된다. 정규화된 위상 상관을 계산하기 전에 패치는 낮은 정도의 그람 다항식 기저의 직교 성분에 투영된다.
두 개의 연속 프레임 간의 정확한 픽셀 이동을 계산하는 경우 자율 내비게이션 시스템은 정확하고 강력하다는 것이 입증되었다. 두 개의 연속 이미지 간의 픽셀 이동은 미터로 스케일링된 다음 위도 경도로 스케일링된다. 결과적으로, 데이터의 주된 주기적인 부분이 제거되어 깁스 오차가 크게 줄어든다.
도 8은 거리 맵으로서 공식화된 전체 이동(시프트)을 도시한 것으로, 이는 3D에서 쿼드 트리 층의 각 노드에서 유클리드 거리를 사용하여 이동 통찰력을 제공한다. 도 8에 주어진 왜곡 맵은 두 이미지 간의 실제 이동으로, 두 샘플 간의 차량에 의해 도로를 따른 그리고 도로를 가로 지르는 거리를 결정한다. X축은 횡단 방향의 차량의 움직임을 나타내는 픽셀 인덱스를 나타내고, Y축은 길이 방향의 차량의 움직임을 나타내는 픽셀 인덱스를 나타낸다. Z축은 피크 값의 강도를 나타내지만 Z축의 값이 높을수록 더 정확한 상관 결과를 얻을 수 있다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에서 단일 피크를 찾았는데, 반면에 공간 영역 상관에서는 더 많은 피크를 가지는데, 실제 피크를 찾는 것은 어려운 과정이다.
도 9a는 픽셀 이동을 도시한 것이고, 도 9b는 거리 맵으로서 공식화된 전체 피크를 도시하며, 이는 3D 플롯에서 각 층 및 그 서브 이미지 레벨에서의 이동에 대한 통찰력을 제공한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 의해 계산된 결과는 도 10a에 도시된 것과 동일한 스케일을 사용하여 GPS와 비교하여 도시된다. 빨간색 선은 GPS 경로를 나타내고 파란색 선은 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에 의한 시각적 거리계 경로를 나타낸다. 획득된 결과는 GPS 결과와 상당히 비슷하다는 것을 알 수 있다. 광범위한 테스트를 통해 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 대체 방법으로서 GPS 거부 환경에서 효율성이 입증되었다. 이러한 적용은 유망한 결과를 제공하기 위해 이미지와 함께 센서 세부 정보(롤, 피치 및 헤딩)와 카메라의 고유 매개 변수만 필요하다. GPS와 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법 사이의 오차도는 도 10b에 도시되어 있으며, 도 10a에 도시된 바와 같이 차량이 따르는 궤도를 고려한다. 시스템이 여정을 시작할 때, 두 가지 유형의 데이터 로그가 있다. 하나는 GPS 장치로부터의 데이터를 사용한 위치 측정이고, 두 번째는 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법을 사용한 위치 추정이다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 GPS에서 첫 번째 위치만 취한 다음 나머지 위치 측정을 자체적으로 실행한다.
실험 중에 GPS 기반 시스템이 노이즈를 얻을 수 있는 반면, 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 지터없이 정확한 위치 값을 제공한다는 것이 관찰되었다. 실험하는 동안, 오차도에 주어진 GPS와 VO 사이에 최대 9m의 오차가 관찰된다. 이 오차는 기본적으로 테스트 드라이브 중 GPS 위치 점프로 인해 발생한다. 그렇지 않으면 내비게이션 중에 본 발명의 방법으로 부드럽고 정확한 위치가 생성된다. 이것은 GPS와 VO를 결합하여 통합 솔루션을 얻을 수 있음을 보여준다. 경우에 따라 GPS를 사용할 수 없거나 잘못된 결과를 제공하는 경우 VO는 어떤 위치를 사용할 수 없는 동안 시스템을 지원한다.
본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법에서는 고전적인 기술이 스마트 시티에서 적절한 솔루션을 제공하지 못하는 복잡한 도시 환경에서 내비게이션을 위한 비전 기반 센서를 활용하는 방법을 제공한다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 최소 자원을 활용하여 일반적인 고가의 방식에 비해 정확한 결과를 제공한다. 본 발명의 방법은 특징이 없는 상관이라 할 수 있는데, 즉, 다른 특징들을 다루는 다른 많은 방법들과는 달리 시각적 데이터(이미지)만이 사용되고 그 스펙트럼 특성은 이용된다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법은 많은 피크를 나타내는 대신에, 정합할 두 이미지의 실제 움직임을 나타내는 단일 피크를 제공한다. 본 발명의 일 실시예에 의한 비전 센서에 기반한 차량 내비게이션 방법의 흥미로운 측면은 개발을 위해 MATLAB을 사용하는 처리 시간이며, 실행 시간은 이미지 정합을 위해 이미지 당 1초 미만이다. 그람 다항식 기저 함수를 도입하면 깁스 오차 문제가 제거되어 결과가 더욱 향상된다. 유사하게, 엔트로피 기반 텐서 근사화는 강한 이미지 정합, 즉 텍스처가 적은 이미지, 예를 들어 사막 지역도 정합할 수 있다. 제안된 기술은 또한 서브 픽셀 정합을 고려함으로써 효율을 향상시키기 위하여 저해상도 이미지에 사용될 수 있다. 따라서, 서브 픽셀 도메인에서의 정합은 특히 저해상도 이미지에서 더 나은 결과가 나온다는 결론을 내릴 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
300 : 비전 센서
302 : 제어부
304 : 디스플레이
306 : 메모리

Claims (6)

  1. 차량 외부의 한 쌍의 시간적으로 차이가 있는 연속 이미지를 획득하는 단계;
    수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계;
    상기 정합 결과에 기반하여 상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계; 및
    상기 픽셀 변위에 기반하여 위도 및 경도를 계산하여 차량의 현재 위치를 갱신하는 단계를 포함하고,
    상기 연속 이미지를 획득하는 단계는,
    차량에 장착된 비전 센서를 이용하여 한 쌍의 연속 이미지를 획득하는 단계;
    왜곡 성분이 적은 이미지 내부의 고정 경계 영역을 선택하기 위하여 상기 한 쌍의 연속 이미지 각각을 쿼드-트리(quad tree) 분해 방법을 이용하여 복수의 쿼드 트리 이미지 패치들로 분해하는 단계; 및
    상기 한 쌍의 연속 이미지 각각에 대한 쿼드 트리 이미지 패치들을 데시메이션하는 단계를 포함하고,
    상기 한 쌍의 연속 이미지 간의 픽셀 변위를 계산하는 단계는 상기 한 쌍의 연속 이미지 각각의 데시메이션된 이미지 패치들 간의 픽셀 변위를 계산하는 단계를 포함하며,
    상기 각각의 쿼드 트리 이미지 패치(D)를 데시메이션하는 단계는 수학식 7에 기반하여 스펙트럼 Spg를 획득하는 단계를 포함하고,
    [수학식 7]
    Figure 112021001180513-pat00064

    Fx와 Fy는 각각 x 방향과 y 방향에 대한 푸리에 기저 함수를 포함하는 행렬이고, T는 전치(transpose) 연산자를 나타내며,
    Dpg는 수학식 5에 기반하여 획득되고,
    [수학식 5]
    Figure 112021001180513-pat00065

    Gx 및 Gy의 열(column)은 각각 x 방향 및 y 방향에 대한 그람 기저 함수를 포함하는, 비전 센서에 기반한 차량 내비게이션 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 그람 기저 함수(
    Figure 112021001180513-pat00044
    )는, 수학식 6에 의해 주어지고,
    [수학식 6]
    Figure 112021001180513-pat00045
    ,
    상기에서
    Figure 112021001180513-pat00046
    이며,
    Figure 112021001180513-pat00047
    ,
    Figure 112021001180513-pat00048
    ,
    Figure 112021001180513-pat00049
    이고,
    Figure 112021001180513-pat00050
    이며, n<m이고, 상기 수학식 6에서 x는 [-1,1] 범위 내의 값이며, n은 1 이상인 소정의 정수인, 비전 센서에 기반한 차량 내비게이션 방법.
  4. 청구항 3에 있어서,
    상기 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계 이전에,
    상기 쿼드 트리 이미지 패치들에서 특징이 없는 부분에 근사값을 제공하기 위하여, 상기 쿼드 트리 이미지 패치들(D) 각각을 [수학식 10]에 기반하여 재구성하여 재구성된 이미지 패치의 스펙트럼(S)을 획득하는 단계를 포함하는, 비전 센서에 기반한 차량 내비게이션 방법.
    [수학식 10]
    Figure 112021001180513-pat00051
    .
  5. 청구항 4에 있어서,
    상기 수정된 정규화된 위상 상관을 이용하여 상기 한 쌍의 연속 이미지를 정합하는 단계는 수학식 12에 기반하여 표면 P(n)을 획득하는 단계를 포함하고,
    [수학식 12]
    Figure 112019099543194-pat00052

    IFFT는 역 고속 푸리에 변환을 나타내며, M(w) 및 R(w)는 각각 상기 한 쌍의 연속 이미지에 대한 수정된 이미지 패치들의 2D 푸리에 스펙트럼이고,
    상기 수정된 이미지 패치들의 2D 푸리에 스펙트럼은, 상기 이미지 패치들의 2D 푸리에 스펙트럼을 차수가 1인 그람 다항식의 직교 보수에 투영함으로써 획득되며,
    상기 픽셀 변위는 상기 표면 P(n)에서 피크의 위치에 의해 획득되는, 비전 센서에 기반한 차량 내비게이션 방법.
  6. 청구항 1에 있어서,
    상기 차량 외부의 한 쌍의 연속 이미지를 획득하는 단계 이후에,
    상기 한 쌍의 연속 이미지에 수학식 1을 적용하여 정규화된 이미지(N(x, y))를 획득하는 단계를 더 포함하는, 비전 센서에 기반한 차량 내비게이션 방법.
    [수학식 1]
    Figure 112019099543194-pat00053

    I(x, y)는 입력 이미지, μI는 I(x, y)의 로컬 평균, σI는 로컬 표준 편차임.
KR1020190120361A 2019-09-30 2019-09-30 비전 센서에 기반한 차량 내비게이션 방법 KR102275168B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190120361A KR102275168B1 (ko) 2019-09-30 2019-09-30 비전 센서에 기반한 차량 내비게이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190120361A KR102275168B1 (ko) 2019-09-30 2019-09-30 비전 센서에 기반한 차량 내비게이션 방법

Publications (2)

Publication Number Publication Date
KR20210037893A KR20210037893A (ko) 2021-04-07
KR102275168B1 true KR102275168B1 (ko) 2021-07-07

Family

ID=75469826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120361A KR102275168B1 (ko) 2019-09-30 2019-09-30 비전 센서에 기반한 차량 내비게이션 방법

Country Status (1)

Country Link
KR (1) KR102275168B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101096113B1 (ko) 2009-05-26 2011-12-30 한국교통연구원 신뢰도가 향상된 항법 시스템 및 그 제공방법
CA2810897C (en) * 2010-10-05 2015-11-24 General Instrument Corporation Method and apparatus for feature based video coding
KR102558736B1 (ko) * 2015-06-30 2023-07-25 삼성전자주식회사 지문 인식 방법 및 장치

Also Published As

Publication number Publication date
KR20210037893A (ko) 2021-04-07

Similar Documents

Publication Publication Date Title
US9989969B2 (en) Visual localization within LIDAR maps
CN108369420B (zh) 用于自主定位的设备和方法
Wolcott et al. Visual localization within lidar maps for automated urban driving
CN105300403B (zh) 一种基于双目视觉的车辆里程计算法
CN107796391A (zh) 一种捷联惯性导航系统/视觉里程计组合导航方法
Oh et al. Automated bias-compensation of rational polynomial coefficients of high resolution satellite imagery based on topographic maps
Badshah et al. Vehicle navigation in GPS denied environment for smart cities using vision sensors
US20100110412A1 (en) Systems and methods for localization and mapping using landmarks detected by a measurement device
JP5286653B2 (ja) 静止物地図生成装置
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
JP2012118666A (ja) 三次元地図自動生成装置
US11367213B2 (en) Method and apparatus with location estimation
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
US20200279395A1 (en) Method and system for enhanced sensing capabilities for vehicles
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
CN106153041B (zh) 一种基于多景深信息的视觉里程计测速方法
CN114693754A (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
Dimitrievski et al. Robust matching of occupancy maps for odometry in autonomous vehicles
CN115900712A (zh) 一种信源可信度评价组合定位方法
Khoshelham et al. Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry
US11372115B2 (en) Vehicle localization
KR102275168B1 (ko) 비전 센서에 기반한 차량 내비게이션 방법
Sim et al. Localization based on DEM matching using multiple aerial image pairs
CN115457022A (zh) 基于实景三维模型正视影像的三维形变检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant