KR101913168B1

KR101913168B1 - 에고모션 추정 시스템 및 방법

Info

Publication number: KR101913168B1
Application number: KR1020120099846A
Authority: KR
Inventors: 짱 양쿤; 홍 추양; 노르만 웨이리히
Original assignee: 하만 인터내셔날 (차이나) 홀딩스 씨오., 엘티디.
Priority date: 2011-09-16
Filing date: 2012-09-10
Publication date: 2018-10-30
Also published as: KR20130030208A; EP2570993B1; US8903127B2; JP6126809B2; EP2570993A2; CN102999919A; US20130070962A1; CN102999919B; EP2570993A3; JP2013065298A

Abstract

에고모션 추정 시스템을 사용하여 에고모션 파라미터를 결정하기 위한 컴퓨터-구현 방법이 제공된다. 제 1 이미지 프레임 및 제 2 이미지 프레임이 얻어진다. 각각 제 1 서브-이미지 및 제 2 서브-이미지를 얻기 위해 제 1 이미지 프레임의 제 1 부분 및 제 2 이미지 프레임의 제 2 부분이 선택된다. 각각 제 1 원근 이미지 및 제 2 원근 이미지를 얻기 위해 제 1 서브-이미지 및 제 2 서브-이미지에 대해 변환이 수행된다. 복수의 조절된 원근 이미지들을 얻기 위해 제 2 원근 이미지가 반복적으로 조절된다. 제 1 원근 이미지와 복수의 조절된 원근 이미지들 간에 각각의 차이에 각각 대응하는 복수의 차이 값들이 결정된다. 에고모션 파라미터에 대한 병진 벡터가 결정된다. 병진 벡터는 복수의 차이 값들에서 차이 값들 중 하나에 대응한다.

Description

에고모션 추정 시스템 및 방법{EGOMOTION ESTIMATION SYSTEM AND METHOD}

이 발명은 에고모션(egomotion)에 관한 것으로, 특히 카메라에 대한 움직임 파라미터를 추정하는 것에 관한 것이다.

에고모션은 환경 내에서 카메라의 3차원 이동을 지칭한다. 에고모션 추정은 환경내에서 카메라의 이동을 카메라에 의해 캡처된 일련의 이미지들에 기초하여 추정하는 것을 지칭한다. 에고모션 추정은 컴퓨터 비전의 분야에서, 특히 3차원 장면들을 이해하고 재구성하는데 있어 중요한 작업이다. 장면 이해 및 재구성은 예를 들면, 차량들 및 자기-안내 로봇들과 같은 이동기계들의 컴퓨터 비전-기반의 동작에 중요하다.

장면을 이해 또는 재구성하기 위해서, 장면의 이미지 프레임들을 분할하기 위해 컴퓨터 비전 기술들이 채용될 수 있다. 그러나, 이미지 분할은 카메라가 이동하고 있을 땐 어려운 작업이 될 수 있다. 이미지 분할 기술들은 카메라의 이동을 고려해야 하는데, 이것은 예비 단계로서 에고모션을 추정함으로써 달성될 수 있다.

한 공지된 에고모션 추정 수법은 일련의 이미지 프레임들에서 특징점들을 인식하고, 추적하고, 대조한다. 그러나, 특징 추적은 처리하기에 계산적으로 비용이 많이 들 수 있다.

또 다른 공지된 에고모션 추정 수법은 예를 들면, 노면 상에 차선 표시 또는 텍스트와 같은 이미지 프레임 내 랜드마크들에 의존한다.그러나, 실제로, 노면 상에 눈에 띄는 랜드마크들은 항시 가용하지 않을 수 있다.

에고모션을 추정하기 위한 추가의 기술은 스테레오 비전을 사용한다. 이 기술은 환경의 이미지 프레임들을 얻기 위해 적어도 2개의 카메라들을 사용한다. 결국, 스테레오 비전 수법은 에고모션 추정의 하드웨어 비용을 증가시킨다.

에고모션을 추정하기 위한 정확하고, 빠르고, 계산적으로 저렴한 수법에 대한 필요성이 존재한다.

또한, 에고모션 파라미터를 결정하는 시스템이 제공된다. 이미지 처리 모듈은 제 1 이미지 프레임 및 제 2 이미지 프레임을 수신한다. 이미지 분할 모듈은 각각 제 1 서브-이미지 및 제 2 서브-이미지를 얻기 위해 제 1 이미지 프레임의 제 1 부분 및 제 2 이미지 프레임의 제 2 부분을 선택한다. 이미지 변환 모듈은 각각 제 1 원근 이미지 및 제 2 원근 이미지를 얻기 위해 제 1 서브-이미지 및 제 2 서브-이미지에 대해 각각의 변환들을 수행한다. 움직임 보상 모듈은 조절된 원근 이미지를 얻기 위해 제 2 원근 이미지를 조절한다. 이미지 차이 모듈은 제 1 원근 이미지와 조절된 원근 이미지 간에 차이에 대응하는 차이 값을 결정한다. 에고모션 파라미터 결정 모듈은 제 1 원근 이미지와 복수의 조절된 원근 이미지들 간에 각각의 차이에 각각 대응하는 복수의 차이 값들을 반복적으로 얻는다. 에고모션 파라미터 결정 모듈은 에고모션 파라미터에 대한 병진 벡터를 결정한다. 병진 벡터는 복수의 차이 값들 중 하나에 대응한다.

발명은 다음 도면들을 참조함으로써 더 잘 이해될 수 있다. 도면들에서 성분들은 반드시 축척에 맞는 것은 아니지만 대신에 발명의 원리를 예시할 때 강조될 수 있다. 도면들에서, 도면들 전체에 걸쳐 동일 참조부호는 대응하는 구성요소들을 지칭한다.

도 1은 에고모션 추정 시스템의 구현예이다.
도 2는 이미지 프레임 쌍의 예이다.
도 3은 도 2의 예시적인 이미지 프레임 쌍에 대한 각각의 탑뷰 원근 이미지들이다.
도 4는 움직임 보상이 수행되지 않은 도 3의 탑뷰 원근 이미지들에 대한 차이 이미지이다.
도 5는 움직임 보상이 수행된 도 3의 탑뷰 원근 이미지들에 대한 차이 이미지이다.
도 6은 에고모션 파라미터를 결정하기 위한 예시적인 방법 단계들의 흐름도이다.

기술되는 시스템 및 방법은 카메라를 위한 에고모션 파라미터를 결정하기 위해 사용될 수 있다. 시스템 및 방법은 차량에 장착된 카메라의 맥락의 예에 의해 기술될 것이며, 카메라는 차량의 이동 경로를 묘사하는 이미지 프레임들을 캡처한다. 그러나, 본원에서 교시하는 바는 비교적 느린 속도들로 이동하는 임의의 카메라가 장치된 이동기계(예를 들면, 차량들, 이동 로봇들, 등)에 적용될 수 있음이 이해될 것이다. 도시된 예에서, 이동의 비교적 느린 속도들은 대략 시간당 10 ~ 20 킬로미터(km/h) 또는 대략 시간당 6.2 ~ 12.4 마일(mph)일 수 있다.

에고모션 파라미터는 카메라의 주행 거리 및 방향, 즉 얼마나 멀리 그리고 어떤 방향으로 이동의 수평 및 수직 경로를 지칭한다. 이동의 수평 및 수직 경로는 각각 x-축 및 y-축에 대응할 수 있다. 따라서, 이 예에서, 에고모션 파라미터는 수평 성분(t_x) 및 수직 성분(t_y)을 포함하는 병진 벡터(t_x, t_y)를 포함한다. 수평 성분(t_x) 및 수직 성분(t_y)은 각각 수평 x-축 및 수직 y-축을 따른 병진(이미지 화소들에서)을 정의한다. 또한, 에고모션 파라미터는 회전각도 θ을 포함할 수 있다. 에고모션 파라미터는 예를 들면, 카메라-이용 차량 내비게이션(예를 들면, 주차, 백킹업, 장애물 검출), 자기-안내 로봇 내비게이션, 자세 추정, 및 3차원 장면 재구성과 같은 컴퓨터 비전 응용들에서 예비 단계로서 추정될 수 있다.

일반적으로 그리고 이하 상세히 논의되는 바와 같이, 에고모션 추정 시스템은 카메라에 의해 캡처된 이미지 프레임들 간에 차이들을 비교함으로써 동작한다. 카메라-장착 차량에 있어서, 예를 들면, 에고모션 추정 시스템은 움직임 파라미터를 결정하기 위해서 차량의 경로를 묘사하는 일련의 이미지 프레임들 내 2개의 이미지 프레임들 간에 차이들을 비교한다. 이 예에서, 에고모션 추정 시스템은 시스템을 예를 들면, 그래픽 처리 장치들(GPUs) 및 필드 프로그래머블 게이트 어레이들(FPGAs)과 같은 전용 하드웨어를 사용하여 구현하는데 적합하게 하는 비교적 간단한 산술 연산들 -특히 가산 및 감산- 을 사용하여 이미지들을 처리한다. 이들과 같은 전용 하드웨어를 사용하는 구현들에서, 움직임 파라미터를 결정하기 위해 이미지들을 처리하는 것은 비교적 빠를 수 있다.

도 1을 참조하면, 에고모션 추정 시스템(100)의 구현예가 도시되었다. 도시된 예에서 에고모션 추정 시스템(100)은 이미지 캡처 장치(102) 및 출력 장치(104)와 신호로 통신한다. 이미지 캡처 장치(102)는 에고모션 파라미터를 결정하기 위해서 처리를 위해 이미지 프레임들을 에고모션 추정 시스템(100)에 전송할 수 있다. 출력 장치(104)는 예를 들면, 에고모션 파라미터를 사용자에게 디스플레이하는 디스플레이 장치이거나, 혹은 대안적으로, 일부 응용(예를 들면, 이동기계의 제어된 동작을 위해 에고모션 파라미터를 사용하는 구동 제어 시스템)에서 에고모션 파라미터를 사용하는 또 다른 시스템일 수 있다.

에고모션 추정 시스템(100)은 움직임 파라미터를 결정하기 위해 이미지 캡처 장치(102)에 의해 캡처된 한 쌍의 이미지 프레임들을 처리할 수 있다. 이미지 캡처 장치(102)는 소정의 프레임 레이트, 예를 들면, 초당 30 프레임(fps)으로 이미지 프레임들을 캡처 할 수 있다. 30 fps에서, 연속된 이미지 프레임들간 시간 간격은 대략 0.06초: 2 프레임 ÷ 초당 30 프레임

0.06s이다. 이 예에서 에고모션 추정 시스템(100)은 비교적 느린 속도(10 ~ 20 km/h)로 이동하는 이미지 캡처 장치(102)에 대한 에고모션 파라미터를 결정하기 때문에, 에고모션 추정 시스템은 예를 들면, 20 km/h의 최대 속도와 같이 이동기계에 대한 소정의 최대 속도를 가정할 수 있다. 가정된 최대 속도 및 이미지 프레임들간 시간에 기초하여, 에고모션 추정 시스템(100)은 이동기계가 연속적 이미지 프레임들간에 주행할 수 있는 최대 거리(화소들로)을 결정할 수 있다.

예를 들면, 이미지 캡처 장치들(102)이 30 fps로 동작하여 연속적인 이미지 프레임들 사이가 대략 0.06s이 되게 하고 최대 속도가 20km/h인 것으로 가정된다면, 이동기계가 연속된 이미지 프레임들 간에 주행할 수 있는 최대 거리는 대략 0.3333 미터(m): (20 km/h ÷ 3600 s) x 0.06 s x 1000 m

0.3333 m이다.

일부 구현들에서, 에고모션 추정 시스템(100)은 매 이미지 프레임을 처리하지 않으며, 처리를 위해 선택된 프레임들은 소정의 이미지 프레임 간격에 의존할 수 있다. 예를 들면, 이미지 프레임 간격이 10으로 설정된다면, 에고모션 추정 시스템(100)은 이미지 프레임들 [1, 10]을 제 1 쌍으로서 선택하고, 이미지 프레임들 [10, 20]을 제 2 쌍으로서 선택하고, 등등하여 처리하기 위해 이미지 프레임들 [1, 10, 20, 30,...]을 선택할 수 있다. 이외 다른 이미지 프레임 간격들이 선택적으로 채용될 수도 있다.

따라서, 에고모션 추정 시스템(100)은 이미지 캡처 장치(102)가 한 선택된 이미지 프레임과 후속하여 선택된 이미지 프레임 사이에 주행할 수 있는 최대 거리를 프레임 간격과 그리고 연속된 이미지 프레임들 간 최대 거리에 기초하여 결정할 수 있다. 위에 예 -가정된 최대 속도를 20km/h로 하여 이미지 프레임 간격이 30 fps에서 10개가 캡처되는 것으로 설정한- 을 사용하면, 선택된 이미지 프레임들 간 최대 거리는 대략 3.333 m: 10 x 0.3333 m

3.333m이다. 이에 따라, 이미지 프레임 쌍 간 최대 거리는 최대 수평 성분(T_x) 및 최대 수직 성분(T_y)을 포함하는 최대 병진 벡터(T_x, T_y)에 대응할 수 있다. 최대 수평 및 수직 성분들(T_x, T_y)는 이동기계가 각각 선택된 이미지 프레임들 간에 수평축 및 수직축을 따라 주행할 수 있는 최대 거리를 나타낸다(화소들로). 이 예에서, 에고모션 추정 시스템(100)은 이하 상세히 설명되는 바와 같이 에고모션 파라미터를 결정하기 위해 최대 병진 벡터에 의존한다.

도 1에 도시된 에고모션 추정 시스템(100)은 에고모션 파라미터를 결정하기 위한 다양한 모듈들로서, 이미지 캡처 장치로부터 수신한 이미지 프레임들을 처리하기 위한 이미지 처리 모듈(106), 처리된 이미지들에 기초하여 에고모션 파라미터를 결정하기 위한 에고모션 파라미터 결정 모듈(108), 및 이미지 프레임들을 처리하고 에고모션 파라미터를 결정하는 것에 관계된 명령들을 실행하기 위한 하나 이상의 처리장치들(112)을 구비한 처리 모듈(110)을 포함한다. 또한, 도 1의 에고모션 추정 시스템(100)은 예를 들면, 에고모션 파라미터에 관계된 이미지 프레임들 및 데이터를 저장하기 위한 메모리 장치와 같은 다른 보충 하드웨어(도시되지 않음)를 포함할 수 있다.

이 예에서, 이미지 처리 모듈(106)은 이미지 캡처 장치로부터 수신된 이미지 프레임들을 처리하기 위한 다양한 모듈들을 포함한다. 이 예에서, 이미지 처리 모듈(106)은 이미지들 프레임들을 각각의 서브-이미지들로 분할하기 위한 이미지 분할 모듈(114); 서브-이미지들에 투영 변환들을 수행하여 원근 이미지들을 얻기 위한 이미지 변환 모듈(116); 이미지 캡처 장치의 이동을 보상하기 위해 원근 이미지들에 기하학적 병진들을 수행하기 위한 움직임 보상 모듈(118); 및 원근 이미지들 간에 차이를 계산하기 위한 이미지 차이 모듈(120)을 포함한다.

이미지 처리 모듈(106)은 한 쌍의 선택된 이미지 프레임들을 처리한다. 이미지 프레임들의 분석에 기초하여, 에고모션 추정 시스템(100)은 에고모션 파라미터를 결정할 수 있다. 도 2는 선택된 이미지 프레임 쌍(122)의 예를 도시한 것이다. 2개의 선택된 이미지 프레임들(124, 126)은 이미지 캡처 장치(102)가 장착된 차량 의 이동경로를 묘사한다. 이미지 캡처 장치(102)는 차량이 이동하고 있는 동안 도 2에 도시된 예시적인 이미지 프레임들(124, 126)을 캡처하였다. 차량은 이미지 프레임들(124, 126)이 캡처되고 있는 동안 이동하고 있었기 때문에, 후속되는 이미지 프레임(126) 내 대상들은 이전의 이미지 프레임(124)에서 이들의 위치를 기준으로 약간 변위된다. 이 예에서, 에고모션 추정 시스템(100)은 이하 상세히 논의되는 바와 같이 에고모션 파라미터를 결정할 때 이미지 프레임들 간에 변위 대상들에 의존한다.

도 1에 이미지 분할 모듈(114)은 이미지 프레임들을 분할한다(또는 나눈다). 이어서, 이미지 분할 모듈(114)는 각 이미지 프레임의 한 부분을 서브-이미지로서 선택한다. 예를 들면, 이미지 분할 모듈(114)은 이미지 프레임을 도 2에 예로서 도시된 바와 같이 상측 서브-이미지(124a, 126a) 및 하측 서브-이미지(124b, 126b)로 분할할 수 있다. 이 예에서, 가장 많은 노면을 갖는 서브-이미지는 관련 서브-이미지로서 지정되고, 후속되는 이미지 처리가 관련 서브-이미지들에 수행된다. 전형적으로, 하측 서브-이미지는 가장 많은 노면을 포함할 것이며 관련 서브-이미지로서 지정될 것이다. 도 2에서 알 수 있는 바와 같이, 예시된 이미지 프레임들(124, 126)는 각각의 상측 서브-이미지들(124a, 126a) 및 하측 서브-이미지들(124b, 126b)로 분할되었으며, 각 하측 서브-이미지는 가장 많은 노면를 포함한다. 따라서, 이 예에서 하측 서브-이미지들(124b, 126b)은 관련 서브-이미지들로서 선택될 수 있다.

이미지 변환 모듈(116)은 관련 서브-이미지들의 각각에 원근 변환을 수행한다. 원근 변환은 관련 서브-이미지들(124, 126)의 각각에 대해 각각의 탑뷰 원근 이미지들을 생성한다. 도 3을 참조하면, 각각 도 2에 도시된 관련 서브-이미지들(124b, 126b)에 대응하는 2개의 탑뷰 원근 이미지들(128, 130)이 도시되었다.

호모그래피 이론에 따라, 원근 변환은 탑뷰 원근 이미지 내 대상들의 일부 -그러나 전부는 아니다- 를 변형할 것이다. 예를 들면, 원근 변환은 노면(예를 들면, 차선 표시, 페인트 제거, 텍스트, 그림자, 조명, 등)과 공면인 대상들을 변형하지 않을 수 있다. 도 3의 탑뷰 원근 이미지들에서 노면과 공면인 대상들은 그림자들(132) 및 광선들(134)을 포함한다. 반대로, 원근 변환은 공면이 아닌 대상들, 즉 노면(예를 들면, 기둥들, 폴들, 원추형 도로표지들, 나무들, 사람들, 등)에 수직하고 이로부터 봉기하는 대상들을 변형할 수 있다. 도 3의 탑뷰 원근 이미지들 내 비-공면 대상들은 원추형 도로표지(136) 및 도로의 일측 상에 관목(138)을 포함한다. 노면으로부터 봉기하는 대상들은 예를 들면, 원근 변환의 결과로서 길어질 수 있다. 또한, 카메라 이동 때문에, 원근 변환은 비-공면 대상들에 대한 변형의 정도들을 가변하게 될 수 있다. 또한, 에고모션 추정 시스템(100)은 이하 상세히 논의되는 바와 같이 에고모션 파라미터를 결정할 때 이들 호모그래픽 현상들에 의존한다.

또한, 도 1에 에고모션 추정 시스템(100)은 탑뷰 원근 이미지들 간에 차이를 계산하는 이미지 차이 모듈(120)을 포함한다. 이 예에서, 원근 이미지들은 라스터 이미지들이며, 따라서 각각이 대응하는 화소 값을 갖는 화소들의 격자로 구성된다. 차이 이미지는 한 이미지 내 화소 값들, 예를 들면, 적-녹-청(RGB) 값의 각각을 또 다른 이미지 내 대응하는 화소 값들에서 각각 감산한 결과인 이미지를 말한다. 이에 따라, 차이 이미지 내 화소들에 대한 값들은 2개의 이미지들의 대응하는 화소들 간 차이일 수 있다. 대응하는 화소들에 대한 화소 값들이 동일하다면, 화소 값들 간 결과적인 차이는 제로이며, 이것은 차이 이미지에서 흑색 화소로서 나타날 수 있다. 그러므로, 두 이미지들이 동일하다면, 두 이미지들 내 각 각각의 화소 값이 동일하여 제로의 차이 값들을 초래할 것이기 때문에 결과적인 차이 이미지는 완전히 흑색일 것이다. 그러나, 두 이미지들이 약간 다른, 차이 이미지는 두 이미지들 내 대응하는 화소들 간 차이가 비-제로이기 때문에 일부 비-흑색 화소들을 포함할 수 있다. 대응하는 화소 값들간에 비-제로 차이들이 있을 때, 차이 이미지는 비-흑색 화소들로서 아티팩트들을 포함할 수 있다.

이 예에서, 이미지 캡처 장치에 의해 캡처된 선택된 이미지 프레임들은 이미지 캡처 장치의 움직임에 기인하여 약간 다를 수 있다. 위에 언급된 바와 같이, 후속되는 이미지 프레임들 내 대상들 중 일부는 변위될 것이다. 결국, 선택된 이미지 프레임들에 대한 차이 이미지는 비-흑색 화소들로서 아티팩트들을 포함할 수 있다. 도 4에서, 도 3의 탑뷰 원근 이미지들(128, 130)에 대한 차이 이미지(140)가 도시되었다. 도 3에서 볼 수 있듯이, 대부분의 노면(142)은 차이 이미지(140)에서 흑색으로 나타난다. 도 3의 이미지 프레임들(128, 130) 내 다른 대상들은 후속 이미지 프레임 내 대상들의 변위에 기인하여 도 4의 차이 이미지에서 아티팩트들(예를 들면, 회색 화소들)이 된다. 이 예에서, 차이 이미지(140)는 도로 내 원추형 도로표지(144), 도로의 일측 상에 관목(146), 노면 상에 그림자들(148), 및 노면 상에 광선들(150)을 포함하는 공면 및 비-공면 대상들 둘 다에 대한 아티팩트들을 포함한다.

이미지들 간에 차이는 단일 값(Img_diff)으로서 정량화될 수도 있다. 두 이미지들 간 차이는 이미지 내 대응하는 화소들의 RGB 값들 간에 절대 차이의 합으로서 정량화될 수 있다. 두 이미지들로서 이미지 A 및 이미지 B에 대한 화소들 간 절대 차이는 다음과 같이 계산될 수 있다:

R_A 및 R_B는 각각 이미지 A 및 이미지 B 내 대응하는 화소들의 적색 성분들이며; G_A 및 G_B는 각각 이미지 A 및 이미지 B 내 대응하는 화소들의 녹색 성분들이며; B_A 및 B_B는 각각 이미지 A 및 이미지 B 내 대응하는 화소들의 청색 성분들이다.

각 화소 값 간 절대 차이(Px_diff)는 차이 이미지에 대한 전체 차이 값(Img_diff)을 얻기 위해 합산될 수 있다. 따라서, 두 이미지들로서 이미지 A 및 이미지 B 간 차이 이미지에 대한 전체 값은 다음과 같이 계산될 수 있다.

이 예에서에서 에고모션 추정 시스템(100)은 이미지 프레임들(및 이들의 대응하는 화소들) 내 대상들이 정렬되게 이미지 프레임들 간 이미지 캡처 장치의 이동을 보상함으로써 탑뷰 원근 이미지들 간에 차이의 량을 감소시킬 수 있다 -따라서 Img_diff 값을 감소시킬 수 있다. 이미지 캡처 장치의 움직임을 보상하고 대상들을 정렬하는 것은 탑뷰 원근 이미지들에 대한 차이 이미지 내에 아티팩트들의 량을 감소시키며 따라서 이미지들 간에 차이들을 정량화하는 차이 값(Img_diff)을 감소시킨다.

이 예에서, 에고모션 추정 시스템(100)은 이미지 캡처 장치의 이동을 보상하고 탑뷰 원근 이미지들 내 대상들을 정렬시키기 위해 탑뷰 원근 이미지들을 조절하는 움직임 보상 모듈(118)을 포함한다. 이 예에서, 움직임 보상 모듈(118)은 화소 병진 벡터(p, q)을 사용한다. 이 예에서, p는 수평 방향(x-축)으로 병진을 정의하는 수평 병진 값이며, q는 수직 방향(y-축)으로 병진을 정의하는 수직 병진 값이다. 화소 병진 벡터(p, q)을 사용하여, 움직임 보상 모듈(118)은 탑뷰 원근 이미지들 중 하나에 화소들로서 수평 방향으로 p개의 화소들과 수직 방향으로 q개의 화소들을 병진할 수 있다. 탑뷰 원근 이미지들 중 하나에 화소들의 병진은 탑뷰 원근 이미지 내 대상들의 일부를 대응하는 탑뷰 원근 이미지 내 대상들, 특히 노면에 공면인 대상들에 정렬시킬 수 있다. 이미지 캡처 장치의 움직임을 보상하는 것과 탑뷰 원근 이미지들 내 대상들 중 일부를 정렬시키는 것은 정렬된 대상들을 위에 논의된 바와 같이 차이 이미지에서 흑색이 되게 할 수 있다. 즉 대응하는 화소들 중 일부 간에 차이는 제로가 될 수 있고, 일부 아티팩트들은 그렇지 않을 수 있다.

위에 언급된 바와 같이, 탑뷰 원근 이미지들 내 대상들 중 일부 - 특히 노면으로부터 봉기하는 비-공면 대상들- 는 원근 변환의 결과로서 대상들이 받는 서로 다른 정도의 변형에 기인하여 정확히 정렬하지 않을 수 있다. 도 5를 참조하면, 움직임 보상이 수행된 탑뷰 원근 이미지들에 대한 차이 이미지(152)가 도시되었다. 도 5에서 볼 수 있듯이, 원추형 도로표지(144)에 대한 아티팩트들 및 관목(146)(둘 다 비-공면 대상들)에 대한 아티팩트들은 움직임 보상 후에도 차이 이미지에 남아 있다. 그러나, 노면에 공면인 대상들은 노면의 나머지처럼 흑색이 되고 움직임 보상을 포함하는 차이 이미지에서는 보여지지 않는다. 특히, 움직임 보상 없이 도 4의 차이 이미지(140)에서 보여진 대부분의 그림자들(148) 및 광선들(150)은 움직임 보상된 도 5에 도시된 차이 이미지(152)에서는 흑색이 된다(그리고 흑색 노면(142)에 섞인다). 이에 따라, 도 4에 움직임 보상이 없는 차이 이미지(140)를 도 5에 움직임 보상된 차이 이미지(152)와 비교는 움직임 보상이 이미지 간에 차이들을 최소화할 수 있고 움직임 보상된 차이 이미지(152)는 움직임 보상을 하지 않은 차이 이미지(140)보다 더 적은 아티팩트들을 포함하고, 결국, 더 작은 전체 차이 값(Img_diff)을 가질 것임을 보여준다. 따라서, 움직임 보상 모듈(118)은 이미지 캡처 장치(102)의 움직임을 보상함으로써 차이 값(Img_diff)을 최소화할 수 있다.

이에 따라, 최소 전체 차이 값(Img_diff)을 갖게 하는 화소 병진 벡터(p, q)에 대한 값들의 몇몇 조합이 존재하게 된다. 즉, 각각 한 세트의 이미지 프레임들에 대응하는 한 세트의 탑뷰 원근 이미지들에 대한 차이 이미지 내 아티팩트들을 최소화하는 몇몇 화소 병진 벡터가 존재한다. 최소 차이 값(Img_diff)에 대응하는 화소 병진 벡터(p, q)에 대한 값들은 이미지 프레임들 간에 이미지 캡처 장치에 의해 실제로 주행된 물리적 거리에 대응하는 화소 병진 벡터(t_x, t_y)로서 확인될 수 있다. 병진 벡터(t_x, t_y)에 대응하는 물리적 거리는 카메라(예를 들면, 촛점길이, 이미지 센서 포맷, 및 주점(principal point))의 고유의 파라미터들을 사용하여 결정될 수 있다.

그러므로, 화소 병진 벡터(p, q)에 대한 어떤 각각의 값들이 최소 차이 값(Img_diff)이 되게 하는가를 결정하기 위해서, 에고모션 추정 시스템(100)은 차량이 이미지 프레임들 간에 주행하였을 수도 있을 최대 거리를 나타내는 각각의 최대 화소 병진들(T_x, T_y)까지 p 및 q에 대한 값들을 고려한다.

근본적으로, 이 예에서, 에고모션 추정 시스템(100)은 이미지 캡처 장치가 이미지 프레임들 간에 주행하였을 수도 있을 거리를 보상하고, 각 화소 병진 벡터(p, q)에 대한 Img_diff 값을 결정하고, 어느 화소 병진 벡터(p, q)가 최소 Img_diff 값에 대응하는가를 판정하기 위해, 최대 화소 거리(T_x, T_y)까지 p 및 q에 대한 증분 값들을 사용하여 탑뷰 원근 이미지들 중 하나 내에 화소들을 반복적으로 병진함으로써, 병진 벡터(t_x, t_y)에 대한 값들을 확인하는 브루트 포스-유사(brute force-like) 수법을 사용한다. 최소 Img_diff 값에 대응하는 화소 병진 벡터(p, q)는 이미지 캡처 장치가 실제로 이미지 프레임들 간에 주행한 물리적 거리에 대응하는 병진 벡터(t_x, t_y)로서 확인될 수 있고, 이것은 이미지 캡처 장치가 주행한 실제 물리적 거리를 계산하기 위해 카메라의 고유의 파라미터들과 관련하여 사용될 수 있다.

도 1에 보인 바와 같이, 이 예에서, 에고모션 추정 시스템(100)는 에고모션 파라미터를 결정하는 에고모션 파라미터 결정 모듈(108)을 포함한다. 에고모션 파라미터 결정 모듈(108)은 위에 언급된 바와 같이, 화소 병진 벡터(p, q)에 대한 값들에 대해 반복하며, 어느 특정 화소 병진 벡터가 탑뷰 원근 이미지들에 대한 차이 값(Img_diff)을 최소화하는지를 확인하기 위해 움직임 보상 모듈(118) 및 이미지 차이 모듈(120)을 사용한다.

일 구현에서, 에고모션 파라미터 결정 모듈(108)은 예를 들면, [0, T_y]의 간격 내 q의 각 값과 [-T_x, T_x]의 간격 내 p의 각 값을 쌍으로 할 수 있다. 이 예시적 구현은 다음 네스트 루프에 의해 특징지워질 수 있다:

for (p = -T_x; p = T_x; p++)

for (q = 0; q = T_y; q++)

argmin Img_diff

그러나, 또 다른 구현예에서, 에고모션 파라미터 결정 모듈(108)은 최소 이미지 차이 값(Img_diff)에 대응하는 화소 병진 벡터(p, q)의 값들을 확인하기 위한 효율 및 처리시간을 개선하기 위해 병렬 처리를 사용할 수 있다.

이 대안적 구현예에서, 에고모션 파라미터 결정 모듈(108)은 화소 병진 벡터의 값들인 p 및 q의 각각에 대해 병렬로 반복할 수 있다. 각 반복은 예를 들면 병렬로 처리를 수행하기 위해 별도의 처리장치(112)에 의해 처리될 수 있다.

제 1 반복에 있어서, 에고모션 파라미터 결정 모듈(108)은 q의 값을 제로로 설정하고 각 화소 병진 벡터(p, q = 0)에 대한 각각의 Img_diff 값을 결정하기 위해 [-T_x, T_x]의 간격에 대해 반복적으로 p를 증분한다. 최소 Img_diff 값에 대응하는 p에 대한 값은 움직임 파라미터의 수평 성분(t_x)에 대응하는 값이다. 이 예에서, 병렬 처리 수법을 위한 이 제 1 반복은 다음 루프에 의해 특징지워질 수 있다:

for (p = -T_x, q = 0; p ≤ T_x; p++)

argmin Img_diff

제 2 반복에서, 에고모션 파라미터 결정 모듈(108)은 p의 값을 제로로 설정하고, 각 화소 병진 벡터(p = 0, q)에 대한 각각의 Img_diff 값을 판정하기 위해 [0, T_y]의 간격에 대해 반복적으로 q를 증분한다. 최소 Img_diff 값에 대응하는 q에 대한 값은 움직임 파라미터의 수직 성분(t_y)에 대응하는 값이다. 이 예에서, 병렬 처리 수법을 위한 이 제 2 반복은 다음 루프에 의해 특징지워질 수 있다:

for (p = 0, q = 0; q ≤ T_y; q++)

argmin Img_diff

이들 예들에서 알 수 있는 바와 같이, 에고모션 파라미터 결정 모듈(108)은 [-T_x, T_x]의 간격에 대해 p를 반복하고 [0, T_y]에 대해 q를 반복한다. 이것은 이미지 프레임들(도 2에서 124 및 126)에 대한 기준 프레임 및 이미지 캡처 장치(102)의 잠재적 이동에 기인한다. 위에 언급된 바와 같이, 이미지 캡처 장치(102)는 이동기계에 장착될 수 있고, 이동기계에 대한 주행경로를 묘사하는 이미지들을 캡처한다. x-y 축이 이미지 프레임을 기준으로 하여 작도된다면, 좌측으로 혹은 우측으로 이동기계의 이동은 이미지 프레임이 대응하여 수평 축선을 따라 좌측으로 혹은 우측으로 이동하게 될 것임을 알 수 있다. 즉, 수평 축을 따라 주행의 두 방향들이 있다. 그러므로, 주행된 최대 거리를 고찰할 때, 이동기계는 최대로 좌측(-T_x) 또는 우측(T_x)까지 주행할 수 있다. 따라서, 이 예에서, 에고모션 파라미터 결정 모듈(108)은 좌측 및 우측 둘 다의 수평 방향들에서, 즉 [-T_x, T_x]의 간격에서, 차이 값(Img_diff)을 최소화하는 화소 병진 벡터(p, q)를 찾는다. 반대로, 이동기계가 경로를 따라 이동할 때, 앞방향 혹은 역방향으로 단지 한 주행 방향만이 있다. 따라서, 에고모션 파라미터 결정 모듈(108)은 수직 방향을 따른 한 방향에서, 즉 [0, T_y]의 간격에서 차이 값(Img_diff)을 최소화하는 화소 병진 벡터(p, q)만을 찾는다.

각 반복은 도 1에 보인 바와 같이 각각의 개개의 처리장치들에서 병렬로 처리될 수 있다. 또한, 위에 식(1) 및 식(2)에서 볼 수 있는 바와 같이, 이 예에서, 이미지 차이 모듈(120) 및 에고모션 파라미터 결정 모듈(108)은 차이 값들(Img_diff)을 계산하기 위해 가산 및 감산 연산들을 사용한다. 결국, Img_diff 값들의 계산은 예를 들면, GPU들 및 FPGA들과 같은 비교적 빠른 가산 및 감산 연산들을 위해 설계된 전용 하드웨어를 사용하여 수행될 수 있다.

에고모션 파라미터에 대한 병진 벡터(t_x, t_y)을 얻었을 때, 에고모션 파라미터 결정 모듈(108)은 이미지 캡처 장치(102)의 이동에 기인한 회전각도 θ를 결정할 수 있다. 이 예에서, 에고모션 파라미터 결정 시스템은 아크탄젠트 역삼각함수

을 사용하여 회전각도 θ을 결정할 수 있다.

이렇게 하여, 에고모션 추정 시스템(100)은 이미지 캡처 장치(102)의 이동을 기술하는 병진 벡터(t_x, t_y), 및 회전각도 θ을 포함하는 에고모션 파라미터를 생성할 수 있다. 움직임 파라미터는 후속하여, 예를 들면, 카메라-이용 차량 내비게이션(예를 들면, 주차, 백킹업, 장애물 검출), 자기-안내 로봇 내비게이션, 자세 추정, 및 3차원 장면 재구성과 같은 다양한 응용들에서 사용될 수 있다.

이제 도 6을 참조하면, 에고모션 파라미터를 결정하기 위한 예시적인 방법 단계들의 흐름도(154)가 도시되었다. 먼저, 이미지 캡처 장치는 한 쌍의 이미지 프레임들을 캡처한다(단계(156)). 위에서 논의된 바와 같이, 이미지 프레임 간격은 어느 이미지 프레임들이 처리(예를 들면, 10의 이미지 프레임 간격)을 위해 선택되는가를 결정할 수 있다. 이미지 프레임 레이트(예를 들면, 30 fps) 및 이미지 프레임 간격(예를 들면, 10)에 기초하여, 선택된 이미지 프레임들 간 시간 간격이 결정된다(단계(158)). 예를 들면, 30 fps(연속 이미지 프레임들 간 0.06s) 및 10의 프레임 간격에서 선택된 이미지 프레임들 간 시간 간격은 대략 0.6s(0.06 s x 10

0.6 s)이다. 선택된 이미지 프레임들과 가정된 최대 속도 사이에 시간 간격에 기초하여(예를 들면 20 km/h), 이미지 캡처 장치가 선택된 이미지 프레임들 간 주행할 수 있는 최대 거리가 결정된다(단계(160)). 예를 들면, 20 km/h의 가정된 최대 속도 및 선택된 이미지 프레임들 간 0.6s의 시간 간격에서, 최대 거리는 대략 3.333m(0.6 s x 20 km/h

3.333 m)이다. 최대 병진 벡터(T_x, T_y)의 수평 및 수직 성분들은 최대 거리에 대응하는 값들로 설정될 수 있다.

이어서, 선택된 이미지 프레임들은 각각의 상측 서브-이미지들 및 하측 서브-이미지들로 분할될 수 있다(단계(162)). 이어서, 각 이미지 프레임 내 각각의 관련 서브-이미지들이 확인된다(단계(164)). 위에서 논의된 바와 같이, 관련 서브-이미지들은 가장 많은 노면을 갖는 서브-이미지들이며, 이것은 전형적으로 이미지 프레임들의 하측 서브-이미지들이다. 관련 서브-이미지들은 움직임 파라미터를 결정하기 위해 더욱 처리된다.

각각의 탑뷰 원근 이미지들을 얻기 위해 각 서브-이미지에 대해 원근 변환이 수행된다(단계(166)). 일단 탑뷰 원근 이미지들이 얻어졌으면, 탑뷰 원근 이미지들 간에 차이 값이 최소화되게, 화소 병진 벡터(p, q)의 p 및 q에 대한 어떤 값들이 탑뷰 원근 이미지들 중 하나 내에 화소들을 병진하기 위해 사용될 수 있는가를 결정하기 위해 반복적 탐색이 수행될 수 있다.

위에서 논의된 바와 같이, [-T_x, T_x]의 간격 내 p의 각 값이 [0, T_y]의 간격 내 q의 각 값과 쌍이 되게 네스트 반복이 채용될 수 있다. 비교적 덜 시간 소비적이거나 계산 상으로 덜 비용이 들 수 있는 대안적 수법도 선택적으로 채용될 수 있다. 도 6에 도시된 예시적 단계들은 효율을 개선하고 최소 이미지 차이 값을 가져오는 화소 병진 벡터(p, q)에 대한 값들을 결정하기 위해 필요한 시간을 감소시키기 위해 각 반복이 병렬로 처리되는 대안적 수법을 예시한다. 도 3에서, p에 대한 값을 결정하기 위한 단계들(168 ~ 180) 및 q에 대한 값을 결정하기 위한 단계들(184 ~ 196)은 예를 들면, 개별적 처리장치들에서 병렬로 처리될 수 있다.

병렬로 처리될 수 있는 제 1 반복(단계들(168 ~ 180))는 p = -T_x을 설정하고 q = 0을 설정함으로써 시작한다(단계(168)). 이어서, 탑뷰 원근 이미지들 중 하나 내에 화소들은 화소 병진 벡터(p, q)을 사용하여 병진된다(단계(170)). 위에 언급된 바와 같이, 탑뷰 원근 이미지들 중 하나 내에 화소들을 병진하는 것은 탑뷰 원근 이미지들 내에 대상들 중 일부를 정렬시킬 수 있다. 그러나, p 및 q에 대한 값들에 기초하여, 대상들 중 일부가 더 혹은 덜 정렬될 수 있다. 결국, 결과적인 차이 이미지는 더 혹은 덜 아티팩트들을 포함할 수 있고, 이미지 차이 값은 대상들의 정렬 정도에 따라 더 크거나 작을 것이다. 이 예시적인 병렬 처리 수법에서, 가장 작은 이미지 차이 값을 갖게 하는 p에 대한 값은 움직임 파라미터의 병진 벡터(t_x, t_y)의 정확한 수평 성분(t_x)에 대응하는 값이다.

탑뷰 원근 이미지들 중 하나가 화소 병진 벡터(p, q)을 사용하여 병진된 후에, 탑뷰 원근 이미지들에 대한 차이 값은 위에 식(1) 및 식(2)에 따라 결정된다(단계(172)). 현재 화소 병진 벡터(p, q)에 대한 차이 값이 최소 이미지 차이 값이라면(단계(174)), t_x이 p로 설정된다(단계(176)). 이미지 차이 값이 최소 이미지 차이 값이 아니라면, 반복은 p에 대한 다음 값으로 넘어간다. 위에 언급된 바와 같이, 이 예에서 제 1 반복은 [-T_x, T_x]의 간격에서 p에 대한 값들을 고려하며, T_x은 이미지 캡처 장치가 선택된 이미지 프레임들 사이에 이동하였을 수도 있을 화소 단위로 최대 거리이다. 그러므로, p에 대한 값이 T_x이하인지가 판정된다(단계(178)). p가 T_x의 값 미만이면, p에 대한 값은 증분되고(단계(180)) 단계들(170 ~ 178)은 p에 대한 증분된 값이 더 작은 이미지 차이 값이 얻어지게 하는지를 판정하기 위해 반복될 수 있다. p가 T_x의 값 이상이라면, 반복 동안 설정된 t_x에 대한 값은 움직임 파라미터에 대한 병진 벡터(t_x, t_y)의 수평 성분으로서 설정될 수 있다(단계(182)).

병렬로 처리될 수 있는 제 2 반복(단계들(184 ~ 196))은 p = 0을 설정하고 q = T_y(단계(184)을 설정함으로써 시작한다. 탑뷰 원근 이미지들 중 하나 내에 화소들은 화소 병진 벡터(p, q)을 사용하여 병진된다(단계(186)). 이 예시적인 병렬 처리 수법에서, 가장 작은 이미지 차이 값을 얻게 하는 q에 대한 값은 움직임 파라미터의 병진 벡터(t_x, t_y)의 정확한 수직 성분(t_y)에 대응하는 값이다.

화소 병진 벡터(p, q)을 사용하여 탑뷰 원근 이미지들 중 하나가 병진된 후에, 탑뷰 원근 이미지들에 대한 차이 값은 위에 식(1) 및 식(2)에 따라 판정된다(단계(188)). 현재 화소 병진 벡터(p, q)에 대한 차이 값이 최소 이미지 차이 값이라면(단계(190)), t_y은 q로 설정된다(단계(192)). 이미지 차이 값이 최소 이미지 차이 값이 아니라면, 반복은 q에 대한 다음 값으로 넘어간다. 위에 언급된 바와 같이, 이 예에서 제 1 반복은 [0, T_y]의 간격 내 q에 대한 값들을 고려하며, T_y는 이미지 캡처 장치가 선택된 이미지 프레임들 간에 이동하였을 수도 있을 화소 단위로 최대 거리이다. 그러므로, q에 대한 값이 T_y이하인지가 판정된다(단계(194)). q가 T_y의 값 미만이라면, q에 대한 값이 증분되고(단계(196)), q에 대한 증분된 값이 더 작은 이미지 차이 값이 얻어지게 하는지를 판정하기 위해 단계들(186 ~ 194)이 반복될 수 있다. q가 T_y의 값 미만이 아니라면, 반복 동안 설정된 t_y의 값은 움직임 파라미터에 대한 병진 벡터(t_x, t_y)의 수직 성분으로서 설정될 수 있다(단계(182)).

일단 움직임 파라미터에 대한 병진 벡터(t_x, t_y)가 결정되었으면, 움직임 파라미터에 대한 회전각도 θ는 위에 식(3)에 따라 아크탄젠트 역삼각함수 및 병진 벡터(t_x, t_y)에 대한 값들을 사용하여 결정될 수 있다(단계(200)). 병진 벡터(t_x, t_y) 및 회전각도 θ은 함께 이미지 캡처 장치에 대한 움직임 파라미터에 포함된다. 이어서, 움직임 파라미터는 예를 들면, 일부 외부 시스템에 의한 디스플레이 또는 사용을 위해 출력 장치에 전송될 수 있다(단계(202)). 또한, 움직임 파라미터는 미래에 사용을 위해 메모리 장치 내 저장될 수 있다.

한 쌍의 선택된 이미지 프레임들(예를 들면, 이미지 프레임 10 및 이미지 프레임 20)에 기초하여 움직임 파라미터가 결정된 후에(단계(200)), 새로운 한 쌍의 선택된 이미지 프레임들(예를 들면, 이미지 프레임 20 및 이미지 프레임 30)에 기초하여 새로운 움직임 파라미터를 결정하기 위해 단계들(156 ~ 200)이 반복될 수 있다. 이렇게 하여, 움직임 파라미터는 이미지 캡처 장치가 이동경로를 따라 주행할 때 계속적으로 결정될 수 있다.

도 1 및 도 6에 관련하여 기술된 처리들, 서브-처리들, 및 처리 단계들 중 하나 이상은 하나 이상의 전자 또는 디지털식으로 제어되는 장치들 상에 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 수행될 수 있음이 이해될 것이다. 소프트웨어는 예를 들면, 도 1에 개요적으로 도시된 기능적 시스템들, 장치들, 성분들, 모듈들, 또는 서브-모듈들 중 하나 이상과 같은 적합한 전자 처리 성분 또는 시스템 내 소프트웨어 메모리(도시되지 않음)에 있을 수 있다. 소프트웨어 메모리는 논리적 기능들(즉 디지털 회로 또는 소스 코드와 같은 디지털 형태로 혹은 아날로그 전기, 사운드, 혹은 비디오 신호와 같은 아날로그 소스와 같은 아날로그 형태로 구현될 수 있는 "로직")을 구현하기 위한 실행가능 명령들의 순서화된 리스트을 포함할 수 있다. 명령들은 예를 들면, 하나 이상의 마이크로프로세서들, 범용 프로세서들, 프로세서들의 조합들, 디지털 신호 프로세서들(DSPs), 필드 프로그래머블 게이트 어레이들(FPGAs), 또는 응용특정의 집적회로(ASICs)을 포함하는 처리모듈 내에서 실행될 수 있다. 또한, 개요도들은 아키텍처 혹은 기능들의 물리적 레이아웃에 의해 제한되지 않는 물리적(하드웨어 및/또는 소프트웨어) 구현들을 갖는 기능들의 논리적 분할을 기술한다. 본원에 기술된 예시된 시스템들은 다양한 구성들로 구현될 수 있고 단일 하드웨어/소프트웨어 장치 내 혹은 별도의 하드웨어/소프트웨어 장치들 내 하드웨어/소프트웨어 성분들으로서 동작한다.

실행가능 명령들은 전자 시스템(예를 들면, 도 1에서 에고모션 추정 시스템(100))의 처리 모듈에 의해 실행되었을 때 명령들을 수행할 것을 전자 시스템에 지시하는 명령들이 저장된 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 전자 컴퓨터-기반의 시스템, 프로세서-내장 시스템과 같은, 명령 실행 시스템, 기기, 또는 장치, 혹은, 명령 실행 시스템, 기기, 또는 장치로부터 명령들을 선택적으로 인출하여 명령들을 실행하는 다른 시스템에 의해 혹은 이들에 관련하여 사용을 위해 임의의 비-일시적 컴퓨터-판독가능 저장 매체 내 선택적으로 구현될 수 있다. 본원의 맥락에서, 컴퓨터-판독가능 저장 매체는 명령 실행 시스템, 기기, 또는 장치에 의해 혹은 이들에 관련하여 사용을 위해 프로그램을 저장할 수 있는 임의의 비-일시적 수단이다. 비-일시적 컴퓨터-판독가능 저장 매체는 선택적으로 예를 들면, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 기기, 또는 장치일 수 있다. 비-일시적 컴퓨터 판독가능 매체들의 더 구체적 예들의 몇가지 리스트는 하나 이상의 와이어들을 갖는 전기 연결(전자); 휴대 컴퓨터 디스켓(자기); 랜덤 액세스 메모리(전자); 판독전용 메모리(전자); 예를 들면, 플래시 메모리와 같은 소거가능 프로그램가능 판독전용 메모리(전자); 예를 들면, CD-ROM, CD-R, CD-RW와 같은 콤팩트 디스크 메모리(광학); 및 디지털 다기능 디스크 메모리, 즉, DVD(광학)을 포함한다. 비-일시적 컴퓨터-판도가능 저장 매체는 프로그램이 예를 들면 종이 또는 그외의 매체의 광학적 스캐닝을 통해 전자적으로 캡처되고, 이어서 컴파일되거나, 해석되거나, 아니면 필요하다면 적합한 방식으로 처리되고 이어 컴퓨터 메모리 또는 기계 메모리에 저장될 수 있으므로 프로그램이 인쇄되는 종이 또는 또 다른 적합한 매체일 수도 있음에 유의한다.

또한, 본원에서 사용되는 "신호로 통신하는"이라는 용어는 2 이상의 시스템들, 장치들, 성분들, 모듈들, 또는 서브-모듈들이 어떤 유형의 신호 경로로 주행하는 신호들을 통해 서로 통신할 수 있음을 의미함이 이해될 것이다. 신호들은 제 1 및 제 2 시스템, 장치, 성분, 모듈, 또는 서브-모듈 간에 신호 경로를 따라 제 1 시스템, 장치, 성분, 모듈, 또는 서브-모듈로부터 제 2 시스템, 장치, 성분, 모듈, 또는 서브-모듈에 정보, 파워, 또는 에너지를 통신할 수 통신, 파워, 데이터, 또는 에너지 신호들일 수 있다. 신호 경로들은 물리적, 전기적, 자기, 전자기, 전기화학, 광학, 유선, 또는 무선 연결들을 포함할 수 있다. 또한, 신호 경로들은 제 1 및 제 2 시스템, 장치, 성분, 모듈, 또는 서브-모듈 간에 추가의 시스템들, 장치들, 성분들, 모듈들, 또는 서브-모듈들을 포함할 수 있다.

구현들의 전술한 설명은 예시 및 설명의 목적으로 제안되었다. 이것은 모든 것이 아니며 청구된 발명들을 개시된 정밀한 형태로 제한하지 않는다. 수정들 및 변형들이 위에 기술된 바에 비추어 가능하며 발명을 실시하는 것으로부터 획득될 수도 있다. 청구항들 및 이들의 등가물들은 발명의 범위를 정의한다.

Claims

에고모션(egomotion) 추정 시스템을 사용하여 에고모션 파라미터를 결정하기 위한 컴퓨터-구현 방법에 있어서,
제 1 이미지 프레임 및 제 2 이미지 프레임을 얻는 단계;
상기 제 1 이미지 프레임으로부터 형성되는 제 1 서브-이미지를 얻기 위해 상기 제 1 이미지 프레임의 제 1 부분을 선택하고 상기 제 2 이미지 프레임으로부터 형성되는 제 2 서브-이미지를 얻기 위해 상기 제 2 이미지 프레임의 제 2 부분을 선택하는 단계;
각각 제 1 원근 이미지 및 제 2 원근 이미지를 얻기 위해 상기 제 1 서브-이미지 및 상기 제 2 서브-이미지에 대해 변환을 수행하는 단계;
복수의 조절된 원근 이미지들을 얻기 위해 상기 제 2 원근 이미지를 반복적으로 조절하는 단계;
상기 제 1 원근 이미지와 상기 복수의 조절된 원근 이미지들 간에 각각의 차이에 각각 대응하는 복수의 차이 값들을 결정하는 단계; 및
에고모션 파라미터에 대한 병진 벡터를 결정하는 단계로서, 상기 병진 벡터는 상기 복수의 차이 값들에서 상기 차이 값들 중 하나에 대응하는 것인, 단계를 포함하는, 방법.
청구항 1에 있어서, 상기 병진 벡터를 사용하여 상기 에고모션 파라미터에 대한 회전각도를 결정하는 단계를 더 포함하는, 방법.
청구항 1에 있어서, 상기 제 1 원근 이미지 및 상기 복수의 조절된 원근 이미지들은 각각 복수의 화소들을 포함하고, 각 화소는 대응하는 화소 값을 가지며,
상기 제 1 원근 이미지 및 상기 복수의 조절된 원근 이미지들 내 대응하는 화소 값들 간에 절대 차이를 합산하여 상기 복수의 차이 값들을 각각 결정하는 단계를 더 포함하는, 방법.
청구항 1에 있어서, 상기 병진 벡터는 수평 성분 및 수직 성분을 포함하며,
제 1 복수의 차이 값들을 얻기 위해 제 1 반복을 수행하고 제 2 복수의 차이 값들을 얻기 위해 제 2 반복을 수행하는 단계;
상기 제 1 복수의 차이 값들 내 상기 차이 값들 중 하나에 대응하는 수평 병진 값을 결정하고, 상기 제 2 복수의 차이 값들 내 상기 차이 값들 중 하나에 대응하는 수직 병진 값을 결정하는 단계; 및
상기 수평 병진 값을 상기 병진 벡터의 수평 성분으로서 확인하고 상기 수직 병진 값을 상기 병진 벡터의 상기 수직 성분으로서 확인하는 단계를 더 포함하는, 방법.
청구항 4에 있어서, 상기 제 1 반복 및 상기 제 2 반복은 병렬로 수행되는, 방법.
청구항 4에 있어서, 상기 제 1 반복은 최대 병진 벡터의 최대 수평 성분에 기초하는 제 1 간격에 대해 수행되고, 상기 제 2 반복은 상기 최대 병진 벡터의 최대 수직 성분에 기초하는 제 2 간격에 대해 수행되는, 방법.
청구항 6에 있어서, 소정의 최대 속도, 소정의 이미지 프레임 레이트, 및 상기 제 1 이미지 프레임과 상기 제 2 이미지 프레임 간에 시간 간격에 기초하여, 상기 최대 병진 벡터의 상기 최대 수평 성분 및 상기 최대 수직 성분을 결정하는 단계를 더 포함하는, 방법.
청구항 7에 있어서, 상기 이미지 프레임 레이트 및 소정의 이미지 프레임 간격에 기초하여 상기 제 1 이미지 프레임과 상기 제 2 이미지 프레임 간에 상기 시간 간격을 결정하는 단계를 더 포함하는, 방법.
청구항 1에 있어서, 상기 제 2 이미지 프레임은 상기 제 1 이미지 프레임에 이어 얻어지는, 방법.
청구항 1에 있어서, 상기 병진 벡터는 상기 복수의 차이 값들 내 가장 작은 차이 값에 대응하는, 방법.
청구항 1에 있어서, 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임은 차량에 장착된 이미지 캡처 장치에 의해 얻어지며;
상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임은 상기 차량의 이동경로를 묘사하는, 방법.
에고모션 파라미터를 결정하는 시스템에 있어서,
제 1 이미지 프레임 및 제 2 이미지 프레임을 수신하는 이미지 처리 모듈;
상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 각각을 복수의 부분들로 분할하고 제 1 서브-이미지를 얻기 위해 상기 제 1 이미지 프레임의 제 1 부분을 선택하며 제 2 서브-이미지를 얻기 위해 상기 제 2 이미지 프레임의 제 2 부분을 선택하는 이미지 분할 모듈;
각각 제 1 원근 이미지 및 제 2 원근 이미지를 얻기 위해 상기 제 1 서브-이미지 및 상기 제 2 서브-이미지에 대해 각각의 변환들을 수행하는 이미지 변환 모듈;
조절된 원근 이미지를 얻기 위해 상기 제 2 원근 이미지를 조절하는 움직임 보상 모듈;
상기 제 1 원근 이미지와 상기 조절된 이미지 간의 차이에 대응하는 차이 값을 결정하는 이미지 차이 모듈; 및
상기 제 1 원근 이미지와 복수의 조절된 원근 이미지들 간에 상기 각각의 차이에 각각 대응하는 복수의 차이 값들을 반복적으로 얻고 에고모션 파라미터에 대한 병진 벡터를 결정하며, 상기 병진 벡터는 상기 복수의 차이 값들 내 상기 차이 값들 중 하나에 대응하는 것인, 에고모션 파라미터 결정 모듈을 포함하는, 시스템.
청구항 12에 있어서, 상기 에고모션 파라미터 결정 모듈은 상기 병진 벡터를 사용하여 상기 에고모션 파라미터에 대한 회전각도를 결정하는, 시스템.
청구항 12에 있어서, 상기 제 1 원근 이미지 및 상기 복수의 조절된 원근 이미지들은 각각 복수의 화소들을 포함하고, 각 화소는 대응하는 화소 값을 가지며;
상기 이미지 차이 모듈은 상기 제 1 원근 이미지 및 상기 조절된 원근 이미지 내 대응하는 화소 값들 간의 절대 차이를 합산하여 상기 차이 값을 결정하는 것인, 시스템.
청구항 12에 있어서, 상기 병진 벡터는 수평 성분 및 수직 성분을 포함하며;
상기 에고모션 파라미터 결정 모듈은 제 1 복수의 차이 값들을 얻기 위해 제 1 반복을 수행하고, 제 2 복수의 차이 값들을 얻기 위해 제 2 반복을 수행하며;
상기 에고모션 파라미터 결정 모듈은 상기 제 1 복수의 차이 값들 내 상기 차이 값들 중 하나에 대응하는 수평 병진 값을 결정하고 상기 제 2 복수의 차이 값들 내 상기 차이 값들 중 하나에 대응하는 수직 병진 값을 결정하며;
상기 에고모션 파라미터 결정 모듈은 상기 수평 병진 값을 상기 병진 벡터의 수평 성분으로서 확인하며, 상기 수직 병진 값을 상기 병진 벡터의 수직 성분으로서 확인하는, 시스템.
청구항 15에 있어서, 상기 제 1 반복 및 상기 제 2 반복은 병렬로 수행되는, 시스템.
청구항 15에 있어서, 상기 에고모션 파라미터 결정 모듈은 상기 제 1 반복 동안 제 1 간격에 대해 반복하며 상기 제 1 간격은 최대 병진 벡터의 최대 수평 성분에 기초하며;
상기 에고모션 파라미터 결정 모듈은 상기 제 2 반복 동안 제 2 간격에 대해 반복하며, 상기 제 2 간격은 상기 최대 병진 벡터의 최대 수직 성분에 기초하는, 시스템.
청구항 17에 있어서, 상기 최대 병진 벡터의 상기 최대 수평 성분 및 상기 최대 수직 성분은 소정의 최대 속도, 소정의 이미지 프레임 레이트, 및 상기 제 1 이미지 프레임과 상기 제 2 이미지 프레임 간에 시간 간격에 기초하는, 시스템.
청구항 18에 있어서, 상기 제 1 이미지 프레임과 상기 제 2 이미지 프레임 간에 상기 시간 간격은 상기 이미지 프레임 레이트 및 소정의 이미지 프레임 간격에 기초하는, 시스템.
청구항 12에 있어서, 상기 제 2 이미지 프레임은 상기 제 1 이미지 프레임을 기준으로 하여 후속하여 얻어지는, 시스템.
청구항 12에 있어서, 상기 병진 벡터는 상기 복수의 차이 값들에서 가장 작은 차이 값에 대응하는, 시스템.
청구항 12에 있어서, 상기 이미지 처리 모듈은 차량에 장착된 이미지 캡처 장치와 신호로 통신하며;
상기 이미지 처리 모듈은 상기 이미지 캡처 장치로부터 상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임을 수신하며;
상기 제 1 이미지 프레임 및 상기 제 2 이미지 프레임은 상기 차량의 이동경로를 묘사하는, 시스템.