KR101961001B1 - 단일-카메라 거리 추정 - Google Patents

단일-카메라 거리 추정 Download PDF

Info

Publication number
KR101961001B1
KR101961001B1 KR1020147027202A KR20147027202A KR101961001B1 KR 101961001 B1 KR101961001 B1 KR 101961001B1 KR 1020147027202 A KR1020147027202 A KR 1020147027202A KR 20147027202 A KR20147027202 A KR 20147027202A KR 101961001 B1 KR101961001 B1 KR 101961001B1
Authority
KR
South Korea
Prior art keywords
image
ground
motion
camera
features
Prior art date
Application number
KR1020147027202A
Other languages
English (en)
Other versions
KR20150008056A (ko
Inventor
루크 마르텔
제프리 라론데
로버트 라가니에르
Original Assignee
엔엑스피 캐나다 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔엑스피 캐나다 인코포레이티드 filed Critical 엔엑스피 캐나다 인코포레이티드
Publication of KR20150008056A publication Critical patent/KR20150008056A/ko
Application granted granted Critical
Publication of KR101961001B1 publication Critical patent/KR101961001B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

물체들이나 특징들에 대한 거리를 추정하기 위한 시스템들 및 방법들이 개시된다. 상기 거리 추정은 단일 카메라로부터 수집된 이미지들에 걸쳐 특징들을 추적하고, 상기 추적된 특징들에 대한 거리 추정을 결정하기 위해 지면 운동의 추정을 이용한다.

Description

단일-카메라 거리 추정{SINGLE-CAMERA DISTANCE ESTIMATION}
본 발명은 단일 카메라로부터 수집되는 이미지들로부터 물체까지의 거리를 결정하는 기술에 관한 것이며, 특히 장애물까지의 거리를 결정하기 위해 자동차 내에 사용되는 시스템에 관한 것이다.
자동차들 내에 카메라 시스템들의 사용이 보다 보편화되고 있다. 상기 카메라 시스템들은 상기 자동차의 다른 위치들로부터 광경들을 제공할 수 있다. 예를 들면, 상기 카메라들은 후진할 때에 운전자들을 보조하도록 사각지대 광경이나 실제 광경을 제공하는 데 사용될 수 있다.
추가적인 센서들 없이, 단일 카메라로부터 수집되는 이미지들로부터 물체까지의 거리를 결정하는 것은 어렵다. 이와 같이, 카메라 시스템이 후진할 때에 물체까지의 거리 정보, 예를 들면 주차된 차까지의 거리를 제공한다면, 소나를 사용하는 거리 측정 센서들을 포함하는 추가적인 센서들이 요구되었거나, 입체적인 정보를 제공하는 추가적인 카메라들이 요구되었다. 이들 추가적인 센서들은 비쌀 수 있으며, 상기 시스템의 설치 시간을 증가시킬 수 있다.
하나 이상의 물체들까지의 거리 정보를 제공할 수 있는 단일 카메라 시스템을 가지는 것이 바람직하다.
본 발명은 자동차에 장착되는 카메라로부터 장애물까지의 거리를 결정하기 위한 방법, 자동차에 장착된 카메라로부터 장애물에 대한 거리를 결정하는 프로세서, 장애물까지의 거리를 결정하기 위한 시스템 등을 제공한다.
본 발명의 일 측면에 따르면, 자동차에 장착되는 카메라로부터 장애물까지의 거리를 결정하기 위한 방법이 제공되며, 상기 방법은, 둘 이상의 연속적인 이미지들에 걸쳐 복수의 특징들(features)을 추적하는 단계; 접지 운동 추정 및 둘 이상의 연속적인 이미지들에 걸쳐 추적된 상기 복수의 특징들의 각각의 운동에 기초하여 상기 추적된 복수의 특징들로부터 지면을 벗어난 특징들을 식별하는 단계; 그리고 상기 복수의 특징들의 각 지면을 벗어난 특징을 위하여, 지반면에 투영되는 상기 카메라에 의해 수집된 이미지들 내의 상기 특징의 운동 및 상기 지면 운동 추정에 기초하여 상기 카메라에 대한 거리를 계산하는 단계를 포함한다.
본 발명에 따르면, 메모리 내에 저장된 명령들을 수행하고, 자동차에 장착된 카메라로부터 장애물에 대한 거리를 결정하는 프로세서가 제공되며, 상기 명령들은 상기 프로세서가, 둘 이상의 연속적인 이미지들에 걸쳐 복수의 특징을 추적하고; 지면 운동 추정 및 둘 이상의 연속적인 이미지들에 걸쳐 추적된 상기 복수의 특징들의 각각의 운동에 기초하여 상기 추적된 복수의 특징들로부터 지면을 벗어난 특징들을 식별하며; 각 지면을 벗어난 특징을 위하여, 지반면에 투영되는 상기 카메라에 의해 수집된 상기 이미지들 내의 상기 특징들의 운동 및 상기 지면 운동 추정에 기초하여 상기 카메라에 대한 거리를 계산하도록 구성한다.
본 발명에 따르면, 장애물까지의 거리를 결정하기 위한 시스템이 더 제공되며, 상기 시스템은, 자동차에 장착되는 카메라; 명령들을 저장하기 위한 메모리; 및 명령들을 수행하기 위한 프로세서를 포함한다. 상기 프로세서는 상기 자동차에 장착될 때에 상기 카메라로부터 장애물에 대한 거리를 결정한다. 상기 명령들은 상기 시스템이, 둘 이상의 연속적인 이미지들에 걸쳐 복수의 특징들을 추적하고, 지면 운동 추정 및 둘 이상의 연속적인 이미지들에 걸쳐 추적된 상기 복수의 특징들의 각각의 운동에 기초하여 상기 추적된 복수의 특징들로부터 지면을 벗어난 특징을 식별하고, 각 지면을 벗어난 특징을 위하여, 지반면에 투영되는 상기 카메라에 의해 수집된 상기 이미지들 내의 상기 특징의 운동 및 상기 지면 운동 추정에 기초하여 상기 카메라에 대한 거리를 추정하도록 구성된다.
첨부된 도면들을 참조하여 여기에 실시예들이 설명되며, 첨부 도면들에 있어서,
도 1은 단일 카메라 시스템을 이용하여 물체까지의 거리를 추정하기 위한 개략적인 환경을 나타내고,
도 2는 단일 카메라로부터 수집된 이미지들을 이용하여 지면 상부에 위치하는 물체까지의 거리를 추정하는 것을 나타내는 윤곽 작도를 도시하며,
도 3은 단일 카메라로부터 수집된 이미지들을 이용하여 지면상에 위치하는 물체에 대한 거리를 추정하는 것을 나타내는 윤곽 작도를 도시하고,
도 4는 자동차 시스템 내의 장애물에 대한 거리를 산정하기 위한 단일 카메라의 사용을 나타내며,
도 5는 단일 카메라를 이용하여 물체에 대한 거리를 추정하기 위한 시스템의 예시적인 실시예를 나타내는 블록도이고,
도 6은 단일 카메라를 이용하여 물체에 대한 거리를 추정하기 위한 시스템의 다른 예시적인 실시예의 블록도이며,
도 7은 왜곡되지 않은 수집된 이미지 및 대응되는 탑뷰 이미지 사이의 변환의 예시를 나타내고,
도 8은 입력 이미지들과 탑뷰 이미지들 사이의 연관을 개략적으로 나타내며,
도 9는 단일 이미지 수집 장치로부터 수집된 이미지들로부터 장애물에 대한 거리를 결정하는 방법을 나타내는 블록도이고,
도 10은 단일 카메라를 이용하여 물체까지의 거리를 추정하기 위한 또 다른 예시적인 실시예를 나타내는 블록도이다.
도 1은 단일 카메라 시스템을 이용하여 물체까지의 거리를 추정하기 위한 개략적인 환경을 나타낸다. 도시된 바와 같이, 상기 환경(100)은 연속적인 이미지들을 수집하는 카메라(9104)를 구비하는 제1 자동차(102)를 포함한다. 상기 자동차(102)는 제2 자동차(108)를 향하는 방향(106)으로 이동하는 것으로 도시된다. 상기 카메라(104)는 상기 이동의 방향(106)에서의 포인트에 위치한다. 도 1에 도시된 상황은 주차 공간 내로 후진하는 카메라 시나리오를 나타낼 수 있다. 상기 카메라(104)로부터 수집되는 이미지들은 운전자가 상기 자동차(102)를 주차하는 것을 보조하도록 자동차(102)의 운전자에게 제시될 수 있다. 상기 운전자에게 상기 카메라(104)로부터의 이미지들 이외에도 상기 주차된 자동차(108)까지의 상기 거리 'D'에 대한 정보를 제공하는 것이 바람직하다. 상기 거리 D가 추정되었다면, 이는 상기 수집된 이미지들 상부에 오버레이되게 거리 정보를 표시하는 것, 상기 거리 D의 오디오 공지 또는 경보를 제공하는 것을 포함하는 다양한 방식들로 상기 운전자에게 제공될 수 있다. 추가적으로 또는 선택적으로, 상기 추정된 거리 정보는, 예를 들면 상기 거리 D가 작고 상기 자동차가 여전히 빠르게 후진하고 있다면 브레이크를 작동시키는 것에 의해 상기 운전자가 상기 자동차(102)를 제어하는 데 도움이 되도록 이용될 수 있다.
여기서 더 설명하는 바와 같이, 상기 단일 카메라로부터 수집되는 이미지들은 물체에 대한 거리를 추정하기 위해 처리된다. 거리가 추정되는 물체들은 지면상에 위치할 것이고 이와 같이 상기 자동차에 대해 장애물로 존재할 것이다. 이미지들의 처리는 상기 이미지들 내의 포인트들이나 특징들의 위치를 찾아내고, 실제 상황에서 상기 대응하는 물체들의 카메라에 대한 높이와 거리를 산정하도록 상기 포인트들과 특징들의 이동을 이용한다. 지반면 상부에 있는 특징들이나 포인트들이 식별될 수 있고, 장애물로 간주될 수 있는 상기 대응되는 물체들까지의 거리를 추정하는 데 이용된다.
도 2는 단일 카메라로부터 수집된 이미지들을 이용하여 지면 상부에 위치하는 물체까지의 거리를 추정하는 것을 나타내는 윤곽 작도를 도시한다. 도 2(A)는 이미지가 수집되는 제1 시간에서 상기 카메라(204) 및 물체(202)의 위치들을 나타내며, 도 2(B)는 연속하여 이미지가 수집되는 제2 시간에서 상기 카메라(204') 및 물체(202)의 위치들을 나타낸다.
도 2에서, 상기 카메라는 상기 지면 상부의 알려진 높이 'h'에 위치한다. 물체(202)는 상기 카메라로부터 수평 거리 'd' 및 상기 지면 상부의 높이 'z'에 위치하고, 정지된 것으로 가정된다. 상기 카메라의 시각으로부터 상기 지면에 대한 상기 물체(202)의 투영은 겉보기 물체 위치(apparent object location)(206)에 있다. 상기 겉보기 물체 위치(206)는 상기 카메라로부터 상기 물체(202) 보다 큰 수평 거리 'dap'에 있다. 유사한 삼각형들(208, 210)로 인하여, 상기 겉보기 물체 위치까지의 상기 수평 거리는 다음과 같이 주어진다.
[식 (1)]
Figure 112014091958371-pct00001
여기서,
[식 (2)]
Figure 112014091958371-pct00002
이므로
Figure 112014091958371-pct00003
이다.
상술한 바로부터, 상기 카메라의 시야로부터 지면에 대한 상기 물체의 투영의 겉보기 물체 위치 dap가 실제 물체 위치 d에 비례하고 sz로 크기가 조절되는 점은 분명하다. 도 2(B)에 도시한 바와 같이, 상기 카메라가 거리 'x'로 이동할 때에 상기 지면상으로 투영된 상기 겉보기 물체 위치는 x'의 겉보기 거리(apparent distance)로 이동한다. 상기 물체의 높이 z가 일정한 것으로 가정하고, 식 (1)의 시간에 대하여 일차 도함수를 취하면, 상기 카메라에 대하여 상기 지반면에 대해 투영되는 물체의 겉보기 속도(apparent velocity) vap는 sz로 크기가 조절된 상기 물체의 수평 속도 v에 비례한다.
[식 (3)]
Figure 112014091958371-pct00004
식 (2) 및 식 (3)으로부터, 상기 속도들 v 및 vap를 알 때, 그러면 상기 물체의 실제 속도 z는 다음과 같이 주어진다.
[식 (4)]
Figure 112014091958371-pct00005
식 (1) 및 식 (3)으로부터, 상기 속도들 v 및 vap를 알 때, 그러면 상기 카메라에 대한 상기 물체의 실제 수평 거리는 다음과 같이 주어진다.
[식 (5)]
Figure 112014091958371-pct00006
식 (4) 및 식 (5)로부터, 상기 카메라로부터 물체까지의 거리가 단일 카메라로부터 포착되는 연속적인 이미지들로부터 결정될 수 있는 점은 분명하다. 상기 거리를 결정하기 위하여, 상기 카메라의 실제 수평 속도 및 상기 카메라의 시각으로부터 지면에 대한 상기 물체의 투영의 겉보기 속도가 알려져야 한다. 비록 속도들에 대하여 설명하였지만, 연속적인 이미지들 사이의 시간이 중대하지 않은 점이 분명해질 것이다. 이와 같이, 상기 지반면에 대해 투영됨에 따라 연속적인 이미지들 내의 상기 물체의 충분한 변위가 있는 한, 상기 물체까지의 거리가 결정될 수 있다.
상기 물체가 정지하는 경우, 상기 물체에 대한 상기 카메라의 수평 속도는 상기 카메라 자체의 수평 속도에 대해 동일한 크기가 될 것이다. 상기 카메라가 상기 자동차 상에 장착되기 때문에, 상기 카메라 속도는 상기 자동차와 동일할 것이다. 이와 같이, 상기 카메라의 속도는 상기 자동차의 속도를 결정하는 센서들로부터 결정될 수 있다. 비록 센서들로부터 상기 카메라의 속도를 결정하는 것이 가능하지만, 여기서 더 설명하는 바와 같이 상기 카메라로부터 수집된 이미지들로부터 속도를 결정하는 것도 가능하다.
도 3은 단일 카메라로부터 수집된 이미지들을 이용하여 지면상에 위치하는 물체에 대한 거리를 추정하는 것을 나타내는 윤곽 작도를 도시한다. 도 3(A)는 제1 시간에 카메라 위치(304)로부터 수집된 상기 지면상에 위치하는 물체를 나타내고, 도 3(B)는 제2 시간에서 카메라 위치(304')로부터 수집된 동일한 물체(302)를 나타낸다. 상기 물체(302)가 지면상에 위치하기 때문에, 상기 지면에 대한 물체의 투영은 실제 물체의 동일한 속도를 가질 것이다. 상기 지면 물체들의 속도는 다음과 같이 주어진다.
[식 (6)]
Figure 112014091958371-pct00007
여기서, 다음과 같다.
[식 (7)]
Figure 112014091958371-pct00008
식 (6)과 식 (7)을 결합하면, 상기 지면 포인트들의 속도가 상기 카메라의 속도와 동일한 것이 결정된다.
[식 (8)]
Figure 112014091958371-pct00009
이와 같이, 상기 지면상의 포인트들의 속도로부터, 상기 지면 상부에 위치하는 물체들의 실제 속도들을 계산하는 데 이용될 수 있는 상기 카메라의 속도를 결정하는 것이 가능하다. 또한, 식 (3)으로부터 및 상기 물체들 모두가 상기 지면상에 또는 상부에 위치하는 것으로 가정하면, 상기 물체의 실제 속도는 항상 상기 지면에 대해 투영될 때의 상기 물체들의 겉보기 속도보다 작거나 동일하게 될 것이다. 즉, 상기 물체들이 상기 카메라의 관점으로부터 상기 지반면에 대해 투영될 때, 상기 지면 상부의 물체들이 상기 지면상의 물체들 보다 빠르게 움직이는 것으로 나타나게 될 것이다.
도 4는 자동차 시스템 내의 장애물에 대한 거리를 산정하기 위한 단일 카메라의 사용을 나타낸다. 도 4에서, 4개의 물체들, 즉 2개의 지면 물체들(402, 404) 및 2개의 지면을 떠난 물체들(406, 408)이 도시된다. 카메라는 상기 물체들의 위치의 이미지들을 수집한다. 상기 이미지들은 상기 카메라의 관점으로부터 상기 지반면에 대해 모든 포인트들을 투영하기 위해 처리될 수 있다. 이는 상기 물체들(402, 404, 406, 408)의 지면 투영된 위치들(A, A', B, B')을 각기 나타내는 탑뷰(top-view) 이미지(410)를 얻게 한다.
도 4(B)에 도시된 바와 같이, 상기 카메라가 연속적으로 수집된 이미지들 사이의 거리 x로 이동할 때, 상기 투영된 포인트들(A, A', B, B')은 상기 지면 상부의 대응되는 물체의 높이에 따른 양으로 이동할 것이다. 즉, 상기 지면상의 포인트들이 대응되는 양인 x로 이동할 것인 반면, 상기 지면 상부의 포인트들은 αx의 양으로 이동하게 될 것이며, 여기서 α는 상기 지면 상부의 상기 물체의 높이 및 상기 지면 상부의 상기 카메라의 높이에 근거한다.
도 4로부터, 물체들과 관련된 대응되는 포인트들이 연속적인 프레임들이나 이미지들에 걸쳐 추적한다면, 상기 포인트들 및 관련된 물체들의 속도들을 결정하는 것이 가능한 점은 분명할 것이다. 상기 포인트들의 속도들이 결정되면, 상기 실제 속도 v 및 상기 겉보기 속도 vap가 결정될 수 있다. 일 예로서, 상기 실제 속도는 추적된 포인트들의 가장 작은 속도에 의해 간단하게 결정될 수 있다. v 및 vap가 결정되면, 식 (4) 및 식 (5)에 따라 상기 포인트들에 대응되는 상기 물체들까지의 수평 거리뿐만 아니라 상기 지면 상부의 이들의 높이들로 결정될 수 있다. 식 (4) 및 식 (5) 모두가 프레임들 사이에 경과된 실제 시간을 알 필요가 없는 바와 같이 상기 속도들의 비율들을 포함하는 점에 유의한다. 도 5는 단일 카메라를 이용하여 물체에 대한 거리를 추정하기 위한 시스템의 예시적인 실시예들 나타내는 블록도이다. 상기 시스템(500)은 상기 지면 상부의 알려진 높이로부터 연속적인 이미지들을 수집하는 카메라(502)를 포함한다. 상기 카메라는 알려진 프레임 레이트(frame rate)로 이미지들을 수집하여, 연속적인 이미지들 사이의 시간이 알려진다. 상기 카메라(502)의 프레임 레이트가 변화될 수 있는 점이 고려된다. 상기 시스템(500)은 처리 장치(504)를 더 포함하며, 이는 메모리(510) 내에 저장된 명령들(508)을 수행하기 위한 중앙 처리 유닛(CPU)(506)을 구비하는 범용 컴퓨팅 장치로 도시된다. 상기 처리 장치는 상기 처리 장치(504)를 상기 카메라를 포함하여 다른 구성 요소들에 연결하기 위한 입력/출력(I/O) 구성 요소(512)를 포함할 수 있다. 상기 처리 장치(504)는 또한 정보를 가능하면 명령들(508)을 포함하는 정보를 저장하기 위하여 비휘발성(NV) 스토리지(514)를 포함할 수 있다. 상기 명령들(508)은 상기 CPU(506)에 의해 수행될 때에 상기 처리 장치(504)가 상기 단일 카메라로부터 수집된 연속적인 이미지들로부터 물체에 대한 거리의 추정을 제공하는 거리 추정 구성 요소(distance estimation component)(516)를 제공하도록 구성된다.
상기 거리 추정 구성 요소(516)는 연속하는 이미지들을 수신하고, 상기 이미지들에 걸쳐 특징들을 추적하며, 추적된 특징들에 대응되는 물체들까지의 거리를 결정한다. 특징들은 상기 연속적인 이미지들 내에 위치할 수 있는 이미지 내의 포인트를 둘러싸는 작은 영역으로 간주될 수 있다. 상기 거리 추정 구성 요소(516)는 상기 연속하는 이미지들에 걸쳐 위치하고 특징들을 추적하는 특징 추적 구성 요소(518)를 포함한다. 상기 거리 추정 구성 요소(516)는 상기 추적된 특징이 지면을 벗어난 특징에 대응되지를 결정하는 지면을 벗어난(off-ground) 특징 검출 구성 요소(520)를 더 포함할 수 있다. 상기 지면을 벗어난 특징 검출 구성 요소(520)는 연속하는 이미지들에 걸치는 추적된 특징들의 속도들이든 거리들이든 겉보기 운동뿐만 아니라 카메라 운동(522)을 이용할 수 있다. 상기 카메라 운동(522)은 외부 장치 또는 센서로부터 제공될 수 있거나, 다음에 더 설명하는 바와 같이 상기 연속적인 이미지들로부터 추정될 수 있다.
상기 지면을 벗어난 것으로 결정되는 추적된 특징들은 상기 카메라로부터 상기 지면을 벗어난 특징들에 대응되는 물체들까지의 거리를 결정하기 위해 상기 카메라 운동(524)뿐만 아니라 상기 결정된 지면을 벗어난 특징들의 겉보기 속도들을 이용하는 물체에 대한 거리 추정 구성 요소(524)에 의해 사용될 수 있다. 상기 물체들까지의 거리는 식 (4) 및 식 (5)에 따라 산정될 수 있다.
상기 지면을 벗어난 특징들에 대응되는 상기 물체들에 대한 거리가 결정되면, 상기 정보는 다양한 방식들로 제시될 수 있거나 이용될 수 있다. 예를 들면, 가장 가까운 물체가 결정될 수 있고, 상기 거리 정보는 상기 수집된 이미지의 오버레이 상에 표시될 수 있다. 비록 상기 거리 추정을 상기 지면 상부에 있는 상기 물체들에 대응되는 지면을 벗어난 특징들에 관하여 설명하였지만, 상기 지면상의 물체들에 대한 거리도 추정될 수 있는 점이 고려된다.
분명해 질 것인 바와 같이, 상기 거리 추정 구성 요소(500)는 많은 방식들로 구현될 수 있다. 비록 다른 구현예들도 가능하지만, 다양한 가능한 실시예들이 다음에 상세하게 설명된다.
도 6은 거리 추정 구성 요소의 다른 예시적인 실시예의 블록도를 도시한다. 상기 거리 추정 구성 요소(600)는 상기 거리 추정 구성 요소(516)의 기능을 제공할 수 있다. 비록 도 6에 도시되지는 않았지만, 상기 거리 추정 구성 요소(600)는 도 5의 범용 컴퓨팅 장치(504)와 같은 처리 장치 내에 구현될 수 있다. 상기 거리 추정 구성 요소(600)는, 영상 변환(image transformation) 구성 요소(602), 트래커 매니저(tracker manager)(604), 하나 이상의 트래커들(606), 병진 추정(translation estimation) 구성 요소(608), 지면을 벗어난 포인트 검출기(610), 그리고 물체에 대한 거리 결정 구성 요소(612)를 포함한다.
단일 카메라로부터의 비디오 스트림의 연속적인 프레임들에 대응되는 입력된 이미지들은 상기 영상 변환 구성 요소(602)로 제공된다. 상기 영상 변환 구성 요소는 영상 왜곡(image distortion) 구성 요소(614) 및 시점 변환(view transformation) 구성 요소(616)를 포함한다. 상기 영상 왜곡 구성 요소(614)는 임의의 렌즈 왜곡을 위해 수신된 영상을 교정한다. 예를 들면, 광각 렌즈는 왜곡되지 않을 수 있는 '어안(fish-eye)' 이미지를 제공한다. 상기 왜곡되지 않은 이미지는 상기 카메라로부터 수집된 왜곡되지 않은 이미지를 변환하며 상기 탑뷰 이미지에 대해 상기 지면 상부의 알려진 거리에 위치하는 상기 시점 변환 구성 요소(616)로 제공된다. 상기 탑뷰 이미지는 상기 카메라의 관점으로부터 상기 지반면에 투영되는 상기 이미지 내의 모든 포인트들을 갖는 왜곡되지 않은 수집된 이미지에 대응된다. 상기 시점 변환 구성 요소(616)는 상기 왜곡되지 않은 수집된 이미지의 일부만을 상기 탑뷰 이미지로 변환할 수 있다.
상기 왜곡되지 않은 수집된 이미지와 상기 대응되는 탑뷰 이미지 사이의 변환이 도 7에 도시된다. 도 7(A)는 자동차에 장착되는 카메라로부터 수집된 도로(702)의 윤곽 작도를 나타낸다. 상기 자동차의 일부(704)가 상기 수집된 이미지 내에 보일 수 있다. 상기 탑뷰 이미지로 변환될 것인 관심 영역(ROI)은 점선의 박스 706로 도시된다. 도 7(B)는 상기 ROI(706)에 대응되는 탑뷰 이미지(710)를 나타낸다.
상기 지면에 대하여 기울어진 카메라로부터 얻어진 이미지의 탑뷰 이미지를 생성하는 것은 상기 이미지가 전술한 바로부터 얻어진 것으로 나타나도록 상기 이미지를 와핑(warping)하는 것을 포함한다. 도 7은 상기 왜곡되지 않은 수집된 이미지 및 상기 대응되는 탑뷰 이미지 사이의 변환을 나타낸다. 도 7(A)는 자동차에 장착되는 카메라로부터 수집되는 도로(702)의 왜곡되지 않은 수집된 이미지(700)의 윤곽 작도를 나타낸다. 상기 왜곡되지 않은 이미지는 상기 수집된 이미지 내의 렌즈 왜곡들에 대해 교정한다. 상기 자동차의 일부(704)는 상기 수집된 이미지 내에 보일 수 있다. 상기 탑뷰 이미지로 변환될 것인 관심 영역(ROI)은 점선의 박스 706으로 도시된다. 도 7(B)는 상기 ROI(706)에 대응되는 상기 탑뷰 이미지(710)를 나타낸다.
탑뷰 이미지를 생성하는 것은 상기 탑뷰 이미지와 상기 이미지 수집 장치로부터 수집된 기울어진 이미지 사이의 픽셀 대 픽셀 맵핑(mapping)을 결정하는 것이 된다. 이러한 맵핑은 도 8에 도시된 네 단계들로 개념적으로 분리될 수 있다.
1 - 탑뷰 픽셀(A)이 상기 지면(B) 상의 포인트로 맵핑되고,
2 - 상기 지면(B)상의 포인트가 상기 왜곡되지 않은 이미지 평면(C) 상의 포인트에 맵핑되며,
3 - 상기 왜곡되지 않은 포인트(C)가 이상적 이미지 평면(D) 상의 이의 왜곡된 위치로 맵핑되고,
4 - 상기 이상적 이미지 평면(D) 상의 상기 왜곡된 포인트가 입력 이미지(E) 내의 픽셀로 맵핑된다.
이러한 이상적인 분리는 이가 포인트들 및 포인트들에 대한 상기 입력 또는 탑 이미지의 거리들과 실제 상황에서의 거리들 사이의 관련을 제공하기 때문에 선택된다. 도 8에 있어서, (A) 및 (E)는 픽셀 좌표들을 이용한 이미지들이고, (C) 및 (D)는 카메라 기준 프레임 내의 이미지 평면들이며, (B)는 실제 기준 프레임 내의 지반면이다.
1. 탑 이미지를 지반면으로 맵핑(MAPPING THE TOP IMAGE TO THE GORUND PLANE)
상기 탑뷰 이미지는 크기가 조절되고 상기 지반면을 나타내도록 시프트된다. 상기 탑뷰 이미지(A)로부터 상기 지반면(B)으로의 맵핑은 다음 형태의 호모그래피(homography)이다.
[식 (9)]
Figure 112014091958371-pct00010
이러한 변환은 카메라 매트릭스와 동일한 형태를 가지며, 이는 상기 탑뷰 이미지가 상기 지면으로 곧장 향하는 가상의 카메라를 모방하는 사실을 반영한다.
탑뷰 픽셀(x, y)로부터 지면까지의 맵핑은 그러면 다음과 같이 주어진다.
[식 (10)]
Figure 112014091958371-pct00011
2. 지반면을 왜곡되지 않은 이미지 평면으로 맵핑(MAPPING THE GROUND PLANE TO THE UNDISTORTED IMAGE PLANE)
상기 지반면(B)으로부터 상기 왜곡되지 않은 이미지 평면(C)까지의 맵핑은 다음과 같이 주어지는 일반적인 호모그래피이다.
[식 (11)]
Figure 112014091958371-pct00012
이러한 호모그래피는 오직 실제 좌표들에서 상기 카메라의 배향과 위치에 의존한다. 상기 지면 포인트 (X, Y)로부터 상기 왜곡되지 않은 이미지 평면(C)까지의 맵핑은 다음과 같이 주어진다.
[식 (12)]
Figure 112014091958371-pct00013
여기서, 다음과 같다.
[식 (13)]
Figure 112014091958371-pct00014
3. 왜곡되지 않은 이미지 평면을 왜곡된 이미지 평면으로 맵핑(MAPPING THE UNDISTORTED IMAGE PLANE TO THE DISTORTED IMAGE PLANE)
상기 왜곡되지 않은 이미지 평면(C)으로부터 상기 왜곡된 이미지 평면(D)까지의 맵핑의 정확한 형태는 상기 카메라를 보정할 때에 사용되는 왜곡 모델에 의존한다. 예를 들면, 방사 및 접선 왜곡을 보상하기 위한 왜곡 모델이 이용될 수 있다. 이러한 왜곡 모델에 있어서, 여섯 방사 왜곡 계수들(k 1,…. k 6) 및 두 접선 왜곡 계수들(p 1, p 2)이 존재한다. 상기 왜곡되지 않은 이미지 평면(C) 내의 포인트 (x, y)로부터 상기 왜곡된 이미지 평면(D)까지의 맵핑은 다음과 같이 주어진다.
[식 (14)]
Figure 112014091958371-pct00015
여기서,
Figure 112014091958371-pct00016
Figure 112014091958371-pct00017
및
Figure 112014091958371-pct00018
4. 왜곡된 이미지 평면을 입력 이미지로 맵핑(MAPPING THE DISTORTED IMAGE PLANE TO THE INPUT IMAGE)
상기 왜곡된 이미지 평면을 상기 입력 평면으로의 맵핑은 고유 카메라 변수들을 수반한다. 상기 카메라 매트릭스는 다음과 같이 둔다.
[식 (15)]
Figure 112014091958371-pct00019
그러면, 상기 왜곡된 이미지 평면 내의 포인트 (x, y)는 다음에 의해 입력 이미지 픽셀로 맵핑된다.
[식 (16)]
Figure 112014091958371-pct00020
전체 탑 이미지를 입력 이미지로 맵핑(OVERALL TOP IMAGE TO INPUT IMAGE)
폭 w 및 높이 h의 탑 이미지를 위해, 상기 탑뷰 픽셀의 입력 픽셀로의 맵핑은 다음과 같이 주어진다.
[식 (17)]
Figure 112014091958371-pct00021
여기서
Figure 112014091958371-pct00022
및
Figure 112014091958371-pct00023
즉, 상기 탑뷰 이미지 내의 픽셀 (x, y)은 상기 입력 이미지 내의 픽셀 (x', y')로 맵핑된다. 탑뷰 픽셀들이 입력 픽셀의 중심으로 거의 맵핑되지 않기 때문에, 이중선형 보간(bi-linear interpolation)이 임의의 주어진 탑뷰 픽셀들의 값을 추정하는 데 이용될 수 있다.
상기 입력 이미지와 상기 탑뷰 이미지 사이의 맵핑을 위한 변수들은 다음에 더 설명한다.
H1의 요소들을 결정하기 위하여, 지면 대 시점(view)의 면적이 정의된다. 일반성의 손실 없이, 실제 지반면이 Z=0 평면으로 설정되고, 지면 ROI가 X 및 Y 축들에 대해 정렬된다. 상기 지면 ROI는 그 상부 좌측 코너 (Xo, Yo), 그 폭 W 및 높이 H로 정의될 수 있다.
또한, 상기 탑뷰 이미지 크기가 정의된다. 상기 탑 이미지가 폭 w 및 높이 h를 가질 경우, 다음과 같다.
[식 (18)]
Figure 112014091958371-pct00024
일반적인 호모그래피 H2는 실제 좌표계에 대하여 상기 카메라의 배향 및 위치에 의존한다. 이가 상기 지면을 상기 왜곡되지 않은 이미지 평면에 관련시키기 때문에, 상기 카메라 매트릭스나 상기 왜곡 계수들이 H2와 관련되지 않는다. 상기 지면 ROI도 H2에 독립적이다. 상기 카메라의 물리적 위치 결정만이 문제된다.
전술한 바와 같이, 상기 실제 지반면은 상기 Z=0 평면이다. 또한, Z-축이 상기 지면 내로 아래를 가리키므로 상기 지면을 곧장 향하는 카메라가 상기 실제의 z-축에 대해 정렬되는 z-축을 가질 것이다.
상기 지면 상부의 카메라의 높이 h c 에 대하여, 상기 카메라는 실제 좌표들 내의
Figure 112014091958371-pct00025
에 위치한다. 상기 Z-축이 상기 지면 내로 향하기 때문에 상기 Z 좌표는 음이 된다.
상기 카메라의 광학축은 상기 X-축에 대해 음의 회전으로 상기 실제 Z-축으로부터 경사진다. θ의 경사각은 다음 변환에 의해 이루어진다.
[식 (19)]
Figure 112014091958371-pct00026
이러한 계획으로, θ=0은 상기 카메라가 곧장 아래를 향하는 것을 의미하므로, 상기 광학축이 실제 Z-축에 대해 정렬되고, θ=90은 상기 카메라가 수평을 향하는 것을 의미하므로, 상기 광학축이 실제 음의 Y-축에 대해 정렬되며, θ=180은 상기 카메라가 곧장 위를 향하는 것을 의미하므로, 상기 광학축은 실제 음의 Z-축에 대해 정렬된다.
또한, 흔들림 각도(swing angle)가 상기 수평이 상기 수집된 이미지 내에서 수평하지 않을 경우에 상기 이미지를 보상하기 위해 상기 카메라에 추가될 수 있다. ψ의 흔들림 각도는 상기 카메라 기준 프레임 내의 상기 z-축에 대한 회전에 의해 구현된다.
[식 (20)]
Figure 112014091958371-pct00027
상기 카메라의 결합된 회전 매트릭스는 상기 흔들림을 동반하는 경사이다.
[식 (21)]
Figure 112014091958371-pct00028
P=[X, Y, Z, 1]T가 실제에서 포인트의 균일한 좌표라고 하고, Q가 상기 카메라 좌표계 내의 상기 포인트들의 좌표들이라고 하자. 벡터가
Figure 112018019504259-pct00029
로 정의될 경우, 그러면 실제 좌표들로부터의 카메라 좌표들까지의 변환은 다음과 같이 주어진다.
[식 (22)]
Figure 112014091958371-pct00030
R의 i th 칼럼을
Figure 112014091958371-pct00031
로 나타내면, 식 (22)는 다음과 같이 다시 나타내어진다.
[식 (23)]
Figure 112014091958371-pct00032
상기 지면상의 모든 포인트들이 0의 Z 좌표들을 가지기 때문에, 상기 강체 변환은 상기 호모그래피로 감소된다.
[식 (24)]
Figure 112014091958371-pct00033
그러나,
Figure 112018019504259-pct00034
이다. 따라서, 상기 지반면을 상기 왜곡되지 않은 이미지 평면에 연관시키는 상기 호모그래피는 다음과 같이 주어진다.
Figure 112014091958371-pct00035
다시 도 6을 참조하면, 상기 트래커 매니저 구성 요소(604)는 복수의 트래커들(606)을 관리한다. 각 트래커는 연속적인 이미지들에 걸쳐 특징이나 포인트를 추적하는 데 이용되는 특징 트래커가 될 수 있고, 이는 전술한 바와 같이 생성된 탑뷰 이미지들이 될 수 있다. 각 트래커(606)는 상기 트래커에 의해 추적되는 상기 포인트 또는 상기 특징의 중심을 둘러싸는 관심 영역인 윈도우(618)를 포함한다. 각 트래커는 또한 상기 추적되는 포인트의 속도(620)의 추정을 포함한다. 상기 트래커들은 상기 특징(622)을 추적하기 위할 뿐만 아니라 상기 추적된 포인트의 속도(624)를 추정하기 위한 기능을 포함한다. 상기 속도 추정 기능(624)은 2차원(2D) 일정 속도 칼만 필터(Kalman filter)에 의해 제공될 수 있다.
각 트래커의 윈도우는 현재의 이미지 내의 상기 윈도우의 현재의 중심의 N x M 픽셀들 내부에 철저한 템플릿 매치(template match)를 수행하여 업데이트된다. 상기 특징 추적은 조사 영역 내의 각 포인트에서 정규화 제곱 차이(normalized squared difference)를 계산할 수 있다. 상기 트래커의 윈도우(618)는 이후에 최소 정규화 제곱 차이를 산출하는 포인트로 이동한다. 상기 새로운 윈도우 중심은 상기 칼만 필터를 업데이트하고, 이에 따라 상기 추적된 포인트를 위한 속도 추정에 이용된다.
간결성을 위해 완전한 조사가 기재된다. 충분한 처리 동력이 이용 가능할 경우에 평균 이동(mean shift) 또는 피라미드 KLT 트래커와 같은 보다 효율적인 방법들이 이용될 수 있다.
상술한 바와 같이, 트래커들(606)은 연속적인 이미지들에 걸쳐 특징을 추적할 수 있다. 상기 트래커 매니저(604)는 다음에 더 설명하는 바와 같이 상기 복수의 트래커들을 관리한다. 상기 트래커 매니저는 현재의 트래커들(626)의 리스트를 유지한다. 상기 트래커 매니저(604)는 각각의 연속적인 이미지를 수신함에 따라 상기 트래커 관리를 수행하며, 트래커 업데이트(tracker update) 구성 요소(628)는 상기 트래커 리스트(626) 상의 트래커들을 업데이트한다.
상기 리스트(626) 상의 모든 트래커들이 업데이트되면, 트래커 삭제(tracker deletion) 구성 요소(630)가 불규칙적으로 이동하는 트래커들 또는 상기 이미지의 에지 부근에 있는 트래커들인 임의의 노이지 트래커들(noisy trackers)을 제거한다. 상기 트래커 삭제 구성 요소(630)는 트래커들이 존재하는지 그렇지 않은 지를 나타내는 마스크인 트래커 맵(tracker map)(632)을 업데이트한다. 예를 들면, 상기 트래커 맵은 트래커들의 원도우가 존재하는 때에는 언제나 블랙이고 트래커 윈도우가 상기 영역을 점유하지 않을 경우에는 화이트인 이미지가 될 수 있다.
상기 트래커 삭제 및 상기 트래커 맵의 업데이팅 후에, 트래커 생성(tracker creation) 구성 요소(634)는 상기 현재의 이미지 내, 또는 보다 상세하게는 상기 트래커 맵(632)에 의해 표시되는 바와 같이 트래커들이 현재에 존재하지 않는 경우의 상기 현재의 이미지의 일부 내의 추적되는 우수한 특징들을 검출하도록 상기 현재의 이미지를 처리한다. 추적되는 우수한 특징들의 검출은 다양한 방식들로 제공될 수 있다. 예를 들면, OpenCV(오픈 소스 컴퓨터 비전(Open Source Computer Vision))은 강한 코너들을 결정하는 기능 OpenCV::goodFeaturesToTrack()을 제공하며, 이는 이미지 내의 추적되는 특징들로서 처리된다. OpenCV::goodFeaturesToTrack()을 포함하는 특징들을 결정하기 위한 일부 기능들은 이미지 내의 추적되는 '가장 우수한' 특징을 제공할 수 있다. 이들 기능들은 특정한 문턱 값 위에 있을 경우에 특징들 제공하기만 하기 위하여 변경될 수 있다. OpenCV::goodFeaturesToTrack()의 경우에, 상기 기능이 변경되어 허용되는 코너를 위한 품질 기준이 상기 가장 우수한 관찰된 코너에 상대적이기 보다는 절대적이 된다. 이렇게 하여, 상기 트래커 맵의 남은 것들에 우수한 코너들이 존재하지 않을 경우, 코너들이 복귀되지 않는 반면, 이들은 변경 없이 존재할 수 있다. 각각의 우수한 추적 특징을 위하여, 새로운 트래커가 생성되고, 상기 트래커 리스트(626)와 상기 트래커 맵(632)이 이에 따라 업데이트된다.
비과도적(non-transient) 트래커 식별 구성 요소(636)는 10 이상의 연속적인 프레임들을 위해 상기 트래커 리스트 상에 존재하였던 임의의 트래커들을 비과도적 트래커 리스트(638)에 추가한다. 상기 비과도적 리스트 상의 트래커들은 안정한 것으로 간주되며 후속하는 처리를 위해 이용된다.
병진 추정 구성 요소(608)는 상기 카메라 운동의 추적을 제공하도록 상기 비과도적 리스트(638) 상의 트래커들을 처리한다. 차량 운동이 엄격히 병진되는 것으로 가정할 경우, 회전 각도는 존재하지 않는다. 이만의 결과로, 상기 탑뷰 이미지 내의 수직 운동이 필요한 것으로 간주되어, 설명을 간단하게 한다. 상기 운동이 이가 상기 탑뷰 이미지의 y-축을 따른 이동에 대응되기 때문에 상기 탑뷰 이미지에 대한 수직 운동을 언급하는 점에 유의한다. 상기 탑뷰 이미지 내의 수직 운동은 상기 실제 상황에서 수평 운동에 대응될 수 있다. 상기 병진 추정 구성 요소(608)는 회전 각도로 인하여 회전 구성 요소를 추정하기 위한 기능성을 포함할 수 있다. 상기 탑뷰 이미지의 하부 절반 내의 대다수의 포인트들이 상기 지면에 속하는 것으로 더 가정된다. 이와 같이, 이들 포인트들의 병진운동(translation)은 상기 카메라의 운동을 결정하는 데 이용될 수 있다.
전술한 가정들로써, 상기 지반면을 위한 운동 추정은 간단히 상기 현재의 탑뷰 이미지의 하부 절반 내에 있는 상기 비과도적 트래커 리스트(638) 상의 모든 트래커들의 평균 수직 속도이다. 상기 현재의 탑뷰 이미지의 하부 절반 내의 추적된 포인트들의 대다수가 상기 지반면상에 있을 경우, 알고리즘은 정확한 장애물 거리들을 산출한다. 그러나, 상기 현재의 탑뷰 이미지들의 하부 절반 내의 상기 포인트들의 대다수가 상기 지반면 상부에 있을 경우, 상기 지면 속도 추정이 오버숏(overshot)이 될 수 있고, 이에 따라 계산된 장애물에 대한 카메라 거리도 오버숏될 수 있다.
상기 병진 추정 구성 요소(608)는 신뢰성 있는 거리 추정이 상기 비과도적 트래커들로부터 결정될 수 있는 점을 확보하기 위해 상기 비과도적 리스트(638) 상의 트래커들을 더 처리한다. 트래커 처리 구성 요소(640)는 상기 트래커들의 속도들에 기초하여 트래커들의 평균 겉보기 수직 및 완전성을 위한 수평 병진을 계산하기 위해 상기 탑뷰 이미지의 하부 절반 내의 상기 비과도적 트래커들을 저리할 수 있다. 상기 처리 구성 요소(640)는 또한 상기 지면 운동 또는 속도, 추정에 이용되는 두 불리언 플래그들(Boolean flags)을 설정한다. 제1 플래그는 isDefined(642)이고, 이는 신뢰성 있는 지면 병진 추정을 야기하도록 충분한 트래커들이 상기 탑뷰 이미지의 하부 절반 내에 있을 경우에 참으로 설정된다. 이는 다음과 같이 설정된다.
Figure 112014091958371-pct00036
여기서, N은 상기 탑뷰 이미지의 하부 절반 내에 위치하는 비과도적 트래커들의 숫자이다. N은 10 보다 크게 설정되지만, N에 대한 보다 작거나 보다 큰 다른 값들도 사용될 수 있는 점이 고려된다.
제2 플래그는 신뢰성 있는 지면을 벗어난 포인트 검출을 수득하도록 충분한 지면 운동이 상기 탑뷰 이미지의 하부 절반의 상기 비과도적 트래커들 내에 관찰될 경우에 isMoving이다. 이는 다음과 같이 설정된다.
Figure 112014091958371-pct00037
여기서, v y 는 상기 하부 절반의 비과도적 트래커들의 평균 수직 속도이다. 상기 칼만 필터는 Δt=0.1을 사용한다. 이와 같이, v y ＞10의 설정은 상기 수직 속도가 하나의 픽셀/프레임보다 큰 것으로 단언하는 점과 동등하다. 양의 수직 속도들만이 간주되며, 이와 같이, 상기 검출기는 자도차가 후진하는 때에만 활성화된다. '수직(vertical)'이 상기 탑뷰 이미지의 y-축 내의 이동을 언급하는 점에 유의한다.
상기 병진 추정 구성 요소(608)가 평균 수직 지면 속도뿐만 아니라 상기 플래그들 isMoving 및 isDefined의 설정을 제공하였으면, 지면을 벗어난 물체의 포인트들을 추적하는 상기 트래커들이 결정된다.
이러한 가정은 특정한 응용들을 위해 허용될 수 있지만, 다른 접근은 병진 운동 모델 변수들을 찾기 위해 RANSAC(랜덤 샘플 콘센서스(RANdom SAmple Consensus)) 방법을 이용한다. 상기 RANSAC 방법은 상기 지면 운동을 따르는 트래커들만을 포함하도록 상기 운동 모델로부터 이상점들(outliers)을 결정하고 제거할 수 있다.
상기 지면을 벗어난 포인트 검출기(610)는 상기 비과도적 트래커들을 처리하며, 지면을 벗어난 포인트들에 대응되는 것들을 결정한다. 상기 지면을 벗어난 포인트 검출은 각각의 비과도적 트래커가 상기 지면상에 있는지 또는 지면을 벗어난 지를 결정하는 단계로 구성된다. 상술한 바와 같이, 도 2, 도 3 및 도 4를 참조하면, 지면을 벗어난 포인트들은 지면상의 포인트들 보다 큰 속도를 가질 것이다. 이와 같이, 신뢰성 있는 지면 운동 추정 없이 지면을 벗어난 포인트들을 신뢰성 있게 검출하는 것이 가능하지 않을 수 있다. 이와 같이, 상기 isDefined 플래그가 설정되지 않을 경우, 상기 지면을 벗어난 포인트 검출이 수행되지 않는다.
isDefined가 설정되면, 지면을 벗어난 포인트들이 결정된다. v g 가 상기 병진 추정 구성 요소(608)에 의해 결정된 상기 추정된 평균 수직 지면 속도이고, v가 트래커의 수직 속도(620)인 것으로 가정하자. 이론상으로는, 지면을 벗어난 포인트들을 결정하기 위하여 v g ＞0에 대해서만이 필요하다. 그러나, 노이즈로 인하여, v g 가 일부 문턱 값보다 커야 한다. 이러한 조건은 상기 지면 운동 isMoving 플래그가 앞서 정의된 바와 같이 참일 때에 충족된다.
이론상으로는, 지면을 벗어난 포인트는 상기 조건 v/v g ＞1에 의해 표시된다. 즉, 상기 지면을 벗어난 포인트들은 상기 지면상의 것들보다 빠르게 이동하는 것으로 나타나지만, 근사 왜곡 모델 및 다른 노이즈로 인하여 문턱 값이 이용된다. 예를 들면, 지면을 벗어난 포인트들의 신뢰성 있는 검출은 v/v g ＞1.4를 이용하여 구현되었고, 이는 상기 카메라 높이의 절반 상부의 포인트들을 검출하는 것에 대응된다. 따라서 트래커는 다음의 경우에 "지면을 벗어난(off-ground)" 것으로 검출된다.
[식 (25)]
Figure 112014091958371-pct00038
여기서,
v g 는 상기 추정된 지면 속도이며,
v는 처리되는 상기 트래커의 추정된 속도이다.
상기 지면을 벗어난 포인트 검출기는 장애물을 나타내는 지면을 벗어난 포인트들에 대응되는 상기 트래커들을 결정한다. 지면을 벗어난 트래커들이 결정됨으로써, 실제 상황에서 대응되는 장애물들에 대한 거리가 결정될 수 있다.
상기 물체에 대한 거리 결정 구성 요소(612)는 각각의 상기 결정된 지면을 벗어난 포인트들의 대응되는 물체들에 대한 수평 거리를 결정한다. 결정되었던 포인트 트래커를 지면을 벗어난 포인트로 간주한다. 이는 상기 탑뷰 이미지 내의 현재의 수직 속도 v 및 위치 q를 가진다. 상기 수직 지면 속도는 다시 vg이다. H를 탑뷰 이미지 좌표들을 실제 좌표들로 변환하는 상기 호모그래피로 한다. 이러한 호모그래피는 상기 이미지 변환 구성 요소에 의해 이용되고, 이에 따라 이미 알려져 있다. 상기 지면을 벗어난 포인트들의 지면 투영의 위치는 균일한 실제 좌표들에서 다음과 같이 주어진다.
[식 (26)]
Figure 112014091958371-pct00039
여기서,
[식 (27)]
Figure 112014091958371-pct00040
이다.
상기 지면 투영의 실제 위치는 그러면 다음과 같이 주어진다.
[식 (28)]
Figure 112014091958371-pct00041
그러면, 전술한 바에 따라, 상기 카메라에 대한 지면을 벗어난 포인트의 실제 거리는 다음과 같이 주어진다.
[식 (29)]
Figure 112014091958371-pct00042
그리고, 상기 장애물에 대한 거리는 다음과 같이 주어진다.
[식 (30)]
Figure 112014091958371-pct00043
상기 물체에 대한 거리 결정 구성 요소(612)는 모든 지면을 벗어난 포인트들로부터의 물체에 대한 최소의 결정된 거리로 더 복귀할 수 있다. 달리 말하면, 이는 상기 카메라에 대한 가장 가까운 장애물로 돌아간다.
상술한 바는 카메라로부터 물체의 거리를 추정하기 위한 시스템들 및 방법들을 기술하였다. 위의 설명에서, 상기 카메라 위치의 병진들만이 상기 설명의 명확성을 위한 것으로 간주되었다. 상기 지면 운동 추정이 또한 상기 시스템들 및 방법들이 상기 자동차가 회전하고 후진하는 때에 물체에 대한 거리 추정을 제공하도록 회전들을 고려할 수 있는 점이 인식될 수 있을 것이다. 또한, 상술한 특정 실시예들 이외에도 다른 실시예들이 구현될 수 있는 점이 인식될 수 있을 것이다. 선택적인 실시예가 다음에 상세하게 기술된다. 후술하는 실시예에 있어서, 특징 포인트들은 '스냅숏들(snapshots)'에 걸쳐 추적된다. 스냅숏은 상기 카메라로부터의 입력 비디오의 선택된 프레임에 대응된다. 상기 스냅숏들은 상기 물체 위치들의 3차원적인 재구성을 위해 사용되는 프레임들 또는 이미지들이다. 스냅숏들을 이용함에 의해, 각각의 수집된 이미지에 걸쳐 특징들을 추적하는 것에 대응하면서, 상기 거리 추정이 추적된 포인트들 사이에 충분한 거리가 있을 것이기 때문에 상기 차량의 속도가 작은 경우에도 추정들을 제공할 수 있다.
도 9는 단일 카메라 장치로부터 수집된 이미지들로부터 장애물에 대한 거리를 결정하는 방법을 나타낸다. 상기 방법(900)은 상기 이미지 수집 장치로부터 이미지를 수신하고(902), 대응되는 탑뷰 이미지를 생성한다(904). 상기 탑뷰 이미지는 전술한 바와 같이 생성될 수 있다. 상기 현재의 탑뷰 이미지가 생성되면, 특징들이 추적된다(906). 상기 특징들은 이전의 탑뷰 이미지(908) 및 추적되는 이전의 특징들의 리스트(910)를 이용하여 추적된다. 상기 추적되는 특징들은 상기 특징들의 새로운 위치들을 추적하도록 새로운 탑뷰 이미지 내에 대해 조사된다. 상기 현재의 탑뷰 이미지 내에 상기 특징들이 추적된다면, 추적된 특징들의 현재의 특징 리스트가 생성된다(912). 상기 현재의 특징 리스트는 제거된 노이즈의 또는 불규칙한 특징들 및 추가된 추적에 적절한 새로운 특징들을 갖고 상기 이전의 특징 리스트에 기초할 수 있다. 상기 현재의 특징 리스트가 생성된다면, 스냅숏들이 관리된다(914).
스냅숏들은 새로운 스냅숏이 상기 현재의 탑뷰 이미지로부터 생성되어야 하는 지를 결정하기 위하여 관리된다. 상기 결정은 스냅숏이 생성되어야 하는 지 그렇지 않은 지에 관하여 상기 현재의 탑뷰 이미지와 상기 이전의 탑뷰 이미지 사이에서 추적된 상기 특징들이 운동의 평균에 기초하여 결정될 수 있다. 상기 특징들의 평균 운동이 문턱 값 위일 경우, 새로운 스냅숏이 생성된다. 상기 스냅숏들은 상기 지면 운동을 추정하고, 장애물들에 대한 거리 추정을 결정하는 데 사용된다. 이는 새로운 스냅숏이 생성되었는지 또는, 보다 상세하게는, 초기 스냅숏에 후속하는 새로운 스냅숏이 생성되었는지를 결정한다(916). 새로운 스냅숏이 생성되지 않을 경우(916에서 아니오(NO)), 상기 방법은 다른 이미지를 수신하도록(902) 돌아간다. 새로운 스냅숏이 생성될 경우(916에서 예(YES)), 그러면 상기 지면 운동을 위한 추정이 결정된다(918). 상기 지면 운동 추정은 스냅숏들에 걸친 상기 추적된 특징들의 운동에 기초하여 결정된다. 상기 지면 운동 추정들은 운동 변수 리스트를 생성하는 데 이용된다(920). 상기 운동 변수 리스트는 상기 스냅숏들 사이의 2차원적인 강체 변환의 변수들을 기술한다. 상기 운동 변수 리스트가 생성되면, 이는 현재에 추적되는(924) 특징들에 표기를 하는(922) 데 이용된다. 특히, 상기 특징 표기는 장애물들로 표기되는 지면을 벗어난 특징들을 결정한다. 상기 지면을 벗어난 특징들이 표기되면, 각각의 상기 물체 특징들에 대한 거리가 결정되고(926), 상기 가장 가까운 장애물에 대한 거리가 제공될 수 있다(928). 상기 방법(900)은 이후에 처리를 위해 다음 이미지를 수신한다(902).
도 10은 거리 추정 구성 요소의 다른 예시적인 실시예의 블록도이다. 상기 거리 추정 구성 요소(1000)는 상기 거리 추정 구성 요소(600)와 유사하지만, 이는 회전을 포함하는 지면 운동의 추정을 가능하게 하는 스냅숏 매니저 및 지면 운동 추정 모듈을 포함한다. 상기 거리 추정 시스템(1000)은 상기 이미지 수집 장치로부터 이미지를 수신하고, 대응되는 탑뷰 이미지를 생성하는 영상 변환 구성 요소(1002)를 포함한다. 상기 탑뷰 이미지들은 상술한 바와 같이 생성될 수 있다. 상기 탑뷰 이미지들은 상기 탑뷰 이미지들 내의 특징들을 찾아내고 추적하는 트래커 매니저 구성 요소(1004)에 제공된다. 상기 트래커 매니저(1004)는 상기 특징들을 추적하기 위한 복수의 트래커 구성 요소들(1006)을 이용할 수 있다. 상기 트래커 매니저(1004)는 상기 추적된 특징들을 새로운 스냅숏이 상기 현재의 탑뷰 이미지로부터 생성되어야 하는지를 결정하는 스냅숏 매니저 구성 요소(1008)에 제공한다. 새로운 스냅숏들이 생성될 때, 지면 운동 추정(ground motion estimation: GME) 구성 요소(1010)는 상기 스냅숏들로부터 지면 운동 변수들을 추정한다. 상기 지면 운동 변수들은 장애물 식별자(obstacle identifier) 구성 요소(1012)로 제공될 수 있다. 상기 장애물 식별자는 3차원적인 공간 내에서 각 추적된 특징을 찾아내고, 상기 특징이 장애물인지를 결정한다. 상기 특징이 장애물일 경우, 관련된 트래커의 상태가 이에 따라 설정될 수 있다.
도 10에 도시된 바와 같이, 상기 트래커 매니저 구성 요소(1004)는 복수의 트래커들(1006)을 관리한다. 각각의 상기 트래커들(1006)은 각 스냅숏 내의 상기 특징의 위치를 제공하는 스냅숏 벡터(snapshot vector)(1034)를 포함할 수 있고, 스냅숏들에 걸친 상기 특징의 운동의 표시를 제공한다. 상기 트래커들(1006)은 또한 상태(1036)를 포함할 수 있으며, 이는 상기 장애물 식별자 구성 요소(1012)에 의해 설정될 수 있다.
각각의 상기 트래커들(1006)은 연속적인 이미지들에 걸쳐 특징을 추적하는 데 이용되는 템플레이트 트래커(template tracker)일 수 있다. 각각의 상기 트래커들(1006)은 상기 특징을 둘러싸는 관심 영역인 윈도우(1032)를 포함한다. 상기 윈도우(1032)는 후속하는 이미지들 내의 특징에 대한 조사에서 템플레이트로 이용된다하기. 비록 다른 템플레이트 크기도 사용될 수 있지만. 15 x 15 픽셀 템플레이트 크기가 이용된다. 하나의 이미지로부터 다음까지 특징을 추적하기 위하여, 상기 새로운 이미지는 상기 이전의 프레임으로부터의 상기 특징의 템플레이트에 가장 잘 정합되는 픽셀들의 패치(patch)를 위해 조사된다. 이는 상기 새로운 이미지 상부로 상기 템플레이트를 슬라이딩시키고 상기 템플레이트와 상기 새로운 이미지 내의 패치 사이의 비유사성을 수량화하는 치수를 계산한다.
템플레이트와 조사되는 이미지를 취하고 비교 이미지로 돌려보내는 템플레이트 매칭 알고리즘이 사용될 수 있다. (x, y)에서 비교 이미지 값은 상기 템플레이트의 상부 좌측 코너가 (x, y)에 있을 때에 상기 템플레이트와 상기 이미지 사이의 비교 치수의 값이다. 픽셀들 사이의 제곱 차이들의 합이 상기 템플레이트 치수로 사용될 수 있다. 형식적으로, 상기 조사된 이미지 I 내의 (x, y)에 위치하는 상기 템플레이트 T에 대하여, 상기 제곱 차이들의 합은 다음과 같이 주어진다.
[식 (31)]
Figure 112014091958371-pct00044
상기 조사 이미지는 상기 이전의 이미지 내의 상기 템플레이트의 중심을 둘러싸는 31 x 31 픽셀 윈도우로 제한될 수 있다. 이는 전체 이미지들의 비용이 드는 조사뿐만 아니라 상기 프레임들 사이의 특징 변위들 상의 명백한 제한을 회피할 수 있도록 사용될 수 있다. 가장 작은 값을 갖는 상기 비교 이미지 내의 위치가 새로운 템플레이트 위치가 된다.
상술한 바와 같이, 트래커들(1006)은 연속적인 이미지들 내의 특징을 추적할 수 있다. 상기 트래커 매니저(1004)는 다음에 더 설명하는 바와 같이 상기 복수의 트래커들을 관리한다. 상기 트래커 매니저는 현재의 트래커들(1026)의 리스트를 유지한다. 상기 트래커 매니저(1004)는 각각의 연속적인 이미지들을 수신함에 따라 상기 트래커 관리를 수행한다. 트래커 업데이트 구성 요소(1020)는 상기 트래커 리스트(1026) 상의 상기 트래커를 업데이트한다. 상기 트래커들(1006)을 업데이트하는 것은 상기 트래커들이 상기 연속적인 이미지를 이용하여 추적되는 상기 특징의 위치를 업데이트하게 한다.
상기 리스트(1026) 상의 모든 트래커들이 업데이트되면, 트래커 삭제 구성 요소(1022)는 임의의 노이지 트래커들, 즉 불규칙하게 이동하는 트래커들뿐만 아니라 상기 이미지의 에지 부근에 있는 트래커들을 제거한다. 상기 트래커 삭제 구성 요소(1022)는 트래커들이 존재하거나 그렇지 않은 지를 나타내는 마스크인 트래커 맵(1028)을 업데이트한다. 예를 들면, 상기 트래커 맵(1028)은 어디든지 트래커가 존재하면 블랙이고, 트래커 윈도우들이 상기 영역을 차지하지 않을 경우에는 화이트인 이미지가 될 수 있다.
상기 트래커 제거 및 상기 트래커 맵의 업데이트 후에, 트래커 생성 구성 요소(1024)는 상기 현재 이미지 내의, 또는 보다 상세하게는 상기 트래커 맵(1028)에 의해 표시되는 바와 같이 트래커들이 현재에 존재하는 않는 경우에 상기 현재의 이미지의 일부 내의 추적되는 우수한 특징들을 검출하기 위해 상기 탑뷰 이미지를 처리한다. 추적하는 우수한 특징들의 검출은 다양한 방식들로 제공될 수 있다. 예를 들면, OpenCV(오픈 소스 컴퓨터 비전)이 상기 이미지 내의 추적되는 특징들로 처리되는 강한 코너들을 결정하는 기능 OpenCV::goodFeaturesToTrack()을 제공한다. OpenCV::goodFeaturesToTrack()를 포함하는 특징들을 결정하기 위한 일부 기능들은 상기 이미지 내의 추적되는 '가장 우수한' 특징을 제공할 수 있다. 이들 기능들은 어떤 문턱 값 위에 있을 경우에 특징을 제공하기만 하기 위하여 변경될 수 있다. OpenCV::goodFeaturesToTrack()의 경우. 상기 기능성이 변경되어 허용되는 상기 코너를 위한 품질 기준이 상기 가중 우수한 관찰된 코너에 대해 상대적이기 보다는 절대적이 된다. 이렇게 하여, 상기 트래커 맵의 나머지 것들 내에 우수한 코너들이 없을 경우에 코너들이 복귀하지 않는 반면, 이들이 변형(modification) 없이 복귀할 수 있게 한다. 각각의 우수한 추적되는 특징을 위하여, 새로운 트래커가 생성되며, 상기 트래커 리스트(1026)와 상기 트래커 맵(1028) 이에 따라 업데이트된다.
상기 트래커 매니저(1004)는 상기 업데이트된 트래커 리스트(1026)를 상기 스냅숏 기준을 관리하는 상기 스냅숏 매니저(1008)로 제공한다. 이미지들의 모든 쌍들이 3차원적인(3D) 재구성을 위해 적합한 것은 아니며, 두 장면들은 상기 두 이미지들 내의 포인트 대응들로부터 상기 카메라 운동을 충분히 추출할 수 있도록 구별되어야 한다. 정확하게는 상기 장면들을 어떻게 "구별되는" 가는 상기 장면 내의 상기 포인트들의 기하학적 구조 및 상기 추적 정확성에 의존하여야 한다. 상기 3차원적인 장면을 재구성하는 데 비디오의 어떤 프레임이 사용될 것인 지는 상기 스냅숏 매니저에 의해 선택된다. 상기 3차원 장면의 재구성에 이용되는 상기 선택된 이미지들은 스냅숏들로 언급된다.
개념적으로는, 스냅숏들이 생성되는 속도는 상기 자동차 속도에 비례하여야 한다. 즉, 스냅숏들은 상기 차량이 느리게 이동할 때 보다 상기 차량이 빠르게 이동할 때에 보다 자주 생성되어야 한다. 차량이 정지하는 한계에서는, 스냅숏들이 전혀 취해지지 않아야 한다.
충분한 포인트들이 추적되면, 초기 스냅숏이 생성된다. 각 연속적인 프레임에서, 상기 탑뷰 이미지 상의 포인트들은 이들이 장애물들로서 이전에 검출되었던 한 상기 지면상에 있는 것으로 가정되며, 전술한 바와 같이 상기 지반면과 상기 탑뷰 이미지 사이의 호모그래피를 통해 상기 지면상의 실제 좌표들로 변환된다. 상기 현재의 프레임과 상기 이전의 스냅숏 사이의 변위를 갖는 모든 특징들을 위하여, 0.1m 이상의 상기 평균 변위가 계산된다. 이러한 편향된 평균에 대한 이유는 예를 들면 지면 변위의 추정 내의 상기 차량의 그림자에 기인할 수 있는 정지한 포인트들을 포함하는 것을 방지하기 위한 것이다. 이러한 평균 변위가 특정한 문턱 값 위에 있을 경우, 새로운 스냅숏이 발생된다. 비록 다른 값들이 사용될 수 있지만, 0.2m의 평균 변위 문턱 값이 사용된다.
장애물들로서 이전에 검출되고 식별되었던 포인트들은 이들을 상기 지면에 간단하게 투영하고(즉, 이들의 Z 좌표를 0으로 설정하고) 상기 지반면과 상기 탑뷰 이미지 사이의 동일한 호모그래프 변환을 적용하여 상기 평균 변위 계산에 포함될 수 있다. 이렇게 하여 장애물이 상기 지면을 가리며 장면의 필드를 채울 경우, 차량 운동이 여전히 추정될 수 있다.
새로운 스냅숏이 생성되면, 상기 차량의 지면 운동이 추정될 수 있고 상기 재구성된 3차원적인 장면이 될 수 있으며, 이에 따라 존재하는 임의의 장애물들에 대해 추정된 거리를 얻게 된다.
상기 초기 스냅숏 이외에도 새로운 스냅숏이 생성되면, 상기 지면 운동의 추정을 결정하는 데 사용된다. 상기 지면 운동 추정은 이상점들을 포함할 수 있는 대응되는 특징들의 적절한 세트에 기초하여 강체 회전 변수들의 추정을 제공한다. 상기 지면 운동 변수들을 추정하기 위하여, 우수한 상기 지면 운동의 추정을 제공하도록 선택되는 추적된 특징들의 운동을 비교하기 위해 스냅숏들의 쌍들이 사용된다.
강한 지면 운동 추정을 구현하기 위하여, 어떤 스냅숏들이 다른 스냅숏들과 비교되어야 하는 지를 결정되어야 한다. 또한, 특징들이 상기 추정에 포함되어야 하는 주어진 두 스냅숏들이 결정되어야 한다. 또한, 상기 탑뷰 이미지 상의 주어진 특징들의 위치에서 상기 지반면에 대해 이의 대응 투영이 어떤 것인지가 결정되어야 한다. 이러한 정보가 결정되면, 상기 지면 운동의 추정이 결정될 수 있다.
이미지들이 수집됨에 따라, 스냅숏들이 하나의 스냅숏으로부터 다음까지 일정한 지면 변위, 예를 들면 0.2m을 유지하는 목적으로 선택된다. 따라서 상기 차량이 보다 빠르게 이동할수록, 보다 자주 스냅숏들이 취해지고 그 역으로도 된다.
스냅숏 선택 모듈에 의해 생성된 스냅숏들의 리스트를 {t0, t1,….tk}라 하며, 여기서 ti는 i th 스냅숏의 프레임 숫자이다. 가장 최근의 스냅숏 tk 내의 특징들의 3차원 위치를 얻기 위하여, 상기 지면 운동은 i=0…k를 위한 지면 운동 변수들 {θ i , tx i , ty i }의 리스트를 얻도록 스냅숏 쌍들 {tk, tk-1}, {tk, tk-2},….{tk, t0} 사이에서 추정된다. 상기 스냅숏들이 관찰된 지면 포인트 변위에 기초하여 취해졌기 때문에, 상기 현재의 스냅숏과 상기 과거의 스냅숏들 사이의 운동이 상기 3차원적인 재구성이 가능하도록 충분히 크게 될 것이다.
스냅숏들의 쌍 {tA, tB}를 고려하며, 여기서 tB＞tA이다. 모든 현재에 추적되는 특징들 중에서, 프레임 tA 이래로 존재하였던 것들만이 상기 스냅숏 쌍들을 위한 GME 특징 리스트를 형성한다. 상기 GME 특징 리스트의 각 특징은 tA 및 tB 사이의 각 스냅숏에서 지면 투영들 {gA j , gB j }를 가진다. 이러한 리스트로부터, 상기 두 이미지들 사이에서 충분히 이동하였던 특징들만이 상기 지면 운동 추정에 사용된다. 이는 상기 지면 운동 추정 내에 정지된 특징들을 포함하는 것을 회피하게 한다. 그러나, 밝은 빛들, 그림자들과 같이 대다수의 추적된 특징들이 정지하고 상기 차량 범퍼들이 자주 추적되는 점은 공통적이다. 0.1m의 최소 변위 문턱 값이 상기 GME 특징 리스트 상의 포함을 위하여 특징들을 선택하는 데 이용될 수 있다.
상기 특징들이 상기 GME 특징 리스트 상에 포함을 위해 선택되었다면, 이들은 픽셀들 내에서 상기 특징의 탑뷰 좌표들로부터 치수들에서 상기 지반면 좌표들로 변환된다. 주어진 상기 탑뷰 이미지 내의 픽셀 x로써, 상기 지면 g에 대한 이의 투영은 다음과 같이 주어진다.
[식 (32)]
g = H1 x
여기서, H1은 식 (9)에서 정의된 상기 탑뷰 대 지면 호모그래피이다. 이제, 이는 모든 특징들이 상기 지면상에 있었던 경우가 될 수 있다. 그러나, 상기 특징들의 대다수가 상기 지면 상부에 있고 이전에 검출되었던 점은 공통적이다. 이들 지면을 벗어난 특징들을 활용하기 위하여, 식 (32)는 지면을 벗어난 특징들을 사용할 때에 변형된다. 식은 다음과 같이 변형될 수 있다.
[식 (33)]
g = (1/sz)H1 x
여기서, sz는 식 (2)에서 주어진다.
상기 지반면에 투영된 상기 특징 위치들로써, 상기 지면 운동 변수들을 산정하는 것이 가능하다. 상술한 바와 같이, 상기 지면 운동은 2차원적인 강체 변환 {θ, tx, ty}, 즉, 다음과 같은 2차원적인 회전 Rθ 및 변환 t로 모델화될 수 있다.
[식 (34)]
Figure 112014091958371-pct00045
상기 강체 운동은 상기 현재 시간 (xA)에서의 차량부터 과거 (xB)의 어떤 시간에서 이의 위치까지 대하여 지면 포인트의 2차원적인 위치와 관련된다.
[식 (35)]
Figure 112014091958371-pct00046
적어도 두 지면 포인트들이 추적되는 경우, 알려지지 않은 운동 변수들 {θ, tx, ty}을 추정하는 것이 가능하다. 주어진 대응되는 지면 포인트들 {gA j , gB j }의 세트에서, gA j 는 상기 현재의 프레임에서 j th 특징의 2차원적인 지면 좌표들이고, gB j 는 과거의 어떤 프레임에서 이의 지면 좌표이다. 선택된 특징들의 세트 상의 선형 최소 제곱 정합(linear least squares fit)이 상기 지면의 근사치 아핀 변환 {α', β', tx', ty'}을 얻기 위해 수행될 수 있다.
[식 (36)]
Figure 112014091958371-pct00047
상기 아핀 모델은 초기 추측으로 {cos-1(α'), tx', ty'}를 이용하여 반복적인 뉴턴-가우스법(Newton-Gauss method)에 의해 실제 강체 운동 모델 {θ, tx, ty}로 리파인될 수 있다.
[식 (37)]
Figure 112014091958371-pct00048
상기 운동 추정 루틴이 RANSAC 프로세스에서 둘러싸일 수 있으므로 이상점들, 즉 부정확한 추적된 포인트들이 상기 초기 추정에 포함되지 않는다.
상기 운동 변수들이 산정되면, 실제 좌표들 내의 상기 특징 위치가 결정될 수 있다. 각각의 상기 추적된 특징들은 지면을 벗어난 특징이나 그렇지 않은 것으로 표기되고, 이가 지면을 벗어난 특징일 경우, 상기 카메라로부터 이에 대한 거리가 결정된다. 지면을 벗어난 특징들에 대한 거리가 설명되지만, 지면상의 특징들에 대한 거리도 전술한 과정을 이용하여 결정될 수 있는 점이 이해될 것이다.
전술한 바와 같이, 상기 카메라가 강체 운동 {θ, tx, ty}을 겪을 때, 상기 지면상으로 투영되는 상기 겉보기 물체 위치는 다음에 따라 이동한다.
[식 (38)]
Figure 112014091958371-pct00049
sz에 대한 최소 제곱 해(least squares solution)는 다음과 같이 주어진다.
[식 (39)]
Figure 112014091958371-pct00050
여기서,
Figure 112014091958371-pct00051
그러나, 이러한 수식이 유효하기 위하여, (a) 상기 지면 변위가 충분해야 하고, (b) 상기 특징 변위가 충분해야 하며, (c) 상기 특징들의 운동이 상기 지면의 운동과 일치해야 한다. 이들 기준들은 다음과 같이 수학적으로 표현될 수 있다.
(a) [식 (40)]
Figure 112014091958371-pct00052
(b) [식 (41)]
Figure 112014091958371-pct00053
(c) [식 (42)]
Figure 112014091958371-pct00054
여기서, ε과 εθ는 시스템 문턱 값들이고, 부등식 (39)의 좌측 항은 u 및 t 사이의 각도의 코사인이다. 상기 특징의 3차원적인 위치 및 후속하는 장애물 검출은 이들 기준들이 충족될 경우에만 이루어진다.
강체 운동들 {θi, t i,}, i=1…k의 세트와 {x0, x1,…, xk}의 상기 탑뷰 스냅숏들 내의 대응되는 포인트들을 갖는 특징을 고려하면, 모든 운동들에 대하여 sz를 위한 최소 제곱 해는 다음과 같다.
[식 (43)]
Figure 112014091958371-pct00055
여기서, 전술한 기준이 충족될 경우에
Figure 112014091958371-pct00056
및
Figure 112014091958371-pct00057
이고, 그렇지 않으면 0이다. sz를 위한 추정의 견고성을 증가시키기 위하여, RANSAC 프로세스는 상기 추정으로부터 이상점들을 제거할 수 있다.
그러면 상기 차량 좌표계 내의 상기 포인트의 위치는 다음과 같이 주어진다.
[식 (44)]
Figure 112014091958371-pct00058
상기 특징들은 장애물들로서 표기된 지면을 벗어난 특징들로 처리될 수 있다. 장애물은 상기 자동차에 대하여 충돌 영역 내에 있는 지면 상부의 특징으로 간주될 수 있다. 장애물들이 다른 방식들로도 정의될 수 있는 점을 인식할 수 있을 것이다. 이러한 영역은 차량 후방의 관심 체적에 의해 정의될 수 있다. 노이즈 및 추적 에러들로 인하여, 이러한 특징들을 어떻게 민감하게 검출할 수 있는 가에 관하여 실제적인 제한이 존재한다. 문턱 값 szMax=1.4가 정의되고 장애물들은 sz＞szMax를 갖는 임의의 특징으로 정의된다. 상기 문턱 값 szMax=1.4가 상기 카메라 높이 보다 0.28배 큰 높이를 갖는 장애물들을 검출하도록 이동된다. 따라서, 예를 들면, 지면에서 1m 벗어난 카메라를 위하여, 28㎝ 또는 그보다 높은 장애물이 검출될 수 있다. szMax에 대한 다른 문턱 값들로 사용될 수 있다.
장애물로 표기된 각 특징은 상기 차량 좌표계 내에 계산된 3차원적인 위치 P=[X, Y, Z]T를 가진다. 차량의 범퍼가 초기에 위치할 경우에 상기 차량에 대한 장애물의 거리는 ||Y||이다. 모든 장애물로부터 물체까지 상기 최소의 결정된 거리가 복귀할 수 있다. 달리 말하면, 이는 상기 카메라에 대해 가장 가까운 장애물로 돌아간다.
상술한 시스템들 및 방법들은 단일 카메라로부터 수집된 이미지들을 사용하여 카메라로부터 장애물에 대한 거리의 추정을 제공할 수 있다. 여기에 설시되는 시스템 및 방법들은 다양한 예들을 참조하여 기술되었다. 상술한 다양한 예들로부터의 구성 요소들이 함께 결합될 수 있거나, 상기 예들의 구성 요소들이 제거되거나 변형될 수 있는 점을 이해할 수 있을 것이다 전술한 바와 같이, 상기 시스템은 여기에 설시한 기능을 제공하기 위해 구성되는 처리 유닛 및 메모리 유닛을 포함하는 하나 이상의 하드웨어 구성 요소들 내에 구현될 수 있다. 더욱이, 예를 들면 전자 메모리 장치들, 자기 메모리 장치 및/또는 광학 메모리 장치들과 같은 컴퓨터 판독 가능 메모리가 여기에 설시되는 기능을 제공하도록 하나 이상의 하드웨어 구성 요소들을 구성하기 위한 컴퓨터 판독 가능한 명령들을 저장할 수 있다.

Claims (24)

  1. 자동차에 장착되는 카메라로부터 장애물에 대한 거리를 결정하기 위한 방법에 있어서,
    상기 카메라에 의해 수집되는 둘 이상의 연속적인 이미지들에 걸쳐 복수의 이미지 특징(image features)을 추적하는 단계;
    지면 운동 추정(a ground motion estimate)의 평균이 문턱 값 이상인 경우,
    상기 연속적인 이미지 중 가장 최근의 이미지를 스냅숏(snapshot)으로 식별하는 단계와,
    상기 카메라 이미지를 상부에서 촬영한 것으로 보이도록 변환함으로써 탑뷰 이미지(top-view image)를 생성하는 단계와,
    상기 탑뷰 이미지의 하부 절반 내에 존재하는 복수의 추적된 이미지 특징의 수직 운동에 기초하여 지면 운동 추정을 결정하는 단계;
    상기 둘 이상의 연속적 이미지에 걸쳐 추적된 상기 복수의 이미지 특징의 각각의 운동 및 상기 지면 운동 추정에 기초하여 지면을 벗어난 특징(offground features)으로서 상기 복수의 추적된 이미지 특징을 식별하는 단계 - 식별된 상기 복수의 지면을 벗어난 특징 각각은 지표면(ground surface)의 위 또는 아래의 물체의 적어도 일부에 대응함 -; 및
    상기 복수의 이미지 특징의 상기 복수의 지면을 벗어난 특징 각각에 대하여, 상기 탑뷰 이미지에서 상기 각각의 지면을 벗어난 특징의 운동 및 상기 지면 운동 추정에 기초하여 상기 각각의 지면을 벗어난 특징에 대응하는 상기 물체의 일부로부터 상기 카메라까지의 거리를 계산하는 단계
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    새로운 스냅숏을 식별하는 단계를 더 포함하되,
    상기 새로운 스냅숏을 식별하는 단계는,
    상기 연속적인 이미지의 다음의 이미지와 최근의 식별된 스냅숏 사이의 추적된 이미지 특징의 평균 변위가 다른 문턱 값 이상인지를 결정하는 단계;
    상기 평균 변위가 상기 다른 문턱 값 이상이면 상기 연속적인 이미지의 다음의 이미지를 상기 새로운 스냅숏으로서 식별하는 단계; 및
    상기 새로운 스냅숏이 식별되는 경우 상기 새로운 스냅숏을 사용하여 상기 지면 운동 추정을 결정하는 단계
    를 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 평균 변위는 최소 문턱 값 이상의 변위를 갖는 추적된 이미지 특징을 이용하여 결정되는
    방법.
  4. 제 2 항에 있어서,
    둘 이상의 연속적인 스냅숏에 걸쳐 추적된 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하는 단계를 더 포함하는
    방법.
  5. 제 4 항에 있어서,
    상기 지면 운동 추정을 결정하는 단계는,
    현재의 스냅숏과 하나 이상의 이전의 스냅숏 사이의 운동을 기술하는 지면 운동 변수의 추정을 결정하는 단계를 포함하고,
    상기 지면 운동 변수는 {θ, tx, ty}에 기초하여 2차원적인 강체 변환(rigid transformation)을 정의하며,
    여기서,
    θ는 상기 카메라의 회전이고,
    tx는 제1 방향으로의 상기 카메라의 병진운동(translation)이며,
    ty는 상기 제1 방향에 직교하는 제2 방향으로의 상기 카메라의 병진운동인 방법.
  6. 제 5 항에 있어서,
    상기 지면 운동 변수의 추정을 결정하는 단계는,
    상기 지면 운동 추정을 결정하는 데 사용되는 상기 복수의 추적된 이미지 특징의 선형 최소 제곱 정합(linear least squares fit)을 이용하여 근사치 아핀 변환(approximate affine transformation)으로서 지면 운동의 근사치를 구하는 단계; 및
    반복적인 뉴턴 가우스법(NewtonGauss method)을 이용하여 상기 근사치 아핀 변환을 리파인하는(refining) 단계를 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 지면을 벗어난 특징을 식별하는 단계는 연속적인 이미지에 걸친 상기 각각의 이미지 특징의 운동이 상기 지면 운동 추정 보다 큰 경우에 지면을 벗어난 특징으로서 각각의 이미지 특징을 식별하는 단계를 포함하는
    방법.
  8. 제 1 항에 있어서,
    상기 둘 이상의 연속적인 이미지에 걸쳐 추적된 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하는 단계를 더 포함하는
    방법.
  9. 제 1 항에 있어서,
    상기 지면 운동 추정을 결정할 시에 사용하기 위한 스냅숏으로서 상기 연속적인 이미지 중 하나의 이미지를 식별하는 단계를 더 포함하는
    방법.
  10. 제 9 항에 있어서,
    둘 이상의 연속적인 스냅숏에 걸쳐 추적된 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하는 단계를 더 포함하는
    방법.
  11. 제 1 항에 있어서,
    지면을 벗어난 특징을 식별하는 단계는 연속적인 이미지에 걸친 각각의 이미지 특징의 운동이 상기 지면 운동 추정보다 크면 상기 각각의 이미지 특징을 지면을 벗어난 특징으로서 식별하는 단계를 포함하는
    방법.
  12. 메모리 내에 저장된 명령들을 수행하고, 자동차에 장착되는 카메라로부터 장애물에 대한 거리를 결정하는 프로세서에 있어서,
    상기 명령들은 상기 프로세서가,
    위에서 촬영한 것처럼 보이도록 카메라 이미지를 변환함으로써 상기 카메라로부터 탑뷰 이미지를 생성하고,
    상기 탑뷰 이미지에 대한 지면 운동 추정의 평균이 문턱 값 이상이면 둘 이상의 연속적인 탑뷰 이미지에 걸쳐 복수의 이미지 특징을 추적하고,
    상기 둘 이상의 연속적인 탑뷰 이미지에 걸쳐 추적된 상기 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하고,
    상기 지면 운동 추정 및 상기 둘 이상의 탑뷰 이미지에 걸쳐 추적된 상기 복수의 이미지 특징의 각각의 운동에 기초하여 상기 추적된 복수의 특징을 지면을 벗어난 특징으로 식별하며 - 식별된 상기 복수의 지면을 벗어난 특징 각각은 지표면 위 또는 아래의 물체의 적어도 일부에 대응함 - ,
    상기 복수의 이미지 특징의 상기 지면을 벗어난 특징 각각에 대하여, 상기 탑뷰 이미지 내의 각각의 지면을 벗어난 특징의 운동 및 상기 지면 운동 추적에 기초하여 상기 각각의 지면을 벗어난 특징에 대응하는 상기 물체의 일부로부터 상기 카메라까지의 거리를 계산하도록 구성하는
    프로세서.
  13. 제 12 항에 있어서,
    상기 명령들은, 상기 프로세서에 의해 수행될 때에, 상기 프로세서가 상기 카메라에 의해 수집된 개개의 이미지에 대하여 지반면(ground-plane)에 상기 이미지를 투영하여 대응되는 연속적인 이미지를 생성하도록 더 구성하는
    프로세서.
  14. 제 12 항에 있어서,
    상기 명령들은, 상기 프로세서에 의해 수행될 때에, 상기 프로세서가 상기 연속적인 탑뷰 이미지의 하나 이상의 이미지로부터 하나 이상의 스냅숏을 생성하도록 더 구성하는
    프로세서.
  15. 제 14 항에 있어서,
    새로운 스냅숏을 생성하는 것은,
    상기 연속적인 탑뷰 이미지의 다음의 이미지와 최근의 스냅숏 사이의 추적된 이미지 특징의 평균 변위가 문턱 값 이상인지를 결정하는 것; 및
    상기 평균 변위가 문턱 값 이상인 경우에 상기 연속적인 탑뷰 이미지의 상기 다음의 이미지의 상기 새로운 스냅숏을 생성하는 것을 포함하는
    프로세서.
  16. 제 15 항에 있어서,
    상기 평균 변위는 최소 문턱 값 이상의 변위를 갖는 추적된 이미지 특징을 이용하여 결정되는
    프로세서.
  17. 제 15 항에 있어서,
    상기 명령들은, 상기 프로세서에 의해 수행될 때에, 상기 프로세서가 둘 이상의 연속적인 스냅숏에 걸쳐 추적된 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하도록 더 구성하는
    프로세서.
  18. 제 17 항에 있어서,
    상기 지면 운동 추정을 결정하는 것은,
    현재의 스냅숏과 하나 이상의 이전의 스냅숏 사이의 운동을 기술하는 지면 운동 변수의 추정을 결정하는 것을 포함하고,
    상기 지면 운동 변수는 {θ, tx, ty}에 기초하여 2차원적인 강체 변환을 정의하며,
    여기서,
    θ는 상기 카메라의 회전이고,
    tx는 제1 방향으로의 상기 카메라의 병진운동이며,
    ty는 상기 제1 방향에 직교하는 제2 방향으로의 상기 카메라의 병진운동인
    프로세서.
  19. 제 18 항에 있어서,
    상기 지면 운동 변수의 추정을 결정하는 것은,
    상기 지면 운동 추정을 결정하는 데 사용되는 상기 복수의 추적된 이미지 특징의 선형 최소 자승 정합을 이용하여 근사치 아핀 변환으로서 지면 운동의 근사치를 구하는 것; 및
    반복적인 뉴턴 가우스 법을 이용하여 상기 근사치 아핀 변환을 리파인하는 것을 포함하는
    프로세서.
  20. 제 16 항에 있어서,
    상기 지면을 벗어난 특징을 식별하는 것은 연속적인 이미지에 걸친 각각의 이미지 특징의 운동이 상기 지면 운동 추정 보다 큰 경우에 상기 지면을 벗어난 특징으로서 상기 각각의 이미지 특징을 식별하는 것을 포함하는
    프로세서.
  21. 제 13 항에 있어서,
    상기 명령들은, 상기 프로세서에 의해 수행될 때에, 상기 프로세서가 상기 연속적인 이미지의 하나 이상의 이미지로부터 하나 이상의 스냅숏을 생성하도록 더 구성하는
    프로세서.
  22. 제 16 항에 있어서,
    상기 명령들은, 상기 프로세서에 의해 수행될 때에, 상기 프로세서가 둘 이상의 연속적인 스냅숏에 걸쳐 추적된 복수의 이미지 특징의 운동에 기초하여 상기 지면 운동 추정을 결정하도록 더 구성하는
    프로세서.
  23. 제 15 항에 있어서,
    상기 지면을 벗어난 특징을 식별하는 것은 연속적인 이미지에 걸친 각각의 이미지 특징의 운동이 상기 지면 운동 추정보다 크면 상기 각각의 이미지 특징을 지면을 벗어난 특징으로서 식별하는 것을 포함하는
    프로세서.
  24. 장애물에 대한 거리를 결정하기 위한 시스템에 있어서,
    자동차에 장착되는 카메라;
    명령들을 저장하기 위한 메모리; 및
    명령들을 수행하고, 상기 자동차에 장착될 때에 상기 카메라로부터 장애물까지의 거리를 결정하기 위한 프로세서를 포함하며,
    상기 명령들은 상기 시스템이
    둘 이상의 연속적인 이미지에 걸쳐 복수의 특징을 추적하고,
    사전 지정된 수의 상기 복수의 이미지 특징이 추적되고 적어도 상기 둘 이상의 연속적인 이미지 내의 상기 복수의 추적된 이미지 특징 간에 사전 지정된 양의 변위가 존재하면,
    상기 연속적인 이미지 중 적어도 두 개의 이미지에 걸쳐 추적되는 상기 복수의 추적된 이미지 특징의 운동에 기초하여 지면 운동 추정을 결정하고,
    둘 이상의 연속적인 이미지에 걸쳐 추적된 상기 복수의 이미지 특징의 각각의 운동 및 상기 지면 운동 추정에 기초하여 상기 복수의 추적된 이미지 특징을 지면에서 벗어난 특징으로서 식별하며 - 식별된 상기 복수의 지면에서 벗어난 특징 각각은 지표면 위 또는 아래의 물체의 적어도 일부에 대응함 -,
    상기 복수의 이미지 특징의 상기 복수의 지면에서 벗어난 특징 각각에 대하여, 지반면에 투영되는 상기 카메라에 의해 수집된 상기 이미지 내의 각각의 지면에서 벗어난 특징의 운동 및 상기 지면 운동 추정에 기초하여 상기 각각의 지면에서 벗어난 특징에 대응하는 상기 물체의 일부로부터 상기 카메라까지의 거리를 계산하도록 구성하는
    시스템.
KR1020147027202A 2012-02-28 2013-02-27 단일-카메라 거리 추정 KR101961001B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/208,919 2012-02-28
US13/208,919 US10008002B2 (en) 2012-02-28 2012-02-28 Single-camera distance estimation
PCT/CA2013/000172 WO2013126989A1 (en) 2012-02-28 2013-02-27 Single-camera distance estimation

Publications (2)

Publication Number Publication Date
KR20150008056A KR20150008056A (ko) 2015-01-21
KR101961001B1 true KR101961001B1 (ko) 2019-03-21

Family

ID=49002455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147027202A KR101961001B1 (ko) 2012-02-28 2013-02-27 단일-카메라 거리 추정

Country Status (4)

Country Link
US (1) US10008002B2 (ko)
KR (1) KR101961001B1 (ko)
CN (1) CN104204721B (ko)
WO (1) WO2013126989A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
GB2579445B (en) 2013-03-12 2020-09-16 Opternative Inc Computerized refraction and astigmatism determination
US9322647B2 (en) 2013-03-28 2016-04-26 International Business Machines Corporation Determining camera height using distributions of object heights and object image heights
US9305219B2 (en) * 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
US9165361B1 (en) * 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
JP6192853B2 (ja) * 2014-12-19 2017-09-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
EP3048558A1 (en) * 2015-01-21 2016-07-27 Application Solutions (Electronics and Vision) Ltd. Object detecting method and object detecting apparatus
US9532709B2 (en) 2015-06-05 2017-01-03 Jand, Inc. System and method for determining distances from an object
US9770165B2 (en) 2015-08-13 2017-09-26 Jand, Inc. Systems and methods for displaying objects on a screen at a desired visual angle
US10962363B2 (en) 2016-01-25 2021-03-30 Topcon Positioning Systems, Inc. Method and apparatus for single camera optical measurements
JP6564713B2 (ja) * 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10914813B2 (en) * 2018-08-21 2021-02-09 Aptiv Technologies Limited Classifying potentially stationary objects tracked by radar
CN111353337A (zh) * 2018-12-21 2020-06-30 厦门歌乐电子企业有限公司 一种障碍物识别装置及方法
US20220218198A1 (en) * 2019-03-15 2022-07-14 Biotrillion, Inc. Method and system for measuring pupillary light reflex with a mobile phone
US11248914B2 (en) * 2019-06-20 2022-02-15 Lyft, Inc. Systems and methods for progressive semantic mapping
JPWO2021246107A1 (ko) * 2020-06-05 2021-12-09
CN117893695B (zh) * 2024-03-15 2024-06-04 浙江托普云农科技股份有限公司 任意株高三维重建方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154068A1 (en) 2006-01-04 2007-07-05 Mobileye Technologies, Ltd. Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
US20120262543A1 (en) 2011-04-13 2012-10-18 Chunghwa Picture Tubes, Ltd. Method for generating disparity map of stereo video
US20140169627A1 (en) 2011-04-25 2014-06-19 Magna International Inc. Image processing method for detecting objects using relative motion

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
WO1998017068A1 (en) * 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
KR20040050739A (ko) * 2002-12-09 2004-06-17 한국전자통신연구원 모바일 레이저 스캐닝 데이터를 이용한 3차원 지형지물추출 및 분류 시스템 및 그 방법
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4978938B2 (ja) * 2006-09-13 2012-07-18 パイオニア株式会社 距離測定装置及び方法、並びにコンピュータプログラム
CN101441073A (zh) * 2007-11-23 2009-05-27 佛山市顺德区顺达电脑厂有限公司 车距侦测装置与方法
JP5414673B2 (ja) * 2008-07-07 2014-02-12 三菱電機株式会社 車両走行環境検出装置
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
FR2938228B1 (fr) * 2008-11-10 2010-11-05 Peugeot Citroen Automobiles Sa Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
CN201380816Y (zh) * 2008-12-29 2010-01-13 广东铁将军防盗设备有限公司 自动导航汽车和车辆避障告警系统及其相应的电路
US8676466B2 (en) * 2009-04-06 2014-03-18 GM Global Technology Operations LLC Fail-safe speed profiles for cooperative autonomous vehicles
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154068A1 (en) 2006-01-04 2007-07-05 Mobileye Technologies, Ltd. Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
US20120262543A1 (en) 2011-04-13 2012-10-18 Chunghwa Picture Tubes, Ltd. Method for generating disparity map of stereo video
US20140169627A1 (en) 2011-04-25 2014-06-19 Magna International Inc. Image processing method for detecting objects using relative motion

Also Published As

Publication number Publication date
KR20150008056A (ko) 2015-01-21
CN104204721B (zh) 2017-09-12
WO2013126989A1 (en) 2013-09-06
US10008002B2 (en) 2018-06-26
US20130222589A1 (en) 2013-08-29
CN104204721A (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
KR101961001B1 (ko) 단일-카메라 거리 추정
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US10762643B2 (en) Method for evaluating image data of a vehicle camera
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6514624B2 (ja) 障害物検知装置
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN107111879B (zh) 通过全景环视图像估计车辆自身运动的方法和设备
Akbarzadeh et al. Towards urban 3d reconstruction from video
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
EP2948927B1 (en) A method of detecting structural parts of a scene
US9858640B1 (en) Device and method for merging 3D point clouds from sparsely distributed viewpoints
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
JP4480083B2 (ja) 物体認識装置
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
KR101551026B1 (ko) 차량 검출 방법
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
Barth et al. Vehicle tracking at urban intersections using dense stereo
Bok et al. Capturing city-level scenes with a synchronized camera-laser fusion sensor
Nedevschi et al. Improving accuracy for Ego vehicle motion estimation using epipolar geometry
Engler et al. Recursive 3D scene estimation with multiple camera pairs
Dankers et al. Active vision for road scene awareness

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right