KR20190059894A

KR20190059894A - 카메라 영상에서 대상의 감지

Info

Publication number: KR20190059894A
Application number: KR1020197005955A
Authority: KR
Inventors: 미하엘 발터
Original assignee: 콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date: 2016-09-29
Filing date: 2017-09-28
Publication date: 2019-05-31
Anticipated expiration: 2037-09-28
Also published as: CN109791607A; EP3520024B1; KR102491527B1; JP7050763B2; WO2018059631A1; US10984263B2; US20190180121A1; DE112017003466A5; CN109791607B; EP3520024A1; JP2019530924A; DE102016218852A1

Abstract

본 발명은 카메라에서 나온 영상에서 대상을 인식하는 방법과 장치에 관한 것으로서 특히 카메라에 기반을 둔 운전자 지원 시스템에서 사용될 수 있다.
차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는 방법은 다음의 단계로 구성된다:
a) 차량 카메라를 사용하여 연속적인 영상 촬영,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 면을 공간 내에서 결정,
f) 단계 d)에서 결정한 투영면을 고려하여 대상의 감지.
선호하는 모델 형태에 따르면 이 방법은 다음의 단계로 이루어져 있다:
c) 여러 투영면을 결정하기 위한, 인접한 상태의 대응하는 특징에 대한 호모그래피 행렬의 계산; 및/또는
d2) 지면이나 후면, 또는 측면 투영면 각각에 인접한 상태의 대응하는 특징 할당.
본 발명에 따른 방법은 아주 빠르게 진행되므로 거의 모든 영상에 대한 포괄적인 대상 인식 또는 장면 해석이 실시간으로 이루어질 수 있다.

Description

카메라 영상에서 대상의 감지

본 발명은 카메라에서 나온 영상에서 대상을 인식하는 방법에 관한 것으로서 특히 카메라에 기반을 둔 운전자 지원 시스템에서 사용될 수 있다.

최신 기술 수준에 따른 차량 인식 시스템은 대부분 분류에 기반을 두고 있다. 분류에 기반을 둔 시스템은 자신의 훈련 데이터에서 보았던 차량 또는 차량의 구성품을 다시 인식할 수 있다. 하지만 새로운 차량 디자인 및 변화하는 어셈블리로 인해 시스템의 성능이 상당히 저하될 수 있으므로 대상 인식에 대한 포괄적인 접근법이 필요하다.

US 2014/0161323 A1은 모노 카메라로 촬영하는 영상에서 도로 환경의 고밀도 삼차원 구조를 생성하는 방법을 보여준다.

EP 2 993 654 A1는 카메라 영상에서 전면 충돌 경고(FCW)를 발령하는 방법을 보여준다. 여기서는 자기 차량이 사전에 설정된 시간 주기로 도달하는 영상 단면을 분석한다. 거기서 어떤 대상을 인식하는 즉시 충돌 경고가 출력된다.

본 발명의 과제는 대상을 포괄적으로 인식하기 위한 방법을 진술하는 것이다.

본 발명의 출발점은 다음의 숙고에 그 근거를 두고 있다: 두 프레임(개별 영상)의 카메라 위치를 알고 있으면, 점 대응(대응하는 점)이 삼각화되지만, 이 삼각형이 점구름을 유의미한 대상으로 군집화할 있을 모델 인식을 하지 않기 때문에 어떠한 대상도 생성되지 않는다. 단안 시스템의 단점은 대상이 등극점(epipole) 근처에서 부정확하게만 삼각화되고 거기서는 자기 동작(카메라 자기 동작)에서의 극히 작은 오류도 인식할 수 있다는 점이다.

등극점이란 첫 번째 카메라 영상의 화점을 가리키는 바, 이 화점에서 카메라의 원점이 두 번째 시점에 사상된다. 예를 들어 직선 주행 시 소실점이 등극점에 해당한다. 하지만 이 점은 정지하고 있거나 또는 선행하는 차량과의 충돌을 인식하는 데 주요한 영역이다. 동적인 대상이 등극선 기하학에 따라 움직이면, 이 대상을 삼각화할 수 있다. 하지만 상대속도를 알 수 없기 때문에 이 대상이 너무 가까이 또는 너무 멀리 있는 것으로 평가된다.

개별적인 대응물 대신 인접한 여러 대응물(대응하는 특징)을 고려하면, 상이한 속도, 배율화 및 변형을 기초로 하여 대상이 세그먼트화된다.

차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는, 본 발명에 따른 방법은 다음의 단계로 구성된다:

a) 차량 카메라를 사용하여 연속적인 영상 촬영,

b) 연속하는 두 영상에서 대응하는 특징의 식별,

d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 면을 공간 내에서 결정 및

f) (단계 d)에서 결정한 투영면을 고려하여 대상 감지.

차량의 주변을 촬영하도록 차량 카메라를 고안하는 것이 유리하다. 여기서 주변이란 특히 차량의 전방에 위치한 주변을 의미한다. 대개의 경우 차량 카메라는 운전자 지원 장치에 내장되어 있거나 또는 이 장치와 연결될 수 있는 바, 여기서 그 운전자 지원 장치는 무엇보다도 차량 카메라 시스템이 제공한 영상 데이터에서 대상을 인식하도록 고안되어 있다. 차량 카메라 시스템은 차량의 실내에서 윈드실드 뒤에 배치될 수 있고 카메라는 주행 방향을 향하도록 하는 것이 유리하다. 차량 카메라로서 모노 카메라를 사용하는 것을 특히 유리하다.

특정한 또는 알려진 시점에, 연속적인 영상의 토대가 되는 개별 영상을 차량 카메라로 촬영하는 것이 유리하다.

대응이라고 함은 첫 번째 영상에 있는 어떤 특징이 두 번째 영상에 있는 그 특징과 일치한다는 것을 의미한다. 두 번째 영상에 있는 대응하는 특징은 그 특징이 영상 내에서 어떻게 움직였나를 나타내는 흐름 벡터로서도 설명될 수 있다. 특징이란 특히 어떤 영상 단면 (또는 패치), 화소, 모서리 또는 구석일 수 있다.

또는 단계 d)를 다음과 같이 설명할 수 있다: 인접한 상태에서 대응하는 여러 개의 특징이 각각 위치해 있거나 위치하게 되는 여러 투영면의 식별.

단계 d)에는 다수의 투영면이 공간 내에 주어지며 인접한 상태에서 대응하는 여러 특징이 주어진 투영면 각각에 할당된다는 것도 포함된다(아래의 단계 d2 참조).

본 발명에서 "투영면"이란 개념은 다음의 관계를 설명한다: 한편으로는 인접한 상태에서 대응하는 특징의 집적을 위한 기준. 다시 말하여, 이러한 특징은 자신이 공간 내에서 어떤 공동의 투영면에 위치하고 투영면의 움직임에 따라 시간적으로 전개될 때 관계가 있는 것으로 간주된다.

그 다음 이러한 방식으로 집적된 상태의 대응하는 특징을 예컨대 "지면 투영면"이라고도 칭하는 바, 왜냐하면 이러한 특징이 모두 차도 투영면에 해당하는 투영면에 위치해 있기 때문이다. 하지만 그러한 지면 투영면은 무한히 뻗지 않고, 실제로 대응하는 특징이 할당되어 있는 투영면의 부분 영역을 의미한다.

단계 f)에서 "...을 고려하여"라는 표현은 대상을 감지할 때 단계 d)에서 결정한 여러 투영면을 고려한다는 의미이다. 이는 예컨대 알려진 지면 투영면에서 도로 가설이 도출될 수 있고 후면 투영면이나 측면 투영면에서 돌출한 대상에 대한 대상 가설이 생성되는 방식으로 일어날 수 있다. 이미 차도 가설과 돌출한 대상에 대한 대상 가설에서 빈 공간 감지가 이루어질 수 있는 바, 이러한 감지는 차량 주변의 어떤 빈 공간을 현재 주행할 수 있는가를 알려준다. 빈 공간 감지는 예를 들어 차선 표시의 인식에 의존하지 않는 차도 가장자리를 감지하는 데 유용하다.

"대상의 감지"라는 표현은 예를 들어 대상 가설 또는 대상의 생성을 의미할 수도 있다.

선호하는 모델 형태에 따르면 이 방법은 다음의 단계로 이루어져 있다:

c) 여러 투영면을 결정하기 위한, 인접한 상태의 대응하는 특징에 대한 호모그래피 행렬의 계산.

호모그래피 행렬로 두 카메라 위치 사이의 투영면에 있는 점의 대응물이나 또는 차량 카메라로 촬영한 연속하는 두 영상에 있는 두 점의 대응물을 기술할 수 있다. 따라서 인접한 상태의 대응하고 있는 특징에 대한 호모그래피 행렬을 계산하여 공간 내의 각 투영면에 대응하는 인접한 특징을 할당할 수 있다(단계 d 참조).

이 방법은 다음의 단계로 이루어져 있어 유리하다:

e) 계산한 호모그래피 행렬을 이용한, 대응하는 특징의 세그먼트화.

특히 계산한 호모그래피 행렬을 이용하여 대응하는 특징을 세그먼트화할 수 있으므로, 상이한 세그먼트에 할당할 수 있다. 그 다음 단계 f)에서 세그먼트화된 특징을 고려하여 대상을 감지할 수 있게 된다.

본 발명에 따른 또 다른 유용한 형태에는 단계 d2)가 포함되어 있다: 지면이나 후면, 또는 측면 투영면 각각에 인접한 상태의 대응하는 특징 할당. x-방향이 수평 또는 측면 방향이고 y-방향이 수직 방향이며 z-방향이 차량의 길이 방향을 가리키는 좌표계인 경우, 일반적으로 지면 투영면은 y-방향으로 지정되고 후면 투영면은 z-방향으로 지정되며 측면 투영면은 x-방향으로 지정될 수 있다.

지면, 후면 및 측면 투영면의 호모그래피 행렬을 계산하여 인접한 상태의 특징을 이 투영면 중 하나에 대응시킬 수 있다.

무엇보다도 후면 투영면에 대해서는 방정식 (10)에 따라, 지면 투영면에 대해서는 방정식 (9)에 따라, 그리고 측면 투영면에 대해서는 방정식 (11)에 따라 호모그래피 행렬을 계산할 수 있다.

여기서 a, b, c는 상수이고, x₀, y₀, x₁, y₁은 시점 t-0에 촬영한 첫 번째 영상(색인 0)에서와 그 이전의 시점 t-1에 촬영한 두 번째 영상(색인 1)에서의 대응물을 가리키며, t_x, t_y, t_z는 벡터 t/d의 성분이다. t는 차량 카메라의 병진을 가리키고 d는 투영면(이 투영면에 대해 수직)에 대한, 다시 말하여 이 투영면의 법선 벡터에 따른 거리를 가리킨다. 이하에서 성분 t_x, t_y또는 t_z를 "역 TTC"라고도 표기한다. TTC는 '충돌까지의 시간'(Time to collision)의 약자이며, 이는 어느 한 공간 방향에서 병진 속도로 나눈 간격을 의미한다.

유용한 또 다른 형태에 따르면, 정위가 동일한 여러 투영면이 나타나면, 정위가 동일한 그 투영면을 해당t_x, t_y, t_z값을 이용하여 분리할 수 있다. 예를 들어, z-방향에서 차량 카메라와 떨어진 거리가 상이한 두 개의 후면 투영면을 상이한 t_z값을 통해 서로 구별할 수 있다.

특히 격자에 의해 영상을 동종의 셀로 세분할 수 있으며 각 셀에 대해 거기서 식별한 대응하는 특징에서 호모그래피 행렬을 계산할 수 있다. 그 다음 호모그래피 형렬이 일치하는 셀을 군집화할 수 있다.

특히, 첫 번째 셀의 계산한 호모그래피 행렬이 인접한 셀의 호모그래피 행렬과 충분히 일치하지 않은 경우, 투영면의 경계를 식별하기 위해 대응하는 각 특징의 소위 말하는 역투영 오류를 고려할 수 있다는 장점이 있다.

대응하는 특징을 역투영 오류에 의해 평가할 수 있다. 역투영 오류는 측정한 흐름과 계산한 호모그래피 행렬에서 예측한 흐름 사이의 차이를 나타낸다. 달리 표현하자면, 어느 한 투영면의 역투영 오류는 시점 t-0의 어느 한 점 x와 이 투영면의 호모그래피 행렬에 따라 사상된, 그 이전의 시점 t-1에 대응하는 점의 차이를 의미한다(아래 참조: 방정식 4).

첫 번째 셀에 있는 어떤 대응하는 특징의 역투영 오류를 인접한 셀의 호모그래피 행렬에서 나온 역투영 오류와 비교하고 대응하는 이 특징을 오류가 가장 적은 호모그래피 행렬에 할당하면, 첫 번째 셀 내에서 투영면의 경계를 (또는 세그먼트의 경계나 클러스트의 경계를) 정밀화할 수 있다. 이러한 방식으로 어떤 셀의 대응하는 상이한 특징을 상이한 투영면에 할당할 수 있다.

특히 인접한 상태의 대응하는 특징으로의 투영면 할당을 기본적으로 차량 카메라의 영상 전체에서 (예를 들어 영상 면의 최소한 80%에서, 가장 좋은 것은 최소한 90%에서) 식별할 수 있다. 본 발명에 따른 방법은 아주 빠르게 진행되므로 거의 모든 영상에 대한 포괄적인 대상 인식 또는 장면 해석이 실시간으로 이루어질 수 있다.

그 외에도 본 발명의 대상은 차량 카메라로 촬영한 일련의 영상에서 대상을 감지하는 장치이며, 여기에는 카메라 제어장치와 전자식 분석장치도 포함된다.

이때 여기서 카메라 제어장치는 다음을 실행하도록 구성 또는 고안되어 있는 바,

a) 차량 카메라를 사용하여 일련의 영상 촬영; 이때 여기서 전자식 분석장치는 다음을 실행하도록 구성 또는 고안되어 있는 바,

b) 연속하는 두 영상에서 대응하는 특징의 식별,

d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 투영면을 공간 내에서 결정 및

g) (단계 d에서) 결정한 투영면을 고려하여 하나 이상의 대상 감지 (또는 생성).

카메라 제어장치 또는 전자식 분석장치에는 특히 마이크로 컨트롤러나 프로세서, 디지털 신호 프로세서(Digital Signal Processor: DSP), ASIC(주문형 집적 회로: Application Specific Integrated Circuit), FPGA(필드 프로그래머블 게이트 어레이: Field Programmable Gate Array) 등과 해당 제어 또는 분석 단계를 실행하기 위한 소프트웨어가 포함될 수 있다.

따라서 본 발명은 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어 또는 소프트웨어에서 구현될 수 있다.

본 발명의 또 다른 특징, 장점 및 효과는 본 발명이 선호하는 예시 모델에 대한 아래의 설명에 기술되어 있다. 여기서 다음은,
도면 1 도식으로 도시한 접근하는 후면 투영면의 전형적인 변형;
도면 2 도식으로 도시한 접근하는 지면 투영면의 전형적인 변형;
도면 3 도시적으로 도시한 a) 빠르게 접근하거나 b) 느리게 접근 또는 더 멀리 떨어진 후면 투영면의 전형적인 변형;
도면 4 도식적으로 도시한 상이한 세그먼트가 두 개인 영상을 셀로 세분;
도면 5 세 번째 반복 단계 후의 세그먼트화 결과;
도면 6 목표 확인(잠재적인 충돌 대상의 확인)을 위한 투영면 정위;
도면 7 충돌 고려까지의 시간;
도면 8 t-1(좌측)에서 시점이 t-0(우측)일 때의 가이드레일 세그먼트 투영 (또는 왜곡))
대개의 경우 모든 도면에는 서로 일치하는 부분에 동일한 참조 번호가 표기된다.

도 1에는 첫 번째 시점 t-1에 사선으로 표시된 영역 (20, 점선)을 가지는 후면 투영면(back plane)이 도시되어 있다. 그 뒤의 시점 t에는 차량 카메라와 후면 투영면 사이의 간격이 좁아지는 바, 이는 영상에서 화살표 (d1)이 암시한, 후면 투영면의 영역 (21, 직선)이 변형된 것으로 표시된다. 영역 (20; 21)은 후면 투영면에 대한 차량 카메라의 상대적 이동에 의해 배율화되거나 확대된다.

도 2에는 첫 번째 시점 t-1에 사선으로 표시된 영역 (30, 점선)을 가지는 지면 투영면(ground plane)이 도시되어 있다. 이는 차량이 주행하는 차도 표면의 한 구역일 수 있다. 차량 카메라의 자기 동작에 의해 후속하는 시점 t에 (영상의) 영역이 변화하는 바, 이는 화살표 (d2)로 간단하게 도시한, 지면 투영면의 영역 (32)가 변형된 것으로 표시된다. 시점 t에 32로 표시된 선이 지면 투영면 영역의 경계를 지정한다. 여기서 "지면 투영면"을 차도 표면에서 경계를 정한 영역으로서도 이해할 수 있다. 테두리 영역은 예컨대 차도 표면의 절단면에서 (또는 테두리 점에서) 나온 것으로서, 연속적인 영상에서 이를 추적할 수 있다.

도 3은, 시점 t-1에 도 3a의 후면 투영면 (20)과 차량 카메라 사이의 간격이 도 3b의 후면 투영면 (20)과 차량 카메라 사이의 간격과 동일한 경우, 빠르게 접근하는 후면 투영면(도 3a: 20, 21: 변형 d1)과 느리게 접근하는(도 3b) 후면 투영면(20, 23; 변형 d3)의 차이를 간단히 도시한 도면이다.

또는 도 3은 가까운 후면 투영면(도 3a: 20, 21: 변형 d1)과 멀리 떨어진 후면 투영면(20, 23: 변형 d3)의 차이를 나타낼 수 있는 바, 이러한 후면 투영면은 예컨대 동일한 (상대적) 속도로 움직이며, 그런 경우 도 3b에서 도시한 대상 (20, 21)이 실제 공간에서는 도 3a에 도시된 대상 (20, 23)보다 클 것이다.

개별적인 대응물 대신 인접한 여러 대응물을 고려하면 상이한 속도, 배율화 및 변형을 기초로 하여 대상이 세그먼트화된다.

세계가 투영면으로 이루어져 있다고 가정하면 이 세계를 호모그래피 행렬로 기술할 수 있으며 아래에 도시한 바와 같이 세계는 거리, 속도 및 정위를 통해 구분된다.

호모그래피 행렬로 두 카메라 위치 사이의 투영면에 있는 점의 대응물이나 또는 연속하는 두 프레임에 있는 두 점의 대응물을 기술할 수 있다.

와

,

. (1)

여기서 벡터

는 벡터

(시점 t-1)의 시점 t-0에서의 3D 대응물을 기술한다. 네 점 대응물의 인식을 통해 영상을 기반으로 하여 호모그래피 행렬을 계산할 수 있다(다음 지침서 참조: Multiple View Geometry, Hartley, R. and Zisserman, A., CVPR June 1999: https://de.scribd.com/document/96810936/Hartley-Tut-4up, 2016년 9월 26일 로딩). 이 지침서의 6페이지 좌측 위(슬라이드 21)에 표시된 관계는 방정식 1의 표기는 다음과 같이 표시된다:

(2)

여기서

.

또는 투영면의 법선 벡터 n에 따른 카메라 병진 t, 회전 R 및 거리 d를 알 때 호모그래피 행렬을 방정식 3에 따라 계산할 수 있다. 방정식 3은 역 TTC t/d 영이 아님에서 정위 n이 상이한 투영면이 모델화되고 정위 n이 동일한 투영면이 그 역 TTC를 통해 구분된다는 것을 명확히 보여준다.

(3)

호모그래피 행렬은 이론적으로 법선 벡터 n, 회전 행렬 R 및 역 TTC t/d로 분해된다. 유감스럽게도 이러한 분해는 숫자상 상당히 불안정하고 측정 오류에 민감하다.

투영면에 의해 장면을 기술하는 경우, 이 장면은 아래에 기술한 바와 같이 세그먼트화된다.

도 4는 셀로의 세분을 도시한다(Grid, 격자/격자 선). 장면은 N x M 초기 셀로 세분되고 각 점 대응에 하나의 명확한ID가 할당된다. 이 ID는 먼저 어떤 셀로의 소속을 나타낸다. 프로세스가 진행되면서 이 ID는 클러스트 또는 대상으로의 소속을 나타낸다.

대상은 (특히 후면 투영면은) 사선으로 전경에 표시되어 있다. 배경은 백색으로 표시되어 있다.

셀에 대상이 하나만 있으면(셀 B3, D3), 호모그래피 행렬이 이 셀을 아주 잘 기술할 것이다. 하지만 셀에 대상이 하나 이상 있으면(셀 C3), 호모그래피 행렬은 두 대상 중 어떤 대상도 잘 기술하지 않는다. 점 대응물(검은색 점이나 검은색 십자 표시 또는 x)이 역투영 오류를 통해 인접한 셀 (B3 또는 D3)의 클러스트에 (또는 세그먼트에) 할당되면, 검은색 점은 셀 B3의 세그먼트에 할당되고 검은색 십자 표시는 셀 D3의 세그먼트에 할당되는 바, 왜냐하면 셀 C3에 대한 호모그래피로 전경이나 배경을 잘 설명할 수 없기 때문이다.

장면에 대한 사전 지식이 있는 경우, 예를 들어 차량의 근거리 구역에서나 긍정적인 분류 응답이 있는 구역에서 더 큰 구역이 생성되면서 세그먼트의 크기가 그 장면에 맞게 조정된다. 등식 5부터 10까지에서 표시된 바와 같이, 각 세그먼트에 대해 전용 후면/지면 및 측면 투영면 호모그래피 행렬이 계산된다.

후면/지면 및 측면 투영면 호모그래피의 계산으로 정밀도가 향상되는 바, 왜냐하면 불일치가 적은 호모그래피 행렬은 여러 투영면에 있는 구역을 모델화하기 어렵고 따라서 대응하는 점의 역투영 오류가 더 많아지기 때문이다. 도 4 참조. 따라서 역투영 오류 e_i는 시점 t-0에서 점 x가 시점 t-1에서 대응하는 점이 있는 투영면 i의 호모그래피에 의해 얼마나 잘 설명되는가에 대한 척도이다:

. (4)

카메라의 고정된 설치 위치와 카메라의 회전을 상이한 두 관점에서 주어진 것으로 가정하면 (예를 들어 카메라 보정의 지식에 의해서와 단안 시스템에서 기초 행렬을 계산함으로써 또는 각속도 센서 클러스트의 회전값에 의해서), 역 TTC t/d는 고정식 카메라의 회전에 대해 보정된 흐름 벡터에 의해 계산되는 바, 이는 지면 투영면

에 대한 아래의 예시에서 잘 알 수 있다. 그 회전을 알 수 없는 경우, 이를 단위 행렬에 의해 근사값으로 대체할 수 있다.

방정식 3의 분수 t/d 를 충돌에 대한 반한시

로 대체하면 다음의 방정식이 나온다:

. (5)

상수 a, b, c, 이때

를 도입하면, 방정식 5에서 다음의 단순화된 식이 나온다:

. (6)

동차 좌표를 표준화하면 다음 등식이 나온다:

(7)

(8)

일 회 이상의 측정인 경우,

형태의 방정식 시스템이 나온 바, 여기서 x는 결정하는 벡터이고 M은 행렬이고 v는 벡터(방정식 9 참조)이며, 이 방정식은 지지점으로서 최소한 세 개의 영상 대응물에 대해 예를 들어 단일값 분해(행렬의 단일값 분해)나 최소제곱법에 의해 분해된다:

(9)

후면 및 측면 투영면 호모그래피 행렬의 도출도 이와 유사하게 이루어지며 다음의 식이 나온다:

(10)

또는

(11)

보다 더 큰, 여러 개의 셀로 이루어진 대상을 세그먼화하기 위해 다음 단계에서 인접한 셀을 합치는 바, 이때 역투영 오류

또는

을 지지점(아래 1번 참조: RANSAC) 을 통해, 즉 인접한 세그먼트 j 및 i의 지지점과 그 호모그래피 행렬을 통해 계산한다. 두 개의 인접한 클러스트가 합쳐지는 바, 이는

이

보다 작거나 또는 예컨대 규정된 흐름의 길이에 맞추어 표준화된 역투영 오류가 설정할 수 있는 임계점에 미달하는 경우에 한한다. 특히 다음의 경우 인접한 두 개의 클러스트가 합쳐질 수 있다:

이

보다 작고 두 역투영 오류

와

이 흐름 길이에 맞추어 표준화된 임계에 미달한 경우. 또는 역투영 오류는 그래프에서 포텐셜로서 사용되어 어떤 포괄적인 해결책이 계산된다. 여기서 클러스트의 밀집도는 그래프의 엣지 포텐셜을 통해 결정된다.

세그먼트를 합쳤으면, 호모그래피 행렬이 다시 계산되고 점 대응물이 역투영 오류가 가장 적은 클러스트에 할당된다. 인접한 클러스트만 보면 아주 밀집된 대상만 생성된다. 극히 작은 오류가 설정할 수 있는 임계점을 초과하면, 그 대응점에 새 (클러스트/대상) ID가 할당되어, 부분적으로 덮힌 대상 또는 TTC가 약간 상이한 대상을 인식할 수 있다. 임계점을 설정하여 (약간) 상이한 대상의 해상도를 조절할 수 있다.

점 대응물에 오랜 시간 동안 동일한ID가 할당되는 경우, 역투영 오류에 관련된 구역에 대한 비용을 줄이는 편향이 주어지거나 또는 ID 전환에 대한 비용을 늘이는 편향이 주어진다.

도 5는 장면 세그먼트화의 예시도이다:

도 5a는 차량의 내부에 배치되어 있고 윈드실드를 통해 차량의 전방 구역을 포착하는 차량 카메라가 촬영한 영상이다. 여기서는 고속도로와 같은 삼차선 차도 (51)이 보인다. 차선은 적절한 차선 표시로 구분되어 있다. 이 차선 모두에 차량이 주행하고 있다. 자기 차선에서 선행하고 있는 차량 (53)이 그 자기 차선에서 선행하고 있는 또 다른 차량을 감추고 있을 가능성이 있다. 삼차선의 왼쪽에는 돌출하여 설치한, 반대편 차도와의 경계벽 (52)가 있다. 삼차선 차도 (51)의 우측에는 가장자리 또는 주차 차선이 있는 바, 이 차선은 우측으로 가드레일로 경계를 짓고 있으며 그 뒤로 숲 구역이 연결되어 있다. 자기 차량의 약간 전방에 표지판 신호교 (54)가 보이며 거기서 삼차선 차도 (51)이 더 뻗어 있다.

도 4를 이용하여 기술한 방법과 유사한 방법을 사용하여 이 장면을 세그먼트화할 수 있다. 도 5b부터 5d까지에서 셀 (56)을 인식할 수 있다. 이 셀에는 점 대응물 (55)가 표시되어 있다. 셀 (56)을 세그먼트에 할당하는 것이 셀의 테두리 또는 점 대응물 (55)의 색으로 표시되어 있다.

도 5b는 세그먼트화된 영상의 적색 채널을 나타내고,

도 5c는 녹색 채널을 나타내며 도 5d는 청색 채널을 나타낸다.

상이한 세그먼트를 상이한 색으로 표시하였다. 원본에서 녹색인 세그먼트는 최하단 다섯 개에서 여섯 개까지의 셀 위로 뻗어 있다(도 5b와 5d에 그에 맞추어 테두리 없이 백색으로 표시됨). 이 세그먼트는 지면 투영면에 해당된다. 즉 자기 차량이 주행하는 차도 (51)의 표면을 가리킨다.

또 다른 세그먼트를 영상의 중앙에서 볼 수 있는 바, 원본에는 분홍색으로 표시되어 있다. 그러므로 도 5b에서는 높은 적색 값, 도 5d에서는 약한 청색 값이 나타나고 도 5c에서는 녹색 값이 나타나지 않는다. 이 세그먼트는 자기 차선에서 선행하여 주행하는 (운송) 차량 (53)의 후면 투영면에 해당한다.

표시된 세그먼트화 결과는 장면에 대한 사전 지식 없이 세 개만의 반복 단계에서 식별된 것이다. 이는 시간적인 통합에 의해 본 발명의 구현 형태가 엄청난 신속성과 성능을 가진다는 것을 보여 준다.

도 6은 도 5에서 이미 기술한 장면에 있는 투영면의 정위 식별을 나타낸다. 도 6a는 정위를 위해 도 5a에 따른 주변 상황을 한 번 더 나타낸다.

도 6b는 측면 투영면에 할당된 대응물 전체를 나타낸다. 좌측 가장자리에 있는 대응물이 정확하게 우측 측면에 할당되었는 바, 이는 영상에서 거기에 반대편 차도와의 구분으로서 설치한 경계벽 (52)의 우측면이 있기 때문이다. 영상의 우측 반면에 있는 대응물도 역시 정확하게 좌측 측면에 할당되었는 바, 이는 영상에서 거기에 차도 가장자리 설치물 또는 차도 가장자리 화단의 "좌측면"이 있기 때문이다.

도 6c는 어떤 대응물이 지면 투영면에 할당되는가를 정확하게 보여주는 바, 이는 영상에서 거기에 차도 (51)의 표면을 볼 수 있기 때문이다.

도 6d는 어떤 대응물이 후면 투영면에 할당되는가를 나타낸다. 이것도 마찬가지로 정확하다. 이 식별만으로는 상이한 후면 투영면이 아직 충분히 구별되지는 않는다. 예를 들어 동일한 차선에서 선행하여 주행하는 화물 차량 (53)이 영상에서 그 차량 위에 위치한 표지판 신호교 (54)의 표지판과 구별되지 않는다. 하지만 이러한 표시에서 중요한 정보를 획득할 수 있는 바, 즉 차량 주변에 돌출한 대상이 나타난다는 것을 알 수 있다.

도 7에서 알기 쉽게 도시한 바와 같이 움직이는 대상을 인식하기 위해 역 TTC(t_x, t_y, t_z)를 사용할 수 있다.

도 7a는 다시금 차량 상황의 영상을 나타낸다(도 6a와 동일). 자기 차선 위에서 선행하여 주행하는 차량 (73)은 화물 차량이다. 좌측 차선에는 두 대의 차량 (71 및 72)가 주행하고 우측 차선에도 다른 두 대의 차량 (74 및 75)가 주행한다.

도 7b는 다시금 지면 투영면(원본에서는 보라색)에 해당하고 유일하게 적색 부분으로서 나타나는 대응물을 나타낸다.

도 7c는 움직이는 대상에 할당되는 대응물이다. 원본에서 이 대상은 자기 차량에서 멀어지면 (즉 더 빨리 주행하면) 녹색이고, 더 느리게 주행하면 옥색이다.

도 7d는 청색 부분이 있는 대응물을 가리킨다. 즉 지면 투영면에 해당하는(도 7b 참조), 자기 차량에 접근하는 움직이는 대상(도 7c 참조)이고 고정적으로 돌출한 대상에 해당하는 대상으로서, 이 대상은 예를 들어 고속도로의 좌측 및 우측에 위치한 숲 구역과 표지판 신호교와 같이 도 7d에서만 표시되어 있다. 도 7c와 도 7d 모두에서 자기 차선 (73)에 차량이 접근한다는 것을 알 수 있다. 이는 우측 차선 (75)에 위치한 앞 차량에도 해당된다. 이에 반하여 나머지 차량 (71, 72, 74)은 멀어진다.

영상에서 하늘에 해당하는 구역에는 구조적 결함으로 인해 영상에서 대응물이 없다(도 7b부터 7d까지에서 백색으로 표시).

대응물에서의 자기 회전을 호모그래피 행렬을 계산하기 전 고려하거나 또는 회전 행렬 R의 자기 회전을 고려하면, 추월하는 차량은 자신의 음수 t_z 성분을 기초로 하여 인식되거나 또는 차선을 바꾸거나 커브길을 주행하는 차량은 측면 t_x 성분 영이 아님에 의해 인식된다. 동적 세그먼트가 자신의 호모그래피 행렬을 통해 예측되면 (아래의 "호모그래피 행렬에 기초한 광학적 흐름의 밀집화" 참조) 그 시간에 대해 동적 지도를 만들 수 있다.

방정식 3에서, 역 TTC가 영이 아닌 세그먼트로 회전 행렬이 기술된다는 것을 알 수 있고 완전히 불일치하는 호모그래피 행렬을 계산하여(방정식 2) t/d가 영인 세그먼트에서 이를 결정할 수 있다. 병진적 성분을 등극점 근처에서 감지할 수 없도록 한다고 가정하면, 등극점(x_e, y_e)의 좌표를 고정된 세그먼트의 호모그래피 행렬에 의해 예측하고 atan(

) 또는 atan(

)을 화소와 관련된 초점 거리 f로 계산하여 피치율 및 요율을 결정할 수 있다.

각 클러스트에 대해 모두 일치하지 않은 호모그래피 행렬을 계산하면, 삼각화를 위해 측정한 위치

대신 예측한 위치

를 사용하여 3D 주변을 재구성하는 데도 이를 사용할 수 있다. 이는 측정 오류의 영향력을 줄일 뿐만 아니라 등극점 근처에 있는 대상도 재구성할 수 있도록 한다.

아래에서는 호모그래피 행렬을 가초로 하여 광학적 흐름의 밀집화를 위한 예시 모델에 대해 기술한다.

시점 t-1에서의 세그먼트화가 알려져 있으면, 대상을 예측하거나 밀집된 흐름 필드를 생성하기 위해 이를 사용할 수 있다. 절단면에 기반을 둔 흐름법은 절단면을 만들고 이를 연속하는 프레임에 명확히 할당하려고 한다. 대부분의 경우 그 절단면은 패치(영상 단면 또는 영상 구역)에서 정의된 크기에서 계산된다. 하지만 패치의 크기와 형태가 변하면 고정된 템플릿(양식, 샘플, 여기서 의미하는 바는 예컨대 연속적인 영상에서 어느 한 영상의, 어떤 대상에 해당하는 영상 단면이다)으로 더 이상 대응점을 찾을 수 없다. 예를 들어 후면 투영면에 접근하면 패치의 크기가 변한다. 또는 지면 투영면 위나 측면과 평행하게 움직이면 패치의 크기와 형태가 변한다(도 1 및 2 참조). 시점 t-1에 세그먼트화가 진행되면, 호모그래피 행렬을 이미 찾은 흐름 벡터를 통해 다시 계산할 수 있으며, 이를 위해 이미 확립된 대응물의 위치와 형태를 사용하여 t-1부터 t-0까지를 예측한다.

또는 현재의 프레임이 시점 t-0부터 시점 t-1까지 변형되어 배율 및 형태 변화를 보정한다.

도 8은 그러한 과정을 도시한다.

도 8a는 차량 카메라가 시점 t-1에 촬영한, 다른 주행 상황의 영상이다. 각 주행 방향에 차선이 세 개인 고속도로를 볼 수 있다. 삼차선의 자기 차도 좌측에는 돌출하여 설치한, 반대편 차도와의 경계벽 (81)이 있다. 차도의 우측에는 소음 방지벽 (82)가 있다.

도 8b는 후속하는 시점 t에 촬영하여 경계벽의 호모그래피 행렬을 통해 차량의 움직임에 따라 차량 카메라가 두 촬영 지점 사이에서 발생한 변화를 영상의 경계벽 구역에서 보정되도록 변형(영어: warp)한 영상을 나타낸다. 도 8b에서 자기 차량의 전진 동작은 차선 표시의 가장 인접한 부분 차선이 도 8a에서보다 자기 차량에 더 가까이 위치하게 된다. 이러한 변형에 의해 영상이 사다리꼴 형태를 띠게 되는 바, 이를 도 8f에서 점선으로 표시하였다.

이제 도 8c는 경계벽(81, 도 8a 참조) 구역에서 식별한 대응하는 특징 (85)를 백색 점으로 나타낸다.

도 8d는 도 8b에 대해 기술한 바와 같이 이러한 대응하는 특징을 변형한 후 가장 가까운 영상의 어디에 이러한 특징이 나타날 수 있는가 (86)을 보여준다.

도 8e와 도 8f는 이러한 상황을 다시 한 번 흑백 표시로 나타내는 바, 여기서 대응하는 특징 (85)는 이제 영상의 좌측 반면에 있는 경계벽 (81)에서 검은색 점이다.

밀집한 흐름 필드를 생성하기 위해 각 세그먼트에 대해 현재의 영상이 이전 영상으로 변형되는 바, 이는 배율이나 형태가 변화한 이미 존재하는 대응물을 다시 찾거나 또는 새 대응물을 담당 구역이 동일한 템플릿을 사용하여 확보하기 위해서이다.

현재의 프레임에서 현재 있는 흐름 벡터가 호모그래피 행렬을 다시 계산하기에 충분히 있지 않는 경우, 가장 최근의 프레임에서 나온 호모그래피 행렬이 근사값으로서 사용되어 형태와 배율의 변화에도 불구하고 대응물을 찾을 수 있게 된다.

다음의 구현 형태 또는 측면은 유용하며, 단독적으로나 결합하여 사용될 수 있다:

1. 영상은 NxM 셀로 세분되고 셀의 점 대응물에 명확한 셀 ID가 할당된다. ID가 동일한 대응물에서 RANSAC를 이용하여 후면/지면 및 측면 투영면 호모그래피 행렬(방정식 9, 10 및 10)을 계산하고, 역투영 오류가 가장 적은 호모그래피 행렬과 호모그래피 행렬을 계산하기 위해 사용된 지지점이 저장된다. RANSAC(임의 표본 일치: RAndom SAmple Consensus) 방법은 주로 각 반복에서 임의로 선택한 최소한의 대응물을 사용하여 어떤 가설을 세운다. 그 다음 대응하는 각 특징에 대해 대응하는 그 특징이 그 가설을 지지하는지 여부를 기술하는 값을 계산한다. 그 가설이 그 대응하는 특징에 의해 충분히 지지를 받으면, 지지하지 않는 대응하는 특징을 국외자로서 폐기할 수 있다. 충분한 지지를 받지 못하는 경우, 최소한의 대응물을 다시 임의로 선택한다.

2. 인접한 셀 i, j에대 역투영 오류

또는

을 인접한 호모그래피 행렬의 지지점을 통해 계산한다. 역투영 오류

가

보다 작거나 또는 그 오류가 흐름의 길이에 맞추어 표준화된 임계점에 미달하는 경우, ID가 합쳐지고 호모그래피 행렬이 다시 계산된다. 특히 두 개의 인접한 셀이 동일한 투영면에 (또는 동일한 세그먼트나 동일한 대상에) 속하며 군집화되는 바, 이는 역투영 오류

가

보다 작고 두 역투영 오류

및

이 흐름의 길이에 맞추어 표준화된 임계점에 미달하는 경우에 그러하다.

3. 점 대응물 전체의 역투영 오류

를 인전한 세그먼트에 대해 계산하고 점 대응물은 역투영 오류가 가장 적은 세그먼트에 할당된다. 최소한의 오류가 어떤 임계점을 초과하면, 그 대응물에 새 대상 ID를 붙여 더 작거나 또는 부분적으로 은폐된 대상도 인식할 수 있다.

4. 시점 t-1 에 추출된 세그먼트의 호모그래피 행렬은 새 프레임 (t-0)이 시작될 때 이미 찾은 영상 대응물을 통해 다시 계산되고 이미 존재하는 세그먼트 ID는 현재의 프레임으로 예측된다. 현재의 프레임에서 현재 있는 흐름 벡터가 호모그래피 행렬을 다시 계산하기에 충분히 있지 않는 경우, 가장 최근의 프레임에서 나온 호모그래피 행렬이 근사값으로서 사용된다.

5. 밀집한 흐름 필드를 생성하기 위해 각 세그먼트에 대해 현재의 프레임 (t-0)이 가장 최근의 프레임 (t-1)로 변형되는 바, 이는 배율이나 형태가 변화한 이미 존재하는 대응물을 다시 찾거나 또는 새 대응물을 확보하기 위해서이다.

6. 후면/지면 및 측면 투영면의 역투영 오류를 돌출한 목표를 인증하기 위해 사용할 수 있다. 도 6 참조.

7. 예를 들어 차량 스테레오 카메라에 변위 지도가 있는 경우, 절대 속도를 역 TTC t/d에서 계산할 수 있는 바, 왜냐하면 각 화소에 대한 절대 거리 d가 그 변위 지도에 있기 때문이다.

8. 각 세그먼트에 대해 모두 일치하지 않은 완전한 호모그래피 행렬을 계산하는 세그먼트에서 TTC 거의 무한을 사용하여 (또는 역 TTC 영에 가까움을 사용하여) 회전 행렬 R을 결정할 수 있다.

9. 3D 주변을 측정한 위치

대신 예측한 위치

을 사용하여 다시 구성할 수 있으며 대상도 등극점에서 다시 구성할 수 있다.

Claims

차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는 방법은 다음의 단계로 구성된다:
a) 차량 카메라를 사용하여 연속적인 영상 촬영,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 면을 공간 내에서 결정 및
f) 단계 d)에서 결정한 투영면을 고려하여 대상의 감지.
청구항 1에 따른 방법을 다음의 단계를 포함하고 있다:
c) 여러 투영면을 결정하기 위한, 인접한 상태의 대응하는 특징에 대한 호모그래피 행렬의 계산.
청구항 2에 따른 방법으로서, 다음의 단계를 포함하고 있다:
e) 계산한 호모그래피 행렬을 이용한, 대응하는 특징의 세그먼트화.
상기 청구항 중 하나에 따른 방법으로서, 다음의 단계를 포함하고 있다
d2) 지면이나 후면, 또는 측면 투영면 각각에 인접한 상태의 대응하는 특징 할당.
청구항 4에 따른 방법으로서, 이때 최소한 하나의 역투영면이 다음에 따라 계산된다

여기서 a, b, c는 상수이고, x₀, y₀, x₁, y₁은 첫 번째 영상(색인 0)과 두 번째 영상(색인 1)에서의 대응물이고 t_x, t_y, t_z는 벡터 t/d의 성분이다. t는 차량 카메라의 병진을 가리키고 d는 투영면과의 거리를 나타낸다.
청구항 4또는 5에 따른 방법으로서, 이때 최소한 하나의 지면 투영면이 다음에 따라 계산된다
청구항 4, 5또는 6에 따른 방법으로서, 이때 최소한 하나의 측면 투영면이 다음에 따라 계산된다
청구항 4에서 7까지 중 하나에 따른 방법으로서, 이때 정위가 동일한 여러 투영면이 나타나면, 정위가 동일한 그 투영면을 해당 t_x, t_y, t_z 값을 이용하여 분리할 수 있다.
청구항 2에서 8까지 중 하나에 따른 방법으로서, 이때 영상이 격자에 의해 동일한 종류의 셀로 세분되고, 각 셀에 대해 거기서 식별한 대응하는 특징에서 호모그래피 행렬이 계산되며, 이때 호모그래피 행렬과 일치하는 셀이 군집화된다.
청구항 9에 따른 방법으로서, 이때 첫 번째 셀의 계산한 호모그래피 행렬이 인전한 셀의 호모그래피 행렬과 충분히 일치하지 않는 경우, 첫 번째 셀이 있는 대응하는 특징의 역투영 오류를 인접한 셀에 있는 호모그래피 행렬의 역투영 오류와 비교하여 그 호모그래피 행렬의 이 대응하는 특징을 오류가 가장 적은 호모그래피 행렬에 할당하므로 첫 번째 셀 내에서 클러스트의 경계를 식별할 수 있다.
상기 청구항 중 하나에 따른 방법으로서, 이때 기본적으로 대응하는 인접한 특징에 투영면을 할당하는 것을 차량 카메라의 영상 전체에서 식별한다.
차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는 장치에는 다음이 포함되어 있다:
이를 위해 고안된 카메라 제어장치,
a) 차량 카메라를 사용하여 촬영한 일련의 영상;
및 이를 위해 고안된 전자식 평가장치,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 투영면을 공간 내에서 결정 및
g) 결정한 투영면을 고려하여 하나 이상의 대상 감지.