KR102491527B1 - 카메라 영상에서 대상의 감지 - Google Patents

카메라 영상에서 대상의 감지 Download PDF

Info

Publication number
KR102491527B1
KR102491527B1 KR1020197005955A KR20197005955A KR102491527B1 KR 102491527 B1 KR102491527 B1 KR 102491527B1 KR 1020197005955 A KR1020197005955 A KR 1020197005955A KR 20197005955 A KR20197005955 A KR 20197005955A KR 102491527 B1 KR102491527 B1 KR 102491527B1
Authority
KR
South Korea
Prior art keywords
projection
image
feature
projection plane
spatial
Prior art date
Application number
KR1020197005955A
Other languages
English (en)
Other versions
KR20190059894A (ko
Inventor
미하엘 발터
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20190059894A publication Critical patent/KR20190059894A/ko
Application granted granted Critical
Publication of KR102491527B1 publication Critical patent/KR102491527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

본 발명은 카메라에서 나온 영상에서 대상을 인식하는 방법과 장치에 관한 것으로서 특히 카메라에 기반을 둔 운전자 지원 시스템에서 사용될 수 있다.
차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는 방법은 다음의 단계로 구성된다:
a) 차량 카메라를 사용하여 연속적인 영상 촬영,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 면을 공간 내에서 결정,
f) 단계 d)에서 결정한 투영면을 고려하여 대상의 감지.
선호하는 모델 형태에 따르면 이 방법은 다음의 단계로 이루어져 있다:
c) 여러 투영면을 결정하기 위한, 인접한 상태의 대응하는 특징에 대한 호모그래피 행렬의 계산; 및/또는
d2) 지면이나 후면, 또는 측면 투영면 각각에 인접한 상태의 대응하는 특징 할당.
본 발명에 따른 방법은 아주 빠르게 진행되므로 거의 모든 영상에 대한 포괄적인 대상 인식 또는 장면 해석이 실시간으로 이루어질 수 있다.

Description

카메라 영상에서 대상의 감지
본 발명은 카메라에서 나온 영상에서 대상을 인식하는 방법에 관한 것으로서 특히 카메라에 기반을 둔 운전자 지원 시스템에서 사용될 수 있다.
최신 기술 수준에 따른 차량 인식 시스템은 대부분 분류에 기반을 두고 있다. 분류에 기반을 둔 시스템은 자신의 훈련 데이터에서 보았던 차량 또는 차량의 구성품을 다시 인식할 수 있다. 하지만 새로운 차량 디자인 및 변화하는 어셈블리로 인해 시스템의 성능이 상당히 저하될 수 있으므로 대상 인식에 대한 포괄적인 접근법이 필요하다.
US 2014/0161323 A1은 모노 카메라로 촬영하는 영상에서 도로 환경의 고밀도 삼차원 구조를 생성하는 방법을 보여준다.
EP 2 993 654 A1는 카메라 영상에서 전면 충돌 경고(FCW)를 발령하는 방법을 보여준다. 여기서는 자기 차량이 사전에 설정된 시간 주기로 도달하는 영상 단면을 분석한다. 거기서 어떤 대상을 인식하는 즉시 충돌 경고가 출력된다.
본 발명의 과제는 대상을 포괄적으로 인식하기 위한 방법을 진술하는 것이다.
본 발명의 출발점은 다음의 숙고에 그 근거를 두고 있다: 두 프레임(개별 영상)의 카메라 위치를 알고 있으면, 점 대응(대응하는 점)이 삼각화되지만, 이 삼각형이 점구름을 유의미한 대상으로 군집화할 있을 모델 인식을 하지 않기 때문에 어떠한 대상도 생성되지 않는다. 단안 시스템의 단점은 대상이 등극점(epipole) 근처에서 부정확하게만 삼각화되고 거기서는 자기 동작(카메라 자기 동작)에서의 극히 작은 오류도 인식할 수 있다는 점이다.
등극점이란 첫 번째 카메라 영상의 화점을 가리키는 바, 이 화점에서 카메라의 원점이 두 번째 시점에 사상된다. 예를 들어 직선 주행 시 소실점이 등극점에 해당한다. 하지만 이 점은 정지하고 있거나 또는 선행하는 차량과의 충돌을 인식하는 데 주요한 영역이다. 동적인 대상이 등극선 기하학에 따라 움직이면, 이 대상을 삼각화할 수 있다. 하지만 상대속도를 알 수 없기 때문에 이 대상이 너무 가까이 또는 너무 멀리 있는 것으로 평가된다.
개별적인 대응물 대신 인접한 여러 대응물(대응하는 특징)을 고려하면, 상이한 속도, 배율화 및 변형을 기초로 하여 대상이 세그먼트화된다.
차량 카메라로 촬영한 연속적인 영상에서 대상을 감지하는, 본 발명에 따른 방법은 다음의 단계로 구성된다:
a) 차량 카메라를 사용하여 연속적인 영상 촬영,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 면을 공간 내에서 결정 및
f) (단계 d)에서 결정한 투영면을 고려하여 대상 감지.
차량의 주변을 촬영하도록 차량 카메라를 고안하는 것이 유리하다. 여기서 주변이란 특히 차량의 전방에 위치한 주변을 의미한다. 대개의 경우 차량 카메라는 운전자 지원 장치에 내장되어 있거나 또는 이 장치와 연결될 수 있는 바, 여기서 그 운전자 지원 장치는 무엇보다도 차량 카메라 시스템이 제공한 영상 데이터에서 대상을 인식하도록 고안되어 있다. 차량 카메라 시스템은 차량의 실내에서 윈드실드 뒤에 배치될 수 있고 카메라는 주행 방향을 향하도록 하는 것이 유리하다. 차량 카메라로서 모노 카메라를 사용하는 것을 특히 유리하다.
특정한 또는 알려진 시점에, 연속적인 영상의 토대가 되는 개별 영상을 차량 카메라로 촬영하는 것이 유리하다.
대응이라고 함은 첫 번째 영상에 있는 어떤 특징이 두 번째 영상에 있는 그 특징과 일치한다는 것을 의미한다. 두 번째 영상에 있는 대응하는 특징은 그 특징이 영상 내에서 어떻게 움직였나를 나타내는 흐름 벡터로서도 설명될 수 있다. 특징이란 특히 어떤 영상 단면 (또는 패치), 화소, 모서리 또는 구석일 수 있다.
또는 단계 d)를 다음과 같이 설명할 수 있다: 인접한 상태에서 대응하는 여러 개의 특징이 각각 위치해 있거나 위치하게 되는 여러 투영면의 식별.
단계 d)에는 다수의 투영면이 공간 내에 주어지며 인접한 상태에서 대응하는 여러 특징이 주어진 투영면 각각에 할당된다는 것도 포함된다(아래의 단계 d2 참조).
본 발명에서 "투영면"이란 개념은 다음의 관계를 설명한다: 한편으로는 인접한 상태에서 대응하는 특징의 집적을 위한 기준. 다시 말하여, 이러한 특징은 자신이 공간 내에서 어떤 공동의 투영면에 위치하고 투영면의 움직임에 따라 시간적으로 전개될 때 관계가 있는 것으로 간주된다.
그 다음 이러한 방식으로 집적된 상태의 대응하는 특징을 예컨대 "지면 투영면"이라고도 칭하는 바, 왜냐하면 이러한 특징이 모두 차도 투영면에 해당하는 투영면에 위치해 있기 때문이다. 하지만 그러한 지면 투영면은 무한히 뻗지 않고, 실제로 대응하는 특징이 할당되어 있는 투영면의 부분 영역을 의미한다.
단계 f)에서 "...을 고려하여"라는 표현은 대상을 감지할 때 단계 d)에서 결정한 여러 투영면을 고려한다는 의미이다. 이는 예컨대 알려진 지면 투영면에서 도로 가설이 도출될 수 있고 후면 투영면이나 측면 투영면에서 돌출한 대상에 대한 대상 가설이 생성되는 방식으로 일어날 수 있다. 이미 차도 가설과 돌출한 대상에 대한 대상 가설에서 빈 공간 감지가 이루어질 수 있는 바, 이러한 감지는 차량 주변의 어떤 빈 공간을 현재 주행할 수 있는가를 알려준다. 빈 공간 감지는 예를 들어 차선 표시의 인식에 의존하지 않는 차도 가장자리를 감지하는 데 유용하다.
"대상의 감지"라는 표현은 예를 들어 대상 가설 또는 대상의 생성을 의미할 수도 있다.
선호하는 모델 형태에 따르면 이 방법은 다음의 단계로 이루어져 있다:
c) 여러 투영면을 결정하기 위한, 인접한 상태의 대응하는 특징에 대한 호모그래피 행렬의 계산.
호모그래피 행렬로 두 카메라 위치 사이의 투영면에 있는 점의 대응물이나 또는 차량 카메라로 촬영한 연속하는 두 영상에 있는 두 점의 대응물을 기술할 수 있다. 따라서 인접한 상태의 대응하고 있는 특징에 대한 호모그래피 행렬을 계산하여 공간 내의 각 투영면에 대응하는 인접한 특징을 할당할 수 있다(단계 d 참조).
이 방법은 다음의 단계로 이루어져 있어 유리하다:
e) 계산한 호모그래피 행렬을 이용한, 대응하는 특징의 세그먼트화.
특히 계산한 호모그래피 행렬을 이용하여 대응하는 특징을 세그먼트화할 수 있으므로, 상이한 세그먼트에 할당할 수 있다. 그 다음 단계 f)에서 세그먼트화된 특징을 고려하여 대상을 감지할 수 있게 된다.
본 발명에 따른 또 다른 유용한 형태에는 단계 d2)가 포함되어 있다: 지면이나 후면, 또는 측면 투영면 각각에 인접한 상태의 대응하는 특징 할당. x-방향이 수평 또는 측면 방향이고 y-방향이 수직 방향이며 z-방향이 차량의 길이 방향을 가리키는 좌표계인 경우, 일반적으로 지면 투영면은 y-방향으로 지정되고 후면 투영면은 z-방향으로 지정되며 측면 투영면은 x-방향으로 지정될 수 있다.
지면, 후면 및 측면 투영면의 호모그래피 행렬을 계산하여 인접한 상태의 특징을 이 투영면 중 하나에 대응시킬 수 있다.
무엇보다도 후면 투영면에 대해서는 방정식 (10)에 따라, 지면 투영면에 대해서는 방정식 (9)에 따라, 그리고 측면 투영면에 대해서는 방정식 (11)에 따라 호모그래피 행렬을 계산할 수 있다.
여기서 a, b, c는 상수이고, x0, y0, x1, y1은 시점 t-0에 촬영한 첫 번째 영상(색인 0)에서와 그 이전의 시점 t-1에 촬영한 두 번째 영상(색인 1)에서의 대응물을 가리키며, tx, ty, tz는 벡터 t/d의 성분이다. t는 차량 카메라의 병진을 가리키고 d는 투영면(이 투영면에 대해 수직)에 대한, 다시 말하여 이 투영면의 법선 벡터에 따른 거리를 가리킨다. 이하에서 성분 tx, ty 또는 tz를 "역 TTC"라고도 표기한다. TTC는 '충돌까지의 시간'(Time to collision)의 약자이며, 이는 어느 한 공간 방향에서 병진 속도로 나눈 간격을 의미한다.
유용한 또 다른 형태에 따르면, 정위가 동일한 여러 투영면이 나타나면, 정위가 동일한 그 투영면을 해당tx, ty, tz 값을 이용하여 분리할 수 있다. 예를 들어, z-방향에서 차량 카메라와 떨어진 거리가 상이한 두 개의 후면 투영면을 상이한 tz 값을 통해 서로 구별할 수 있다.
특히 격자에 의해 영상을 동종의 셀로 세분할 수 있으며 각 셀에 대해 거기서 식별한 대응하는 특징에서 호모그래피 행렬을 계산할 수 있다. 그 다음 호모그래피 형렬이 일치하는 셀을 군집화할 수 있다.
특히, 첫 번째 셀의 계산한 호모그래피 행렬이 인접한 셀의 호모그래피 행렬과 충분히 일치하지 않은 경우, 투영면의 경계를 식별하기 위해 대응하는 각 특징의 소위 말하는 역투영 오류를 고려할 수 있다는 장점이 있다.
대응하는 특징을 역투영 오류에 의해 평가할 수 있다. 역투영 오류는 측정한 흐름과 계산한 호모그래피 행렬에서 예측한 흐름 사이의 차이를 나타낸다. 달리 표현하자면, 어느 한 투영면의 역투영 오류는 시점 t-0의 어느 한 점 x와 이 투영면의 호모그래피 행렬에 따라 사상된, 그 이전의 시점 t-1에 대응하는 점의 차이를 의미한다(아래 참조: 방정식 4).
첫 번째 셀에 있는 어떤 대응하는 특징의 역투영 오류를 인접한 셀의 호모그래피 행렬에서 나온 역투영 오류와 비교하고 대응하는 이 특징을 오류가 가장 적은 호모그래피 행렬에 할당하면, 첫 번째 셀 내에서 투영면의 경계를 (또는 세그먼트의 경계나 클러스트의 경계를) 정밀화할 수 있다. 이러한 방식으로 어떤 셀의 대응하는 상이한 특징을 상이한 투영면에 할당할 수 있다.
특히 인접한 상태의 대응하는 특징으로의 투영면 할당을 기본적으로 차량 카메라의 영상 전체에서 (예를 들어 영상 면의 최소한 80%에서, 가장 좋은 것은 최소한 90%에서) 식별할 수 있다. 본 발명에 따른 방법은 아주 빠르게 진행되므로 거의 모든 영상에 대한 포괄적인 대상 인식 또는 장면 해석이 실시간으로 이루어질 수 있다.
그 외에도 본 발명의 대상은 차량 카메라로 촬영한 일련의 영상에서 대상을 감지하는 장치이며, 여기에는 카메라 제어장치와 전자식 분석장치도 포함된다.
이때 여기서 카메라 제어장치는 다음을 실행하도록 구성 또는 고안되어 있는 바,
a) 차량 카메라를 사용하여 일련의 영상 촬영; 이때 여기서 전자식 분석장치는 다음을 실행하도록 구성 또는 고안되어 있는 바,
b) 연속하는 두 영상에서 대응하는 특징의 식별,
d) 인접한 상태에서 대응하는 특징을 공간 내의 각 투영면에 할당함으로써 복수의 투영면을 공간 내에서 결정 및
g) (단계 d에서) 결정한 투영면을 고려하여 하나 이상의 대상 감지 (또는 생성).
카메라 제어장치 또는 전자식 분석장치에는 특히 마이크로 컨트롤러나 프로세서, 디지털 신호 프로세서(Digital Signal Processor: DSP), ASIC(주문형 집적 회로: Application Specific Integrated Circuit), FPGA(필드 프로그래머블 게이트 어레이: Field Programmable Gate Array) 등과 해당 제어 또는 분석 단계를 실행하기 위한 소프트웨어가 포함될 수 있다.
따라서 본 발명은 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어 또는 소프트웨어에서 구현될 수 있다.
본 발명의 또 다른 특징, 장점 및 효과는 본 발명이 선호하는 예시 모델에 대한 아래의 설명에 기술되어 있다. 여기서 다음은,
도면 1 도식으로 도시한 접근하는 후면 투영면의 전형적인 변형;
도면 2 도식으로 도시한 접근하는 지면 투영면의 전형적인 변형;
도면 3 도시적으로 도시한 a) 빠르게 접근하거나 b) 느리게 접근 또는 더 멀리 떨어진 후면 투영면의 전형적인 변형;
도면 4 도식적으로 도시한 상이한 세그먼트가 두 개인 영상을 셀로 세분;
도면 5 세 번째 반복 단계 후의 세그먼트화 결과;
도면 6 목표 확인(잠재적인 충돌 대상의 확인)을 위한 투영면 정위;
도면 7 충돌 고려까지의 시간;
도면 8 t-1(좌측)에서 시점이 t-0(우측)일 때의 가이드레일 세그먼트 투영 (또는 왜곡))
대개의 경우 모든 도면에는 서로 일치하는 부분에 동일한 참조 번호가 표기된다.
도 1에는 첫 번째 시점 t-1에 사선으로 표시된 영역 (20, 점선)을 가지는 후면 투영면(back plane)이 도시되어 있다. 그 뒤의 시점 t에는 차량 카메라와 후면 투영면 사이의 간격이 좁아지는 바, 이는 영상에서 화살표 (d1)이 암시한, 후면 투영면의 영역 (21, 직선)이 변형된 것으로 표시된다. 영역 (20; 21)은 후면 투영면에 대한 차량 카메라의 상대적 이동에 의해 배율화되거나 확대된다.
도 2에는 첫 번째 시점 t-1에 사선으로 표시된 영역 (30, 점선)을 가지는 지면 투영면(ground plane)이 도시되어 있다. 이는 차량이 주행하는 차도 표면의 한 구역일 수 있다. 차량 카메라의 자기 동작에 의해 후속하는 시점 t에 (영상의) 영역이 변화하는 바, 이는 화살표 (d2)로 간단하게 도시한, 지면 투영면의 영역 (32)가 변형된 것으로 표시된다. 시점 t에 32로 표시된 선이 지면 투영면 영역의 경계를 지정한다. 여기서 "지면 투영면"을 차도 표면에서 경계를 정한 영역으로서도 이해할 수 있다. 테두리 영역은 예컨대 차도 표면의 절단면에서 (또는 테두리 점에서) 나온 것으로서, 연속적인 영상에서 이를 추적할 수 있다.
도 3은, 시점 t-1에 도 3a의 후면 투영면 (20)과 차량 카메라 사이의 간격이 도 3b의 후면 투영면 (20)과 차량 카메라 사이의 간격과 동일한 경우, 빠르게 접근하는 후면 투영면(도 3a: 20, 21: 변형 d1)과 느리게 접근하는(도 3b) 후면 투영면(20, 23; 변형 d3)의 차이를 간단히 도시한 도면이다.
또는 도 3은 가까운 후면 투영면(도 3a: 20, 21: 변형 d1)과 멀리 떨어진 후면 투영면(20, 23: 변형 d3)의 차이를 나타낼 수 있는 바, 이러한 후면 투영면은 예컨대 동일한 (상대적) 속도로 움직이며, 그런 경우 도 3b에서 도시한 대상 (20, 21)이 실제 공간에서는 도 3a에 도시된 대상 (20, 23)보다 클 것이다.
개별적인 대응물 대신 인접한 여러 대응물을 고려하면 상이한 속도, 배율화 및 변형을 기초로 하여 대상이 세그먼트화된다.
세계가 투영면으로 이루어져 있다고 가정하면 이 세계를 호모그래피 행렬로 기술할 수 있으며 아래에 도시한 바와 같이 세계는 거리, 속도 및 정위를 통해 구분된다.
호모그래피 행렬로 두 카메라 위치 사이의 투영면에 있는 점의 대응물이나 또는 연속하는 두 프레임에 있는 두 점의 대응물을 기술할 수 있다.
Figure 112019020684970-pct00001
와
Figure 112019020684970-pct00002
,
Figure 112019020684970-pct00003
. (1)
여기서 벡터
Figure 112019020684970-pct00004
는 벡터
Figure 112019020684970-pct00005
(시점 t-1)의 시점 t-0에서의 3D 대응물을 기술한다. 네 점 대응물의 인식을 통해 영상을 기반으로 하여 호모그래피 행렬을 계산할 수 있다(다음 지침서 참조: Multiple View Geometry, Hartley, R. and Zisserman, A., CVPR June 1999: https://de.scribd.com/document/96810936/Hartley-Tut-4up, 2016년 9월 26일 로딩). 이 지침서의 6페이지 좌측 위(슬라이드 21)에 표시된 관계는 방정식 1의 표기는 다음과 같이 표시된다:
Figure 112019020684970-pct00006
(2)
여기서
Figure 112019020684970-pct00007
.
또는 투영면의 법선 벡터 n에 따른 카메라 병진 t, 회전 R 및 거리 d를 알 때 호모그래피 행렬을 방정식 3에 따라 계산할 수 있다. 방정식 3은 역 TTC t/d 영이 아님에서 정위 n이 상이한 투영면이 모델화되고 정위 n이 동일한 투영면이 그 역 TTC를 통해 구분된다는 것을 명확히 보여준다.
Figure 112019020684970-pct00008
(3)
호모그래피 행렬은 이론적으로 법선 벡터 n, 회전 행렬 R 및 역 TTC t/d로 분해된다. 유감스럽게도 이러한 분해는 숫자상 상당히 불안정하고 측정 오류에 민감하다.
투영면에 의해 장면을 기술하는 경우, 이 장면은 아래에 기술한 바와 같이 세그먼트화된다.
도 4는 셀로의 세분을 도시한다(Grid, 격자/격자 선). 장면은 N x M 초기 셀로 세분되고 각 점 대응에 하나의 명확한ID가 할당된다. 이 ID는 먼저 어떤 셀로의 소속을 나타낸다. 프로세스가 진행되면서 이 ID는 클러스트 또는 대상으로의 소속을 나타낸다.
대상은 (특히 후면 투영면은) 사선으로 전경에 표시되어 있다. 배경은 백색으로 표시되어 있다.
셀에 대상이 하나만 있으면(셀 B3, D3), 호모그래피 행렬이 이 셀을 아주 잘 기술할 것이다. 하지만 셀에 대상이 하나 이상 있으면(셀 C3), 호모그래피 행렬은 두 대상 중 어떤 대상도 잘 기술하지 않는다. 점 대응물(검은색 점이나 검은색 십자 표시 또는 x)이 역투영 오류를 통해 인접한 셀 (B3 또는 D3)의 클러스트에 (또는 세그먼트에) 할당되면, 검은색 점은 셀 B3의 세그먼트에 할당되고 검은색 십자 표시는 셀 D3의 세그먼트에 할당되는 바, 왜냐하면 셀 C3에 대한 호모그래피로 전경이나 배경을 잘 설명할 수 없기 때문이다.
장면에 대한 사전 지식이 있는 경우, 예를 들어 차량의 근거리 구역에서나 긍정적인 분류 응답이 있는 구역에서 더 큰 구역이 생성되면서 세그먼트의 크기가 그 장면에 맞게 조정된다. 등식 5부터 10까지에서 표시된 바와 같이, 각 세그먼트에 대해 전용 후면/지면 및 측면 투영면 호모그래피 행렬이 계산된다.
후면/지면 및 측면 투영면 호모그래피의 계산으로 정밀도가 향상되는 바, 왜냐하면 불일치가 적은 호모그래피 행렬은 여러 투영면에 있는 구역을 모델화하기 어렵고 따라서 대응하는 점의 역투영 오류가 더 많아지기 때문이다. 도 4 참조. 따라서 역투영 오류 ei는 시점 t-0에서 점 x가 시점 t-1에서 대응하는 점이 있는 투영면 i의 호모그래피에 의해 얼마나 잘 설명되는가에 대한 척도이다:
Figure 112019020684970-pct00009
. (4)
카메라의 고정된 설치 위치와 카메라의 회전을 상이한 두 관점에서 주어진 것으로 가정하면 (예를 들어 카메라 보정의 지식에 의해서와 단안 시스템에서 기초 행렬을 계산함으로써 또는 각속도 센서 클러스트의 회전값에 의해서), 역 TTC t/d는 고정식 카메라의 회전에 대해 보정된 흐름 벡터에 의해 계산되는 바, 이는 지면 투영면
Figure 112019020684970-pct00010
에 대한 아래의 예시에서 잘 알 수 있다. 그 회전을 알 수 없는 경우, 이를 단위 행렬에 의해 근사값으로 대체할 수 있다.
방정식 3의 분수 t/d 를 충돌에 대한 반한시
Figure 112019020684970-pct00011
로 대체하면 다음의 방정식이 나온다:
Figure 112019020684970-pct00012
. (5)
상수 a, b, c, 이때
Figure 112019020684970-pct00013
를 도입하면, 방정식 5에서 다음의 단순화된 식이 나온다:
Figure 112019020684970-pct00014
. (6)
동차 좌표를 표준화하면 다음 등식이 나온다:
Figure 112019020684970-pct00015
(7)
Figure 112019020684970-pct00016
(8)
일 회 이상의 측정인 경우,
Figure 112019020684970-pct00017
형태의 방정식 시스템이 나온 바, 여기서 x는 결정하는 벡터이고 M은 행렬이고 v는 벡터(방정식 9 참조)이며, 이 방정식은 지지점으로서 최소한 세 개의 영상 대응물에 대해 예를 들어 단일값 분해(행렬의 단일값 분해)나 최소제곱법에 의해 분해된다:
Figure 112019020684970-pct00018
(9)
후면 및 측면 투영면 호모그래피 행렬의 도출도 이와 유사하게 이루어지며 다음의 식이 나온다:
Figure 112019020684970-pct00019
(10)
또는
Figure 112019020684970-pct00020
(11)
보다 더 큰, 여러 개의 셀로 이루어진 대상을 세그먼화하기 위해 다음 단계에서 인접한 셀을 합치는 바, 이때 역투영 오류
Figure 112019020684970-pct00021
또는
Figure 112019020684970-pct00022
을 지지점(아래 1번 참조: RANSAC) 을 통해, 즉 인접한 세그먼트 j 및 i의 지지점과 그 호모그래피 행렬을 통해 계산한다. 두 개의 인접한 클러스트가 합쳐지는 바, 이는
Figure 112019020684970-pct00023
이
Figure 112019020684970-pct00024
보다 작거나 또는 예컨대 규정된 흐름의 길이에 맞추어 표준화된 역투영 오류가 설정할 수 있는 임계점에 미달하는 경우에 한한다. 특히 다음의 경우 인접한 두 개의 클러스트가 합쳐질 수 있다:
Figure 112019020684970-pct00025
이
Figure 112019020684970-pct00026
보다 작고 두 역투영 오류
Figure 112019020684970-pct00027
와
Figure 112019020684970-pct00028
이 흐름 길이에 맞추어 표준화된 임계에 미달한 경우. 또는 역투영 오류는 그래프에서 포텐셜로서 사용되어 어떤 포괄적인 해결책이 계산된다. 여기서 클러스트의 밀집도는 그래프의 엣지 포텐셜을 통해 결정된다.
세그먼트를 합쳤으면, 호모그래피 행렬이 다시 계산되고 점 대응물이 역투영 오류가 가장 적은 클러스트에 할당된다. 인접한 클러스트만 보면 아주 밀집된 대상만 생성된다. 극히 작은 오류가 설정할 수 있는 임계점을 초과하면, 그 대응점에 새 (클러스트/대상) ID가 할당되어, 부분적으로 덮힌 대상 또는 TTC가 약간 상이한 대상을 인식할 수 있다. 임계점을 설정하여 (약간) 상이한 대상의 해상도를 조절할 수 있다.
점 대응물에 오랜 시간 동안 동일한ID가 할당되는 경우, 역투영 오류에 관련된 구역에 대한 비용을 줄이는 편향이 주어지거나 또는 ID 전환에 대한 비용을 늘이는 편향이 주어진다.
도 5는 장면 세그먼트화의 예시도이다:
도 5a는 차량의 내부에 배치되어 있고 윈드실드를 통해 차량의 전방 구역을 포착하는 차량 카메라가 촬영한 영상이다. 여기서는 고속도로와 같은 삼차선 차도 (51)이 보인다. 차선은 적절한 차선 표시로 구분되어 있다. 이 차선 모두에 차량이 주행하고 있다. 자기 차선에서 선행하고 있는 차량 (53)이 그 자기 차선에서 선행하고 있는 또 다른 차량을 감추고 있을 가능성이 있다. 삼차선의 왼쪽에는 돌출하여 설치한, 반대편 차도와의 경계벽 (52)가 있다. 삼차선 차도 (51)의 우측에는 가장자리 또는 주차 차선이 있는 바, 이 차선은 우측으로 가드레일로 경계를 짓고 있으며 그 뒤로 숲 구역이 연결되어 있다. 자기 차량의 약간 전방에 표지판 신호교 (54)가 보이며 거기서 삼차선 차도 (51)이 더 뻗어 있다.
도 4를 이용하여 기술한 방법과 유사한 방법을 사용하여 이 장면을 세그먼트화할 수 있다. 도 5b부터 5d까지에서 셀 (56)을 인식할 수 있다. 이 셀에는 점 대응물 (55)가 표시되어 있다. 셀 (56)을 세그먼트에 할당하는 것이 셀의 테두리 또는 점 대응물 (55)의 색으로 표시되어 있다.
도 5b는 세그먼트화된 영상의 적색 채널을 나타내고,
도 5c는 녹색 채널을 나타내며 도 5d는 청색 채널을 나타낸다.
상이한 세그먼트를 상이한 색으로 표시하였다. 원본에서 녹색인 세그먼트는 최하단 다섯 개에서 여섯 개까지의 셀 위로 뻗어 있다(도 5b와 5d에 그에 맞추어 테두리 없이 백색으로 표시됨). 이 세그먼트는 지면 투영면에 해당된다. 즉 자기 차량이 주행하는 차도 (51)의 표면을 가리킨다.
또 다른 세그먼트를 영상의 중앙에서 볼 수 있는 바, 원본에는 분홍색으로 표시되어 있다. 그러므로 도 5b에서는 높은 적색 값, 도 5d에서는 약한 청색 값이 나타나고 도 5c에서는 녹색 값이 나타나지 않는다. 이 세그먼트는 자기 차선에서 선행하여 주행하는 (운송) 차량 (53)의 후면 투영면에 해당한다.
표시된 세그먼트화 결과는 장면에 대한 사전 지식 없이 세 개만의 반복 단계에서 식별된 것이다. 이는 시간적인 통합에 의해 본 발명의 구현 형태가 엄청난 신속성과 성능을 가진다는 것을 보여 준다.
도 6은 도 5에서 이미 기술한 장면에 있는 투영면의 정위 식별을 나타낸다. 도 6a는 정위를 위해 도 5a에 따른 주변 상황을 한 번 더 나타낸다.
도 6b는 측면 투영면에 할당된 대응물 전체를 나타낸다. 좌측 가장자리에 있는 대응물이 정확하게 우측 측면에 할당되었는 바, 이는 영상에서 거기에 반대편 차도와의 구분으로서 설치한 경계벽 (52)의 우측면이 있기 때문이다. 영상의 우측 반면에 있는 대응물도 역시 정확하게 좌측 측면에 할당되었는 바, 이는 영상에서 거기에 차도 가장자리 설치물 또는 차도 가장자리 화단의 "좌측면"이 있기 때문이다.
도 6c는 어떤 대응물이 지면 투영면에 할당되는가를 정확하게 보여주는 바, 이는 영상에서 거기에 차도 (51)의 표면을 볼 수 있기 때문이다.
도 6d는 어떤 대응물이 후면 투영면에 할당되는가를 나타낸다. 이것도 마찬가지로 정확하다. 이 식별만으로는 상이한 후면 투영면이 아직 충분히 구별되지는 않는다. 예를 들어 동일한 차선에서 선행하여 주행하는 화물 차량 (53)이 영상에서 그 차량 위에 위치한 표지판 신호교 (54)의 표지판과 구별되지 않는다. 하지만 이러한 표시에서 중요한 정보를 획득할 수 있는 바, 즉 차량 주변에 돌출한 대상이 나타난다는 것을 알 수 있다.
도 7에서 알기 쉽게 도시한 바와 같이 움직이는 대상을 인식하기 위해 역 TTC(tx, ty, tz)를 사용할 수 있다.
도 7a는 다시금 차량 상황의 영상을 나타낸다(도 6a와 동일). 자기 차선 위에서 선행하여 주행하는 차량 (73)은 화물 차량이다. 좌측 차선에는 두 대의 차량 (71 및 72)가 주행하고 우측 차선에도 다른 두 대의 차량 (74 및 75)가 주행한다.
도 7b는 다시금 지면 투영면(원본에서는 보라색)에 해당하고 유일하게 적색 부분으로서 나타나는 대응물을 나타낸다.
도 7c는 움직이는 대상에 할당되는 대응물이다. 원본에서 이 대상은 자기 차량에서 멀어지면 (즉 더 빨리 주행하면) 녹색이고, 더 느리게 주행하면 옥색이다.
도 7d는 청색 부분이 있는 대응물을 가리킨다. 즉 지면 투영면에 해당하는(도 7b 참조), 자기 차량에 접근하는 움직이는 대상(도 7c 참조)이고 고정적으로 돌출한 대상에 해당하는 대상으로서, 이 대상은 예를 들어 고속도로의 좌측 및 우측에 위치한 숲 구역과 표지판 신호교와 같이 도 7d에서만 표시되어 있다. 도 7c와 도 7d 모두에서 자기 차선 (73)에 차량이 접근한다는 것을 알 수 있다. 이는 우측 차선 (75)에 위치한 앞 차량에도 해당된다. 이에 반하여 나머지 차량 (71, 72, 74)은 멀어진다.
영상에서 하늘에 해당하는 구역에는 구조적 결함으로 인해 영상에서 대응물이 없다(도 7b부터 7d까지에서 백색으로 표시).
대응물에서의 자기 회전을 호모그래피 행렬을 계산하기 전 고려하거나 또는 회전 행렬 R의 자기 회전을 고려하면, 추월하는 차량은 자신의 음수 tz 성분을 기초로 하여 인식되거나 또는 차선을 바꾸거나 커브길을 주행하는 차량은 측면 tx 성분 영이 아님에 의해 인식된다. 동적 세그먼트가 자신의 호모그래피 행렬을 통해 예측되면 (아래의 "호모그래피 행렬에 기초한 광학적 흐름의 밀집화" 참조) 그 시간에 대해 동적 지도를 만들 수 있다.
방정식 3에서, 역 TTC가 영이 아닌 세그먼트로 회전 행렬이 기술된다는 것을 알 수 있고 완전히 불일치하는 호모그래피 행렬을 계산하여(방정식 2) t/d가 영인 세그먼트에서 이를 결정할 수 있다. 병진적 성분을 등극점 근처에서 감지할 수 없도록 한다고 가정하면, 등극점(xe, ye)의 좌표를 고정된 세그먼트의 호모그래피 행렬에 의해 예측하고 atan(
Figure 112019020684970-pct00029
) 또는 atan(
Figure 112019020684970-pct00030
)을 화소와 관련된 초점 거리 f로 계산하여 피치율 및 요율을 결정할 수 있다.
각 클러스트에 대해 모두 일치하지 않은 호모그래피 행렬을 계산하면, 삼각화를 위해 측정한 위치
Figure 112019020684970-pct00031
대신 예측한 위치
Figure 112019020684970-pct00032
를 사용하여 3D 주변을 재구성하는 데도 이를 사용할 수 있다. 이는 측정 오류의 영향력을 줄일 뿐만 아니라 등극점 근처에 있는 대상도 재구성할 수 있도록 한다.
아래에서는 호모그래피 행렬을 가초로 하여 광학적 흐름의 밀집화를 위한 예시 모델에 대해 기술한다.
시점 t-1에서의 세그먼트화가 알려져 있으면, 대상을 예측하거나 밀집된 흐름 필드를 생성하기 위해 이를 사용할 수 있다. 절단면에 기반을 둔 흐름법은 절단면을 만들고 이를 연속하는 프레임에 명확히 할당하려고 한다. 대부분의 경우 그 절단면은 패치(영상 단면 또는 영상 구역)에서 정의된 크기에서 계산된다. 하지만 패치의 크기와 형태가 변하면 고정된 템플릿(양식, 샘플, 여기서 의미하는 바는 예컨대 연속적인 영상에서 어느 한 영상의, 어떤 대상에 해당하는 영상 단면이다)으로 더 이상 대응점을 찾을 수 없다. 예를 들어 후면 투영면에 접근하면 패치의 크기가 변한다. 또는 지면 투영면 위나 측면과 평행하게 움직이면 패치의 크기와 형태가 변한다(도 1 및 2 참조). 시점 t-1에 세그먼트화가 진행되면, 호모그래피 행렬을 이미 찾은 흐름 벡터를 통해 다시 계산할 수 있으며, 이를 위해 이미 확립된 대응물의 위치와 형태를 사용하여 t-1부터 t-0까지를 예측한다.
또는 현재의 프레임이 시점 t-0부터 시점 t-1까지 변형되어 배율 및 형태 변화를 보정한다.
도 8은 그러한 과정을 도시한다.
도 8a는 차량 카메라가 시점 t-1에 촬영한, 다른 주행 상황의 영상이다. 각 주행 방향에 차선이 세 개인 고속도로를 볼 수 있다. 삼차선의 자기 차도 좌측에는 돌출하여 설치한, 반대편 차도와의 경계벽 (81)이 있다. 차도의 우측에는 소음 방지벽 (82)가 있다.
도 8b는 후속하는 시점 t에 촬영하여 경계벽의 호모그래피 행렬을 통해 차량의 움직임에 따라 차량 카메라가 두 촬영 지점 사이에서 발생한 변화를 영상의 경계벽 구역에서 보정되도록 변형(영어: warp)한 영상을 나타낸다. 도 8b에서 자기 차량의 전진 동작은 차선 표시의 가장 인접한 부분 차선이 도 8a에서보다 자기 차량에 더 가까이 위치하게 된다. 이러한 변형에 의해 영상이 사다리꼴 형태를 띠게 되는 바, 이를 도 8f에서 점선으로 표시하였다.
이제 도 8c는 경계벽(81, 도 8a 참조) 구역에서 식별한 대응하는 특징 (85)를 백색 점으로 나타낸다.
도 8d는 도 8b에 대해 기술한 바와 같이 이러한 대응하는 특징을 변형한 후 가장 가까운 영상의 어디에 이러한 특징이 나타날 수 있는가 (86)을 보여준다.
도 8e와 도 8f는 이러한 상황을 다시 한 번 흑백 표시로 나타내는 바, 여기서 대응하는 특징 (85)는 이제 영상의 좌측 반면에 있는 경계벽 (81)에서 검은색 점이다.
밀집한 흐름 필드를 생성하기 위해 각 세그먼트에 대해 현재의 영상이 이전 영상으로 변형되는 바, 이는 배율이나 형태가 변화한 이미 존재하는 대응물을 다시 찾거나 또는 새 대응물을 담당 구역이 동일한 템플릿을 사용하여 확보하기 위해서이다.
현재의 프레임에서 현재 있는 흐름 벡터가 호모그래피 행렬을 다시 계산하기에 충분히 있지 않는 경우, 가장 최근의 프레임에서 나온 호모그래피 행렬이 근사값으로서 사용되어 형태와 배율의 변화에도 불구하고 대응물을 찾을 수 있게 된다.
다음의 구현 형태 또는 측면은 유용하며, 단독적으로나 결합하여 사용될 수 있다:
1. 영상은 NxM 셀로 세분되고 셀의 점 대응물에 명확한 셀 ID가 할당된다. ID가 동일한 대응물에서 RANSAC를 이용하여 후면/지면 및 측면 투영면 호모그래피 행렬(방정식 9, 10 및 10)을 계산하고, 역투영 오류가 가장 적은 호모그래피 행렬과 호모그래피 행렬을 계산하기 위해 사용된 지지점이 저장된다. RANSAC(임의 표본 일치: RAndom SAmple Consensus) 방법은 주로 각 반복에서 임의로 선택한 최소한의 대응물을 사용하여 어떤 가설을 세운다. 그 다음 대응하는 각 특징에 대해 대응하는 그 특징이 그 가설을 지지하는지 여부를 기술하는 값을 계산한다. 그 가설이 그 대응하는 특징에 의해 충분히 지지를 받으면, 지지하지 않는 대응하는 특징을 국외자로서 폐기할 수 있다. 충분한 지지를 받지 못하는 경우, 최소한의 대응물을 다시 임의로 선택한다.
2. 인접한 셀 i, j에대 역투영 오류
Figure 112019020684970-pct00033
또는
Figure 112019020684970-pct00034
을 인접한 호모그래피 행렬의 지지점을 통해 계산한다. 역투영 오류
Figure 112019020684970-pct00035
가
Figure 112019020684970-pct00036
보다 작거나 또는 그 오류가 흐름의 길이에 맞추어 표준화된 임계점에 미달하는 경우, ID가 합쳐지고 호모그래피 행렬이 다시 계산된다. 특히 두 개의 인접한 셀이 동일한 투영면에 (또는 동일한 세그먼트나 동일한 대상에) 속하며 군집화되는 바, 이는 역투영 오류
Figure 112019020684970-pct00037
가
Figure 112019020684970-pct00038
보다 작고 두 역투영 오류
Figure 112019020684970-pct00039
및
Figure 112019020684970-pct00040
이 흐름의 길이에 맞추어 표준화된 임계점에 미달하는 경우에 그러하다.
3. 점 대응물 전체의 역투영 오류
Figure 112019020684970-pct00041
를 인전한 세그먼트에 대해 계산하고 점 대응물은 역투영 오류가 가장 적은 세그먼트에 할당된다. 최소한의 오류가 어떤 임계점을 초과하면, 그 대응물에 새 대상 ID를 붙여 더 작거나 또는 부분적으로 은폐된 대상도 인식할 수 있다.
4. 시점 t-1 에 추출된 세그먼트의 호모그래피 행렬은 새 프레임 (t-0)이 시작될 때 이미 찾은 영상 대응물을 통해 다시 계산되고 이미 존재하는 세그먼트 ID는 현재의 프레임으로 예측된다. 현재의 프레임에서 현재 있는 흐름 벡터가 호모그래피 행렬을 다시 계산하기에 충분히 있지 않는 경우, 가장 최근의 프레임에서 나온 호모그래피 행렬이 근사값으로서 사용된다.
5. 밀집한 흐름 필드를 생성하기 위해 각 세그먼트에 대해 현재의 프레임 (t-0)이 가장 최근의 프레임 (t-1)로 변형되는 바, 이는 배율이나 형태가 변화한 이미 존재하는 대응물을 다시 찾거나 또는 새 대응물을 확보하기 위해서이다.
6. 후면/지면 및 측면 투영면의 역투영 오류를 돌출한 목표를 인증하기 위해 사용할 수 있다. 도 6 참조.
7. 예를 들어 차량 스테레오 카메라에 변위 지도가 있는 경우, 절대 속도를 역 TTC t/d에서 계산할 수 있는 바, 왜냐하면 각 화소에 대한 절대 거리 d가 그 변위 지도에 있기 때문이다.
8. 각 세그먼트에 대해 모두 일치하지 않은 완전한 호모그래피 행렬을 계산하는 세그먼트에서 TTC 거의 무한을 사용하여 (또는 역 TTC 영에 가까움을 사용하여) 회전 행렬 R을 결정할 수 있다.
9. 3D 주변을 측정한 위치
Figure 112019020684970-pct00042
Figure 112019020684970-pct00043
대신 예측한 위치
Figure 112019020684970-pct00044
Figure 112019020684970-pct00045
을 사용하여 다시 구성할 수 있으며 대상도 등극점에서 다시 구성할 수 있다.

Claims (20)

  1. 대상을 감지하는 방법으로서,
    a) 차량 카메라를 사용하여 첫 번째 시간에서의 첫 번째 영상 및 상기 첫 번째 시간 이후의 두 번째 시간에서의 두 번째 영상을 포함하는 연속적인 영상을 촬영하는 단계;
    b) 복수의 대응하는 특징 쌍을 결정하는 단계로서, 상기 대응하는 특징 쌍의 각각은 상기 첫 번째 영상 및 상기 두 번째 영상에서 대응하는 첫 번째 특징 및 두 번째 특징으로 구성되는, 복수의 대응하는 특징 쌍을 결정하는 단계;
    c) 복수의 공간 투영면들을 결정하는 단계로서, 상기 복수의 공간 투영면들의 각각의 공간 투영면은 상기 대응하는 특징 쌍 사이에서 복수의 인접한 특징 쌍을 상기 공간 투영면과 연관시키는 것에 의해 결정되고, 상기 복수의 공간 투영면들은 차량의 길이 방향에 대해 수직으로 뻗은 후면 투영면 및 수평으로 뻗은 지면 투영면 중 적어도 하나를 포함하고, 상기 복수의 공간 투영면들은 수직으로 상기 차량의 길이 방향을 따라 뻗은 적어도 하나의 측면 투영면을 추가로 포함하는, 복수의 공간 투영면들을 결정하는 단계; 및
    d) 결정된 상기 공간 투영면들을 고려하고 그리고 결정된 상기 공간 투영면들에 의존하여 상기 연속적인 영상에서 대상을 감지하는 단계를 포함하는, 대상을 감지하는 방법.
  2. 제 1 항에 있어서,
    상기 공간 투영면들은 적어도 하나의 상기 후면 투영면을 포함하는, 대상을 감지하는 방법.
  3. 제 1 항에 있어서,
    상기 공간 투영면들은 적어도 하나의 상기 지면 투영면을 포함하는, 대상을 감지하는 방법.
  4. 제 1 항에 있어서,
    상기 공간 투영면들은 적어도 하나의 상기 측면 투영면을 포함하는, 대상을 감지하는 방법.
  5. 제 1 항에 있어서,
    상기 대상을 감지하는 단계는 상기 적어도 하나의 지면 투영면 중 하나와 연관된 상기 인접한 특징 쌍이 도로 가설을 나타내는 것을 도출하는 단계를 포함하는, 대상을 감지하는 방법.
  6. 제 1 항에 있어서,
    상기 대상을 감지하는 단계는 상기 적어도 하나의 후면 투영면 중 하나와 연관된 상기 인접한 특징 쌍이 돌출한 대상 가설을 나타내는 것을 도출하는 단계를 포함하는, 대상을 감지하는 방법.
  7. 제 1 항에 있어서,
    상기 인접한 특징 쌍을 상기 공간 투영면과 연관시키는 것은 호모그래피 행렬을 계산하는 단계와 상기 인접한 특징 쌍을 상기 공간 투영면과 연관시키기 위하여 상기 호모그래피 행렬을 이용하는 단계를 포함하는, 대상을 감지하는 방법.
  8. 제 7 항에 있어서,
    상기 호모그래피 행렬은 상기 첫 번째 시간에서의 상기 첫 번째 영상의 점들 또는 특징들과 상기 두 번째 시간에서의 상기 두 번째 영상의 일치하거나 대응하는 점들 또는 특징들의 대응물을 기술하는, 대상을 감지하는 방법.
  9. 제 7 항에 있어서,
    상기 인접한 특징 쌍을 상기 공간 투영면과 연관시키는 것은:
    상기 지면 투영면, 상기 후면 투영면 및 상기 측면 투영면 각각에 대한 호모그래피 행렬을 계산하는 단계;
    투영된 특징으로서 상기 첫 번째 영상으로부터의 상기 첫 번째 특징을 상기 지면 투영면에 투영하는 단계로서, 상기 후면 투영면 및 상기 측면 투영면은 해당되는 호모그래피 행렬을 이용하는, 상기 첫 번째 특징을 상기 지면 투영면에 투영하는 단계;
    상기 두 번째 영상에서의 상기 두 번째 특징과, 상기 지면 투영면, 상기 후면 투영면 및 상기 측면 투영면 각각에 대한 투영된 특징 사이의 차이로서 재투영 오류들을 결정하는 단계; 및
    상기 인접한 특징 쌍이 연관된 상기 공간 투영면으로서, 상기 재투영 오류들 중 재투영 오류가 가장 적은, 상기 지면 투영면, 상기 후면 투영면 및 상기 측면 투영면 중 하나를 선택하는 단계를 포함하는, 대상을 감지하는 방법.
  10. 제 7 항에 있어서,
    상기 호모그래피 행렬은 상기 후면 투영면에 대해
    Figure 112022066951702-pct00057

    에 따라 계산되고,
    a, b, c 는 상수이고, x0, y0 은 상기 첫 번째 영상에서의 상기 첫 번째 특징의 좌표이고, x1, y1 은 상기 첫 번째 영상에서의 상기 첫 번째 특징에 대응하는 상기 두 번째 영상에서의 상기 두 번째 특징의 좌표이고, tx, ty, tz 는 벡터 t/d 의 성분이며, t 는 상기 차량 카메라의 병진을 나타내고, d 는 투영면과의 거리를 나타내는, 대상을 감지하는 방법.
  11. 제 7 항에 있어서,
    상기 호모그래피 행렬은 상기 지면 투영면에 대해
    Figure 112022066951702-pct00058

    에 따라 계산되고,
    a, b, c 는 상수이고, x0, y0 은 상기 첫 번째 영상에서의 상기 첫 번째 특징의 좌표이고, x1, y1 은 상기 첫 번째 영상에서의 상기 첫 번째 특징에 대응하는 상기 두 번째 영상에서의 상기 두 번째 특징의 좌표이고, tx, ty, tz 는 벡터 t/d 의 성분이며, t 는 상기 차량 카메라의 병진을 나타내고, d 는 투영면과의 거리를 나타내는, 대상을 감지하는 방법.
  12. 제 7 항에 있어서,
    상기 호모그래피 행렬은 상기 측면 투영면에 대해
    Figure 112022066951702-pct00059

    에 따라 계산되고,
    a, b, c 는 상수이고, x0, y0 은 상기 첫 번째 영상에서의 상기 첫 번째 특징의 좌표이고, x1, y1 은 상기 첫 번째 영상에서의 상기 첫 번째 특징에 대응하는 상기 두 번째 영상에서의 상기 두 번째 특징의 좌표이고, tx, ty, tz 는 벡터 t/d 의 성분이며, t 는 상기 차량 카메라의 병진을 나타내고, d 는 투영면과의 거리를 나타내는, 대상을 감지하는 방법.
  13. 제 7 항에 있어서,
    상기 호모그래피 행렬의 이용에 의해 상기 대응하는 특징 쌍을 세그먼트화하는 단계를 더 포함하는, 대상을 감지하는 방법.
  14. 제 7 항에 있어서,
    격자에 기초하여 영상들 각각을 복수의 셀들로 세분하는 단계를 더 포함하고,
    상기 호모그래피 행렬을 계산하는 단계는 각 셀에 포함된 상기 대응하는 특징 쌍에 기초하여 셀들 각각에 대한 호모그래피 행렬을 계산하는 단계를 포함하고,
    호모그래피 행렬이 서로 일치하는 셀들을 군집화하는 단계를 더 포함하는, 대상을 감지하는 방법.
  15. 제 14 항에 있어서,
    첫 번째 셀에 대해 계산된 호모그래피 행렬이 상기 첫 번째 셀에 인접한 두 번째 셀에 대해 계산된 호모그래피 행렬과 충분히 일치하지 않는 경우, 상기 첫 번째 셀에 포함된 상기 대응하는 특징 쌍 각각의 재투영 오류를 상기 첫 번째 셀에 인접한 복수의 셀들의 호모그래피 행렬의 재투영 오류들과 비교하는 단계에 의해, 상기 첫 번째 셀 내에서 클러스트의 경계를 결정하는 단계; 및
    상기 대응하는 특징 쌍을 상기 호모그래피 행렬이 상기 재투영 오류들 중 가장 적은 재투영 오류를 생산하는 인접한 셀에 할당하는 단계를 더 포함하는, 대상을 감지하는 방법.
  16. 제 1 항에 있어서,
    상기 공간 투영면들은 복수의 서로 평행한 투영면들을 포함하고,
    복수의 상기 후면 투영면, 복수의 상기 지면 투영면, 또는 복수의 상기 측면 투영면을 포함하고,
    상기 투영면들 각각은 그것과 연관된 법선 벡터 및 상기 법선 벡터에 따른 거리 성분을 갖고,
    상기 서로 평행한 투영면들의 상기 법선 벡터의 상기 거리 성분의 상이한 값에 기초하여 상기 서로 평행한 투영면들을 분리하는 단계를 더 포함하는, 대상을 감지하는 방법.
  17. 제 1 항에 있어서,
    상기 인접한 특징 쌍을 상기 공간 투영면과 연관시키는 것에 의해 상기 공간 투영면들을 결정하는 단계는 영상들의 전체 영상 영역에 대해 수행되는, 대상을 감지하는 방법.
  18. 제 1 항에 있어서,
    감지된 대상에 대응하여 그리고 의존하여 차량의 운전자 지원 시스템을 작동하는 단계를 포함하는, 대상을 감지하는 방법.
  19. 카메라 제어장치 및 전자식 평가 장치를 포함하는 대상을 감지하는 디바이스로서,
    상기 카메라 제어장치는 차량 카메라를 사용하여 첫 번째 시간에서의 첫 번째 영상 및 상기 첫 번째 시간 이후의 두 번째 시간에서의 두 번째 영상을 포함하는 연속적인 영상을 촬영하도록 구성되고,
    상기 전자식 평가 장치는:
    복수의 대응하는 특징 쌍을 결정하는 것으로서, 상기 대응하는 특징 쌍의 각각은 상기 첫 번째 영상 및 상기 두 번째 영상에서 대응하는 첫 번째 특징 및 두 번째 특징으로 구성되는, 복수의 대응하는 특징 쌍을 결정하고;
    복수의 공간 투영면들을 결정하는 것으로서, 상기 복수의 공간 투영면들의 각각의 공간 투영면은 상기 대응하는 특징 쌍 사이에서 복수의 인접한 특징 쌍을 상기 공간 투영면과 연관시키는 것에 의해 결정되고, 상기 복수의 공간 투영면들은 차량의 길이 방향에 대해 수직으로 뻗은 후면 투영면 및 수평으로 뻗은 지면 투영면 중 적어도 하나를 포함하고, 상기 복수의 공간 투영면들은 수직으로 상기 차량의 길이 방향을 따라 뻗은 적어도 하나의 측면 투영면을 추가로 포함하는, 복수의 공간 투영면들을 결정하고; 및
    결정된 상기 공간 투영면들을 고려하고 그리고 결정된 상기 공간 투영면들에 의존하여 상기 연속적인 영상에서 대상을 감지하도록 구성되는, 대상을 감지하는 디바이스.
  20. 제 19 항에 있어서,
    상기 카메라는 하나의 모노 카메라인, 대상을 감지하는 디바이스.
KR1020197005955A 2016-09-29 2017-09-28 카메라 영상에서 대상의 감지 KR102491527B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016218852.6A DE102016218852A1 (de) 2016-09-29 2016-09-29 Detektion von Objekten aus Bildern einer Kamera
DE102016218852.6 2016-09-29
PCT/DE2017/200102 WO2018059631A1 (de) 2016-09-29 2017-09-28 Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien

Publications (2)

Publication Number Publication Date
KR20190059894A KR20190059894A (ko) 2019-05-31
KR102491527B1 true KR102491527B1 (ko) 2023-01-20

Family

ID=60262655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005955A KR102491527B1 (ko) 2016-09-29 2017-09-28 카메라 영상에서 대상의 감지

Country Status (7)

Country Link
US (1) US10984263B2 (ko)
EP (1) EP3520024A1 (ko)
JP (1) JP7050763B2 (ko)
KR (1) KR102491527B1 (ko)
CN (1) CN109791607A (ko)
DE (2) DE102016218852A1 (ko)
WO (1) WO2018059631A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016218852A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
US10706587B1 (en) * 2018-09-25 2020-07-07 Amazon Technologies, Inc. Calibration of multiple cameras
CN111260719B (zh) * 2020-01-09 2022-10-25 上海交通大学 一种基于神经网络算法的碰撞时间计算系统和方法
CN113284197B (zh) * 2021-07-22 2021-11-23 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100260377A1 (en) * 2007-03-22 2010-10-14 Nec Corporation Mobile detector, mobile detecting program, and mobile detecting method

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353565A (ja) 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP3463858B2 (ja) 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
US6618672B2 (en) 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP4118452B2 (ja) * 1999-06-16 2008-07-16 本田技研工業株式会社 物体認識装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
DE10317044A1 (de) 2003-04-11 2004-10-21 Daimlerchrysler Ag Freiraumüberwachung bei Kraftfahrzeugen
DE10351778A1 (de) 2003-11-06 2005-06-09 Daimlerchrysler Ag Verfahren zur Korrespondenzanalyse in Bilddatensätzen
JP4328692B2 (ja) 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
DE102004046101B4 (de) 2004-09-23 2007-01-18 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
US7130745B2 (en) 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
JP4267657B2 (ja) * 2006-10-31 2009-05-27 本田技研工業株式会社 車両周辺監視装置
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5410730B2 (ja) * 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
DE102009028742A1 (de) 2009-08-20 2011-02-24 Robert Bosch Gmbh Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts
US8232872B2 (en) 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
DE102011006564A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes und Bildaufbereitungsvorrichtung
EP2546804A1 (en) 2011-07-10 2013-01-16 Dürr Dental AG Method and tomography apparatus for reconstruction of a 3D volume
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US9256791B2 (en) 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
WO2015177648A1 (en) 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
DE102015224796A1 (de) 2015-12-10 2017-06-14 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer möglichen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218852A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100260377A1 (en) * 2007-03-22 2010-10-14 Nec Corporation Mobile detector, mobile detecting program, and mobile detecting method

Also Published As

Publication number Publication date
US10984263B2 (en) 2021-04-20
US20190180121A1 (en) 2019-06-13
JP7050763B2 (ja) 2022-04-08
KR20190059894A (ko) 2019-05-31
DE112017003466A5 (de) 2019-03-21
WO2018059631A1 (de) 2018-04-05
CN109791607A (zh) 2019-05-21
JP2019530924A (ja) 2019-10-24
EP3520024A1 (de) 2019-08-07
DE102016218852A1 (de) 2018-03-29

Similar Documents

Publication Publication Date Title
KR102491527B1 (ko) 카메라 영상에서 대상의 감지
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
Jazayeri et al. Vehicle detection and tracking in car video based on motion model
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
US7612800B2 (en) Image processing apparatus and method
US9042639B2 (en) Method for representing surroundings
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
JP6583527B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
Nguyen et al. A fast evolutionary algorithm for real-time vehicle detection
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
Liu et al. Vehicle detection and ranging using two different focal length cameras
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2014164601A (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN109917359A (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
US20220171975A1 (en) Method for Determining a Semantic Free Space
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant