KR102116740B1

KR102116740B1 - 신호등을 감지하는 차량용 신호등 시퀀스 지원장치를 지원하기 위한 방법

Info

Publication number: KR102116740B1
Application number: KR1020147022714A
Authority: KR
Inventors: 슈테판 뤼케; 슈테판 헤게만; 마티아스 코마
Original assignee: 콘티 테믹 마이크로일렉트로닉 게엠베하; 콘티넨탈 테베스 아게 운트 코. 오하게
Priority date: 2012-12-03
Filing date: 2013-10-21
Publication date: 2020-05-29
Also published as: DE112013005779A5; US20150105989A1; EP2925581B1; EP2925581A1; JP2016501408A; DE102012111740A1; CN104066638B; US9409571B2; WO2014086349A1; CN104066638A; JP6364018B2; KR20150093585A

Abstract

본 발명은 카메라(1)를 사용하여 신호등(11)의 신호등 시퀀스를 감지하는 차량(10)의 신호등 시퀀스 지원장치를 지원하기 위한 방법에 관한 것이다. 본 발명에서는 제어장치(3)를 사용하여 카메라(1)의 시야(1a)에 있는 신호등(11)을 인식할 때 카메라(11)는 자신의 시야(1a) 내에 있는 주행로(W)의 길이(L)를 신호등(11)의 방향에서 결정하고, 주행로(W)의 길이(L)에 해당하는 제어 신호(St)를 출력하는 것을 목표로 한다.

Description

신호등을 감지하는 차량용 신호등 시퀀스 지원장치를 지원하기 위한 방법 {METHOD FOR ASSISTING A TRAFFIC LIGHT PHASE ASSISTANT OF A VEHICLE, WHICH DETECTS A TRAFFIC LIGHT}

본 발명은 카메라를 사용하여 신호등의 신호등 시퀀스를 감지하는 차량용 신호등 시퀀스 지원장치를 지원하기 위한 방법에 관한 것이다.

DE 10 2010 052 964 A1에서 신호등 장치의 적색 시퀀스를 인식하기 위해 카메라의 형태를 한 운전자 지원 장치가 알려져 있다. 그러한 물체를 파악할 때 이미 알고 있는 신호등의 시퀀스에 따라 차량은 신호등 앞의 정지선 앞에 정지할 때까지 에너지를 회수하며 정지한다.

하지만 이는 신호등이 항상 카메라의 시야 내에 있어야 한다는 것을 전제로 한다. 이는 특히 정지할 때 작동하는 지원 기능에도, 예를 들어 신호등이 적색에서 녹색으로 바뀔 때 차량의 엔진에 시동이 자동의 걸리는 것과 같은 기능에도 적용된다.

본 발명의 과제는 현재의 이러한 기술 수준을 바탕으로 카메라를 이용하여 신호등의 신호등 시퀀스를 감지하는 차량의 신호등 시퀀스 지원장치를 지원하는 방법을 고안하며 이러한 지원장치의 기능이 되도록 모든 교통 상황에서 작동할 수 있도록 하는 것이다.

이러한 과제는 특허 청구항 1의 특징을 갖는 방법에 의해 해결된다.

본 발명에 따라 카메라를 이용하여 신호등의 신호등 시퀀스를 감지하는 차량용 신호등 시퀀스 지원장치를 지원하는 방법의 특징은,

- 제어장치를 사용하여 카메라의 시야에 있는 신호등을 인식할 때 신호등으로의 방향에서의 카메라의 시야 내에 있는 주행로의 길이가 결정되고,

- 주행로의 길이에 해당하는 제어 신호를 출력한다는 점이다.

주행로의 길이를 나타내는 제어 신호를 차량의 디스플레이 장치로 출력하는 것이 좋다.

디스플레이 장치는 주행로의 끝을 나타내는 시각적 및/또는 청각적 통지가 출력되도록 하여. 이를 통해 운전자에게 알려 준다.

따라서 신호등 시퀀스 지원장치가 확실하게 작동하면 운전자는 자신의 차량을 표시된 정지선에서 세울 수 있다.

본 발명에서 선호하는 형태에서는 시각적 및/또는 청각적 통지가 이격 거리로서 길이의 결정 단위로 표시된다. 그 대신 또는 추가적으로 시각적 및/또는 청각적 통지가 시각적 및/또는 청각적 아이콘으로 표시될 수 있다.

본 발명의 다른 형태에 따라, 주행로의 길이를 표시하는 제어 신호가 차량의 제동 시스템에 개입하는 지원 시스템에서 출력되고 이 지원 시스템은 주행로의 끝이 목표 제동으로서 적용되며 지원 시스템이 이 목표 제동을 통해 운전자를 지원하는 형태로 구성되어 있으면 특히 장점이 많다.

선호하는 모델 형태에서는 주행로의 길이에 해당하는 제어 신호가 차량의 자동 제어장치에서 출력된다. 차량의 자동 제어장치는 특히 전속력 ACC, Stop&Go ACC, ACC(Adaptive Cruise Control: 적응형 정속주행장치, 종방향 제어 정속주행장치), 비상제동 지원장치 또는 전자동 차량 횡방향 및 종방향 제어장치일 수 있다. 이 장치는 차량이 주행로의 끝에서 정지하도록 자동으로 차량을 제어한다. 따라서 주행로의 끝은 특히 목표 제동으로서 적용되며 차량은 이 목표 제동에 따라 자동으로 제동된다.

운전자는 유용하게도 차량의 자동 제어장치를 통해 시각적 및/또는 청각적 통지에 대한 정보를 받을 수 있다. 그러면 운전자는 차량의 자동 제어장치를 보다 더 잘 이해할 수 있게 되어 경우에 따라 자신의 차량이 앞에 정지한 차량과 거리를 두는 것에 대해 놀라지 않게 된다.

주행로의 끝이, 즉 차량의 정지 지점이 신호등 앞에서 너무 멀리 떨어지지 않도록 하기 위해 본 발명의 다른 형태에서는 카메라를 이용하여 신호등의 정지선을 파악하여 주행로의 끝이 정지선에 대해 지정된 거리 한계를 초과하지 않도록 주행로의 끝을 결정할 것을 제안한다.

본 발명의 또 다른 형태에서는 3D-카메라를 사용하여 주행로의 길이를 결정하기 위해 차량의 윤곽적 위치와 신호등과의 거리를 결정한다.

본 발명을 더욱 발전시킨 형태에서는 그 대신 주행로의 길이를 결정하기 위해 모노 카메라의 영상 데이터를 3D 장면 구성을 이용하여 평가함으로써 신호등과의 거리를 평가하려고 한다. 또한 주행로의 길이를 결정하기 위해 영상 데이터의 각도 변화라는 관점에서 모노 카메라의 영상 데이터를 평가함으로써 신호등과의 거리를 평가할 수 있다.

이제 아래에 첨부한 도면을 이용하여 본 발명에 대해 더 자세히 설명하겠다.

도 1은 본 발명에 따른 방법을 설명하기 위해 신호등 시퀀스 지원 시스템이 장착된 차량이 신호등 앞에 위치한 교통 상황을 도시한 도면이고,
도 2는 본 발명에 따른 방법을 실행하기 위해 신호등 시퀀스 지원장치가 장착된 차량을 도시한 블록 다이어그램이다.

도 1은 교통 신호등(11) 앞의 상황을 나타내는바, 이 신호등 방향으로 차선(12)에서 주행하는 차량이, 예를 들어 신호등 시퀀스 지원 시스템(7)을 장착한 차량(10)이 접근하고 있다. 이 신호등 시퀀스 지원 시스템(7)에는 스테레오 카메라 또는 모노 카메라 형태의, 시야가 "1a"인 카메라(1)가 장착되어 있으며, 이 시야(1a)에서 수집한 영상 데이터는 도 2의 영상 평가장치(2)에 전송된다. 물체 인식 소프트웨어를 사용하여 예컨대 도 1의 교통 신호등(11)이 인식된다.

도 1에서 차량(10)은 교통 신호등(11) 방향으로 접근하며, 이때 먼저 위치 P1에 위치한다. 이 위치 P1에서 교통 신호등(11)은 카메라(1)에 의해 인식되며 영상 데이터에서 교통 신호등(11)의 지리적 위치와 차량(10)에 대한 그 거리가 결정되거나 또는 평가되며 이 데이터를 제어장치(3)에 전송한다 (도 2 참조). 적색 시퀀스를 인식할 때 교통 신호등(11) 앞의 차량(10)은 정지선(13) 앞에 정지해야 한다. 그러므로 이 데이터로부터 제어장치(3)에 의해, 차량이 주행로(W)의 끝(E)에 이를 때까지 교통 신호등(11)이 주행로(W)에 걸쳐 카메라(1)의 시야(1a) 내에 남아 있는 주행로(W)의 길이(L)가 계산된다. 제어장치(3)는 주행로(W)의 이 길이(L)를 나타내는 제어 신호(St)를 발생시키는바, 이 신호는 차량(10)의 디스플레이 장치(4)로 전송된다.

이 제어 신호(St)를 기초로 하여 디스플레이 장치(4)가 시각적 및/청각적 통지를 출력하는바, 이 표시는 차량(10)이 정지해야 할 주행로(W)의 끝(E)을 운전자에게 나타내어 차량(10)의 신호등 시퀀스 지원장치(7)가 정상적으로 작동한다는 것을 알려 준다. 즉 차량(10)이 주행로(W)의 끝(E)에서, 다시 말하여 도 1의 위치 P2에서 정지하는 경우 교통 신호등(11)이 아직 카메라(1)의 시야(1a)에 위치한다는 것을 알려 준다. 차량(10)의 위치 P2에서 신호등 시퀀스 지원장치(7)는 교통 신호등(11)의 시퀀스가 바뀔 때 반응하여 이에 따른 적절한 기능을 실행할 수 있다.

차량(10)의 운전자가 이 지시에 따르면, 차량에 교통 신호등(11)과 너무 가까이 정지하여 교통 신호등(11)이 카메라(1)의 시야(1a)에서 벗어나는 것을 방지하게 된다.

디스플레이 장치(4)를 사용하여 주행로(W)의 끝(E)은 주행로(W)에 있는 끝(E)까지의 현재 거리를 계속 표시함으로써, 즉 끝(E)까지의 남은 거리를 이격 거리로서 미터 단위로 표시되거나 또는 적절한 언어로 출력될 수 있다.

그 대신 또는 추가로 시각적 및/또는 청각적 아이콘에 의해서도 디스플레이 장치(4)를 사용하여 주행로(W) 또는 이 주행로(W)의 끝(E)을 표시할 수 있다. 시각적 아이콘으로는 예컨대 주행로(W)의 끝(E)에 해당하는 시각적 정지선을 그림으로서 디스플레이 장치(4)의 화면에 표시하는 것이 좋다. 음향 신호로는 음향의 높이를 낮게 하는 것을 예컨대 청각적 아이콘으로 사용할 수 있다.

차량(10)에 제동 시스템에 개입하는 지원 시스템이 추가로 장착되어 있으면, 예컨대 도 2에 사용한 기호 5로 표시한 ACC(Adaptive-Cruise-Control) 시스템(차간 거리 조절 정속 주행장치)가 장착되어 있으면, 주행로(W)의 길이(L)를 나타내는 제어 신호(St)가 이 ACC 시스템(5)에도 전송된다.

이 ACC 시스템을 주행로(W)의 끝(E)을 목표 제동으로서 적용하여 운전자가 이 목표 제동을 유지하도록 지원한다. 이를 위해 ACC 시스템(5)은 적절한 액추에이터(6), 예컨대 브레이크 액추에이터와 연결되어 있다. ACC 시스템(5)이 이미 제동 모드로 작동하면 차량(10)은 적절한 브레이크 액추에이터(6)를 이용하여 자동으로 이 목표 제동에 맞추어 제동될 수 있다.

주행로(W)의 끝(E)이, 즉 위치 P2에 해당하는 차량(10)의 정지 지점이 교통 신호등(11)의 앞에서 너무 멀리 떨어지지 않도록 하기 위해 교통 신호등(11)의 정지선(13)을 카메라(1)가 결정하여 주행로의 끝이 지정한 거리 한계를 초과하지 않도록, 예컨대 정지선(13)에 대해 5m를 초과하지 않도록 주행로(W)의 길이(L)를 결정하여 차량(10)의 위치 P2가 교통 신호등(11)과 너무 멀리 떨어지지 않도록 한다.

교통 신호등(11)의 위치 및 차량(10)과의 거리는 카메라(1)를 위해 사용한 카메라 시스템에 따라 여러 상이한 방식으로 결정된다.

그러므로 3D 카메라로서 스테레오 카메라를 사용할 때 교통 신호등(11)의 위치 및 그 거리 또한 영상 테이터에서 직접 확인 또는 결정된다.

또한 카메라(1)로서 모노 카메라를 사용하여 본 발명에 따른 신호등 시퀀스 지원장치를 실현할 수 있다. 이를 위해 현재의 기술 수준에서 알려져 있는 3D 장면 구성을 이용하여 교통 신호등(11)의 위치를 결정하고 주행로(W)의 길이(L) 및 교통 신호등(11)과의 거리를 평가한다.

더 나아가 주행로(W)의 길이(L)를 결정하기 위해 영상 데이터에 있는 교통 신호등의 각도 변화라는 관점에서 모노 카메라(1)의 영상 데이터를 평가함으로써 신호등과의 거리를 평가할 수 있다.

1 카메라, 모노 카메라, 스테레오 카메라
1a 카메라(1)의 시야
2 영상 평가 장치
3 제어장치
4 디스플레이 장치
5 ACC 시스템
6 ACC 시스템의 액추에이터
7 신호등 시퀀스 지원 시스템
10 차량
11 신호등, 교통 신호등
12 차선
13 신호등(11)의 정지선
E 주행로(W)의 끝
L 주행로(W)의 길이
W 차량(10)의 주행로
P1 차량(10)의 위치
P2 차량(10)의 위치

Claims

카메라(1)를 사용하여 신호등(11)의 신호등 시퀀스를 감지하는 차량(10)의 신호등 시퀀스 지원장치를 지원하기 위한 방법에 있어서,
- 제어장치(3)를 사용하여 카메라(1)의 시야(1a)에 있는 신호등(11)을 인식할 때 신호등(11)으로의 방향에서의 카메라(1)의 시야(1a)에 신호등(11)이 유지되는 주행로(W)의 길이(L)를 결정하는 것으로서, 상기 주행로(W)의 길이(L)는 카메라(1)의 시야(1a)에 신호등(11)을 인식했을 때의 위치를 시점으로 하여 해당 주행로(W)의 끝(E)에 이르기까지 해당 주행로(W)에 걸쳐 신호등(11)이 카메라(1)의 시야(1a) 내에 남아 있는 길이인, 상기 주행로(W)의 길이(L)를 결정하는 것, 및
- 주행로(W)의 길이(L)에 해당하는 제어 신호(St)를 출력하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항에 있어서,
차량(10)이 주행로(W)의 끝(E)에 정지했을 때 신호등(11)이 여전히 카메라(1)의 시야(1a)에 남아 있도록 상기 주행로(W)가 결정되는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항에 있어서,
제어 신호(St)가 차량(10)의 디스플레이 장치(4)에 출력되며, 이 장치는 주행로(W)의 끝(E)을 나타내는 시각적 및/또는 청각적 통지가 이루어지도록 하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 3 항에 있어서,
시각적 및/또는 청각적 통지가 주행로(W)의 길이(L)에 대한 이격 거리 정보로서 어떤 길이 결정 단위로 이루어지는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항에 있어서,
제어 신호(St)가 차량(10)의 제동 시스템에 개입하는 지원 시스템(5)에 출력되며, 이 지원 시스템(5)은 주행로(W)의 끝(E)을 목표 제동으로서 적용하여 이 목표 제동에 관해 운전자를 지원하도록 하는 형태로 구성되어 있는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항에 있어서,
제어 신호(St)가 차량의 자동 제어장치에 출력되며, 이 제어장치는 차량이 주행로(W)의 끝(E)에서 정지하도록 차량을 제어하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 6 항에 있어서,
운전자가 차량의 자동 제어장치를 통해 시각적 및/또는 청각적 통지에 대한 정보를 획득하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항에 있어서,
신호등(11)의 정지선(13)을 카메라(1)를 이용하여 파악하고 주행로의 끝(E)이 정지선(13)에 대해 지정된 거리 한계를 초과하지 않도록 주행로(W)의 길이(L)를 결정하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
주행로(W)의 길이(L)를 결정하기 위해 3D 카메라(1)를 사용하여 차량(10)의 기하학적 위치와 차량과 신호등(11) 사이의 거리를 결정하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
주행로(W)의 길이를 결정하기 위해 3D 장면 구성을 이용해 모노 카메라(1)의 영상 데이터를 평가함으로써 신호등(11)과의 거리를 추정하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
주행로(W)의 길이(L)를 결정하기 위해 영상 데이터에 있는 신호등(11)의 각도 변화라는 관점에서 모노 카메라(1)의 영상 데이터를 평가함으로써 신호등(11)과의 거리를 추정하는 것을 특징으로 하는,
신호등 시퀀스 지원장치를 지원하기 위한 방법.