KR20220170344A - 능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법 - Google Patents

Abstract

능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법이 개시된다. 본 발명의 일실시예에 따른 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가 GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정하고, 신호등 후보들 중 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택하고, 차량에 구비된 능동형 카메라와 타겟 신호등 간의 위치 관계를 고려하여 능동형 카메라의 제어 정보를 결정하고, 제어 정보에 상응하게 능동형 카메라를 제어하여 타겟 신호등을 인식하고, 타겟 신호등은 차량용 신호등 및 보행자 신호등 중 적어도 하나에 상응한다.

Description

능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법 {APPARATUS FOR RECOGNIZING TRAFFIC LIGHT USING ACTIVE CAMERA AND METHOD USING THE SAME}

본 발명은 능동형 카메라를 이용하여 신호등을 인식하는 기술에 관한 것으로, 특히 자율주행 차량이 2차선 이상 교차로 상황에서 횡단보도에 근접하거나 우회전하는 경우에 차량 정보, GPS 기반 지도 정보를 기반으로 능동형 카메라의 상태를 제어하여 영상을 취득함으로써 차량용 신호등 및 보행자 신호등을 능동적으로 인식하는 기술에 관한 것이다.

최근 자율주행 기술이 레벨 4 이상으로 발전하면서 시가지 혹은 교차로에서의 신호등 인식 성능이 자율주행 시스템에 있어서 중요해졌다. 현재 테슬라(Tesla)에서는 교차로 정면에서 취득한 카메라 영상을 이용하여 신호등 인식에 대한 상용화를 시작하였다. 그러나, 테슬라를 포함한 차량에서 신호등을 인식하기 위한 카메라는 1대를 활용하고 있으며, 이는 교차로의 구조적인 문제, 카메라의 고정된 화각과 해상도의 제한 및 카메라의 위치 문제로 인하여 보행자 신호등의 인식이 불가능하다는 문제를 야기한다. 물론, 여러 대의 카메라를 활용하거나 180도 이상의 화각을 제공하는 카메라를 활용하여 문제를 해결할 수는 있지만, 다양한 환경에 대한 근본적인 해결 방법이라고는 볼 수 없다.

예를 들어, 직선 도로 상에서 횡단보도 혹은 정지선 등에 의해 신호등의 높이가 달라지거나 정지선의 위치에 따라 신호등이 카메라 시야각에 들어오지 않는 경우에는 신호등 인식이 불가능하다. 즉, 복잡한 교차로 환경에서 차량이 우회전 혹은 좌회전하는 경우에 차량용 신호등과 보행자 신호등을 정확하게 인식하기 어렵다.

또한, 차량과 인프라 간의 통신을 기반으로 다양하고 복잡한 교차로 환경에서 차량용 신호등이나 보행자 신호등을 인식하는 연구들은 활발하지만, 이는 모든 차량과 신호등에 인프라 장비를 탑재해야 하기 때문에 추가적인 비용이 발생하게 된다.

한국 공개 특허 제10-2017-0069551호, 2017년 6월 21일 공개(명칭: 신호등 인식 시스템 및 그 방법)

본 발명의 목적은 단안 카메라 기반의 제한된 방향과 범위에 대한 신호등만 인식할 수 있었던 문제점을 해결함으로써 시가지 교차로 환경에서 주행 경로 상 측면에 위치한 보행자 신호등을 인식하는 것이다.

또한, 본 발명의 목적은 차량 정보, GPS 위치, 네비게이션 지도 정보 등을 기반으로 차량에 구비된 카메라를 회전하거나 영상을 확대 및 축소하여 차량용 신호등 및 보행자 신호등을 인식할 수 있는 방안을 제공하는 것이다.

또한, 본 발명의 목적은 자율주행 레벨 4 단계를 위한 안전하고 효율적인 신호등 인식 기술을 제공함으로써 자율주행 범위 확장을 도모하는 것이다.

또한, 본 발명의 목적은 차량과 인프라 간 통신을 통해 신호등을 인식하는 기술과 비교하여 비용 및 시간 측면에서 문제를 효율적으로 해결하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 능동형 카메라를 이용한 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가, GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정하는 단계; 상기 신호등 후보들 중 상기 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택하는 단계; 상기 차량에 구비된 능동형 카메라와 상기 타겟 신호등 간의 위치 관계를 고려하여 상기 능동형 카메라의 제어 정보를 결정하는 단계; 및 상기 제어 정보에 상응하게 상기 능동형 카메라를 제어하여 상기 타겟 신호등을 인식하는 단계를 포함하고, 상기 타겟 신호등은 차량용 신호등 및 보행자 신호등 중 적어도 하나에 상응한다.

이 때, 제어 정보는 상하좌우 회전 정보, 줌 인(ZOOM IN) 정보 및 줌 아웃(ZOOM OUT) 정보를 포함할 수 있다.

이 때, 차량 정보는 상기 차량의 현재 위치, 이동경로 및 이동방향을 포함할 수 있다.

이 때, 지도 정보는 횡단보도 위치, 보행자 신호등 위치 및 차량용 신호등 위치를 포함할 수 있다.

이 때, 상기 차량용 신호등과 상기 보행자 신호등을 순차적으로 인식해야 하는 경우, 도로교통법규에 설정된 신호등 체계 순서에 따라 설정되는 우선순위에 상응하게 신호등을 인식할 수 있다.

이 때, 위치 관계는 상기 능동형 카메라의 위치를 기준으로 상기 타겟 신호등의 위치를 각도와 거리에 상응하는 값으로 환산한 정보에 상응할 수 있다.

이 때, 상기 능동형 카메라를 통해 상기 타겟 신호등을 촬영한 영상을 획득하는 단계; 및 상기 영상을 정규화하고, 정규화된 영상 내에서 상기 타겟 신호등의 신호를 인식하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 장치는, GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정하고, 상기 신호등 후보들 중 상기 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택하고, 상기 차량에 구비된 능동형 카메라와 상기 타겟 신호등 간의 위치 관계를 고려하여 상기 능동형 카메라의 제어 정보를 결정하고, 상기 제어 정보에 상응하게 상기 능동형 카메라를 제어하여 상기 타겟 신호등을 인식하는 프로세서; 및 상기 GPS 정보, 상기 지도 정보 및 상기 차량 정보를 저장하는 메모리를 포함한다.

이 때, 제어 정보는 상하좌우 회전 정보, 줌 인(ZOOM IN) 정보 및 줌 아웃(ZOOM OUT) 정보를 포함할 수 있다.

이 때, 차량 정보는 상기 차량의 현재 위치, 이동경로 및 이동방향을 포함할 수 있다.

이 때, 지도 정보는 횡단보도 위치, 보행자 신호등 위치 및 차량용 신호등 위치를 포함할 수 있다.

이 때, 프로세서는 상기 차량용 신호등과 상기 보행자 신호등을 순차적으로 인식해야 하는 경우, 도로교통법규에 설정된 신호등 체계 순서에 따라 설정되는 우선순위에 상응하게 신호등을 인식할 수 있다.

이 때, 위치 관계는 상기 능동형 카메라의 위치를 기준으로 상기 타겟 신호등의 위치를 각도와 거리에 상응하는 값으로 환산한 정보에 상응할 수 있다.

이 때, 프로세서는 상기 능동형 카메라를 통해 상기 타겟 신호등을 촬영한 영상을 획득하고, 상기 영상을 정규화하고, 정규화된 영상 내에서 상기 타겟 신호등의 신호를 인식할 수 있다.

본 발명에 따르면, 단안 카메라 기반의 제한된 방향과 범위에 대한 신호등만 인식할 수 있었던 문제점을 해결함으로써 시가지 교차로 환경에서 주행 경로 상 측면에 위치한 보행자 신호등을 인식할 수 있다.

또한, 본 발명은 차량 정보, GPS 위치, 네비게이션 지도 정보 등을 기반으로 차량에 구비된 카메라를 회전하거나 영상을 확대 및 축소하여 차량용 신호등 및 보행자 신호등을 인식할 수 있는 방안을 제공할 수 있다.

또한, 본 발명은 자율주행 레벨 4 단계를 위한 안전하고 효율적인 신호등 인식 기술을 제공함으로써 자율주행 범위 확장을 도모할 수 있다.

또한, 본 발명은 차량과 인프라 간 통신을 통해 신호등을 인식하는 기술과 비교하여 비용 및 시간 측면에서 문제를 효율적으로 해결할 수 있다.

도 1은 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법을 나타낸 동작흐름도이다.
도 2는 본 발명에 따른 능동형 카메라의 일 예를 나타낸 도면이다.
도 3은 고정형 카메라를 이용한 보행자 신호등 인식 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 능동형 카메라를 이용한 보행자 신호등 인식 과정의 일 예를 나타낸 도면이다.
도 5는 도 3과 도 4에서 보행자 신호등 인식 방식의 차이점을 나타낸 도면이다.
도 6 내지 도 8은 본 발명에 따른 보행자 신호등 인식의 일 예를 나타낸 도면이다.
도 9는 고정형 카메라를 이용한 차량용 신호등 인식 과정의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 능동형 카메라를 이용한 차량용 신호등 인식 과정의 일 예를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 장치를 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

일반적으로 보행자 신호등은 구조적 측면이나 햇빛을 가리기 위해서 측면이 가려진 형태로 설치되어 있다. 따라서, 운전자는 횡단보도 정지선에 근접했을 경우에 보행자 신호등 쪽으로 고개를 돌려서 보행자 신호등의 신호를 확인하고 주행해야 하는 불편함이 존재하였다.

같은 상황을 기준으로, 기존의 고정된 화각의 전방 주시용 카메라를 통해 신호등을 인식하는 차량은 교차로에서 우회전을 한 직후에 횡단보도를 진입하는 경우 또는 정지선과 신호등의 거리가 가까운 경우에 카메라 영상 범위에 신호등이 포함되지 않아 신호등의 정보를 인식할 수 없는 문제가 발생한다.

따라서, 본 발명에서는 차량 또는 자율주행 차량의 주행 상 반드시 인식해야 할 신호등 정보이지만, 기존의 고정형 카메라의 구조적인 한계로 인식하지 못하는 문제를 해결하고자 한다. 또한, 운전자가 직접 고개를 움직여서 원하는 신호등을 보는 것과 같이 신호등 인식 기술을 고도화함으로써 시가지에서 자율주행 레벨 4 단계를 위한 안전하고 효율적인 방법을 통해 자율주행 범위를 확장하기 위한 방안을 제공하고자 한다.

이를 위해 차량 혹은 자율주행 차량이 2차선 이상의 교차로 상황에서 횡단보도에 근접하는 경우 혹은 우회전하는 경우에 차량용 신호등과 보행자 신호등을 능동적으로 인식하기 위한 것을 목적으로 한다.

이를 위해 속도, 위치, 회전 등의 차량 정보와 GPS 기반의 지도 정보를 기반으로 회전(상하좌우), 줌 인(Zoom IN), 줌 아웃(Zoom Out)이 가능한 카메라의 상태를 결정하고, 카메라를 통해 영상을 취득함으로써 운전자가 직접 고개를 돌리고 숙여서 원하는 방향에 있는 신호등을 인식하기 위한 행동과 같이 신호등을 인식할 수 있다.

또한, 2차선 혹은 4~5차선 이상의 큰 도로 폭을 가진 교차로에서 횡단보도 측면에 위치하는 보행자 신호등에 대한 인식 범위를 확보하기 위해서 능동형 카메라를 회전하거나 줌인, 줌아웃하는 제어 정보를 생성하고, 제어 정보에 따라 제어된 능동형 카메라를 이용하여 신호등 영상을 획득함으로써 신호등의 신호를 인식하기 위한 방안을 제시하고자 한다.

도 1은 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법을 나타낸 동작흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가, GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정한다(S110).

이 때, 차량은 운전자가 직접 운전하는 차량 혹은 자율주행 차량에 해당할 수 있다.

이 때, 차량 정보는 차량의 현재 위치, 이동 경로 및 이동 방향을 포함할 수 있다.

예를 들어, GPS 정보를 이용하여 지도 상에서 차량의 현재 위치를 추적할 수 있고, 차량에 구비된 네비게이션 등을 통해 차량의 이동 경로를 추정할 수 있고, 현재 위치와 이동 경로를 고려하여 차량의 이동 방향을 추정할 수 있다.

이 때, 지도 정보는 횡단보도 위치, 보행자 신호등 위치 및 차량용 신호등 위치를 포함할 수 있다.

예를 들어, 차량의 현재 위치, 이동 경로 및 이동 방향에 따라서 차량에서 인식해야 할 보행자 신호등의 위치나 차량용 신호등의 위치를 포함하고 있다.

따라서, 차량 정보를 기반으로 차량의 현재 위치나 차량의 이동 경로 상에 위치하는 차량용 신호등이나 보행자 신호등을 신호등 후보들로 결정하고, 지도 정보에 포함된 보행자 신호등 위치 및 차량용 신호등 위치를 이용하여 결정된 신호등 후보들의 위치를 추정할 수 있다.

이 때, 신호등 후보들은 차량의 주변 정보를 고려하여 구축된 데이터베이스를 기반으로 설정된 규칙이나 학습 결과를 활용하여 결정될 수 있다. 예를 들어, 차량의 주변 정보는 주변 차량들의 위치나 크기 정보, 현재 차량 혹은 현재 자율주행 차량의 위치 정보, 횡단보도 혹은 횡단보도를 건너기 위해 대기하는 보행자들의 위치 및 방향 정보 등을 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가, 신호등 후보들 중 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택한다(S120).

예를 들어, 주행 중인 차량의 속도와 조향각 정보에 따라 차량이 우회전하는 상황인지 횡단보도 앞에서 정지하는 상황인지를 지도 상 위치 정보와 조합하여 인식하고, 신호등 후보들 중 차량에서 인식해야 할 차량용 신호등 또는 보행자용 신호등을 타겟 신호등으로 선택할 수 있다.

또한, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가, 차량에 구비된 능동형 카메라와 타겟 신호등 간의 위치 관계를 고려하여 능동형 카메라의 제어 정보를 결정한다(S130).

이 때, 능동형 카메라는 여러 개의 카메라 혹은 여러 개의 렌즈를 포함하는 것이 아닌, 도 2에 도시된 것과 같이 회전 혹은 줌인아웃 할 수 있는 단안 카메라에 해당할 수 있다. 예를 들어, 능동형 카메라는 회전이 가능하고, 사물을 확대하거나 축소할 수 있는 줌인아웃(Zoom In Out) 기능을 하드웨어 또는 소프트웨어로 조작이 가능한 카메라에 상응할 수 있다.

따라서, 제어 정보는 상하좌우 회전 정보, 줌 인(ZOOM IN) 정보 및 줌 아웃(ZOOM OUT) 정보를 포함할 수 있다.

이 때, 위치 관계는 능동형 카메라의 위치를 기준으로 타겟 신호등의 위치를 각도와 거리에 상응하는 값으로 환산한 정보에 상응할 수 있다.

즉, 타겟 신호등이 보행자 신호등이라고 가정하면, 위치 관계는 현재 차량에 구비된 능동형 카메라의 위치를 중심으로 각도와 거리에 상응하는 값으로 환산된 보행자 신호등의 위치에 해당할 수 있다.

또한, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 방법은, 능동형 카메라를 이용한 신호등 인식 장치가, 제어 정보에 상응하게 능동형 카메라를 제어하여 타겟 신호등을 인식한다(S140).

이 때, 타겟 신호등은 차량용 신호등 및 보행자 신호등 중 적어도 하나에 상응할 수 있다.

따라서, 제어 정보에 상응하게 능동형 카메라를 회전하거나 줌인 혹은 줌아웃하여 차량용 신호등이나 보행자 신호등에 해당하는 타겟 신호등의 영상을 획득할 수 있다.

이 때, 능동형 카메라를 통해 타겟 신호등을 촬영한 영상을 획득하고, 영상을 정규화하고, 정규화된 영상 내에서 타겟 신호등의 신호를 인식할 수 있다.

예를 들어, 능동형 카메라를 통해 획득한 영상을 실제 기준 영상 대비 일정한 크기로 변환하여 정규화를 수행할 수 있다.

이 때, 차량용 신호등과 보행자 신호등을 순차적으로 인식해야 하는 경우, 도로교통법규에 설정된 신호등 체계 순서에 따라 설정되는 우선순위에 상응하게 신호등을 인식할 수 있다.

예를 들어, 상황에 따라 차량용 신호등과 보행자 신호등을 순차적으로 인식해야 하는 경우, 도로교통법규에 설정된 신호등 체계 순서에 따라 설정되는 우선순위를 기준으로 선행으로 인식된 정보를 저장하고 재확인하는 방식으로 신호등을 인식할 수 있다.

이하에서는, 도 3 내지 도 5를 참조하여, 기존의 고정형 카메라를 이용한 보행자 신호등 인식 방식과 본 발명에서 제안하는 능동형 카메라를 이용한 보행자 신호등 인식 방식의 차이를 상세하게 설명하도록 한다.

먼저, 차량이 횡단 보도 앞 정지선에 정차하여 보행자 신호등을 인식하는 경우를 가정하도록 한다.

차량이 차량용 신호등에서 정지(적색) 신호를 인식한 후 횡단보도 앞 정지하기 전 상황에서, 기존의 고정형 카메라는 도 3의 [A-1]와 같이 카메라 화각의 제한으로 인해 도 3의 [A-2]처럼 보행자 신호등이 보여지는 정보가 부족해진다. 또한, 차량이 정지선에 정차한 상황이라고 하여도, 기존의 고정형 카메라는 도 5에 도시된 [a-1]과 같이 카메라 화각에 보행자 신호등이 포함되지 않아 보행자 신호등 인식이 불가능하다.

반면에 본 발명에 따른 능동형 카메라는 도 4에 도시된 [B-1]과 같이 카메라를 보행자 신호등이 있는 위치로 회전시킴으로써 도 4의 [B-2]처럼 보행자 신호등에 대한 영상을 확보할 수 있다. 또한, 차량이 정지선에 정차한 상황에서도, 도 5에 도시된 [b-1]과 같이 카메라를 회전하여 [b-2]과 같이 보행자 신호등에 대한 영상을 충분히 확보할 수 있다.

또한, 차량이 우회전을 위해 횡단보도 직전에 정차하여 보행자 신호등을 인식하는 경우를 가정하도록 한다.

차량이 우회전을 위해 횡단보도 앞 정지선에 정차하는 상황에서, 기존의 고정형 카메라는 카메라 화각의 제한으로 인해 도 3의 [A-3]와 같이 반대 차선 쪽 보행자 신호등과 가까운 쪽 보행자 신호등을 모두 인식할 수 없는 상황이 발생한다. 따라서, 도 3의 [A-4]와 같이 가까운 쪽 보행자 신호등이 통행(녹색) 신호로 바뀌어 보행자가 횡단보도를 통행하는 경우, 차량에서 보행자 신호등의 신호를 인식하지 못하고 위험한 순간 정지를 못할 가능성이 발생한다.

반면에 본 발명에 따른 능동형 카메라는 도 4에 도시된 [B-3]과 같이 카메라를 보행자 신호등이 있는 위치로 회전시킴으로써 보행자 신호등의 영상을 확보할 수 있다. 따라서, 도 4의 [B-4]와 같이 가까운 쪽 보행자 신호등이 통행(녹색) 신호로 바뀌어 보행자가 횡단보도를 통행하는 경우에도 보행자 신호들의 신호를 인지하고 정지 상태를 유지할 수 있다.

이하에서는 도 6 내지 도 8을 참조하여 보행자 신호등의 영상을 획득하는 과정을 상세하게 설명하도록 한다.

예를 들어, 도 6은 차량에 설치된 능동형 카메라(610)를 회전시키거나 줌인아웃시킴으로써 교차로 환경에서 횡단보도 측면에 위치한 보행자 신호등의 영상을 획득하고, 영상 중 보행자 신호등의 신호 영역을 결정하는 것을 나타낸다. 즉, 도 6을 참조하면, 능동형 카메라(610)는 제어 정보에 따라 회전 또는 줌인아웃을 수행하여 원거리에 위치하는 보행자 신호등에 대한 보행자 신호등 영상(610)과 근거리에 위치하는 보행자 신호등에 대한 보행자 신호등 영상(620)을 촬영할 수 있다. 이렇게 촬영된 보행자 신호등 영상(610, 620)은 관심영인 ROI(Region of Intersection)로 재가공되어 보행자 신호등의 신호를 인식하기 위해 사용될 수 있다.

이하에서는 도 9 내지 도 10을 참조하여, 기존의 고정형 카메라를 이용한 차량용 신호등 인식 방식과 본 발명에서 제안하는 능동형 카메라를 이용한 차량용 신호등 인식 방식의 차이를 상세하게 설명하도록 한다.

실제 일반도로 환경에서 대부분의 신호등의 크기는 교통법규 상 일정한 반면에 신호등의 설치 높이와 위치는 가변적이며, 정지선과 차량용 신호등과의 거리도 일정하지 않다. 또한, 정지선과 차량용 신호등 사이에 횡단보도가 있는 경우도 있지만, 횡단보도가 없는 교차로 혹은 우측으로 차선이 빠져 나가는 경우와 같이 차량용 신호등과 정지선만 있는 경우도 존재한다.

이러한 환경에서는 도 9의 [AA-1]처럼 카메라 수직 화각에 차량용 신호등이 포함되도록 차량이 정지한 경우에만 기존의 고정형 카메라를 통해 차량용 신호등을 인식할 수 있다. 하지만, 도 9의 [AA-2]처럼 차량용 신호등이 카메라 수직 화각 범위를 벗어난 경우, 기존의 고정형 카메라는 차량용 신호등 인식이 불가능해 진다.

반면에 본 발명에 따른 능동형 카메라는 도 10의 [BB-1]이나 [BB-2]처럼 차량의 정지 위치와 관계없이 카메라를 수직 방향으로 회전시켜서 지속적으로 신호등 ROI를 제공할 수 있다.

또한, 도 10의 [BB-3]과 같이 차량이 신호등을 인식해야 할 위치를 벗어나는 경우, 다시 능동형 카메라의 화각이 줄어들도록 줌인(Zoom In)하여 원거리에 위치하는 차량용 신호등을 인식할 수 있도록 제어할 수 있다.

즉, 본 발명에 따르면 지도 상에서의 차량과 신호등 간의 위치 정보를 기반으로 차량이 신호등과 가까워질수록 능동형 카메라를 수직 방향으로 회전시키고, 화각이 커지도록 함으로써 능동형 카메라의 인식 범위를 넓혀 안정적인 신호등 ROI를 제공할 수 있다.

이와 같은 능동형 카메라를 이용한 신호등 인식 방법을 통해 단안 카메라 기반의 제한된 방향과 범위에 대한 신호등만 인식할 수 있었던 문제점을 해결함으로써 시가지 교차로 환경에서 주행 경로 상 측면에 위치한 보행자 신호등을 인식할 수 있다.

또한, 차량 정보, GPS 위치, 네비게이션 지도 정보 등을 기반으로 차량에 구비된 카메라를 회전하거나 영상을 확대 및 축소하여 차량용 신호등 및 보행자 신호등을 인식할 수 있는 방안을 제공할 수 있다.

또한, 자율주행 레벨 4 단계를 위한 안전하고 효율적인 신호등 인식 기술을 제공함으로써 자율주행 범위 확장을 도모할 수 있다.

또한, 차량과 인프라 간 통신을 통해 신호등을 인식하는 기술과 비교하여 비용 및 시간 측면에서 문제를 효율적으로 해결할 수 있다.

도 11은 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 장치를 나타낸 도면이다.

도 11을 참조하면, 본 발명의 일실시예에 따른 능동형 카메라를 이용한 신호등 인식 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 11에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

프로세서(1110)는 GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정한다.

이 때, 차량 정보는 차량의 현재 위치, 이동 경로 및 이동 방향을 포함할 수 있다.

이 때, 지도 정보는 횡단보도 위치, 보행자 신호등 위치 및 차량용 신호등 위치를 포함할 수 있다.

이 때, 프로세서(1110)는 신호등 후보들 중 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택한다.

이 때, 프로세서(1110)는 차량에 구비된 능동형 카메라와 타겟 신호등 간의 위치 관계를 고려하여 능동형 카메라의 제어 정보를 결정한다.

이 때, 제어 정보는 상하좌우 회전 정보, 줌 인(ZOOM IN) 정보 및 줌 아웃(ZOOM OUT) 정보를 포함할 수 있다.

이 때, 위치 관계는 능동형 카메라의 위치를 기준으로 타겟 신호등의 위치를 각도와 거리에 상응하는 값으로 환산한 정보에 상응할 수 있다.

이 때, 프로세서(1110)는 제어 정보에 상응하게 능동형 카메라를 제어하여 타겟 신호등을 인식한다.

이 때, 타겟 신호등은 차량용 신호등 및 보행자 신호등 중 적어도 하나에 상응할 수 있다.

이 때, 차량용 신호등과 보행자 신호등을 순차적으로 인식해야 하는 경우, 도로교통법규에 설정된 신호등 체계 순서에 따라 설정되는 우선순위에 상응하게 신호등을 인식할 수 있다.

이 때, 능동형 카메라를 통해 타겟 신호등을 촬영한 영상을 획득하고, 영상을 정규화하고, 정규화된 영상 내에서 타겟 신호등의 신호를 인식할 수 있다.

메모리(1130)는 GPS 정보, 지도 정보 및 차량 정보를 저장한다.

이와 같은 능동형 카메라를 이용한 신호등 인식 장치를 이용함으로써 단안 카메라 기반의 제한된 방향과 범위에 대한 신호등만 인식할 수 있었던 문제점을 해결함으로써 시가지 교차로 환경에서 주행 경로 상 측면에 위치한 보행자 신호등을 인식할 수 있다.

또한, 차량 정보, GPS 위치, 네비게이션 지도 정보 등을 기반으로 차량에 구비된 카메라를 회전하거나 영상을 확대 및 축소하여 차량용 신호등 및 보행자 신호등을 인식할 수 있는 방안을 제공할 수 있다.

또한, 자율주행 레벨 4 단계를 위한 안전하고 효율적인 신호등 인식 기술을 제공함으로써 자율주행 범위 확장을 도모할 수 있다.

또한, 차량과 인프라 간 통신을 통해 신호등을 인식하는 기술과 비교하여 비용 및 시간 측면에서 문제를 효율적으로 해결할 수 있다.

이상에서와 같이 본 발명에 따른 능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

610: 능동형 카메라 620, 630: 보행자 신호등 영상
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (1)

1. 능동형 카메라를 이용한 신호등 인식 장치가,
   GPS 정보 및 지도 정보를 기반으로 추정된 차량 정보를 고려하여 차량의 현재 위치에서 인식 가능한 신호등 후보들의 위치를 추정하는 단계;
   상기 신호등 후보들 중 상기 차량의 이동방향 및 이동경로를 고려하여 인식해야 할 타겟 신호등을 선택하는 단계;
   상기 차량에 구비된 능동형 카메라와 상기 타겟 신호등 간의 위치 관계를 고려하여 상기 능동형 카메라의 제어 정보를 결정하는 단계; 및
   상기 제어 정보에 상응하게 상기 능동형 카메라를 제어하여 상기 타겟 신호등을 인식하는 단계를 포함하고,
   상기 타겟 신호등은 차량용 신호등 및 보행자 신호등 중 적어도 하나에 상응하는 것을 특징으로 하는 신호등 인식 방법.

Images