KR20220111608A

KR20220111608A - 최근접 신호등을 감지하여 차량을 제어하는 방법 및 시스템

Info

Publication number: KR20220111608A
Application number: KR1020210015054A
Authority: KR
Inventors: 이재영
Original assignee: 현대모비스 주식회사
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2022-08-09

Abstract

최근접 신호등을 감지하여 차량을 제어하는 방법이 제공된다. 상기 방법은 차량의 카메라를 통해 촬영된 영상을 수신하는 단계; 상기 영상으로부터 신호등의 렌즈 영역을 추출하는 단계; 상기 카메라와 신호등의 렌즈 영역 사이의 거리를 산출하는 단계; 상기 산출된 거리에 기초하여 정면 최근접 신호등을 선택하는 단계; 및 상기 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어하는 단계를 포함한다.

Description

최근접 신호등을 감지하여 차량을 제어하는 방법 및 시스템{METHOD AND SYSTEM FOR CONTROLLING A VEHICLE BY DETECTING THE NEAREST TRAFFIC LIGHT}

본 발명은 차량의 정면에 위치하는 최근접 신호등을 감지하고, 정면 최근접 신호등의 상태 정보를 기반으로 차량을 제어하는 방법 및 시스템에 관한 것이다.

신호등은 차량의 움직임과 방향에 대한 정보를 제공하여 효율적으로 교통의 흐름을 제어하며, 운전자는 신호등의 상태를 인식하여 차량을 제어한다.

운전자의 주행을 돕기 위한 자율 주행 제어기도 영상 기반 신호등의 상태 인식 기술이 필요하며, 이러한 상태 인식 기술과 관련된 다양한 기술들이 제안되고 있다.

도 1은 교차로와 횡단보도가 연속된 다중 신호등이 존재하는 상황을 도시한 도면이다.

한편, 촬영한 전방 영상에서 단일 신호등만 보이는 경우에는 인식 문제로 신호 판단을 할 수 있다. 하지만, 도 1과 같이 교차로와 횡단보도가 연속된 상황에서는 어떤 신호가 교차로 신호이고 어떤 신호가 횡단보도 신호인지를 판단해야 한다. 더욱이 오거리와 같은 경우, 다른 도로의 교통 흐름을 제어하는 신호등이 영상에서 보여지기도 한다.

운전자는 보통 정면에 존재하는 최근거리의 신호를 우선하므로, 신호등 정보를 사용하여 차량을 제어하기 위해서는 신호등과의 거리 정보가 필요하다.

본 발명이 해결하고자 하는 과제는 전방 카메라를 통해 촬영된 영상을 기반으로 카메라와 신호등 렌즈 사이의 거리와 회전 각도를 획득한 후, 이를 기반으로 정면 최근접 신호등을 선택 가능하도록 하여, 정면 최근접 신호등의 상태 정보에 따른 차량 제어를 수행하는, 최근접 신호등을 감지하여 차량을 제어하는 방법 및 시스템을 제공한다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 최근접 신호등을 감지하여 차량을 제어하는 방법은 차량의 카메라를 통해 촬영된 영상을 수신하는 단계; 상기 영상으로부터 신호등의 렌즈 영역을 추출하는 단계; 상기 카메라와 신호등의 렌즈 영역 사이의 거리를 산출하는 단계; 상기 산출된 거리에 기초하여 정면 최근접 신호등을 선택하는 단계; 및 상기 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어하는 단계를 포함한다.

본 발명의 일부 실시예에서, 상기 영상으로부터 신호등의 렌즈 영역을 추출하는 단계는, 상기 영상으로부터 신호등 영역에 상응하는 바운딩 박스 영역을 추출하는 단계; 상기 바운딩 박스 영역 내에서 시드점을 선정하는 단계; 및 상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 바운딩 박스 영역 내에서 시드점을 선정하는 단계는, 상기 바운딩 박스 영역 내의 중심점으로부터 소정의 범위 내에서 가장 밝은 점을 상기 시드점으로 선정할 수 있다.

본 발명의 일부 실시예에서, 상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계는, 상기 선정된 시드점으로부터 소정의 방향으로 이동한 지점에서의 화소값(이하, 주변 화소값)을 산출하는 단계; 상기 시드점의 화소값과 상기 주변 화소값 간의 차이를 산출하는 단계; 상기 산출된 차이값이 미리 설정된 임계값을 초과하는지 여부를 판단하는 단계; 상기 판단 결과 임계값 이하인 경우 상기 주변 화소값에 해당하는 지점을 렌즈 영역으로 추출하는 단계; 및 상기 주변 화소값을 시드점으로 재설정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계는, 상기 판단 결과 임계값을 초과하는 경우 상기 주변 화소값에 해당하는 지점을 렌즈 외부 영역으로 판단할 수 있다.

본 발명의 일부 실시예에서, 상기 카메라와 신호등의 렌즈 영역 사이의 거리를 산출하는 단계는, 상기 영상의 영상 평면 내에서의 상기 렌즈 영역에 대한 장축의 시작 지점과 끝 지점에 상응하는 제1 및 제2 화소위치의 좌표값을 획득하는 단계; 상기 카메라로부터 상기 신호등의 렌즈까지의 높이 정보를 획득하는 단계; 및 상기 카메라의 내부 파라미터에 따른 영상 평면과 카메라 사이의 거리와, 미리 결정된 렌즈의 크기 정보와, 상기 높이 정보와, 상기 제1 및 제2 화소위치의 좌표값에 기초하여 상기 카메라와 렌즈 영역 사이의 거리를 산출하는 단계를 포함할 수 있다.

본 발명의 일부 실시예는, 상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정하는 단계는, 상기 렌즈 영역에 대한 장축의 길이 및 단축의 길이를 각각 산출하는 단계; 상기 산출된 장축 및 단축의 길이로부터 회전비를 산출하는 단계; 및 상기 산출된 회전비를 룩업 테이블을 통해 근사화한 회전 각도를 추정하는 단계를 포함할 수 있다.

또한, 본 발명의 제2 측면에 따른 최근접 신호등을 감지하여 차량을 제어하는 시스템은 차량의 전방에 설치되어 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 기반하여 정면 최근접 신호등을 결정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상으로부터 신호등의 렌즈 영역을 추출하고, 상기 카메라와 렌즈 영역 사이의 거리를 산출한 후, 상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정한 후, 상기 거리 및 회전 각도에 기초하여 정면 최근접 신호등을 결정한 후, 상기 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어한다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 영상으로부터 신호등 영역에 상응하는 바운딩 박스 영역을 추출하고, 상기 바운딩 박스 영역 내의 중심점으로부터 소정의 범위 내에서 가장 밝은 점을 상기 시드점으로 선정한 후, 상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 선정된 시드점으로부터 소정의 방향으로 이동한 지점에서의 화소값(이하, 주변 화소값)을 산출하고, 상기 시드점의 화소값과 상기 주변 화소값 간의 차이를 산출한 후, 상기 산출된 차이값이 미리 설정된 임계값 이하인 경우 상기 주변 화소값에 해당하는 지점을 렌즈 영역으로 추출하고, 상기 주변 화소값을 시드점으로 재설정할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 판단 결과 임계값을 초과하는 경우 상기 주변 화소값에 해당하는 지점을 렌즈 외부 영역으로 판단할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 영상의 영상 평면 내에서의 상기 렌즈 영역에 대한 장축의 시작 지점과 끝 지점에 상응하는 제1 및 제2 화소위치의 좌표값을 획득하고, 상기 카메라로부터 상기 신호등의 렌즈까지의 높이 정보를 획득한 후, 상기 카메라의 내부 파라미터에 따른 영상 평면과 카메라 사이의 거리와, 미리 결정된 렌즈의 크기 정보와, 상기 높이 정보와, 상기 제1 및 제2 화소위치의 좌표값에 기초하여 상기 카메라와 렌즈 영역 사이의 거리를 산출할 수 있다.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 렌즈 영역에 대한 장축의 길이 및 단축의 길이를 각각 산출하고, 상기 산출된 장축 및 단축의 길이로부터 회전비를 산출한 후, 상기 산출된 회전비를 시뮬레이션 과정을 통해 획득한 룩업 테이블을 통해 근사화시킨 회전 각도를 추정할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 최근접 신호등을 감지하여 차량을 제어하는 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

전술한 본 발명의 일 실시예에 의하면, 단일 영상을 사용하여 신호등의 거리와 각도를 측정함으로써 복잡한 교차로나 오거리 상황에서 현재 위치의 교통량을 제어하는 신호를 정확히 판별할 수 있어, 주행 보조 장치의 시내 주행 성능 및 안전성을 향상시킬 수 있다.

또한, 단일 영상으로부터 거리 측정이 가능하므로, 타 시스템의 노이즈 영향성이 없으며, 신호등 거리를 기준으로 현재 차량의 위치를 정밀하게 판단하여 localization 성능도 향상시킬 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 교차로와 횡단보도가 연속된 다중 신호등이 존재하는 상황을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 제어 방법의 순서도이다.
도 3은 신호등의 렌즈 영역을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 신호등 내 렌즈 크기를 도시한 도면이다.
도 5는 카메라와 렌즈 영역 사이의 거리를 산출하는 과정을 설명하기 위한 도면이다.
도 6은 회전 각도별로 달라지는 렌즈 영역의 일 예시를 도시한 도면이다.
도 7은 렌즈 영역에 대한 회전 각도를 추정하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량 제어 시스템의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는 도 2 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 최근접 신호등을 감지하여 차량을 제어하는 방법에(이하, 차량 제어 방법) 대하여 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 차량 제어 방법의 순서도이다.

한편, 도 2에 도시된 각 단계들은 최근접 신호등을 감지하여 차량을 제어하는 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다. 또한, 본 발명에서의 차량은 자율주행 차량뿐만 아니라 자율주행 제어기가 설치 및 운용될 수 있는 차량을 모두 포함하는 개념이다.

먼저, 차량의 카메라를 통해 촬영된 영상을 수신한다(S110). 이때, 차량의 카메라는 차량의 주행 보조를 위한 전방 카메라일 수 있으나, 반드시 이에 한정되는 것은 아니다.

일 실시예로, 차량의 카메라를 통해 촬영된 영상을 수신함과 동시에 영상으로부터 신호등의 상태 정보를 인식하여 함께 제공할 수 있다. 여기에서 신호등의 상태 정보는 신호등의 색상에 따른 지시 정보를 의미한다.

다음으로 카메라에 의해 촬영된 영상으로부터 신호등의 렌즈 영역을 추출한다(S120).

도 3은 신호등의 렌즈 영역을 추출하는 과정을 설명하기 위한 도면이다.

신호등은 빛을 출력하는 렌즈와 렌즈를 감싸고 있는 함체(housing)으로 구성되며, 본 발명의 일 실시예는 이 중에서 렌즈 영역을 추출하는 과정을 필요로 한다.

이를 위해, 먼저 영상으로부터 신호등 영역에 상응하는 바운딩 박스(bounding box) 영역을 추출한다(S121).

그 다음, 바운딩 박스 영역 내에서 시드점(seed point)을 선정한다(122). 일 실시예로, 시드점은 바운딩 박스 영역의 중심점 부근, 즉 중심점으로부터 소정의 범위 내에서 가장 밝은 점을 시드점으로 선정할 수 있다. 렌즈 부분은 빛이 출력되는 부분이므로 어두운 함체보다 밝으며, 경우에 따라 태양광에 의하여 하늘이 더 밝을 수 있으므로 중심점 부분을 기준으로 찾는다.

그 다음, 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 신호등의 렌즈 영역을 추출한다(S123).

보다 구체적으로, 선정된 시드점으로부터 소정의 방향으로 이동한 지점에서의 화소값(이하, 주변 화소값)을 산출한다(S1231). 일 예로, 현재 위치인 시드점을 기준으로 8 방향으로 이동하면서 주변 화소값을 산출한다.

이후, 시드점의 화소값과 주변 화소값 간의 차이를 산출하고, 산출된 차이값이 미리 설정된 임계값을 초과하는지 여부를 판단한다(S1232).

판단 결과 밝기의 차이값이 임계값 이하인 경우에는 주변 화소값에 해당하는 지점을 렌즈 영역으로 선정하고(S1233), 해당 방향에서의 주변 화소값을 시드점으로 재설정할 수 있다(S1234). 다시 해당 시드점을 기준으로 소정의 방향으로 이동하면서 전술한 과정을 재반복한다. 이때, 실시예에 따라 시드점은 복수 개가 될 수 있으며, 최초 시드점을 중심으로 동시에 복수의 방향으로 이동함에 따라 렌즈 영역으로 선정된 주변 화소값에 해당하는 복수의 지점들은 각각 시드점으로 사용될 수 있다. 따라서, 위 과정이 반복 수행됨에 따라 렌즈 영역은 보다 빠르게 결정될 수 있다.

이와 달리, 판단 결과 밝기의 차이값이 임계값을 초과하는 경우에는 주변 화소값에 해당하는 지점을 렌즈 외부 영역으로 판단한다(S1235).

렌즈 영역에서 함체로 넘어가는 부분은 밝기 차이가 극명하게 나므로, 위 과정을 통해 렌즈 영역을 정확히 추출할 수 있다.

다음으로 카메라와 신호등의 렌즈 영역 사이의 거리를 산출한다(S130).

도 4는 신호등 내 렌즈 크기를 도시한 도면이다. 도 5는 카메라와 렌즈 영역 사이의 거리를 산출하는 과정을 설명하기 위한 도면이다.

일반적인 신호등은 높이 450cm 이상으로만 설치하면 되므로 고정 높이가 아니다. 하지만 렌즈의 크기는 도 4와 같이 결정되어 있으므로 이를 이용하여 카메라와 렌즈 영역 사이의 거리를 산출할 수 있다.

신호등이 차량의 정면에 있을 때의 수직 방향의 단면도는 도 5와 같다.

먼저, 카메라를 통해 촬영한 영상의 영상 평면 내에서의 렌즈 영역에 대한 장축의 시작 지점과 끝 지점에 상응하는 제1 및 제2 화소위치의 좌표값을 획득한다. 도 5에서 카메라의 내부 파라미터(intrinsic parameter, f와 화소 크기)를 보정(calibration) 과정을 통해여 구했을 경우, 신호등 렌즈가 영상 평면에 수직 방향으로 나타나는 시작 지점과 끝 지점에 해당하는 좌표값 y₁, y₂를 획득할 수 있다.

그 다음, 카메라로부터 신호등의 렌즈까지의 높이 정보(h)를 획득한다. 이때, 카메라는 차량에 장착되어 있으므로, 카메라의 장착 높이(Z_cam)를 함께 고려할 수 있다.

그 다음, 카메라의 내부 파라미터에 따른 영상 평면과 카메라 사이의 거리(f)와, 미리 결정된 렌즈의 크기 정보(0.3m)와, 높이 정보(h), 그리고 제1 및 제2 화소위치의 좌표값 y₁, y₂에 기초하여 카메라와 렌즈 영역 사이의 거리(d)를 산출한다.

카메라와 렌즈 영역 사이의 거리(d)를 산출하는 과정을 수식으로 표현하면 다음과 같다.

신호등 렌즈가 영상 평면에 수직 방향으로 나타나는 시작 지점과 끝 지점에 해당하는 좌표값 y₁, y₂를 획득하면, 비례 관계에 의하여 식 1을 만족해야 한다.

[식 1]

이때, y₁과 y₂는 화소위치를 물리적인 값으로 환산한 결과이며, f는 캘리브레이션 과정을 통해 구한 카메라 내부 파라미터이고, d는 신호등 렌즈까지의 거리를 의미한다.

위 비례 관계 식을 정리하면 다음 식 2와 같이 나타낼 수 있다.

[식 2]

식 2를 다시 정리하면 카메라로부터 신호등 렌즈까지의 거리를 산출할 수 있다.

이와 같이 차량의 카메라로부터 신호등 렌즈까지의 거리를 산출하고 나면, 산출된 거리에 기초하여 정면 최근접 신호등을 선택할 수 있다(S150). 그리고 정면 최근접 신호등의 상태 정보에 기초하여 차량 제어를 수행할 수 있다(S160).

즉, 영상 내에 복수 개의 신호등이 포함되어 있는 경우 산출된 거리 정보에 기초하여 최근접 신호등을 선택하여, 현재 위치의 주행 상태에 영향을 주는 신호등으로 결정하고, 해당 신호등의 상태에 맞게 차량을 제어할 수 있다.

이에 더 나아가, 본 발명의 일 실시예는 거리 정보뿐만 아니라 차량과 신호등 간의 각도 정보를 이용하여 정면 최근접 신호등을 결정할 수 있다(S140). 즉, 단순히 정면 방향으로 연속하여 위치하는 복수 개의 신호등의 거리 정보만을 이용하는 것이 아니라, 교차로나 오거리와 같은 상황에서 영상의 측면 부분에 포함된 신호등까지도 고려하여 정면 최근접 신호등을 결정할 수 있다. 이는 차량이 직진하는 상황에서는 특별히 문제되지 않으나, 곡선 주행하는 경우 더욱 유용하게 정면 최근접 신호등을 결정할 수 있다.

도 6은 회전 각도별로 달라지는 렌즈 영역의 일 예시를 도시한 도면이다. 도 7은 렌즈 영역에 대한 회전 각도를 추정하는 과정을 설명하기 위한 도면이다.

일반적으로 신호등은 수평으로 설치되므로 picth 방향의 회전 각은 작다. 하지만 도로나 차량의 방향에 따라 yaw 값은 도 6과 같이 달라지게 된다. 정면 방향의 경우 렌즈 영역은 명확히 추출되나, 회전 각도가 클수록 신호등 챙(visor)에 의하여 렌즈 영역이 가려질 수 있다.

이러한 문제를 해소하기 위해 본 발명의 일 실시예는, 렌즈 영역에 대한 장축의 길이를 산출하고(S141), 또한 렌즈 영역에 대한 단축의 길이를 산출한다(S142). 이는 렌즈 영역의 가장자리의 왼쪽, 오른쪽, 상단, 하단의 좌표를 구한 후, 장축의 길이는 가장자리의 수직 길이를 통해 산출되고, 단축의 길이는 가장자리의 수평 길이를 통해 산출한다.

그 다음, 산출한 장축 및 단축의 길이로부터 회전비를 산출한다(S143). 일 실시예로, 회전비는 단축의 길이를 장축의 길이로 나누는 연산을 통해 산출할 수 있다.

그 다음, 산출한 회전비를 시뮬레이션 값으로 산출한 LUT(Look Up Table)을 통해 근사화하여 회전 각도를 추정한다(S144).

이와 같이 산출된 회전 각도와 거리 정보에 기초하여 N개의 신호등 중 정면 최근접 신호등을 결정할 수 있으며, 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어할 수 있다.

이를 통해, 본 발명의 일 실시예는 다수의 신호등이 나타나는 오거리나 복잡한 교차로에서도 현재 위치의 교통량을 제어하는 신호를 판별할 수 있으며, 따라서 타당한 신호 정보를 사용하여 시내 주행 보조 성능 및 안전성을 향상시킬 수 있다.

한편, 상술한 설명에서, 단계 S110 내지 S160은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 7의 내용은 도 8의 차량 제어 시스템(100)의 내용에도 적용될 수 있다.

도 8은 본 발명의 일 실시예에 따른 차량 제어 시스템(100)의 블록도이다.

본 발명의 일 실시예에 따른 차량 제어 시스템(100)은 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.

카메라(110)는 차량의 전방에 설치되어 영상을 촬영한다.

메모리(120)에는 카메라(110)에 의해 촬영된 영상에 기반하여 정면 최근접 신호등을 결정하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리에 저장된 프로그램을 실행시킨다.

프로세서(130)는 프로그램을 실행시킴에 따라, 영상으로부터 신호등의 렌즈 영역을 추출하고, 카메라(110)와 렌즈 영역 사이의 거리를 산출한 후, 카메라(110)를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정한다. 그 다음, 프로세서(130)는 거리 및 회전 각도에 기초하여 정면 최근접 신호등을 결정한 후, 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어한다.

이상에서 전술한 본 발명의 일 실시예에 차량 제어 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 차량 제어 시스템
110: 카메라
120: 메모리
130: 프로세서

Claims

차량의 카메라를 통해 촬영된 영상을 수신하는 단계;
상기 영상으로부터 신호등의 렌즈 영역을 추출하는 단계;
상기 카메라와 신호등의 렌즈 영역 사이의 거리를 산출하는 단계;
상기 산출된 거리에 기초하여 정면 최근접 신호등을 선택하는 단계; 및
상기 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어하는 단계를 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제1항에 있어서,
상기 영상으로부터 신호등의 렌즈 영역을 추출하는 단계는,
상기 영상으로부터 신호등 영역에 상응하는 바운딩 박스 영역을 추출하는 단계;
상기 바운딩 박스 영역 내에서 시드점을 선정하는 단계; 및
상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계를 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제2항에 있어서,
상기 바운딩 박스 영역 내에서 시드점을 선정하는 단계는,
상기 바운딩 박스 영역 내의 중심점으로부터 소정의 범위 내에서 가장 밝은 점을 상기 시드점으로 선정하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제2항에 있어서,
상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계는,
상기 선정된 시드점으로부터 소정의 방향으로 이동한 지점에서의 화소값(이하, 주변 화소값)을 산출하는 단계;
상기 시드점의 화소값과 상기 주변 화소값 간의 차이를 산출하는 단계;
상기 산출된 차이값이 미리 설정된 임계값을 초과하는지 여부를 판단하는 단계;
상기 판단 결과 임계값 이하인 경우 상기 주변 화소값에 해당하는 지점을 렌즈 영역으로 추출하는 단계; 및
상기 주변 화소값을 시드점으로 재설정하는 단계를 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제4항에 있어서,
상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 단계는,
상기 판단 결과 임계값을 초과하는 경우 상기 주변 화소값에 해당하는 지점을 렌즈 외부 영역으로 판단하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제1항에 있어서,
상기 카메라와 신호등의 렌즈 영역 사이의 거리를 산출하는 단계는,
상기 영상의 영상 평면 내에서의 상기 렌즈 영역에 대한 장축의 시작 지점과 끝 지점에 상응하는 제1 및 제2 화소위치의 좌표값을 획득하는 단계;
상기 카메라로부터 상기 신호등의 렌즈까지의 높이 정보를 획득하는 단계; 및
상기 카메라의 내부 파라미터에 따른 영상 평면과 카메라 사이의 거리와, 미리 결정된 렌즈의 크기 정보와, 상기 높이 정보와, 상기 제1 및 제2 화소위치의 좌표값에 기초하여 상기 카메라와 렌즈 영역 사이의 거리를 산출하는 단계를 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제1항에 있어서,
상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정하는 단계를 더 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
제7항에 있어서,
상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정하는 단계는,
상기 렌즈 영역에 대한 장축의 길이 및 단축의 길이를 각각 산출하는 단계;
상기 산출된 장축 및 단축의 길이로부터 회전비를 산출하는 단계; 및
상기 산출된 회전비를 룩업 테이블을 통해 근사화한 회전 각도를 추정하는 단계를 포함하는,
최근접 신호등을 감지하여 차량을 제어하는 방법.
최근접 신호등을 감지하여 차량을 제어하는 시스템에 있어서,
차량의 전방에 설치되어 영상을 촬영하는 카메라,
상기 카메라에 의해 촬영된 영상에 기반하여 정면 최근접 신호등을 결정하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상으로부터 신호등의 렌즈 영역을 추출하고, 상기 카메라와 렌즈 영역 사이의 거리를 산출한 후, 상기 카메라를 기준으로 하는 신호등의 렌즈 영역에 대한 회전 각도를 추정한 후, 상기 거리 및 회전 각도에 기초하여 정면 최근접 신호등을 결정한 후, 상기 정면 최근접 신호등의 상태 정보에 기초하여 차량을 제어하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.
제9항에 있어서,
상기 프로세서는 상기 영상으로부터 신호등 영역에 상응하는 바운딩 박스 영역을 추출하고, 상기 바운딩 박스 영역 내의 중심점으로부터 소정의 범위 내에서 가장 밝은 점을 상기 시드점으로 선정한 후, 상기 선정된 시드점의 화소값과 주변 화소값과의 차이에 기초하여 상기 신호등의 렌즈 영역을 추출하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.
제10항에 있어서,
상기 프로세서는 상기 선정된 시드점으로부터 소정의 방향으로 이동한 지점에서의 화소값(이하, 주변 화소값)을 산출하고, 상기 시드점의 화소값과 상기 주변 화소값 간의 차이를 산출한 후, 상기 산출된 차이값이 미리 설정된 임계값 이하인 경우 상기 주변 화소값에 해당하는 지점을 렌즈 영역으로 추출하고, 상기 주변 화소값을 시드점으로 재설정하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.
제11항에 있어서,
상기 프로세서는 상기 판단 결과 임계값을 초과하는 경우 상기 주변 화소값에 해당하는 지점을 렌즈 외부 영역으로 판단하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.
제9항에 있어서,
상기 프로세서는 상기 영상의 영상 평면 내에서의 상기 렌즈 영역에 대한 장축의 시작 지점과 끝 지점에 상응하는 제1 및 제2 화소위치의 좌표값을 획득하고, 상기 카메라로부터 상기 신호등의 렌즈까지의 높이 정보를 획득한 후,
상기 카메라의 내부 파라미터에 따른 영상 평면과 카메라 사이의 거리와, 미리 결정된 렌즈의 크기 정보와, 상기 높이 정보와, 상기 제1 및 제2 화소위치의 좌표값에 기초하여 상기 카메라와 렌즈 영역 사이의 거리를 산출하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.
제9항에 있어서,
상기 프로세서는 상기 렌즈 영역에 대한 장축의 길이 및 단축의 길이를 각각 산출하고, 상기 산출된 장축 및 단축의 길이로부터 회전비를 산출한 후, 상기 산출된 회전비를 시뮬레이션 과정을 통해 획득한 룩업 테이블을 통해 근사화시킨 회전 각도를 추정하는 것인,
최근접 신호등을 감지하여 차량을 제어하는 시스템.