KR20160148850A

KR20160148850A - 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법

Info

Publication number: KR20160148850A
Application number: KR1020150085570A
Authority: KR
Inventors: 김진수; 조현식; 박도현; 손유진
Original assignee: 한밭대학교 산학협력단
Priority date: 2015-06-17
Filing date: 2015-06-17
Publication date: 2016-12-27
Also published as: KR101727054B1

Abstract

본 발명은 차량에 설치된 영상촬영장치로부터 입력받은 영상을 처리하여 영상 내에서 신호등의 위치와 색을 판별하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 있어서, 영상촬영장치로부터 프레임을 순차적으로 입력받고 미리 결정된 기준에 따른 영역을 관심영역으로 지정하는 관심영역설정단계, 상기 관심영역 내에서 색공간을 변환하고, 신호색상 및 검은색으로 필터링하여 이진화 하며, 필터링한 프레임에 존재하는 잡음을 없애는 보정단계, 신호의 색상, 신호의 위치, 신호의 형태 및 신호등의 형태를 통해 관심영역에 신호등 존재여부를 판별하는 신호등판별단계 및 상기 신호등판별단계에서 관심영역에 신호등이 존재하면 해당영역에 대한 값을 상기 관심영역설정단계로 보내고, 관심영역에 신호등이 존재하지 않으면 관심영역을 해제하여 상기 관심영역설정단계부터 다시 수행하게 하는 관심영역재설정단계를 포함하여 이루어지는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 관한 것이다.

Description

교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법{Method for detecting and recognizing traffic lights signal based on features}

본 발명은 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 관한 것으로, 영상촬영장치로 입력되는 영상으로부터 교통 신호등의 위치 및 신호의 색상을 검출하는 방법에 관한 것으로, 더욱 상세하게는 차량에 부착된 카메라를 활용하여 입력되는 영상 정보를 획득해서, 영상 내에서 교통 신호등을 검출해서 찾아내고, 그 교통 신호등이 갖고 있는 신호 성분이 나타내는 정보를 인식하는 방법에 대한 것이다.

최근 들어 자동차 운전자에게 운전 중 편의를 제공하거나, 무인자동차, 자율주행 차량 및 스마트 카 등과 관련한 다양한 기술들이 개발되고 있다. 이러한 기술은 차량 및 도로에 부착된 각종 통신기기, 주행 중인 차량 간의 통신, GPS, 자동차 내에 부착되는 전자기기, 카메라를 이용한 영상처리 및 차량제어 등의 여러 가지 기술이 복잡하게 연계되는 것으로, 특히 무인자동차나 자율주행 차량은 상기한 여러 기술들이 유기적으로 결합하여 이루어져야만 한다.

상기한 기술 중 영상처리는 주로 차량 내부에 설치되는 블랙박스 카메라를 활용하여 입력되는 영상정보로부터 전방에 위치한 장애물, 교통표지판, 신호등, 차선 및 보행자를 인식하고 이를 자동적으로 분석하는 역할로 많이 사용되고 있다. 특히 신호등의 위치를 찾아내고, 그 신호등이 표시하고 있는 신호의 특징을 분석하는 기술은 차량에 탑승하고 있는 사람의 안전과 직결될 수 있기에 매우 높은 신뢰도가 요구되는 기술로, 특히 무인자동차 및 자율주행 자동차에 핵심적인 기술 요소이다.

한국공개특허 제2007-0074913호("영상인식을 이용한 신호등 변경 통보 시스템 및 방법", 2007.07.18, 이하 선행기술 1)에는 영상인식을 이용한 신호등 변경 통보 시스템 및 방법에 관해 개시된다. 보다 자세히 선행기술 1은 차량의 운전보조 시스템에 관한 것으로, 보다 상세하게는 차량의 주행 시 신호등의 신호 변화를 운전자에게 알려주는 영상인식을 이용한 신호등 변경 통보 시스템 및 방법에 관한 것이다. 선행기술 1은 운전자의 차량의 방향지시 스위치 조작에 따른 주행방향을 점멸하여 표시하는 방향지시등과, 상기 방향지시등과 연결되어 방향지시등의 온/오프 여부 및 진행방향을 검출하고, 점멸하는 방향지시등의 방향을 검출하여 출력하는 방향지시등 방향 검출부와, 신호등을 촬영하기 위해 주행 중의 차량 전방 상단을 촬영하고, 촬영된 영상을 영상데이터로 변환하여 출력하는 영상부와, 신호등을 검출하기 위한 신호등 형상에 대응하는 패턴 및 신호등의 색 패턴을 저장하는 저장부와, 소정의 제어를 받아 신호등 변경에 따른 경보신호를 발생하는 경보부와, 상기 영상데이터와 상기 신호등 패턴을 비교하여 전방에 존재하는 신호등을 검출하고, 신호등 검출 시 상기 영상데이터로부터 검출된 신호등 패턴에 대한 신호등과 신호등의 색 패턴을 비교하여 색을 인지하고, 상기 신호등 패턴과 색에 의해 신호를 판단하고, 판단된 신호와 상기 검출된 방향지시등 방향과 일치하면 상기 진행방향에 따른 주행방향 안내를 상기 경보부를 통해 경보하는 제어부로 이루어짐을 특징으로 한다.

선행기술 1과 같은 종래기술은 차량 부착 카메라를 통해 차량 전방의 영상을 입력받고, 해당 영상의 정보를 분석하여 활용하는 것으로, RGB(Red, Green, Blue)영역 또는 HSL(Hue, Saturation, Intensity)영역에서 색 성분을 활용하여 신호등과 신호를 구분하였다. 그러나 이러한 종래의 방법은 동여상과 같이 신호등의 크기와 위치 등이 변화하는 다양한 환경에 적용하기에는 부적합하여 오인식율이 매우 높은 문제점이 있다.

한국공개특허 제2007-0074913호("영상인식을 이용한 신호등 변경 통보 시스템 및 방법", 2007.07.18)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 차량 부착 카메라인 블랙박스 카메라를 이용하여 카메라가 주시하고 있는 차량 진행 방향의 동영상 정보 또는 정지 영상 정보를 획득하고 분석하여, 교통 신호등을 찾아내고, 그 정확한 신호를 제공함에 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명은, 차량에 설치된 영상촬영장치로부터 입력받은 영상을 처리하여 영상 내에서 신호등의 위치와 색을 판별하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 있어서, 영상촬영장치로부터 프레임을 순차적으로 입력받고 미리 결정된 기준에 따른 영역을 관심영역으로 지정하는 관심영역설정단계(S100), 상기 관심영역 내에서 색공간을 변환하고, 신호색상 및 검은색으로 필터링하여 이진화 하며, 필터링한 프레임에 존재하는 잡음을 없애는 보정단계(S200), 신호의 색상, 신호의 위치, 신호의 형태 및 신호등의 형태를 통해 관심영역에 신호등 존재여부를 판별하는 신호등판별단계(S300) 및 상기 신호등판별단계(S300)에서 관심영역에 신호등이 존재하면 해당영역에 대한 값을 상기 관심영역설정단계(S100)로 보내고, 관심영역에 신호등이 존재하지 않으면 관심영역을 해제하여 상기 관심영역설정단계(S100)부터 다시 수행하게 하는 관심영역재설정단계(S400)를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 관심영역설정단계(S100)는 입력받은 프레임이 첫 프레임이거나, 전 프레임에서 신호등이 검출되지 않았으면 입력받은 프레임의 Y축의 1/2지점보다 상부를 관심영역으로 지정하는 제1설정단계(S110) 및 전 프레임에서 신호등이 검출되었으면, 전 프레임에서 신호등이 검출된 영역보다 미리 정해진 범위만큼 확장된 영역을 관심영역으로 지정하는 제2설정단계(S120)를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 보정단계(S200)는 색공간을 RGB영역에서 HSL영역으로 바꾸는 변환단계(S210), 상기 변환단계(S210)에서 HSL로 변환된 프레임을 각각 빨간색, 초록색 및 노란색의 성분만을 갖도록 필터링 해서 세 개의 신호후보프레임을, 검은색 성분만을 갖도록 필터링 하여 신호등외곽후보프레임을 획득하고, 각각의 프레임에 대해 색상의 존재 유무롤 표시하여 이진화하는 색상별 프레임획득단계(S220) 및 상기 색상별 프레임획득단계(S220)에서 획득된 네 개의 프레임에 존재하는 잡음을 모폴로지 연산을 통해 제거하는 잡음제거단계(S230)를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 신호등판별단계(S300)는 상기 보정단계(S200)에서 빨간색, 노란색 및 초록색으로 필터링된 프레임의 화소위치와, 검은색으로 필터링된 프레임의 화소위치를 비교하여 신호후보프레임과 신호등외곽후보프레임을 얻어 두 개를 합쳐서 신호등후보프레임을 획득하는 신호등후보프레임 획득단계(S310), 상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임에 있는 신호등을 직사각형으로 근사화 하는 근사화단계(S320), 근사화단계(S320)에서 근사화된 신호등후보프레임의 신호등을 미리 정해진 기준에 따라 신호등을 이루고 있는 화소수, 가로 및 세로비율, 신호등의 가로 및 세로길이를 판단하여 신호등 여부를 검사하는 제1판별단계(S330), 상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임의 신호를 이루고 있는 화소가 원형인지 여부를 판별하는 제2판별단계(S340) 및 상기 제1판별단계(S330) 및 제2판별단계(S340)의 결과로 최종적으로 신호등 여부를 판정하고, 신호등 내부에 존재하는 신호의 위치를 미리 정해진 기준으로 판단해 신호를 결정하는 신호등판정 및 신호 결정단계(S350)를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 근사화단계(S320)에서는 신호등후보프레임을 레이블링 후, 레이블링 된 개체의 무게중심좌표를 구하는 신호등 무게중심계산단계(S321) 및 상기 신호등 무게중심계산단계(S321)에서 구한 무게중심좌표에서 X축 및 Y축 방향으로 화소의 최대 및 최소값(X_min, X_max, Y_min, Y_max)을 구하고, 신호등을 이루는 화소를 좌표 (X_min, Y_min), (X_max, Y_min), (X_min, Y_max), 및 (X_max, Y_max)가 이루는 직사각형으로 근사화하는 신호등 근사화단계(S322)를 포함하는 것을 특징으로 한다.

또한, 상기 제1판별단계(S330)는 상기 근사화단계(S320)에서 근사화된 직사각형이 하기의 모든 조건을 만족하면 신호등으로 판단하는 것을 특징으로 한다.

1. 가로길이는 가로 해상도 크기의 1%이상 7%이하, 세로길이는 화면의 세로 해상도 크기의 1%이상 5%이하이다.

2. 직사각형 안에 1인 값을 갖는 화소의 개수를 직사각형 안에 존재하는 모든 화소의 개수로 나눈 값이 0.6이상이다.

3. 직사각형의 가로길이를 세로길이로 나눈 값이 2.8이상 3.2이하, 3.8이상 4.2이하 혹은 4.7이상 5.3이하이다.

또한, 상기 제1판별단계(S330)는 근사화된 직사각형이 신호등이라고 판단될 경우, 직사각형의 가로길이를 세로길이로 나눈 값이 2.8이상 3.2이하이면 3색등으로, 3.8이상 4.2이하이면 4색등으로, 4.7이상 5.3이하이면 5색등으로 판별하는 것을 특징으로 한다.

또한, 상기 제2판별단계(S340)는 상기 신호후보프레임 내에 존재하는 1의 값을 갖는 화소들에 대해 레이블링을 수행하는 레이블링단계(S341), 레이블링된 각 개체에 대해 화소개수를 세는 넓이측정단계(S342), 상기 레이블링단계(S341)에서 각각 레이블링 된 개체의 무게중심을 구하는 원무게중심계산단계(S343), 각각 레이블링된 개체별로 상기 넓이측정단계(S342)에서 구해진 화소개수를 파이값으로 나눠 반지름을 구하는 반지름측정단계(S344), 각각 레이블링된 개체별로, 무게중심을 원의 중심으로 하여, 구해진 반지름으로 원형 근사화를 수행하는 원형근사화단계(S345) 및 근사화된 원의 내부에 1의 값을 갖는 화소수를 세고, 이 값을 파이값과 반지름의 제곱의 곱으로 나눈 값이 0.7 이상이면 최적으로, 0.5이상 0.7이하면 적합, 0.5이하이면 비적합으로 판별하는 원형판별단계(S346)를 포함하는 것을 특징으로 한다.

상기한 바와 같은 본 발명에 의한 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법은, 카메라로부터 입력되는 영상으로부터 신호등 및 신호를 찾아내고, 신호가 의미하는 정보를 운전자에게 전달 가능한 효과가 있다.

또한, 본 발명에 의한 교통 신호등의 특징점 추출에 기초한 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법은 무인자동차나 자율주행 자동차에 적용 가능한 효과가 있다.

도 1은 본 발명의 순서도.
도 2는 본 발명의 보정단계의 순서도.
도 3은 본 발명의 근사화단계의 순서도.
도 4는 본 발명의 신호등 근사화단계의 참고 도면.
도 5는 본 발명의 제2판별단계의 순서도.

이하, 첨부된 도면을 참고하여 본 발명에 의한 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 대해 상세히 설명한다.

본 발명에 의한 교통 신호등 특징점 추출에 기초한 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법은 차량에 설치된 영상촬영장치로부터 입력받은 영상을 처리하여 영상 내에서 신호등의 위치와 색을 판별하는 것으로 도 1에 도시된 바와 같이, 관심영역설정단계(S100), 보정단계(S200), 신호등판별단계(S300) 및 관심영역재설정단계(S400) 포함하여 이루어진다.

도 1에 도시된 상기 관심영역설정단계(S100)는 영상촬영장치로부터 프레임을 순차적으로 입력받고, 미리 결정된 기준에 따른 영역을 관심영역으로 지정하는 단계이다. 도 1에 도시된 바와 같이, 상기 관심영역설정단계(S100)는 제1설정단계(S110) 및 제2설정단계(S12)를 포함하여 이루어진다.

상기 제1설정단계(S110)는 상기 관심영역설정단계(S100)에서 입력받은 프레임이 첫 번째 프레임이거나, 전 프레임에서 신호등이 검출되지 않았으면 입력받은 프레임의 Y축의 1/2지점보다 상부를 관심영역으로 지정하는 단계이다. 상술한 대로, 상기 관심영역설정단계(S100)는 영상촬영장치로부터 영상을 입력받는다. 이 입력받는 영상은 주행 중에 지속적으로 받게 되고, 단일 프레임단위로 받게 된다. 프레임이란 동영상을 이루는 짧은 시간에 찍히는 사진으로, 영상처리에서 영상은 통상 프레임단위로 처리된다. 상기 영상촬영장치는 주행 중인 자동차의 전방을 촬영하고 있으므로, 신호등은 화면 상부에 위치하게 된다. 따라서 입력받은 프레임이 첫 번째 프레임이거나 직전 프레임에서 신호등이 검출되지 않았다면 입력받은 프레임의 Y축 방향의 1/2지점보다 상부를 관심영역으로 지정한다.

상기 제2설정단계(S120)는 전 프레임에서 신호등이 검출되었으면, 전 프레임에서 신호등이 검출된 영역보다 미리 정해진 범위만큼 확장된 영역을 관심영역으로 지정하는 단계이다. 예를 들어, 전 프레임에서 신호등이 검출되었고, 검출된 영역의 최좌측 좌표를 X1_min, 최우측 좌표를 X1_max, 최상측 좌표를 Y1_min, 최하측 좌표를 Y1_max라고 할 때, 좌표 (X1_min-10, Y1_min-10), (X1_min+10, Y1_min-10), (X1_min-10, Y1_min+10) 및 (X1_max+10, Y1_min+10)이 이루는 사각형의 영역을 관심영역으로 지정할 수 있다. 이는 상하좌우로 길이가 10만큼 늘어난 영역을 관심영역으로 다시 지정하는 것이다. 전 프레임에서 검출된 신호등의 영역보다 확장되는 이유는, 주행하는 차량에서 정면에 촬영되는 신호등의 크기는 신호등과 차량사이의 거리가 줄어들수록 커지기 때문이다. 확장되는 길이나 확장되는 방식은 자동차의 속도, 카메라의 해상도 및 기타 요인에 의해 변경될 수 있다. 영상촬영장치로부터 입력받은 프레임이 상기 제1설정단계(S110)나 제2설정단계(S120)을 거쳐 관심영역이 설정되면, 관심영역을 제외한 영역은 화소값을 0으로 바꾸어 연산량을 줄인다.

도 1에 도시된 상기 보정단계(S200)는 상기 관심영역설정단계(S100)에서 설정한 관심영역 내에서 색공간을 변환하고, 신호색상 및 검은색으로 필터링하여 이진화 하며, 필터링한 프레임에 존재하는 잡음을 없애는 단계이다. 도 2에 도시된 바와 같이, 상기 보정단계(S200)는 보다 세분화 하여 변환단계(S210), 색상별 프레임획득단계(S220) 및 잡음제거단계(S230)를 포함하여 이루어진다.

상기 변환단계(S210)는 색공간(Color Space)을 RGB(Red : 빨강, Green : 초록, Blue : 파랑)영역에서 HSL(Hue : 색상, Saturation : 채도, Lightness : 명도)영역으로 바꾸는 단계이다. 모든 촬영기기가 외부의 색깔을 인지하는 방법으로 RGB를 사용하지만, RGB는 밝기 및 명암을 제대로 표현하지 못하고, 영상처리를 하는데 있어서 정보량이 많기에, 신호등 색깔을 보다 효과적으로 검출하기 위해 상기 변환단계(S21)에서는 RGB영역을 HSL영역으로 바꿔준다. 색공간을 RGB영역에서 HSL영역으로 바꾸는 수식은 공지되어 있으며, 다음과 같다.

RGB영역의 경우, R이 X축, G가 Z축, B는 Y축인 3차원 좌표계로 표현 가능하다. 또한, 각 값이 8비트에 해당하는 0에서 255의 값이 되도록 되어있다. 이에 반해 HSL영역의 경우, H는 0도 이상 360도 이하의 각도 값을 가지고, S와 L은 퍼센티지(%)의 값을 가지는 다이아몬드 형태의 좌표계로 표현된다. 향후 영상처리를 이용한 연산의 편의를 위해, HSL영역의 값을 8비트에 해당하는 0이상 255이하의 값이 되도록 정규화 한다.

상기 색상별 프레임획득단계(S220)는 상기 변환단계(S210)에서 HSL로 변환된 프레임을 각각 빨간색, 초록색 및 노란색의 성분만을 갖도록 필터링 해서 세 개의 신호후보프레임을, 검은색 성분만을 갖도록 필터링 하여 신호등외곽후보프레임을 획득하고, 각각의 프레임에 대해 색상의 존재 유무롤 표시하여 이진화 하는 단계이다. 상기 변환단계(S21)에서 HSL로 변환된 프레임은 8비트의 값을 가지도록 정규화를 했기 때문에 화소별로 0에서 255까지의 값을 가지고 있다. 신호등의 신호 색상인 빨간색, 초록색 및 노란색과 신호등의 외곽 색상인 검은색을 얻기 위해서, 화소값의 범위를 지정하여 필터링 한 후, 값을 가지는 화소는 1로, 값을 가지지 않는 화소는 0으로 처리하여 이진화 한다. HSL영역에서 빨간색, 초록색, 노란색 및 검은색이 가지는 값의 범위는 하기의 표 1과 같다.

	H(색상) 범위	S(채도) 범위	L(명도) 범위
빨간색	0<H<14, 150<H<250	130<S<250	30<L<230
초록색	50<H<100	50<S<255	80<L<200
노란색	15<H<40	120<S<255	60<L<220
검은색	0<H<70	0<S<255	0<L<30

색상 각각의 범위에 해당하는 이진화된 프레임을 향후 설명의 편의를 위해 빨간색은 Tr, 초록색은 Tg, 노란색은 Ty, 검은색은 Tb로 정한다.

상기 잡음제거단계(S230)는 상기 색상별 프레임획득단계(S220)에서 획득된 네 개의 프레임에 존재하는 잡음을 모폴로지 연산을 통해 제거하는 단계이다. 영상촬영장치를 통해 받은 프레임에는 신호 외에도 빨간색, 노란색, 초록색 및 검은색의 성분이 있을 수 있기 때문에 상기 Tr, Tg, Ty 및 Tb는 신호 외에도 다양한 크기의 화소군을 포함할 수 있다. 이를 적절히 제거하기 위해 각각의 프레임에 대해 모폴로지 연산중 열림(Opening)연산을 수행한다. 열림연산이란 침식(erosion)연산과 팽창(dilation)연산을 순차적으로 적용하는 것으로, 열림연산을 수행하면 화소가 따로 떨어져있는 작은 개체들 즉, 잡음이 사라지게 되고, 다수의 화소가 모여 있는 큰 개체들의 외곽선이 부드러워지는 효과가 있다. 신호등이 차량과 멀리 위치해 작게 표시되어 이 열림연산에 의해 사라지게 되는 경우가 있을 수 있다. 그러나 이 경우는 신호등이 멀리 위치하기 때문에 운전자나 자동차가 즉각 반응할 필요가 없으므로 관계없고 차후 신호등과 자동차 사이의 거리가 가까워지면 신호등의 크기가 커져 상술한 모든 단계를 거치게 되므로 관계없다. 통상 이 열림연산을 적용하기 위해 3x3의 정사각형 커널을 사용하게 되는데, 대부분의 신호는 원형으로 표시되므로 정사각형이 아닌 원형이나 다른 형태의 커널 또한 사용 가능하다. 이하 열림연산이 수행된 상기 Tr, Tg, Ty 및 Tb 프레임을 Kr, Ky, Kg 및 Kb로 표현하기로 한다.

상기 신호등판별단계(S300)는 신호의 색상, 신호의 위치, 신호의 형태 및 신호등의 형태를 통해 관심영역에 신호등 존재여부를 판별하는 단계로, 신호등후보프레임 획득단계(S310), 근사화단계(S320), 제1판별단계(S330), 제2판별단계(S340) 및 신호등판정 및 신호 결정단계(S350)를 포함하여 이루어진다.

상기 신호등후보프레임 획득단계(S310)는 상기 보정단계(S200)에서 빨간색, 노란색 및 초록색으로 필터링된 프레임의 화소위치와, 검은색으로 필터링된 프레임의 화소위치를 비교하여 신호후보프레임과 신호등외곽후보프레임을 얻어 두 개를 합쳐서 신호등후보프레임을 획득하는 단계이다. 상기 신호등후보프레임 획득단계(S310)에서 신호등후보프레임을 획득하는 방법은 모든 화소의 값이 0인 신호등외곽후보프레임(이하 Pb)과 역시 모든 화소의 값이 0인 신호후보프레임(이하 Cryg)을 만들고, 빨간색, 노란색, 초록색 성분이 이진화된 Kr, Ky, Kg와 검은색 성분이 이진화된 Kb를 비교한다. 빨간색을 예를 들어 살펴보면, Kr 내부에 1을 갖는 성분의 위치와 동일한 위치의 Kb화소를 기준으로, 상측 및 하측방향으로 이동하면서 각각 일정 범위 내에 1의 값의 화소가 있는지를 검사한다. 일정 범위 내에 1의 값을 갖는 화소가 존재하면, 1의 값을 갖는 화소의 좌우로 1의 값을 갖는 화소가 3개 이상 연속으로 존재하는지 검사한다. 3개 이상의 1의 값을 갖는 화소가 연속으로 존재하면, 그 3개 이상의 1의 값을 갖는 화소그룹은 신호등의 외곽선 영역의 일부분으로 하여 Pb에 1로 표시하고, 이 화소그룹을 검출하게 한 Kr의 화소위치에 대응되는 Cryg의 동일한 위치의 화소를 1로 표시한다. 상측 및 하측뿐만 아니라, 좌측 및 우측으로도 일정범위 내에 화소가 존재하는지 검사하고, 존재하면 상측 및 하측으로 1의 값을 갖는 화소가 3개 이상 연속되는지 검사한다. 이런 방식으로 Kr내부에 있는 1의 값을 갖는 모든 화소에 대해서 검사하고, 또한 Kr뿐만 아니라 Ky 및 Kg 내부에 있는 1의 값을 갖는 화소에 대해서 검사하여 Pb와 Cryg를 완성한다. 화소를 검사하는 일정 범위는 화면 해상도의 크기, 탐색하는 방향인 상측, 하측, 우측 및 좌측여부, 검사대상인 Kr, Kg, Ky에 따라 다르다. 신호등 내부에 빨간색, 노란색 및 초록색 신호는 수평으로 평행하게 위치하기 때문에 상측과 하측의 검사 범위는 같으며, 상측 하측, 좌측 및 우측의 일정범위는 화면 해상도의 퍼센티지(%)로 나타나게 된다. 하기의 표 2는 신호의 색상별, 그리고 검사 방향별로 탐색하게 되는 범위를 기재한 것이다.

	빨간색 Kr	노란색 Ky	초록색 Kg
상측	세로 해상도의 1%	세로 해상도의 1%	세로 해상도의 1%
하측	세로 해상도의 1%	세로 해상도의 1%	세로 해상도의 1%
좌측	가로 해상도의 2%	가로 해상도의 5%	가로 해상도의 10%
우측	가로 해상도의 10%	가로 해상도의 5%	가로 해상도의 2%

예를 들어, 화면해상도가 가로로 1000화소, 세로로 500화소인 프레임을 생각해보면, 빨간색 Kr의 상하측으로는 10화소, 좌측으로는 20화소 및 우측으로는 100화소만큼 화소값이 1인지 여부를 판별하는 것이다. 노란색이 좌우측으로 동일하게 5%인 이유는 신호등의 색상별 신호위치가 좌측부터 우측으로 빨간색, 노란색 및 초록색으로 위치하기 때문이다. 상기한 방법으로 얻어진 Pb와 Cryg를 합치면 신호등후보프레임을 획득하게 된다.

상기 근사화단계(S320)는 상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임에 있는 신호등을 직사각형으로 근사화 하는 단계이다. 상기 신호등후보프레임에 신호등이 있다면, 신호등만 검출되지 않고 신호등 위쪽에 신호등을 결합하는 바(bar) 또한 같이 검출될 것이다. 이를 제거하기 위해 상기 근사화단계(S320)에서는 신호등을 직사각형으로 근사한다. 이를 위해 도 3에 도시된 바와 같이, 상기 근사화단계(S320)는 신호등 무게중심계산단계(S321) 및 신호등 근사화단계(S322)를 포함한다.

도 3에 도시된 상기 신호등 무게중심계산단계(S321)는 신호등후보프레임을 레이블링 후, 레이블링된 개체의 무게중심좌표를 구하는 단계이다. 영상처리에서 레이블링(Labelling)이란, 인접한 화소에 같은 번호(Label)를 붙여서 그룹을 만들어 인접한 화소끼리 같은 개체로 취급하는 것이다.

상기 신호등 근사화단계(S322)는 상기 신호등 무게중심계산단계(S321)에서 구한 무게중심좌표에서 X축 및 Y축 방향으로 화소의 최대 및 최소값(X_min, X_max, Y_min, Y_max)을 구하고, 신호등을 이루는 화소를 좌표 (X_min, Y_min), (X_max, Y_min), (X_min, Y_max), 및 (X_max, Y_max)이 이루는 직사각형으로 근사화하는 단계이다. 도 4는 신호등을 근사화하는 과정을 나타낸 것으로, 도 4의 상부에 도시된 도면은 무게중심을 중심으로 X_min, X_max, Y_min 및 Y_max를 구하는 것을 도시한 것이고, 도 4의 하부에 도시된 도면은 무게중심을 기준으로 X_min, X_max, Y_min 및 Y_max를 구하고 이를 기준으로 근사화하기 위한 좌표를 도시한 것이다. 신호등을 X_min, X_max, Y_min 및 Y_max를 기준으로 직사각형으로 근사화하면 상단에 신호등을 거치하기 위한 바(bar)는 삭제되게 된다.

상기 제1판별단계(S330)는 상기 근사화단계(S320)에서 근사화된 신호등후보프레임의 신호등을 미리 정해진 기준에 따라 신호등을 이루고 있는 화소수, 가로 및 세로비율, 신호등의 가로 및 세로길이를 판단하여 신호등 여부를 검사하는 단계이다. 상기 제1판별단계(S330)에서는 상기 근사화단계(S320)에서 근사화된 직사각형이 하기의 모든 조건을 만족하면 신호등으로 판단한다.

1. 가로길이는 화면의 가로 해상도 크기의 1%이상 7%이하, 세로길이는 화면의 세로 해상도 크기의 1%이상 5%이하이다.

상기 1번 조건은 가로길이와 세로길이를 제한하는 조건이고, 상기 2번 조건은 내부에 존재하는 화소의 개수를 기준으로 근사화한 직사각형이 신호등인지 아닌지를 판단하는 조건이다. 신호등후보프레임 내에 신호등이라고 추측되는 화소가 레이블링 되었을 경우, 근사화된 직사각형 내부에 일정기준 이상의 값이 1인 화소가 존재할 것이다. 이것을 퍼센티지로 환산했을 때, 60% 이상일 경우 신호등으로 판단하는 것이다. 상기 제1판별단계(S330)는 근사화된 직사각형이 신호등이라고 판단될 경우, 직사각형의 가로길이를 세로길이로 나눈 값이 2.8이상 3.2이하이면 3색등으로, 3.8이상 4.2이하이면 4색등으로, 4.7이상 5.3이하이면 5색등으로 판별하는 것을 특징으로 한다. 상기 3번 조건은 신호등의 가로세로비율로서, 현재 국내에서 사용되고 있는 신호등의 종류별로 수치를 구체화 한 것이다.

상기 제2판별단계(S340)는 상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임의 신호를 이루고 있는 화소가 원형인지 여부를 판별하는 단계이다. 이를 위해 도 5에 도시된 바와 같이, 레이블링단계(S341), 넓이측정단계(S342), 원무게중심계산단계(S343), 반지름측정단계(S344), 원형근사화단계(S345) 및 원형판별단계(S346)를 포함하여 이루어진다.

상기 레이블링단계(S341)는 상기 신호후보프레임 내에 존재하는 1의 값을 갖는 화소들에 대해 레이블링을 수행하는 단계이다. 상기 레이블링단계(S341)에서 수행하는 레이블링 또한 상기 무게중심계산단계(S321)에서 수행하는 레이블링과 같으며, 추후에 무계중심을 계산하기 위한 것으로 목적 또한 같다.

상기 넓이측정단계(S342)는 레이블링된 각 개체에 대해 화소개수를 세는 단계이다. 영상에서는 화소의 개수가 넓이이므로 레이블링된 각 개체의 화소개수를 세서 각 개체의 넓이를 측정하는 것이다.

상기 원무게중심계산단계(S343)는 상기 레이블링단계(S341)에서 각각 레이블링 된 개체의 무게중심을 구하는 단계이다.

상기 반지름측정단계(S344)는 각각 레이블링된 개체별로 상기 넓이측정단계(S342)에서 구해진 화소개수를 파이값(3.1415)으로 나눠 반지름을 구하는 단계이다. 원의 넓이는 파이값에 반지름의 제곱을 곱한 것이므로, 넓이를 파이값으로 나누고, 루트값을 구하면 반지름을 구할 수 있다.

상기 원형근사화단계(S345)는 각각 레이블링된 개체별로, 무게중심을 원의 중심으로 하여 구해진 반지름으로 원형 근사화를 수행하는 단계이다.

상기 원형판별단계(S346)는 근사화된 원의 내부에 1의 값을 갖는 화소수를 세고, 이 값을 파이값과 반지름의 제곱의 곱으로 나눈 값이 0.7 이상이면 최적으로, 0.5이상 0.7이하면 적합, 0.5이하이면 비적합으로 판별하는 단계이다. 상기 원형판별단계(S346) 또한 상기 제1판별단계(S330)에서와 같이, 근사화된 원과 본래의 레이블링된 화소를 비교하여 얼마나 일치하는지를 나타내는 것으로, 측정된 신호가 완전한 원형이라고 가정하면, 무게중심은 측정된 신호의 원의 중심과 동일할 것이고, 근사화되는 원은 측정된 신호와 일치할 것이다. 측정된 신호와 근사화된 원이 일치한다면 근사화된 원의 내부에 1의 값을 갖는 화소수는 측정된 신호의 화소수와 일치할 것이고, 그만큼 많은 1의 값이 근사화된 원의 내부에 위치하여 상기 원형판별단계(S346)에서 계산하는 값이 1에 가까울 것이다.

상기 신호등판정 및 신호 결정단계(S350)는 상기 제1판별단계(S330) 및 제2판별단계(S340)의 결과로 최종적으로 신호등 여부를 판정하고, 신호등 내부에 존재하는 신호의 위치를 미리 정해진 기준으로 판단해 신호를 결정하는 단계이다. 상기 제1판별단계(S330)에서 신호등외곽의 형태가 조건에 부합하고, 상기 제2판별단계(S340)에서 신호의 형태가 조건에 부합하면 신호등으로 판단한다. 또한, 신호등 내부에 존재하는 신호의 위치를 판별한다. 상술했듯이 신호등 내부의 신호는 왼쪽에서부터 빨간색, 노란색, 초록색 순서로 배열되어있고, 서로 다른 색상의 신호가 동시에 나타나지 않기 때문에 신호의 위치만을 가지고 판단할 수 있다. 다만 색상별 신호의 위치는 신호등의 종류가 3색등, 4색등 혹은 5색등이냐에 따라 달라질 수 있다.

상기 관심영역재설정단계(S400)는 및 상기 신호등판별단계(S300)에서 관심영역에 신호등이 존재하면 해당영역에 대한 값을 상기 관심영역설정단계(S100)로 보내고, 관심영역에 신호등이 존재하지 않으면 관심영역을 해제하여 상기 관심영역설정단계(S100)부터 다시 수행하게 하는 단계이다. 상기 관심영역재설정단계(S400)에서 신호등이 검출된 영역의 값을 상기 관심영역설정단계(S100)로 보내 본 발명의 모든 단계를 다시 수행하게 하는 것은, 본 발명은 자동차가 주행하는 동안은 계속 작동해야하기 때문이다. 따라서 순서도 상으로 끝이 없으며 계속 반복해서 수행되게 된다.

S100 : 관심영역설정단계 S110 : 제1설정단계
S120 : 제2설정단계
S200 : 보정단계 S210 : 변환단계
S220 : 색상별 프레임획득단계 S230 : 잡음제거단계
S300 : 신호등판별단계 S310 : 신호등후보프레임 획득단계
S320 : 근사화단계 S321 : 신호등 무게중심계산단계
S322 : 신호등 근사화단계
S330 : 제1판별단계
S340 : 제2판별단계 S341 : 레이블링단계
S342 : 넓이측정단계 S343 : 원무게중심계산단계
S344 : 반지름측정단계 S345 : 원형근사화단계
S346 : 원형판별단계
S350 : 신호등판정 및 신호 결정단계
S400 : 관심영역재설정단계

Claims

차량에 설치된 영상촬영장치로부터 입력받은 영상을 처리하여 영상 내에서 신호등의 위치와 색을 판별하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법에 있어서,
영상촬영장치로부터 프레임을 순차적으로 입력받고 미리 결정된 기준에 따른 영역을 관심영역으로 지정하는 관심영역설정단계(S100);
상기 관심영역 내에서 색공간을 변환하고, 신호색상 및 검은색으로 필터링하여 이진화 하며, 필터링한 프레임에 존재하는 잡음을 없애는 보정단계(S200);
신호의 색상, 신호의 위치, 신호의 형태 및 신호등의 형태를 통해 관심영역에 신호등 존재여부를 판별하는 신호등판별단계(S300); 및
상기 신호등판별단계(S300)에서 관심영역에 신호등이 존재하면 해당영역에 대한 값을 상기 관심영역설정단계(S100)로 보내고, 관심영역에 신호등이 존재하지 않으면 관심영역을 해제하여 상기 관심영역설정단계(S100)부터 다시 수행하게 하는 관심영역재설정단계(S400);
를 포함하여 이루어지는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 1항에 있어서, 상기 관심영역설정단계(S100)는
입력받은 프레임이 첫 프레임이거나, 전 프레임에서 신호등이 검출되지 않았으면 입력받은 프레임의 Y축의 1/2지점보다 상부를 관심영역으로 지정하는 제1설정단계(S110) 및
전 프레임에서 신호등이 검출되었으면, 전 프레임에서 신호등이 검출된 영역보다 미리 정해진 범위만큼 확장된 영역을 관심영역으로 지정하는 제2설정단계(S120)
를 포함하여 이루어지는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 1항에 있어서, 상기 보정단계(S200)는
색공간을 RGB영역에서 HSL영역으로 바꾸는 변환단계(S210),
상기 변환단계(S210)에서 HSL로 변환된 프레임을 각각 빨간색, 초록색 및 노란색의 성분만을 갖도록 필터링 해서 세 개의 신호후보프레임을, 검은색 성분만을 갖도록 필터링 하여 신호등외곽후보프레임을 획득하고, 각각의 프레임에 대해 색상의 존재 유무롤 표시하여 이진화하는 색상별 프레임획득단계(S220) 및
상기 색상별 프레임획득단계(S220)에서 획득된 네 개의 프레임에 존재하는 잡음을 모폴로지 연산을 통해 제거하는 잡음제거단계(S230)
를 포함하여 이루어지는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 1항에 있어서, 상기 신호등판별단계(S300)는
상기 보정단계(S200)에서 빨간색, 노란색 및 초록색으로 필터링된 프레임의 화소위치와, 검은색으로 필터링된 프레임의 화소위치를 비교하여 신호후보프레임과 신호등외곽후보프레임을 얻어 두 개를 합쳐서 신호등후보프레임을 획득하는 신호등후보프레임 획득단계(S310),
상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임에 있는 신호등을 직사각형으로 근사화 하는 근사화단계(S320),
근사화단계(S320)에서 근사화된 신호등후보프레임의 신호등을 미리 정해진 기준에 따라 신호등을 이루고 있는 화소수, 가로 및 세로비율, 신호등의 가로 및 세로길이를 판단하여 신호등 여부를 검사하는 제1판별단계(S330),
상기 신호등후보프레임 획득단계(S310)에서 획득한 신호등후보프레임의 신호를 이루고 있는 화소가 원형인지 여부를 판별하는 제2판별단계(S340) 및
상기 제1판별단계(S330) 및 제2판별단계(S340)의 결과로 최종적으로 신호등 여부를 판정하고, 신호등 내부에 존재하는 신호의 위치를 미리 정해진 기준으로 판단해 신호를 결정하는 신호등판정 및 신호 결정단계(S350)
를 포함하여 이루어지는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 4항에 있어서, 상기 근사화단계(S320)에서는
신호등후보프레임을 레이블링 후, 레이블링 된 개체의 무게중심좌표를 구하는 신호등 무게중심계산단계(S321) 및
상기 신호등 무게중심계산단계(S321)에서 구한 무게중심좌표에서 X축 및 Y축 방향으로 화소의 최대 및 최소값(X_min, X_max, Y_min, Y_max)을 구하고, 신호등을 이루는 화소를 좌표 (X_min, Y_min), (X_max, Y_min), (X_min, Y2_max), 및 (X_max, Y_max)가 이루는 직사각형으로 근사화하는 신호등 근사화단계(S322)
를 포함하는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 4항에 있어서, 상기 제1판별단계(S330)는
상기 근사화단계(S320)에서 근사화된 직사각형이 하기의 모든 조건을 만족하면 신호등으로 판단하는 것을 특징으로 하는 교통 신호등의 특징점 추출에 기초한 교통 신호등의 검출 및 인식방법.
1. 가로길이가 가로 해상도 크기의 1%이상 7%이하, 세로길이는 화면의 세로 해상도 크기의 1%이상 5%이하이다.
2. 직사각형 안에 1인 값을 갖는 화소의 개수를 직사각형 안에 존재하는 모든 화소의 개수로 나눈 값이 0.6이상이다.
3. 직사각형의 가로길이를 세로길이로 나눈 값이 2.8이상 3.2이하, 3.8이상 4.2이하 혹은 4.7이상 5.3이하이다.
제 6항에 있어서, 상기 제1판별단계(S330)는
근사화된 직사각형이 신호등이라고 판단될 경우, 직사각형의 가로길이를 세로길이로 나눈 값이 2.8이상 3.2이하이면 3색등으로, 3.8이상 4.2이하이면 4색등으로, 4.7이상 5.3이하이면 5색등으로 판별하는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.
제 4항에 있어서, 상기 제2판별단계(S340)는
상기 신호후보프레임 내에 존재하는 1의 값을 갖는 화소들에 대해 레이블링을 수행하는 레이블링단계(S341),
레이블링된 각 개체에 대해 화소개수를 세는 넓이측정단계(S342),
상기 레이블링단계(S341)에서 각각 레이블링 된 개체의 무게중심을 구하는 원무게중심계산단계(S343),
각각 레이블링된 개체별로 상기 넓이측정단계(S342)에서 구해진 화소개수를 파이값으로 나눠 반지름을 구하는 반지름측정단계(S344),
각각 레이블링된 개체별로, 무게중심을 원의 중심으로 하여, 구해진 반지름으로 원형 근사화를 수행하는 원형근사화단계(S345) 및
근사화된 원의 내부에 1의 값을 갖는 화소수를 세고, 이 값을 파이값과 반지름의 제곱의 곱으로 나눈 값이 0.7 이상이면 최적으로, 0.5이상 0.7이하면 적합, 0.5이하이면 비적합으로 판별하는 원형판별단계(S346)
를 포함하는 것을 특징으로 하는 교통신호등의 특징점 추출에 기초한 교통신호등의 검출 및 인식 방법.