KR101745557B1 - 촬영영상을 이용한 교통신호기 검출장치 및 그 방법 - Google Patents

Abstract

본 발명은 카메라를 통해 제공되는 촬영영상에서 색상 기반 돌출맵과 형태학 정보를 이용하여 교통신호기를 신속하고 정확하게 검출할 수 있도록 해 주는 촬영영상을 이용한 교통신호기 검출장치 및 그 방법에 관한 것이다.
본 발명에 따른 촬영영상을 이용한 교통신호기 검출장치 및 그 방법은 카메라로부터 제공되는 촬영영상에서 교통신호기 검출을 위한 차선 상단 영역으로 설정되는 관심영역을 추출하는 관심영역 추출부와, 관심영역에서 밝기 기반 필터링처리와 기 설정된 형태학적 조건에 따른 블랍 필터링 처리를 수행하여 교통신호기 후보를 검출하는 형태학 기반 후보 검출부, 관심영역에서 교통신호기 색상에 대응되는 보색 관계의 색상기반 돌출맵을 통해 교통신호기 후보를 검출하는 돌출맵 기반 후보 검출부 및, 상기 형태학 기반 후보 검출부로부터 검출된 제1 교통신호기 후보 위치와 상기 돌출맵 기반 후보 검출부로부터 검출된 제2 교통신호기 후보 위치를 비교하여 중복되는 위치의 교통신호기 후보를 교통신호기 객체로 확정하는 교통신호기 확정부를 포함하여 구성되는 것을 특징으로 한다.

Description

촬영영상을 이용한 교통신호기 검출장치 및 그 방법{Device and Method for detecting of traffic lights using camera image}

본 발명은 카메라를 통해 제공되는 촬영영상에서 색상 기반 돌출맵과 형태학 정보를 이용하여 교통신호기를 보다 신속하고 정확하게 검출할 수 있도록 해 주는 촬영영상을 이용한 교통신호기 검출장치 및 그 방법에 관한 것이다.

최근 자동차 부품의 전자화가 가속화됨에 따라 기존의 기계식 자동차는 각종 전자장비와 결합하여 다양한 기능을 제공할 수 있게 되면서 차세대 자동차로서 스마트 카와 친환경 자동차가 이슈화 되고 있다. 그 중에서도 특히 스마트 카는 자동차 부품의 전자화 및 IT기술의 발전에 힘입어 많은 연구가 진행되고 있다.

그 중 가장 주목을 받고 있는 첨단 운전자 지원 시스템은 차량에 부착된 센서를 통하여 주변 정보를 수집 및 처리하여 운전자에게 도움이 되는 정보를 제공한다.

첨단 운전자 지원 시스템에 대해서는 카메라, 레이더, 라이더, 적외선, 초음파 등 다양한 센서를 이용한 기술들이 연구되고 있으며, 이 중 카메라 기반의 기술은 레이더, 라이더 보다 저렴하고 GPS를 사용한 기술보다 정교하다는 장점 때문에 주목받고 있다.

첨단 운전자 지원 시스템에서 카메라와 관련된 연구분야로는 주변상황 인지, 사고 회피, 운전자 및 보행자 보조, 자율 주행 등이 있으며, 세부 기능으로는 차선이탈정보, 적응형 정속주행, 교통신호기 및 도로표지판 인식 등이 있다. 이 중 교통신호기는 교차로, 횡단보도 등지에 설치되어 운전자가 지속적으로 정지해야 할 지점을 볼 수 있도록 하며, 이는 운전자에게 반드시 정시에 전달되어야 하는 정보를 포함하고 있다. 실제 전체 교통사고 중 신호위반으로 인해 발생한 사고는 전체 교통사고 중 44.49%를 차지하는 것으로 집계되었다.

즉, 첨단 운전자 지원 시스템에서 교통신호기의 위치 및 상태 파악은 교통사고의 발생률을 줄일 수 있는 주요 사안이라 할 수 있다.

한편, 현재 교통신호기 인식과 관련된 기술은 대부분 교통신호기의 색상 및 형태에 기반한 것이다. 예컨대, 한국등록특허 제1155270호와 한국공개특허 제2009-0055848호에는 카메라의 촬영영상에서 교통신호기의 색상과 형태를 근거로 교통신호를 검출하는 기술이 공지되어 있다. 그러나, 이는 주변 환경 변화에 많은 영향을 받아 겹침, 가려짐이 발생한 경우 교통신호기를 검출할 수 없다는 단점이 있다.

이를 해결하기 위하여 최근에는 유전적 알고리즘을 이용하여 교통신호기의 형태를 타원으로 확장하여 검출하는 방법이 제시되었으나, 이는 유전적 알고리즘을 적용하면서 검출 성능을 개선된 반면, 검출시간이 길게 소요됨에 따라 실시간 적용이 불가능하다는 단점이 있다.

즉, 첨단 운전자 지원 시스템을 위해서는 교통신호기에 대한 검출 성능이 우수하면서도 검출 속도가 빠른 교통신호기 검출방법이 요구된다.

1. 한국등록특허 제1155270호 (발명의 명칭: 영상인식을 이용한 신호등 변경 통보 시스템 및 방법) 2. 한국공개특허 제2009-0055848호 (발명의 명칭 : 신호등 인식 장치 및 방법)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 카메라를 통해 제공되는 촬영영상에서 밝기 조건을 만족하는 형태학 정보와 색상 기반 돌출맵을 이용하여 교통신호기 후보를 각각 설정하고, 색상 기반 돌출맵과 형태학 정보를 모두 만족하는 교통신호기 후보를 교통신호기로 확정함으로써, 보다 신속하고 정확하게 검출할 수 있도록 해 주는 촬영영상을 이용한 교통신호기 검출장치 및 그 방법에 관한 것이다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 카메라로부터 제공되는 촬영영상에서 교통신호기 검출을 위해 수평선 상단 영역으로 설정되는 관심영역을 추출하는 관심영역 추출부와, 관심영역에서 밝기 기반 필터링처리와 기 설정된 형태학적 조건에 따른 블랍 필터링 처리를 수행하여 교통신호기 후보를 검출하는 형태학 기반 후보 검출부, 관심영역에서 교통신호기 색상에 대응되는 보색 관계의 색상기반 돌출맵을 통해 교통신호기 후보를 검출하는 돌출맵 기반 후보 검출부 및, 상기 형태학 기반 후보 검출부로부터 검출된 제1 교통신호기 후보 위치와 상기 돌출맵 기반 후보 검출부로부터 검출된 제2 교통신호기 후보 위치를 비교하여 중복되는 위치의 교통신호기 후보를 교통신호기 객체로 확정하는 교통신호기 확정부를 포함하여 구성되고, 상기 돌출맵 기반 후보 검출부는 상기 돌출맵 기반 후보 검출부는 관심영역에서 상호 보색관계의 영상차를 이용하여 빨강, 노랑, 초록 색상이 강조된 객체를 추출하되, 원 영상에 대한 제1 비율의 축소 영상을 원본 크기 영상으로 복원한 제1 영상과, 원 영상에 대한 제2 비율의 축소 영상을 원본 크기 영상으로 복원한 제2 영상에서 보색관계 영상차에 따라 산출된 색상 돌출값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

또한, 상기 형태학 기반 후보 검출부는 관심영역에서 일정 이상의 밝기를 갖는 부분을 검출하기 위한 탑-햇(TOP-HAT) 필터링 모듈과, 상기 탑-햇 필터를 통해 검출된 밝기 객체에 대해 각각의 블랍을 생성하고, 기 설정된 크기 비율 및 원형성 조건을 만족하지 않는 블랍영역을 제거하는 블랍 필터링 모듈을 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

삭제

또한, 상기 관심영역 추출부는 촬영영상의 상단 영역을 초기 관심영역으로 설정하고, 교통신호기가 검출된 이후에는 검출된 해당 교통신호기 객체를 추적하여 이에 대응되도록 관심영역을 변경설정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

또한, 상기 교통신호기 확정부에서 확정된 교통신호기 객체에 대해 해당 교통신호기의 표시 색상을 분석하여 표시 색상을 판단하는 색상 판단부를 추가로 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

또한, 상기 색상 판단부는 확정된 교통신호기 객체에 대해 Lab 색상 모델을 이용하여 밝기값을 근거로 노랑과 다른 색을 구분하고, 빨강과 초록에 대해서는 보색 관계의 R-G 연산값을 이용하여 교통신호기 객체에 대한 색상을 판단하도록 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

또한, 상기 색상 판단부는 상기 교통신호기 확정부를 통해 하나의 관심영역에 대해 서로 다른 위치에 존재하는 복수의 교통신호기 객체가 확정된 경우, 차선과 가장 근접한 위치에서 확정된 교통신호기 객체에 대한 색상 판단처리를 수행하도록 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치가 제공된다.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 카메라로부터 제공되는 촬영영상에서 교통신호기 검출을 위해 수평선 상단 영역으로 설정되는 관심영역을 추출하는 제1 단계와, 상기 제1 단계에서 추출된 관심영역에서 밝기 기반 필터링처리와 기 설정된 형태학적 조건에 따른 블랍 필터링 처리를 수행하여 제1 교통신호기 후보를 검출하는 제2 단계, 상기 제1 단계에서 추출된 관심영역에서 교통신호기 색상에 대응되는 보색 관계의 색상기반 돌출맵을 통해 제2 교통신호기 후보를 검출하는 제3 단계 및, 상기 제2 단계에서 검출된 제1 교통신호기 후보 위치와 제3 단계에서 검출된 제2 교통신호기 후보 위치를 비교하여 중복되는 위치의 교통신호기 후보를 교통신호기 위치로 확정하는 제4 단계를 포함하여 구성되고, 상기 제3 단계는 원 영상에 대한 제1 비율의 축소 영상을 원본 크기 영상으로 복원하여 제1 영상을 생성하는 단계와, 원 영상에 대한 제2 비율의 축소 영상을 원본 크기 영상으로 복원한 제2 영상을 생성하는 단계 및, 상기 제1 및 제2 영상에서 보색관계 영상차에 따라 산출된 색상 돌출값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정하는 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법이 제공된다.

또한, 상기 제1 단계는 촬영영상의 상단 영역을 초기 관심영역으로 설정하고, 교통신호기가 검출된 이후에는 검출된 해당 교통신호기 객체를 추적하여 이에 대응되도록 관심영역을 변경설정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법이 제공된다.

또한, 상기 제2 단계는 관심영역에서 탑-햇(TOP-HAT) 필터를 이용하여 밝기가 강조된 객체를 검출하는 단계와, 상기 탑-햇 필터를 통해 검출된 밝기 객체에 대해 각각의 블랍을 생성하고, 기 설정된 크기 비율 및 원형성 조건을 만족하지 않는 블랍영역을 제거하는 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법이 제공된다.

삭제

또한, 상기 제4 단계에서 확정된 교통신호기 객체에 대해 해당 교통신호기의 표시 색상을 분석하여 표시 색상을 판단하는 제5 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법이 제공된다.

또한, 상기 제5 단계는 하나의 관심영역에 대해 서로 다른 위치에 존재하는 복수의 교통신호기 객체가 확정된 경우, 차선과 가장 근접한 위치에서 확정된 교통신호기 객체에 대한 색상 판단처리를 수행하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법이 제공된다.

본 발명에 의하면 차량에 설치된 카메라를 통해 제공되는 촬영영상에 대해 형태학 필터링 및 색상 기반 돌출맵 처리를 수행하여 교통신호를 검출함으로써, 보다 신속하고 정확하게 교통신호기를 검출할 수 있게 된다.

특히, 본 발명에 있어서는 일반적인 돌출맵에서 사용되는 밝기 특성을 포함하는 객체 특징을 모두 배체하고 오직 색상 특징에 대해서만 돌출맵을 적용하여 교통신호기를 검출하도록 함으로써, 돌출맵 이용에 따른 연산처리시간을 단축시킬 수 있음은 물론, 밝기 및 윤곽선 특징에 대한 돌출맵 이용에 따른 교통신호기 검출 오류 확률을 배제하여 보다 정확한 교통신호기의 검출이 가능하게 된다.

또한, 동적으로 관심영역을 추출함으로써, 영상 내 유사 물체에 의한 검출 오류 확률을 배제함으로써, 보다 정확한 교통신호기의 검출이 가능하게 된다.

도1은 본 발명에 따른 촬영영상을 이용한 교통신호기 검출장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도2는 도1에 도시된 관심영역 추출부(110)의 관심영역 추출과정을 설명하기 위한 도면.
도3은 도1에 도시된 형태학 기반 후보 검출부(120)의 내부구성을 모듈화하여 나타낸 도면.
도4는 도3에 도시된 형태학 기반 후보 검출부(120)의 출력 영상을 예시한 도면.
도5는 본 발명에 따른 촬영영상을 이용한 교통신호기 검출방법을 설명하기 위한 흐름도.
도6은 도5에 도시된 제1 교통신호기 후보 검출과정을 설명하기 위한 흐름도.
도7은 도5에 도시된 제2 교통신호기 후보 검출과정을 설명하기 위한 흐름도.
도8은 촬영영상을 이용한 교통신호기 검출과정에 따른 촬영영상 출력예를 도시한 도면.
도9는 본 발명에 따른 교통신호기 검출 성능을 실험한 결과를 나타낸 도면.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 촬영영상을 이용한 교통신호기 검출장치 및 그 방법을 설명한다.

도1은 본 발명에 따른 촬영영상을 이용한 교통신호기 검출장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.

도1에 도시된 바와 같이 촬영영상을 이용한 교통신호기 검출장치(100)는 카메라(1)로부터 제공되는 촬영영상을 분석하여 교통신호기를 검출하는 것으로, 바람직하게는 차량에 설치되어 실시될 수 있다.

교통신호기 검출장치(100)는 관심영역 추출부(110)와, 형태학 기반 후보 검출부(120), 돌출맵 기반 후보 검출부(130), 교통신호기 확정부(140) 및, 색상 판단부(150)를 포함하여 구성된다.

상기 관심영역 추출부(110)는 상기 카메라(1)로부터 제공되는 촬영영상에서 교통신호기 검출을 위한 관심영역(ROI)을 추출한다. 즉, 차량의 전방에 부착된 카메라의 입력 영상에서 교통 신호기는 일반적으로 영상의 중심부에서 등장하여 점차 영상의 상단으로 이동하며 영상을 벗어나는 특징을 갖는 바, 이를 근거로 관심영역은 수평선으로부터 기 설정된 높이만큼의 영역을 초기 교통신호기 등장 관심영역으로 설정될 수 있다. 예컨대, 도2a에 도시된 바와 같이 촬영영상의 상단 영역을 초기 관심영역(ROI)으로 설정할 수 있다.

또한, 상기 관심영역 추출부(110)는 상기 교통신호기 확정부(140)로부터 교통신호기 검출신호가 인가되면, 검출된 교통신호기를 추적하여 매 프레임마다 관심영역을 업데이트시킨다. 도2b는 관심영역의 업데이트 설정을 예시한 것으로, 초기 관심영역 "A"에서 교통신호기가 검출된 이후 차량의 주행에 따라 관심영역이 "B"로 업데이트 된다.

상기 형태학 기반 후보 검출부(120)는 관심영역에서 필터링처리를 통해 교통신호기 밝기와 형태정보를 이용한 교통신호기 후보를 검출한다. 형태학 기반 후보 검출부(120)는 도3에 도시된 바와 같이, 밝기 필터링 모듈(121)과, 블랍 필터링 모듈(122)을 포함하여 구성된다.

상기 밝기 필터링 모듈(121)은 관심영역에서 밝기에 대한 필터링을 수행하여 밝기가 강조된 부분을 검출한다. 상기 밝기 필터링 모듈(121)은 관심영역을 그레이(Gray) 영상으로 변환하고, 메디안 필터링을 수행하여 잡음영향을 최소화한 후, 이를 탑-햇(TOP-HAT) 필터를 이용하여 밝기가 강조된 부분을 검출한다. 도4a는 탑-햇 필터를 이용한 밝기 필터링 영상을 예시한 것으로, 도4a에서 (A)는 카메라에 의해 촬영된 관심영역 영상이고, (B)는 탑-햇 필터링을 위한 생성되는 열림 연산 영상이며, (C)는 탑-햇 필터링 결과 영상이다. 이때, 상기 열림 연산은 침식을 통하여 주변보다 어두운 부분을 제거하고 다시 팽창을 통하여 주변보다 밝은 영역을 제거하는 공지의 연산방법이다. 즉, 상기 탑-햇 필터링은 원 영상에서 열림 연산에 의해 생성된 어두운 영역을 제거하여 이루어지는 것으로, 하기의 수학식1로 표현될 수 있다.

여기서, T_W(f)는 탑-햇 필터링 출력이고 f는 입력 영상, b는 열림 연산 영상이다.

상기 블랍 필터링 모듈(122)은 상기 밝기 필터링 모듈(121)에서 검출된 교통신호기 검출 영상에서 형태학 정보를 이용하여 기 설정된 교통신호기의 형태학적 조건을 만족하지 않는 객체를 제거한다. 상기 교통신호기의 형태학적 조건정보는 미리 블랍 필터링 모듈(122)에 저장 설정되고, 이는 블랍(BLOB) 객체의 비율과 원형성을 포함한다. 도4b는 교통신호기에 대한 형태학적 조건정보 및 이에 따른 필터 결과를 예시한 도면이다. 도4b에 도시된 바와 같이 블랍 필터링 모듈(122)은 밝기 필터링 모듈(121)에서 검출된 교통신호기 검출 영상에서 교통신호기 객체를 포함하는 블랍을 생성하고, 각 블랍에 대해 해당 객체 즉, 교통신호기 부분에 대한 크기 비율(Dimention Ratio)과, 원형성을 만족하지 않는 블랍영역을 교통신호기 검출 영상에서 제거한다. 즉, 블랍 필터링 모듈(122)을 통해 최종적으로 교통신호기에 대한 형태학 기반 후보가 설정된다.

한편, 도1에서 상기 돌출맵 기반 후보 검출부(130)는 색상 기반의 돌출맵을 이용하여 교통신호기 후보를 검출한다. 돌출맵 모델은 생물학적 지식을 기반으로 인간의 시각체계를 모방한 시각적 주의 집중 모델로, 집중영역을 판단하기 위한 요소로서 통상적으로 색상, 밝기, 방향 정보를 특징으로 사용한다. 본 발명에 있어서는 교통신호기만을 검출하기 위해 밝기나 방향 등을 특징을 모두 배제하고 오직 색상에 대한 돌출맵 기법을 이용하여 교통신호기 후보 영역을 검출한다. 이때, 본 발명에서 교통신호기 검출을 위한 돌출맵 이용시 색상 이외의 특징을 고려하지 않은 이유는 본 발명자가 실험한 결과, 주간의 경우 하늘, 빌딩의 유리창에 반사된 햇빛 등 교통신호기보다 밝은 광원 영역이 많이 존재하기 때문에 이로 인해 밝기 특징을 이용하는 경우 교통신호기가 아닌 영역이 교통신호기로 오인될 수 있고, 윤곽선 특징은 교통신호기의 빛이 확산되거나 후광에 의하여 제대로 검출되지 않는 경우가 발생함으로써, 오히려 교통신호기의 검출 오류확률을 증가시키기 때문이다. 이는 또한, 교통신호기를 검출을 가장 효율적으로 하기 위해 오직 하나의 특징 즉, 색상만 이용하여 교통신호기 영역을 검출하도록 함으로써, 돌출맵을 이용한 교통신호기 검출시간을 보다 단축시키는 효과를 제공한다.

또한, 상기 돌출맵 기반 후보 검출부(130)는 관심영역에서 카메라 영상을 통해 얻은 값 r(red),g(green),b(blue)에 대해, 이를 실제 인간이 받아들이는 R(RED),G(GREEN),B(BLUE),Y(YELLOW)로 변환하고, RG 와 BY 및, GR의 보색관계를 이용하여 교통신호기의 색상 즉, 빨강, 노랑, 초록을 강조함으로써, 색상 기반의 돌출맵에 따른 교통신호기 후보를 검출한다. 이때, 카메라 영상을 통해 얻은 r,g,b를 이를 실제 인간이 받아들이는 R,G,B,Y로 변환하는 과정은 수학식2와 같다.

즉, 상기 돌출맵 기반 후보 검출부(130)는 관심영역을 R(RED),G(GREEN),B(BLUE),Y(YELLOW)에 대한 그레이 영상으로 변환하고, 상호 보색관계의 영상차, 즉, "R-G", "B-Y"를 이용하여 빨강, 노랑, 초록 색상이 강조된 객체를 추출한다. 예컨대, "R-G"연산 값이 기준 레벨 이상인 경우 "R" 색상이 강조된 객체로 추출한다. 이때, 상기 돌출맵 기반 후보 검출부(130)는 원 영상에 대한 축소 영상과 축소 영상을 원 영상으로 확대한 영상에서 "R-G", "B-Y"를 이용하여 각 객체에 대한 색상 돌출값을 산출하고, 산출된 색상 돌출값과 기준 돌출값을 비교하여 산출된 색상 돌출값이 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정한다.

또한, 상기 돌출맵 기반 후보 검출부(130)는 촬영영상의 관심영역에서 상호 보색관계의 영상차를 이용하여 빨강, 노랑, 초록 색상이 강조된 객체를 추출함에 있어서, 원 영상에 대한 제1 비율의 축소 영상을 원본 크기 영상으로 변환한 제1 영상과, 원 영상에 대한 제2 비율의 축소 영상을 원본 크기 영상으로 변환한 제2 영상에서 보색관계 영상차에 따라 산출된 색상 돌출값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정하도록 구성된다.

한편, 도1에서 상기 교통신호기 확정부(140)는 상기 형태학 기반 후보 검출부(120)로부터 제공되는 제1 교통신호기 후보와 상기 돌출맵 기반 후보 검출부(130)로부터 제공되는 제2 교통신호기 후보를 비교하여 동일 영역에 위치하는 교통신호기 후보를 해당 관심영상에서의 교통신호기로 확정한다. 또한, 상기 교통신호기 확정부(140)는 교통신호기 검출정보를 상기 관심영역 추출부(110)로 제공한다. 이때, 상기 교통신호기 검출정보는 교통신호기 검출 위치정보, 즉 해당 영상프레임의 픽셀 좌표를 포함한다.

상기 색상 판단부(150)는 상기 교통신호기 확정부(140)로부터 제공되는 교통신호기 확정 영역에서 해당 교통신호기의 표시 색상을 분석하여 표시 색상을 판단한다. 이때, 상기 색상 판단부(150)는 상기 교통신호기 확정부(140)로부터 제공되는 교통신호기 영역에 대해 Lab 색상 모델을 이용하여 교통신호기 색상을 인식할 수 있다. Lab 색상 모델은 L값(밝기)을 근거로 노랑과 다른 색을 구분하고, 빨강과 초록은 교통신호기 확정부(140)로부터 제공되는 RG 특징값, 즉, "R-G" 연산값을 이용하여 구분하도록 구성된다. 예컨대, 상기 Lab 색상 모델은 L값(밝기)이 기준 레벨 이상인 경우 노랑으로 판단하고, "R-G" 연산에서 기준값 이상인 경우 빨강으로, 기준값 이하인 경우 초록으로 판단한다.

또한, 상기 색상 판단부(150)는 상기 교통신호기 확정부(140)로부터 서로 다른 위치의 복수의 교통신호기가 확정된 경우, 촬영영상에서 차선으로부터 보다 근접한 위치에 확정된 교통신호기에 대한 색상 인식처리를 수행한다. 이는 차량 운행시 운전자에게 제공되어야 하는 교통신호기 정보는 운전자의 차선 부근에 위치하는 교통신호기에 대한 것이어야 하기 때문이다.

이어, 상기한 구성으로 된 촬영영상을 이용한 교통신호기 검출장치의 동작을 도5 내지 도8을 참조하여 설명한다. 여기서, 도5는 촬영영상을 이용한 교통신호기 검출장치의 전체적인 동작을 설명하기 위한 흐름도이고, 도6은 도5에 도시된 제1 교통신호기 후보 검출과정을 설명하기 위한 흐름도이며, 도7은 도5에 도시된 제2 교통신호기 후보 검출과정을 설명하기 위한 흐름도이고, 도8은 촬영영상을 이용한 교통신호기 검출과정에 따른 촬영영상 출력예를 도시한 도면이다.

먼저, 교통신호기 검출장치(100)가 차량에 설치되고, 차량의 전면에 부착된 카메라(1)로부터 촬영영상이 인가되면, 수신된 촬영영상에서 관심영역을 추출한다(ST10). 예컨대, 도8에서 (A)와 같이 촬영영상에서 관심영역을 추출한다.

상기 교통신호기 검출장치(100)는 관심영역에서 형태학 기반 필터링을 통해 제1 교통신호기 후보를 검출한다(ST20).

이때 상기 제1 교통신호기 후보 검출과정은 도6에 도시된 바와 같이 관심영역을 회색조로 변환하고(ST21), 회색조로 변환한 관심 영역 영상을 탑-햇 필터링 처리하여 밝기가 두드러진 부분을 검출한다(ST22). 이후, 탑-햇 필터링 처리된 영상에서 검출된 밝기가 강조된 객체에 대해 블랍을 생성하고(ST23), 기 설정된 형태학적 조건을 만족하지 않는 블랍을 제거한다(ST24). 즉, 밝기 특성과 형태학적 조건을 모두 만족하는 나머지 블랍 객체를 제1 교통신호기 후보로 결정한다(ST25). 도8에서 (B)는 관심영역에 대한 탑-햇 필터링 결과 영상이고, 도8에서 (C)는 블랍 필터링 결과 영상이다. 또한, 상기 회색조로 변환된 관심영역에 대해서는 잡음의 영향을 감소시키기 위한 메디안 필터링을 수행한 후, 탑-햇 필터링 처리를 수행하도록 실시할 수 있다.

또한, 상기 교통신호기 검출장치(100)는 관심영역에서 색상 기반 돌출맵을 이용하여 제2 교통신호기 후보를 검출한다(ST30).

이때, 상기 제2 교통신호기 후보 검출과정은 도7에 도시된 바와 같이, 관심영역 원 영상을 제1 비율로 축소한 후, 이를 다시 원본 크기로 확대 변환하여 제1 영상을 생성하고(ST31, ST32), 관심영역 원 영상을 제2 비율로 축소한 후, 이를 다시 원본 크기로 확대 변환하여 제2 영상을 생성하며(ST33, ST34), 상기 제1 및 제2 영상에서 공통되는 부분을 색상 특징 객체로 획득한 후(ST35). 획득된 색상 특징 객체에 대해 제1 및 제2 영상에 대한 "R-G", "B-Y" 연산을 수행하여 제1 및 제2 색상값을 각각 산출하며(ST36), 제1 및 제2 색상값에 기 설정된 가중치를 적용하여 합산함으로써 객체별 돌출 색상값을 생성하고(ST37), 산출된 돌출 색상값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정한다(ST38).

여기서, 하나의 관심영역 영상에 대해 영상을 축소하였다가 다시 원본 크기 영상으로 복원하여 제1 및 제2 색상값을 산출하는 이유는 원래 영상을 축소 영상으로 변환함에 따라 흔들림 등의 미세한 변화를 제거한 상태에서 이를 다시 원 영상으로 확대함으로써, 미세 변화에 따른 객체를 제거하여 불필요한 연산처리를 최소화하도록 하기 위한 것이다.

즉, 교통신호기 검출장치(100)는 상호 보색 관계인 영상 차를 이용하여 교통신호기의 색상인 빨강, 노랑, 초록 색상이 강조된 객체를 제2 교통신호기 후보로 설정한다. 도8에서 (D)는 색상기반 돌출맵 검출 결과 영상이다.

이어, 상기 교통신호기 검출장치(100)는 관심영역, 보다 상세하게는 블랍 필터링 결과 영상의 상기 제1 교통신호기 후보 영역과 색상기반 돌출맵 결과 영상의 제 2 교통신호기 후보 영역을 비교하여, 일치하는 위치의 교통신호기 후보를 교통신호기로 확정한다(ST40). 도8에서 (E)는 제1 및 제2 교통신호기 후보 비교 결과에 따른 교통신호기 확정 영상이다. 또한, 도8에서 (F)는 관심영역에서 교통신호기가 검출된 결과 영상이다.

이후, 상기 교통신호기 검출장치(100)는 관심영역에서 상기 교통신호기 확정 위치의 색상을 분석하여 해당 교통신호기의 표시 색상을 판단한다(ST50). 즉, 상기 교통신호기 검출장치(100)는 교통신호기 영역에 대해 Lab 색상 모델을 이용하여 교통신호기 색상을 판단하여 이를 교통신호기 표시 색상정보를 출력한다.

또한, 도9는 본 발명에 따른 교통신호기 검출 성능을 실험한 결과를 나타낸 것으로, 정확도와 재현도 측정결과가 나타나 있다. 정확도와 재현도는 수학식3을 통해 산출될 수 있다.

여기서, TP 는 실제 교통신호기를 실험에서 찾은 경우의 수이고, TN 은 실제 교통신호기이 아닌 것을 실험에서 찾지 않은 경우의 수, FP 는 실제 교통신호기이 아닌것을 실험에서 찾은 경우의 수(오검출 수), FN 는 실제 교통신호기이지만 실험에서 이를 찾지 못한 경우의 수(미검출 수)이다.

즉, 도9에 의하면 총 594개의 교통신호기를 대상으로 검출 결과를 실험한 결과, 83.5%의 정확도와 98.1%의 재현도를 가짐을 알 수 있다. 이는 전체 교통신호기 중 98.1% 의 교통신호기를 검출하고, 전체 검출된 교통신호기 중 83.5%가 실제 교통신호기임을 나타낸다.

또한, 상기 성능 검사에 있어서는 한 장의 영상에서 교통신호기를 검출하기 위해 0.19초가 소요되었는 바, 이는 차량이 60Km로 주행 중일 때 정지 거리인 35m 이전에 교통신호기를 검출하기 위하여 50m 거리의 교통신호기 영상을 획득한 경우 4 번의 연산을 수행할 수 있는 처리 속도로서, 신뢰성 있는 정보를 실시간으로 제공하는 것이 가능함을 알 수 있다.

즉, 상기 실시예에 의하면, 촬영영상에서 형태학 필터링 및 색상 기반 돌출맵 처리를 수행하여 보다 신속하고 정확한 교통신호기 검출이 가능하게 된다.

1 : 카메라, 100 : 교통신호기 검출장치,
110 : 관심영역 추출부, 120 : 형태학 기반 후보 검출부,
130 : 돌출맵 기반 후보 검출부, 140 : 교통신호기 확정부,
150 : 색상 판단부.

Claims (13)

1. 카메라로부터 제공되는 촬영영상에서 교통신호기 검출을 위해 수평선 상단 영역으로 설정되는 관심영역을 추출하는 관심영역 추출부와,
   관심영역에서 밝기 기반 필터링처리와 기 설정된 형태학적 조건에 따른 블랍 필터링 처리를 수행하여 교통신호기 후보를 검출하는 형태학 기반 후보 검출부,
   관심영역에서 교통신호기 색상에 대응되는 보색 관계의 색상기반 돌출맵을 통해 교통신호기 후보를 검출하는 돌출맵 기반 후보 검출부 및,
   상기 형태학 기반 후보 검출부로부터 검출된 제1 교통신호기 후보 위치와 상기 돌출맵 기반 후보 검출부로부터 검출된 제2 교통신호기 후보 위치를 비교하여 중복되는 위치의 교통신호기 후보를 교통신호기 객체로 확정하는 교통신호기 확정부를 포함하여 구성되고,
   상기 돌출맵 기반 후보 검출부는 관심영역에서 상호 보색관계의 영상차를 이용하여 빨강, 노랑, 초록 색상이 강조된 객체를 추출하되, 원 영상에 대한 제1 비율의 축소 영상을 원본 크기 영상으로 복원한 제1 영상과, 원 영상에 대한 제2 비율의 축소 영상을 원본 크기 영상으로 복원한 제2 영상에서 보색관계 영상차에 따라 산출된 색상 돌출값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
2. 제1항에 있어서,
   상기 형태학 기반 후보 검출부는 관심영역에서 일정 이상의 밝기를 갖는 부분을 검출하기 위한 탑-햇(TOP-HAT) 필터링 모듈과,
   상기 탑-햇 필터를 통해 검출된 밝기 객체에 대해 각각의 블랍을 생성하고, 기 설정된 크기 비율 및 원형성 조건을 만족하지 않는 블랍영역을 제거하는 블랍 필터링 모듈을 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
3. 삭제
4. 제1항에 있어서,
   상기 관심영역 추출부는 촬영영상의 상단 영역을 초기 관심영역으로 설정하고, 교통신호기가 검출된 이후에는 검출된 해당 교통신호기 객체를 추적하여 이에 대응되도록 관심영역을 변경설정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
5. 제1항에 있어서,
   상기 교통신호기 확정부에서 확정된 교통신호기 객체에 대해 해당 교통신호기의 표시 색상을 분석하여 표시 색상을 판단하는 색상 판단부를 추가로 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
6. 제5항에 있어서,
   상기 색상 판단부는 확정된 교통신호기 객체에 대해 밝기값을 근거로 노랑과 다른 색을 구분하고, 빨강과 초록에 대해서는 보색 관계의 R-G 연산값을 이용하여 교통신호기 객체에 대한 색상을 판단하도록 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
7. 제5항에 있어서,
   상기 색상 판단부는 상기 교통신호기 확정부를 통해 하나의 관심영역에 대해 서로 다른 위치에 존재하는 복수의 교통신호기 객체가 확정된 경우, 차선과 가장 근접한 위치에서 확정된 교통신호기 객체에 대한 색상 판단처리를 수행하도록 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출장치.
8. 카메라로부터 제공되는 촬영영상에서 교통신호기 검출을 위해 수평선 상단 영역으로 설정되는 관심영역을 추출하는 제1 단계와,
   상기 제1 단계에서 추출된 관심영역에서 밝기 기반 필터링처리와 기 설정된 형태학적 조건에 따른 블랍 필터링 처리를 수행하여 제1 교통신호기 후보를 검출하는 제2 단계,
   상기 제1 단계에서 추출된 관심영역에서 교통신호기 색상에 대응되는 보색 관계의 색상기반 돌출맵을 통해 제2 교통신호기 후보를 검출하는 제3 단계 및,
   상기 제2 단계에서 검출된 제1 교통신호기 후보 위치와 제3 단계에서 검출된 제2 교통신호기 후보 위치를 비교하여 중복되는 위치의 교통신호기 후보를 교통신호기 위치로 확정하는 제4 단계를 포함하여 구성되고,
   상기 제3 단계는 원 영상에 대한 제1 비율의 축소 영상을 원본 크기 영상으로 복원하여 제1 영상을 생성하는 단계와, 원 영상에 대한 제2 비율의 축소 영상을 원본 크기 영상으로 복원한 제2 영상을 생성하는 단계 및, 상기 제1 및 제2 영상에서 보색관계 영상차에 따라 산출된 색상 돌출값이 기 설정된 기준 돌출값 이상인 객체를 돌출맵 교통신호기 후보로 결정하는 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법.
9. 제8항에 있어서,
   상기 제1 단계는 촬영영상의 상단 영역을 초기 관심영역으로 설정하고, 교통신호기가 검출된 이후에는 검출된 해당 교통신호기 객체를 추적하여 이에 대응되도록 관심영역을 변경설정하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법.
10. 제8항에 있어서,
    상기 제2 단계는 관심영역에서 탑-햇(TOP-HAT) 필터를 이용하여 밝기가 강조된 객체를 검출하는 단계와,
    상기 탑-햇 필터를 통해 검출된 밝기 객체에 대해 각각의 블랍을 생성하고, 기 설정된 크기 비율 및 원형성 조건을 만족하지 않는 블랍영역을 제거하는 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법.
11. 삭제
12. 제8항에 있어서,
    상기 제4 단계에서 확정된 교통신호기 객체에 대해 해당 교통신호기의 표시 색상을 분석하여 표시 색상을 판단하는 제5 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법.
13. 제12항에 있어서,
    상기 제5 단계는 하나의 관심영역에 대해 서로 다른 위치에 존재하는 복수의 교통신호기 객체가 확정된 경우, 차선과 가장 근접한 위치에서 확정된 교통신호기 객체에 대한 색상 판단처리를 수행하는 것을 특징으로 하는 촬영영상을 이용한 교통신호기 검출방법.

Images