KR102001763B1 - 영상처리 기반의 속도표지판 인식 방법 및 장치 - Google Patents

Abstract

본 발명은 YUV 색 공간 변환 및 아다부스트 분류기를 이용한 속도 표지판 검출 및 제한속도 인식 장치 및 방법에 관한 것으로, 보다 구체적으로는 카메라를 이용해 촬영된 영상을 수신하는 영상 수신부; 상기 수신된 영상의 색 공간을 변환하는 색 공간 변환부; 상기 색 공간이 변환된 영상에서 표지판의 색 특성을 강조하는 영상 처리부; 상기 색 특성이 강조된 영상에서 관심 영역을 검출하는 관심 영역 검출부; 및 상기 검출된 관심 영역에서 정보를 인식하는 정보 인식부;를 포함하는 것을 특징으로 한다. 본 발명에서 제안하고 있는 속도 제한 표지판의 검출 방법에 따르면, 획득한 영상을 YUV 색 공간으로 변환한 후에 가중치를 부여한 U 채널만을 획득하고, 획득한 U채널을 하(Haar) 기반 아다부스트(adaboost) 분류기를 이용하여 속도 표지판 영역을 검출한 뒤 제한속도를 인식함으로써, 인식 성능을 개선하고 색 특성이 변질될 수 있는 상황에서도 정확한 속도표지판의 인식이 가능하다.

Description

영상처리 기반의 속도표지판 인식 방법 및 장치 {A Method and Apparatus for Recognizing Speed Signs Based on Image Processing}

본 발명은 속도 표지판 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 색 특성을 강조하여 속도 도로표지판 영역을 검출 후 선택적 관심영역을 적용하여 제한속도를 인식하는 시스템에 관한 것이다.

차량을 이용한 이동이 일반화되면서 도로에는 원활한 주행과 안전 운전을 목적으로 차량의 운전자에게 주행에 필요한 정보를 제공하는 교통 표지판이 설치된다.

최근 시력이 약한 운전자나 고령의 운전자가 증가함에 따라 교통 표지판의 정보를 정확하게 전달해줄 수 있는 안전운전 보조 시스템의 개발 필요성이 증가하고 있다.

최근 사회적으로 자율 주행 자동차에 대한 관심이 꾸준히 향상됨에 따라 그와 관련된 연구가 활발히 진행되고 있다. 그 중에서 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)은 자율 주행 자동차의 핵심기술 중의 하나로써, 차선 검출, 보행자 검출, 차량 검출, 신호등 인식 및 속도 표지판 인식 등의 기능을 포함한다.

이러한 기능은 주행 중 운전자에게 정보를 제공하며, 나아가 운전자의 과실로 인해 발생할 수 있는 사고를 미연에 방지할 수 있도록 도와준다.

이러한 기술 중에서 속도 표지판 인식은 자율 주행 자동차가 적정 속도를 유지하도록 주위 환경에서 제공되는 정보를 획득하는 과정이다. 따라서 속도 표지판은 주행 중 지속적으로 인식할 필요가 있다.

일반적인 국내의 속도 표지판들은 붉고 둥근 원 모양 안에 숫자를 표시함으로써 다른 표지판에 비해 검출과 인식에 유리하다. 그러나, 실 도로 영상 속의 표지판은 날씨와 조명, 파손 등의 외부 환경에 의해 색 특성을 잘 표현하지 못하거나 왜곡되는 경우가 발생한다. 이러한 이유로 속도 표지판의 검출과 인식에서 정확성이 감소하게 된다. 위와 같은 문제점을 해결하기 위해 속도 표지판 인식에 대해 다방면의 연구가 진행되었다.

표지판 인식에는 SVM(Support Vector Machine), MCT(Modified Census Transform), CNN(Convolutional Neural Network), 탬플릿 매칭, 의사결정트리, 랜덤 포레스트 등의 기법이 주로 사용되었다. Mathias는 명도의 분포 방향을 기반으로 얻은 HOG 히스토그램과 다계층 SVM 기법을 사용하였지만 높은 정확도에 반해 학습과 테스트에 많은 시간이 걸려 실시간 처리에 부적합하였다.

한편, Barns가 제안한 교차 상관관계를 이용한 RSD 기법은 측면에서 촬영한 영상의 경우에 왜곡이 발생하여 정면 촬영한 영상에 비해 인식 성능이 좋지 않았다. B. Froba는 픽셀의 논리적 대소 관계를 이진수로 표현하는 MCT 검출법을 제안하였다. 이 방법은 지역이진패턴을 이용하여 조명 변화에 강인하지만 3×3 크기의 작은 영역에서의 특징을 추출하기 때문에 노이즈에 민감하다. Aoyagi와 Asakura는 필터를 제안하고 인공 신경망에 적용하여 영상 전체를 특징으로 사용할 수 있지만, 추출 가능한 특징이 매우 많아서 연산량이 대폭 증가하는 단점이 존재했다.

그중에서도 하(Haar) 특징을 통한 형태 검출과 검출된 영역에 템플릿 매칭 기법을 활용하여 인식하는 방법이 일반적으로 많이 사용되고 있다. 이 방식은 주간 상황이나 일반 고속도로 등의 쾌적한 도로 영상에서는 높은 인식률을 나타낸다. 그러나 기존의 하(Haar) 특징을 이용한 방법은 빠른 처리 속도를 가지는 편이나 색 공간의 특징을 잘 추출하지 못하여 조명 변화에 민감하고, 템플릿 매칭은 비교되는 템플릿과 영상의 크기가 다르거나 표지판이 기울어있는 경우에는 성능이 급격히 하락하는 문제점을 보인다.

대한민국 공개특허공보 제10-2012-0057351호(2012년06월05일 공개)

본 발명은 상기와 같은 종래의 속도 표지판 검출 방법에 대한 문제점을 해결하기 위한 것으로, 속도 표지판을 촬영한 영상에 대해, 영상을 색 공간 변환을 통하여 색 특성을 강조하고, 분류기를 통하여 표지판 영역을 검출하며, 표지판 영역에서 제한속도(숫자)영역만 선택하여 속도 표지판 내의 숫자 인식률을 개선하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 카메라를 이용해 촬영된 영상을 수신하는 영상 수신부; 상기 수신된 영상의 색 공간을 변환하는 색 공간 변환부; 상기 색 공간이 변환된 영상에서 표지판의 색 특성을 강조하는 영상 처리부; 상기 색 특성이 강조된 영상에서 관심 영역을 검출하는 관심 영역 검출부; 및 상기 검출된 관심 영역에서 정보를 인식하는 정보 인식부;를 포함하는 도로 표지판 인식 장치를 제공한다.

또한, 상기 색 공간이 변환된 영상에 히스토그램 평활화(Histogram Equalization)를 적용하여 영상 내 조명의 영향을 감소시키는 조명 처리부를 더 포함한다.

또한, 상기 영상 처리부는, 상기 색 공간이 변환된 영상에서 YUV 색 공간으로 변환하고, 변환된 색 공간 각각의 Y, U, V 각각의 채널에 α, β, γ 가중치를 적용하여 상기 획득한 영상 내의 도로 표지판의 색 특성을 강조하는 가중치 적용부를 더 포함한다.

또한, 상기 영상 처리부는 상기 가중치가 적용된 색 공간에서 U 채널을 분리하는 U 채널 분리부를 더 포함한다.

또한, 상기 관심 영역 검출부는 상기 관심 영역에서 선택적 ROI(Region Of Interest)를 적용하여 도로 표지판의 정보 영역을 검출하는 최적화부를 더 포함한다.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 도로 표지판 인식 장치를 이용한 도로 표지판 인식 방법에 있어서, 카메라를 이용해 촬영된 영상을 수신하는 단계; 상기 수신된 영상의 색 공간을 변환하는 단계; 상기 색 공간이 변환된 영상에서 표지판의 색 특성을 강조하는 단계; 상기 색 특성이 강조된 영상에서 관심 영역을 검출하는 단계; 및 상기 검출된 관심 영역에서 정보를 인식하는 단계를 포함하는 도로 표지판 인식 방법이 제공된다.

또한, 상기 색 특성을 강조하는 단계는 상기 색 공간이 변환된 영상에 히스토그램 평활화(Histogram Equalization)를 적용하여 영상 내 조명의 영향을 감소시키는 단계를 더 포함한다.

또한, 상기 색 특성을 강조하는 단계는,

상기 평활화된 영상에서 상기 YUV 색 공간으로 변환하고, 변환된 각각의 Y, U, V채널에 하기의 수학식 1을 이용하여 상기 변환된 색 공간 각각의 Y, U, V 각각의 채널에 α, β, γ 가중치를 적용하여 상기 획득한 영상 내의 도로 표지판의 색 특성을 강조하는 단계를 더 포함한다.

또한, 상기 색 특성을 강조하는 단계는 상기 가중치가 적용된 색 공간에서 U 채널을 분리하는 단계를 더 포함한다.

또한, 상기 관심 영역을 검출하는 단계는 상기 색 특성이 강조된 영상에 하(Haar) 특징 기반의 아다부스트(adaboost) 분류기를 사용하여 관심 영역을 추적하고, 관심 영역을 검출하는 단계를 더 포함한다.

또한, 상기 관심 영역을 검출하는 단계는, 상기 관심 영역에서 선택적 ROI(Region Of Interest)를 적용하여 도로 표지판의 정보 영역을 검출하는 단계를 더 포함한다.

상기한 본 발명에 의하면, 컬러 특성과 선택적 관심영역을 사용함으로써 속도 표지판 검출 및 인식 성능을 개선할 수 있다.

또한, 일반 도로, 고가도로뿐만 아니라 시내, 그림자 및 해 질 녘 등 표지판의 복잡한 주변 환경이나 색 특성이 변질될 수 있는 상황에서도 정확한 속도표지판 인식이 가능하다.

도 1은 본 발명의 실시 예에 따른 속도 표지판 인식 장치의 구조를 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 속도 표지판 검출 방법을 개략적으로 나타내는 동작 흐름도이다.
도 3은 본 발명의 실시 예에 따른 색 공간 변환 방법을 개략적으로 나타내는 동작 흐름도이다.
도 4는 본 발명의 실시 예에 따른 속도 표지판 내의 제한속도를 인식하는 방법을 개략적으로 나타내는 동작 흐름도이다.
도 5는 본 발명의 실시 예에 따른 가중치가 적용된 Y, U, V 채널에 따른 속도표지판 영역의 변화를 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 가중치를 미적용한 U 채널과 적용한 U 채널에서 속도표지판 영역의 차이를 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 속도표지판 내의 제한속도 부분의 일정 영역을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 영상에서 검출된 속도표지판 영역과 추출된 제한속도 부분을 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 영상에서 검출된 속도표지판 영역의 기울기에 따른 숫자의 기울어짐을 예시하는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시 예에 따른 속도 표지판 인식 장치의 구조를 개략적으로 나타낸 구성도이다.

외부의 카메라 등을 이용하여 촬영된 이미지는 영상입력부(1100)에 입력될 수 있다.

상기 입력된 영상은 색 공간 변환부(1200)에 전달되며, 상기 색 공간 변환부(1200)은 상기 입력된 RGB영상을 YUV 색 공간으로 변환할 수 있다.

영상 처리부(1300)는 상기 YUV 색 공간으로 변환된 이미지를 받아 Y, U, V 색 공간을 분리하고, 각각의 색 공간에 가중치를 적용하여 상기 입력된 영상 내의 속도표지판 색 특성을 하기 [수학식 1]을 이용하여 강조할 수 있다.

- 수학식 1

상기 수학식 1에서 Y', U', V'은 각각 YUV 채널의 Y, U, V 채널에 가중치를 부여한 채널 값이고, α, β, γ는 각 Y, U, V 채널의 가중치이다.

상기 색 특성이 강조된 채널 중 속도표지판의 색 특성이 가장 부각되는 U채널을 분리하여 관심영역 검출부(1400)로 전송할 수 있다.

상기 관심영역 검출부(1400) 내의 관심영역 설정부(1410)는 상기 전달받은 U채널의 이미지에서 속도 표지판이 포함된 영역을 관심영역으로 설정할 수 있다.

상기 관심영역 설정부(1410)에서 설정한 관심영역에서 제한속도를 인식하기 쉽도록 상기 관심영역의 크기를 관심영역 크기 변환부(1420)에서 기설정된 일정 크기의 사이즈로 사이즈를 변환할 수 있다.

숫자 영역 검출부(1430)는 상기 일정 크기로 변환된 관심영역에서 숫자 영역만을 잘라내어 관심영역으로 재설정할 수 있다.

이상적인 관계에서는 카메라가 장착된 지면과 도로에 설치된 표지판이 상호 평행 관계를 이루고 있으며, 또한 카메라로 촬영 시 하단면과 숫자 영역이 평행을 이루게 된다. 그러나, 실제 도로에서는 도로의 빗물을 도로의 외곽으로 보내기 위하여 기울여 설계되거나 차량의 주행으로 인하여 도로가 파이는 현상 등으로 인하여 도로의 기울기가 일정하지 않고, 바람, 가로수, 교통사고 등의 다양한 원인에 의하여 도로표지판 또한 도로와 수평을 이루지 못하는 경우가 대다수 발생한다. 숫자 영역 검출 시 기울어진 숫자가 검출되는 경우 제한속도를 인식함에 있어서 인식률이 감소하는 문제가 발생할 수 있다.

상기와 같은 문제를 해결하기 위하여 상기 관심영역으로 설정된 표지판 영역에 대하여 기울기보정부(1440)에서 숫자의 기울어짐을 검출하고, 기울어짐이 발생 시 영상의 하단면과 평행하도록 보정을 수행할 수 있다.

상기 보정을 통하여 실제 인식을 위한 숫자 영역 검출 시 뚜렷한 이미지를 보여줄 수 있으며, 제한속도의 인식율을 증대시킬 수 있다.

상기 재설정된 관심영역은 숫자만을 포함하는 이미지로써 제한속도 인식부(1500)에서 숫자를 인식하여 속도 표지판의 제한속도를 출력할 수 있다.

도 2는 본 발명의 실시 예에 따른 속도 표지판 검출 방법을 개략적으로 나타내는 동작 흐름도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 속도 표지판 인식 시스템은, 먼저 영상을 획득한다(S100).

상기 영상 획득 방법에는 차량의 전방 또는 측면, 후방 카메라, 레이더 시스템, LIDAR 시스템, 깊이 카메라, 스테레오 카메라 등 주변의 영상을 RGB 형태로 촬영할 수 있다면 이용이 가능하며, 이에 한정하지 않는다.

이어, 상기 획득한 영상을 기반으로 색 공간 변환을 수행한다(S200).

상기 RGB 형태로 촬영한 이미지를 YUV 색 공간으로 변환하여 상기 속도 표지판의 색 특성이 부각되도록 함으로써 정확한 표지판 인식이 가능하도록 한다. 도 3은 본 발명의 실시 예에 따른 색 공간 변환 방법을 개략적으로 나타내는 동작 흐름도이다.

도 3에서, 상기 획득한 RGB 영상은 그림자, 난반사, 역광 등에 의하여 균일한 명암 분포로 표현되지 않으며, 상기 문제 해결을 위한 조명의 영향을 최소화하기 위해 상기 획득한 영상 내 모든 픽셀의 값을 균일하게 하기 위하여 히스토그램 평활화(Histogram Equalization)를 수행한다(S210).

상기 히스토그램 평활화는 상기 획득한 영상에서 명암 값의 빈도수를 계산하는 단계, 빈도수의 누적값을 구하는 단계, 상기 누적값을 정규화하는 단계를 이용하여 평활화된 영상을 생성하는 픽셀에 기반하여 정규화되는 과정으로 실시할 수 있으며, 이에 한정하지 않는다.

상기 평활화된 영상에서 YUV 색 공간으로 분리한다(S220).

YUV 색 공간은 유럽 PAL Broadcast Television에 사용되는 색상 모델로써, YUV 색 공간은 휘도 신호(Y), 휘도 신호와 청색 성분의 차(U), 휘도 신호와 적색 성분의 차(V)의 3가지 정보로 색을 나타내는 형식이며, Y는 밝깃값을, U와 V는 색상을 나타내게 된다.

RGB 방식은 R:G:B=4:4:4 방식으로 이용되어 화질은 높을 수 있으나, 처리 용량이 크고 고용량의 데이터를 소모하게 되나, YUV 색 방식은 Y:U:V=4:2:2 또는 Y:U:V=4:1:1 방식을 채용함으로써 RGB 색 공간에 대비하여 33%이상 감소된 용량으로도 표현할 수 있다.

상기 YUV 색 공간으로 변환된 이미지의 각각의 채널(Y채널, U채널, V채널)에 각각 상기의 [수학식 1]을 이용하여 색 공간을 변형함으로써 상기 변환된 이미지 내의 속도 표지판 색 특성을 강조한다(S230).

상기 가중치를 적용된 채널 중 속도 표지판의 색 특성이 가장 부각되는 U채널을 분리하여 상기 U채널을 분리한다(S240).

도 5는 상기 획득한 이미지에 대하여 각각의 YUV 색 공간으로 변환하여 Y, U, V 각각의 색 채널로 변환을 수행한 이미지이며, 도 6은 상기 YUV 색 방식으로 변환 후, 가중치를 미적용한 U 채널과 적용한 U 채널에서 속도표지판 영역의 차이를 보여주는 도면이다.

도 5를 참조하면, 도 5는 YUV 색 공간으로 변환한 후, Y채널, U채널, V채널 각각의 채널에 대하여 가중치를 적용한 이미지로써, 도 5의 좌측 이미지에서는 색 공간 변환 후, 가중치를 부여한 상태에서 숫자를 명확하게 구분할 수는 있으나, 속도 표지판의 테두리 구분이 어두운 색으로써 표지판을 인식하는데 불편하다. 또한, 우측 이미지 역시 상기 좌측 이미지와 동일하게 표지판 테두리 구분이 어려워 속도 표지판을 인식하는데 추가적인 자료를 요구하게 된다. 그러나, 중간 이미지를 참조하면, 속도 표지판의 테두리가 흰색의 원으로 표시됨에 따라 속도 표지판의 위치를 명확하게 인지할 수 있으며, 주변 사물에 대비하여 휘도 신호의 차가 명확하게 드러나는 장점을 가지고 있다.

상기와 같은 이유로 본 발명에서는 YUV 색 공간 변환을 통하여 획득한 이미지 중, U채널을 이용할 수 있다.

또한, 도 6을 참조하면, YUV 색 공간으로 변환을 수행하는 경우, U 채널은 휘도 신호와 청색 성분의 차이이므로 도면 상단의 이미지와 같이 숫자를 확인할 수는 없다. 그러나, 국내 법규에 의하면 붉은색 원안에 검은색 글자를 이용하여 속도 제한 표지판을 생성하도록 규정하고 있으며, 이러한 속도 표지판의 원을 확실하게 구분할 수 있다. 상기 U채널에 가중치를 부여한 도 6의 하단 이미지를 참조하면, 상기 상단 이미지에서 문제가 되었던 속도 표지판에서 숫자를 명확하게 구분할 수 있다는 것을 확인할 수 있다.

상기 분리된 U채널에서 아다부스트(Adaboost) 분류기를 적용하여 표지판 영역을 추적할 수 있다.

본 발명에서 상기 아다부스트 분류기는 Haar 기반의 아다부스트 분류기를 사용하나 이에 한정하지는 않는다.

하(Haar)란 하(Haar) 유사 특징(Haar-like feature)이라고 불리는 이미지 내의 직사각형의 특징 분석법으로써, Haar-like 특징 벡터를 추출하는 단계, 상기 추출된 Haar-like특징 벡터들을 아다부스트 입력 벡터로 사용하여 표지판 영역을 추출하는 단계로 구성된다.

상기 아다부스트 분류기는 많은 특징들이 있을 때 효율적인 분류기를 만들기 위한 기술이다. 만약 입력된 영상에서 교통 표지판의 크기가 40x40일경우 가장자리의 1픽셀들을 제외한 각 픽셀 별로 1개의 MCT 특징, 즉 총 1,444(38x38)개의 MCT 특징을 갖는다. 아다부스트 기술은 각각의 픽셀의 중요도에 따라 가중치를 다르게 부여하고, 부분 영상이 들어왔을 시에 각각의 픽셀의 기준과 가중치를 연산하여 교통 표지판인지 아닌지를 분류한다. 각각의 픽셀을 하나의 약 분류기 라고 정의를 한다면 여러 개의 약 분류기가 일정한 가중치와 함께 합쳐져 정밀한 강 분류기를 생성하게 된다.

상기 추출된 표지판 영역을 관심영역(ROI: Region Of Interesting)으로 설정한다(S400).

상기 관심영역으로 설정된 속도 표지판에서 숫자 영역의 숫자를 인식하여 제한 속도를 인식한다(S500).

도 4는 본 발명의 실시 예에 따른 속도 표지판 내의 제한속도를 인식하는 방법을 개략적으로 나타내는 동작 흐름도이다.

상기 관심영역으로 설정된 표지판 영역의 크기를 확인한다(S510).

상기 표지판 영역은 카메라와의 거리, 높이 등에 따라 서로 다른 크기를 가지고 있으며, 또한, 표지판의 상태에 따라 상하좌우 또는 대각선 방향으로 일정방향 휘어 있어 정면의 이미지에서 일정 방향 돌아가 있을 수 있다. 그러므로, 상기 설정된 관심영역의 속도 표지판 영역을 일정한 크기(MxN 픽셀)로 변환을 수행한다(S520).

상기 크기 변환은 업 샘플링, 다운 샘플링, 리사이징 등 다양한 방법을 이용할 수 있으며, 본 발명에서는 그 방법을 한정하지 않는다.

도 7은 본 발명의 실시 예에 따른 속도표지판 내의 제한속도 부분의 일정 영역을 나타내는 도면이다.

국내 법규에 의하여 속도 제한 표지판은 원형에 600x900으로써 일정한 크기를 가지고 있으므로, 동일한 크기로 사이즈를 변환한다면, 그에 따라 제한속도의 숫자 영역은 항상 같은 위치에 같은 크기로 존재하게 된다.

도 8은 본 발명의 실시 예에 따른 영상에서 검출한 속도표지판 영역과 추출된 제한속도 부분을 나타내는 도면이다.

상기 속도 표지판에서 도 7에서 설명한 바처럼 도로 표지판은 일정 크기를 지니고 있으므로 일정한 영역에 숫자를 가지고 있고, 그에 따라 상기 관심영역에서 불필요한 외곽 부분을 잘라내면 숫자 영역만을 남길 수 있다.

상기 잘라낸 숫자 영역은 영상획득 과정에서 측면이 획득되기 때문에 영상을 정면으로 보정하는 과정이 필요하다. 이때, 하기의 [수학식 2]를 이용하여 원근 변환(Perspective Transform)을 수행할 수 있다.

[수학식 2]

상기 기설정된 크기로 변환한 관심영역에서 숫자 영역을 관심영역으로 재설정한다(S540).

상기 재설정된 관심영역은 숫자만을 가지고 있으므로, 숫자 영역에서 제한속도의 숫자를 인식해낼 수 있다(S550).

상기 재설정된 관심영역은 숫자만을 포함하는 이미지로써 제한속도 인식부(1500)에서 숫자를 인식하여 속도 표지판의 제한속도를 출력한다.

상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다.

따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

1000 : 속도 표지판 인식 장치
S100 : 촬영된 영상을 입력 받는 단계
S200 : 입력된 영상에 대하여 YUV 방식의 가중치가 부여된 U 컬러 채널 정보를 추출하는 단계
S300 : 하(Haar) 기반의 아다부스트 분류기를 이용해 속도 제한 표지판 영역을 추출하는 단계
S400 : 표지판 영역을 관심영역으로 설정하는 단계
S500 : 관심영역 내에서 속도 표지판의 제한속도를 인식하는 단계

Claims (8)

1. 카메라를 이용해 촬영된 영상을 수신하는 영상 수신부;
   상기 수신된 영상의 색 공간을 변환하는 색 공간 변환부;
   상기 색 공간이 변환된 영상에서 히스토그램 평활화(Histogram Equalization)를 적용하여 영상 내 조명의 영향을 감소시키는 조명 처리부;
   상기 색 공간이 변환된 영상에서 표지판의 색 특성을 강조하는 영상 처리부;
   상기 색 특성이 강조된 영상에서 하(Haar)기반 아다부스트(adaboost) 분류기를 사용하여 관심 영역을 검출하는 관심 영역 검출부; 및
   상기 검출된 관심 영역에서 정보를 인식하는 정보 인식부를 포함하고,
   상기 영상 처리부는,
   상기 색 공간 변환부에서 변환된 색 공간 각각의 채널에 각각 서로 다른 가중치를 적용하여 도로 표지판의 색 특성을 강조하는 가중치 적용부와,
   상기 가중치가 적용된 색 공간에서 특정 채널을 분리하는 채널 분리부를 더 포함하는 도로 표지판 인식 장치.
2. 제1항에 있어서,
   상기 변환된 색 공간은 YUV이며, 상기 특정 채널은 U 채널이고,
   상기 가중치 적용부는, 변환된 색 공간 각각의 Y, U, V 채널에 하기의 수학식 1을 이용하는 도로 표지판 인식 장치.
   

   

   - 수학식 1
   상기 수학식 1에서 Y', U', V'은 각각 YUV 채널의 Y, U, V 채널에 가중치를 부여한 채널 값이고, α, β, γ는 각 Y, U, V 채널의 가중치임.
3. 제1항에 있어서,
   상기 관심 영역 검출부는,
   상기 관심 영역에서 선택적 ROI(Region Of Interest)를 적용하여 상기 도로 표지판의 정보 영역을 검출하는 최적화부를 더 포함하는 도로 표지판 인식 장치.
4. 도로 표지판 인식 장치를 이용한 도로 표지판 인식 방법에 있어서,
   카메라를 이용해 촬영된 영상을 수신하는 단계;
   상기 수신된 영상의 색 공간을 변환하는 단계;
   상기 색 공간이 변환된 영상에서 표지판의 색 특성을 강조하는 단계;
   상기 색 특성이 강조된 영상에 히스토그램 평활화(Histogram Equalization)를 적용하여 영상 내 조명의 영향을 감소시키는 단계;
   상기 조명의 영향이 감소된 영상에서 관심 영역을 검출하는 단계; 및
   상기 검출된 관심 영역에서 정보를 인식하는 단계를 포함하고,
   상기 색 특성을 강조하는 단계는,
   변환된 상기 색 공간 각각의 채널에 각각 서로 다른 가중치를 적용하여 도로 표지판의 색 특성을 강조하는 단계와, 상기 가중치가 적용된 색 공간에서 특정 채널을 분리하는 단계를 더 포함하는 도로 표지판 인식 방법.
5. 제4항에 있어서,
   상기 변환된 색 공간은 YUV이며, 상기 특정 채널은 U 채널이고,
   상기 서로 다른 가중치는 하기의 수학식 1을 이용하여 적용하는 도로 표지판 인식 방법.
   

   

   - 수학식 1
   상기 수학식 1에서 Y', U', V'은 각각 YUV 채널의 Y, U, V 채널에 가중치를 부여한 채널 값이고, α, β, γ는 각 Y, U, V 채널의 가중치임
6. 제4항에 있어서,
   상기 관심 영역을 검출하는 단계는,
   상기 색 특성이 강조된 영상에 하(Haar) 특징 기반의 아다부스트(adaboost) 분류기를 사용하여 관심 영역을 추적하고, 관심 영역을 검출하는 단계를 더 포함하는 도로 표지판 인식 방법.
7. 제4항에 있어서,
   상기 관심 영역을 검출하는 단계는,
   상기 관심 영역에서 선택적 ROI(Region Of Interest)를 적용하여 도로 표지판의 정보 영역을 검출하는 단계를 더 포함하는 도로 표지판 인식 방법.
8. 제1항에 있어서,
   상기 관심 영역 검출부는,
   상기 관심 영역의 크기를 기 설정된 일정 크기의 사이즈로 변환하는 관심영역 크기 변환부;
   상기 일정 크기의 관심영역에서 숫자 영역만을 검출하여 관심영역으로 재설정하는 숫자 영역 검출부; 및
   상기 관심영역으로 설정된 도로 표지판 영역에서 숫자의 기울어짐을 검출하고 기울어짐 발생시 영상의 하단면과 평행하도록 보정하는 기울기 보정부를 포함하는 도로 표지판 인식장치.

Images