KR20150085988A

KR20150085988A - 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법

Info

Publication number: KR20150085988A
Application number: KR1020140006039A
Authority: KR
Inventors: 조영하; 임채석; 박민우
Original assignee: 주식회사 만도
Priority date: 2014-01-17
Filing date: 2014-01-17
Publication date: 2015-07-27
Also published as: US20150206018A1; US9311543B2; KR101912914B1

Abstract

본 발명은 차량의 전방에 장착된 카메라를 이용하여 운전자 전방의 속도제한 표지판을 촬영해 얻은 영상에 대해, 영상에서 연속적으로 등장하는 표지판을 추적하여 내부의 숫자를 인식하고, 인식된 숫자를 통해 실제 제한 속도를 운전자에게 알려줄 수 있도록 하는, 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법에 관한 것으로써, 전방 카메라를 이용해 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에서 표지판을 검출하는 표지판 검출부; 상기 검출된 표지판에서 내부의 숫자를 인식하는 인식부; 상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하는 추적부; 및 상기 인식된 표지판의 속도제한 인식 결과를 결정하는 결정부를 포함하는 것을 특징으로 한다.

Description

전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법{Method and system for recognition of speed limit sign using front camera}

본 발명은 전방 카메라를 이용하여 속도제한 표지판을 인식하는 시스템 및 방법에 관한 것으로써, 더욱 자세하게는 차량의 전방에 장착된 카메라를 이용하여 운전자 전방의 속도제한 표지판을 촬영해 얻은 영상에 대해, 영상에서 연속적으로 등장하는 표지판을 추적하여 내부의 숫자를 인식하고, 인식된 숫자를 통해 실제 제한 속도를 운전자에게 알려줄 수 있도록 하는, 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법에 관한 것이다.

지능형 자동차에는 운전자의 '안전'과 '편의'를 제공하는 목적으로 카메라를 이용한 DAS(Driver Assistance System), LDW(Lane Detection Warning), HBA(High Beam Assist), FCW(Forward Collision Warning) 등과 같은 시스템들이 적용되고 있다.

이러한 지능형 자동차에 컴퓨터 비전 시스템이 응용된 기술은 카메라를 통한 자동차 주변 정보를 종합, 처리, 응용하는 목적이 있으며 그 결과 차선 이탈 경보, 차간거리유지 시스템, 보행자 인식 시스템, 주차 보조 시스템, 교통 표지판 인식 등의 많은 어플리케이션이 있다.

이 중에서 교통 표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이나 다른 기술에 비해 발전이 많이 이뤄지지 않았다. 교통 표지판 인식은 여러 종류의 표지판을 대상으로 할 수 있으나 그 중에서 속도 제한 표지판 인식에 대한 연구가 그 중요성에 비해 상대적으로 적다.

기존 연구 결과, 교통 표지판 형태에 따라 삼각형, 원형(속도 제한 표지판 제외) 표지판의 경우 인식률이 상당히 높은데 반하여 속도 제한 표지판의 경우 상대적으로 낮은 인식률을 보이는 문제점이 있었다.

대한민국 공개특허공보 제10-2012-0057351호(공개일 : 2012년06월05일)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량의 전방에 장착된 카메라를 이용하여 차량 전방에 있는 속도제한 표지판을 촬영하여 얻은 영상에 대해, 영상에서 연속적으로 등장하는 표지판을 추적하여 내부의 숫자를 인식하고, 인식된 숫자를 통해 실제 제한 속도를 운전자에게 알려줄 수 있도록 하는, 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, (a) 전방 카메라를 이용해 전방 영상을 획득하는 단계; (b) 상기 획득된 전방 영상에서 표지판을 검출하는 단계; (c) 상기 검출된 표지판에서 내부의 숫자를 인식하는 단계; (d) 상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하는 단계; 및 (e) 상기 인식된 표지판의 인식 결과를 결정하는 단계를 포함하는 전방 카메라를 이용한 속도제한 표지판 인식 방법이 제공된다.

또한, 상기 (b) 단계는, 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 표지판을 검출하게 된다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 입력 영상이 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20ㅧ20으로 일반화(Normalization) 한 표지판 영상(Positive Sample)인지, 영상이 없는 영상에서 랜덤(Random)하게 추출한 비표지판 영상(Negative Sample)인지를 구분하게 된다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 검출기(Detector)를 학습시키는 표지판 학습(Sample Training) 과정과, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 포함한다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 상기 표지판 영상(Positive Sample)과 상기 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 검출기를 학습시킨다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 수평 검출기(Horizontal Detector)를 통해 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시키거나, 수직 검출기(Vertical Detector)를 통해 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시키게 된다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하게 된다.

또한, 상기 (c) 단계는, 상기 (b) 단계의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 계산하게 된다.

또한, 상기 (c) 단계는, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하여 인식기(Recognizer)를 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 상기 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 포함한다.

또한, 상기 (d) 단계는, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적기(Tracker)를 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하게 된다.

또한, 상기 (e) 단계는, 상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하게 된다.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 전방 카메라를 이용해 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에서 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 표지판을 검출하는 표지판 검출부; 상기 검출된 표지판에서 내부의 숫자를 인식하는 인식부; 상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하는 추적부; 및 상기 인식된 표지판의 속도제한 인식 결과를 결정하는 결정부를 포함하는 속도제한 표지판 인식 시스템이 제공된다.

또한, 상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 상기 표지판 검출부를 학습시키는 표지판 학습(Sample Training) 과정과, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 수행하게 된다.

또한, 상기 표지판 검출부는, 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20ㅧ20으로 일반화(Normalization) 한 상기 표지판 영상(Positive Sample)과, 표지판이 없는 영상에서 랜덤(Random)하게 추출한 상기 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 학습하게 된다.

또한, 상기 표지판 검출부는, 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 수평 검출기(Horizontal Detector)와, 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 수직 검출기(Vertical Detector)를 포함하고, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하게 된다.

또한, 상기 인식부는, 상기 표지판 검출부의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 산출하되, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하고 특징점을 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 상기 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 수행하게 된다.

또한, 상기 추적부는, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하게 된다.

그리고, 상기 결정부는, 상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하게 된다.

다른 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 전방 카메라를 이용해 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에 대해, Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 학습하고, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하여 표지판을 검출하는 표지판 검출부; 상기 표지판 검출부의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 내부의 숫자를 인식하여 실제 제한 속도를 산출하는 인식부; 상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하되, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하는 추적부; 및 상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하는 결정부를 포함하는 속도제한 표지판 인식 시스템이 제공된다.

그리고, 상기 표지판 검출부는, 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 수평 검출기(Horizontal Detector)와, 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 수직 검출기(Vertical Detector)를 포함하고, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하게 된다.

본 발명에 의하면, 차량의 전방을 촬영하여 얻은 영상에서, 표지판이 틀어져 타원형으로 보이더라도 속도제한 표지판을 검출하고, 표지판 내 숫자를 추출하여 제한 속도를 인식할 수 있다.

또한, 속도제한 표지판이 원형 표지판 단일 모델을 사용하여 표지판이 틀어지거나 내부 숫자가 회전했을 경우에도 속도 제한 내용을 인식할 수 있고, 운전자에게 알려주어 해당 속도로 운행할 수 있도록 할 수 있다.

도 1은 본 발명의 실시예에 따른 속도제한 표지판 인식 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 전방 카메라를 이용한 속도제한 표지판 인식 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명에 적용되는 Adaboost 기반 Object Detection을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 SVM 기반 인식 예를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 특징점 검출 영역을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 인식 결과를 얻는 것을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명에 따른 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 속도제한 표지판 인식 시스템의 구성을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 속도제한 표지판 인식 시스템(100)은, 영상 획득부(110), 표지판 검출부(Detector)(120), 인식부(Recognition Part)(130), 추적부(Tracking Part)(140) 및 결정부(Decision Part)(150)를 포함한다.

영상 획득부(110)는 전방 카메라를 이용해 전방 영상을 획득한다.

표지판 검출부(120)는 획득된 전방 영상에서 표지판을 검출한다.

또한, 표지판 검출부(120)는, 표지판에 대해 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 사용하여 검출하게 된다.

여기서, Adaptive Boosting 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지며, 입력 영상이 '표지판'인지 '비표지판'인지를 구분하게 된다.

또한, Adaptive Boosting 알고리즘은, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 표지판 검출부를 학습시키는 표지판 학습(Sample Training) 과정과, 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 수행하게 된다.

또한, 표지판 영상(Positive Sample)은 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20×20으로 Normalization한 것이고, 비표지판 영상(Negative Sample)은 표지판이 없는 영상에서 랜덤(Random)하게 추출한 것이다.

또한, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 표지판 검출부를 학습시키게 된다.

또한, 표지판 검출부(120)는 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)를 포함할 수 있다.

또한, 수평 검출기(Horizontal Detector)는 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 검출기이고, 수직 검출기(Vertical Detector)는 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 검출기이다.

또한, 표지판 검출부(120)는, 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하게 된다.

인식부(130)는 검출된 표지판에서 내부의 숫자를 인식한다.

또한, 인식부(130)는, 표지판 검출부의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 계산하게 된다.

또한, 인식부(130)는, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하고 특징점을 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 수행하게 된다.

또한, 속도 인식 과정은, RBF(Radial Basis Kernel) 기반의 Multi-SVM을 사용하여 다음 수학식1에 따라 입력 영상이 각 표지판 영상 카테고리에 속할 확률을 산출하게 된다.

추적부(140)는 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거한다.

또한, 추적부(1400는, 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하게 된다.

결정부(150)는 인식된 표지판의 속도제한 인식 결과를 결정한다. 또한, 결정부(150)는, 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하게 된다.

도 2는 본 발명의 실시예에 따른 전방 카메라를 이용한 속도제한 표지판 인식 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 속도제한 표지판 인식 시스템(100)은, 먼저 영상 획득부(110)가 전방 카메라를 이용해 전방 영상을 획득한다(S210).

이어, 표지판 검출부(120)가 획득된 전방 영상에서 표지판을 검출한다(S220).

즉, 표지판 검출부(120)는 도 3에 도시된 바와 같이 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 사용하여 표지판을 검출하게 된다. 도 3은 본 발명에 적용되는 Adaboost 기반 Object Detection을 나타낸 도면이다.

또한, Adaptive Boosting 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 입력 영상이 '표지판'인지 '비표지판'인지를 구분하게 된다.

또한, Adaptive Boosting 알고리즘은, 도 4에 도시된 바와 같은 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 검출기(Detector)를 학습시키는 표지판 학습(Sample Training) 과정과, 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 포함할 수 있다. 도 4는 본 발명의 실시예에 따른 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 나타낸 도면이다.

도 4에서, 표지판 영상(Positive Sample)은 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20×20으로 Normalization한 것이고, 비표지판 영상(Negative Sample)은 표지판이 없는 영상에서 랜덤(Random)하게 추출한 것이다. 이때, 표지판 영상은 5,000 개를 사용하고, 비표지판 영상은 각 스테이지 별로 10,000 개를 사용한다. 따라서, 가장 좋은 성능을 획득하는 Sample의 수는 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하는 것이 좋다. 각 스테이지 별 최소 인식율은 99.5%이고, 최대 오인식율은 50%이며, 학습 스테이지 수는 20 단계이다.

국내 법규에 의하면, 표지판의 최소 높이는 1m이며, 최대 높이는 5m이다. 일반 공사 구간에서는 법규보다 낮은 표지판을 쉽게 볼 수 있으므로, 공사구간의 표지판을 고려하여 최소 0.5m, 최대 5m의 표지판을 포함할 수 있도록 관심 영역(ROI:Region Of Interest)을 설정한다. 스캔 윈도우 검사 과정에서 scale factor는 다수의 인자(1.1, 1.2, 1.3, 1.4, ...)를 실험해 본 결과 1.2가 가장 적합하다.

또한, 검출기는 도 5에 도시된 바와 같이 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)를 포함할 수 있다. 도 5는 본 발명의 실시예에 따른 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)를 나타낸 도면이다. 즉, 수평 검출기(Horizontal Detector)는 20×20으로 Normalization 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 검출기이고, 수직 검출기(Vertical Detector)는 20×20으로 Normalization 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 검출기이다.

따라서, 표지판 검출부(120)는 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하게 된다.

이어, 인식부(130)는 검출된 표지판에서 내부의 숫자를 인식한다(S230).

즉, 인식부(130)는 표지판 검출부(120)의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 도 6에 도시된 바와 같이 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 계산하게 된다. 도 6은 본 발명의 실시예에 따른 SVM 기반 인식 예를 나타낸 도면이다.

또한, 인식부(130)는, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하여 인식기(Recognizer)를 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 포함할 수 있다.

여기서, Positive Sample은 30 KPH부터 110 KPH까지 각 카테고리(Category)로 분류된 속도 제한 표지판이며, 이를 50ㅧ50 크기의 영상으로 Normalization 한 것이다. Negative Sample은 검출 단계에서 오인식한 데이터를 사용한다. 따라서, 약 30,000개의 positive sample을 사용하고, positive sample 간의 balance는 별도로 고려하지 않는다.

특징점은 도 7에 도시된 바와 같이 조명의 영향을 최소화하기 위하여 Normalized gray value를 사용한다. 도 7은 본 발명의 실시예에 따른 특징점 검출 영역을 나타낸 도면이다. 모든 표지판은 '0'으로 끝나기 때문에 특징점 검출 시 '0'이 있는 부분을 제외한 나머지 부분을 영역으로 설정한다. 그리고 SVM을 사용하여 실제 인식에 사용할 Support Vector를 계산한다.

한편, 속도 인식 과정은, RBF(Radial Basis Kernel) 기반의 Multi-SVM을 사용하여 수학식1에 따라 입력 영상이 각 표지판 영상 카테고리에 속할 확률을 산출하게 된다.

계산 결과는 도 8에 도시된 바와 같이 입력 영상이 각 Positive Sample Category(30~110KPH)에 속할 확률(Confidence)로 나오며, 이 중 가장 큰 값을 가지는 속도를 현재 입력 영상에 대한 결과로 표시하게 된다. 도 8은 본 발명의 실시예에 따른 인식 결과를 얻는 것을 나타낸 도면이다. 도 8에 도시된 바와 같이, 50이 기록된 속도 표지판에 대한 영상을 분류하여 제로(0)에 해당할 확률이 2%, 속도 50에 해당할 확률이 85%, 속도 70에 해당할 확률이 7%, 이중차량에 해당할 확률이 6%로 산출되면, 확률이 가장 큰 값을 가지는 속도 50으로 결정하는 것이다.

이어, 추적부(140)는 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거한다(S240).

이때, 추적부(140)는 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적기(Tracker)를 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하게 된다.

이어, 결정부(150)는 인식된 표지판의 속도제한 인식 결과를 결정한다(S250).

이때, 결정부(150)는 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하게 된다.

전술한 바와 같이 본 발명에 의하면, 차량의 전방에 장착된 카메라를 이용하여 차량 전방에 있는 속도제한 표지판을 촬영하여 얻은 영상에 대해, 영상에서 연속적으로 등장하는 표지판을 추적하여 내부의 숫자를 인식하고, 인식된 숫자를 통해 실제 제한 속도를 운전자에게 알려줄 수 있도록 하는, 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법을 실현할 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 차량의 전방에 장착된 카메라를 이용하여 차량 전방에 있는 속도제한 표지판을 촬영하여 얻은 영상에서 연속적으로 등장하는 표지판을 추적하여 내부의 숫자를 인식하고, 인식된 숫자를 통해 실제 제한 속도를 운전자에게 알려줄 수 있도록 하는, 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법에 적용할 수 있다.

100 : 속도제한 표지판 인식 시스템 110 : 영상 획득부
120 : 표지판 검출부 130 : 인식부
140 : 추적부 150 : 결정부

Claims

(a) 전방 카메라를 이용해 전방 영상을 획득하는 단계;
(b) 상기 획득된 전방 영상에서 표지판을 검출하는 단계;
(c) 상기 검출된 표지판에서 내부의 숫자를 인식하는 단계;
(d) 상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하는 단계; 및
(e) 상기 인식된 표지판의 인식 결과를 결정하는 단계;
를 포함하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 1에 있어서,
상기 (b) 단계는, 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 표지판을 검출하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 2에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 입력 영상이 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20ㅧ20으로 일반화(Normalization) 한 표지판 영상(Positive Sample)인지, 영상이 없는 영상에서 랜덤(Random)하게 추출한 비표지판 영상(Negative Sample)인지를 구분하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 2에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 검출기(Detector)를 학습시키는 표지판 학습(Sample Training) 과정과, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 포함하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 4에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 상기 표지판 영상(Positive Sample)과 상기 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 검출기를 학습시키는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 4 또는 청구항 5에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 수평 검출기(Horizontal Detector)를 통해 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시키거나, 수직 검출기(Vertical Detector)를 통해 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시키는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 6에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 1에 있어서,
상기 (c) 단계는, 상기 (b) 단계의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 계산하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 8에 있어서,
상기 (c) 단계는, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하여 인식기(Recognizer)를 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 상기 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 포함하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 1에 있어서,
상기 (d) 단계는, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적기(Tracker)를 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
청구항 1에 있어서,
상기 (e) 단계는, 상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하는 것을 특징으로 하는 전방 카메라를 이용한 속도제한 표지판 인식 방법.
전방 카메라를 이용해 전방 영상을 획득하는 영상 획득부;
상기 획득된 전방 영상에서 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 표지판을 검출하는 표지판 검출부;
상기 검출된 표지판에서 내부의 숫자를 인식하는 인식부;
상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하는 추적부; 및
상기 인식된 표지판의 속도제한 인식 결과를 결정하는 결정부;
를 포함하는 속도제한 표지판 인식 시스템.
청구항 12에 있어서,
상기 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지고, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 상기 표지판 검출부를 학습시키는 표지판 학습(Sample Training) 과정과, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 수행하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
청구항 13에 있어서,
상기 표지판 검출부는, 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20×20으로 일반화(Normalization) 한 상기 표지판 영상(Positive Sample)과, 표지판이 없는 영상에서 랜덤(Random)하게 추출한 상기 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 학습하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
청구항 12에 있어서,
상기 표지판 검출부는, 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 수평 검출기(Horizontal Detector)와, 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 수직 검출기(Vertical Detector)를 포함하고, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
청구항 12에 있어서,
상기 인식부는, 상기 표지판 검출부의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 실제 제한 속도를 산출하되, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용해 특징점을 검출하고 특징점을 학습시켜 지원 벡터(Support Vector)를 산출하는 샘플 학습 과정과, 상기 산출된 지원 벡터와 입력 영상의 특징점 간의 내적으로 표지판 영상 카테고리에 속할 확률을 계산하고, 가장 큰 값을 가지는 확률에 대한 숫자를 속도로 인식하는 속도 인식 과정을 수행하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
청구항 12에 있어서,
상기 추적부는, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
청구항 12에 있어서,
상기 결정부는, 상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.
전방 카메라를 이용해 전방 영상을 획득하는 영상 획득부;
상기 획득된 전방 영상에 대해, Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 이용하여 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 학습하고, 상기 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하여 표지판을 검출하는 표지판 검출부;
상기 표지판 검출부의 검출 결과, '표지판' 영역으로 나온 영역에 대하여 SVM(Support Vector Machine)을 사용하여 내부의 숫자를 인식하여 실제 제한 속도를 산출하는 인식부;
상기 전방 영상에서 연속적으로 등장하는 표지판을 추적하여 일시적으로 오인식한 물체를 제거하되, 상기 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지하는 추적부; 및
상기 표지판이 3 프레임 이상 추적(Tracking)되지 않을 경우에 현재 인식 중이던 표지판을 지나갔다고 판단하여 추적을 종료하고, 추적을 종료한 대상에 대해 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정하는 결정부;
를 포함하는 속도제한 표지판 인식 시스템.
청구항 19에 있어서,
상기 표지판 검출부는, 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 수평 검출기(Horizontal Detector)와, 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 수직 검출기(Vertical Detector)를 포함하고, 상기 수평 검출기(Horizontal Detector)와 상기 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출하는 것을 특징으로 하는 속도제한 표지판 인식 시스템.