KR20160128930A - 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 - Google Patents

도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 Download PDF

Info

Publication number
KR20160128930A
KR20160128930A KR1020160052769A KR20160052769A KR20160128930A KR 20160128930 A KR20160128930 A KR 20160128930A KR 1020160052769 A KR1020160052769 A KR 1020160052769A KR 20160052769 A KR20160052769 A KR 20160052769A KR 20160128930 A KR20160128930 A KR 20160128930A
Authority
KR
South Korea
Prior art keywords
signal
sign
bar
deviation
detecting
Prior art date
Application number
KR1020160052769A
Other languages
English (en)
Other versions
KR101772438B1 (ko
Inventor
앱하우 요헨
패닝 악셀
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Publication of KR20160128930A publication Critical patent/KR20160128930A/ko
Application granted granted Critical
Publication of KR101772438B1 publication Critical patent/KR101772438B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G06K9/00818—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06K9/3233—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법을 제공할 수 있다. 이러한 방법은 도로 표지판이 포함된 영상정보로부터 도로 표지판을 검출하는 표지판 검출단계, 표지판 검출단계로부터 검출된 표지판에 대하여 인식영역을 설정하는 인식영역 설정 단계, 인식영역 설정 단계에서 설정된 인식영역 내의 모든 픽셀에 대하여 PCA(Principal Component Analysis) 알고리즘을 적용하고, 고유벡터(eigenvector)를 결정하는 PCA 연산처리단계, 및 고유벡터의 각도(α)를 결정하고, 결정된 각도의 편차(d)와 임계값(Pt)을 비교하여 막대형 신호 여부를 판단하는 막대형 신호 판단 단계를 포함할 수 있다.

Description

도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING BAR-TYPE TRAFFIC SIGN IN TRAFFIC SIGN RECOGNITION SYSTEM}
본 발명은 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 방법 및 장치에 관한 것으로, 보다 상세하게는, PCA(Principal Component Analysis)를 이용하여 막대형 표지판 신호, 예를 들어, 속도 무제한(end of speed limit) 신호 표지판을 효과적으로 검출하는 표지판 인식 시스템 및 방법에 관한 것이다.
최근 운전자의 편의를 위하여 차량의 전방 카메라를 이용한 다양한 기능이 개발되고 있다. 예를 들어, 차선의 이탈, 차량 충돌 감지 등의 경보 기능이 있으며, 나아가, 주행 중 도로 내에 설치된 교통 표지판을 인식하여 운전자에게 해당 표지판에 대한 정보를 알려주는 표지판 인식 알고리즘이 차량의 전방카메라에 탑재되고 있다.
보다 구체적으로, 전방카메라를 이용하여 전방의 속도 표지판을 자동으로 인식하여 운전자에게 속도 제한 정보를 제공하는 TSR(Traffic Signal Recognition) 기술이 현재 상용화되어 있는데, 이러한 기존의 속도 표지판 인식 알고리즘의 경우, 기본적인 영상에서의 패턴 인식 알고리즘을 이용하여 표지판이 존재하는 영역을 검출하고, 검출된 영역에서 해당 표지판의 내용을 인지하여 주행 중인 차량이 해당 표지판을 통과할 때, 운전자에게 해당 표지판에 기재된 내용을 전달하는 일반적인 인식 성능을 구비하고 있다.
그러나, 표지판에 기재된 내용, 즉, 표지판에 기재된 숫자 또는 선의 모양 등이 정확하게 인식되지 않아 잦은 오류가 검출되고 있다. 따라서, 보다 정확한 표지판 인식 알고리즘의 필요성이 대두되었다.
WO 2013-052812 A1(2013년 04월 11일 공개)
전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량의 전방에 장착된 카메라를 이용하여 차량 전방에 있는 막대 형상의 표지판을 촬영하여 얻은 영상에 대해, 영상에서 연속적으로 등장하는 표지판을 추적하고, PCA(Principal Component Analysis)를 이용하여 대각선으로 기울어진 막대 형상의 표지판을 정확하게 검출할 수 있는 방법 및 장치를 제공함에 있다.
본 발명은 도로 표지판 인식 시스템에서 막대형 신호(bar-type sign)를 검출하는 방법을 제공하며, 본 방법은 도로 표지판이 포함된 영상정보로부터 도로 표지판을 검출하는 표지판 검출단계, 표지판 검출단계로부터 검출된 표지판에 대하여 인식영역을 설정하는 인식영역 설정 단계, 인식영역 설정 단계에서 설정된 인식영역 내의 모든 픽셀에 대하여 PCA(Principal Component Analysis) 알고리즘을 적용하고, 고유벡터(eigenvector)를 결정하는 PCA 연산처리단계, 및 고유벡터의 각도(α)를 결정하고, 결정된 각도의 편차(d)와 임계값(Pt)을 비교하여 막대형 신호 여부를 판단하는 막대형 신호 판단 단계를 포함할 수 있다.
여기서, 인식영역 설정 단계는, 검출된 표지판에 대하여 사각형(rectangular)의 인식영역을 설정할 수 있다.
PCA 연산처리 단계는 인식영역 내의 모든 픽셀들을 이진화(binarization)하는 단계, 이진화된 픽셀들의 평균(mean) 벡터를 계산하는 단계, 평균 벡터 값을 기준으로 공분산행렬(covaiance matrix)을 계산하는 단계, 및 공분산행렬에 대한 고유벡터(eigenvalue)를 산출하는 단계를 포함할 수 있다.
신호 판단 단계는. 고유벡터의 각도(α)를 결정하는 단계, 결정되는 각도(α)의 편차(d)를 계산하는 단계, 및 각도(α)의 편차(d)를 임계값(Pt)과 비교하여 막대형 신호를 판단하는 단계를 포함할 수 있다.
여기에서, 각도(α)의 편차(d)는 수학식
Figure pat00001
에 의해 구해지고, 편차(d)가 속도 무제한(end of speed limit) 신호를 검출하기 위해 설정된 임계값(Pt)보다 작으면, 속도 무제한(end of speed limit) 신호로 판단할 수 있다.
또한, 신호 판단 단계는 편차(d)와 임계값(Pt)의 차이의 범위에 따라 막대형 신호를 판단하는 단계 및 각각의 편차(d)와 임계값(Pt)의 차이의 범위에 해당하는 막대형 신호가 의미하는 교통 신호를 판단하는 단계를 더 포함할 수 있다.
표지판 검출 단계는 전방카메라를 통해 촬영된 차량의 전방 영상정보를 수신하는 단계, 전방 영상정보에서 객체 검출(object detection)을 이용하여 표지판을 검출하는 단계, 및 전방 영상정보에서 연속적으로 등장하는 표지판을 추적하여 오인식된 물체를 제거하는 단계를 포함할 수 있다.
또한, 신호 판단 단계에서, 막대형 신호로 판단되는 경우 판단되는 막대형 신호에 대응되는 교통 신호를 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 의하면, 본 발명은 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치를 제공하며, 본 장치는 카메라모듈로부터 도로 표지판이 포함된 영상정보를 수신하고, 영상정보로부터 도포 표지판을 검출하는 표지판 검출부, 표지판 검출부로부터 검출된 표지판에 대하여 막대형 신호 검출을 위한 인식영역을 설정하는 인식영역 설정부, 인식영역 설정부로부터 설정된 인식영역 내의 모든 픽셀에 대하여 PCA 알고리즘을 적용하고, 고유벡터(eigenvector)를 결정하는 PCA 연산처리부, 및 고유벡터의 각도(α)로부터 각도(α)의 편차(d)를 결정하고, 결정된 편차(d)와 임계값(Pt)을 비교하여 막대형 신호에 해당하는지 여부를 판단하는 신호 판단부를 포함할 수 있다.
또한, PCA 연산처리부는, 인식 영역내의 모든 픽셀을 반전(inversion), 이진화(binarization) 또는 정규화된 색좌표로 변환시키는 픽셀 변환부, 및 변환되는 픽셀들의 평균벡터를 계산하고, 평균벡터 값을 기준으로 공분산행렬(covaiance matrix)을 계산하고, 고유벡터(eigenvalue)를 산출하는 연산부를 포함할 수 있다.
또한, 신호 판단부는, 고유벡터의 각도(α)를 결정하고, 결정되는 각도(α)의 편차(d)를 계산하는 편차 산출부 및 각도(α)의 편차(d)를 임계값(Pt)과 비교하여 막대형 신호를 판단하는 막대형 신호 판단부를 포함할 수 있다.
편차 산출부는
Figure pat00002
(여기서 d는 편차, α는 고유벡터의 각도)를 이용하여 편차(d)를 계산하고, 막대형 신호 판단부는 편차(d)가 속도 무제한(end of speed limit) 신호를 판단하기 위해 미리 설정된 임계값(Pt)보다 작은 경우, 속도 무제한(end of speed limit) 신호로 판단할 수 있다.
또한, 신호 판단부로부터 막대형 신호가 판단되면, 판단되는 막대형 신호에 대응되는 교통신호를 출력하는 교통신호 출력부를 더 포함할 수 있다.
또한, 신호 판단부는 편차(d)와 임계값(Pt)의 차이의 범위에 따라 막대형 신호를 판단할 수 있으며, 각각의 편차(d)와 임계값(Pt)의 차이의 범위에 해당하는 막대형 신호가 의미하는 교통 신호를 저장하는 데이터베이스를 더 포함할 수 있다.
또한, 표지판 검출부는 영상 정보에서 객체 검출(object detection)을 이용하여 표지판을 검출하고, 상기 영상 정보에서 연속적으로 등장하는 표지판을 추적하여 오인식된 물체를 제거하도록 구성될 수 있다.
본 발명에 의하면, 차량의 전방을 촬영하여 얻은 도로영상으로부터 막대 형상의 표지판, 예를 들어, 속도 무제한(end of speed limit) 신호를 정확하게 검출할 수 있다.
또한, PCA 알고리즘을 이용하여 고유벡터의 주성분분석을 통해 표지판에서 검출된 막대형상의 기울어진 정도를 판단함으로써, 어떤 교통 신호 표지판인지 정확히 검출할 수 있다.
도 1은 본 발명의 일 실시예에 의한 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치의 구성을 나타내는 기능적 블록도이다.
도 2는 본 발명의 일 실시예에 의한 PCA 연산처리부의 구성을 나타내는 기능적 블록도이다.
도 3은 본 발명의 일 실시예에 의한 신호 판단부의 구성을 나타내는 기능적 블록도이다.
도 4는 본 발명의 일 실시예에 의한 인식영역이 설정된 표지판을 예시적으로 나타내는 도면이다.
도 5는 도 4의 표지판을 반전시킨 도면이다.
도 6은 본 발명의 일 실시예에 의한 임계값과의 비교를 통해 막대형 신호 판단을 수행하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 의한 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 의한 PCA 알고리즘을 통해 막대형 신호를 판단하는 방법을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 의한 막대형 신호 표지판들을 예시적으로 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에 따른 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 의한 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치의 구성을 나타내는 기능적 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치는 표지판 검출부(100), 인식영역 설정부(200), PCA 연산처리부(300), 신호 판단부(400), 신호 출력부(500) 및 데이터베이스(600)를 포함할 수 있다.
표지판 검출부(100)는 차량에 설치된 카메라를 통해 획득한 차량의 이동방향으로의 영상을 수신하고, 영상정보로부터 도로 표지판을 검출할 수 있다.
일 실시예에 의해, 표지판 검출부(100)는, 표지판에 대해 객체 검출(Object Detection)에 사용되는 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 사용하여 검출할 수 있다.
여기서, Adaptive Boosting 알고리즘은, 다수의 Strong Classifier가 Cascade 구조를 가지며, 입력 영상이 '표지판'인지 '비표지판'인지를 구분할 수 있다.
또한, Adaptive Boosting 알고리즘은, 실제 인식 대상의 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)을 이용하여 표지판 검출부(100)를 학습시키는 표지판 학습(Sample Training) 과정과, 전방 영상의 관심 영역(ROI)에 대해 스캔 윈도우 검사(Sacn-Window Search) 방식을 사용하여 입력으로 들어온 Sub-window가 실제 '표지판'인지 '비표지판'인지를 판단하는 스캔 윈도우 검사 과정을 수행할 수 있다.
또한, 표지판 영상(Positive Sample)은 추출한 영상에 1 픽셀(Pixel) 내지 2 픽셀의 마진 픽셀(Margin Pixel)을 추가한 후 20×20으로 Normalization한 것이고, 비표지판 영상(Negative Sample)은 표지판이 없는 영상에서 랜덤(Random)하게 추출한 것이며, 표지판 영상(Positive Sample)과 비표지판 영상(Negative Sample)에 대한 숫자 비율을 1:2로 하여 표지판 검출부(100)를 학습시킬 수 있다.
또한, 표지판 검출부(100)는 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)를 포함할 수 있다. 수평 검출기(Horizontal Detector)는 20×20으로 일반화(Normalization) 된 영상에서 가로 20, 세로 10으로 이루어진 부분만을 학습시킨 검출기를 의미할 수 있으며, 수직 검출기(Vertical Detector)는 20×20으로 일반화(Normalization) 된 영상에서 가로 10, 세로 20으로 이루어진 부분만을 학습시킨 검출기를 의미할 수 있다.
표지판 검출부(100)는, 수평 검출기(Horizontal Detector)와 수직 검출기(Vertical Detector)에 의해 오버랩(Overlap)이 발생된 영역을 실제 '표지판' 영역으로 검출할 수 있다.
또한, 표지판 검출부(100)는 추적부(미도시)를 포함할 수 있다. 추적부는 전방영상에서 연속적으로 등장하는 표지판을 추척하여 일시적으로 오인식한 물체를 제거할 수 있다.
또한, 추적부는, 표지판을 탬플릿 매칭(Template Matching) 기반으로 추적하며, 시간 t 영상에서 인식된 표지판의 내부를 탬플릿(template)으로 하여, 시간 t+1 영상에서 자차의 이동 속도에 근거해 관심 영역(ROI)을 제한하고, 제한된 관심 영역 내에서 표지판이 있을 경우에 추적 내용을 업데이트하고, 표지판이 없을 경우에 이전 상태를 유지할 수 있다.
인식영역 설정부(200)는 표지판 검출부(100)로부터 검출된 표지판에 대하여 인식영역을 설정할 수 있다.
인식영역 설정부(200)는 표지판의 내부에 인식영역, 예를 들어 직사각형(rectangle)모양의 인식영역을 설정할 수 있다.
도 4는 본 발명의 일 실시예에 의한 인식영역(40)이 설정된 표지판을 예시적으로 나타내는 도면이다.
도 4는 표지판 검출부(100)로부터 검출된 막대형 신호 표지판(10)으로서, 속도 무제한(end of speed limit) 신호 표지판(10)을 도시하고 있다.
속도 무제한 신호 표지판은 고속 도로 내에서 자동차의 주행 속도를 제한하지 않는다는 의미가 담긴 표지판으로서, 도 9는 다양한 나라들에서 통용되고 있는 속도 무제한 신호 표지판에 대하여 도시하고 있다.
도 9를 참조하면, 세계적으로 속도 무제한 신호 표지판은 조금씩 다른 디자인을 차용하고 있지만, 공통적으로 막대형 표식을 차용하고 있다. 보다 구체적으로 살펴보면, 원형 표지판을 기준으로 왼쪽 하단에서부터 오른쪽 하단으로 연결되는 대각선의 막대형 라인을 표시하고 있다. 즉, 원점을 기점으로 하여, x축 및 y축 방향으로 ±45°각도의 대각선 라인을 표시하고 있다.
도 4에 도시된 바와 같이, 인식영역 설정부(200)에서는 표지판(10)에 인식영역(40)을 설정함으로써, 집중적으로 표지판(10)을 분석하여 표지판(10)의 내부에 표시된 교통 신호를 정확하고 빠르게 검출할 수 있도록 할 수 있다.
도 2는 본 발명의 일 실시예에 의한 PCA 연산처리부(300)의 구성을 나타내는 기능적 블록도이다.
PCA 연산처리부(300)는 인식영역(40)에 대하여 PCA알고리즘을 적용함으로써, 인식영역 부분의 교통 신호를 정확히 인지할 수 있도록 할 수 있다. 보다 구체적으로, PCA 연산처리부(300)는 PCA 알고리즘을 통해 인식영역(40)에서 검출되는 실루엣의 고유벡터(eigenvector)를 결정할 수 있다.
PCA(Principal Component Analysis)는 분포된 데이터들의 주성분(Principal Component)를 찾아주는 방법이다. PCA는 데이터 하나 하나에 대한 성분을 분석하는 것이 아니라, 여러 데이터들이 모여 하나의 분포를 이룰 때 이 분포의 주 성분을 분석해 주는 방법이다. 여기서 주성분이라 함은 그 방향으로 데이터들의 분산이 가장 큰 방향벡터를 의미한다.
PCA는 2차원 데이터 집합에 대해 PCA를 수행하면 2개의 서로 수직인 주성분 벡터를 반환하고, 3차원 점들에 대해 PCA를 수행하면 3개의 서로 수직인 주성분 벡터들을 반환한다. 예를 들어 3차원 데이터의 경우는 아래 그림과 같이 3개의 서로 수직인 주성분 벡터를 찾아준다.
PCA 연산처리부(300)는 픽셀 변환부 및 연산부(320)를 포함할 수 있다.
픽셀 변환부는 인식영역내의 모든 픽셀을 반전(inversion), 이진화(binarization) 또는 정규화된 색좌표로 변환시킬 수 있다. 즉, 도로 표지판이 RGB, Gray, Batyer 등으로 이루어진 경우에도 인식영역 내의 픽셀을 분석이 용이하도록 변환시킬 수 있다.
이진화(binarization)영상이란 모든 픽셀을 오로지 흑과 백으로만 표현하는 영상이다. 즉, 0과1 즉 완전한 흑과 백으로만 밝기를 표현한 영상을 의미한다.
회색조(그레이스케일,grayscale) 영상은 256 단계의 밝기만을 표현해서 나타낸 영상이다.
즉, 픽셀 변환부는 인식영역내의 픽셀 변환을 통해 막대형의 실루엣과 배경을 분리할 수 있다. 도로 표지판은 2차원 영상이므로, 인식영역 내의 픽셀은 x, y의 좌표를 갖는다.
도 5는 도 4의 표지판을 반전시킨 도면이다.
도 5를 참조하면, 도 4에서 검출된 표지판이 반전됨으로 인하여 막대형의 표시, 즉 대각선 표시 부분이 밝게 표시되었음을 확인할 수 있다.
연산부(320)는 이처럼 변환된 픽셀들에 대하여 평균벡터를 계산하고, 평균벡터 값을 기준으로 공분산행렬(covariance matrix)을 계산하고, 고유벡터를 산출할 수 있다.
x와 y의 공분산(covariance)은 수학식1에 의하여 정의될 수 있다.
[수학식 1]
Figure pat00003
여기서, mx 는 x 값들의 평균, my E[a]는 a의 평균값을 나타낸다.
x의 분산은 x들이 평균을 중심으로 얼마나 흩어져 있는지를 나타내고, x와 y의 공분산은 x, y의 흩어진 정도가 얼마나 서로 상관관계를 가지고 흩어졌는지를 나타낸다. 예를 들어, x와 y 각각의 분산은 일정한데 x가 mx보다 클때 y도 my보다 크면 공분산은 최대가 되고, x가 mx보다 커질때 y는 my보다 작아지면 공분산은 최소(음수가 됨)가 되며, 서로 상관관계가 없으면 공분산은 0이 된다.
공분산 행렬(covariance matrix)이란 데이터의 좌표 성분들 사이의 공분산 값을 원소로 하는 행렬로서 데이터의 i번째 좌표 성분과 j번째 좌표 성분의 공분산 값을 행렬의 i행 j열 원소값으로 하는 행렬이다.
공분산행렬은 수학식 2에 의하여 계산될 수 있다.
[수학식 2]
Figure pat00004
여기서, n은 픽셀의 수를 나타낸다.
고유벡터(eigenvector)는 수학식 3에 의하여 계산될 수 있다.
[수학식 3]
Figure pat00005
여기서, λ는 고유값(eigenvalue)이고,
Figure pat00006
는 고유벡터(eigenvetor)를 나타낸다.
수학식 3에서 계산되는 고유벡터는 주성분 벡터로서 픽셀들의 분포에서 분산이 큰 방향을 나타내고, 대응되는 고유값(eigenvalue)이 그 분산의 크기를 나타낸다.
즉, 연산부(320)를 통해 고유벡터를 도출하기까지의 과정을 살피면, 도 5 부분의 밝게 표시된 대각선(50)부분은 어두운 배경에 비하여 상대적으로 높은 가중치로 나타나게 된다.
즉, 고유벡터로 도출되는 값은 대각선을 이루는 픽셀들의 벡터값과 유사한 방향으로 도출됨을 의미할 수 있다.
따라서, 연산부(320)를 통해 도출되는 고유벡터를 통해, 표지판에 표시된 막대형 표시(도 5에서는 대각선)의 기울임정도를 확인할 수 있다.
도 3은 본 발명의 일 실시예에 의한 신호 판단부(400)의 구성을 나타내는 기능적 블록도이다.
신호 판단부(400)는 편차 산출부(410) 및 막대형 신호 판단부(420)를 포함할 수 있다.
편차 산출부(410)는 고유벡터의 각도(α)를 결정하고, 결정되는 각도(α)의 편차(d)를 계산할 수 있다,
도 6은 본 발명의 일 실시예에 의한 막대형 신호 판단부(420)의 임계값과의 비교를 통해 막대형 신호 판단을 수행하는 것을 설명하기 위한 도면이다.
도 6에서는 표지판의 인식영역 내에서 계산된 고유벡터를 확인할 수 있다. 화살표로 표시된 직선이 고유벡터를 나타내며, 고유벡터의 각도는 x축과 이루는 각을 통해 확인할 수 있다. 본 명세서에서는 예시적으로 α라고 칭하도록 한다.
임계값(Pt)은 막대형 신호가 특정 교통 신호를 나타내는지 판단하기 위하여 미리 설정될 수 있는 값이다.
본 발명의 일 실시예에서는 속도 무제한 신호를 예시로 들었으며, 이에 한정되는 것은 아니다.
속도 무제한 신호는 원형의 표지판(10)의 중심을 원점으로 보아 좌표의 1사분면 및 3사분면에 대하여 약±45°의 각을 가진다.
이러한 경우, 임계값(Pt)은 약±45°의 각에서 과도하게 벗어나지 않도록 오차값을 감안하여 설정될 수 있다.
이 때, 각도의 편차는 수학식 4에 의하여 계산될 수 있다.
[수학식 4]
Figure pat00007
상기 편차(d)가 속도 무제한 신호를 검출하기 위해 설정된 임계값(Pt)보다 작으면, 속도 무제한 신호로 판단할 수 있다.
임계값(Pt)을 벗어나는 경우에는 미리 약속된 속도 무제한 신호의 표식을 넘어서는 것이므로, 속도 무제한 신호로 판단할 수 없다.
본 발명의 다른 실시예에 따라, 임계값(Pt)보다 큰 편차(d)를 갖도록 기울어진 막대형의 교통 신호 표지판이 존재하는 경우, 임계값(Pt)을 벗어나는 범위를 정할 수 있다. 또한, 범위마다 상이한 교통 신호 표지판이 판단되도록 할 수 있다.
예를 들어, 원형 표지판에 180°의 각도로 형성된 정지 표지판의 경우, 임계값(Pt)을 벗어난 범위, 즉, 정지 표지판이 검출되는 범위가 x축 부근에서 형성되도록 설정할 수 있다.
또한, 구현예에 따라, 도 6과 관련하여 설명된 본 발명의 일 실시예에 따른 막대형 신호 판단을 위한 방식은 대각선 막대형 교통 신호뿐만 아니라 상이한 각도(예를 들어, 수평 막대 형상, 수직 막대 형상 등)로 형성된 교통 신호를 검출하는데 이용될 수 있다. 예를 들어, 수평 막대 형상의 교통 신호를 검출하는 경우는 수학식 4에서의 45° 대신에 180°가 적용될 수 있으며, 수직 막대 형상의 교통 신호를 검출하는 경우는 수학식 4에서의 45° 대신에 90°가 적용될 수 있다.
신호 출력부(500)는 신호 판단부(400)로부터 판단된 신호를 출력할 수 있다.
신호 출력부(500)는 스피커, 디스플레이, 진동 등 사용자에게 신호를 알릴 수 있는 모든 수단을 포함할 수 있다.
데이터베이스(600)는 막대형 신호를 판단하기 위한 임계값(Pt) 및 임계값(Pt)을 벗어난 편차가 해당되는 범위에 대한 정보를 저장할 수 있다.
즉, 본 발명의 일 실시예에 의한 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치를 통해, PCA 알고리즘을 이용하여 계산된 고유벡터의 각도를 확인함으로써 정확한 막대형 신호를 검출할 수 있다.
도 7은 본 발명의 일 실시예에 의한 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 방법을 나타내는 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 방법은 영상정보로부터 도로 표지판을 검출하는 단계(S10), 도로 표지판에 대하여 인식 영역을 설정하는 단계(S20), PCA 연산처리를 통해 도로 표지판의 고유벡터를 결정하는 단계(S30), 속도 무제한 신호를 판단하는 단계(S40) 및 속도 무제한 신호를 출력하는 단계(S50)를 포함할 수 있다.
표지판 검출 단계(S10(는 전방카메라를 통해 촬영된 차량의 전방 영상정보를 수신하는 단계, 전방 영상정보에서 객체 검출(object detection)을 이용하여 표지판을 검출하는 단계, 및 전방 영상정보에서 연속적으로 등장하는 표지판을 추적하여 오인식된 물체를 제거하는 단계를 포함할 수 있다.
인식영역 설정 단계(S20)는, 검출된 표지판에 대하여 사각형(rectangular)의 인식영역을 설정할 수 있다. 인식영역은 사각형에 구애되지 않으며, 다양항 형상으로 설정될 수 있다.
PCA 연산처리 단계(S30)는 인식영역 내의 모든 픽셀들을 이진화(binarization)하는 단계, 이진화된 픽셀들의 평균(mean) 벡터를 계산하는 단계, 평균 벡터 값을 기준으로 공분산행렬(covaiance matrix)을 계산하는 단계, 및 공분산행렬에 대한 고유벡터(eigenvalue)를 산출하는 단계를 포함할 수 있다.
신호 판단 단계(S40)는. 고유벡터의 각도(α)를 결정하는 단계, 결정되는 각도(α)의 편차(d)를 계산하는 단계, 및 각도(α)의 편차(d)를 임계값(Pt)과 비교하여 막대형 신호를 판단하는 단계를 포함할 수 있다.
여기에서, 각도(α)의 편차(d)는 수학식
Figure pat00008
에 의해 구해지고, 편차(d)가 속도 무제한(end of speed limit) 신호를 검출하기 위해 설정된 임계값(Pt)보다 작으면, 속도 무제한(end of speed limit) 신호로 판단할 수 있다.
또한, 신호 판단 단계(S40)는 편차(d)와 임계값(Pt)의 차이의 범위에 따라 막대형 신호를 판단하는 단계 및 각각의 편차(d)와 임계값(Pt)의 차이의 범위에 해당하는 막대형 신호가 의미하는 교통 신호를 판단하는 단계를 더 포함할 수 있다.
S 30 내지 S40의 단계는 도 8을 통해 더 자세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 의한 PCA 알고리즘을 통해 막대형 신호를 판단하는 방법을 나타내는 순서도이다. 도 8은 막대형 신호 중에서도 속도 무제한 신호를 예시적으로 들었으나, 이에 한정되는 것은 아니며, 교통 신호는 임계값(Pt)과 편차(d)의 차이에 따라 결정될 수 있다.
도 8에 도시된 바와 같이, PCA 알고리즘을 통해 막대형 신호를 판단하는 방법은 인식영역 내의 모든 픽셀을 이진화하는 단계(S301), 이진화된 픽셀들의 평균 벡터를 계산하는 단계(S302), 공분산행렬을 계산하는 단계(S303), 공분산행렬에 대한 고유벡터를 산출하는 단계(S304), 고유벡터의 각도(α)로부터 각도의 편차(d)를 산출하는 단계(S305), 각도의 편차(d)와 임계값(Pt)을 비교하는 단계(S306) 및 각도의 편차(d)가 임계값(Pt)보다 작은 경우 속도 무제한 신호로 판단하는 단계(S307)를 포함할 수 있다.
인식영역 내의 모든 픽셀을 이진화하는 단계(S301)는 반전 또는 정규화된 색좌표로 변환시키는 단계로 치환될 수 있다.
즉, 이러한 PCA를 이용한 알고리즘을 통해 고유벡터 및 그 각도로써 막대형 교통신호들을 정확하게 검출할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 표지판 검출부 200 : 인식영역 설정부
300 : PCA 연산처리부 400 : 신호 판단부
500 : 신호 출력부 600 : 데이터베이스
310 : 픽셀 변환부 320 : 연산부
410 : 편차 산출부 420 : 막대형 신호 판단부

Claims (8)

  1. 도로 표지판 인식 시스템에서 막대형 신호(bar-type sign)를 검출하는 장치에 있어서,
    카메라모듈로부터 도로 표지판이 포함된 영상정보를 수신하고, 상기 영상정보로부터 도포 표지판을 검출하는 표지판 검출부;
    상기 표지판 검출부로부터 검출된 표지판에 대하여 막대형 신호 검출을 위한 인식영역을 설정하는 인식영역 설정부;
    상기 인식영역 설정부로부터 설정된 인식영역 내의 모든 픽셀에 대하여 PCA 알고리즘을 적용하고, 고유벡터(eigenvector)를 결정하는 PCA 연산처리부;및
    상기 고유벡터의 각도(α)로부터 각도(α)의 편차(d)를 결정하고, 결정된 편차(d)와 임계값(Pt)을 비교하여 막대형 신호에 해당하는지 여부를 판단하는 신호 판단부;
    를 포함하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  2. 제 1항에 있어서, 상기 PCA 연산처리부는,
    상기 인식 영역내의 모든 픽셀을 반전(inversion), 이진화(binarization) 또는 정규화된 색좌표로 변환시키는 픽셀 변환부; 및
    상기 변환되는 픽셀들의 평균벡터를 계산하고, 상기 평균벡터 값을 기준으로 공분산행렬(covaiance matrix)을 계산하고, 상기 고유벡터(eigenvalue)를 산출하는 연산부;
    를 포함하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  3. 제 1항에 있어서, 상기 신호 판단부는,
    상기 고유벡터의 각도(α)를 결정하고, 상기 결정되는 각도(α)의 편차(d)를 계산하는 편차 산출부; 및
    상기 각도(α)의 편차(d)를 임계값(Pt)과 비교하여 막대형 신호를 판단하는 막대형 신호 판단부;
    를 포함하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  4. 제 3항에 있어서,
    상기 편차 산출부는 아래 수학식을 통해 편차(d)를 계산하고
    Figure pat00009
    (여기서 d는 편차, α는 고유벡터의 각도),
    상기 막대형 신호 판단부는 상기 편차(d)가 속도 무제한(end of speed limit) 신호를 판단하기 위해 미리 설정된 임계값(Pt)보다 작은 경우, 속도 무제한(end of speed limit) 신호로 판단하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  5. 제 3항에 있어서,
    상기 신호 판단부로부터 막대형 신호가 판단되면, 상기 판단되는 막대형 신호에 대응되는 교통신호를 출력하는 신호 출력부;
    를 더 포함하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  6. 제 3항에 있어서,
    편차(d)와 임계값(Pt)의 차이의 범위에 따라, 상기 각각의 편차(d)와 임계값(Pt)의 차이의 범위에 해당하는 막대형 신호가 의미하는 교통신호를 저장하는 데이터베이스; 를 더 포함하고,
    상기 신호 판단부는,
    상기 편차(d)와 임계값(Pt)의 차이의 범위에 따라 막대형 신호의 의미를 판단하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  7. 제 1항에 있어서,
    상기 표지판 검출부는,
    상기 영상정보에서 객체 검출(object detection)을 이용하여 표지판을 검출하고, 상기 영상정보에서 연속적으로 등장하는 표지판을 추적하여 오인식된 물체를 제거하도록 추가적으로 구성되는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치.
  8. 도로 표지판 인식 시스템에서 막대형 신호(bar-type sign)를 검출하는 방법에 있어서,
    도로 표지판이 포함된 영상정보로부터 도로 표지판을 검출하는 표지판 검출단계;
    상기 표지판 검출단계로부터 검출된 표지판에 대하여 인식영역을 설정하는 인식영역 설정 단계;
    상기 인식영역 설정 단계에서 설정된 인식영역 내의 모든 픽셀에 대하여 PCA(Principal Component Analysis) 알고리즘을 적용하고, 고유벡터(eigenvector)를 결정하는 PCA 연산처리단계;및
    상기 고유벡터의 각도(α)를 결정하고, 결정된 각도의 편차(d)와 임계값(Pt)을 비교하여 막대형 신호 여부를 판단하는 신호 판단 단계;
    를 포함하는, 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 방법.

KR1020160052769A 2015-04-29 2016-04-29 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 KR101772438B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015207903.1A DE102015207903A1 (de) 2015-04-29 2015-04-29 Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102015207903.1 2015-04-29

Publications (2)

Publication Number Publication Date
KR20160128930A true KR20160128930A (ko) 2016-11-08
KR101772438B1 KR101772438B1 (ko) 2017-08-30

Family

ID=57135833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052769A KR101772438B1 (ko) 2015-04-29 2016-04-29 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법

Country Status (3)

Country Link
US (1) US9805277B2 (ko)
KR (1) KR101772438B1 (ko)
DE (1) DE102015207903A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684815A (zh) * 2018-12-13 2019-04-26 珍岛信息技术（上海）股份有限公司 一种可自我学习的验证码识别方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001763B1 (ko) * 2018-01-02 2019-07-18 창원대학교 산학협력단 영상처리 기반의 속도표지판 인식 방법 및 장치
KR20200069084A (ko) * 2018-12-06 2020-06-16 팅크웨어(주) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP2022030901A (ja) * 2020-08-07 2022-02-18 富士通株式会社 円型標識候補抽出装置及びプログラム
CN112367292B (zh) * 2020-10-10 2021-09-03 浙江大学 一种基于深度字典学习的加密流量异常检测方法
CN112818956A (zh) * 2021-03-19 2021-05-18 张秀霞 一种智慧交通数据采集系统及其采集方法
US20220392188A1 (en) * 2021-04-27 2022-12-08 ARETé ASSOCIATES Systems and methods for estimating visibility in a scene

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013052812A1 (en) 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445739B1 (ko) 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
KR101463836B1 (ko) 2013-01-31 2014-11-20 (주)베라시스 고유벡터를 통한 움직임 판별방법
KR20150029122A (ko) 2013-09-09 2015-03-18 현대모비스 주식회사 도로 내 표지판 인식 장치 및 그 방법
KR101569919B1 (ko) 2013-10-30 2015-11-17 인하대학교 산학협력단 차량의 위치 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013052812A1 (en) 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684815A (zh) * 2018-12-13 2019-04-26 珍岛信息技术（上海）股份有限公司 一种可自我学习的验证码识别方法

Also Published As

Publication number Publication date
US20160321510A1 (en) 2016-11-03
DE102015207903A1 (de) 2016-11-03
KR101772438B1 (ko) 2017-08-30
US9805277B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
KR101772438B1 (ko) 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법
US10025998B1 (en) Object detection using candidate object alignment
CN109034047B (zh) 一种车道线检测方法及装置
US10145951B2 (en) Object detection using radar and vision defined image detection zone
Yuan et al. Robust traffic sign recognition based on color global and local oriented edge magnitude patterns
US9053372B2 (en) Road marking detection and recognition
US9092695B1 (en) High-accuracy real-time road sign detection from images
US6801244B2 (en) Obstacle detection apparatus and method
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
US10878259B2 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
JPWO2009072507A1 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
US20090110286A1 (en) Detection method
US20150178922A1 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
JP2007310706A (ja) 車両周辺監視装置
Arróspide et al. HOG-like gradient-based descriptor for visual vehicle detection
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Muljowidodo et al. Vision based distance measurement system using single laser pointer design for underwater vehicle
Kadow et al. Radar-vision based vehicle recognition with evolutionary optimized and boosted features
Gao et al. Vehicle detection based on color and edge information
US9727780B2 (en) Pedestrian detecting system
CN112926463A (zh) 一种目标检测方法和装置
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
US10210414B2 (en) Object detection system and computer program product
CN103136536A (zh) 对象检测系统和方法、图像的特征提取方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant