KR20150082823A - 교통 표지판 탐지 방법 및 장치 - Google Patents

교통 표지판 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20150082823A
KR20150082823A KR1020140002243A KR20140002243A KR20150082823A KR 20150082823 A KR20150082823 A KR 20150082823A KR 1020140002243 A KR1020140002243 A KR 1020140002243A KR 20140002243 A KR20140002243 A KR 20140002243A KR 20150082823 A KR20150082823 A KR 20150082823A
Authority
KR
South Korea
Prior art keywords
sign
area
image
signboard
vehicle
Prior art date
Application number
KR1020140002243A
Other languages
English (en)
Other versions
KR101936108B1 (ko
Inventor
조영하
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020140002243A priority Critical patent/KR101936108B1/ko
Publication of KR20150082823A publication Critical patent/KR20150082823A/ko
Application granted granted Critical
Publication of KR101936108B1 publication Critical patent/KR101936108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

교통 표지판 탐지 방법 및 장치가 개시되어 있다. 차량에서 표지판을 인식하는 방법은 차량에 구비된 카메라로부터 획득된 영상에 대한 전처리를 수행하는 단계, 전처리를 수행한 영상에서 상기 표지판을 탐색하는 단계, 탐색된 표지판에 대한 정보를 기반으로 표지판에 포함된 정보를 인식하는 단계, 차량의 이동에 따라 표지판을 트래킹하는 단계와 트래킹 결과를 기반으로 차량에 대한 최종 표지판을 결정하는 단계를 포함할 수 있다.

Description

교통 표지판 탐지 방법 및 장치{Method and apparatus for detecting traffic sign}
본 발명은 영상 처리 방법에 관한 것으로써 보다 상세하게는 표지판에 대한 정보를 획득하는 방법 및 장치에 관한 것이다.
지능형 자동차에는 운전자의 안전과 편의를 제공하는 목적으로 카메라를 이용한 DAS(Driver Assistance System), LDWS(Lane Detection Warning System), HBA(High Beam Assist), FCW(Forward Collision Warning) 등과 같은 시스템들이 적용되고 있다.
이러한 지능형 자동차에 컴퓨터 비전 시스템이 응용된 기술은 카메라를 통한 자동차 주변 정보를 종합, 처리, 응용하는 목적이 있으며 그 결과 차선 이탈 경보, 차간 거리유지 시스템, 보행자 인식 시스템, 주차 보조 시스템, 교통 표지판 인식 등의 많은 어플리케이션이 있다.
이 중에서 교통 표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이나 다른 기술에 비해 발전이 많이 이뤄지지 않았다. 교통 표지판 인식은 여러 종류의 표지판을 대상으로 할 수 있으나 그 중에서 속도 제한 표지판 인식에 대한 연구가 그 중요성에 비해 상대적으로 적다.
기존 연구 결과, 교통 표지판 형태에 따라 삼각형, 원형(속도 제한 표지판 제외) 표지판의 경우 인식률이 상당히 높은데 반하여 속도 제한 표지판의 경우 상대적으로 낮은 인식률을 보이는 문제점이 있었다.
본 발명의 제1 목적은 교통 표지판을 탐지하는 방법을 제공하는 것이다.
본 발명의 제2 목적은 교통 표지판을 탐지하는 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 차량에서 표지판을 인식하는 방법은 상기 차량에 구비된 카메라로부터 획득된 영상에 대한 전처리를 수행하는 단계, 상기 전처리를 수행한 영상에서 상기 표지판을 탐색하는 단계, 상기 탐색된 표지판에 대한 정보를 기반으로 상기 표지판에 포함된 정보를 인식하는 단계, 상기 차량의 이동에 따라 상기 표지판을 트래킹하는 단계와 상기 트래킹 결과를 기반으로 상기 차량에 대한 최종 표지판을 결정하는 단계를 포함할 수 있다. 상기 전처리를 수행하는 단계는 상기 영상에서 상기 표지판을 인식할 관심 영역을 설정하는 단계, 상기 관심 영역에서 에지 탐색를 수행하여 수평 그레디언트 영상 및 수직 그레디언트 영상을 획득하는 단계, 상기 수평 그레디언트 영상 및 상기 수직 그레디언트 영상에 대해 방사 대칭(radial symmetry) 알고리즘을 수행하여 S-맵(map)을 생성하는 단계, 상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하는 단계를 포함할 수 있되, 상기 관심 영역은 상기 표지판이 설치되는 영역으로 설정될 수 있다. 상기 에지 탐색은 수평 소벨 연산자 및 수직 소벨 연산자를 기반으로 수행될 수 있다. 상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하는 단계는 상기 방사 대칭 알고리즘을 수행하여 산출된 결과의 최대값을 기준으로 상기 상기 S 맵을 이진화하고 상기 이진화된 S-맵을 기반으로 상기 라벨링을 수행하는 단계일 수 있다. 상기 전처리를 수행한 영상에서 표지판을 탐색하는 단계는 상기 표지판의 특징 정보를 학습하여 수평 방향 탐색기 및 수직 방향 탐색기를 산출하는 단계와 상기 수평 방향 탐색기를 기반으로 수평 방향 탐색을 수행하여 결정된 제1 표지판 영역과 상기 수직 방향 탐색기를 기반으로 수직 방향 탐색을 수행하여 결정된 제2 표지판 영역이 중첩되는 영역을 표지판 영역으로 결정하는 단계를 포함할 수 있다. 상기 표지판에 포함된 정보를 인식하는 단계는 상기 표지판에 포함되는 정보 중 100의 자리의 상단 영역인 제1 영역, 10의 자리의 상단 영역인 제2 영역 및 상기 제1 영역과 상기 제2 영역의 하단 영역인 제3 영역에서 특징 정보를 산출하는 단계와 상기 특징 정보와 학습된 표지판의 특징 정보를 비교하여 상기 표지판에 포함된 정보를 인식하는 단계를 포함할 수 있다. 상기 특징 정보는 상기 탐색된 표지판 영역을 일정한 크기로 정규화하고 상기 일정한 크기로 정규화된 표지판 영역의 픽셀을 정규화된 회색값으로 전환하여 상기 특징 정보를 산출할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 차량에서 표지판을 인식하는 표지판 인식 장치에 있어서, 상기 표지판 인식 장치는 프로세서를 포함하고, 상기 프로세서는 상기 차량에 구비된 카메라로부터 획득된 영상에 대한 전처리를 수행하고, 상기 전처리를 수행한 영상에서 상기 표지판을 탐색하고, 상기 탐색된 표지판에 대한 정보를 기반으로 상기 표지판에 포함된 정보를 인식하고, 상기 차량의 이동에 따라 상기 표지판을 트래킹하고, 상기 트래킹 결과를 기반으로 상기 차량에 대한 최종 표지판을 결정하도록 구현될 수 있다. 상기 프로세서는 상기 영상에서 상기 표지판을 인식할 관심 영역을 설정하고 상기 관심 영역에서 에지 탐색를 수행하여 수평 그레디언트 영상 및 수직 그레디언트 영상을 획득하고, 상기 수평 그레디언트 영상 및 상기 수직 그레디언트 영상에 대해 방사 대칭(radial symmetry) 알고리즘을 수행하여 S-맵(map)을 생성하고, 상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하도록 구현될 수 있되, 상기 관심 영역은 상기 표지판이 설치되는 영역으로 설정될 수 있다. 상기 에지 탐색은 수평 소벨 연산자 및 수직 소벨 연산자를 기반으로 수행될 수 있다. 상기 프로세서는 상기 방사 대칭 알고리즘을 수행하여 산출된 결과의 최대값을 기준으로 상기 상기 S 맵을 이진화하고 상기 이진화된 S-맵을 기반으로 상기 라벨링을 수행하도록 구현될 수 있다. 상기 프로세서는 상기 표지판의 특징 정보를 학습하여 수평 방향 탐색기 및 수직 방향 탐색기를 산출하고 상기 수평 방향 탐색기를 기반으로 수평 방향 탐색을 수행하여 결정된 제1 표지판 영역과 상기 수직 방향 탐색기를 기반으로 수직 방향 탐색을 수행하여 결정된 제2 표지판 영역이 중첩되는 영역을 표지판 영역으로 결정하도록 구현될 수 있다. 상기 프로세서는 상기 표지판에 포함되는 정보 중 100의 자리의 상단 영역인 제1 영역, 10의 자리의 상단 영역인 제2 영역 및 상기 제1 영역과 상기 제2 영역의 하단 영역인 제3 영역에서 특징 정보를 산출하고, 상기 특징 정보와 학습된 표지판의 특징 정보를 비교하여 상기 표지판에 포함된 정보를 인식하도록 구현될 수 있다. 상기 특징 정보는 상기 탐색된 표지판 영역을 일정한 크기로 정규화하고 상기 일정한 크기로 정규화된 표지판 영역의 픽셀을 정규화된 회색값으로 전환하여 상기 특징 정보를 산출될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 교통 표지판 탐지 방법 및 장치를 사용하는 경우 획득된 영상에 대해 전처리를 수행함으로써 차량에서 교통 표지판에 대한 정보를 빠르고 정확하게 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 교통 표지판 인식 방법을 나타낸 순서도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 영상 전처리 방법을 나타낸 개념도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 영상 탐지(detection) 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 탐색 단계에서 온라인 탐지를 수행하는 방법을 나타낸 개념도이다.
도 6 및 도 7는 본 발명의 실시예에 따른 영상 인식(recognition) 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 트래킹 방법을 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따른 교통 표지판 탐지 장치를 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
TSR(Traffic Sign Recognition) 시스템은 차량(예를 들어, 차량 내부 윈드 쉴드)에 장착된 카메라를 이용하여 전방의 교통 표지판을 인식(recognition)하여, 운전자에게 현재 제한 속도, 최저 속도, 기타 도로 정보를 알려줄 수 있다. 본 발명의 실시예에서는 표지판 후보군에 대한 전처리를 수행하여 실시간(Real-time)으로 표지판을 인식하는 방법에 대해 개시한다.
도 1은 본 발명의 실시예에 따른 교통 표지판 인식 방법을 나타낸 순서도이다.
도 1을 참조하면, 표지판 탐지는 카메라로 영상을 입력받을 수 있다(단계 S100).
표지판 탐지를 수행하기 위해 차량은 차량에 구비된 카메라로 전방의 영상을 촬상하여 촬상된 영상 정보를 표지판을 탐지하기 위한 영상 처리 장치로 전송할 수 있다.
입력된 영상에 대한 전처리를 수행한다(단계 S110).
본 발명의 실시예에 따르면, 방사 대칭(radial symmetry) 알고리즘을 기반으로 원형 물체가 존재하는 영역을 탐지하는 전처리(pre-processing)를 실시한다. 기존의 영상 처리 방법에서는 관심 영역(ROI, region of interest) 전체에서 표지판을 탐지하였기 때문에, 연산 시간이 오래 걸리는 단점이 있었다. 하지만, 본 발명에서는 단계 S110과 같은 전처리 과정을 통하여 관심 영역에 방사 대칭 알고리즘을 적용하여 영상에서 원형 물체가 존재하는 영역을 대략적으로 분할(Segmentation)할 수 있다. 이렇게 분할된 영역만 단계 S120의 표지판을 탐지하는 단계로 입력되는 경우, 영상을 처리하는 시간이 단축될 수 있다. 전처리 과정에 대해서는 이하, 본 발명의 실시예에서 상술한다.
표지판을 탐지한다(단계 S120).
전처리를 수행한 영상 영역에서 학습 기반의 알고리즘을 사용하여 표지판에 대한 탐지를 수행할 수 있다. 예를 들어, 오프-라인(off-line)에서 기학습된 Haar-feature기반의 아다부스트(adaboost)를 이용하여 전처리를 수행한 영상 영역에서 실제의 표지판을 탐지한다. 표지판 탐지 과정에 대해서는 이하, 본 발명의 실시예에서 상술한다.
표지판의 내용을 인식한다(단계 S130).
단계 S120을 통해 실제 표지판이 탐지되면 RBF(radial basis function) 커널(kernel) 기반의 멀티-SVM(multi-SVM)을 사용하여 현재 탐지된 표지판에 개시된 실제 제한 속도가 얼마인지 인식할 수 있다.
인식된 표지판에 대한 트래킹을 수행한다(단계 S140).
인식된 표지판에 대하여 다수의 프레임을 트래킹(tracking)하여 표지판에 대한 신뢰도를 향상한다. 트래킹을 수행함으로써 차량이 이동하면서 연속적으로 촬영된 영상을 기반으로 획득된 영상이 정확한지 여부를 판단할 수 있다.
트래킹은 인식된 표지판의 신뢰도 향상 및 일시적인 노이즈를 제거하기 위하여 사용될 수 있다. 예를 들어, 트래킹 기법으로는 템플릿 매칭(Template Matching) 기반의 방법이 사용될 수 있다. 시간 t에서 획득된 영상에서 인식된 표지판의 내부가 템플릿으로 사용될 수 있다. 시간 t+1에서 획득된 영상에서는 차량의 이동 속도를 고려하여 ROI를 제한할 수 있다. 제한된 ROI 내에서 표지판이 있을 경우 트래커는 업데이트되고 표지판이 없을 경우 이전 상태를 유지할 수 있다.
최종적으로 표지판 인식 결과를 산출한다(단계 S150).
차량이 표지판을 지나가고 난 후 인식된 표지판에 대한 최종 인식 결과를 산출할 수 있다. 차량의 요 레이트(yaw rate), 차선 인식 결과 등을 이용하여 실제 차량이 인식한 표지판의 최종 인식 결과를 결정한다. 예를 들어, 표지판이 일정한 프레임(예를 들어, 3 프레임(100ms))이상 트래킹(tracking) 되지 않을 경우 차량이 현재 인식 중이던 표지판을 지나갔다고 판단할 수 있다. 이러한 경우, 트래킹(tracking)을 종료하고 최종 표지판 결정 단계를 수행할 수 있다. 예를 들어, 최종적으로 인식된 표지판 인식 결과를 산출하기 위해서는 트래킹을 종료한 대상에 대하여 SVM(support vector machine) 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률 값을 가지는 표지판을 최종 결과로 결정할 수 있다.
이하, 본 발명의 실시예에서는 도 1에서 개시한 표지판 인식 방법의 각각의 단계에 대해 구체적으로 개시한다.
도 2 및 도 3은 본 발명의 실시예에 따른 영상 전처리 방법을 나타낸 개념도이다.
도 2에서는 차량에 구비된 영상 처리 장치가 촬상하여 표지판 영상 분석 장치로 입력된 영상에 대한 전처리를 수행하는 방법에 대해 개시한다. 본 발명의 실시예에 따르면 관심 영역에 방사 대칭(radial symmetry) 알고리즘을 적용하여 영상에서 원형 물체가 존재하는 영역을 대략적으로 분할(Segmentation)할 수 있다. 이렇게 분할된 영역만 탐색함으로써 영상을 처리하는 시간이 단축될 수 있다. 이하, 구체적인 전처리 방법에 대해 개시한다.
영상에서 관심 영역을 설정한다(단계 S200).
영상에서 실제 표지판이 존재하는 관심 영역(ROI)를 설정할 수 있다. 본 발명의 실시예에 따르면 표지판이 존재하는 영역에 대해서만 영상 처리를 수행하는 관심 영역으로 설정할 수 있다. 이러한 방법을 통해 불필요한 영역에 대한 영상 처리를 수행하지 않음으로써 보다 빠르게 표지판을 인식할 수 있다.
도 3의 (a)는 본 발명의 실시예에 따른 관심 영역을 설정하는 방법을 나타낸 개념도이다. 도 3의 (a)를 참조하면, 예를 들어, 입력 영상에서 국내 법규 및 간이 표지판 설치 높이를 기준으로 0.5m~5m의 표지판이 존재하는 영역과 표지판이 존재할 수 없는 영역(0.5m 미만 및 5m 초과)으로 분할할 수 있다. 이러한 경우, 영상에서 상위 60%에 해당하는 영역이 관심 영역으로 설정될 수 있다.
다시 도 2를 참조하면, 에지 탐색을 수행한다(단계 S210).
설정된 관심 영역에 대하여 소벨 에지 연산자(sobel edge operator)를 적용하여 그레디언트(gradient) 영상을 획득할 수 있다. 예를 들어, 3x3 소벨 에지 연산자와 입력 영상을 컨볼루션하여 수평 그레디언트 영상/수직 그레디언트 영상을 생성할 수 있다.
아래의 수학식 1은 수평 소벨 연산자와 수직 소벨 연산자를 나타낸 수학식이다.
<수학식 1>
Figure pat00001
수학식 1과 같은 3x3 소벨 에지 연산자와 입력 영상을 컨볼루션하여 수평 그레디언트 영상/수직 그레디언트 영상을 획득할 수 있다.
도 3의 (b)는 본 발명의 실시예에 따른 소벨 연산자와 입력 영상을 컨볼루션하여 획득된 수평/수직 그레디언트 영상을 나타낸다.
다시 도2 를 참조하면, 방사 대칭 알고리즘을 수행한다(단계 S220).
단계 S210을 수행하여 생성된 그레디언트 이미지(gradient image)에서 방사 대칭 알고리즘을 적용하여 S-map을 생성할 수 있다. 방사 대칭 알고리즘에 대해서는 2003년 8월에 개시된 ‘”, G.Loy, A.zelinsky, IEEE PAMI, Aug., 2003, p.959~973.’에 개시되어 있다.
도 3의 (c)는 본 발명의 실시예에 따른 방사 대칭 알고리즘을 수행하여 산출한S-맵을 나타낸 개념도이다.
다시 도2 를 참조하면, 라벨링(labeling)을 수행한다(단계 S230).
방사 대칭 알고리즘을 수행하여 산출된 영상을 [0,1]로 이진화할 수 있다. 영상에서 방사 대칭 알고리즘을 수행하여 산출된 결과를 기준으로 최대값의 30%이상인 점을 1, 최대값의 30% 미만인 점을 0으로 설정하여 이진화를 수행할 수 있다. 이렇게 만든 이진 영상에서 8-Connected Component를 적용하여 동일한 물체에 대하여 라벨링을 수행하여 탐지하고자 하는 물체를 식별할 수 있다.
8-Connected Component는 타겟을 탐색하기 위해 사용될 수 있다. 이진값을 가지는 디지털 이미지에 있어서 하나의 픽셀은 1(타겟) 또는 0(논-타겟)으로 구분될 수 있다. 1의 값을 가진 픽셀은 흰색이고 0의 값을 가진 픽셀은 검은색으로 가정하면, 디지털 패턴에서 대상을 인식하기 위해서는 서로 연결된 흰색 픽셀의 그룹들이 위치해야 한다. 다른 말로 주어진 디지털 패턴에 있어서 대상들은 그 패턴의 연속된 요소(connected components)로 인식될 수 있다.
도 3의 (d)는 본 발명의 실시예에 따른 라벨링을 수행하여 산출한 영상을 나타낸다. 도 3의 (d)를 참조하면, (1)~(3)으로 탐지된 영역에 대한 식별자를 라벨링할 수 있다.
다시 도 2를 참조하면, 분할(segmentation)을 수행한다(단계 S240).
라벨링을 수행한 물체의 중심점을 기준으로 설정된 폭(예를 들어, 폭, 넓이가 50)을 가진 박스를 최종적으로 생성할 수 있다. 설정된 폭은 탐지하고자 하는 객체의 크기에 따라 달라질 수 있다. 이렇게 분할된 영상이 이후 단계에서 탐지(detection)를 수행하기 위한 입력 영상이 될 수 있다.도 3의 (e)는 라벨링을 수행한 물체의 중심점을 기준으로 설정된 폭을 나타낸 영상이다.
도 4 및 도 5는 본 발명의 실시예에 따른 영상 탐지(detection) 방법을 나타낸 개념도이다.
도 4 및 도 5에서는 도 1의 단계 S120에 개시된 학습을 기반으로 도 3의 방법으로 전처리된 영상에 대한 탐지를 수행하는 방법에 대해 개시한다.
영상 탐지 단계에서는 객체 탐색을 위해 Haar-Feature 기반 Viola-Jones Adaboost(Adaptive Boosting) 알고리즘을 사용할 수 있다. 아다부스트(Adaboost)는 다단계(cascade) 구조의 분류기(classifier)이다. 따라서 다수의 강분류기(strong classifier)가 다단계 구조로써 입력 영상이 ‘표지판’인지 ‘비표지판’인지 여부에 대해 판단할 수 있다. 아다부스트를 기반으로 객체를 탐색할 경우, 단순 덧셈 연산과 다단계 구조로 인한 빠른 수행 시간으로 인하여 객체 탐색(Object Detection)에 많이 사용된다.
본 발명의 실시예에 따른 아다부스트 알고리즘은 오프-라인 트레이닝(off-line training) 단계와 온라인 스캔 윈도우 탐색(on-line scan-window search)의 2단계로 구성될 수 있다. 이하, 본 발명의 실시예에서는 객체를 탐색하기 위해 사용되는 오프-라인 트레이닝 단계와 온-라인 스캔 윈도우 탐색 단계에 대해 구체적으로 개시한다.
도 4는 본 발명의 실시예에 따른 탐색 단계에서 오프-라인 트레이닝을 수행하는 방법을 나타낸 개념도이다.
오프-라인 트레이닝(Off-line Training) 단계에서는 실제 탐색 대상인 타겟 샘플(예를 들어, 표지판 영상)(400)과 논-타겟 샘플(예를 들어, 비표지판 영상)(450)을 이용하여 탐색을 학습할 수 있다. 오프-라인 트레이닝을 수행하여 학습된 결과는 이후 온라인 스캔 윈도우 탐색을 위해 사용될 수 있다.
타겟 샘플은 실제 표지판 영상을 어노테이션(Annotation)하여 획득할 수 있다. 이렇게 추출한 영상에 1~2 픽셀(pixel) 정도의 마진 픽셀(margin pixel)을 추가한 후 학습(training)에 사용하기 위하여 20x20으로 정규화(normalization)할 수 있다. 논-타겟 샘플은 타겟 샘플이 없는 영상에서 랜덤하게 추출할 수 있다.
도 4의 (a)는 본 발명의 실시예에 따른 타겟 샘플(표지판 영상)과 논-타겟 샘플(비표지판 영상)을 분류한 것을 나타낸다.
오프-라인 트레이닝 단계에서는 예를 들어, 많은 수의 타겟 샘플과 논 타겟 샘플을 입력하여 이후 타겟 샘플의 특징을 획득할 수 있다. 타겟 샘플의 특징은 수평 탐지 및 수직 탐지를 별도로 수행하여 학습될 수 있다.
도 4의 (b)는 수직 탐색과 수평 탐색을 별도로 수행하여 타겟 샘플의 특징을 획득하는 방법을 나타낸 개념도이다. 수평 탐지 및 수직 탐지를 수행하여 학습된 결과는 타겟을 탐지 하기 위해 사용될 수 있다.
도 5는 본 발명의 실시예에 따른 탐색 단계에서 온라인 탐지를 수행하는 방법을 나타낸 개념도이다.
도 5를 참조하면, 온라인 탐지 단계에서는 오프라인 트레이닝 단계에서 획득한 수평 방향 탐지 정보 및 수직 방향 탐지 정보를 기반으로 실제 영상에서 타겟 객체에 해당하는 표지판 영상을 추출할 수 있다.
본 발명의 실시예에서는 온라인 탐지를 위해서 스캔 윈도우 탐색 방법을 사용하여 입력으로 들어온 서브 윈도우(sub-window)가 실제 ‘표지판’인지 ‘비표지판’인지 여부에 대해 판단할 수 있다. 즉, 객체를 탐지하기 위해 수평 방향 탐지자(500)와 수직 방향 탐지자(550)를 모두 사용하여 탐지를 수행한 결과 각각의 탐지자에 의하여 중첩(overlap)이 발생된 영역을 타겟 영역인 실제 ‘표지판’ 영역으로 간주할 수 있다.
도 6 및 도 7는 본 발명의 실시예에 따른 영상 인식(recognition) 방법을 나타낸 개념도이다.
도 6 및 도 7에서는 도 1의 단계 S140에 개시된 영상 인식 방법에 대해 개시한다. 영상 인식 방법은 도 4 및 도 5의 방법으로 탐지된 영상에 대한 인식을 수행할 수 있다.
탐지 결과 ‘표지판’영역으로 나온 영역에 대하여 인식 단계를 수행하여 실제 제한 속도에 대한 정보를 인지할 수 있다. 인식 단계에서는 SVM(Support Vector Machine)을 사용할 수 있다. 본 발명의 실시예에 따른 인식 단계는 오프라인 트레이닝 단계와 오프라인에서 나온 서포트 벡터(Support Vector)와 입력 영상의 특징점의 내적을 이용하여 실제 제한 속도를 인식하는 온라인 인식(on-line Recognition) 단계로 수행될 수 있다.
도 6은 본 발명의 실시예에 다른 인식 단계에서 오프 라인 트레이닝을 수행하는 것을 나타낸 개념도이다.
도 6을 참조하면, 오프라인 트레이닝 단계에서는 타겟 샘플과 논 타겟 샘플을 기반으로 특징점을 기반으로 인식기(Recognizer)를 학습시킬 수 있다. 타겟 샘플은 30Km/h부터 110Km/h까지 각 카테고리로 분류된 속도 제한 표지판이며 이를 50x50 크기의 영상으로 정규화한 것일 수 있다. 논 타겟 샘플은 탐색 단계에서 오인식한 데이터를 사용하였다. 복수개의 타겟 샘플은 인식기에 입력될 수 있고, 인식기는 복수개의 타겟 샘플을 기반으로 학습을 수행할 수 있다. 타겟 샘플에서 획득되는 특징 정보(예를 들어, 특징점)은 조명의 영향을 최소화하기 위하여 정규화 회색 값(Normalized gray value)을 사용하였다. 아래의 수학식 2는 정규화 회색 값을 산출하는 방법을 나타낸다.
<수학식 2>
Figure pat00002

모든 표지판은 ‘0’으로 끝나기 때문에 특징점 탐지시 도 6과 같이 마지막 자리에 위치한‘0’ 이 있는 부분을 제외한 나머지 부분을 특징점을 탐지하는 영역으로 설정할 수 있다. 각 특징점 탐지 영역에서 실제 온라인 인식에 사용할 특징 벡터(예를 들어, 서포트 벡터(Support Vector))를 산출할 수 있다.
도 6을 참조하면, 각각의 자리수에 따른 특징점 영역을 학습하는 방법에 대해 개시한다.
아래의 표 1은 본 발명의 실시예에 따른 특징점 탐지 영역을 나타낸 것이다.
<표 1>
Figure pat00003
표 1을 참조하면 100의 자리 상단(600), 10의 자리 상단(620), 100의 자리 및 10의 자리의 하단(630)에 대한 y 축 방향 시작점, x 축 방향 시작점, 너비, 높이 및 색깔에 대한 정보를 획득할 수 있다.
도 7은 본 발명의 실시예에 다른 인식 단계에서 온라인 인식 방법을 수행하는 것을 나타낸 개념도이다.
도 7을 참조하면, 온라인 인식 방법에서는 오프라인 트레이닝에서 산출된 특징 벡터와 입력 영상의 특징점 간의 내적을 기반으로 해당 영상에 대한 인식을 수행할 수 있다.
아래의 수학식 3은 RBF(Radial Basis Kernel) 기반의 Multi-SVM을 사용하는 식이다.
<수학식 3>
Figure pat00004
계산 결과는 입력 영상이 각 타겟 샘플 카테고리(30~110Km/h)에 속할 확률(Confidence)이 나오며, 이 중 가장 큰 값을 가지는 속도를 현재 입력 영상에 대한 결과로 표시할 수 있다.
도 7을 참조하면, 입력 영상에 대해 분류기를 통해 분류하여 오프라인 트레이닝에서 산출된 특징 벡터와의 유사도를 비교하여 가장 높은 확률을 가지는 표지판(700)을 최종 인식된 표지판을 결정할 수 있다.
이러한 방식으로 최종 인식된 표시판(700)에 대해 전술한 바와 같이 트래킹 단계와 최종 결정 단계를 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 트래킹 방법을 나타낸 순서도이다.
도 8을 참조하면, 칼만 필터를 이용하여 인식된 표지판을 다수 프레임에 대하여 추적하여 표지판에 대한 신뢰도를 향상시킬 수 있다.
본 발명의 실시예에 따르면, 입력된 객체를 사용하여 기존의 트래킹된 자료를 업데이트할 것인 것 여부에 대해 판단할 수 있다(단계 S800).
입력된 객체를 사용하여 기존의 트래킹된 자료를 업데이트하는 경우, 입력된 객체를 사용하여 기존의 트래킹을 위해 사용되던 트래킹 데이터를 정정하고 업데이트를 수행할 수 있다(단계 S810).
입력된 객체를 사용하여 기존의 트래킹된 자료를 업데이트를 수행하지 않는 경우, 입력된 객체가 새롭게 트래킹되는 객체인지 여부에 대해 판단할 수 있다(단계 S820).
판단 결과, 입력된 객체가 새롭게 트래킹되는 객체인 경우, 새로운 트래킹을 수행할 수 있다(단계 S830).
판단 결과, 입력된 객체가 새롭게 트래킹되는 객체가 아닌 기존의 객체인 경우, 입력된 영상이 템플릿 매칭을 수행하여 트래킹을 수행할 수 있다(단계 S840). 예를 들어, 시간 t에 획득된 영상에서 인식된 표지판의 내부가 템플릿이 될 수 있다. 시간 t+1에서 획득된 영상을 트래킹할 수 있다. 트래킹을 위해 사용되는 탬플릿 영상은 지속적으로 업데이트될 수 있다.
트래킹을 수행한 후 최종 결정 단계가 수행될 수 있다. 예를 들어, 표지판이 3 프레임(100ms) 이상 트래킹되지 않을 경우 현재 인식 중이던 표지판을 지나갔다고 판단하여, 트래킹을 종료하고 최종 결정 단계를 수행할 수 있다. 트래킹을 종료한 대상에 대하여 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정할 수 있다.
도 9는 본 발명의 실시예에 따른 교통 표지판 탐지 장치를 나타낸 개념도이다.
도 9를 참조하면, 교통 표지판 탐지 장치는 영상 입력부(900), 전처리부(910), 표지판 탐색부(920), 표지판 인식부(930), 트래킹부(940), 최종 표지판 결정부(950) 및 프로세서(960)를 포함할 수 있다.
교통 표지판 탐지 장치는 영상 입력부(900), 전처리부(910), 표지판 탐색부(920), 표지판 인식부(930), 트래킹부(940), 최종 표지판 결정부(950)는 전술한 도 1 내지 도 8에서의 영상 처리 동작을 수행할 수 있다. 각 구성부의 동작은 예시적으로 아래와 같은 동작을 수행할 수 있다.
영상 입력부(900)은 카메라에서 촬상된 영상을 입력받을 수 있다.
전처리부(910)는 영상에서 전처리를 수행하여 관심 영역에서 표지판 영역을 탐지하기 위해 구현될 수 있다. 전처리부(910)는 아래와 같은 동작을 기반으로 전처리를 수행할 수 있다. 전처리부(910)는 우선 영상에서 실제 표지판이 존재하는 관심 영역(ROI)를 설정하고 설정된 관심 영역에 대하여 소벨 에지 연산자를 적용하여 그레디언트 영상을 획득할 수 있다. 그레디언트 영상에서 방사 대칭 알고리즘을 기반으로 S-맵을 생성할 수 있다. S-map에서 임계값 이하의 점들은 제거하고 실제 원형 물체의 후보가 될 수 있는 점들만 남긴다. 이렇게 남은 점들에 대하여 라벨링을 하고 클러스터링을 수행할 수 있다.
표지판 탐색부(920)는 오프-라인 트레이닝(off-line training) 단계를 거쳐 타겟 샘플(표지판 정보)을 학습하고, 학습된 결과를 기반으로 온라인 스캔 윈도우 탐색(on-line scan-window search)의 단계를 수행하여 획득된 영상에서 표지판에 해당하는 영역을 탐색할 수 있다.
표지판 인식부(930)도 오프-라인 트레이닝(off-line training) 단계를 거쳐 타겟별 특징 정보를 학습하고, 학습된 결과를 기반으로 온라인 스캔 윈도우 탐색(on-line scan-window search)의 단계를 수행할 수 있다. 타겟별 특징 정보는 표지판의 속도 30~100 km/h에 해당하는 타겟마다 특징 정보를 획득하여 학습할 수 있다. 학습을 수행하여 획득된 특징 정보와 입력된 영상의 표지판 영역의 특징 정보를 비교하여 입력된 영상의 표지판 영역이 어떠한 표지판인지 여부에 대해 판단할 수 있다.
트래킹부(940)는 차량의 이동에 따라 변화되는 영상에서 획득된 타겟 영상을 지속적으로 트래킹하기 위해 구현될 수 있다.
최종 표지판 결정부(950)는 트래킹을 수행한 후 최종적으로 영상에서 획득된 표지판이 어떠한 표지판인지에 대해 결정할 수 있다. 최종 표지판 결정부(950)는 예를 들어, 표지판이 3 프레임(100ms)이상 트래킹부에 의해 트래킹되지 않을 경우 현재 인식 중이던 표지판을 지나갔다고 판단하여, 트래킹을 종료하고 최종적으로 인식된 표지판을 결정할 수 있다. 최종 표지판 결정부(950)에서는 트래킹을 종료한 대상에 대하여 SVM 결과로 출력되는 각 표지판의 확률값을 누적하여 가장 큰 확률값을 가지는 표지판을 최종 결과로 결정할 수 있다.
프로세서(960)는 영상 입력부(900), 전처리부(910), 표지판 탐색부(920), 표지판 인식부(930), 트래킹부(940), 최종 표지판 결정부(950)의 동작을 제어할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 차량에서 표지판을 인식하는 방법에 있어서,
    상기 차량에 구비된 카메라로부터 획득된 영상에 대한 전처리를 수행하는 단계;
    상기 전처리를 수행한 영상에서 상기 표지판을 탐색하는 단계;
    상기 탐색된 표지판에 대한 정보를 기반으로 상기 표지판에 포함된 정보를 인식하는 단계;
    상기 차량의 이동에 따라 상기 표지판을 트래킹하는 단계; 및
    상기 트래킹 결과를 기반으로 상기 차량에 대한 최종 표지판을 결정하는 단계를 포함하는 차량에서 표지판을 인식하는 방법.
  2. 제1항에 있어서, 상기 전처리를 수행하는 단계는,
    상기 영상에서 상기 표지판을 인식할 관심 영역을 설정하는 단계;
    상기 관심 영역에서 에지 탐색를 수행하여 수평 그레디언트 영상 및 수직 그레디언트 영상을 획득하는 단계;
    상기 수평 그레디언트 영상 및 상기 수직 그레디언트 영상에 대해 방사 대칭(radial symmetry) 알고리즘을 수행하여 S-맵(map)을 생성하는 단계
    상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하는 단계를 포함하되,
    상기 관심 영역은 상기 표지판이 설치되는 영역으로 설정되는 차량에서 표지판을 인식하는 방법.
  3. 제2항에 있어서,
    상기 에지 탐색은 수평 소벨 연산자 및 수직 소벨 연산자를 기반으로 수행되고,
    아래의 수학식은 상기 소벨 연산자 중 상기 수평 소벨 연산자 및 상기 수직 소벨 연산자인,
    <수학식>
    Figure pat00005

    차량에서 표지판을 인식하는 방법.
  4. 제2항에 있어서, 상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하는 단계는,
    상기 방사 대칭 알고리즘을 수행하여 산출된 결과의 최대값을 기준으로 상기 상기 S 맵을 이진화하고 상기 이진화된 S-맵을 기반으로 상기 라벨링을 수행하는 단계인 차량에서 표지판을 인식하는 방법.
  5. 제2항에 있어서, 상기 전처리를 수행한 영상에서 표지판을 탐색하는 단계는,
    상기 표지판의 특징 정보를 학습하여 수평 방향 탐색기 및 수직 방향 탐색기를 산출하는 단계; 및
    상기 수평 방향 탐색기를 기반으로 수평 방향 탐색을 수행하여 결정된 제1 표지판 영역과 상기 수직 방향 탐색기를 기반으로 수직 방향 탐색을 수행하여 결정된 제2 표지판 영역이 중첩되는 영역을 표지판 영역으로 결정하는 단계를 포함하는 차량에서 표지판을 인식하는 방법.
  6. 제2항에 있어서, 상기 표지판에 포함된 정보를 인식하는 단계는,
    상기 표지판에 포함되는 정보 중 100의 자리의 상단 영역인 제1 영역, 10의 자리의 상단 영역인 제2 영역 및 상기 제1 영역과 상기 제2 영역의 하단 영역인 제3 영역에서 특징 정보를 산출하는 단계; 및
    상기 특징 정보와 학습된 표지판의 특징 정보를 비교하여 상기 표지판에 포함된 정보를 인식하는 단계를 포함하는 차량에서 표지판을 인식하는 방법.
  7. 제6항에 있어서,
    상기 특징 정보는 상기 탐색된 표지판 영역을 일정한 크기로 정규화하고 상기 일정한 크기로 정규화된 표지판 영역의 픽셀을 정규화된 회색값으로 전환하여 상기 특징 정보를 산출하되,
    상기 정규화된 회색값
    Figure pat00006
    은 아래의 수학식을 기반으로 생성되는
    <수학식>
    Figure pat00007

    차량에서 표지판을 인식하는 방법.
  8. 차량에서 표지판을 인식하는 표지판 인식 장치에 있어서, 상기 표지판 인식 장치는 프로세서를 포함하고,
    상기 프로세서는 상기 차량에 구비된 카메라로부터 획득된 영상에 대한 전처리를 수행하고,
    상기 전처리를 수행한 영상에서 상기 표지판을 탐색하고,
    상기 탐색된 표지판에 대한 정보를 기반으로 상기 표지판에 포함된 정보를 인식하고,
    상기 차량의 이동에 따라 상기 표지판을 트래킹하고,
    상기 트래킹 결과를 기반으로 상기 차량에 대한 최종 표지판을 결정하도록 구현되는 표지판 인식 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 영상에서 상기 표지판을 인식할 관심 영역을 설정하고,
    상기 관심 영역에서 에지 탐색를 수행하여 수평 그레디언트 영상 및 수직 그레디언트 영상을 획득하고,
    상기 수평 그레디언트 영상 및 상기 수직 그레디언트 영상에 대해 방사 대칭(radial symmetry) 알고리즘을 수행하여 S-맵(map)을 생성하고,
    상기 S-맵에 대해 라벨링을 수행하고 분할을 수행하도록 구현되되,
    상기 관심 영역은 상기 표지판이 설치되는 영역으로 설정되는 표지판 인식 장치.
  10. 제9항에 있어서,
    상기 에지 탐색은 수평 소벨 연산자 및 수직 소벨 연산자를 기반으로 수행되고,
    아래의 수학식은 상기 소벨 연산자 중 상기 수평 소벨 연산자 및 상기 수직 소벨 연산자인,
    <수학식>
    Figure pat00008

    표지판 인식 장치.
  11. 제8항에 있어서, 상기 프로세서는,
    상기 방사 대칭 알고리즘을 수행하여 산출된 결과의 최대값을 기준으로 상기 상기 S 맵을 이진화하고 상기 이진화된 S-맵을 기반으로 상기 라벨링을 수행하도록 구현되는 표지판 인식 장치.
  12. 제8항에 있어서, 상기 프로세서는,
    상기 표지판의 특징 정보를 학습하여 수평 방향 탐색기 및 수직 방향 탐색기를 산출하고,
    상기 수평 방향 탐색기를 기반으로 수평 방향 탐색을 수행하여 결정된 제1 표지판 영역과 상기 수직 방향 탐색기를 기반으로 수직 방향 탐색을 수행하여 결정된 제2 표지판 영역이 중첩되는 영역을 표지판 영역으로 결정하도록 구현되는 표지판 인식 장치.
  13. 제8항에 있어서, 상기 프로세서는,
    상기 표지판에 포함되는 정보 중 100의 자리의 상단 영역인 제1 영역, 10의 자리의 상단 영역인 제2 영역 및 상기 제1 영역과 상기 제2 영역의 하단 영역인 제3 영역에서 특징 정보를 산출하고,
    상기 특징 정보와 학습된 표지판의 특징 정보를 비교하여 상기 표지판에 포함된 정보를 인식하도록 구현되는 표지판 인식 장치.
  14. 제13항에 있어서,
    상기 특징 정보는 상기 탐색된 표지판 영역을 일정한 크기로 정규화하고 상기 일정한 크기로 정규화된 표지판 영역의 픽셀을 정규화된 회색값으로 전환하여 상기 특징 정보를 산출하되,
    상기 정규화된 회색값
    Figure pat00009
    은 아래의 수학식을 기반으로 생성되는
    <수학식>
    Figure pat00010

    표지판 인식 장치.
KR1020140002243A 2014-01-08 2014-01-08 교통 표지판 탐지 방법 및 장치 KR101936108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140002243A KR101936108B1 (ko) 2014-01-08 2014-01-08 교통 표지판 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140002243A KR101936108B1 (ko) 2014-01-08 2014-01-08 교통 표지판 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150082823A true KR20150082823A (ko) 2015-07-16
KR101936108B1 KR101936108B1 (ko) 2019-01-09

Family

ID=53884736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140002243A KR101936108B1 (ko) 2014-01-08 2014-01-08 교통 표지판 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101936108B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025658A (zh) * 2015-11-13 2017-08-08 本田技研工业株式会社 采用单个相机检测运动物体的方法和系统
US10445602B2 (en) 2017-05-30 2019-10-15 Mando-Hella Electronics Corporation Apparatus and method for recognizing traffic signs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007034505A1 (de) 2007-07-24 2009-01-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Verkehrszeichenerkennung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025658A (zh) * 2015-11-13 2017-08-08 本田技研工业株式会社 采用单个相机检测运动物体的方法和系统
CN107025658B (zh) * 2015-11-13 2022-06-28 本田技研工业株式会社 采用单个相机检测运动物体的方法和系统
US10445602B2 (en) 2017-05-30 2019-10-15 Mando-Hella Electronics Corporation Apparatus and method for recognizing traffic signs

Also Published As

Publication number Publication date
KR101936108B1 (ko) 2019-01-09

Similar Documents

Publication Publication Date Title
KR101912914B1 (ko) 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
US10025998B1 (en) Object detection using candidate object alignment
KR101596299B1 (ko) 교통 표지판 인식 방법 및 장치
US9400936B2 (en) Methods and systems for vehicle tag number recognition
Meuter et al. A decision fusion and reasoning module for a traffic sign recognition system
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
US9626599B2 (en) Reconfigurable clear path detection system
US9965677B2 (en) Method and system for OCR-free vehicle identification number localization
Hechri et al. Robust road lanes and traffic signs recognition for driver assistance system
Maldonado-Bascon et al. Traffic sign recognition system for inventory purposes
Jurić et al. A method for on-road night-time vehicle headlight detection and tracking
Hatolkar et al. A survey on road traffic sign recognition system using convolution neural network
Li et al. Real-time traffic sign detection: an evaluation study
KR101936108B1 (ko) 교통 표지판 탐지 방법 및 장치
Hechri et al. Lanes and road signs recognition for driver assistance system
Ho et al. Intelligent speed bump system with dynamic license plate recognition
Lafuente-Arroyo et al. Road sign tracking with a predictive filter solution
Wang et al. A two-layer night-time vehicle detector
Lafuente-Arroyo et al. A tracking system for automated inventory of road signs
KR20150146374A (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
Baek et al. Forward vehicle detection using cluster-based AdaBoost
Farhat et al. Real-time recognition of road traffic signs in video scenes
Yang et al. Categorization-based two-stage pedestrian detection system for naturalistic driving data
Kiro et al. Road Lane Line Detection using Machine Learning
EP3392797B1 (en) Device for determining vehicle navigation information

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant