KR101409340B1 - 교통 표지 인식 방법 및 그 시스템 - Google Patents

교통 표지 인식 방법 및 그 시스템 Download PDF

Info

Publication number
KR101409340B1
KR101409340B1 KR1020130026724A KR20130026724A KR101409340B1 KR 101409340 B1 KR101409340 B1 KR 101409340B1 KR 1020130026724 A KR1020130026724 A KR 1020130026724A KR 20130026724 A KR20130026724 A KR 20130026724A KR 101409340 B1 KR101409340 B1 KR 101409340B1
Authority
KR
South Korea
Prior art keywords
traffic sign
image
candidate
color
template
Prior art date
Application number
KR1020130026724A
Other languages
English (en)
Inventor
이찬호
정대균
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020130026724A priority Critical patent/KR101409340B1/ko
Application granted granted Critical
Publication of KR101409340B1 publication Critical patent/KR101409340B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B60W2050/065—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot by reducing the computational load on the digital processor of the control computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

연산 시간을 최소한으로 줄여 교통 표지판을 탐지하고 판별할 수 있는 교통 표지 인식 방법 및 그 시스템을 제공한다.
교통 표지 인식 시스템은 이미지를 획득하는 영상정보 획득장치 및 이미지의 색분할을 수행하고, 다각형 근사법 또는 원형 탐지법을 이용하여 이미지에 매칭되는 다각형 또는 원을 추출하여 교통 표지판 후보를 산출하고, 교통 표지판 후보를 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 통해 미리 저장된 템플릿과 비교하여 교통 표지판을 인식하는 교통표지판 인식장치를 포함하므로, 교통 표지판 인식 및 출력을 위한 연산 시간을 감소시킬 수 있다.

Description

교통 표지 인식 방법 및 그 시스템{Method for traffic sign recognition and system thereof}
본 발명은 교통 표지를 탐지하고 판별하는 교통 표지 인식 방법 및 그 시스템에 관한 것이다.
자동차에 IT 기술이 접목되어 지능형 자동차 개발이 활성화되고 있고, 이에 따라 자동차의 편의성과 안정성이 크게 개선되고 있다. 이러한 연구는 자동차 주행과 관련하여 성능 및 안전성을 개선하는 연구와 차량의 상태 및 주변 환경 등의 정보를 제공하는 편의성과 안전성을 높이는 분야로 나누어지는데 후자의 경우 카메라를 통한 영상을 분석하여 주변 상황을 인식하는 연구가 중요한 부분을 차지한다.
교통표지판은 보행자와 운전자가 이를 신속하고 정확하게 인식하면 모두에게 안전하고 원활한 이동에 도움을 준다. 운전자의 경우에는 달리는 차에서 교통표지판을 인식해야 하므로 도로가 복잡하거나 교통표지판이 한번에 너무 많이 나타나거나 날씨가 안 좋은 경우 등 운전 환경이 좋지 않으면 인식에 어려움을 겪는다. 교통표지판 인식 시스템이 있는 경우 그러한 상황에서도 교통표지판을 신속 정확하게 인식하여 운전자에게 정보를 제공함으로써 운전자의 운전 행위에 도움을 준다. 또한, 자동 운전 시스템에서는 차량 스스로 교통 표지판을 인식하여 그에 적합한 주행을 하는데 필요한 정보를 제공한다. 네비게이션 시스템에 교통표지판 정보가 포함되기도 하지만 GPS 신호에 의한 오차와 DB에 포함되지 않은 도로나 표지판이 있을 경우 안전에 문제가 발생할 수 있다. 따라서, 영상을 통한 교통표지판 인식은 주행 중 주변 상황을 가장 확실하게 파악할 수 있고, 네비게이션은 보조적으로 인식률 증가와 인식 시간 감소에 도움을 줄 수 있다.
본 발명의 일측면은 연산 시간 감소에 중점을 두어 교통표지판을 탐지하고 판별하는 교통 표지 인식 방법 및 그 시스템을 제공한다.
이를 위한 본 발명의 일측면에 의한 교통 표지 인식 시스템은 이미지를 획득하는 영상정보 획득장치; 및 상기 이미지의 색분할을 수행하고, 다각형 근사법과 원형 탐지법을 이용하여 상기 이미지에 매칭되는 다각형이나 원을 추출하여 교통 표지판 후보를 산출하고, 상기 교통 표지판 후보를 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 통해 미리 저장된 템플릿과 비교하여 교통 표지판을 인식하는 교통표지판 인식장치를 포함할 수 있다.
상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은, 상기 이미지의 색공간을 HSV(Hue Saturation Value) 색공간으로 변환하고, 상기 이미지의 색분할을 수행할 수 있다.
상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은, 상기 이미지에 포함되는 복수 개의 픽셀 중 규칙적인 순서 또는 불규칙적인 순서에 해당하는 픽셀에 대해 색분할을 수행할 수 있다.
상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은, 상기 이미지에 포함되는 픽셀에 대해 완화된 기준에 따라 1차 수색을 수행하고, 상기 1차 수색에 따라 상기 픽셀이 교통표지판의 색상을 포함하는 것으로 확인되면, 상기 픽셀의 주변 픽셀에 대해 2차 수색을 수행하는 것을 포함할 수 있다.
상기 이미지에 포함되는 픽셀에 대해 완화된 기준에 따라 1차 수색을 수행하는 것은, 상기 이미지에 포함되는 픽셀에 대해 색상(Hue)의 범위 기준을 넓게 지정하여 상기 교통표지판에 해당하는 색상을 포함하는 픽셀을 수색하는 것을 포함할 수 있다.
상기 픽셀의 주변 픽셀에 대해 2차 수색을 수행하는 것은, 상기 1차 수색에서 탐지된 픽셀의 주변 픽셀에 대해 상기 1차 수색 시보다 강화된 기준을 적용하여 상기 1차 수색에서 탐지된 픽셀의 주변 픽셀이 상기 교통표지판의 색상을 포함하는지 수색하는 것을 포함할 수 있다.
상기 교통 표지판 인식 장치가 상기 교통 표지판 후보를 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 통해 미리 저장된 템플릿과 비교하여 교통 표지판을 인식하는 것은, 상기 교통 표지판 후보에 대한 영상에 아핀 변환을 적용하여 표준 크기의 영상으로 변환하고, 상기 표준 크기의 영상을 상기 템플릿과 비교하여 교통 표지판을 인식하는 것을 포함할 수 있다.
상기 교통 표지판 인식 장치에 의해 인식된 교통 표지판에 대한 정보를 음성 또는 화면으로 출력하는 출력 장치를 더 포함할 수 있다.
상기 교통 표지판 인식 장치는 상기 이미지를 통해 교통 표지판 후보를 탐지하는 교통 표지판 후보 탐지 장치, 상기 교통 표지판 후보를 미리 저장된 템플릿과 매칭시켜 교통 표지판을 식별하는 교통 표지판 식별 장치 및 상기 템플릿을 저장하는 데이터베이스를 포함할 수 있다.
상기 데이터베이스는 상기 교통표지판의 특성을 색과 모양에 따라 그룹별로 나눈 템플릿으로 저장할 수 있다.
그리고, 본 발명의 일실시예에 의한 교통 표지 인식 방법은 입력되는 이미지에 대한 색분할을 수행하고, 상기 색분할된 영상으로부터 다각형을 추출하여 교통표지판 후보를 탐색하고, 상기 교통표지판 후보 영상에 대해 아핀 변환을 수행하여 표준 영상으로 변환하고, 상기 표준 영상으로 변환된 교통 표지판 후보 영상을 미리 저장된 템플릿과 특징점을 매칭시켜 교통 표지판을 식별할 수 있다.
상기 교통표지판 후보를 탐색하는 것은, 상기 입력되는 이미지에 포함되는 복수 개의 픽셀 중 일부 픽셀에 대해 1차적으로 색분할을 수행하고, 상기 색분할이 수행된 일부 픽셀이 상기 교통표지판의 색상을 포함하는 것으로 확인되면, 상기 픽셀의 주변 픽셀에 대해 2차적으로 색분할을 수행하여 상기 교통표지판 후보를 탐색하는 것을 포함할 수 있다.
상기 교통표지판 후보 영상에 대해 아핀 변환을 수행하여 표준 영상으로 변환하는 것은, 상기 미리 저장된 템플릿의 규격에 해당하는 영상으로 상기 교통표지판 후보 영상을 변환할 수 있다.
상기 표준 영상으로 변환된 교통 표지판 후보 영상을 미리 저장된 템플릿과 특징점을 매칭시켜 교통 표지판을 식별하는 것은, 상기 교통 표지판 후보 영상과 상기 미리 저장된 템플릿에 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 적용하여 특징점을 매칭할 수 있다.
상기 입력되는 이미지에 대한 색분할을 수행하는 것은, 상기 이미지의 일정한 범위를 ROI(Region of Interest)로 설정하고, 상기 ROI 영역 내부의 이미지에 대해 색분할을 수행하는 것으로 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일측면에 의하면 교통 표지판을 인식하는 경우 불필요한 연산 시간을 줄여 신속하게 교통 표지판을 식별 및 출력할 수 있다.
도 1은 본 발명의 일실시예에 의한 교통 표지 인식 시스템의 개략적인 블록도
도 2는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 판별하기 위해 색분할하는 과정을 설명하기 위한 도면
도 3은 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 사용하는 HSV 색공간을 설명하기 위한 도면
도 4는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 판별하기 위해 다각형 패턴을 찾는 방법을 설명하는 도면
도 5는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 데이터베이스에 저장된 템플릿과 비교하기 위해 SURF 알고리즘을 적용하는 방법을 설명하기 위한 도면
도 6은 도 5의 방법에 의해 탐색한 입력 영상의 특징점을 데이터베이스에 저장된 템플릿의 특징점과 비교하는 것을 나타내는 도면
도 7은 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 데이터베이스에 저장된 템플릿과 비교하기 위해 ORB 알고리즘을 적용하는 것을 설명하는 도면
도 8은 도 7의 방법에 의해 탐색한 입력 영상의 특징점을 데이터베이스에 저장된 템플릿의 특징점과 비교하는 것을 나타내는 도면
도 9는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판을 인식하여 화면에 출력한 것을 도시한 도면
도 10은 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 블러된 이미지에 대한 움직임 보상을 수행하는 것을 설명하는 도면
도 11은 본 발명의 일실시예에 의한 교통 표지 인식 시스템의 제어 흐름도
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용하기로 한다.
도 1은 본 발명의 일실시예에 의한 교통 표지 인식 시스템의 개략적인 블록도이다.
교통 표지 인식 시스템(100)은 영상정보 획득장치(110), 교통표지판 인식장치(120) 및 출력 장치(130)를 포함할 수 있다.
영상정보 획득장치(110)는 자동차에 장착되어 도로 이미지 및 도로 주변 사물들의 이미지를 획득할 수 있다. 도로 이미지 및 도로 주변 사물들의 이미지는 도로, 빌딩, 나무 및 집과 운행 중인 자동차와 같은 백그라운드 이미지를 포함할 수 있다. 영상정보 획득장치(110)는 통상적으로 자동차에 장착되어 교통 표지판들을 포착하기 위한 방향으로 촬영할 수 있다.
교통표지판 인식장치(120)는 교통 표지판 후보 탐지 장치(123), 교통 표지판 식별 장치(126) 및 데이터베이스(129)를 포함할 수 있다.
교통 표지판 후보 탐지 장치(123)는 교통표지판 후보를 찾기 위해 주어진 색 공간(color space)에서 색 분할(color segmentation)을 수행한다. 교통 표지판 후보 탐지 장치(123)는 색 분할 시 RGB 색공간을 HSV(Hue Saturation Value) 색공간으로 변환한다. HSV 색공간에서는 비슷한 색을 갖는 관심 물체의 Hue와 Saturation에 대한 변화가 작다. 교통 표지판 후보 탐지 장치(123)는 색 분할 동작을 수행한 후, 이진화된 영상에서 다각형 근사법 또는 원형 탐지법을 이용하여 교통표지판 후보를 탐지할 수 있다.
교통 표지판 식별 장치(126)는 탐지된 교통표지판 후보를 데이터베이스(129)에 저장된 후보군과 비교하여 매칭 과정을 진행한다. 교통 표지판 식별 장치(126)는 교통 표지판 후보 영상에 대해 아핀 변환을 적용하여 일정 크기의 표준 영상으로 변환하고, 변환된 표준 영상을 데이터베이스(129)에 저장된 후보군과 비교하여 매칭 과정을 진행할 수 있다. 교통 표지판 식별 장치(126)는 입력 영상을 변환한 표준 영상과 데이터베이스(129)에 저장된 후보군과 매칭 시 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 사용할 수 있으며 그 구체적인 방법에 대해서는 후술한다.
교통 표지판 식별 장치(126)는 아핀 변환 전에 차선에 대한 인식률 향상을 위해 움직임 보상을 수행할 수 있다. 구체적으로, 영상정보 획득장치(110)와 촬영 대상간의 상대적인 움직임에 의해 촬영된 이미지에는 움직임 방향으로 모션 블러가 발생할 수 있다. 의도되지 않은 블러 효과는 이미지 품질에 손상을 주므로 블러 효과에 의해 손상된 이미지를 복원할 필요가 있다. 블러 효과에 의해 손상된 이미지의 복원을 위해서는 블러효과를 발생시키는 블러의 성분을 정확히 알아내어야 한다. 교통 표지판 식별 장치(126)는 모션 블러가 발생된 이미지로부터 모션 블러의 성분 중 블러의 크기(blur size)와 블러의 방향(blur direction)을 추출하여 움직임 보상을 수행할 수 있다. 한편, 모션 블러란 영상정보 획득장치(110)와 촬영대상의 움직임에 의해서 화소가 혼합되어 이미지의 경계가 흐려지는 현상을 말한다.
교통 표지판 식별 장치(126)는 교통 표지를 탐지하여 꼭지점을 읽고, 2개의 영상 프레임의 모션 벡터를 얻어 블러 사이즈와 블러 방향을 추출할 수 있다. 도 10을 참조하면, 영상 프레임을 사분면으로 나누어 블러 사이즈와 블러 방향을 추출할 수 있다. 도 10에서 (0,0)은 이미지의 기점이고, 첫 번째 영상 프레임의 어느 하나의 꼭지점의 위치가 (x1,y1)이고, 두 번째 영상 프레임의 동일한 꼭지점의 위치가 (x2,y2)이면, 블러 사이즈인 길이(length)는 다음과 같다.
수식 1
Figure 112013021798656-pat00001

또한, θ는 2개의 영상 프레임 간의 블러 방향을 나타내며, 도 2에 도시한 것처럼 각 사분면에 따라 그 값이 ｒ달라진다.
교통 표지판 식별 장치(126)는 블러 사이즈와 블러 방향에 대한 정보를 추출한 후, 움직임 보상으로 수행하여 선명한 화면을 만들 수 있다. 움직임 보상을 수행하는 알고리즘은 여러 가지가 있으며, 공지된 위너 필터 등이 사용될 수 있다. 교통 표지판 식별 장치(126)는 다음과 같은 수식에 의한 알고리즘을 블러된 이미지에 적용하여 움직임 보상을 수행할 수 있다.
수식 2
Figure 112013021798656-pat00002

F(μ,ν)는 결과 이미지의 FFT(Fast Fourier Transform)이며, H(μ,ν)는 블러 사이즈와 블러 방향으로부터 계산된 점상 강도 분포 함수(Point Spread Function)의 FFT이며, H*(u,v)는 H(u,v)의 복소수 켤레(complex conjugate)이고, G(μ,ν)는 기 블러된 이미지의 FFT이며,
Figure 112013021798656-pat00003
은 SNR(Signal-Noise Ratio)이다.
교통 표지판 식별 장치(126)는 아핀 변환 후에 차선에 대한 인식률 향상을 위해 이미지 보상을 수행할 수 있다. 영상정보 획득장치(110)를 통해 입력되는 영상은 주행 중에는 많이 흔들리기 때문에 고해상도 영상이어도 정지영상보다 선명하지 않은 경우가 많다. 이러한 흔들림에 의한 화질 손실은 앞에서 기술한 모션 블러를 상쇄하는 이미지 보상으로 해결한다. 한편, 교통 표지판 식별 장치(126)에서 영상정보 획득장치(110)의 해상도가 좋지 않거나, 감지되는 교통 표지판이 매우 작은 크기를 가져 확대하였을 때 해상도가 좋지 않은 경우 다른 방식으로 이미지 보상을 수행할 수 있다. 교통 표지판 식별 장치(126)가 아핀 변환 후에 적용하는 이미지 보상은 공지된 샤프닝(sharpening) 기법 또는 인터폴레이션(interpolation) 기법 등의 초고해상도(super-resolution) 기법이 적용될 수 있다.
교통 표지판 식별 장치(126)는 1차적인 식별 과정에서 매칭에 실패할 경우, 상술한 고해상도(super-resolution) 기법을 적용하여 화질을 개선하여 비교할 수 있다. 화질 개선은 일반적으로 연산량이 많아 고속 인식 방법에 사용되기 어렵지만 적용 조건을 제한하고 교통표지판 인식이라는 응용에 한정하여 사람 눈에 대해 인식률을 증가시키는 것이 아닌 특징점의 증가를 가져오는 방법으로 매칭 가능성을 높일 경우 연산량을 최소화하여 교통표지판 알고리즘에 적용할 수 있다.
교통 표지판 식별 장치(126)는 아핀 변환 전에 움직임에 대한 보상을 수행할 수 있고, 아핀 변환 후에 초고해상도 기법을 수행할 수 있다. 교통 표지판 식별 장치(126)는 아핀 변환 전후에 상술한 보상 작업을 모두 수행하거나, 선택적으로 어느 하나만 수행할 수 있다.
교통 표지판 식별 장치(126)는 일반적으로 자동차에 설치되는 영상정보 획득장치(110)의 위치와 각도가 고정되어 있고, 교통표지판도 일정한 위치와 높이에 설치되는 것을 이용하여 입력 영상에서 교통표지판이 발견되지 않는 위치는 수색을 하지 아니하고, ROI(Region Of Interest)를 설정하여 수색 영역을 줄이는 방식으로 적용하여 초기 교통표지판 후보군 탐색에 필요한 연산 시간을 줄일 수 있다. 일반적으로 ROI를 설정하는 방법은 아래쪽은 차의 내부에 해당하는 부분을 제거하고, 위쪽은 하늘에 해당하는 부분을 제거한다. 아래쪽의 경우에는 항상 일정한 부분이 제거되지만 위쪽의 경우에는 교통표지판의 발견이 늦어질수록 하늘 부분에서도 발견될 가능성이 있으므로 완전히 ROI에서 제거하기보다는 이전 데이터를 참조하여 교통표지판 식별이 거의 안된 영역을 ROI 밖 영역으로 정하고 그 영역에서는 수색하는 픽셀의 수를 더욱 줄일 수 있다. 왜냐하면, 교통표지판이 가까운 거리일 가능성이 높아 교통 표지판의 크기가 클 가능성이 크므로 픽셀 수를 줄여도 발견할 수가 있다. 색분할 및 비교 작업이 표시판 후보군 인식에서 연산 시간의 절반 정도를 차지하므로 상술한 방법을 통해 수색 영역을 줄이면 연산시간을 크게 줄일 수 있다.
한편, 교통 표지판 식별 장치(126)는 공지된 칼만 필터(Kalman filter) 등을 이용한 추적 방법(Tracking)으로 이전 프레임에서 인식된 교통 표지판의 위치를 예측하고 식별 과정을 간략화하여 연산량을 줄일 수 있다. 즉, 칼만 필터를 이용하면 해당 영역에 대한 수색을 하지 않아도 되고 이렇게 추적되는 교통표지판은 관심영역(ROI)과 관계없이 탐지가 가능하다. 한편, 일반적인 광각 렌즈를 이용한 영상정보 획득장치(110)의 경우 입력 영상의 1/3에서 1/2 정도는 ROI 제거가 가능하며, 이는 교통표지판 인식의 고속화에 기여할 수 있다.
데이터베이스(129)는 교통 표지판의 템플릿을 저장할 수 있다. 데이터베이스(129)는 교통표지판의 특성을 이용하여 그룹 별로 교통표지판을 나누어 저장할 수 있다. 교통 표지판은 종류에 따라 색과 모양을 달리한다. 데이터베이스(129)는 주의, 규제 및 안내 표지판 등에 따라 구분하여 저장할 수 있으며, 같은 그룹 내에서는 테두리를 제외한 내부 도형의 형태만으로 비교를 하게 되는데 도형을 복잡도와 대칭, 글자 포함 여부 등에 따라 몇 개의 소그룹으로 나누어 저장할 수 있다. 상술한 방법에 의해 저장하게 되면, 식별 과정에서 교통 표지판 후보군에 대한 특징으로 파악하여 해당 소그룹을 결정함으로써 비교 대상을 줄여 식별 시간을 줄일 수 있다.
출력 장치(130)는 교통 표지판의 존재를 사용자에게 전달할 수 있다. 출력 장치(130)는 청각 신호나 다른 타입의 경고 신호를 출력할 수 있다. 탐지된 교통 표지판을 표시하기 위한 디스플레이를 포함할 수 있다. 출력 장치(130)는 탐지된 교통 표지판을 아이코닉(iconic) 형태로 표현할 수 있다.
도 2는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 판별하기 위해 색분할하는 과정을 설명하기 위한 도면이며, 도 3은 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 사용하는 HSV 색공간을 설명하기 위한 도면이다.
교통 표지판 후보 탐지 장치(123)는 입력되는 영상의 RGB 색공간을 HSV(Hue Saturation Value) 색공간으로 변환한 후 색분할을 수행할 수 있다. 일반적으로 HSV 색공간은 색을 표현하는 하나의 방법이자, 그 색을 배치하는 방식으로, 색상(Hue), 채도(Saturation), 명도(Value, Brightness)의 좌표를 써서 특정한 색을 지정하게 되며, 그 정의는 다음과 같다.
*색상(Hue) : 색상값 H는 가시광선 스펙트럼을 고리모양으로 배치한 색상환에서 가장 파장이 긴 색상을 0˚으로 하였을 때 상대적인 배치 각도를 의미한다. H값은 0˚ ~ 360˚의 범위를 가지며, 360˚와 0˚는 동일한 색상 파장을 가리킨다.
*채도(Saturation) : 채도값 S는 특정한 색상의 가장 진한 상태를 255로 하였을 때 진하기의 정도를 나타낸다.
*명도(Value) : 명도값 V는 흰색을 255, 검정을 0으로 하였을 때 밝기의 정도를 나타낸다.
상술한 HSV 색공간을 표현하는 모형으로는 원기둥 또는 거꾸로 선 원뿔 모양의 입체 도형이 있다. 도 3을 참조하면, HSV 색 공간 원기둥 모형 구성 요소의 정의에 따라 HSV 색공간이 원기둥으로 표현되는데, 원기둥의 표면과 내부의 한 점은 하나의 색을 나타낸다. 여기서 색상값은 각도로 표현되며 지정한 색이 원기둥의 수평 단면의 어느 방향에 위치하는지를 지정하게 된다. 또한, 채도는 반지름에 해당하는데 정 중앙에 무채색이 위치하며 원기둥의 곁면은 가장 진한 채도를 갖는다. 명도는 높이에 해당하며 위로 갈수록 밝게 된다. 이러한 원기둥 모형에서의 각 RGB값은 0에서 1의 범위로 조정되어 다음의 수학식 1에 의해 H, S, V값으로 변환된다.
수식 3
Figure 112013021798656-pat00004

상술한 수식 3에 의해 0≤V≤1, 0≤S≤1, 0≤H≤360과 같은 범위의 H, S, V값을 얻을 수 있게 된다.
교통 표지판 후보 탐지 장치(123)는 입력되는 이미지 프레임을 상술한 방법에 의해 HSV 색공간으로 변환한 후, 색 분할을 수행한다. 도 2를 참조하여 색분할 방법에 대한 일예를 설명한다.
교통 표지판 후보 탐지 장치(123)는 도 2(a)에 도시된 이미지를 수신한다. 도 2(a)에는 붉은색 블롭(blob) 잡음(b)이 포함되어 있다. 블롭 잡음에 대해서는 후술하겠지만 교통 표지판 인식에 장애가 되는 물체가 주위에 있음을 가정하고 이러한 영향을 배제하고 교통표지판을 인식할 수 있음을 보이기 위한 것이다.
교통 표지판 후보 탐지 장치(123)는 입력된 이미지에 포함되는 붉은 색에 대한 색분할을 실시할 수 있다. 입력된 이미지는 상위 영역과 하위 영역의 색상( Hue) 영역을 가질 수 있으며, 도 2(b)와 도 2(c)는 상위 영역과 하위 영역에서 임계값을 이용하여 구분한 영상을 도시한 도면이다. 교통 표지판 후보 탐지 장치(123)는 상위 영역과 하위 영역을 하나의 영상으로 합쳐 도 2(d)와 같이 붉은 색에 대해 완성된 색분할 영상을 얻을 수 있다. 교통 표지판 후보 탐지 장치(123)는 도면 2(d)의 영상에 잡음을 제거하고 경계선을 복구하는 선처리(preprocesing) 작업을 수행한다. 선처리(preprocessing) 과정은 공지된 기술인 메디안(Median)필터와 모폴로지(Morphology)방식을 사용하여 진행될 수 있으며, 그 결과는 도 2(e)에 도시된다.
교통 표지판 후보 탐지 장치(123)는 색분할 단계에서 붉은색이나 파란색 등 교통표지판 고유의 가장자리 색을 찾기 위해서 입력 영상의 모든 픽셀에 대해 색공간을 변환하고 비교하는 것이 아니라, 몇 개의 픽셀에 걸쳐 하나씩만 색분할에 필요한 작업을 수행할 수 있다. 교통 표지판 후보 탐지 장치(123)는 몇 개의 픽셀에 걸쳐 하나씩만 색분할에 필요한 작업을 수행하다가, 일단 하나의 픽셀이 발견되면 그 주변의 픽셀에 대해 색분할 작업을 수행하여 후보군의 영상 영역을 찾아갈 수 있다. 여기서, 교통 표지판 후보 탐지 장치(123)는 복수 개의 픽셀 중 규칙적인 단위로 픽셀을 정하여(예를 들면, 10개의 픽셀마다 1개의 픽셀) 후보군 픽셀을 탐지할 수 있다.
교통 표지판 후보 탐지 장치(123)는 기준이 다른 복수 회의 수색 작업을 실시하여 색분할 작업을 수행할 수 있다. 교통 표지판 후보 탐지 장치(123)는 1차 수색에서 기준을 완화(예를 들면, Hue의 범위 완화)하여 탐지가 잘 되도록 하고, 1차 수색에서 탐색된 픽셀을 기준으로 그 주변의 픽셀에 대한 2차 수색 시 원래의 기준(좀 더 강화된 기준)으로 수색 확장을 하여 후보군의 영상 영역을 찾아갈 수 있다.
도 4는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 판별하기 위해 다각형 패턴 또는 원형 패턴을 찾는 방법을 설명하는 도면이다.
교통 표지판 후보 탐지 장치(123)는 색분할 이후, 이진화된 영상에서 다각형 근사법을 이용하여 적절한 다각형 패턴 또는 원형 패턴을 찾는다. 교통 표지판은 일반적으로 삼각형(역삼각형 포함), 원형(팔각형 포함), 사각형의 형태를 보이므로, 후보군의 다각형 패턴 또는 원형을 찾으면 교통 표지판을 쉽게 매칭시킬 수 있다.
교통 표지판 후보 탐지 장치(123)는 이진화된 영상에서 모든 물체에 대한 윤곽선 데이터를 탐색한다. 교통 표지판 후보 탐지 장치(123)는 경계점들의 위치를 모으는 과정을 수행하여 윤곽선을 얻을 수 있다. 이진화된 영상에서 경계점들의 위치는 1 또는 0의 색상값을 갖는 픽셀에서 다른 색상값을 갖는 픽셀로 넘어가는 지점에 있는 픽셀의 위치이다.
교통 표지판 후보 탐지 장치(123)가 탐색하는 윤곽선은 외부 윤곽선과 내부 홀 윤곽선으로 나누어진다. 도 4(a)를 참조하면, 최외곽에 위치하는 윤곽선은 빨간색으로 표시하였으며, 내부 홀 윤곽선은 파란색으로 구분될 수 있다. 교통 표지판 탐색 과정에서 관심 영역은 1차 내부 홀이다. 보통 주의 및 규제 표지판은 대부분 붉은 테두리를 가지고 있고, 그 내부에 그림문자가 존재하기 때문에 1차 내부 홀이 교통표지판 인식에 있어 중요한 영역이 된다.
교통 표지판 후보 탐지 장치(123)는 1차 내부 홀 윤곽선을 찾으면 다각형 근사법 또는 원형 탐지법을 적용할 수 있다. 교통 표지판 후보 탐지 장치(123)는 1차 내부 홀 윤곽선에서 두 개의 극점(extremal point)을 찾아 그들을 잇는 선분을 만든다. 그리고, 윤곽선의 다른 극점 중 선분에서 가장 먼 극점을 상술한 선분에 잇는다. 이 과정을 반복하여 삼각형, 오각형, 팔각형 등과 같은 다각형이 되면 교통표지판 후보가 탐지된 것으로 간주한다. 이 때, 원형 탐지법의 경우에는 공지된 허프 변환을 이용할 수 있는데, 허프 변환은 먼저 XY 좌표를 극좌표로 바꾸고, 데이터 수집 알고리즘을 통해 허프 공간에서 가장 유력한 점을 모아 가능한 원을 구성한 뒤 다시 XY 좌표로 변환하여 원의 중심과 반지름을 얻을 수 있다. 한편, 허프 변환을 이용하여 원 또는 다각형을 탐지하는 기술은 상술한 방법 외에 공지된 모든 방법이 사용될 수 있음은 물론이다.
도 4b는 내부의 삼각형을 찾은 결과를 보여주는 도면으로 파란색은 내부 삼각형의 외각선을 표시한 것이다. 도 2(a)와 도 2(b)를 보면 붉은 블롭 모양의 도형이 위치하는 것을 알 수 있으나, 상술한 것처럼 1차 내부 홀 윤곽선을 이용하면 붉은 블롭 모양의 도형을 제거하여 잡음에 덜 민감한 것을 알 수 있다.
교통 표지판 후보 탐지 장치(123)는 상술한 과정이 끝나면 아핀 변환(Affine Transformation) 과정을 거쳐 소정 크기의 영상, 예를 들면, 200 × 200 픽셀 크기의 표준 크기로 변환시키고, 미리 저장된 템플릿과 비교가 용이한 표준 회전각도로 영상을 변환시킬 수 있다. 영상정보 획득장치(110)를 통해 입력되는 영상이 일반적으로 차량의 정면을 향하므로 교통표지판에 대한 영상은 기울어진 형태가 된다. 그런데, 영상 속 교통 표지판은 기울어진 형태에 따라 다르게 보여 교통 표지판의 식별이 어려워진다는 문제점이 있으므로, 아핀 변환을 통해 선택된 부분을 데이터베이스(129)에 미리 저장된 교통 표지판과 비슷한 크기로 표준화하고, 표준 회전각으로 영상을 회전시키면 식별 과정에서 인식률을 높일 수 있다. 아핀 변환은 한 벡터공간을 다른 벡터공간으로 대응시키는 변환으로, 선형 변환과 평행 이동 변환의 합성으로 이루어져 있다. 수식을 표기하면, 아핀 변환 T는 다음과 같은 형태를 가지고 있다.
수식 4
T(x) = Ax + b
여기서 A는 행렬. x와 b는 벡터이다.
하나의 기하체에 아핀 변환을 적용하게 되면 변환된 기하체는 원래 기하체와 평행 관계를 이루게 되며, 기하체의 이동, 회전, 스케일 변환 등이 아핀 변환에 해당하게 된다.
한편, 아핀 변환은 영상정보 획득장치(110)에서 많이 기울어져 있는 교통 표지판에 대해 기울어진 각도를 보정하여 식별률을 높이기 위한 과정이이므로, 교통 표지판이 많이 기울어 있지 않다면 이러한 아핀 변환 과정이 필요없다. 따라서, 다각형 근사에서 다각형의 모양을 판별하여 회전각이 크지 않으면 아핀 변환을 생략하여 연산 시간을 줄일 수 있다. 또한, 식별된 교통표지판에 대해 칼만 필터 등을 이용하여 추적할 때, 교통 표지판은 프레임에 따라 점점 기울어진 각도에서 촬영되어 영상이 입력된다. 이 때, 데이터베이스(129)에 저장된 정보와 비교하는 과정을 거치지 않고 이전 프레임의 교통 표지판 영상과 비교하면 아핀 변환이 필요없고 추출하는 특징점의 수도 줄일 수 있다. 이에 따라, 아핀 변환은 입력되는 영상과 데이터 베이스(129)에 저장된 템플릿의 회전각 및 크기를 동일하게 하여 추출하는 특징점의 수를 줄이면서 인식률을 높이는 효과가 있다.
교통 표지판 후보 탐지 장치(123)는 도 4(d)를 참조하면, 아핀 변환 후 1차 내부 홀 윤곽선의 외곽에 위치한 배경을 제거하여 교통표지판 식별 준비를 할 수 있다.
교통 표지판 후보 탐지 장치(123)는 표준 영상이 준비되면 데이터베이스에 저장된 템플릿과 매칭 포인트를 산출하기 위해 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 적용할 수 있다. 이하, 특징점 매칭을 위해 SURF 알고리즘과 ORB 알고리즘을 적용하는 방법에 대해 설명하며, SURF 알고리즘 또는 ORB 알고리즘의 적용 여부는 설계 시 정해질 수 있다.
도 5는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 데이터베이스에 저장된 템플릿과 비교하기 위해 SURF 알고리즘을 적용하는 방법을 설명하기 위한 도면이며, 도 6은 도 5의 방법에 의해 탐색한 입력 영상의 특징점을 데이터베이스에 저장된 템플릿의 특징점과 비교하는 것을 나타내는 도면이다.
교통 표지판 후보 탐지 장치(123)는 교통 표지판 식별을 위한 특징점 추출을 위해 SURF 알고리즘을 적용할 수 있다. SURF 알고리즘은 특징점을 추출하기 위해 박스 필터를 이용한 회선 연산을 반복적으로 수행한다. 박스 필터의 회선 연산은 필터 내부에 존재하는 화소값의 합을 구하는 작업을 수행하는 것이다. 이 때 적분 영상(Integral Image)을 생성하면 박스 필터의 크기와 상관없이 빠른 속도로 회선 연산을 수행할 수 있어, 스케일 공간 생성 시 처리되는 연산량을 감소시킬 수 있다. 적분 영상을 사용하면 영상에서 임의의 크기의 부분 영역을 선택하더라도 4번의 연산을 수행하면 선택된 영역의 모든 화소의 합을 구할 수 있다. 먼저 입력 영상의 사각형 영역의 특정 위치에서 모든 화소값을 더하면 적분 영상을 생성할 수 있다.
수식 5
Figure 112013021798656-pat00005

수식 5에서 Iint(X)는 X = (X,Y)T의 위치에 대한 적분 영상을 나타낸다. 또한, I(i,j)는 입력 영상에서 화소값을 나타낸다. 적분 영상은 연산 영역에 종속적이지 않기 때문에 큰 필터 사이즈를 반복해서 계산하는데 매우 효과적으로 사용할 수 있는 장점을 가지고 있다.
SURF 기반의 특징점 추출에서는 고속으로 특징점을 추출하기 위해 가우시안 필터를 사용하지 않고 헤이시안 행렬 기반의 추출기를 사용한다. 헤이시안 행렬 기반의 추출기는 가우시안 2차 미분의 극값을 추출하여 특징점을 추출한다. 이 때, 헤이시안 행렬 기반의 추출기에서 가우시안 2차 미분을 사용하지 않고 근사화된 박스 필터를 사용한다. 따라서 근사화된 헤이시안 행렬 기반의 추출기를 사용하여 원본 영상의 스케일은 변화시키지 않고 박스 필터의 크기만 증가시켜 다양한 스케일 변화에 강인한 특징점을 추출할 수 있다. 헤이시안 행렬은 2차 미분된 가우시안 필터와 회선 연산을 통하여 얻을 수 있으며, 수식 6과 같이 나타낼 수 있다.
수식 6
Figure 112013021798656-pat00006

수식 7
Figure 112013021798656-pat00007

여기서, Lxx(x,σ)는 입력 영상의 X = I(x,y)인 점에서 σ의 스케일을 갖는 x방향(수평)의 2차 미분된 가우시안 필터와 입력 영상의 회선 연산을 의미한다. 또한, LXY(X,σ)과 Lyy(X,σ)는 각각 xy방향(대각)과 y방향(수직)으로 2차 미분된 가우시안 필터와 입력 영상의 회선 연산을 나타낸다. 그러나 가우시안 필터는 연산량이 많아 수행 속도가 느리다는 단점을 가지고 있다, SURF에서는 박스 필터를 사용하여 가우시안 2차 미분의 회선 연산을 근사화한 값을 적용한다. 따라서 근사화시킨 헤이시안 행렬은 다음 수식 8과 같이 나타낼 수 있다.
수식 8
Figure 112013021798656-pat00008

수식 9
Figure 112013021798656-pat00009

여기서 Dxx는 Lxx를 근사화시킨 것으로 수식 9에서 나타나듯이 입력 영상과 박스 필터를 이용한 회선 연산을 의미한다. Bf(xx)는 x방향의 박스 필터를 의미한다. Bf(xx)는 박스 필터를 이용함으로써 연산량을 크게 줄여 같은 크기의 필터를 처리하는 연산에서 우수한 성능을 보인다. 각 스케일에 따라 박스 필터의 크기를 변경시켜 헤이시안 행렬식의 값을 구하면 이미지 피라미드를 생성할 수 있다. 그리고, 생성된 이미지 피라미드에서 헤이시안 행렬식의 값이 임계값보다 크고 인접한 영역의 이웃 픽셀보다 클 경우 특징점으로 추출한다.
도 5(a)와 도 5(b)는 입력된 영상에서 탐지된 교통표지판 후보 영상과 SURF 알고리즘에 의해 생성된 특징점을 나타낸다. 한편, 도 5에서 입력 영상은 720 x 480크기의 동영상이고 탐지 과정에서 추출된 도형은 아핀 변환에 의해 200 × 200의 표준 크기로 바뀐다. 여기서 추출된 포인트는 155개이다. 도 5(c)와 도 5(d)는 데이터베이스(129)에 저장된 템플릿과 그에 대해 SURF 알고리즘을 적용하여 특징점을 찾은 결과이다. 도면 5(d)에서 추출된 특징점의 수는 88개이다. 입력 영상에서 얻은 도형은 확대된 형태여서 가장자리가 매끄럽지 않아 더 많은 특징점이 추출될 수 있다. 도면 6은 상술한 2개의 특징점 리스트에 대해 서술자를 비교하여 매칭 포인트를 찾은 결과이며, 매칭 포인트의 개수는 15개로 판정되었다.
도 7은 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판 후보군을 데이터베이스에 저장된 템플릿과 비교하기 위해 ORB 알고리즘을 적용하는 것을 설명하는 도면이며, 도 8은 도 7의 방법에 의해 탐색한 입력 영상의 특징점을 데이터베이스에 저장된 템플릿의 특징점과 비교하는 것을 나타내는 도면이다.
ORB(Oriented FAST and Rotated BRIEF) 알고리즘은 FAST 특징점 감지와 BRIEF 특징점 서술(description) 알고리즘의 조합이다. FAST와 그 변형 방식들은 시각적 특징과 매치되는 실시간 시스템의 특징점(또는 키포인트)을 찾기 위해 선택하는 방식이다. BRIEF는 스무드(Smoothed) 효과를 적용한 이미지에서 픽셀 사이의 단순한 이진 테스트를 사용하는 최근에 공지된 특징 서술자이며, 그 성능은 조명 효과, 블러(blur), 그리고 원근 왜곡(perspective) 등에 강한 특성을 포함하여 여러 가지 면에서 SIFT와 비슷하다. ORB 알고리즘으로 입력 영상의 특징점을 추출하는 기술은 논문 "E, Rublee, v, Rabaud, : ORB : An efficient alternative to SIFT or SURF"에 상세히 기재되어 있다. 한편, 도 7(b)에서 입력 영상으로부터 추출된 특징점은 293개이고, 도 7(d)의 데이터베이스(129)의 템플릿에서 추출된 특징점은 183개이며, 도 8의 매칭 포인트 개수는 82개로 SURF 알고리즘에 의한 매칭 포인트와 비교 시 개수가 증가한 것을 알 수 있다.
도 9는 본 발명의 일실시예에 의한 교통 표지 인식 시스템에서 교통 표지판을 인식하여 화면에 출력한 것을 도시한 도면이다.
출력 장치(130)는 교통 표지판이 인식되면 그 정보를 사용자에게 전달할 수 있다. 교통 표지판은 청각 신호와 같이 경고 신호를 출력할 수도 있지만, 도 9에 도시한 바와 같이 화면상에 탐지된 교통 표지판을 표시할 수 있다. 출력 장치(130)는 영상에서 탐지된 복수 개의 교통 표지판을 동시에 표시할 수도 있다.
도 10은 본 발명의 일실시예에 의한 교통 표지 인식 시스템의 제어 흐름도이다.
영상정보 획득 장치(110)는 도로 이미지 및 도로 주변 사물들의 이미지를 획득할 수 있다. 영상정보 획득 장치(110)는 자동차와 같은 차량의 일측에 설치되어 전방의 화면을 촬영할 수 있다.(200)
교통표지판 인식장치(120)는 입력된 이미지의 색공간을 HSV공간으로 변환한 후 색분할을 수행하여 교통 표지판 후보군을 탐지할 수 있다. 교통표지판 인식장치(120)는 복수 개의 픽셀 중 규칙적인 순서 또는 불규칙적인 순서로 픽셀을 정하여 색공간 변환 및 색분할 작업을 수행할 수 있다. 교통표지판 인식장치(120)는 1차 수색 시 탐색 기준을 완화하여 후보 픽셀을 탐색하고, 탐색된 후보 픽셀 주변의 픽셀에 대한 2차 수색 시 원래의 탐색 기준(즉, 완화되기 전의 탐색 기준)을 적용하여 색분할에 필요한 작업을 수행할 수 있다.(210,220)
교통표지판 인식 장치(120)는 색분할 작업이 수행된 후, 이진화된 영상을 추출하여 다각형 근사법 또는 원형 탐지법을 적용할 수 있다. 교통표지판 인식 장치(120)는 다각형 또는 원이 추출되면 아핀 변환을 적용하여 일정 크기의 표준 영상으로 변환할 수 있다.(230)
교통표지판 인식 장치(120)는 변환된 표준 영상과 데이터베이스(129)에 저장된 템플릿을 매칭하여 교통표지판을 인식할 수 있다. 교통표지판 인식 장치(120)는 변환된 표준 영상과 데이터베이스(129)에 저장된 템플릿 매칭 시 SURF 알고리즘 또는 ORB 알고리즘을 적용할 수 있으며, 설계 시 미리 정해진 알고리즘에 따라 매칭 과정을 진행할 수 있다.(240)
출력 장치(130)는 교통표지판 인식 장치(120)에 의해 인식된 교통 표지판에 대한 정보를 출력할 수 있다. 교통 표지판에 대한 정보 출력은 음성 신호 출력 방법, 화면 신호 출력 방법 등 여러 가지 방법이 사용될 수 있다.(250)
비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위의 범위에 속함은 자명하다.

Claims (17)

  1. 이미지를 획득하는 영상정보 획득장치; 및
    상기 이미지의 색분할을 수행하고, 다각형 근사법 또는 원형 탐지법을 이용하여 상기 이미지에 매칭되는 다각형 또는 원을 추출하여 교통 표지판 후보를 산출하고,
    상기 교통 표지판 후보를 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 통해 미리 저장된 템플릿과 비교하여 교통 표지판을 인식하는 교통표지판 인식장치를 포함하되,
    상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은,
    상기 이미지에 포함되는 픽셀에 대해 완화된 기준에 따라 1차 수색을 수행하고, 상기 1차 수색에 따라 상기 픽셀이 교통표지판의 색상을 포함하는 것으로 확인되면, 상기 픽셀의 주변 픽셀에 대해 2차 수색을 수행하는 것을 포함하는 교통 표지 인식 시스템.
  2. 제 1 항에 있어서,
    상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은,
    상기 이미지의 색공간을 HSV(Hue Saturation Value) 색공간으로 변환하고, 상기 이미지의 색분할을 수행하는 것인 교통 표지 인식 시스템.
  3. 제 1 항에 있어서,
    상기 교통표지판 인식장치가 상기 이미지의 색분할을 수행하는 것은,
    상기 이미지에 포함되는 복수 개의 픽셀 중 규칙적인 순서 또는 불규칙적인 순서에 해당하는 픽셀에 대해 색분할을 수행하는 것인 교통 표지 인식 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 이미지에 포함되는 픽셀에 대해 완화된 기준에 따라 1차 수색을 수행하는 것은,
    상기 이미지에 포함되는 픽셀에 대해 색상(Hue)의 범위 기준을 넓게 지정하여 상기 교통표지판에 해당하는 색상을 포함하는 픽셀을 수색하는 것을 포함하는 교통 표지 인식 시스템.
  6. 제 1 항에 있어서,
    상기 픽셀의 주변 픽셀에 대해 2차 수색을 수행하는 것은,
    상기 1차 수색에서 탐지된 픽셀의 주변 픽셀에 대해 상기 1차 수색 시보다 강화된 기준을 적용하여 상기 1차 수색에서 탐지된 픽셀의 주변 픽셀이 상기 교통표지판의 색상을 포함하는지 수색하는 것을 포함하는 교통 표지 인식 시스템.
  7. 제 1 항에 있어서,
    상기 교통 표지판 인식 장치가 상기 교통 표지판 후보를 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 통해 미리 저장된 템플릿과 비교하여 교통 표지판을 인식하는 것은,
    상기 교통 표지판 후보에 대한 영상에 아핀 변환을 적용하여 표준 크기와 표준 회전각의 영상으로 변환하고, 상기 표준 크기와 표준 회전각의 영상을 상기 템플릿과 비교하여 교통 표지판을 인식하는 것을 포함하는 교통 표지 인식 시스템.
  8. 제 1 항에 있어서,
    상기 교통 표지판 인식 장치에 의해 인식된 교통 표지판에 대한 정보를 음성 또는 화면으로 출력하는 출력 장치를 더 포함하는 교통 표지 인식 시스템.
  9. 제 1 항에 있어서,
    상기 교통 표지판 인식 장치는 상기 이미지를 통해 교통 표지판 후보를 탐지하는 교통 표지판 후보 탐지 장치, 상기 교통 표지판 후보를 미리 저장된 템플릿과 매칭시켜 교통 표지판을 식별하는 교통 표지판 식별 장치 및 상기 템플릿을 저장하는 데이터베이스를 포함하는 교통 표지 인식 시스템.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9 항에 있어서,
    상기 데이터 베이스는 상기 교통표지판의 특성을 색과 모양에 따라 그룹별로 나눈 템플릿으로 저장하는 교통 표지 인식 시스템.
  11. 제 1 항에 있어서,
    상기 교통표지판 인식장치는 획득한 이미지에서 움직임 보상을 수행할 수 있으며, 상기 움직임 보상은 상기 이미지에 대한 블러 정보를 검출하고, 상기 블러 정보를 사용하여 손상된 이미지를 복원하는 것인 교통 표지 인식 시스템.
  12. 입력되는 영상에 대한 색분할을 수행하고, 상기 색분할된 영상으로부터 다각형 또는 원을 추출하여 교통표지판 후보를 탐색하고,
    상기 교통표지판 후보 영상에 대해 아핀 변환을 수행하여 표준 영상으로 변환하고,
    상기 표준 영상으로 변환된 교통 표지판 후보 영상을 미리 저장된 템플릿과 특징점을 매칭시켜 교통 표지판을 식별하되,
    상기 교통표지판 후보를 탐색하는 것은,
    상기 입력되는 영상에 포함되는 복수 개의 픽셀 중 일부 픽셀에 대해 1차적으로 색분할을 수행하고, 상기 색분할이 수행된 일부 픽셀이 상기 교통표지판의 색상을 포함하는 것으로 확인되면, 상기 픽셀의 주변 픽셀에 대해 2차적으로 색분할을 수행하여 상기 교통표지판 후보를 탐색하는 것을 포함하는 교통 표지 인식 방법.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 교통표지판 후보 영상에 대해 아핀 변환을 수행하여 표준 영상으로 변환하는 것은,
    상기 미리 저장된 템플릿의 규격에 해당하는 영상으로 상기 교통표지판 후보 영상을 변환하는 것인 교통 표지 인식 방법.
  15. 제 12 항에 있어서,
    상기 표준 영상으로 변환된 교통 표지판 후보 영상을 미리 저장된 템플릿과 특징점을 매칭시켜 교통 표지판을 식별하는 것은,
    상기 교통 표지판 후보 영상과 상기 미리 저장된 템플릿에 SURF(Speed Up Robust Features) 알고리즘 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 적용하여 특징점을 매칭하는 것을 포함하는 교통 표지 인식 방법.
  16. 제 12 항에 있어서,
    상기 입력되는 이미지에 대한 색분할을 수행하는 것은,
    상기 이미지의 일정한 범위를 ROI(Region of Interest)로 설정하고, 상기 ROI 영역 내부의 이미지에 대해 색분할을 수행하는 것으로 포함하는 교통 표지 인식 방법.
  17. 제 12 항에 있어서,
    상기 교통표지판 후보 영상에 대해 아핀 변환을 수행하여 표준 영상으로 변환하는 것은,
    상기 입력되는 영상과 상기 미리 저장된 템플릿의 회전각 및 크기를 동일한 규격으로 변환하는 것인 교통 표지 인식 방법.
KR1020130026724A 2013-03-13 2013-03-13 교통 표지 인식 방법 및 그 시스템 KR101409340B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130026724A KR101409340B1 (ko) 2013-03-13 2013-03-13 교통 표지 인식 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130026724A KR101409340B1 (ko) 2013-03-13 2013-03-13 교통 표지 인식 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR101409340B1 true KR101409340B1 (ko) 2014-06-20

Family

ID=51133374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130026724A KR101409340B1 (ko) 2013-03-13 2013-03-13 교통 표지 인식 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101409340B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039192A1 (ko) * 2015-09-02 2017-03-09 김석배 눈부심 방지형 차량용 도로표시판 및 도로차선 식별장치
KR101727309B1 (ko) 2015-09-17 2017-04-24 계명대학교 산학협력단 공간 피라미드 특징을 이용한 실시간 속도 제한 표지판 검출 및 속도 인식 방법과 그에 관한 장치
WO2018012729A1 (ko) * 2016-07-14 2018-01-18 삼성전자 주식회사 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
KR101878239B1 (ko) * 2017-03-22 2018-07-13 경남대학교 산학협력단 모바일 로봇 기반의 도서 관리 시스템
KR20180087532A (ko) * 2017-01-24 2018-08-02 울산대학교 산학협력단 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
CN108520533A (zh) * 2018-03-28 2018-09-11 武汉大学 一种面向工件定位的多维度特征配准方法
KR102091591B1 (ko) * 2019-09-04 2020-03-20 (주)아이피캠프 장애인 주차표지 인식 시스템 및 방법
CN112950623A (zh) * 2021-03-29 2021-06-11 云印技术(深圳)有限公司 一种唛头识别方法及系统
CN112989900A (zh) * 2019-12-13 2021-06-18 深动科技（北京）有限公司 一种精确检测交通标志或标线的方法
KR20220126560A (ko) * 2021-03-09 2022-09-16 국민대학교산학협력단 이중 임계범위 기반의 객체 추출장치 및 그 방법
US11780444B2 (en) 2018-10-04 2023-10-10 Samsung Electronics Co., Ltd. Driving assistance apparatus and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218361A (ja) * 2009-03-18 2010-09-30 Zenrin Co Ltd 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム
WO2011154978A2 (en) * 2010-06-10 2011-12-15 Tata Consultancy Services Limited An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218361A (ja) * 2009-03-18 2010-09-30 Zenrin Co Ltd 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム
WO2011154978A2 (en) * 2010-06-10 2011-12-15 Tata Consultancy Services Limited An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RABIA MALIK 외 2인. Road Sign Detection and Recognition using Colour Segmentation, Shape Analysis and Template matching. Proc. of the 6th Int. Conf. on Machine Learning and Cybernetics. Aug. 2007. *
RABIA MALIK 외 2인. Road Sign Detection and Recognition using Colour Segmentation, Shape Analysis and Template matching. Proc. of the 6th Int. Conf. on Machine Learning and Cybernetics. Aug. 2007.*
Zhihui Zheng 외 3인. Robust Traffic Sign Recognition and Tracking for Advanced Driver Assistance Systems. 2012 15th International IEEE Conf. on Intelligent Transportation Systems. Sep, 2012. *
Zhihui Zheng 외 3인. Robust Traffic Sign Recognition and Tracking for Advanced Driver Assistance Systems. 2012 15th International IEEE Conf. on Intelligent Transportation Systems. Sep, 2012.*

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576875B2 (en) 2015-09-02 2020-03-03 Sug Bae Kim Anti-glare type vehicle road signboard and road lane identification device
KR101728494B1 (ko) * 2015-09-02 2017-05-02 김석배 눈부심 방지형 차량용 도로표시판 및 도로차선 식별장치
WO2017039192A1 (ko) * 2015-09-02 2017-03-09 김석배 눈부심 방지형 차량용 도로표시판 및 도로차선 식별장치
CN108349425A (zh) * 2015-09-02 2018-07-31 金石培 防眩型车辆道路标志牌与道路车道识别装置
KR101727309B1 (ko) 2015-09-17 2017-04-24 계명대학교 산학협력단 공간 피라미드 특징을 이용한 실시간 속도 제한 표지판 검출 및 속도 인식 방법과 그에 관한 장치
WO2018012729A1 (ko) * 2016-07-14 2018-01-18 삼성전자 주식회사 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
US11170247B2 (en) 2016-07-14 2021-11-09 Samsung Electronics Co., Ltd. Display apparatus and text recognizing method thereof
KR20180087532A (ko) * 2017-01-24 2018-08-02 울산대학교 산학협력단 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
KR101944607B1 (ko) * 2017-01-24 2019-02-01 울산대학교 산학협력단 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
KR101878239B1 (ko) * 2017-03-22 2018-07-13 경남대학교 산학협력단 모바일 로봇 기반의 도서 관리 시스템
CN108520533B (zh) * 2018-03-28 2021-08-03 武汉大学 一种面向工件定位的多维度特征配准方法
CN108520533A (zh) * 2018-03-28 2018-09-11 武汉大学 一种面向工件定位的多维度特征配准方法
US11780444B2 (en) 2018-10-04 2023-10-10 Samsung Electronics Co., Ltd. Driving assistance apparatus and image processing method
KR102091591B1 (ko) * 2019-09-04 2020-03-20 (주)아이피캠프 장애인 주차표지 인식 시스템 및 방법
CN112989900A (zh) * 2019-12-13 2021-06-18 深动科技（北京）有限公司 一种精确检测交通标志或标线的方法
KR20220126560A (ko) * 2021-03-09 2022-09-16 국민대학교산학협력단 이중 임계범위 기반의 객체 추출장치 및 그 방법
KR102487680B1 (ko) * 2021-03-09 2023-01-12 국민대학교산학협력단 이중 임계범위 기반의 객체 추출장치 및 그 방법
CN112950623A (zh) * 2021-03-29 2021-06-11 云印技术(深圳)有限公司 一种唛头识别方法及系统

Similar Documents

Publication Publication Date Title
KR101409340B1 (ko) 교통 표지 인식 방법 및 그 시스템
Wu et al. Lane-mark extraction for automobiles under complex conditions
US10592754B2 (en) Shadow removing method for color image and application
US9269001B2 (en) Illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
CN102509098B (zh) 一种鱼眼图像车辆识别方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
US8934669B2 (en) Self-adaptive image-based obstacle detection method
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
Wu et al. Raindrop detection and removal using salient visual features
JP2011216051A (ja) 信号灯識別プログラムおよび信号灯識別装置
Shi et al. A vision system for traffic sign detection and recognition
CN107886033B (zh) 识别圆形交通灯的方法、装置及车辆
Salarian et al. A vision based system for traffic lights recognition
Lim et al. Lane detection and Kalman-based linear-parabolic lane tracking
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
Mitra et al. Automatic number plate recognition system: a histogram based approach
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
KR101862994B1 (ko) 자율차량을 위한 정지선 검출 방법
Nguyen et al. Fast traffic sign detection under challenging conditions
Phu et al. Traffic sign recognition system using feature points
John et al. Automatic number plate localization using dynamic thresholding and morphological operations
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
Romic et al. Real-time multiresolution crosswalk detection with walk light recognition for the blind
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
Zhang et al. A novel detection and recognition system for Chinese traffic signs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 6