KR101799778B1 - 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법 - Google Patents

원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법 Download PDF

Info

Publication number
KR101799778B1
KR101799778B1 KR1020160052750A KR20160052750A KR101799778B1 KR 101799778 B1 KR101799778 B1 KR 101799778B1 KR 1020160052750 A KR1020160052750 A KR 1020160052750A KR 20160052750 A KR20160052750 A KR 20160052750A KR 101799778 B1 KR101799778 B1 KR 101799778B1
Authority
KR
South Korea
Prior art keywords
traffic sign
circle
prototypes
circular
recognition
Prior art date
Application number
KR1020160052750A
Other languages
English (en)
Other versions
KR20160128928A (ko
Inventor
앱하우 요헨
패닝 악셀
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Publication of KR20160128928A publication Critical patent/KR20160128928A/ko
Application granted granted Critical
Publication of KR101799778B1 publication Critical patent/KR101799778B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G06K9/00818—
    • G06K9/3233—
    • G06K9/3275—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 설치된 전방 카메라를 통해 획득한 전방 영상에서 물체의 원을 나타내는 원형들을 분류하여 화이트 이너 서클과 관련된 경우에 원형 교통 표지로 인식하고 그 인식을 확인하는 원형 교통 표지 인식 확인 장치 및 방법에 관한 것이다.
본 발명에 따른 원형 교통표지 인식 확인장치는, 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하고, 상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하며, 원형 교통 표지를 인식하는 표지 인식부; 및 상기 원형 교통 표지의 인식을 화이트 이너 서클을 이용하여 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어하는 제어부를 포함할 수 있다.

Description

원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법{Method and apparatus for confirmation of relevant white inner circle in environment of circular traffic sign recognition}
본 발명은 차량에 설치된 전방 카메라를 통해 획득한 전방 영상에서 물체의 원을 나타내는 원형들을 분류하여 화이트 이너 서클(White Inner Circle)과 관련된 경우에 원형 교통 표지로 인식하는 운전자 지원 시스템의 향상된 교통 표지 인식에 관한 것이다.
최근 운전자 지원 시스템(Driver Assistant System)은 운전자에게 교통정보를 실시간 자동으로 제공하여 운전의 편리함과 사고 예방을 도모할 수 있다.
그 중 TSR(Traffic Sign Recognition) 시스템은 차량에 장착 된 카메라를 이용하여 전방의 교통 표지(Traffic Sign)를 인식(Recognition)하여, 운전자에게 현재 제한 속도, 최저 속도, 기타 도로 정보를 알려주는 시스템이다.
특히, 영상을 이용하여 정확하게 교통 표지를 인식하는 것은 TSR 시스템의 성능에 있어서 매우 중요한 것이다.
ADAS(Advance Driver Assistance System) 영상인식장치는 카메라를 통하여 디지털 형태로 입력된 영상에 대하여 수치해석기법을 이용하여 처리하기 때문에 입력되는 영상의 특성에 따라 그 성능이 크게 좌우될 수 있다.
반사형 교통 표지의 경우, 주간에는 주로 태양광이, 야간에는 가로등, 자차량 및 타차량의 전조등이 교통 표지에 반사되어 ADAS 영상인식장치의 카메라로 입사(入射)되어 디지털 영상으로 변환되는 과정을 거치기 때문에 주변 광원의 밝기나, 방향에 크게 영향을 받는다.
한편, 발광형 교통 표지의 경우, 다른 광원과 관계없이 자체 광원에서 발생하는 빛이 영상인식장치의 카메라에 입사되기 때문에 주변 광원의 영향을 받지 않는다. 이와 같은 특성의 차이로 인해 동일한 카메라에서 두 가지 교통 표지를 촬영하여 인식 가능하도록 하는 것은 쉽지 않은 문제점이 있다.
한국 등록특허 제10-1353052호(등록일 : 2014년 01월 13일)
전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량에 설치된 전방 카메라를 통해 획득한 전방 영상에서 물체의 원을 나타내는 원형들을 분류하여 화이트 이너 서클과 관련된 경우에 원형 교통 표지로 인식하고 그 인식을 확인하는 원형 교통 표지 인식 확인 장치 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 원형 교통표지 인식 확인장치를 제시한다. 상기 확인 장치는 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하고, 상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하며, 원형 교통 표지를 인식하는 표지 인식부; 및 상기 원형 교통 표지의 인식을 화이트 이너 서클을 이용하여 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 분류된 교통 표지 원형의 중앙에 기본 참조 영역(RB)을 설정하고, 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하며, 상기 기본 참조 영역(RB)으로부터 비교 기준값(Reference Value, VB)을 산출할 수 있다.
상기 제어부는, 상기 하나 이상 다수의 엣지 영역들(Rj)에 대하여, 최대 강도(the maximum intensity of the area)가 상기 비교 기준값(VB)보다 더 밝거나 또는 적어도 허용오차 이내에 있는 픽셀들의 비가 최소 품질 임계치를 만족하는 경우에 상기 화이트 이너 서클이 정확하게 위치된 원으로 검증할 수 있다.
상기 제어부는, 상기 분류된 교통 표지 원형의 중앙에 기본 참조 영역(RB)을 설정하고, 상기 중앙으로부터 반경 이내에 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정할 수 있다.
상기 제어부는, 상기 분류된 교통 표지 원형들에 대하여 붉게 구획된 교통 표지 또는 선명한 교통 표지 화이트 이너 서클에 근거해 각 영역들이 가지는 선명도에 따른 픽셀 비가 비교 기준값 보다 더 밝거나 최소 품질 임계치를 만족하는 경우에 상기 화이트 이너 서클이 정확하게 위치하여 상기 원형 교통 표지의 인식이 올바른 것으로 확인할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 원형 교통표지 인식 확인 방법을 제시한다. 상기 방법은 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 단계; 상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하는 단계; 상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하는 단계; 상기 분류된 교통 표지 원형들에 대해 원형 교통 표지를 인식하는 단계; 및 상기 원형 교통 표지의 인식을 화이트 이너 서클을 이용하여 확인하는 단계를 포함할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 원형 교통 표지 인식을 확인하기 위한 프로세서를 제시한다. 상기 프로세서는, 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 영상 획득부; 및 상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하고 상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하며 원형 교통 표지를 인식하는 표지 인식부와 연결될 수 있다. 상기 프로세서는 상기 원형 교통 표지의 인식을 화이트 이너 서클을 이용하여 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어하도록 구성될 수 있다.
본 발명에 의하면, 차량이 주행할 때 전방을 촬영하여 획득한 전방 영상에서 원형 교통 표지를 분류하여 인식하고, 인식한 것을 확인하여 운전자에게 안내할 수 있다.
따라서, 눈이나 비가 많이 내리는 악천후 상황에서 운전자가 시각적으로 원형 교통 표지를 인식하지 못하더라도 차량에서 자동으로 원형 교통 표지를 인식하고, 인식된 교통 표지 내용을 확인하여 운전자에게 알려주게 됨으로써 악천후 상황에서도 교통 표지에 따라 안전하게 운행할 수 있다.
도 1은 본 발명의 실시예에 따른 원형 교통표지 인식 확인 장치의 기능 블럭을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 원형 교통표지 인식 확인 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따라 전방 영상에서 물체의 원을 나타내는 원형들을 검출하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 전방 영상에서 검출된 원형들 중 교통 표지를 나타내는 교통 표지 원형들을 분류하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 분류한 교통 표지 원형들의 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따라 전체 패턴 모델에서 원형이 시프트(shift) 된 예를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 확인 검사를 위한 영역들을 정의하는 예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 최적으로 목표된 화이트 서클 예를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 화이트 이너 서클이 교통 표지 원형에 정확히 위치하지 않는 예를 나타낸 도면이다.
도 10은 본 발명에 적용된 원기둥 모양의 HSV 색 공간 모형의 일례를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 원형 교통표지 인식 확인 장치의 기능 블럭을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 원형 교통표지 인식 확인 장치(100)는 영상 획득부(110), 표지 인식부(120), 제어부(130), 저장부(140) 및 출력부(150)를 포함한다.
영상 획득부(110)는 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득한다.
표지 인식부(120)는 획득된 전방 영상에서 도 3에 도시된 바와 같이 물체의 원을 나타내는 원형들을 검출하고, 원형들에 대해 도 4에 도시된 바와 같이 교통 표지를 나타내는 교통 표지 원형들을 분류하며, 분류된 원형들에 대해 원형 교통 표지를 인식한다.
제어부(130)는 원형 교통 표지의 인식을 화이트 이너 서클(White Inner Circle)을 이용하여 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어한다.
저장부(140)는 영상 획득부(110)를 통해 획득된 전방 영상을 분석하는데 이용할 수 있도록 이미지 파일 또는 디지털 형태의 데이터로 저장한다.
출력부(150)는 원형 교통 표지의 내용을 운전자에게 알려줄 수 있도록 화면 또는 음성으로 출력한다. 즉, 출력부(150)는 원형 교통 표지의 내용을 화면으로 출력할 수 있도록 표시부 또는 디스플레이부를 구비하고, 운전자가 들을 수 있는 가청음으로 출력할 수 있도록 스피커 또는 음향 출력부를 구비하는 것이다.
제어부(130)는, 교통 표지 원형의 중앙에 도 7에 도시된 바와 같이 기본 참조 영역(RB)을 설정하고, 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하며, 기본 참조 영역(RB)으로부터 비교 기준값(Reference Value, VB)을 산출할 수 있다. 즉, 제어부(130)는, 분류된 교통 표지 원형의 중앙을 기준으로 기본 참조 영역(RB)을 설정하고, 중앙으로부터 반경(r) 이내에 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정할 수 있다.
제어부(130)는, 하나 이상 다수의 엣지 영역들(Rj)에 대하여, 최대 강도(the maximum intensity of the area)가 비교 기준값(VB)보다 더 밝거나 또는 적어도 허용오차 이내에 있는 픽셀들의 비가 최소 품질 임계치를 만족하는 경우에 화이트 이너 서클(White Inner Circle)이 정확하게 위치된 원으로 검증할 수 있다.
제어부(130)는, 분류된 교통 표지 원형들에 대하여 도 8에 도시된 바와 같이 붉게 구획된 교통 표지 또는 선명한 교통표지 화이트 이너 서클(White Inner Circle)에 근거해 각 영역들이 가지는 선명도에 따른 픽셀 비가 비교 기준값 보다 더 밝거나 최소 품질 임계치를 만족하는 경우에 화이트 이너 서클(White Inner Circle)이 정확하게 위치하여 원형 교통 표지의 인식이 올바른 것으로 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 원형 교통표지 인식 확인 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
본 발명의 실시예에 따른 원형 교통표지 인식 확인 장치(100)는 기본적으로 차량을 위한 운전자 지원 시스템의 향상된 교통 표지 인식에 관한 것으로서, 전방 카메라(A front looking camera)가 차량의 전방에 있는 속도 제한(speed limits)이나 무제한(end-of-limit) 표지들(signs)과 같은 교통 표지에 대한 장면(scene)을 검출해 인식(recognize)하는 것이다.
도 2를 참조하면, 먼저 영상 획득부(110)가 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득한다(S210).
이어, 표지 인식부(220)가 전방 영상에서 도 3에 도시된 바와 같이 물체의 원을 나타내는 원형들을 검출(Detection)한다(S220). 도 3은 본 발명의 실시예에 따라 전방 영상에서 물체의 원을 나타내는 원형들을 검출하는 예를 나타낸 도면이다. 교통 표지의 인식 과정에서 하나의 메이저 단계(major step)는 도 3과 같이 표지 자체를 검출하는 것이다. 속도 제한(speed limit)이나 주차금지(no parking)와 같은 표지 타입이 결정되기 전에 검출되어야 한다. 원형 교통 표지는 원의 허프 변환(circle hough transformation), 빠른 방사 대칭 변형(fast radial symmetry transformation)과 같이 계획된(designed) 원 검출을 경유해 수행되기 때문이다. 도 3에서 노란 원과 같이 어떤 검출이 많은 잠재적 후보들(many potential candidates)이 원들을 향해 접근하는 동안에 검출되는 것은 교통 표지가 아니다.
이어, 표지 인식부(220)는 검출된 원형들에 대해 도 4에 도시된 바와 같이 교통 표지를 나타내는 교통 표지 원형들을 분류(classification)한다(S230). 도 4는 본 발명의 실시예에 따라 전방 영상에서 검출된 원형들 중 교통 표지를 나타내는 교통 표지 원형들을 분류하는 예를 나타낸 도면이다. 즉, 도 4에 도시된 바와 같이, 원형 내에 교통 표지의 숫자나 기호가 존재하는 동일 원들을 다중으로 검출해 따로 분류해 놓는 것이다.
본 발명은 가능한 정밀한 이미지에서 물체의 원을 나타내는 원들을 분류하는 과정은 매우 중요하다. 표지 인식부(220)가 전방 영상에서 원형들을 다중으로 검출해 분류할 때, 약간의 원 형상 또는 두 인접 원들로부터 획득한 원형의 모양들로 인식된 원의 몇 부분들임에도 불구하고 도 5에 도시된 바와 같이 원형들을 충분히 모으는 일들이 종종 일어난다. 도 5는 본 발명의 실시예에 따라 분류한 교통 표지 원형들의 예를 나타낸 도면이다. 도 5에서, 좌측 이미지는 원의 허프 변환(circle hough transform)과 같이 실제 원 검출 알고리즘에 의한 다중 검출을 보여주고, 중앙의 두 개는 나쁜 원들(bad circles)을 보여준다. 오른쪽 이미지는 내부 원(the inner circle)을 위한 최적의 원 표시를 보여준다.
분류가 정확히 원의 컨텐츠에 바탕은 둔 것이므로, 이미 작은 이동들(shifts)은 나중 과정에서 잘못된 분류들로 리드(lead) 될 수 있다. 그러므로, 인식된 원 안의 패턴은 도 6과 같이 모델의 기대 패턴에 적합하지 않을 것이다. 도 6은 본 발명의 실시예에 따라 전체 패턴 모델에서 원형이 시프트(shift) 된 예를 나타낸 도면이다. 도 6에서 중앙의 회색 패턴은 정확히 50을 기대한다. 도 5의 두 개의 중앙 이미지처럼 정밀하게 인식되지 않은 원은 전체 패턴 모델에서 오른쪽 아래 방향으로 이동(Shift)된다. 도 6의 이미지에서 검정 부분 교통 표지 결과는 기대된 회색 모델 패턴에 적합하지 않을 것이다. 따라서 잘못된 분류(Misclassification)로 둘 수 있다.
이어, 표지 인식부(220)는 분류된 교통 표지 원형들에 대해 원형 교통 표지를 인식한다(S240).
교통 표지(Traffic Sign)는 다음 표 1과 같이 일반적으로 주의 표지, 규제 표지, 지시 표지로 구분되고, 대부분의 원형 교통 표지(Circular Traffic Sign)는 규제 표지나 지시 표지에 해당된다.
Figure 112016041370837-pat00001
원형 교통 표지는 형태적(Shape) 특성으로 원 형태를 나타내고, 색상적(Color) 특성으로 테두리 색상은 규제 표지일 경우 빨강색, 지시 표지일 경우에 파랑색을 나타내며, 내부 배경 색상은 규제 표지 경우에 백색이나 파랑색을 나타낸다.
따라서, 표지 인식부(220)는 교통 표지 원형들에 대해 원형의 테두리 색상과 내부 배경 색상에 대한 색상 및 형태적 특징을 이용하여 원형 교통 표지를 인식할 수 있다.
여기서, 교통 표지의 색상 및 형태적 특징을 이용하여 원형 교통 표지를 인식하는 과정에 대해 좀 더 상세히 설명하기로 한다.
먼저, 전방 영상 내 HSV 색공간을 이용하여 색상적 특징을 분리할 수 있다. 일반적으로 영상 내 HSV 색 공간은 카메라의 특성에 따라 조금씩 다르게 표현되므로, HSV 색 공간에서 각 색상 분리를 위한 범위를 한정 짓기는 어렵다. 따라서, 특정 카메라를 통하여 획득되는 영상 내의 HSV 색 공간을 정의한 후, 정의된 HSV 색 공간에서 색상 분리를 위한 색 범위를 설정하여 이를 통해 색상적 특성을 분리하게 된다.
HSV 색 공간은 색을 표현하는 하나의 방법이고, 그 방법에 따라 색을 배치하는 방식으로서, 색상(Hue), 채도(Saturation), 명도(Value, Brightness)의 좌표를 써서 특정한 색을 지정하게 된다. HSV는 HSB로도 불리는데, 색상(Hue), 채도(Saturation), 명도(Value, Brightness)로 구성된다.
색상(Hue)에서 색상값 H는 가시광선 스펙트럼을 고리모양으로 배치한 색상환에서 가장 파장이 긴 파랑색을 0°로 하였을 때 상대적인 배치 각도를 의미한다. 따라서, H 값은 0°~ 360°의 범위를 가지며, 360°와 0°는 같은 색상 파랑색을 가리킨다. 채도(Saturation)에서 채도값 S는 특정한 색상의 가장 진한 상태를 255로 하였을 때 진하기의 정도를 나타낸다. 채도값 0은 같은 명도의 무채색을 나타낸다. 명도(Value, Brightness)에서 명도값 V 또는 B는 흰색을 255, 검정을 0으로 하였을 때 밝기의 정도를 나타낸다.
이러한 HSV 색 공간을 표현하는 모형으로는 원기둥 또는 거꾸로 선 원뿔 모양의 입체 도형이 있는데, 본 발명의 실시예에서는 원기둥 모형을 사용하여 범위를 설
정한다. 도 10은 본 발명에 적용된 원기둥 모형의 HSV 색 공간 모형의 일례를 나타낸 도면이다. 도 10에 도시된 바와 같이, HSV 색 공간 원기둥 모형 구성 요소의 정의에 따라 HSV 색 공간이 원기둥으로 표현되는데, 원기둥의 표면과 내부의 한 점은 하나의 색을 나타낸다. 여기서 색상값은 각도로 표현되며 지정한 색이 원기둥의 수평 단면의 어느 방향에 위치하는지를 지정하게 된다. 또한, 채도는 반지름에 해당하는데 정 중앙에 무채색이 위치하며 원기둥의 겉면은 가장 진한 채도를 갖는다. 명도는 높이에 해당하며 위로 갈수록 밝게 된다. 이러한 원기둥의 모형에서 각 RGB 값은 0에서 1의 범위로 조정(Scale)되어 다음 수학식 1에 의해 H, S, V 값으로 변환된다.
Figure 112016041370837-pat00002
수학식 1을 통해 0≤V≤1, 0≤S≤1, 0≤H≤360과 같은 범위의 H, S, V 값을 얻을 수 있다. 본 발명의 실시예에서는 계산적인 편의를 위해 H, S, V 값의 범위를 V←255V, S←255S, H←H/2와 같은 범위로 조정(Scale) 할 수 있다.
디지털 형태의 전방 영상에서 한국의 교통 표지 객체를 검출하기 위해 교통 표지가 가질 수 있는 테두리 색상과 내부 배경 색상으로 HSV 색 공간을 이용할 수 있다. 표 1에 분류된 교통 표지에 따라 5 종류(삼각형, 원형, 역삼각형, 팔각형, 사각형)의 교통 표지 테두리 및 내부 배경 색상을 선정하고, 실험을 통해 유의미한 4종의 색상(백색, 빨강, 파랑, 노랑)을 최종 선정하여 각 색상에 대응하는 최적의 HSV 값들을 다음 표 2와 같이 결정할 수 있다.
Figure 112016041370837-pat00003
표 2에 나타낸 HSV 값들을 이용하여 전방 영상으로부터 색상을 분리할 수 있다. HSV 색 공간을 이용하여 전방 영상 내에서 색상이 분리되면, 표지 인식부(120)는 분리된 각 색상 채널에서 교통 표지를 추출하기 위해 교통 표지의 형태적 특징을 이용한다.
표 2에서 분류된 바와 같이, 교통 표지는 삼각형(역삼각형 포함), 원형(팔각형 포함), 사각형의 형태를 보이고 있는데, 표지 인식부(120)는 형태적 특징을 이용하여 영상으로부터 사용자의 목적에 따라 색상 또는 엣지(edge) 기반으로 분할된 객체(Object) 또는 관심영역(Region Of Interest)을 삼각형, 역삼각형, 사각형, 원형의 단순한 형태로 분류한다.
이때, 표지 인식부(120)는 분류하고자 하는 원형의 단순한 형태에 대해, 다음의 표 3과 같이 각 도형을 구성하는 요소인 선분 또는 꼭지점의 개수를 이용하여 판단한다.
Figure 112016041370837-pat00004
즉, 표지 인식부(120)는 전방 영상으로부터 색상 또는 엣지 정보를 기반으로 객체를 추출하고, 허프 변환(Hough Transformation)을 이용해 선분과 꼭지점 같은 요소들을 찾아내 선분의 수와 꼭지점의 수가 모두 0인 경우에 원형으로 인식하는 것이다.
이어, 제어부(130)는 원형 교통 표지의 인식을 화이트 이너 서클(White Inner Circle)을 이용하여 확인한다(S250).
즉, 제어부(130)는 분류된 교통 표지 원형의 중앙에 도 7에 도시된 바와 같이 기본 참조영역(base reference area)(RB)을 설정하고, 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하며, 기본 참조영역(RB)으로부터 비교 기준값(Reference Value, VB)을 산출한다. 도 7은 본 발명의 실시예에 따른 확인 검사를 위한 영역들을 정의하는 예를 나타낸 도면이다. 이때, 제어부(130)는 원형의 중앙에 있는 원점(Cx,y)으로부터 반경(r) 이내에 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하는 것이다. 도 7에서는 원형의 반경(r) 이내에 원점(Cx,y)을 중심으로 제1 엣지 영역(R1), 제2 엣지 영역(R2), 제3 엣지 영역(R3), 제4 엣지 영역(R4)을 설정하였다.
본 발명의 실시예에서는 도 7의 보기 이미지에서 기본 참조영역(RB)과 4 개의 설정 영역들(R1, R2, R3, R4) 사이의 비교를 통해 확인 검사가 수행된다.
RB 영역의 최대 max(RB)와 함께 기본 참조영역(RB)으로부터 산출되는 비교 기준값(reference value)(VB)은 바로(just) RB 영역의 최대 강도(the maximum intensity)이다. 도 7에 도시된 표지와 유사한 모든 다른 교통 표지들로부터 독립적인 그들의 더 자세한 컨텐츠(any digit or symbol)는 어떤 선명한 픽셀이 정확히 인식되었든지 예측할 수 없는 것이다. 그래서 가장 선명한 것을 catch하는 것이 바로 가장 쉬운 접근이다.
각 엣지 영역(Rj)은 픽셀량(amount of pixels)을 갖는다. 제어부(130)는 하나 이상 다수의 엣지 영역들(Rj)에 대하여, 최대 강도(the maximum intensity of the area)가 비교 기준값(VB)보다 더 밝거나 또는 적어도 허용오차 이내에 있는 픽셀들의 비가 최소 품질 임계치를 만족하는 경우에 화이트 이너 서클이 정확하게 위치된 원으로 검증하게 된다. 즉, VB 보다 더 밝거나 또는 적어도 VB 보다 현저하게 더 어둡지 않은 어떤 허용오차(a certain tolerance) 이내인 픽셀 비율은 각 영역 (Rj) 의 품질을 정의한다. 정밀히 위치한 원과 같이 원을 검증하기 위해서는 모든 영역(Rj)이 품질의 최저 임계를 충족해야 하고, 엣지를 넘지 않아야 한다.
또한, 제어부(130)는 분류된 교통 표지 원형들에 대하여, 도 8에 도시된 붉게 구획된 교통 표지 또는 선명한 교통표지 화이트 이너 서클에 근거해 각 영역들이 가지는 선명도에 따른 픽셀 비가 비교 기준값 보다 더 밝거나 최소 품질 임계치를 만족하는 경우에 화이트 이너 서클이 정확히 위치하여 원형 교통 표지의 인식이 올바른 것으로 확인하게 된다. 도 8은 본 발명의 실시예에 따라 최적으로 목표된 화이트 서클 예를 나타낸 도면이다.
그러나, 제어부(130)는 도 9에 도시된 바와 같이 제1 엣지 영역(R1), 제2 엣지 영역(R2), 제3 엣지 영역(R3), 제4 엣지 영역(R4)을 기본 참조영역(RB)으로부터 산출된 비교 기준값(VB)과 비교하여, 제1 엣지 영역(R1), 제2 엣지 영역(R2), 제3 엣지 영역(R3)이 비교 기준값(VB) 보다 더 밝거나 최소 품질 임계치를 만족(ok)하고, 제4 엣지 영역(R4)이 비교 기준값(VB) 보다 밝지 않고 최소 품질 임계치를 만족하지 못하는 경우(fail), 화이트 이너 서클이 교통 표지 원형에 정확히 위치하지 않은 것으로 판단하게 된다. 도 9는 본 발명의 실시예에 따른 화이트 이너 서클이 교통 표지 원형에 정확히 위치하지 않는 예를 나타낸 도면이다. 도 9에 도시된 바와 같이, 화이트 이너 서클이 교통표지 원형에 정확히 위치하지 않으므로, 제어부(130)는 교통 표지의 인식이 올바르지 못한 것으로 판단할 수 있다. 따라서, 본 발명의 실시예에서는 교통 표지의 내부 선명한 영역의 바깥쪽 원 부분들을 가지는 바깥 경계들을 버린다. 원들에 대해 다른 방법들을 이용해 분류하기에는 너무 작다.
따라서, 제어부(130)는 화이트 이너 서클이 교통 표지 원형에 정확히 위치하지 않아서 교통 표지 인식이 올바르지 못한 것으로 판단된 경우에, 출력부(150)를 통해 교통 표지 인식이 잘못 되었음을 안내하는 메시지를 음성이나 화면 상으로 출력하여, 운전자가 이를 인식할 수 있도록 한다.
한편, 본 발명에 따른 원형 교통표지 인식 확인 장치는 원형 교통 표지의 인식을 화이트 이너 서클(White Inner Circle)을 이용하여 확인하는 제어부(130)에 대해, 원형 교통 표지 인식을 확인하기 위한 프로세서로 구현할 수 있다.
즉, 프로세서는 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 영상 획득부; 및 전방 영상에서 물체의 원을 나타내는 원형들을 검출하고 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하며 원형 교통 표지를 인식하는 표지 인식부와 전기적으로 연결되는 구성을 가지고, 원형 교통 표지의 인식을 화이트 이너 서클을 이용하여 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어하는, 원형 교통표지 인식을 확인하기 위한 프로세서로 구현하는 것이다.
전술한 바와 같이 본 발명에 의하면, 차량에 설치된 전방 카메라를 통해 획득한 전방 영상에서 물체의 원을 나타내는 원형들을 분류하여 화이트 이너 서클과 관련된 경우에 원형 교통 표지로 인식하고 그 인식을 확인하는 원형 교통 표지 인식 확인 장치 및 방법을 실현할 수 있다.
본 발명은 차량에 설치된 전방 카메라를 통해 획득한 전방 영상에서 물체의 원을 나타내는 원형들을 분류하여 화이트 이너 서클과 관련된 경우에 원형 교통 표지로 인식하고 그 인식을 확인하는 원형 교통 표지 인식 확인 장치 및 방법에 적용할 수 있다.
100 : 원형 교통표지 인식 확인 장치 110 : 영상 획득부
120 : 표지 인식부 130 : 제어부
140 : 저장부 150 : 출력부

Claims (6)

  1. 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 영상 획득부;
    상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하고, 상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하며, 원형 교통 표지를 인식하는 표지 인식부; 및
    상기 원형 교통 표지의 인식을 상기 분류된 교통 표지 원형들에 대하여 붉게 구획된 교통 표지 또는 선명한 교통 표지 화이트 이너 서클을 기초로 각 영역들이 가지는 선명도가 미리 설정한 임계값 이상이면 상기 원형 교통 표지의 인식이 올바른 것으로 확인하고, 확인된 원형 교통 표지의 내용을 운전자에게 알려주도록 제어하는 제어부;
    를 포함하는 원형 교통표지인식 확인장치.
  2. 청구항 1에 있어서,
    상기 제어부는, 상기 분류된 교통 표지 원형의 중앙에 기본 참조 영역(RB)을 설정하고, 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하며, 상기 기본 참조 영역(RB)으로부터 비교 기준값(Reference Value, VB)을 산출하는 것을 특징으로 하는 원형 교통표지인식 확인장치.
  3. 청구항 2에 있어서,
    상기 제어부는, 상기 하나 이상 다수의 엣지 영역들(Rj)에 대하여, 최대 강도(the maximum intensity of the area)가 상기 비교 기준값(VB)보다 더 밝거나 또는 적어도 허용오차(a certain tolerance) 이내에 있는 픽셀들의 비가 최소 품질 임계치를 만족하는 경우에 상기 화이트 이너 서클이 정확하게 위치된 원으로 검증하는 것을 특징으로 하는 원형 교통표지인식 확인장치.
  4. 청구항 2에 있어서,
    상기 제어부는, 상기 분류된 교통 표지 원형의 중앙에 기본 참조 영역(RB)을 설정하고, 상기 중앙으로부터 반경 이내에 하나 이상 다수의 엣지 영역들(R1, R2, ..., Rn)을 설정하는 것을 특징으로 하는 원형 교통표지인식 확인장치.
  5. 청구항 1에 있어서,
    상기 선명도가 미리 설정한 임계값 이상이면 상기 원형 교통 표지의 인식이 올바른 것으로 확인하는 것은 상기 각 영역들이 가지는 선명도에 따른 픽셀 비가 비교 기준값 보다 더 밝거나 최소 품질 임계치를 만족하는 경우를 더 포함하는 원형 교통표지인식 확인장치.
  6. 차량의 전방을 카메라를 통해 촬영하여 전방 영상을 획득하는 단계;
    상기 전방 영상에서 물체의 원을 나타내는 원형들을 검출하는 단계;
    상기 원형들에 대해 교통 표지를 나타내는 교통 표지 원형들을 분류하는 단계;
    상기 분류된 교통 표지 원형들에 대해 원형 교통 표지를 인식하는 단계; 및
    상기 원형 교통 표지의 인식을 상기 분류된 교통 표지 원형들에 대하여 붉게 구획된 교통 표지 또는 선명한 교통 표지 화이트 이너 서클을 기초로 각 영역들이 가지는 선명도가 미리 설정한 임계값 이상이면 확인된 원형 교통 표지의 내용을 운전자에게 알려주는 단계;
    를 포함하는 원형 교통표지 인식 확인 방법.
KR1020160052750A 2015-04-29 2016-04-29 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법 KR101799778B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015207902.3 2015-04-29
DE102015207902.3A DE102015207902A1 (de) 2015-04-29 2015-04-29 Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens

Publications (2)

Publication Number Publication Date
KR20160128928A KR20160128928A (ko) 2016-11-08
KR101799778B1 true KR101799778B1 (ko) 2017-11-21

Family

ID=57135815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052750A KR101799778B1 (ko) 2015-04-29 2016-04-29 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법

Country Status (3)

Country Link
US (1) US9911051B2 (ko)
KR (1) KR101799778B1 (ko)
DE (1) DE102015207902A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
DE102016226010A1 (de) * 2016-12-22 2018-06-28 Continental Automotive Gmbh Vorrichtung und verfahren zur identifizierung eines beweglichen absperrverkehrsschilds für ein fahrzeug
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
CN109558768A (zh) * 2017-09-25 2019-04-02 比亚迪股份有限公司 汽车及道路交通标志的检测方法、装置
EP3584742A1 (en) * 2018-06-19 2019-12-25 KPIT Technologies Ltd. System and method for traffic sign recognition
US10928828B2 (en) 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
CN113673281B (zh) * 2020-05-14 2023-10-03 百度在线网络技术（北京）有限公司 限速信息确定方法、装置、设备以及存储介质
CN112606685B (zh) * 2020-12-16 2024-01-05 武汉格罗夫氢能汽车有限公司 一种氢能汽车交通标识识别tsr装置
JP2022178701A (ja) * 2021-05-20 2022-12-02 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067302A (ja) * 2012-09-26 2014-04-17 Buffalo Inc 画像処理装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
EP1930863B1 (en) * 2006-12-06 2011-08-03 Mobileye Technologies Limited Detecting and recognizing traffic signs
KR101353052B1 (ko) 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
KR20150029122A (ko) 2013-09-09 2015-03-18 현대모비스 주식회사 도로 내 표지판 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067302A (ja) * 2012-09-26 2014-04-17 Buffalo Inc 画像処理装置及びプログラム

Also Published As

Publication number Publication date
KR20160128928A (ko) 2016-11-08
US9911051B2 (en) 2018-03-06
DE102015207902A1 (de) 2016-11-03
US20160321511A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
KR101799778B1 (ko) 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN108804983B (zh) 交通信号灯状态识别方法、装置、车载控制终端及机动车
US10025998B1 (en) Object detection using candidate object alignment
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
EP2477139A2 (en) Lane departure warning system and method
KR101589814B1 (ko) 연안에서의 객체 인식 장치 및 그 방법
JP4863951B2 (ja) 信号機認識装置
US8867788B2 (en) Vehicle periphery monitoring device
JP2011216051A (ja) 信号灯識別プログラムおよび信号灯識別装置
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
CN103871070A (zh) 车载全景成像系统的自动标定方法
JP2013529348A (ja) 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
CN106709412B (zh) 交通标志检测方法和装置
KR101295092B1 (ko) 차량용 색상검출기
CN107886033B (zh) 识别圆形交通灯的方法、装置及车辆
US9569676B2 (en) Computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN107992788B (zh) 识别交通灯的方法、装置及车辆
JP6375911B2 (ja) カーブミラー検出装置
JP2006259885A (ja) カラー画像を用いた看板および標識の認識方法
CN106803064B (zh) 一种交通灯快速识别方法
CN107886035B (zh) 识别箭头交通灯的方法、装置及车辆
JP2005284377A (ja) 標識認識装置及び標識認識方法
JP2008287735A (ja) カラー画像を用いた看板および標識の認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right