KR20180031174A - 보조 표지판 인식 장치 및 그 방법 - Google Patents

보조 표지판 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20180031174A
KR20180031174A KR1020160119197A KR20160119197A KR20180031174A KR 20180031174 A KR20180031174 A KR 20180031174A KR 1020160119197 A KR1020160119197 A KR 1020160119197A KR 20160119197 A KR20160119197 A KR 20160119197A KR 20180031174 A KR20180031174 A KR 20180031174A
Authority
KR
South Korea
Prior art keywords
sign
auxiliary
recognizing
type
auxiliary sign
Prior art date
Application number
KR1020160119197A
Other languages
English (en)
Other versions
KR102617453B1 (ko
Inventor
진문용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160119197A priority Critical patent/KR102617453B1/ko
Priority to DE102017215138.2A priority patent/DE102017215138A1/de
Publication of KR20180031174A publication Critical patent/KR20180031174A/ko
Application granted granted Critical
Publication of KR102617453B1 publication Critical patent/KR102617453B1/ko

Links

Images

Classifications

    • G06K9/00818—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/46—
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일면에 따른 프로세서에서 수행되는 보조 표지판 인식 방법은, 영상에서 주 표지판을 검출하는 단계; 상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계; 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 단계; 및 상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계를 포함하는 것을 특징으로 한다.

Description

보조 표지판 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING SUPPLEMENTARTY TRAFFIC SIGNS}
본 발명은 도로상의 교통 표지판 인식에 관한 것으로서, 보다 구체적으로는 교통 표지판 중 보조 표지판을 보다 정확히 인식하기 위한 장치 및 그 방법에 관한 것이다.
차량의 원활한 주행과 안전운전을 위해 도로에는 차량의 운전자에게 주행에 필요한 정보를 제공하는 교통 표지판이 설치되어 있다.
일반적으로 교통 표지판은 종류에 따라서 교통정보 표지판, 이정 표지판, 기상정보 현황판, 대기오염 현황판, 교통사고 현황판, 시정 정보판 및 광고판 등이 있다.
최근 시력이 약한 운전자나 고령의 운전자가 증가함에 따라 교통 표지판의 정보를 정확하게 전달해줄 수 있는 안전운전 보조 시스템의 필요성이 증가하고 있고 그에 따라 교통 표지판의 정확한 인식의 필요성에 대한 관심도 높아지고 있다.
또한, 최근 지능형 무인 자동차를 개발하기 위해 비전 기반 교통 표지판 인식 시스템의 개발이 함께 요구되고 있으며 이에 따라 교통 표지판 검출 및 인식 모델에 대한 관심이 집중되고 있다.
종래 교통 표지판 인식(TSR: Traffic Sign Recognition)은 일반적으로 입력영상 내에서 주 표지판을 검출하고, 검출한 주 표지판을 인식하여 다음 프레임에서 주 표지판을 검출하는 방법이 사용되어왔다.
주 표지판 인식 외에 보조 표지판에 대한 인식도 연구되어왔으며, 주 표지판 아래 또는 위의 관심 영역(ROI: Region of Interest)에서 허프 라인(Hough Line)을 찾는 방법이나 영상의 전 영역을 탐색하는 윈도우 슬라이딩(Window Sliding)방법, 미리 지정한 위치에서 후보를 검출하는 방법 등 여러 방법으로 보조 표지판을 검출한다.
검출한 표지판을 인식하는 단계에서는 템플릿 매칭, 학습기반 분류기를 이용한 방법(Adaboost, SVM 등) 등을 이용하여 인식한다.
하지만 이러한 종래의 기술은 보조 표지판 인식범위가 글자(Text), 화살표(Arrow), 픽토그램(Pictogram) 등으로 한정되어 있거나 나라별로 한정된 숫자의 클래스를 인식 범위로 하고 있기 때문에 단순한 분류방법에 의해 효율적으로 보조 표지판을 인식하는 데 한계가 있다.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 보조 표지판의 정형적인 형태를 미리 정해진 모양이나 사전지식 기반으로 인식함으로써 보다 효율적이고 정확하게 보조 표지판을 인식할 수 있는 보조 표지판 인식 장치와 그 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 프로세서에서 수행되는 보조 표지판 인식 방법은, 영상에서 주 표지판을 검출하는 단계; 상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계; 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 단계; 및 상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 일면에 따른 하나이상의 프로세서를 포함하는 보조 표지판 인식 장치는, 차량 주변의 영상을 획득하는 영상 획득부; 상기 획득한 영상에서 주 표지판을 검출하는 주 표지판 검출부; 상기 검출한 주 표지판의 위치 및 크기를 이용하여 관심영역을 설정하고, 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 보조 표지판 검출부; 및 상기 검출된 보조 표지판 후보의 특징을 추출하고, 상기 특징에 대해 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 보조 표지판 인식부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 효율적이고 정확한 보조 표지판 인식을 통해 교통 표지판 정보를 운전자에게 제공함으로써 운전자가 보다 편리하고 안전하게 차량을 운전할 수 있도록 하고, 자율 주행 차량이 보다 정확한 경로로 안전하게 주행할 수 있는 정보를 제공하는 효과가 있다.
도 1은 종래 주 표지판 인식장치의 구조도.
도 2는 보조 표지판의 예시도.
도 3은 본 발명의 일실시예에 따른 보조 표지판 인식 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 보조 표지판 인식 방법에서 관심 영역을 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 보조 표지판 후보 검출 방법의 흐름도.
도 6은 본 발명의 일실시예에 따른 보조표지판 형태에 따른 종류별 분류 표.
도 7은 본 발명의 일실시예에 따른 라인 보팅(Line voting) 방법을 나타내는 도면.
도 8은 본 발명의 일실시예에 따른 사전지식 기반 관심 영역의 구조도.
도 9 내지 12는 본 발명의 일실시예에 따른 보조 표지판 형태에 따라 보조 표지판 내용을 인식하는 방법을 나타내는 흐름도.
도 13은 본 발명의 일실시예에 따라 보조 표지판을 인식하는 과정을 나타내는 예시도.
도 14 내지 16은 본 발명의 일실시예에 따른 사전지식 기반으로 보조 표지판 내용을 인식하는 방법을 나타내는 흐름도.
도 17은 본 발명의 다른 실시예에 따른 보조 표지판 인식 장치의 구조도.
도 18은 본 발명의 또 다른 실시예에 따른 보조 표지판 인식 방법이 수행되는 컴퓨터 시스템의 구조도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 종래 교통 표지판 인식을 위한 모듈의 주 표지판 인식 방법의 흐름도를 나타낸다.
주 표지판 검출부는 카메라를 이용하여 획득한 영상에서 주 표지판에 해당하는 영역을 검출하고, 검출한 주 표지판의 내용을 인식하게 된다.
인식된 결과를 이용하여 다음 프레임 영상에서 주 표지판에 해당하는 영역을 추적(tracking)하는 것이 가능하고, 추적한 영역에서 검출과 인식을 반복하여 주 표지판 인식을 수행한다.
이러한 주 표지판 인식은, 주 표지판의 형태가 일반적으로 원형의 표지판을 사용하기 때문에 인식이 용이한 측면이 있으나, 보조 표지판은 주 표지판과 달리 보조 표지판의 형태가 다양하기 때문에 인식이 어려운 면이 있다.
도 2는 이러한 다양한 보조 표지판의 형태를 보여준다.
형태의 다양성뿐 아니라 내용 면에서도 글자, 화살표, 도형 또는 이들의 결합에 의해 다양한 정보를 전달하고 있다.
본 발명은 이와 같은 보조 표지판의 다양한 형태에 대한 인식률을 높이기 위한 보조 표지판 인식 장치 및 그 방법을 제공하고자 한다.
도 3은 본 발명의 일실시예에 따른 보조 표지판 인식 방법의 흐름도를 나타낸다.
보조 표지판을 인식하기 위해 우선 주 표지판을 검출한다(S310).
보조 표지판은 주 표지판의 아래 특정 영역에 위치하고 사각형 형태를 가지는 경우가 대부분이기 때문에 주 표지판을 우선 검출하고 주 표지판과의 상대적 위치에 따라 보조 표지판을 검출하기 위한 관심 영역을 설정하여 관심 영역의 이미지를 추출한다(S320).
도 4는 관심영역(420)을 설정하여 추출하기 위한 관심영역(420)의 비율을 나타낸다.
카메라 등을 이용하여 획득한 영상에서 관심 영역(420)의 크기는 영상의 배율이나 차량과 주 표지판(410) 사이의 거리에 따라 달라지므로 이를 일정한 크기로 정규화 하는 과정이 필요하다.
이를 위해 도 4에서와 같이 주 표지판(410)을 기준으로 일정 영역을 관심 영역(420)으로 설정하여 이미지를 추출한다.
구체적으로는 주 표지판(410)의 가로와 세로의 길이를 각각 w, h라 하면, 관심영역의 가로의 길이는 1.2w 내지 1.6w이고 세로의 길이는 1.4h 내지 1.7h로 설정할 수 있다. 보조 표지판의 검출을 위한 최적의 관심영역은 가로는 1.4w, 세로는 1.53w로 설정하는 것이 바람직하다.
이렇게 관심영역을 설정하는 것은 화면 전체를 관심영역으로 하여 보조표지판 검출을 수행하는 경우 보다 높은 성능의 처리장치가 필요하므로 이는 가격상승의 원인이 되고, 실질적으로 보조표지판이 검출되는 영역은 학습에 의해 일정한 영역으로 한정되므로 검출 성능을 더 높일 수 있기 때문이다.
주 표지판(410)과 관심영역(420)은 0.09h만큼 세로방향이 겹치게 되고, 주 표지판(410)의 양쪽으로 각가 0.2w만큼 튀어나온 형상의 직사각형 영역이 관심 영역(420)으로 설정된다.
관심영역이 설정되고 나면 관심영역에서 사각형 형태로 미리 정해진 행태의 보조 표지판을 검출한다(S330).
도 5는 관심 영역에서 사각형 기반 보조 표지판을 검출하는 과정을 보다 상세히 나타낸 흐름도이다.
관심영역에서 사각형 기반 보조 표지판을 검출하기 위해서는 일정한 크기로 관심영역을 정규화(Normalization)한다(S510). 이는 영상 크기에 따라 보조 표지판의 크기가 달라져 검출이 되지 않는 문제점을 미리 방지하기 위함이다.
정규화 과정에서는 크기 변환(Resize)외에도 주 표지판이 비스듬히 찍힌 경우 회전변환 등을 통해 주 표지판이 정면에서 찍힌 것과 같은 형태로의 변형도 가능하다.
도 6은 보조 표지판의 형태에 따른 보조 표지판의 종류(Type)별 분류표이다.
예컨대, 관심영역을 가로44픽셀, 세로48픽셀의 44x48픽셀 크기로 정규화한다면, Type 1의 보조 표지판의 크기는 20x8픽셀, Type 2의 보조 표지판의 크기는 30x16픽셀, Type 3의 보조 표지판의 크기는 32x10픽셀, Type 4의 보조 표지판의 크기는 16x16픽셀의 크기로 정규화된다.
Type 1의 보조표지판에는 무게 또는 트레일러 표시가 포함될 수 있다.
Type 2의 보조표지판에는 무게, 시간, 거리, 트럭, 트레일러, 트랙터, 우천, 화살표, 구역(Zone) 또는 일반(Generic) 표시가 포함될 수 있다.
Type 3의 보조표지판에는 트럭, 화살표, 무게, 시간 거리, 구역 또는 일반 표시가 포함될 수 있다.
Type 4의 보조표지판에는 화살표 표시가 포함될 수 있다.
관심영역을 정규화한 후 관심영역 내에 나타나는 에지(Edge)를 모두 검출한다(S520).
검출한 에지에 대해서 미리 정해진 사각형의 보조 표지판 형태에 대해 라인 보팅(Line Voting)을 수행한다(S530).
도 7은 검출된 에지들에 대해 라인 보팅을 실시하는 방법을 나타낸다.
본 실시예에서는 Type 1 내지 Type 4의 네 가지 형태에 대해 각각 라인 보팅을 세로방향 에지와 가로방향 에지에 대해 수행함으로써 관심 영역에 나타난 사각형 형태의 검출이 가능하다.
검출한 에지에 대해 미리 정해진 사각형의 보조 표지판 형태의 라인 보팅을 수행하고 나면 보조 표지판 형태에 가까운 에지들이 높은 값이 나타나므로 이들 중 미리 설정해놓은 임계값 이상의 형태들을 보조 표지판 후보로 결정할 수 있고, 따라서 후보로 결정된 형태들은 복수가 될 수 있다.
보조 표지판들이 후보로 결정되면, 보조 표지판의 형태들에 대해 각각 학습에 기반하여 보조 표지판을 인식(S360)함으로써 사각형 기반의 보조 표지판 인식이 완료된다.
이상의 사각형 기반의 미리 결정된 형태의 보조 표지판이 검출되지 않으면 사전지식 기반 보조 표지판을 다시 검출한다(S350).
사전지식 기반의 보조 표지판 검출은, 보조 표지판이 사각형 형태의 전형적인 모양이 아닌 경우 사각형 기반 보조 표지판 검출 방법으로 검출되지 않으므로, 보조 표지판이 나타날 수 있는 일정 영역을 미리 지정하여 보조 표지판을 검출하는 방법이다.
도 8은 사전지식 기반의 보조 표지판 검출을 위한 영역설정을 하는 모습을 나타낸다.
사각형 기반 보조 표지판 검출과 달리 일정한 형태가 없거나 주 표지판에 함께 보조 표지판이 표시되는 경우에는, 미리 정해놓은 형태로 라인 보팅을 수행하는 방법 등에 의해 보조 표지판을 검출할 수 없기 때문에 에지 검출이 아니라 미리 정해둔 영역을 보조 표지판 검출을 위해 사용된다.
제1 영역(810)은 주 표지판의 상단, 제2 영역(820)은 주 표지판의 바로 밑, 제3 영역(830)은 주 표지판 바로 밑의 정사각형 형태의 영역이 미리 지정되어 있기 때문에 전체 영역에서 보조 표지판 후보 영역이 결정된다.
이 때 후보 영역의 정규화를 위해 주 표지판의 크기를 일정한 크기로 조절하는 것은 전술한 바와 같다.
이렇게 제1, 제2 및 제3 영역의 검출이 완료되면 각 영역에 대해 보조 표지판 인식(S360)을 수행하고 보조 표지판 인식 방법을 종료한다.
도 9 내지 도 12는 사각형 기반 보조 표지판 검출에 의해 보조 표지판이 검출된 경우, 형태별 보조 표지판 인식 방법의 흐름도를 나타낸다.
각 형태별 보조 표지판을 인식하는 방법으로는 템플릿 매칭이나 학습기반 분류기를 이용한 방법인 Adaboost, SVM 등의 방법이 사용될 수 있다.
도 9는 Type 1형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.
Type 1 형태의 보조 표지판에는 무게표시 또는 트레일러 표시가 표시될 수 있으므로, 전술한 학습기반 인식방법에 의해 트레일러 표시인지(S910), 무게표시인지(S920) 인식한 후 둘 다 인식되지 않으면 배경인 것으로 인식할 수 있다(S930).
보조 표지판 인식을 마친 후 검증단계(S960)에서는 기존 잘못 분류된 클래스(class)와 올바르게 분류된 클래스들을 이용해 만들어진 리젝터(rejector)로 인식된 결과를 다시 한 번 검증하여 인식이 바르게 됐는지 한번 더 검증하게 된다.
도 10은 Type 2 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.
Type 2 형태의 보조 표지판에는, 트럭, 트랙터, 트레일러, 트레일러+버스, 우천, 화살표, 무게, 시간, 거리, 구역(Zone) 및 일반(Generic) 표시가 표시될 수 있으므로 이들 각각을 학습에 의해 인식하는 과정을 거친다.
우선 보조 표지판이 픽토그램 형태인지 문자(Text)형태인지 판단하고(S1010) 각각의 형태에 따른 인식을 수행한다.
보조 표지판이 픽토그램 형태인 경우, 표시된 내용이 화살표, 트럭, 트랙터, 트레일러, 트레일러+버스 또는 우천표시인지 인식하게 된다(S1020 내지 S1040).
보조 표지판이 픽토그램이 아니라 문자 형태인 경우, 표시된 내용이 무게, 시간, 거리, 구역 또는 일반 표시인지 인식한다(S1050 내지 S1066).
Type 2 형태의 보조 표지판 인식이 끝나면 전술한 것처럼 검증을 한번 더 거쳐서(S1080) Type 2 형태의 보조 표지판 인식을 마친다.
도 11은 Type 3 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.
Type 3형태의 보조 표지판에는, 트럭 또는 화살표의 픽토그램 표시와, 무게, 시간, 거리, 구역 또는 일반 표시의 문자 표시가 표시될 수 있다.
우선 픽토그램인지 아닌지 인식을 수행하여(S1110), 픽토그램인 경우 화살표인지 아니면 트럭인지 인식을 수행한다(S1120 내지 S1126).
픽토그램이 아니라 문자인 경우, 무게, 시간, 거리, 구역 또는 일반문자인지 인식을 수행한다(S1130 내지 S1148).
인식 결과 픽토그램도 아니고 문자도 아니라고 판단된 경우에 보조 표지판이 아니라 배경인 것으로 인식하게 되고(S1128), 검증을 거친 후(S1150) 보조 표지판 인식을 마친다.
도 12는 마지막으로 Type 4 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.
Type 4 형태의 보조 표지판에는 화살표만 나타날 수 있기 때문에, 화살표 표시로 인식하지 못하면 배경으로 인식하게 된다.
따라서, 화살표인지 판단하여(S1210), 화살표(S1220) 또는 배경(S1230)으로 보조 표지판을 인식하고, 검증(S1240)단계를 거친 후 보조 표지판 인식을 끝마친다.
도 13은 이렇게 네 개의 사각 형태로 보조 표지판을 인식하는 경우 실제 영상에 의해 보조 표지판을 인식하는 모습을 나타낸다.
관심 영역을 설정한 후 해당 영역에서 에지를 검출하여 보조 표지판 후보 영역을 검출할 수 있다.
도 14 내지 도 16은 사전지식 기반 보조 표지판 검출에 의해 보조 표지판이 검출된 경우, 영역별 보조 표지판 인식 방법의 흐름도를 나타낸다.
도 14는 주 표지판의 윗부분인 제1 영역에 대해 보조 표지판을 인식하기 위한 흐름도이다.
주 표지판의 윗부분인 제1 영역(810)에는 구역표시가 나타나므로 학습에 의해 구역표시인지 판단하여(S1410), 구역표시로 판단되면 보조 표지판이 구역표시인 것으로 인식하고(S1420), 인식하지 못한 경우에는 배경으로 인식한다(S1430).
인식을 마친 후에는 검증을 한번 더 거치는 과정(S1440)은 사각형 기반 보조 표지판 인식 방법과 마찬가지이다.
도 15는 주 표지판의 바로 아래 영역인 제2 영역(820)의 보조 표지판 인식 흐름도이다.
제2 영역에는 구역, 거리 또는 화살표 표시가 나타날 수 있으므로 세 가지 표시를 차례로 인식하고(S1510 내지 S1532), 인식하지 못하는 경우 배경으로 인식(S1540)한 후 검증과정(S1550)을 거쳐 인식을 마친다.
도 16은 주 표지판 아래 제2 영역보다 다소 넓은 영역의 제3 영역에 대한 보조 표지판 인식 흐름도이다.
제3 영역에는 화살표 또는 우천표시가 나타날 수 있으므로 두 가지 표시를 차례로 인식하고(S1610 내지 S1622), 인식하지 못하는 경우 배경으로 인식(S1630)한 후 검증과정(S1640)을 한번 더 거치고 인식과정을 끝낸다.
이상과 같은 보조 표지판 검출 및 인식방법을 통해 주 표지판에 비해 위치 및 모양이 일정하지 않은 보조 표지판을 좀 더 쉽게 검출할 수 있다.
도 17은 보조 표지판 인식이 수행되는 보조 표지판 인식 장치(1700)의 구조도이다.
보조 표지판 인식 장치(1700)는 영상 획득부(1710), 주 표지판 검출부(1710), 보조 표지판 검출부(1720) 및 보조 표지판 인식부(1730)를 포함하여 이루어진다.
영상 획득부(1710)는 카메라 등의 장치를 이용하여 차량 주변의 영상을 획득하고, 주 표지판 검출부(1720)는 획득한 영상에서 주 표지판이 있는지 검출한다.
보조 표지판 검출부(1730)는 주 표지판 검출부(1720)에서 검출한 주 표지판을 기준으로 관심 영역을 설정하고, 설정한 관심 영역에서 에지 검출 및 라인 보팅을 통해 보조 표지판 후보를 검출한다. 관심 영역을 설정하고 정규화 하는 과정과 에지 검출 및 라인 보팅 방법은 전술한 바와 같다.
보조 표지판 검출을 마치면 그 결과를 이용하여 보조 표지판 인식부(1740)는 인식 결과를 출력하는데, 사각형 기반 보조 표지판과 사전지식 기반 보조 표지판에 따라 보조 표지판을 인식하는 과정은 전술한 바와 같다.
한편, 본 발명의 실시예에 따른 보조 표지판 인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 18에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(1821)와, 메모리(1823)와, 사용자 입력 장치(1826)와, 데이터 통신 버스(1822)와, 사용자 출력 장치(1827)와, 저장소(1828)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(1822)를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(1829)를 더 포함할 수 있다. 상기 프로세서(1821)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(1823) 및/또는 저장소(1828)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
상기 메모리(1823) 및 상기 저장소(1828)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(1823)는 ROM(1824) 및 RAM(1825)을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 보조 표지판 인식 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 보조 표지판 인식 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 보조 표지판 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (10)

  1. 프로세서에서 수행되는 보조 표지판 인식 방법에 있어서,
    영상에서 주 표지판을 검출하는 단계;
    상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계;
    상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 단계; 및
    상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계;
    를 포함하는 보조 표지판 인식 방법.
  2. 제1항에 있어서, 상기 관심 영역은
    상기 검출된 주 표지판의 하단부에 위치하고, 상기 검출된 주 표지판의 폭과 높이를 각각 w 및 h라 할 때, 1.2w 내지 1.6w의 가로 사이즈 및 1.4h 내지 1.7h의 세로 사이즈를 가지는 것
    인 보조 표지판 인식 방법.
  3. 제 2항에 있어서, 상기 관심 영역은
    1.4w의 가로사이즈 및 1.53h의 세로사이즈를 가지고, 상기 주 표지판의 하단부로부터 0.09h 떨어진 상단에 상기 관심 영역의 상단부가 위치하여 0.09h의 중첩영역이 존재하는 것
    인 보조 표지판 인식 방법.
  4. 제1항에 있어서, 상기 보조 표지판 후보를 검출하는 단계는
    상기 관심 영역을 정규화 하는 단계;
    상기 관심 영역에서 에지(Edge)를 검출하는 단계;
    상기 검출된 에지를 따라 기설정된 보조 표지판 형태에 대해 라인 보팅(Line voting)을 수행하는 단계; 및
    상기 라인 보팅 수행 결과로 형성된 보팅 맵(Voting map)에 NMS(Non-Maxima Suppression)을 수행하는 단계;를 포함하는 것
    인 보조 표지판 인식 방법.
  5. 제4항에 있어서,
    상기 정규화 하는 단계는, 상기 관심 영역을 가로 44픽셀 및 세로 48픽셀의 크기로 정규화하고,
    상기 기설정된 보조 표지판 형태는, 가로 20픽셀, 세로 8픽셀의 제1 형태(Type 1), 가로 30픽셀, 세로 16픽셀의 제2 형태(Type 2), 가로 32픽셀, 세로 10픽셀의 제3 형태(Type 3) 및 가로 16픽셀, 세로 16픽셀의 제4 형태(Type 4)를 포함하는 것
    인 보조 표지판 인식 방법.
  6. 제5항에 있어서, 상기 인식하는 단계는
    상기 각 형태별 보조 표지판의 특징에 따라 미리 학습된 분류기에 의해 상기 보조 표지판의 내용을 인식하는 것
    인 보조 표지판 인식 방법.
  7. 제1항에 있어서, 상기 보조 표지판 후보를 검출하는 단계는
    상기 영상에서 사전지식을 기반으로 기설정된 위치 및 형태의 영역을 상기 보조 표지판 후보로 검출하는 것
    인 보조 표지판 인식 방법.
  8. 제1항에 있어서, 상기 인식하는 단계 이후에
    상기 인식한 내용을 검증하는 단계;를 더 포함하되
    상기 검증하는 단계는 상기 인식한 내용이 정확하게 분류된 경우와 잘못 분류된 경우를 이용하여 미리 학습한 결과를 이용하는 것
    인 보조 표지판 인식 방법.
  9. 하나이상의 프로세서를 포함하는 보조 표지판 인식 장치에 있어서,
    차량 주변의 영상을 획득하는 영상 획득부;
    상기 획득한 영상에서 주 표지판을 검출하는 주 표지판 검출부;
    상기 검출한 주 표지판의 위치 및 크기를 이용하여 관심영역을 설정하고, 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 보조 표지판 검출부; 및
    상기 검출된 보조 표지판 후보의 특징을 추출하고, 상기 특징에 대해 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 보조 표지판 인식부;
    를 포함하는 보조 표지판 인식 장치.
  10. 제9항에 있어서, 상기 보조 표지판 검출부는
    상기 관심 영역을 정규화 하고,
    상기 관심 영역에서 에지(Edge)를 검출하고,
    상기 검출된 에지를 따라 기설정된 보조 표지판 형태에 대해 라인 보팅(Line voting)을 수행하고,
    상기 라인 보팅 수행 결과로 형성된 보팅 맵(Voting map)에 NMS(Non-Maxima Suppression)을 수행하여 상기 보조 표지판 후보를 검출하는 것
    인 보조 표지판 인식 장치.

KR1020160119197A 2016-09-19 2016-09-19 보조 표지판 인식 장치 및 그 방법 KR102617453B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160119197A KR102617453B1 (ko) 2016-09-19 2016-09-19 보조 표지판 인식 장치 및 그 방법
DE102017215138.2A DE102017215138A1 (de) 2016-09-19 2017-08-30 Verfahren und Vorrichtung zum Erkennen ergänzender Verkehrszeichen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160119197A KR102617453B1 (ko) 2016-09-19 2016-09-19 보조 표지판 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180031174A true KR20180031174A (ko) 2018-03-28
KR102617453B1 KR102617453B1 (ko) 2023-12-26

Family

ID=61302596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160119197A KR102617453B1 (ko) 2016-09-19 2016-09-19 보조 표지판 인식 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102617453B1 (ko)
DE (1) DE102017215138A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005918A1 (en) * 2018-06-26 2020-01-02 Waymo Llc Phrase recognition model for autonomous vehicles
KR20200069910A (ko) 2018-12-07 2020-06-17 이인텔리전스 주식회사 교통표지판의 보조표지판 인식 방법 및 장치
KR20220071847A (ko) * 2020-11-24 2022-05-31 고려대학교 산학협력단 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI745752B (zh) 2019-09-23 2021-11-11 神達數位股份有限公司 行車輔助方法及系統與電腦程式產品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100121817A (ko) * 2009-05-11 2010-11-19 호서대학교 산학협력단 눈의 영역을 추적하는 방법
KR20160083615A (ko) * 2014-12-31 2016-07-12 (주)베라시스 관심영역에서의 차량의 하단선 검출방법
KR20160093464A (ko) * 2015-01-29 2016-08-08 주식회사 만도 교통 표지판 인식 장치 및 교통 표지판 인식 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20210168A1 (es) 2014-02-10 2021-01-28 Merck Patent Gmbh INHIBICION DIRIGIDA DEL FACTOR DE CRECIMIENTO TRANSFORMADOR ß (TGFß)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100121817A (ko) * 2009-05-11 2010-11-19 호서대학교 산학협력단 눈의 영역을 추적하는 방법
KR20160083615A (ko) * 2014-12-31 2016-07-12 (주)베라시스 관심영역에서의 차량의 하단선 검출방법
KR20160093464A (ko) * 2015-01-29 2016-08-08 주식회사 만도 교통 표지판 인식 장치 및 교통 표지판 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정석우 외 3명, "심층 컨볼루션 신경망을 이용한 교통 표지판 인식 알고리즘 개발", 한국자동차공학회 춘계학술대회(2016.05.20.) 1부.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005918A1 (en) * 2018-06-26 2020-01-02 Waymo Llc Phrase recognition model for autonomous vehicles
US10699141B2 (en) 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
US10902272B2 (en) 2018-06-26 2021-01-26 Waymo Llc Phrase recognition model for autonomous vehicles
US11562573B2 (en) 2018-06-26 2023-01-24 Waymo Llc Phrase recognition model for autonomous vehicles
KR20200069910A (ko) 2018-12-07 2020-06-17 이인텔리전스 주식회사 교통표지판의 보조표지판 인식 방법 및 장치
KR20220071847A (ko) * 2020-11-24 2022-05-31 고려대학교 산학협력단 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
DE102017215138A1 (de) 2018-03-22
KR102617453B1 (ko) 2023-12-26

Similar Documents

Publication Publication Date Title
Gonzalez et al. Text detection and recognition on traffic panels from street-level imagery using visual appearance
Fu et al. A survey of traffic sign recognition
Balali et al. Evaluation of multiclass traffic sign detection and classification methods for US roadway asset inventory management
US9633436B2 (en) Systems and methods for multi-dimensional object detection
KR101596299B1 (ko) 교통 표지판 인식 방법 및 장치
KR20180031174A (ko) 보조 표지판 인식 장치 및 그 방법
Greenhalgh et al. Detection and Recognition of Painted Road Surface Markings.
Jain et al. Indian vehicle number-plate recognition using single shot detection and ocr
Greenhalgh et al. Automatic detection and recognition of symbols and text on the road surface
Sumi et al. Detection and recognition of road traffic signs: a survey
Namyang et al. Thai traffic sign classification and recognition system based on histogram of gradients, color layout descriptor, and normalized correlation coefficient
Xu et al. A machine learning approach to vehicle occupancy detection
Nienhüser et al. Fast and reliable recognition of supplementary traffic signs
Visaria et al. Tsrsy-traffic sign recognition system using deep learning
Xavier et al. Automatic detection and recognition of text in traffic sign boards based on word recognizer
CN116052189A (zh) 一种文本识别方法、系统和存储介质
Chincholkar et al. TRAFFIC SIGN BOARD DETECTION AND RECOGNITION FOR AUTONOMOUS VEHICLES AND DRIVER ASSISTANCE SYSTEMS.
Ortataş et al. Solution of real-time traffic signs detection problem for autonomous vehicles by using YOLOV4 and haarcascade algorithms
Shahbaz et al. The Evaluation of Cascade Object Detector in Recognizing Different Samples of Road Signs
Tabassum et al. Traffic Sign Recognition For An Intelligent Vehicle: A Review.
Duan et al. Cascade feature selection and coarse-to-fine mechanism for nighttime multiclass vehicle detection
Ding et al. Improved road marking detection and recognition
Dalve et al. Real time traffic signboard detection and recognition from street level imagery for smart vehicle
Yadav et al. Smart Road Traffic Handler: Cause Identification and Resolution Using Image Processing
Agarwal et al. Automated Vehicle Security System using Convolutional Neural Networks and Support Vector Machine

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant