KR101673433B1 - 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법 - Google Patents

도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법 Download PDF

Info

Publication number
KR101673433B1
KR101673433B1 KR1020160081569A KR20160081569A KR101673433B1 KR 101673433 B1 KR101673433 B1 KR 101673433B1 KR 1020160081569 A KR1020160081569 A KR 1020160081569A KR 20160081569 A KR20160081569 A KR 20160081569A KR 101673433 B1 KR101673433 B1 KR 101673433B1
Authority
KR
South Korea
Prior art keywords
route
route number
recognized
recognizing
road
Prior art date
Application number
KR1020160081569A
Other languages
English (en)
Inventor
정규수
윤준희
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020160081569A priority Critical patent/KR101673433B1/ko
Application granted granted Critical
Publication of KR101673433B1 publication Critical patent/KR101673433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G06K9/00818—
    • G06K9/3258—
    • G06K9/342—
    • G06K9/38—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K2209/01—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 도로표지 영상으로부터 노선에 대한 정보인 노선의 종류 및 번호 그리고 해당 노선이 향하고 있는 방향과 노선이 어떤 다른 노선으로 연결되어 있는 지를 자동으로 인식하여 도로 표지판을 관리자가 매번 육으로 도로 표시판의 내용을 확인하여 수기로 입력하지 않게 하여 도로 표지판 관리를 빠르고 효율적이게 하고, 도로 표지판의 노선번호에 대한 정보를 자동으로 인식하는 것을 통해 자율주행 자동차 스스로가 자신이 달리는 도로의 정보를 재확인할 수 있게 하여 자율주행의 신뢰성을 높이고, 도로 표지판의 노선번호에 대한 정보를 자동으로 인식하여 자동차의 네이비게이션, 디스플레이 또는 음성출력을 통해 운전자에게 명확하게 알려줌으로써 운전자의 육안에 의한 도로 표지판 내용의 오인식을 방지하는 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법에 관한 것이다.

Description

도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법{Apparatus and Method that Automatically Recognizes The Route Information Using a Road Sign Image}
본 발명은 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 첫째, 육안으로 판별하여 수기로 입력하는 도로표지관리시스템(법령에 의거한 관리 시스템)의 노선정보 구축 자동화, 둘째, 자율주행차 스스로 자신이 달리는 도로정보를 재확인함으로써 신뢰성 제고, 셋째, 핸드폰이나 자동차 자체 영상장비로 인식한 노선정보를 음성 등으로 운전자에게 인식시킴으로써 운전자의 정보 오인식 방지를 위해 도로표지 영상으로부터 노선에 대한 정보인 노선의 종류 및 번호 그리고 해당 노선이 향하고 있는 방향과 노선이 어떤 다른 노선으로 연결되어 있는 지를 자동으로 인식하는 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법에 관한 것이다.
도로에 설치되는 표지판은 안전하고 원활한 도로 교통을 확보함과 동시에 도로 이용자들에게 안전하고 편안한 이동을 제공하는 교통소통 시설로서, 교통소통 및 이동의 정보제공을 위한 도로표지와, 교통행위에 대한 규제 혹은 지시의 정보제공을 위한 교통안전 표지로 구분할 수 있다.
이러한 도로 표지판은 운전자뿐만 아니라 스스로 운전을 하는 자율주행 자동차 그리고 도로 표지판을 관리하는 관리자도 도로 표지판의 내용을 빠르게 파악해야 할 필요성이 있다.
도로표지는 법률에 의거하여 도로표지 관리 시스템(프로그램)으로 그 위치정보와 속성정보(지명, 방향, 노선 등)가 관리되고 있으며 정보가 주기적으로 갱신되고 있다. 현재 도로표지관리시스템의 속성정보는 도로표지 영상을 바탕으로 관리자가 육안으로 판별하여 수동으로 입력하여 왔다.
도로표지 영상을 이용하여 속성정보를 자동으로 추출하려는 종래의 기술은 크게 세 가지로 나눌 수 있다. 첫째는 지명정보 인식, 둘째는 방향정보 인식, 그리고 마지막은 노선정보 인식이다.
기존의 기술은 주로 지명정보 인식에 치우쳐 있으며 최근 방향정보 자동인식에 대한 연구가 이루어져 있다(관련특허 등록번호 특허 제 10-1411893; 특허권자 한국건설기술연구원). 노선정보에 대한 인식은 그 연구가 매우 드문 실정이다.
도로표지 관리시스템에서 관리되고 있는 노선정보에는 노선의 종류(고속국도, 일반국도, 지방도, 시도), 노선의 방향, 노선의 번호, 노선의 성격(OTW, TTW) 등이 있다. OTW는 On The Way의 약자로써, '운전자가 주행하는 노선'으로 정의된다. TTW는 To The Way의 약자로써, '운전자가 주행하면 향후 연결될 다른 노선'으로 정의될 수 있다. 도 16에 도시된 바와 같이, 39의 경우 노선의 종류는 일반국도, 노선의 방향은 우측, 노선의 번호는 39, 노선의 성격은 OTW 라고 할 수 있다. 또한 노선번호 21/45의 경우 노선의 종류는 일반국도, 노선의 방향은 우측, 노선의 번호는 21/45, 그리고 노선의 성격은 TTW 라고 할 수 있다.
도로표지 영상으로 노선정보를 자동으로 추출하는 기술은 부분적으로 OCR(Optical Character Recognition)을 이용하여 노선번호를 추출하거나 노선번호의 영역만을 추출하는 기술이 존재한다. 따라서 노선의 종류, 노선의 번호, 노선의 방향, 노선의 성격 등을 자동으로 인식하는 방식은 연구/개발되어 있지 않고 도로 표지판을 관리하는 관리자는 도로 표지판 자체를 이미지를 통해 인식하고 도로 표지판의 환경적인 상태와 내용을 육안으로 확인하여 그 결과를 도로 표지판 관리 프로그램에 입력하여 관리해 왔다.
이렇게 도로표지 영상을 육안으로 판별하여 입력하는 도로표지 속정정보 구축방식은 데이터베이스의 구축 시간이 매우 많이 소요되며, 관리자에 의한 오인식의 문제점이 존재하고, 현재 자율주행차에서의 인식기술은 비전센서, 혹은 라이다를 이용하여 주변 지형지물과의 충돌방지 기술쪽으로 집중되어 있어 도로표지판의 속성정보에 대한 인식 기술은 개발되어 있지 않아 도로표지판의 내용을 빠르게 자동으로 인식하는 방법 또는 장치가 전무하여 법령에 의거하여 관리되고 있는 도로표지 관리시스템에서는 노선의 종류(고속국도, 일반국도, 지방도, 시도), 노선의 번호, 노선의 방향, 노선의 성격(OTW, TTW) 등을 입력하여 관리하는 문제점이 있다.
또한, 현재 도로표지 영상정보를 이용한 노선정보의 자동 인식하는 통상의 기술은 '숫자의 인식' 혹은 '노선번호 영역의 인식'에 머물러 있으므로 이러한 복합적인 정보를 자동으로 추출할 수 없는 문제점이 있다.
등록특허 10-1411893 등록특허 10-1448504
본 발명이 해결하려는 과제는, 상기 문제점을 극복하기 위한 것으로서, 도로 표지판의 내용인 노선번호의 종류 및 번호와 해당 노선이 향하고 있는 방향과 해당 노선이 어떤 다른 노선으로 연결되어 있는 지를 자동으로 인식 할 수 있게 하는 것이다.
본 발명은 도로표지 영상을 이용한 노선정보의 자동인식 장치에 관한 것으로서, 도로표지 영상을 이용한 노선정보의 자동인식 장치에 있어서, 아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력하는 영상 입력부(100); 상기 영상 입력부(100)를 통해 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출하는 도로 표지판 추출부(200); 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식하는 노선번호 인식부(300); 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식하는 방향인식부(400); 및 상기 도로 표지판 추출부(200), 상기 노선번호 인식부(300) 및 상기 방향인식부(400)의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력하는 출력부(500);를 포함한다.
이때, 상기 노선번호 인식부(300)는 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호 영역을 식별하는 노선번호 영역식별부(310); 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류하는 노선번호 분류부(320); 및 상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 노선번호 문자인식부(330);를 포함한다.
또한 이때, 상기 노선번호 영역식별부(310)는 (310a) 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행하는 단계; (310b) 상기 (310a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식하는 단계; (310c) 상기 (310b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링하는 단계;를 수행한다.
또한 이때, 상기 노선번호 분류부(320)는 (320a) 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 확장하는 단계; (320b) 상기 (320a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류하는 단계; (320c) 상기 (320b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류하는 단계; (320d) 상기 (320c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류하는 단계; (320e) 상기 (320d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류하는 단계;를 수행한다.
또한 이때, 상기 노선번호 문자인식부(330)는 (330a) 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 보정하는 단계; (330b) 상기 (330a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;를 수행한다.
이때, 상기 방향인식부(400)는 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 2/3방향 표지 인식부(410); 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 1/2지명 방향 표지 인식부(420); 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 가로가 긴 2/3방향 표지 인식부(430); 및 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 약식표지 인식부(440);를 포함한다.
이때, 상기 2/3방향 표지 인식부(410)는 (410a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별하는 단계; (410b) 상기 (410a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (410a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (410a) 단계의 폐곡선의 중심점에 수직선을 긋는 단계; (410c) 상기 (410b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (410a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식하는 단계; (410d) 상기 (410b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (410a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식하는 단계; (410e) 상기 (410b) 단계, 상기 (410c) 단계 및 상기 (410d) 단계에서 인식되지 않고 상기 (410a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식하는 단계;를 수행한다.
또한 이때, 상기 1/2지명 방향 표지 인식부(420)는 (420a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계; (420b) 상기 (420a) 단계에서 인식된 화살표와 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식하는 단계;를 수행한다.
또한 이때, 상기 가로가 긴 2/3방향 표지 인식부(430)는 (430a) 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분하는 단계; (430b) 상기 (430a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계; (430c) 상기 (430b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계; (430d) 상기 (430a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계; (430e) 상기 (430d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;를 수행한다.
또한 이때, 상기 약식표지 인식부(440)는 (440a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계; (440b) 상기 (440a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분하는 단계; (440c) 상기 (440a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식하는 단계; (440d) 상기 (440c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식하는 단계;를 수행한다.
또한 본 발명은 도로표지 영상을 이용한 노선정보의 자동인식 방법에 관한 것으로서, 도로표지 영상을 이용한 노선정보의 자동인식 방법에 있어서, (A) 아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력하는 단계; (B) 상기 (A) 단계에서 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출하는 단계; (C) 상기 (B) 단계에서 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식하는 단계; (D) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식하는 단계; (E) 상기 (B) 단계, 상기 (C) 단계 및 상기 (D) 단계의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력하는 단계;를 포함한다.
이때, 상기 (C) 단계는 (C1) 상기 (B) 단계에서 추출된 도로 표지판에서 노선번호 영역을 식별하는 단계; (C2) 상기 (C1) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류하는 단계; (C3) 상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;를 포함한다.
이때, 상기 (C1) 단계는 (C1a) 상기 (B) 단계에서 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행하는 단계; (C1b) 상기 (C1a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식하는 단계; (C1c) 상기 (C1b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링하는 단계;를 포함한다.
또한 이때, 상기 (C2) 단계는 (C2a) 상기 (C1) 단계에서 식별된 노선번호 영역을 확장하는 단계; (C2b) 상기 (C2a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류하는 단계; (C2c) 상기 (C2b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류하는 단계; (C2d) 상기 (C2c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류하는 단계; (C2e) 상기 (C2d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류하는 단계;를 포함한다.
또한 이때, 상기 (C3) 단계는 (C3a) 상기 (C1) 단계에서 식별된 노선번호 영역을 보정하는 단계; (C3b) 상기 (C3a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;를 포함한다.
또한 이때, 상기 (D) 단계는 (D1) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계; (D2) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계; (D3) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계; (D4) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계;를 포함한다.
또한 이때, 상기 (D1) 단계는 (D1a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별하는 단계; (D1b) 상기 (D1a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (D1a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (D1a) 단계의 폐곡선의 중심점에 수직선을 긋는 단계; (D1c) 상기 (D1b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (D1a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식하는 단계; (D1d) 상기 (D1b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (D1a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식하는 단계; (D1e) 상기 (D1b) 단계, 상기 (D1c) 단계 및 상기 (D1d) 단계에서 인식되지 않고 상기 (D1a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식하는 단계;를 포함한다.
또한 이때, 상기 (D2) 단계는 (D2a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계; (D2b) 상기 (D2a) 단계에서 인식된 화살표와 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식하는 단계;를 포함한다.
또한 이때, 상기 (D3) 단계는 (D3a) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분하는 단계; (D3b) 상기 (D3a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계; (D3c) 상기 (D3b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계; (D3d) 상기 (D3a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계; (D3e) 상기 (D3d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;를 포함한다.
또한 이때, 상기 (D4) 단계는 (D4a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계; (D4b) 상기 (D4a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분하는 단계; (D4c) 상기 (D4a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식하는 단계; (D4d) 상기 (D4c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식하는 단계;를 포함한다.
본 발명에 따르면 도로 표지판의 내용인 노선번호의 종류 및 번호와 해당 노선이 향하고 있는 방향과 해당 노선이 어떤 다른 노선으로 연결되어 있는 지를 자동으로 인식하는 것을 통해 도로 표지판의 관리자가 매번 육안으로 도로 표지판의 내용을 확인하여 수기로 입력하지 않게 하여 도로 표지판 관리를 빠르고 효율적으로 하는 효과가 있다.
또한 본 발명에 따르면 도로 표지판의 노선번호에 대한 정보를 자동으로 인식하는 것을 통해 자율주행 자동차 스스로가 자신이 달리는 도로의 정보를 재확인할 수 있게 하여 자율주행의 신뢰성을 높이는 효과가 있다.
또한 본 발명에 따르면 도로 표지판의 노선번호에 대한 정보를 자동으로 인식하여 자동차의 네이비게이션, 디스플레이 또는 음성출력을 통해 운전자에게 명확하게 알려줌으로써 운전자의 육안에 의한 도로 표지판 내용의 오인식을 방지하는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 장치를 나타내기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 도로표지 영상의 도로표지에 사용되는 노선번호의 예이다.
도 3은 본 발명의 일 실시 예에 따른 도로 표지 영상에서 잘 못 인식된 도로표지 심벌의 예이다.
도 4는 본 발명의 일 실시 예에 따른 도로 표지 영상을 반전한 예이다.
도 5는 본 발명의 일 실시 예에 따른 도로 표지 영상의 폐곡선을 구성하는 점 리스트의 예이다.
도 6은 본 발명의 일 실시 예에 따른 폐곡선을 구성하는 점 리스트를 바탕으로 최소 경계 사각형(MBR, Minimum Boundary Rectangle)을 구성한 예이다.
도 7은 본 발명의 일 실시 예에 따른 상기 노선번호 영역식별부(310)를 통해 얻은 결과의 예이다.
도 8은 본 발명의 일 실시 예에 따른 노선번호의 분류 기준 스팩트럼이다.
도 9는 본 발명의 일 실시 예에 따른 3방향과 2방향 표지의 예이다.
도 10은 본 발명의 일 실시 예에 따른 1지명과 2지명 표지의 예이다.
도 11은 본 발명의 일 실시 예에 따른 가로가 긴 2방향 표지의 예이다.
도 12는 본 발명의 일 실시 예에 따른 가로가 긴 3방향 표지의 예이다.
도 13은 본 발명의 일 실시 예에 따른 3부분으로 구성된 약식 표지의 예이다.
도 14는 본 발명의 일 실시 예에 따른 2부분으로 구성된 약식 표지의 예이다.
도 15는 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
도 16은 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
도 17은 본 발명의 일 실시 예에 따른 화살표를 인식한 도로 표지판에 화살표에 수직선을 그은 예이다.
도 18은 Jarvis's March 알고리즘를 나타낸다.
도 19는 본 발명의 일 실시 예에 따른 도 17의 왼쪽부분을 나타낸다.
도 20은 본 발명의 일 실시 예에 따른 도 17의 오른쪽부분을 나타낸다.
도 21는 본 발명의 일 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 방법을 나타내기 위한 흐름도이다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 할 것이다.
또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 본 발명의 바람직한 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 장치에 관해 도 1 내지 20을 참고하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 장치를 나타내기 위한 블록도이다.
도 1에 도시한 바와 같이, 본 발명의 바람직한 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 장치에 있어서, 아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력하는 영상 입력부(100)와 상기 영상 입력부(100)를 통해 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출하는 도로 표지판 추출부(200)와 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식하는 노선번호 인식부(300)와 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식하는 방향인식부(400)와 상기 도로 표지판 추출부(200), 상기 노선번호 인식부(300) 및 상기 방향인식부(400)의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력하는 출력부(500)로 이루어진다.
아울러, 상기 도로 표지판 추출부(200)가 도로 표지판을 인식하고 크기 및 종류를 추출하는 바람직한 실시 예는 등록특허 제1448504호의 기술을 사용하는 것이다.
또한 아울러, 상기 노선번호는 도로 표지판에 표시된 도로 번호를 의미한다.
또한 아울러, 상기 출력부(500)가 DB화하는 바람직한 실시 예는 상기 출력부(500)의 결과를 활용하려는 시스템에서 특별한 어려움 없이 활용할 수 있도록 표준화된 DB형식을 사용하는 것이다.
이때, 상기 노선번호 인식부(300)는 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호 영역을 식별하는 노선번호 영역식별부(310)와 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류하는 노선번호 분류부(320)와 상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 노선번호 문자인식부(330)로 이루어진다.
도 2는 본 발명의 일 실시 예에 따른 도로표지 영상의 도로표지에 사용되는 노선번호의 예이다.
아울러, 상기 노선번호 분류부(320)가 노선번호의 색상분포를 사용하여 노선번호를 분류하는 것은 도 2에 도시한 바와 같이 노선 별로 도로 표지판에 표시하는 색에 차이가 있기 때문이다.
도 3은 본 발명의 일 실시 예에 따른 도로 표지 영상에서 잘 못 인식된 도로표지 심벌의 예이다.
상기 노선번호 문자인식부(330)를 통해 상기 노선번호 영역식별부(310)가 도 3에 도시한 바와 같이 잘 못 인식된 도로표지 심벌을 제거한다.
또한 이때, 상기 노선번호 영역식별부(310)는, 먼저, 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행한다(310a).
다음으로, 상기 (310a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식한다(310b).
다음으로, 상기 (310b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링한다(310c).
도 4는 본 발명의 일 실시 예에 따른 도로 표지 영상을 반전한 예이다.
아울러, 도 4에 도시한 바와 같이, 상기 (310a) 단계에서 도로 표지판 영상을 영상 반전하는 것은 도로표지의 노선번호의 테두리는 흰색으로 구성되어 있기 때문에 이를 검색으로 변경하기 위함이다.
또한 아울러, 상기 (310b) 단계에서 노선번호 영역을 인식하는 바람직한 실시 예는 먼저, 최소영역을 가지는 폐곡선 검색을 수행한다.
도 5는 본 발명의 일 실시 예에 따른 도로 표지 영상의 폐곡선을 구성하는 점 리스트의 예이다.
다음으로, 도 5에 도시한 바와 같이, 폐곡선을 구성하는 점 리스트를 식별한다.
도 6은 본 발명의 일 실시 예에 따른 폐곡선을 구성하는 점 리스트를 바탕으로 최소 경계 사각형(MBR, Minimum Boundary Rectangle)을 구성한 예이다.
다음으로, 도 6에 도시한 바와 같이, 폐곡선을 구성하는 점 리스트를 바탕으로 최소 경계 사각형(MBR, Minimum Boundary Rectangle)을 구성한다.
상기 최소 경계 사각형은 도 6에 도시한 바와 같이, 점 리스트 중 직선거리 d가 가장 먼 두 점을 먼저 연결하고, 이 같은 작업을 반복하는 것이다.
상기 (310c) 단계에서 도료표지의 특성을 고려하여 필터링하는 바람직한 실시 예는 도로표지 종별에 따라 정의된 한글 높이를 이용하여 노선번호의 크기를 유추하고, 기준에 적합한 폐곡선만을 노선번호 후보로 결정하는 것이다.
이는 노선번호의 크기는 도로표지 설치지침에 의거하여 한글 높이를 기준으로 결정되기 때문이다.
Figure 112016062918658-pat00001
표 1와 같이, 노선번호 영역 식별 기준은 수학식 1과 같다.
Figure 112016062918658-pat00002
Figure 112016062918658-pat00003
도 7은 본 발명의 일 실시 예에 따른 상기 노선번호 영역식별부(310)를 통해 얻은 결과의 예이다.
도 7에 도시한 바와 같이, 상기 노선번호 영역식별부(310)를 통해 결과를 도출할 수 있다.
또한 이때, 상기 노선번호 분류부(320)는, 먼저, 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 확장한다(320a).
다음으로, 상기 (320a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류한다(320b).
다음으로, 상기 (320b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류한다(320c).
다음으로, 상기 (320c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류한다(320d).
다음으로, 상기 (320d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류한다(320e).
도 8은 본 발명의 일 실시 예에 따른 노선번호의 분류 기준 스팩트럼이다.
상기 노선번호 분류부(320)는 도 8에 도시한 바와 같은 노선번호 분류 스팩트럼을 기초로 한다.
아울러, 상기 (320a) 단계에서 상기 노선번호 영역을 확장하는 바람직한 실시 예는 상기 노선번호 영역 높이의 40%를 확장하는 것이다.
이는 고속국도 노선번호의 경우 머리의 붉은 영역이 제외되고 영역이 식별되는 경우가 많기 때문이다.
또한 아울러, 상기 (320b) 단계는 고속국도의 경우 도로표지 영역 위쪽에 붉은색이 분포한다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (320c) 단계는 지방도의 경우 전체적으로 노란색 대역대의 색상이 주로 분포한다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (320d) 단계는 시도의 경우 하얀색이 노선번호 배경에 사용되고 있다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (320e) 단계는 일반국도 노선번호의 경우 파랑 계열의 색상이 배경으로 사용되고 있는 점을 고려하여 분석한 기준이다.
또한 이때, 상기 노선번호 문자인식부(330)는, 먼저, 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 보정한다(330a).
다음으로, 상기 (330a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식한다(330b).
아울러, 상기 (330a) 단계에서 노선번호 영역을 보정하는 바람직한 실시 예는 상기 노선번호 분류부(320)를 통해 분류된 노선번호가 고속국도 또는 일반국도인 경우 상기 노선번호 영역의 좌우 15% 및 상하 10%를 제거하고, 상기 노선번호 분류부(320)를 통해 분류된 노선번호가 지방도인 경우 상기 노선번호 영역의 좌우 2.5% 및 상하 2.5%를 제거하고, 상기 노선번호 분류부(320)를 통해 분류된 노선번호가 시도인 경우 상기 노선번호 영역의 좌우 20% 및 상하 2.5%를 제거하는 것이다.
또한 아울러, 상기 (330b) 단계에서 숫자 문자로 인식하는 바람직한 실시 예는 도로표지 숫자 폰트를 학습데이터로 구축하여 엔진을 튜닝한 Tesseract를 사용하는 것이다.
이는 노선번호 '1'의 경우 영문 소문자 'l'로 인식되거나, 노선번호 '101'에서 한글 '이'로 인식하는 오인식이 많기 때문이다.
도 9는 본 발명의 일 실시 예에 따른 3방향과 2방향 표지의 예이다.
도 10은 본 발명의 일 실시 예에 따른 1지명과 2지명 표지의 예이다.
도 11은 본 발명의 일 실시 예에 따른 가로가 긴 2방향 표지의 예이다.
도 12는 본 발명의 일 실시 예에 따른 가로가 긴 3방향 표지의 예이다.
도 13은 본 발명의 일 실시 예에 따른 3부분으로 구성된 약식 표지의 예이다.
도 14는 본 발명의 일 실시 예에 따른 2부분으로 구성된 약식 표지의 예이다.
또한 이때, 도 9 내지 14에 도시한 바와 같이, 상기 방향인식부(400)는 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 2/3방향 표지 인식부(410)와 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 1/2지명 방향 표지 인식부(420)와 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 가로가 긴 2/3방향 표지 인식부(430)와 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 약식표지 인식부(440)로 이루어진다.
도 15는 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
또한 이때, 상기 2/3방향 표지 인식부(410)는, 먼저, 도 15에 도시한 바와 같이, 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별한다(410a).
다음으로, 상기 (410a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (410a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (410a) 단계의 폐곡선의 중심점에 수직선을 긋는다(410b).
다음으로, 상기 (410b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (410a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식한다(410c).
다음으로, 상기 (410b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (410a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식한다(410d).
다음으로, 상기 (410b) 단계, 상기 (410c) 단계 및 상기 (410d) 단계에서 인식되지 않고 상기 (410a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식한다(410e).
아울러, 상기 정북, 정서 및 정동의 방향은 실제 북쪽, 서쪽 및 동쪽을 의미하는 것이 아니고, 정북은 직진방향, 정서는 좌측방향 그리고 정동은 우측방향을 의미하는 것이다.
아울러, 상기 OTW는 on the way의 약자로 도로 표지판에 화살표로 나타난 노선의 번호를 의미한다.
또한 아울러, 상기 (410a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
도 16은 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
또한 아울러, 상기 (410a) 단계에서 화살표의 밑단에 점을 활용하는 것은 도 16에 도시한 바와 같이 2방향 표지의 경우 폐곡선 구성이 어려운 점이 있기 때문이다.
도 17은 본 발명의 일 실시 예에 따른 화살표를 인식한 도로 표지판에 화살표에 수직선을 그은 예이다.
따라서 도 17에 도시한 바와 같이 각 화살표에 수직선을 그어 표지 하단과 만나는 점들을 폐곡선 구성에 참여시킨다.
도 17에 도시한 바와 같이 A에서 수직선을 그어 표지 하단과 만나는 점이 A'이며, B에서 수직선을 그어 표지 하단과 만나는 점이 B', C에서 수직선을 그어 표지 하단과 만나는 점이 C'이다.
도 18은 Jarvis's March 알고리즘를 나타낸다.
또한 아울러, 상기 (410a) 단계에서 폐곡선을 구성하는 바람직한 실시 예는 도 *에 도시한 바와 같이, Jarvis's March 알고리즘을 사용하는 것이다.
또한 아울러, 도 17의 경우 상기 (410b) 단계의 정북에 해당하는 OTW(On the Way)는 노선번호 37이다.
도 19는 본 발명의 일 실시 예에 따른 도 17의 왼쪽부분을 나타낸다.
또한 아울러, 도 19의 경우 상기 (410c) 단계의 정서에 해당하는 OTW(On the Way)는 노선번호 37과 47이다.
도 20은 본 발명의 일 실시 예에 따른 도 17의 오른쪽부분을 나타낸다.
또한 아울러, 도 20의 경우 상기 (410d) 단계의 정동에 해당하는 OTW(On the Way)는 노선번호 47이다.
또한 아울러, 상기 (410e) 단계에서 TTW(to the way)로 인식하는 바람직한 실시 예는 OTW(on the way) 후보가 아닌 노선번호 영역에서 안내지명의 직선거리가 화살표의 직선거리보다 짧은 경우 상기 노선번호 영역의 노선번호를 TTW(to the way)로 인식하는 것이다.
또한 아울러, 도 15를 예를 들어보면, 노선번호 A는 화살표 A보다 '현리'라는 안내지명의 직선거리가 더 짧으므로 노선번호 A는 인내지명 '현리'에 대한 TTW(to the way)로 인식한다.
또한 아울러, 상기 TTW는 to the way의 약자로 도로 표지판에 화살표로 나타난 노선이 향해가고 있는 노선 번호를 의미한다.
또한 이때, 상기 1/2지명 방향 표지 인식부(420)는, 먼저, 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식한다(420a).
다음으로, 상기 (420a) 단계에서 인식된 화살표와 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식한다(420b).
아울러, 상기 (420a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
또한 아울러, 상기 Y축은 도로 표지판의 세로 부분을 의미한다.
또한 아울러, 상기 (420b) 단계에서 Y축에 인접한 지명을 판단하는 바람직한 실시 예는 도로 표지판의 세로 부분 중 어느 하나에서 직선거리가 가장 짧은 지명을 인접한 지명으로 판단하는 것이다.
또한 이때, 상기 가로가 긴 2/3방향 표지 인식부(430)는, 먼저, 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분한다(430a).
다음으로, 상기 (430a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식한다(430b).
다음으로, 상기 (430b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식한다(430c).
다음으로, 상기 (430a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식한다(430d).
다음으로, 상기 (430d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식한다(430e).
아울러, 상기 X축은 도로 표지판의 가로 부분을 의미한다.
또한 아울러, 도 11의 도로 표지판은 2등분하고, 도 12의 도로 표지판은 3등분한다.
또한 아울러, 상기 (430b) 단계를 도 12로 예를 들면 노선번호 513과 21이 OTW(on the way)로 인식된다.
또한 아울러, 상기 (430b) 단계를 도 12로 예를 들면 노선번호 513을 정서의 OWT(on the way)로 인식하며 노선번호 21을 증평의 TTW(to the way)로 인식하고, 노선번호 21을 정북의 OWT(on the way)로 인식하며 노선번호 35를 진천IC의 TTW(to the way)로 인식하고, 노선번호 17을 광혜원의 TTW(to the way)로 인식한다.
또한 아울러, 상기 인접한 안내지명을 판단하는 바람직한 실시 예는 노선번호 영역에서 직선거리가 가장 짧은 안내지명으로 판단하는 것이다.
또한 아울러, 상기 (430d) 단계를 도 11로 예를 들면 노선번호 32와 39가 OTW(on the way)로 인식된다.
또한 아울러, 상기 (430e) 단계를 도 11로 예를 들면 노선번호 32을 정북의 OWT(on the way)로 인식하고, 노선번호 39를 정동의 OWT(on the way)로 인식한다.
또한 이때, 상기 약식표지 인식부(440)는, 먼저, 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식한다(440a).
다음으로, 상기 (440a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분한다(440b).
다음으로, 상기 (440a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식한다(440c).
다음으로, 상기 (440c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식한다(440d).
아울러, 상기 (440a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
또한 아울러, 상기 (440b) 단계에서 등분하는 바람직한 실시 예는 도 14에 도시한 바와 같이 인식된 화살표 개수가 2개이면 2방향 표지로 판단하여 표지를 2등분하고, 도 13에 도시한 바와 같이 화살표 개수가 3개로 인식되면 3방향 표지로 판단하여 표지를 3등분하는 것이다.
또한 아울러, 상기 Y축은 도로 표지판의 세로 부분을 의미한다.
또한 아울러, 상기 (440c) 단계를 도 13과 14를 예를 들면 노선번호 32는 정북의 OTW(on the way)로 인식되고, 노선번호 84는 정북의 OTW(on the way)로 인식된다.
또한 아울러, 상기 인접한 안내지명을 판단하는 바람직한 실시 예는 노선번호 영역에서 직선거리가 가장 짧은 안내지명으로 판단하는 것이다.
또한 이하, 본 발명의 바람직한 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 방법에 관해 도 2 내지 21을 참고하여 상세히 설명한다.
도 21는 본 발명의 일 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 방법을 나타내기 위한 흐름도이다.
도 21에 도시한 바와 같이, 본 발명의 바람직한 실시 예에 따른 도로표지 영상을 이용한 노선정보의 자동인식 방법에 있어서, 먼저, 아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력한다(S101).
다음으로, 상기 (S101) 단계에서 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출한다(S102).
다음으로, 상기 (S102) 단계에서 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식한다(S103).
다음으로, 상기 (S103) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식한다(S104).
다음으로, 상기 (S102) 단계, 상기 (S103) 단계 및 상기 (S104) 단계의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력한다(S105).
아울러, 상기 (S102) 단계에서 도로 표지판을 인식하고 크기 및 종류를 추출하는 바람직한 실시 예는 등록특허 제1448504호의 기술을 사용하는 것이다.
또한 아울러, 상기 (S103) 단계의 노선번호는 도로 표지판에 표시된 도로 번호를 의미한다.
또한 아울러, 상기 (S105) 단계에서 DB화하는 바람직한 실시 예는 상기 (S105) 단계의 결과를 활용하려는 시스템에서 특별한 어려움 없이 활용할 수 있도록 표준화된 DB형식을 사용하는 것이다.
또한 아울러, 상기 (S105) 단계에서 사용자가 육안으로 확인하는 바람직한 실시 예는 사용자 인터페이스가 적용된 디스플레이를 통해 육안으로 확인하는 것이다.
이때, 상기 (S103) 단계는, 먼저, 상기 (B) 단계에서 추출된 도로 표지판에서 노선번호 영역을 식별한다(C1).
다음으로, 상기 (C1) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류한다(C2).
다음으로, 상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식한다(C3).
도 2는 본 발명의 일 실시 예에 따른 도로표지 영상의 도로표지에 사용되는 노선번호의 예이다.
아울러, 상기 (C2) 단계에서 노선번호의 색상분포를 사용하여 노선번호를 분류하는 것은 도 2에 도시한 바와 같이 노선 별로 도로 표지판에 표시하는 색에 차이가 있기 때문이다.
도 3은 본 발명의 일 실시 예에 따른 도로 표지 영상에서 잘 못 인식된 도로표지 심벌의 예이다.
상기 (C3) 단계를 통해 상기 (C1) 단계에서 도 3에 도시한 바와 같이 잘 못 인식된 도로표지 심벌을 제거한다.
또한 이때, 상기 (C1) 단계는, 먼저, 상기 (B) 단계에서 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행한다(C1a).
다음으로, 상기 (C1a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식한다(C1b).
다음으로, 상기 (C1b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링한다(C1c).
도 4는 본 발명의 일 실시 예에 따른 도로 표지 영상을 반전한 예이다.
아울러, 도 4에 도시한 바와 같이, 상기 (C1a) 단계에서 도로 표지판 영상을 영상 반전하는 것은 도로표지의 노선번호의 테두리는 흰색으로 구성되어 있기 때문에 이를 검색으로 변경하기 위함이다.
또한 아울러, 상기 (C1b) 단계에서 노선번호 영역을 인식하는 바람직한 실시 예는 먼저, 최소영역을 가지는 폐곡선 검색을 수행한다.
도 5는 본 발명의 일 실시 예에 따른 도로 표지 영상의 폐곡선을 구성하는 점 리스트의 예이다.
다음으로, 도 5에 도시한 바와 같이, 폐곡선을 구성하는 점 리스트를 식별한다.
도 6은 본 발명의 일 실시 예에 따른 폐곡선을 구성하는 점 리스트를 바탕으로 최소 경계 사각형(MBR, Minimum Boundary Rectangle)을 구성한 예이다.
다음으로, 도 6에 도시한 바와 같이, 폐곡선을 구성하는 점 리스트를 바탕으로 최소 경계 사각형(MBR, Minimum Boundary Rectangle)을 구성한다.
상기 최소 경계 사각형은 도 6에 도시한 바와 같이, 점 리스트 중 직선거리 d가 가장 먼 두 점을 먼저 연결하고, 이 같은 작업을 반복하는 것이다.
상기 (C1c) 단계에서 도료표지의 특성을 고려하여 필터링하는 바람직한 실시 예는 도로표지 종별에 따라 정의된 한글 높이를 이용하여 노선번호의 크기를 유추하고, 기준에 적합한 폐곡선만을 노선번호 후보로 결정하는 것이다.
이는 노선번호의 크기는 도로표지 설치지침에 의거하여 한글 높이를 기준으로 결정되기 때문이다.
상기 표 1와 같이, 노선번호 영역 식별 기준은 상기 수학식 1과 같다.
도 7은 본 발명의 일 실시 예에 따른 상기 노선번호 영역식별부(310)를 통해 얻은 결과의 예이다.
도 7에 도시한 바와 같이, 상기 노선번호 영역식별부(310)를 통해 결과를 도출할 수 있다.
또한 이때, 상기 (C2) 단계는, 먼저, 상기 (C1) 단계에서 식별된 노선번호 영역을 확장한다(C2a).
다음으로, 상기 (C2a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류한다(C2b).
다음으로, 상기 (C2b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류한다(C2c).
다음으로, 상기 (C2c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류한다(C2d).
다음으로, 상기 (C2d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류한다(C2e).
도 8은 본 발명의 일 실시 예에 따른 노선번호의 분류 기준 스팩트럼이다.
상기 (C2) 단계는 도 8에 도시한 바와 같은 노선번호 분류 스팩트럼을 기초로 한다.
아울러, 상기 (C2a) 단계에서 상기 노선번호 영역을 확장하는 바람직한 실시 예는 상기 노선번호 영역 높이의 40%를 확장하는 것이다.
이는 고속국도 노선번호의 경우 머리의 붉은 영역이 제외되고 영역이 식별되는 경우가 많기 때문이다.
또한 아울러, 상기 (C2b) 단계는 고속국도의 경우 도로표지 영역 위쪽에 붉은색이 분포한다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (C2c) 단계는 지방도의 경우 전체적으로 노란색 대역대의 색상이 주로 분포한다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (C2d) 단계는 시도의 경우 하얀색이 노선번호 배경에 사용되고 있다는 점을 고려하여 분석한 기준이다.
또한 아울러, 상기 (C2e) 단계는 일반국도 노선번호의 경우 파랑 계열의 색상이 배경으로 사용되고 있는 점을 고려하여 분석한 기준이다.
또한 이때, 상기 (C3) 단계는, 먼저, 상기 (C1) 단계에서 식별된 노선번호 영역을 보정한다(C3a).
다음으로, 상기 (C3a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식한다(C3b).
아울러, 상기 (C3a) 단계에서 노선번호 영역을 보정하는 바람직한 실시 예는 상기 (C2) 단계에서 분류된 노선번호가 고속국도 또는 일반국도인 경우 상기 노선번호 영역의 좌우 15% 및 상하 10%를 제거하고, 상기 (C2) 단계에서 분류된 노선번호가 지방도인 경우 상기 노선번호 영역의 좌우 2.5% 및 상하 2.5%를 제거하고, 상기 (C2) 단계에서 분류된 노선번호가 시도인 경우 상기 노선번호 영역의 좌우 20% 및 상하 2.5%를 제거하는 것이다.
또한 아울러, 상기 (C3b) 단계에서 숫자 문자로 인식하는 바람직한 실시 예는 도로표지 숫자 폰트를 학습데이터로 구축하여 엔진을 튜닝한 Tesseract를 사용하는 것이다.
이는 노선번호 '1'의 경우 영문 소문자 'l'로 인식되거나, 노선번호 '101'에서 한글 '이'로 인식하는 오인식이 많기 때문이다.
도 9는 본 발명의 일 실시 예에 따른 3방향과 2방향 표지의 예이다.
도 10은 본 발명의 일 실시 예에 따른 1지명과 2지명 표지의 예이다.
도 11은 본 발명의 일 실시 예에 따른 가로가 긴 2방향 표지의 예이다.
도 12는 본 발명의 일 실시 예에 따른 가로가 긴 3방향 표지의 예이다.
도 13은 본 발명의 일 실시 예에 따른 3부분으로 구성된 약식 표지의 예이다.
도 14는 본 발명의 일 실시 예에 따른 2부분으로 구성된 약식 표지의 예이다.
또한 이때, 도 9 내지 14에 도시한 바와 같이, 상기 (S104) 단계는, 먼저, 상기 (S102) 단계에서 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 (S103) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식한다(D1).
다음으로, 상기 (S102) 단계에서 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 (S103) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식한다(D2).
다음으로, 상기 (S102) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 (S103) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식한다(D3).
다음으로, 상기 (S102) 단계에서 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 (S103) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식한다(D4).
도 15는 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
또한 이때, 상기 (D1) 단계는, 먼저, 상기 (S103) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별한다(D1a).
다음으로, 상기 (D1a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (D1a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (D1a) 단계의 폐곡선의 중심점에 수직선을 긋는다(D1b).
다음으로, 상기 (D1b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (D1a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식한다(D1c).
다음으로, 상기 (D1b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (D1a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식한다(D1d).
다음으로, 상기 (D1b) 단계, 상기 (D1c) 단계 및 상기 (D1d) 단계에서 인식되지 않고 상기 (D1a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식한다(D1e).
아울러, 상기 정북, 정서 및 정동의 방향은 실제 북쪽, 서쪽 및 동쪽을 의미하는 것이 아니고, 정북은 직진방향, 정서는 좌측방향 그리고 정동은 우측방향을 의미하는 것이다.
아울러, 상기 OTW는 on the way의 약자로 도로 표지판에 화살표로 나타난 노선의 번호를 의미한다.
또한 아울러, 상기 (D1a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
도 16은 본 발명의 일 실시 예에 따른 도로 표지판에 화살표를 인식한 예이다.
또한 아울러, 상기 (D1a) 단계에서 화살표의 밑단에 점을 활용하는 것은 도 16에 도시한 바와 같이 2방향 표지의 경우 폐곡선 구성이 어려운 점이 있기 때문이다.
도 17은 본 발명의 일 실시 예에 따른 화살표를 인식한 도로 표지판에 화살표에 수직선을 그은 예이다.
따라서 도 17에 도시한 바와 같이 각 화살표에 수직선을 그어 표지 하단과 만나는 점들을 폐곡선 구성에 참여시킨다.
도 17에 도시한 바와 같이 A에서 수직선을 그어 표지 하단과 만나는 점이 A'이며, B에서 수직선을 그어 표지 하단과 만나는 점이 B', C에서 수직선을 그어 표지 하단과 만나는 점이 C'이다.
도 18은 Jarvis's March 알고리즘를 나타낸다.
또한 아울러, 상기 (D1a) 단계에서 폐곡선을 구성하는 바람직한 실시 예는 도 *에 도시한 바와 같이, Jarvis's March 알고리즘을 사용하는 것이다.
또한 아울러, 도 17의 경우 상기 (D1b) 단계의 정북에 해당하는 OTW(On the Way)는 노선번호 37이다.
도 19는 본 발명의 일 실시 예에 따른 도 17의 왼쪽부분을 나타낸다.
또한 아울러, 도 19의 경우 상기 (D1c) 단계의 정서에 해당하는 OTW(On the Way)는 노선번호 37과 47이다.
도 20은 본 발명의 일 실시 예에 따른 도 17의 오른쪽부분을 나타낸다.
또한 아울러, 도 20의 경우 상기 (D1d) 단계의 정동에 해당하는 OTW(On the Way)는 노선번호 47이다.
또한 아울러, 상기 (D1e) 단계에서 TTW(to the way)로 인식하는 바람직한 실시 예는 OTW(on the way) 후보가 아닌 노선번호 영역에서 안내지명의 직선거리가 화살표의 직선거리보다 짧은 경우 상기 노선번호 영역의 노선번호를 TTW(to the way)로 인식하는 것이다.
또한 아울러, 도 15를 예를 들어보면, 노선번호 A는 화살표 A보다 '현리'라는 안내지명의 직선거리가 더 짧으므로 노선번호 A는 인내지명 '현리'에 대한 TTW(to the way)로 인식한다.
또한 아울러, 상기 TTW는 to the way의 약자로 도로 표지판에 화살표로 나타난 노선이 향해가고 있는 노선 번호를 의미한다.
또한 이때, 상기 (D2) 단계는, 먼저, 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식한다(D2a).
다음으로, 상기 (D2a) 단계에서 인식된 화살표와 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식한다(D2b).
아울러, 상기 (D2a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
또한 아울러, 상기 Y축은 도로 표지판의 세로 부분을 의미한다.
또한 아울러, 상기 (D2b) 단계에서 Y축에 인접한 지명을 판단하는 바람직한 실시 예는 도로 표지판의 세로 부분 중 어느 하나에서 직선거리가 가장 짧은 지명을 인접한 지명으로 판단하는 것이다.
또한 이때, 상기 (D3) 단계는, 먼저, 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분한다(D3a).
다음으로, 상기 (D3a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식한다(D3b).
다음으로, 상기 (D3b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식한다(D3c).
다음으로, 상기 (D3a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식한다(D3d).
다음으로, 상기 (D3d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식한다(D3e).
아울러, 상기 X축은 도로 표지판의 가로 부분을 의미한다.
또한 아울러, 도 11의 도로 표지판은 2등분하고, 도 12의 도로 표지판은 3등분한다.
또한 아울러, 상기 (D3b) 단계를 도 12로 예를 들면 노선번호 513과 21이 OTW(on the way)로 인식된다.
또한 아울러, 상기 (D3b) 단계를 도 12로 예를 들면 노선번호 513을 정서의 OWT(on the way)로 인식하며 노선번호 21을 증평의 TTW(to the way)로 인식하고, 노선번호 21을 정북의 OWT(on the way)로 인식하며 노선번호 35를 진천IC의 TTW(to the way)로 인식하고, 노선번호 17을 광혜원의 TTW(to the way)로 인식한다.
또한 아울러, 상기 인접한 안내지명을 판단하는 바람직한 실시 예는 노선번호 영역에서 직선거리가 가장 짧은 안내지명으로 판단하는 것이다.
또한 아울러, 상기 (D3d) 단계를 도 11로 예를 들면 노선번호 32와 39가 OTW(on the way)로 인식된다.
또한 아울러, 상기 (D3e) 단계를 도 11로 예를 들면 노선번호 32을 정북의 OWT(on the way)로 인식하고, 노선번호 39를 정동의 OWT(on the way)로 인식한다.
또한 이때, 상기 (D4) 단계는, 먼저, 상기 (S103) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식한다(D4a).
다음으로, 상기 (D4a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분한다(D4b).
다음으로, 상기 (D4a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식한다(D4c).
다음으로, 상기 (D4c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식한다(D4d).
아울러, 상기 (D4a) 단계에서 화살표를 인식하는 바람직한 실시 예는 등록특허 제1411893호의 기술을 사용하여 인식하는 것이다.
또한 아울러, 상기 (D4b) 단계에서 등분하는 바람직한 실시 예는 도 14에 도시한 바와 같이 인식된 화살표 개수가 2개이면 2방향 표지로 판단하여 표지를 2등분하고, 도 13에 도시한 바와 같이 화살표 개수가 3개로 인식되면 3방향 표지로 판단하여 표지를 3등분하는 것이다.
또한 아울러, 상기 Y축은 도로 표지판의 세로 부분을 의미한다.
또한 아울러, 상기 (D4c) 단계를 도 13과 14를 예를 들면 노선번호 32는 정북의 OTW(on the way)로 인식되고, 노선번호 84는 정북의 OTW(on the way)로 인식된다.
또한 아울러, 상기 인접한 안내지명을 판단하는 바람직한 실시 예는 노선번호 영역에서 직선거리가 가장 짧은 안내지명으로 판단하는 것이다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다.
100 : 영상 입력부
200 : 도로 표지판 추출부
300 : 노선번호 인식부
310 : 노선번호 영역식별부
320 : 노선번호 분류부
330 : 노선번호 문자인식부
400 : 방향인식부
410 : 2/3방향 표지 인식부
420 : 1/2지명 방향 표지 인식부
430 : 가로가 긴 2/3방향 표지 인식부
440 : 약식표지 인식부
500 : 출력부

Claims (20)

  1. 도로표지 영상을 이용한 노선정보의 자동인식 장치에 있어서,
    아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력하는 영상 입력부(100);
    상기 영상 입력부(100)를 통해 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출하는 도로 표지판 추출부(200);
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식하는 노선번호 인식부(300);
    상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식하는 방향인식부(400); 및
    상기 도로 표지판 추출부(200), 상기 노선번호 인식부(300) 및 상기 방향인식부(400)의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력하는 출력부(500);
    를 포함하되,
    상기 노선번호 인식부(300)는,
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판에서 노선번호 영역을 식별하는 노선번호 영역식별부(310);
    상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류하는 노선번호 분류부(320); 및
    상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 노선번호 문자인식부(330);
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 노선번호 영역식별부(310)는,
    (310a) 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행하는 단계;
    (310b) 상기 (310a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식하는 단계;
    (310c) 상기 (310b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  4. 제1항에 있어서,
    상기 노선번호 분류부(320)는,
    (320a) 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 확장하는 단계;
    (320b) 상기 (320a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류하는 단계;
    (320c) 상기 (320b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류하는 단계;
    (320d) 상기 (320c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류하는 단계;
    (320e) 상기 (320d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  5. 제1항에 있어서,
    상기 노선번호 문자인식부(330)는,
    (330a) 상기 노선번호 영역식별부(310)를 통해 식별된 노선번호 영역을 보정하는 단계;
    (330b) 상기 (330a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  6. 제1항에 있어서,
    상기 방향인식부(400)는,
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 2/3방향 표지 인식부(410);
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 1/2지명 방향 표지 인식부(420);
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 가로가 긴 2/3방향 표지 인식부(430); 및
    상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 노선번호 인식부(300)를 통해 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 약식표지 인식부(440);
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  7. 제6항에 있어서,
    상기 2/3방향 표지 인식부(410)는,
    (410a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별하는 단계;
    (410b) 상기 (410a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (410a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (410a) 단계의 폐곡선의 중심점에 수직선을 긋는 단계;
    (410c) 상기 (410b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (410a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식하는 단계;
    (410d) 상기 (410b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (410a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (410b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식하는 단계;
    (410e) 상기 (410b) 단계, 상기 (410c) 단계 및 상기 (410d) 단계에서 인식되지 않고 상기 (410a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  8. 제6항에 있어서,
    상기 1/2지명 방향 표지 인식부(420)는,
    (420a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계;
    (420b) 상기 (420a) 단계에서 인식된 화살표와 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  9. 제6항에 있어서,
    상기 가로가 긴 2/3방향 표지 인식부(430)는,
    (430a) 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 도로 표지판 추출부(200)를 통해 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분하는 단계;
    (430b) 상기 (430a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계;
    (430c) 상기 (430b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;
    (430d) 상기 (430a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계;
    (430e) 상기 (430d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (430d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  10. 제6항에 있어서,
    상기 약식표지 인식부(440)는,
    (440a) 상기 노선번호 인식부(300)를 통해 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계;
    (440b) 상기 (440a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분하는 단계;
    (440c) 상기 (440a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식하는 단계;
    (440d) 상기 (440c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식하는 단계;
    를 수행하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 장치.
  11. 도로표지 영상을 이용한 노선정보의 자동인식 방법에 있어서,
    (A) 아날로그 영상신호를 디지털 처리가 가능한 디지털신호로 변환하여 입력하는 단계;
    (B) 상기 (A) 단계에서 디지털 신호로 변환된 영상에서 도로 표지판을 인식하고 상기 도로 표지판의 크기 및 종류를 추출하는 단계;
    (C) 상기 (B) 단계에서 추출된 도로 표지판에서 노선번호를 식별하고 분류하고 인식하는 단계;
    (D) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 노선번호에 대한 방향정보를 도로표지의 종별에 따라 인식하는 단계;
    (E) 상기 (B) 단계, 상기 (C) 단계 및 상기 (D) 단계의 결과를 DB화하고 사용자가 육안으로 확인 할 수 있도록 출력하는 단계;
    를 포함하되,
    상기 (C) 단계는,
    (C1) 상기 (B) 단계에서 추출된 도로 표지판에서 노선번호 영역을 식별하는 단계;
    (C2) 상기 (C1) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포를 기준으로 하여 노선번호를 분류하는 단계;
    (C3) 상기 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 (C1) 단계는,
    (C1a) 상기 (B) 단계에서 추출된 도로 표지판의 영상을 이진영상으로 변환하고 영상 반전을 수행하는 단계;
    (C1b) 상기 (C1a) 단계에서 반전된 영상에서 점을 추적하여 최소영역을 가지는 폐곡선 검색을 통해 노선번호 영역을 인식하는 단계;
    (C1c) 상기 (C1b) 단계에서 인식된 노선번호 영역을 도로표지의 특성을 고려하여 필터링하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  14. 제11항에 있어서,
    상기 (C2) 단계는,
    (C2a) 상기 (C1) 단계에서 식별된 노선번호 영역을 확장하는 단계;
    (C2b) 상기 (C2a) 단계에서 식별된 노선번호 영역에서 노선번호의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 35미만이거나 320이상인 픽셀의 비율이 2%를 초과하는 경우, 상기 노선번호를 고속국도로 분류하는 단계;
    (C2c) 상기 (C2b) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 15이상이고 75이하인 픽셀의 비율이 50%를 초과하는 경우, 상기 노선번호를 지방도로 분류하는 단계;
    (C2d) 상기 (C2c) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀의 비율이 50% 미만인 경우, 상기 노선번호를 시도로 분류하는 단계;
    (C2e) 상기 (C2d) 단계에서 분류되지 않은 경우의 색상 분포에서 채도(Saturation)가 20을 초과하는 픽셀 중 휴(Hue) 값이 140이상이고 300이하인 픽셀의 비율이 60%를 초과하는 경우, 상기 노선번호를 일반국도로 분류하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  15. 제11항에 있어서,
    상기 (C3) 단계는,
    (C3a) 상기 (C1) 단계에서 식별된 노선번호 영역을 보정하는 단계;
    (C3b) 상기 (C3a) 단계에서 보정된 노선번호 영역에 이미지화 되어 있는 노선의 번호를 숫자 문자로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  16. 제11항에 있어서,
    상기 (D) 단계는,
    (D1) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 3방향 또는 2방향 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계;
    (D2) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 1지명 또는 2지명 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계;
    (D3) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 또는 3방향 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계;
    (D4) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 약식 표지인 경우, 상기 (C) 단계에서 식별되고 분류되고 인식된 노선번호에 대한 방향정보를 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  17. 제16항에 있어서,
    상기 (D1) 단계는,
    (D1a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하고 상기 화살표와 상기 화살표의 밑단에 점을 이은 폐곡선 안에 상기 노선번호가 포함되거나 교차되면 상기 노선번호를 OTW(On the Way) 후보로 식별하는 단계;
    (D1b) 상기 (D1a) 단계의 화살표 중 정북인 화살표가 있는 경우 정북인 상기 화살표로부터 도로 표지의 밑단까지 수직선을 긋고 상기 수직선과 상기 노선번호가 교차하면 상기 노선번호를 정북의 OTW(On the Way)로 인식하고, 상기 (D1a) 단계의 화살표 중 정북인 화살표가 없는 경우 상기 (D1a) 단계의 폐곡선의 중심점에 수직선을 긋는 단계;
    (D1c) 상기 (D1b) 단계의 상기 수직선을 기준으로 좌측방향에 상기 (D1a) 단계의 화살표 중 정서인 화살표가 있는 경우 정서인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정서의 OTW(On the Way)로 인식하는 단계;
    (D1d) 상기 (D1b) 단계의 상기 수직선을 기준으로 우측방향에 상기 (D1a) 단계의 화살표 중 정동인 화살표가 있는 경우 정동인 상기 화살표에서 상기 (D1b) 단계의 상기 수직선까지 수평선을 긋고 상기 수평선과 교차하는 노선번호를 정동의 OTW(On the Way)로 인식하는 단계;
    (D1e) 상기 (D1b) 단계, 상기 (D1c) 단계 및 상기 (D1d) 단계에서 인식되지 않고 상기 (D1a) 단계에서 OTW(On the Way) 후보로 인식되지 않은 노선번호를 가까운 안내 지명의 TTW(to the way)로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  18. 제16항에 있어서,
    상기 (D2) 단계는,
    (D2a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계;
    (D2b) 상기 (D2a) 단계에서 인식된 화살표와 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판의 Y축에 인접한 지명을 연결하여 인식된 노선번호 모두를 상기 지명을 향하는 TTW(to the way)로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  19. 제16항에 있어서,
    상기 (D3) 단계는,
    (D3a) 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 2방향 표지인 경우 도로 표지판의 X축을 2등분하고, 상기 (B) 단계에서 추출된 도로 표지판의 종류가 가로가 긴 3방향 표지인 경우 도로 표지판의 X축을 3등분하는 단계;
    (D3b) 상기 (D3a) 단계에서 3등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계;
    (D3c) 상기 (D3b) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정서의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 가운데 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3b) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;
    (D3d) 상기 (D3a) 단계에서 2등분한 도로 표지판의 경우, 각각의 부분에 대한 화살표를 인식하고, 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 OTW(On the Way)로 인식하는 단계;
    (D3e) 상기 (D3d) 단계의 인식된 결과에서 왼쪽 부분의 경우, 상기 노선번호를 정북의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 안내지명의 TTW(to the way)로 인식하고, 오른쪽 부분의 경우, 상기 노선번호를 정동의 OTW(On the Way)로 인식하며 상기 (D3d) 단계에서 OTW(On the Way)로 인식되지 않은 노선번호를 인접한 지명의 TTW(to the way)로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
  20. 제16항에 있어서,
    상기 (D4) 단계는,
    (D4a) 상기 (C) 단계에서 노선번호가 식별되고 분류되고 인식된 도로 표지판에서 화살표를 인식하는 단계;
    (D4b) 상기 (D4a) 단계에서 인식된 화살표의 개수만큼 상기 도로 표지판의 Y축을 등분하는 단계;
    (D4c) 상기 (D4a) 단계에서 인식된 화살표로부터 화살표가 향하는 반대방향으로 선을 그어 교차하는 노선번호를 화살표 방향의 OTW(On the Way)로 인식하는 단계;
    (D4d) 상기 (D4c) 단계에서 OTW(on the way)로 인식되지 않은 노선번호는 인접한 안내지명의 TTW(to the way)로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 도로표지 영상을 이용한 노선정보의 자동인식 방법.
KR1020160081569A 2016-06-29 2016-06-29 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법 KR101673433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160081569A KR101673433B1 (ko) 2016-06-29 2016-06-29 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160081569A KR101673433B1 (ko) 2016-06-29 2016-06-29 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101673433B1 true KR101673433B1 (ko) 2016-11-07

Family

ID=57529631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160081569A KR101673433B1 (ko) 2016-06-29 2016-06-29 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101673433B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087092A (ko) * 2018-01-16 2019-07-24 충북대학교 산학협력단 단계별 윤곽선 특성 분석을 이용한 숫자 인식 방법 및 장치
CN110399958A (zh) * 2019-08-03 2019-11-01 厦门精图信息技术有限公司 基于三维码门牌的地名地址综合服务系统和方法
KR20210084912A (ko) * 2019-12-30 2021-07-08 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050013445A (ko) * 2003-07-28 2005-02-04 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
JP2007278765A (ja) * 2006-04-04 2007-10-25 Xanavi Informatics Corp ナビゲーション装置、および地図データ更新方法
KR101411893B1 (ko) 2014-04-11 2014-06-25 한국건설기술연구원 도로표지 영상에서의 방향정보 자동인식 방법
KR101448504B1 (ko) 2014-07-09 2014-10-13 한국건설기술연구원 엠엠에스를 이용한 도로 표지판 추출 방법
KR101490466B1 (ko) * 2013-09-10 2015-02-05 이엔지정보기술 주식회사 영상 내 도로표지 검출 및 도로표지 지주 인식 시스템, 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050013445A (ko) * 2003-07-28 2005-02-04 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
JP2007278765A (ja) * 2006-04-04 2007-10-25 Xanavi Informatics Corp ナビゲーション装置、および地図データ更新方法
KR101490466B1 (ko) * 2013-09-10 2015-02-05 이엔지정보기술 주식회사 영상 내 도로표지 검출 및 도로표지 지주 인식 시스템, 그 방법
KR101411893B1 (ko) 2014-04-11 2014-06-25 한국건설기술연구원 도로표지 영상에서의 방향정보 자동인식 방법
KR101448504B1 (ko) 2014-07-09 2014-10-13 한국건설기술연구원 엠엠에스를 이용한 도로 표지판 추출 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087092A (ko) * 2018-01-16 2019-07-24 충북대학교 산학협력단 단계별 윤곽선 특성 분석을 이용한 숫자 인식 방법 및 장치
KR102007791B1 (ko) 2018-01-16 2019-08-06 충북대학교 산학협력단 단계별 윤곽선 특성 분석을 이용한 숫자 인식 방법 및 장치
CN110399958A (zh) * 2019-08-03 2019-11-01 厦门精图信息技术有限公司 基于三维码门牌的地名地址综合服务系统和方法
CN110399958B (zh) * 2019-08-03 2024-02-09 厦门精图信息技术有限公司 基于三维码门牌的地名地址综合服务系统和方法
KR20210084912A (ko) * 2019-12-30 2021-07-08 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치
KR102316720B1 (ko) 2019-12-30 2021-10-25 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101673433B1 (ko) 도로표지 영상을 이용한 노선정보의 자동인식 장치 및 방법
CN106778548B (zh) 用于检测障碍物的方法和装置
EP3022528B1 (de) Verfahren zum betrieb einer navigationseinrichtung, navigationseinrichtung und kraftfahrzeug
AU2018256505A1 (en) Artificial intelligence system for providing road surface risk information and method thereof
JP2018156389A (ja) 車両制御装置
CN115273003A (zh) 一种结合字符定位的交通标志识别及导航决策方法和系统
CN109635719B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质
Hyeon et al. Robust road marking detection using convex grouping method in around-view monitoring system
CN106601024A (zh) 利用了识别周围车道的车道改变车辆认识装置及方法
US20240078815A1 (en) Device and method for recognizing obstacles for a vehicle
Dewar et al. Designing road sign symbols
Nienhüser et al. Fast and reliable recognition of supplementary traffic signs
JP5327241B2 (ja) 物体識別装置
Keerimolel et al. A survey on traffic sign recognition and detection
DE102019208181A1 (de) Fahrassistenz-system
Fazekas et al. Computerized recognition of traffic signs setting out lane arrangements
CN114757195A (zh) 指路及旅游标志版面信息含义识别方法及装置
Chilukuri et al. Development of mobile application for VRUs using computer vision
Tangsuksant et al. Static obstacle detection along the road with a combined method
JP2020095659A (ja) 車両の制御装置、制御システム、及び制御プログラム
JP2020113207A (ja) 車載装置、レーン関連処理方法
Tabassum et al. Traffic Sign Recognition For An Intelligent Vehicle: A Review.
Varshini et al. Traffic Signs Recognition using R-CNN
Rahman et al. Automated Vehicle License Plate Recognition System: An Adaptive Approach Using Digital Image Processing

Legal Events

Date Code Title Description
A201 Request for examination
GRNT Written decision to grant