KR101312306B1 - 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 - Google Patents

표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 Download PDF

Info

Publication number
KR101312306B1
KR101312306B1 KR1020110117727A KR20110117727A KR101312306B1 KR 101312306 B1 KR101312306 B1 KR 101312306B1 KR 1020110117727 A KR1020110117727 A KR 1020110117727A KR 20110117727 A KR20110117727 A KR 20110117727A KR 101312306 B1 KR101312306 B1 KR 101312306B1
Authority
KR
South Korea
Prior art keywords
dct
interest
region
sign
thinning
Prior art date
Application number
KR1020110117727A
Other languages
English (en)
Other versions
KR20130052333A (ko
Inventor
황선영
김광수
조한민
한승화
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020110117727A priority Critical patent/KR101312306B1/ko
Publication of KR20130052333A publication Critical patent/KR20130052333A/ko
Application granted granted Critical
Publication of KR101312306B1 publication Critical patent/KR101312306B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Abstract

본 발명은 표지판 인식방법에 관한 것으로서, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함하는 것을 특징으로 하며 영상을 이진화하여 DCT 변환의 연산량을 줄일 수 있다.

Description

표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법{Apparatus for recognizing signs, Method thereof, and Method for recognizing image}
본 발명은 표지판 인식방법에 관한 것으로서, 더욱 상세하게는 표지판 인식을 위해 영상을 이진화하여 DCT 변환의 연산량을 줄일 수 있는 표지판 인식방법, 표지판 인식장치, 및 기록매체에 관한 것이다.
지능형 자동차에서의 컴퓨터 비전 시스템은 사람의 반응체계를 비추어 볼 때 그 중요성과 전망이 높은 분야 중에 하나이다. 사람의 반응체계는 시각을 통하여 외부로부터 여러 정보를 얻은 후 반응하며 그 비율이 약 80% 이상일 정도로 높은 비중을 차지하고 있다. 따라서 대부분 정보의 전달 형태가 시각적이며 이를 이용한 컴퓨터 비전 시스템이 기존 자동차 분야에 접목이 되어 그 중요성이 커지고 있다.
컴퓨터 비전 시스템 중, 교통표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이나 다른 기술에 비해 발전이 많이 이뤄지지 않았다. 교통 표지판 인식은 정확한 정보를 사용자에게 전달하기 위하여 인식률을 높이는 것뿐만 아니라, 안전성과 관련한 정보를 실시간으로 빠르게 사용자에게 제공하여야 한다. 하지만, 기존의 영상에 대한 DCT 변환은 연산량이 많은 문제가 있다.
본 발명이 해결하고자 하는 첫 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 표지판 인식방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 이미지 인식방법을 제공하는 것이다.
본 발명이 해결하고자 하는 세 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 표지판 인식장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함하는 표지판 인식방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 소정의 경우와 이에 대응하는 연산값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식방법일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 이진화된 관심영역을 세선화하는 단계를 더 포함하고, 상기 세선화하는 단계는, 상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 것을 특징으로 하는 표지판 인식방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 추출된 관심영역을 전처리하는 단계를 더 포함하고, 상기 전처리하는 단계는, 상기 관심영역의 크기를 정규화하는 단계, 상기 정규화된 관심영역을 배경과 전경으로 구분하여 상기 전경만을 추출하는 단계, 및 상기 추출된 전경을 선명화하는 단계를 포함하는 표지판 인식방법을 제공한다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 이미지로부터 관심영역을 추출하는 단계, 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계, 상기 이진화된 관심영역을 세선화하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 이미지의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 이미지가 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 이미지를 인식하는 단계를 포함하고, 상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 소정의 경우와 이에 대응하는 연산값을 매핑시킨 테이블이고, 상기 세선화하는 단계는 상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 것을 특징으로 하는 이미지 인식방법을 제공한다.
본 발명은 상기 세 번째 과제를 달성하기 위하여, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 관심영역 추출부, 상기 추출된 관심영역을 전처리하는 전처리부, 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 이진화부, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 DCT 계수 좌표선택부, 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수에 따라 DCT 변환하는 DCT 변환부, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 특징값 추출부, 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 클래스 분류부, 및 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 상기 표지판을 인식하는 결정부를 포함하는 표지판 인식장치를 제공한다.
본 발명의 일 실시예에 의하면, 상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 연산값 테이블의 크기에 대한 제한이 없는 경우, 상기 관심영역의 해상도에 따라 연산 가능한 모든 경우와 이에 대응하는 연산값을 매핑시키고, 상기 연산값 테이블의 크기에 대한 제한이 있는 경우, 상기 DCT 변환시 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시킨 것을 특징으로 하는 표지판 인식장치일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 세선화부를 더 포함하고, 상기 세선화 결과값 테이블은 상기 세선화를 수행시 가능한 모든 경우와 이에 대응하는 세선화 결과값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식장치일 수 있다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 표지판 인식방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 영상을 이진화함으로써, 표지판 인식을 위한 DCT 변환의 연산량을 줄일 수 있다. 또한, 영상을 세선화함으로써, 표지판 인식을 위한 DCT 변환의 연산량을 줄일 수 있다. 나아가, 연속 프레임 결과를 누적하여 분류함으로써, 정확한 표지판 인식이 가능하다.
도 1은 본 발명의 일 실시예에 따른 표지판 인식장치를 도시한 블록도이다.
도 1a는 전처리과정에 따른 관심영역의 변화를 나타낸 것이다.
도 1b는 세선화 알고리듬의 적용범위를 나타낸 것이다.
도 1c는 이진화한 영상과 세선화한 영상을 나타낸 것이다.
도 1d는 연산값 테이블을 이용한 DCT 변환부를 나타낸 것이다.
도 1e는 특징값 추출부의 동작을 나타낸 것이다.
도 2는 본 발명의 실시예에 따른 표지판 인식방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 표지판 인식방법의 DCT 변환단계의 흐름도이다.
도 4는 본 발명의 실시예에 따른 표지판 인식방법의 전처리 단계의 흐름도이다.
도 5는 본 발명의 실시예에 따른 표지판 인식방법의 특징값 추출단계의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 표지판 인식방법은 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprises)" 또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 표지판 인식장치를 도시한 블록도이다.
본 발명의 일 실시예에 따른 표지판 인식장치는 관심영역 추출부 (110), 이진화부 (130), DCT 계수 좌표선택부 (145), DCT 변환부 (150), 특징값 추출부 (160), 클래스 분류부 (170), 결정부 (180)로 구성된다. 또한, 전처리부 (120), 세선화부 (140)를 더 포함할 수 있다.
본 발명에서 인식하고자 하는 표지판은 문자, 숫자, 또는 단순한 형상을 포함하는 표지판일 수 있다. 속도 제한 표지판 또는 길 안내 표지판 등이 될 수 있으며, 다른 영상으로부터 인식가능한 다른 종류의 표지판도 본 발명의 인식대상 표지판이 될 수 있다. 이하에서는 속도 제한 표지판을 중심으로 설명하도록 한다. 속도 제한 표지판을 중심으로 설명하더라도, 본 발명이 속도 제한 표지판을 인식하는데 국한되는 것은 아님을 분명히 한다.
관심영역 추출부 (110)는 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출한다.
보다 구체적으로, 표지판이 촬영된 영상 중, 인식하고자 하는 표지판의 영역만을 이용하여 표지판을 인식하기 위하여, 표지판의 정보를 포함하는 관심영역만을 상기 영상으로부터 추출한다. 속도 제한 표지판의 경우, 속도 정보가 포함된 관심영역을 추출한다.
전처리부 (120)는 상기 추출된 관심영역을 전처리한다.
보다 구체적으로, 추출된 관심영역의 크기는 카메라 센서의 촬영시점에서의 표지판과 차량 간의 거리에 따라 다르다. 따라서, 추출한 관심영역을 클래스별로 분류하기 적합하도록 크기나 해상도를 조정할 필요가 있다. 우선, 관심영역의 크기를 정규화한다. 쌍 일차 보간법 (bilinear interpolation)을 이용하여 영상의 크기를 정규화할 수 있다. 또는, 최근접 이웃 보간법 (nearest neighber interpolation)이나 쌍 삼차 (이차) 보간법 (bicubic interpolation) 등을 이용할 수도 있다.
다음, 전처리부 (120)는 상기 정규화된 관심영역을 배경과 전경을 구분하여 상기 전경만을 추출한다. 속도 제한 표지판의 경우, 표지판의 숫자에 해당하는 영역만을 추출하기 위하여, 관심영역을 숫자에 해당하는 전경과 그 이외의 배경으로 구분하여 상기 전경만을 추출한다. 이를 크로핑 (cropping)이라고 한다. 크로핑으로 추출된 픽셀 데이터 수가 감소되면, 이후 전처리 및 분류과정에서 선택되는 특징의 개수가 줄어들어 연산량이 줄어든다.
다음, 전처리부 (120)는 상기 추출된 전경을 선명화한다. 관심영역을 선명화하기 위하여, 우선, 컬러 영상을 그레이 영상으로 변환할 수 있다. 연산량을 줄이기 위하여 8-비트 (bit) 그레이 영상으로 변환할 수 있다. 상기 영상은 촬영당시 주위의 광원, 날씨, 장애물 등의 환경조건에 따라 밝기 분포의 편차를 보일 수 있다. 따라서, 이를 조정하기 위하여, 화이트 발란스 (white balance) 조정과 콘트라스트 (contrast) 확장을 이용하여 선명화를 수행할 수 있다. 선명화는 다음 수학식 1과 같이 수행될 수 있다.
Figure 112011089307586-pat00001
Inew (x,y)는 선명화 과정의 결과로 변환된 좌표 (x,y)의 픽셀값, Ipre (x,y)는 선명화 이전의 좌표 (x,y)의 픽셀값, Imax는 선명화 이전의 픽셀값 중 최대값, Imin은 선명화 이전의 픽셀값 중 최소값이다.
도 1a는 전처리과정에 따른 관심영역의 변화를 나타낸 것이다.
보다 구체적으로, 전처리부 (120)가 관심영역을 전처리하는 과정을 나타낸 것이다. 상기 관심영역의 원본 (121)을 정규화하면 참조번호 122와 같이 된다. 정규화된 관심영역 (122)을 그레이 변환하면 참조번호 123과 같이 된다. 그레이 변환한 관심영역 (123)을 크로핑하면 참조번호 124와 같이 되고, 크로핑한 관심영역 (124)을 선명화하면 참조번호 125와 같이 된다.
이진화부 (130)는 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화한다.
보다 구체적으로, 상기 관심영역에 대한 DCT 변환의 연산량을 줄이기 위하여 상기 관심영역을 이진화한다. 관심영역의 각 픽셀값이 미리 설정된 임계값보다 작은 경우, 0으로, 픽셀값이 상기 임계값보다 큰 경우, 1로 대체한다. 이진화를 하면, 사칙연산을 수행하는 경우, 연산값은 0, 1, 2만이 나오므로 연산을 간단히 할 수 있다.
세선화부 (140)는 상기 이진화된 관심영역을 세선화한다.
보다 구체적으로, 상기 이진화된 관심영역의 0의 개수가 증가할수록 연산량 줄어든다. 상기 이진화된 관심영역의 0의 개수를 증가시키면서, 이진화과정에서 발생한 노이즈를 제거하여 표지판 클래스 분류의 정확성을 높이기 위하여, 상기 이진화된 관심영역을 세선화한다. 세선화를 수행함에 있어서, Zhang과 Suen이 제안한 세선화 알고리듬을 이용할 수 있다. 상기 Zhang and Suen 세선화 알고리듬은 평면상의 어떤 영역의 구조적 특징을 나타내는 골격을 구하는 알고리듬으로 잡음이 많은 환경의 문자를 인식하는데 이용할 수 있다. 또는 Stentiford 알고리듬과 같이, 다른 세선화방법을 이용하여 상기 이진화된 관심영역을 세선화할 수도 있다.
도 1b는 세선화 알고리듬의 적용범위를 나타낸 것이다.
도 1b를 참조하여 세선화 알고리듬을 설명하도록 한다. 세선화 조건은 다음과 같다.
(1) 전경의 픽셀의 두께가 한 픽셀이 되도록 한다.
(2) 세선화된 픽셀의 위치 (골격선의 위치)는 도형이나 선에서 항상 중심에 위치한다.
(3) 골격선은 원래의 도형에 있어서의 연결성을 유지하여야 한다.
(4) 세선화 과정에서 골격선의 길이가 계속해서 줄어서는 안된다.
(5) 패턴 윤곽선의 작은 요철로 인한 잡가지 모양이 골격선에 첨가되지 않아야 한다.
상기 조건을 만족하면서 세선화하는 방법으로써, 상기 Zhang and Suen 세선화 알고리듬은 두 개의 부분반복 (two subiterations)를 통해 수행된다. 각각의 부분반복을 통해 대상 픽셀이 아래 4가지 조건이 모두 참 (true)이 될 때, 상기 대상 픽셀을 삭제할 픽셀로 마크하거나, 상기 대상 픽셀을 삭제한다.
첫 번째 부분반복의 4가지 조건은 다음과 같다.
(1) 픽셀 P1의 연결 영역의 수는 1이어야 한다.
(2) 픽셀 P1이 적어도 2개 이상, 6개 이하의 픽셀값이 1인 픽셀과 이웃하여야 한다.
(3) 픽셀 P1과 이웃하는 P2, P4, P8 중 적어도 하나의 픽셀값이 0이어야 한다.
(4) 픽셀 P1과 이웃하는 P2, P6, P8 중 적어도 하나의 픽셀값이 0이어야 한다.
상기 첫 번째 부분반복을 관심영역 전체에 반복하여 수행하고, 상기 조건을 만족하는 픽셀을 삭제할 픽셀로 마크시킨다. 그리고 두 번째 부분반복을 수행한다.
두 번째 부분반복의 4가지 조건을 다음과 같다.
(1), (2)는 상기 첫 번째 부분반복과 동일하다.
(3) 픽셀 P1과 이웃하는 P4, P6, P8 중 적어도 하나의 픽셀값이 0이어야 한다.
(4) 픽셀 P1과 이웃하는 P2, P4, P6 중 적어도 하나의 픽셀값이 0이어야 한다.
상기 두 번째 부분반복을 수행하여 상기 조건을 만족하고, 상기 첫 번째 부분반복 결과 삭제할 픽셀로 마크된 P1의 픽셀값을 0으로 설정한다.
세선화 과정시, 상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화할 수 있다.
보다 구체적으로, 세선화 수행시, 수행 가능한 모든 경우와 이에 대응하는 세선화 결과값을 매핑시킨 상기 세선화 결과값 테이블을 이용하여 상기 이진화된 관심영역을 세선화할 수도 있다. 도 1b와 같이 세선화 알고리듬을 적용하는 범위는 3 X 3 영역으로 P2에서 P9까지이며, 상기 관심영역은 이진화되어 있으므로, 수행가능한 경우는 28 개이다. 상기 28 개의 경우와 이에 대응하는 1 또는 0의 세선화 결과값을 매핑시킨 세선화 결과값 테이블을 이용하여 덧셈 또는 곱셈 등의 연산없이 세선화를 수행할 수 있다. 상기 세선화 결과값 테이블로 256 X 1 -비트 (bit) 크기를 갖는 LUT (look up table)을 이용할 수 있다.
도 1c는 이진화한 영상과 세선화한 영상을 나타낸 것이다.
상기 관심영역을 이진화하면 참조번호 131과 같이 된다. 이진화된 관심영역 (131)을 세선화하면 참조번호 141과 같이 된다. 도 1a의 관심영역 원본 (121)과 비교하면 세선화된 관심영역 (141)이 관심영역 원본 (121)보다 픽셀값 1을 갖는 픽셀의 수가 많아진 것을 알 수 있다.
DCT 계수 좌표선택부 (145)는 DCT 변환을 수행할 DCT 계수 좌표를 선택한다.
보다 구체적으로, 상기 표지판의 분류에 의미가 있는 DCT 계수 좌표를 선택하여 상기 DCT 계수 좌표에 따라 DCT 변환을 수행함으로써 DCT 변환의 연산량을 줄일 수 있다. 상기 선택된 DCT 계수 좌표가 포함된 행 또는 열 만을 DCT 변환함으로써 연산량을 줄일 수 있다. 상기 DCT 계수 좌표의 계수로 동일 클래스의 샘플에서 분산이 작고 클래스간 평균을 기준으로 한 거리가 멀며, 평균을 기준으로 한 거리에 대하여 샘플이 분산된 범위가 최소인 계수를 추출한다. 이로써, 특징을 선택할 수 없는 선형판별법과 달리 전체 계수 중 일부만을 선택하여 특징의 개수를 최적화할 수 있다. 이하 수학식 2 내지 4를 이용하여 의미있는 DCT 계수의 좌표를 추출한다.
Figure 112011089307586-pat00002
Figure 112011089307586-pat00003
Figure 112011089307586-pat00004
c는 클래스, (i,j)는 학습 샘플의 행/열 좌표, Nc는 c클래스에 해당하는 샘플의 수, fc ,k(i,j)는 c클래스에 속하는 k 번째 샘플의 (i,j)위치 픽셀의 값을 의미한다.Mc(i,j)와 Sc(i,j)는 각각 c클래스의 평균, 표준편차이다. 상기 클래스는 복수 종류의 표지판 이미지 샘플이다. 수학식 2는 각 계수별 클래스 간의 거리에 대한 표준편차의 영향을 나타내며, 이를 판별요소로 사용하기 위하여 수학식 5와 같이 클래스별 거리로 나누어 정규화한다. 수학식 3에 의한 표준편차를 고려한 클래스간 거리의 값이 크고 해당 클래스의 표준편차가 작은 값을 선택하도록 판별요소를 수학식 4와 같이 정의한다. 각 계수별로 클래스간의 판별요소의 값의 순위를 연산하여, 클래스별로 상위의 계수의 좌표를 선택하고 이들을 다시 중첩하여 1-D DCT 계수 좌표로 이용한다.
선택된 계수의 좌표에 해당하는 관심영역의 DCT 변환 값을 구하기 위하여, 2-D DCT 연산은 1-D DCT로 행렬을 나누어 수행하는 행렬-분해형 (Row-Column Decomposition) 방법을 이용한다. 상기 방법을 이용하면, 선택된 계수만을 구할 때 행 또는 열의 순서와 상관없이 1-D DCT를 수행할 수 있으므로 DCT 계수 좌표의 선택에 따라 연산량을 줄일 수 있다.
DCT 변환부 (150)는 상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 DCT 계수 좌표에 따라 DCT 변환한다.
보다 구체적으로, 전처리부 (120)에서 관심영역의 크기를 정규화하므로, 버터플라이 구조로 1-D DCT의 연산을 각 프레임의 관심영역마다 동일한 수로 수행된다. 고정된 1-D DCT 연산 중 반복되는 연산을 먼저 연산한 후 반복 사용하여 연산을 줄일 수 있다. 다음 수학식 5 내지 6은 특정 픽셀에서 1-D DCT 연산의 예시이다.
Figure 112011089307586-pat00005
Figure 112011089307586-pat00006
X2, X10은 DCT 변환 결과 중 세 번째, 열한 번째 픽셀값, Cn은 n에 대응하는 코사인 값, fn은 원 영상의 n 번째 픽셀값이다. 1-D DCT 연산과정에서 모든 픽셀의 결과 Xn은 상기 수학식 5, 6과 같이 고정된 형태의 연산으로 구성되어 있으며, 동일한 연산이 반복된다. 반복되는 연산의 연산값을 이용하여 반복 사용하면 연산량을 줄일 수 있다, 예를 들어, f0 + f19는 반복적으로 수행되므로 t0의 값을 이용할 수 있으며, t0 - t9는 미리 연산된 결과 tu0의 값을 이용할 수 있다.
상기 이진화된 관심영역은 1 또는 0의 픽셀값으로 이루어져 있는바, 1-D DCT에서 반복적으로 사용되는 연산들은 1 또는 0으로만 이루어진다. 따라서, 상기 1-D DCT의 결과를 미리 연산하여 저장한 연산값 테이블을 이용하여 연산량을 줄일 수 있다. 즉, 1-D DCT를 수행할 때, 해상도에 따라 행 또는 열의 수는 고정되어 있고, 상기 각 픽셀은 1 또는 0인바, 연산가능한 경우는 고정되어 있다. 따라서, 상기 연산가능한 경우와 이에 대응하는 연산값을 매핑시킨 테이블을 이용하면, 별도의 연산없이 바로 DCT 변환이 가능하다. 상기 연산값 테이블의 크기에 대한 제한에 없는 경우, 상기 연산가능한 모든 경우와 이에 대응하는 연산값을 매핑시킨 테이블을 이용할 수 있다. 예를 들어, 20 X 20 해상도의 이진화된 관심영역을 입력으로 받아 1-D DCT를 수행할 경우, 220 개의 연산가능한 경우가 생긴다. 이에 대한 각 경우와 각 경우의 연산값을 매핑시켜 해당 행 또는 열의 픽셀값으로부터 바로 연산값을 산출할 수 있다. 상기 연산값 테이블은 미리 설정되어 있을 수 있다. 이 경우, 1 MB 크기의 LUT (look up table)를 이용할 수 있다.
연산 가능한 모든 경우에 대해 연산값 테이블을 만드는 경우, 해상도를 알고 있다면, 각 행 또는 열의 픽셀수를 알 수 있고, 상기 연산가능한 경우의 수는 2의 n승 (n은 행 또는 열의 픽셀수)이 된다. 각 경우에 대한 연산값을 상기 각 경우와 매핑시킨 연산값 테이블을 미리 설정하고, 상기 연산값 테이블을 DCT 변환시 이용할 수 있다.
또는 상기 연산값 테이블의 크기에 대한 제한이 있는 경우, 상기 DCT 변환시 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시킨 연산값 테이블을 이용할 수 있다. 1-D DCT 수행시, 두 번 이상 연산이 반복되는 경우, 상기 연산값 테이블에 상기 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시켜 연산값 테이블을 생성하여 다음 연산시 이용할 수 있다.
도 1d는 연산값 테이블을 이용한 DCT 변환부를 나타낸 것이다.
1-D DCT하려는 상기 이진화된 관심영역의 한 열의 픽셀값 (151)을 입력받아 연산값 테이블을 이용하여 상기 한 열의 픽셀값 (151)에 대응하는 DCT 연산값을 바로 출력할 수 있다. 또는 연산값 테이블의 크기에 대한 제한이 있는 경우, 한 열의 픽셀값 (151)을 멀티플렉서 회로를 이용하고, 연산이 반복되는 경우와 이에 대응하는 연산값만을 매핑시킨 연산값 테이블을 이용하여 상기 연산값을 이용하여 DCT 변환부에서 DCT 변환을 수행한다.
도 1e는 선택된 계수를 포함하는 열에 대해서만 DCT 변환하는 것을 나타낸 것이다.
보다 구체적으로, 참조번호 161은 DCT 계수 좌표선택부 (145)에서 선택한 DCT 계수 좌표를 나타낸 것이고, 참조번호 162는 상기 선택된 DCT 계수 좌표가 포함된 열만을 DCT 변환한 것을 나타낸다. 상기 DCT 계수 좌표가 포함된 열에 대해서만 DCT 변환을 하는바, 모든 열에 대해 DCT 변환을 수행하는 것보다 연산량을 줄일 수 있다.
예를 들어, 8-비트 그레이 단일 픽셀에 대하여 Chen의 버터플라이를 적용한 방법으로 1-D DCT를 수행하는 경우, 연산의 횟수는 다음 수학식 7 내지 8와 같다.
Figure 112011089307586-pat00007
Figure 112011089307586-pat00008
N1D _ pixel은 관심영역의 행 또는 열의 픽셀 수를 의미한다. 이에 대해 DCT 계수를 선택하여 상기 DCT 계수가 포함된 열에 대해서만 DCT 변환을 수행하는 경우, 연산의 횟수는 다음 수학식 9 내지 10과 같다.
Figure 112011089307586-pat00009
Figure 112011089307586-pat00010
N1D _ Sel _ row은 행에 대한 1-D DCT를 수행할 때 선택된 행의 개수이고, N1D _ Sel _ col은 열에 대한 1-D DCT를 수행할 때 선택된 열의 개수로, 모두 상기 N1D _ pixel보다 작다. 따라서, 상기 결과 연산량이 줄어든다는 것을 알 수 있다.
특징값 추출부 (160)는 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출한다.
보다 구체적으로, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이다. 따라서, DCT 변환부 (150)가 산출한 DCT 계수를 특징값으로 추출한다.
클래스 분류부 (170)는 복수의 클래스 각각의 특징값과 특징값 추출부(160)가 추출한 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류한다.
보다 구체적으로, 상기 각 클래스는 복수 종류의 표지판 이미지 샘플이고, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이다. DCT 변환부 (150)가 DCT 변환하여 산출한 상기 DCT 계수에 의한 특징값과 복수의 클래스 각각의 특징값 간의 거리를 산출한다. 먼저 단일 프레임에 대한 분류를 위해 추출된 특징값에 대하여 추가적으로 선형판별법을 이용하여 개수를 줄이고 분류에 유리하도록 한다. 선형판별법을 거쳐 변환된 결과를 학습 과정에서 각 클래스에 대한 단일 가우시안 모델로 가정하며, 이는 충분한 수의 샘플이 학습이 되어 분포를 형성하면 가능하다. 이를 바탕으로 분류하고자 하는 샘플을 각 클래스의 분포에 대해 다음 수학식 11의 Mahalanobis Distance로 산출하여 단일 프레임에 대한 분류를 한다.
Figure 112011089307586-pat00011
c는 클래스, f는 선형 판별법을 통해 변환된 DCT 계수의 (c-1)차원 벡터 Mk는 f와 동일하게 변환된 평균의 벡터,
Figure 112011089307586-pat00012
은 선형 판별법으로 학습된 DCT 계수들의 공분산행렬의 역행렬이다. 상기 관심영역과 각각의 클래스간의 상기 Mahalanobis Distance를 산출하여 가장 가까운 클래스로 상기 관심영역을 분류한다.
결정부 (180)는 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정한다.
보다 구체적으로, 단일 프레임의 영상만으로 분류할 때보다 분류확률을 높이기 위하여 연속적인 복수의 프레임 영상을 이용하여, 상기 표지판이 어떤 클래스에 해당하는지 결정한다. 이를 위하여, 단일 프레임을 대상으로 얻은 결과를 연속적으로 누적한다. 상기 누적결과, 상기 현재 및 이전 프레임들의 수에 대한 특정 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정한다. 이로써 표지판이 어떤 클래스의 표지판에 해당하는지 인식할 수 있다.
임계비율은 사용자에 의해 미리 설정될 수 있고, 또는 실험에 의해 설정될 수 있다. Nsample 개의 입력의 클래스에 대한 분류 확률은 다음 수학식 12와 같다.
Figure 112011089307586-pat00013
Ac(k)는 k 번째 샘플의 Mahalanobis Distance가 클래스 c에 대하여 최소일 경우에만 1을 갖는다. w(k)는 단일 입력되는 프레임간의 크기 차이에 따라 실험적으로 주어지는 가중치이다. 이를 Nsample 개의 샘플에 대하여 누적한 후 다음 수학식 13과 같이 최종 분류한다.
Figure 112011089307586-pat00014
누적할 프레임의 수는 사용자에 의해 설정되거나 실험적으로 설정된다. 한 프레임씩 슬라이딩하며 누적을 반복할 수 있다.
도 2는 본 발명의 실시예에 따른 표지판 인식방법의 흐름도이다.
210단계는 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계이다.
보다 구체적으로, 표지판이 촬영된 영상에서 표지판의 정보를 포함하는 관심영역만을 추출하는 단계이다. 본 단계에 대한 상세한 설명은 도 1의 관심영역 추출부 (110)에 대한 설명에 대응하는바, 도 1의 관심영역 추출부 (110)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
220단계는 상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계이다.
보다 구체적으로, DCT 변환의 연산량을 줄이기 위하여 미리 설정된 임계값을 이용하여 상기 110단계에서 추출한 관심영역을 1 또는 0으로 이진화한다. 본 단계에 대한 상세한 설명은 도 1의 이진화부 (130)에 대한 설명에 대응하는바, 도 1의 이진화부 (130)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
230단계는 상기 이진화된 관심영역을 세선화하는 단계이다.
보다 구체적으로, 상기 220단계에서 이진화된 영상에서 0의 수를 늘리기 위하여 상기 이진화된 관심영역을 세선화한다. 본 단계에 대한 상세한 설명은 도 1의 세선화부 (140)에 대한 설명에 대응하는바, 도 1의 세선화부 (140)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
235단계는 DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계이다.
보다 구체적으로, DCT 변환의 연산량을 줄이기 위하여 표지판을 분류하는데 필요한 DCT 계수의 좌표에 대해서만 DCT 변환을 수행하도록 DCT 계수 좌표를 선택한다. 본 단계에 대한 상세한 설명은 도 1의 DCT 계수 좌표선택부 (145)에 대한 설명에 대응하는바, 도 1의 DCT 계수 좌표선택부 (145)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
240단계는 상기 이진화된 관심영역을 미리 설정된 연산값 테이블을 이용하여 DCT 변환하는 단계이다.
보다 구체적으로, DCT 변환의 연산량을 줄이기 위하여 미리 연산가능한 경우에 대한 연산값 테이블을 이용한다. 상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 소정의 경우와 이에 대응하는 연산값을 매핑시킨 테이블이다. 상기 연산값 테이블은, 상기 연산값 테이블의 크기에 대한 제한이 없는 경우, 연산가능한 모든 경우와 이에 대응하는 연산값을 매핑시키고, 상기 연산값 테이블의 크기에 대한 제한이 있는 경우, 상기 DCT 변환시 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시킨다. 본 단계에 대한 상세한 설명은 도 1의 DCT 변환부 (150)에 대한 설명에 대응하는바, 도 1의 DCT 변환부 (150)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
250단계는 상기 DCT 변환하여 산출한 DCT 계수 특징값을 추출하는 단계이다.
보다 구체적으로, 표지판의 클래스를 분류하기 위하여 DCT 계수와 그로부터 특징값을 추출한다. 본 단계에 대한 상세한 설명은 도 1의 특징값 추출부 (160)에 대한 설명에 대응하는바, 도 1의 특징값 추출부 (160)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
260단계는 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 단계이다.
보다 구체적으로, 250단계에서 추출한 특징값과 클래스의 특징값 간의 Mahalanobis Distance를 이용하여 클래스를 분류한다. 본 단계에 대한 상세한 설명은 도 1의 클래스 분류부 (170)에 대한 설명에 대응하는바, 도 1의 클래스 분류부 (170)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
도 3은 본 발명의 실시예에 따른 표지판 인식방법의 DCT 변환단계의 흐름도이다.
310단계는 멀티플렉서로 구성된 디코딩 회로를 이용하여 상기 이진화된 관심영역의 픽셀값으로부터 디코딩된 주소를 산출하는 단계이다.
보다 구체적으로, DCT 변환시 연산가능한 경우에 대한 연산값 테이블을 이용하는 경우, DCT 변환하려는 관심영역의 하나의 행 또는 열의 픽셀값을 주소로 보고 DCT 변환을 수행할 수 있다. 상기 관심영역은 1 또는 0의 픽셀값을 갖고, 하나의 열의 각 픽셀값을 나열하면 하나의 주소로 볼 수 있다. 이를 위하여, 멀티플렉서로 구성된 디코딩 회로를 이용하여 상기 이진화된 관심영역의 픽셀값으로부터 디코딩된 주소를 산출할 수 있다.
320단계는 상기 산출된 주소를 상기 연산값 테이블과 비교하여 상기 주소에 대응하는 연산값을 산출하는 단계이다.
보다 구체적으로, 상기 연산값 테이블은 상기 310단계에서 산출한 주소와 상기 주소에 대응하는 연산값을 매핑시킨 테이블인바. 상기 연산값 테이블을 이용하여 상기 주소로부터 바로 연산값을 산출할 수 있다. 즉, 상기 주소에 해당하는 상기 연산값 테이블의 주소를 검색하여 이와 매핑된 연산값을 산출하는 것이다. 상기 연산값 테이블을 이용함으로써 연산없이 바로 연산값을 산출할 수 있다.
도 4는 본 발명의 실시예에 따른 표지판 인식방법의 전처리 단계의 흐름도이다.
410단계에서 클래스분류에 동일한 크기의 관심영역을 얻기 위하여 영상으로부터 추출된 관심영역의 크기를 정규화한다. 420단계에서는 표지판 인식에 필요한 정보만을 추출하기 위하여, 상기 정규화된 관심영역을 배경과 전경으로 구분하여 상기 전경만을 추출한다. 430단계에서는 상기 추출된 전경을 선명화한다. 도 4에 대한 상세한 설명은 도 1의 전처리부 (120)에 대한 설명에 대응하는바, 도 1의 전처리부 (120)에 대한 설명으로 도 4에 대한 설명을 대신한다.
도 5는 본 발명의 실시예에 따른 표지판 인식방법의 특징값 추출단계의 흐름도이다.
510단계는 상기 관심영역에서 소정의 위치의 픽셀들에 대한 DCT 계수를 산출하는 단계이다.
보다 구체적으로, 상기 특정위치의 픽셀들은 각 클래스의 특징값을 갖는 표지판 이미지 샘플의 픽셀 위치에 대응하는 위치의 픽셀들이다. 상기 각 클래스는 복수 종류의 표지판 이미지 샘플이고, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이다. 즉, 표지판 이미지 샘플인 복수의 클래스들과 상기 관심영역을 비교할 수 있도록, 상기 각 클래스의 특징값의 위치에 대응하는, 상기 관심영역의 위치 픽셀들에 대한 DCT 계수를 산출한다.
520단계는 상기 픽셀들에 대한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계이다.
보다 구체적으로, 상기 산출한 DCT 계수는 상기 관심영역의 특징값으로 선택 및 추출된다. 상기 특징값은 상기 관심영역이 상기 복수의 클래스 중 어느 클래스에 해당하는지 260단계에서 표지판을 분류하는데 이용된다.
530단계는 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하는 단계이다.
보다 구체적으로, 단일프레임만을 이용한 표지판 분류보다 분류확률을 높이기 위하여 일정 프레임이상의 관심영역의 결과를 누적하여 이용한다. 본 단계에 대한 상세한 설명은 도 1의 결정부 (180)에 대한 설명에 대응하는바, 도 1의 결정부 (180)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
이미지 인식방법에 대한 상세한 설명은 도 2 내지 도 5의 표지판 인식방법에 대한 상세한 설명에 대응한다. 표지판 이외의 다른 이미지에도 도 2 내지 도 5의 표지판 인식방법이 동일하게 적용될 수 있다. 따라서, 이미지 인식방법에 대한 상세한 설명은 도 2 내지 도 5의 표지판 인식방법에 대한 상세한 설명으로 대신한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 관심영역 추출부
120: 전처리 부
130: 이진화부
140: 세선화부
145: DCT 계수 좌표선택부
150: DCT 변환부
160: 특징값 추출부
170: 클래스 분류부
180: 결정부

Claims (17)

  1. 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계;
    상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계;
    상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계; 및
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함하고,
    상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 경우와 이에 대응하는 연산값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 연산값 테이블은,
    상기 연산값 테이블의 크기에 대한 제한이 없는 경우, 연산가능한 모든 경우와 이에 대응하는 연산값을 매핑시키고,
    상기 연산값 테이블의 크기에 대한 제한이 있는 경우, 상기 DCT 변환시 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시킨 것을 특징으로 하는 표지판 인식방법.
  4. 제 1 항에 있어서,
    상기 DCT 변환하는 단계는,
    멀티플렉서로 구성된 디코딩 회로를 이용하여 상기 이진화된 관심영역의 픽셀값으로부터 디코딩된 주소를 산출하는 단계; 및
    상기 산출된 주소를 상기 연산값 테이블과 비교하여 상기 주소에 대응하는 연산값을 산출하는 단계를 포함하는 표지판 인식방법.
  5. 제 1 항에 있어서,
    상기 이진화된 관심영역을 세선화하는 단계를 더 포함하는 표지판 인식방법.
  6. 제 5 항에 있어서,
    상기 세선화하는 단계는,
    상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 것을 특징으로 하는 표지판 인식방법.
  7. 제 6 항에 있어서,
    상기 세선화 결과값 테이블은 상기 세선화를 수행시, 수행 가능한 경우와 이에 대응하는 세선화 결과값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식방법.
  8. 제 1 항에 있어서,
    상기 추출된 관심영역을 전처리하는 단계를 더 포함하고,
    상기 전처리하는 단계는,
    상기 관심영역의 크기를 정규화하는 단계;
    상기 정규화된 관심영역을 배경과 전경으로 구분하여 상기 전경만을 추출하는 단계; 및
    상기 추출된 전경을 선명화하는 단계를 포함하는 표지판 인식방법.
  9. 제 1 항에 있어서,
    상기 DCT 계수는 상기 이진화된 관심영역에서 소정의 위치의 픽셀들에 대해 산출되는 것을 특징으로 하는 표지판 인식방법.
  10. 제 9 항에 있어서,
    상기 각 클래스는 복수 종류의 표지판 이미지 샘플이고,
    상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이며,
    상기 픽셀들은 상기 각 클래스의 특징값을 갖는 상기 표지판 이미지 샘플의 픽셀 위치에 대응하는 위치의 픽셀들인 것을 특징으로 하는 표지판 인식방법.
  11. 제 1 항에 있어서,
    현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 상기 표지판을 인식하는 단계를 더 포함하는 표지판 인식방법.
  12. 이미지로부터 관심영역을 추출하는 단계;
    상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 단계;
    상기 이진화된 관심영역을 세선화하는 단계;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계;
    상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 단계;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 이미지의 특징값으로 추출하는 단계; 및
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 이미지가 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 이미지를 인식하는 단계를 포함하고,
    상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 경우와 이에 대응하는 연산값을 매핑시킨 테이블이고,
    상기 세선화하는 단계는 상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 것을 특징으로 하는 이미지 인식방법.
  13. 제 1 항, 및 제 3 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 관심영역 추출부;
    상기 추출된 관심영역을 전처리하는 전처리부;
    상기 관심영역을 미리 설정된 임계값을 이용하여 이진화하는 이진화부;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 DCT 계수 좌표선택부;
    상기 이진화된 관심영역을 연산값 테이블을 이용하여 상기 선택된 DCT 계수 좌표에 따라 DCT 변환하는 DCT 변환부;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 특징값 추출부;
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 클래스 분류부; 및
    현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 상기 표지판을 인식하는 결정부를 포함하고,
    상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 관심영역의 해상도에 따라 연산 가능한 경우와 이에 대응하는 연산값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식장치.
  15. 제 14 항에 있어서,
    상기 연산값 테이블은 상기 이진화된 관심영역에 대한 DCT 변환시, 상기 연산값 테이블의 크기에 대한 제한이 없는 경우, 상기 관심영역의 해상도에 따라 연산 가능한 모든 경우와 이에 대응하는 연산값을 매핑시키고,
    상기 연산값 테이블의 크기에 대한 제한이 있는 경우, 상기 DCT 변환시 연산이 반복되는 경우와 이에 대응하는 연산값을 매핑시킨 것을 특징으로 하는 표지판 인식장치.
  16. 제 14 항에 있어서,
    상기 DCT 변환부는,
    멀티플렉서로 구성된 디코딩 회로를 이용하여 상기 이진화된 관심영역의 픽셀값으로부터 디코딩된 주소를 산출하고, 상기 산출된 주소를 상기 연산값 테이블과 비교하여 상기 주소에 대응하는 연산값을 산출하는 것을 특징으로 하는 표지판 인식장치.
  17. 제 14 항에 있어서,
    상기 이진화된 관심영역을 미리 설정된 세선화 결과값 테이블을 이용하여 세선화하는 세선화부를 더 포함하고,
    상기 세선화 결과값 테이블은 상기 세선화를 수행시 가능한 모든 경우와 이에 대응하는 세선화 결과값을 매핑시킨 테이블인 것을 특징으로 하는 표지판 인식장치.

KR1020110117727A 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 KR101312306B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110117727A KR101312306B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117727A KR101312306B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Publications (2)

Publication Number Publication Date
KR20130052333A KR20130052333A (ko) 2013-05-22
KR101312306B1 true KR101312306B1 (ko) 2013-09-27

Family

ID=48661985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117727A KR101312306B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Country Status (1)

Country Link
KR (1) KR101312306B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596299B1 (ko) 2014-01-06 2016-02-22 현대모비스 주식회사 교통 표지판 인식 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064140A (ko) * 2008-12-04 2010-06-14 재단법인대구경북과학기술원 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템
JP2010205160A (ja) 2009-03-05 2010-09-16 Denso Corp 速度規制標識認識結果の通知方法
US20110216202A1 (en) 2010-03-04 2011-09-08 Harman Becker Automotive Systems Gmbh Traffic sign classification system
KR101176552B1 (ko) 2010-11-26 2012-08-24 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064140A (ko) * 2008-12-04 2010-06-14 재단법인대구경북과학기술원 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템
JP2010205160A (ja) 2009-03-05 2010-09-16 Denso Corp 速度規制標識認識結果の通知方法
US20110216202A1 (en) 2010-03-04 2011-09-08 Harman Becker Automotive Systems Gmbh Traffic sign classification system
KR101176552B1 (ko) 2010-11-26 2012-08-24 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법

Also Published As

Publication number Publication date
KR20130052333A (ko) 2013-05-22

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
KR101176552B1 (ko) 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
Slimani et al. An automated license plate detection and recognition system based on wavelet decomposition and CNN
JP5176763B2 (ja) 低品質文字の識別方法及び装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
CN109460722B (zh) 一种车牌智能识别方法
Islam et al. Automatic vehicle number plate recognition using structured elements
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN111507337A (zh) 基于混合神经网络的车牌识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
Dorbe et al. FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country
KR101298937B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
Soumya et al. License plate detection and character recognition using contour analysis
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
KR101312306B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
JP2017084006A (ja) 画像処理装置およびその方法
CN110555406A (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
Satish et al. Edge assisted fast binarization scheme for improved vehicle license plate recognition
Rahul et al. Multilingual text detection and identification from Indian signage boards
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
Dandu et al. Vehicular number plate recognition using edge detection and characteristic analysis of national number plates

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee