KR101298937B1 - 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 - Google Patents

표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 Download PDF

Info

Publication number
KR101298937B1
KR101298937B1 KR1020110117728A KR20110117728A KR101298937B1 KR 101298937 B1 KR101298937 B1 KR 101298937B1 KR 1020110117728 A KR1020110117728 A KR 1020110117728A KR 20110117728 A KR20110117728 A KR 20110117728A KR 101298937 B1 KR101298937 B1 KR 101298937B1
Authority
KR
South Korea
Prior art keywords
dct
class
sign
coordinates
image
Prior art date
Application number
KR1020110117728A
Other languages
English (en)
Other versions
KR20130052334A (ko
Inventor
황선영
김광수
조한민
한승화
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020110117728A priority Critical patent/KR101298937B1/ko
Publication of KR20130052334A publication Critical patent/KR20130052334A/ko
Application granted granted Critical
Publication of KR101298937B1 publication Critical patent/KR101298937B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

본 발명은 표지판 인식방법에 관한 것으로서, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 산출하는 단계, 상기 산출된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계, 상기 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 표지판을 인식하는 단계를 포함하는 것을 특징으로 하며 영상을 블록화하여 DCT 변환의 연산량을 줄일 수 있다.

Description

표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법{Apparatus for recognizing signs, Method thereof, and Method for recognizing image}
본 발명은 표지판 인식방법에 관한 것으로서, 더욱 상세하게는 표지판 인식을 위해 영상을 블록화하여 DCT 변환의 연산량을 줄일 수 있는 표지판 인식방법, 표지판 인식장치, 및 기록매체에 관한 것이다.
지능형 자동차에서의 컴퓨터 비전 시스템은 사람의 반응체계를 비추어 볼 때 그 중요성과 전망이 높은 분야 중에 하나이다. 사람의 반응체계는 시각을 통하여 외부로부터 여러 정보를 얻은 후 반응하며 그 비율이 약 80% 이상일 정도로 높은 비중을 차지하고 있다. 따라서 대부분 정보의 전달 형태가 시각적이며 이를 이용한 컴퓨터 비전 시스템이 기존 자동차 분야에 접목이 되어 그 중요성이 커지고 있다.
컴퓨터 비전 시스템 중, 교통표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이나 다른 기술에 비해 발전이 많이 이뤄지지 않았다. 교통 표지판 인식은 정확한 정보를 사용자에게 전달하기 위하여 인식률을 높이는 것뿐만 아니라, 안전성과 관련한 정보를 실시간으로 빠르게 사용자에게 제공하여야 한다. 하지만, 기존의 영상에 대한 DCT 변환은 연산량이 많은 문제가 있다.
본 발명이 해결하고자 하는 첫 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 표지판 인식방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 이미지 인식방법을 제공하는 것이다.
본 발명이 해결하고자 하는 세 번째 과제는 DCT 변환의 연산량을 줄일 수 있는 표지판 인식장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함하는 표지판 인식방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 DCT 변환하는 단계는, 상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 변환하고, 상기 버터플라이 연산은, 파이프라인 구조와 GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 수행되는 것을 특징으로 하는 표지판 인식방법일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 DCT 변환을 수행할 DCT 계수 좌표는, DCT 계수 중 동일 클래스의 샘플에서 표준편차가 작고, 다른 클래스의 샘플과의 표준편차가 큰 DCT 계수의 좌표이고, 상기 DCT 변환을 수행할 DCT 계수를 선택하는 단계는, 소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하는 단계, 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하는 단계, 상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하는 단계, 및 상기 각 클래스 별 DCT 계수를 중첩하여 상기 DCT 변환을 수행할 DCT 계수로 선택하는 단계를 포함하는 표지판 인식방법일 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 이미지로부터 관심영역을 추출하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 이미지의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 이미지가 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 단계를 포함하는 이미지 인식방법을 제공한다.
본 발명은 상기 세 번째 과제를 달성하기 위하여, 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 관심영역 추출부, 상기 추출된 관심영역을 전처리하는 전처리부, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 DCT 계수 좌표선택부, 상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 DCT 변환부, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 특징값 추출부, 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 클래스 분류부, 및 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하는 결정부를 포함하는 표지판 인식장치를 제공한다.
본 발명의 일 실시예에 의하면, 상기 DCT 변환부는, 파이프라인 구조와 GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 DCT 변환하는 것을 특징으로 하는 표지판 인식장치일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 DCT 계수 좌표선택부는, 소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하고, 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하고, 상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하며, 상기 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택하는 것을 특징으로 하는 표지판 인식장치일 수 있다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 표지판 인식방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 영상을 블록화함으로써, 표지판 인식을 위한 DCT 변환의 연산량을 줄일 수 있다. 또한, 클래스 분류에 필요한 DCT 계수만을 선택하여 DCT 변환을 수행함으로써, 표지판 인식을 위한 DCT 변환의 연산량을 줄일 수 있다. 나아가, 연속 프레임 결과를 누적하여 분류함으로써, 정확한 표지판 인식이 가능하다.
도 1은 본 발명의 일 실시예에 따른 표지판 인식장치를 도시한 블록도이다.
도 1a는 전처리과정에 따른 관심영역의 변화를 나타낸 것이다.
도 1b는 본 발명의 일 실시예에 따른 표지판 인식장치의 버터플라이 연산구조를 나타낸 것이다.
도 1c는 블록화의 격자구조 분할 방식을 도시한 것이다.
도 1d는 특징값 추출부의 동작을 나타낸 것이다.
도 2는 본 발명의 실시예에 따른 표지판 인식방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 표지판 인식방법의 DCT 변환을 수행할 DCT 계수 좌표를 산출하는 단계의 흐름도이다.
도 4는 본 발명의 실시예에 따른 표지판 인식방법의 전처리 단계의 흐름도이다.
도 5는 본 발명의 실시예에 따른 표지판 인식방법의 표지판을 분류하는 단계의 흐름도이다.
도 6은 본 발명의 실시예에 따른 이미지 인식방법의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 표지판 인식방법은 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계, DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계, 상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계, 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계, 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprises)" 또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 표지판 인식장치를 도시한 블록도이다.
본 발명의 일 실시예에 따른 표지판 인식장치는 관심영역 추출부 (110), DCT 계수 좌표선택부 (130), DCT 변환부 (140), 특징값 추출부 (150), 클래스 분류부 (160), 결정부 (170)로 구성된다. 또한, 전처리부 (120)를 더 포함할 수 있다.
본 발명에서 인식하고자 하는 표지판은 문자, 숫자, 또는 단순한 형상을 포함하는 표지판일 수 있다. 속도 제한 표지판 또는 길 안내 표지판 등이 될 수 있으며, 다른 영상으로부터 인식가능한 다른 종류의 표지판도 본 발명의 인식대상 표지판이 될 수 있다. 이하에서는 속도 제한 표지판을 중심으로 설명하도록 한다. 속도 제한 표지판을 중심으로 설명하더라도, 본 발명이 속도 제한 표지판을 인식하는데 국한되는 것은 아님을 분명히 한다.
관심영역 추출부 (110)는 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출한다.
보다 구체적으로, 표지판이 촬영된 영상 중, 인식하고자 하는 표지판의 영역만을 이용하여 표지판을 인식하기 위하여, 표지판의 정보를 포함하는 관심영역만을 상기 영상으로부터 추출한다. 속도 제한 표지판의 경우, 속도 정보가 포함된 관심영역을 추출한다.
전처리부 (120)는 상기 추출된 관심영역을 전처리한다.
보다 구체적으로, 추출된 관심영역의 크기는 카메라 센서의 촬영시점에서의 표지판과 차량 간의 거리에 따라 다르다. 따라서, 추출한 관심영역을 클래스별로 분류하기 적합하도록 크기나 해상도를 조정할 필요가 있다. 우선, 관심영역의 크기를 정규화한다. 쌍 일차 보간법 (bilinear interpolation)을 이용하여 영상의 크기를 정규화할 수 있다. 또는, 최근접 이웃 보간법 (nearest neighber interpolation)이나 쌍 삼차 (이차) 보간법 (bicubic interpolation) 등을 이용할 수도 있다.
다음, 전처리부 (120)는 상기 정규화된 관심영역을 배경과 전경을 구분하여 상기 전경만을 추출한다. 속도 제한 표지판의 경우, 표지판의 숫자에 해당하는 영역만을 추출하기 위하여, 관심영역을 숫자에 해당하는 전경과 그 이외의 배경으로 구분하여 상기 전경만을 추출한다. 이를 크로핑 (cropping)이라고 한다. 크로핑으로 추출된 픽셀 데이터 수가 감소되면, 이후 전처리 및 분류과정에서 선택되는 특징의 개수가 줄어들어 연산량이 줄어든다.
다음, 전처리부 (120)는 상기 추출된 전경을 선명화한다. 관심영역을 선명화하기 위하여, 우선, 컬러 영상을 그레이 영상으로 변환할 수 있다. 연산량을 줄이기 위하여 8-비트 (bit) 그레이 영상으로 변환할 수 있다. 상기 영상은 촬영당시 주위의 광원, 날씨, 장애물 등의 환경조건에 따라 밝기 분포의 편차를 보일 수 있다. 따라서, 이를 조정하기 위하여, 화이트 발란스 (white balance) 조정과 콘트라스트 (contrast) 확장을 이용하여 선명화를 수행할 수 있다. 선명화는 다음 수학식 1과 같이 수행될 수 있다.
Figure 112011089307621-pat00001
Inew (x,y)는 선명화 과정의 결과로 변환된 좌표 (x,y)의 픽셀값, Ipre (x,y)는 선명화 이전의 좌표 (x,y)의 픽셀값, Imax는 선명화 이전의 픽셀값 중 최대값, Imin은 선명화 이전의 픽셀값 중 최소값이다.
도 1a는 전처리과정에 따른 관심영역의 변화를 나타낸 것이다.
보다 구체적으로, 전처리부 (120)가 관심영역을 전처리하는 과정을 나타낸 것이다. 상기 관심영역의 원본 (121)을 정규화하면 참조번호 122와 같이 된다. 정규화된 관심영역 (122)을 그레이 변환하면 참조번호 123과 같이 된다. 그레이 변환한 관심영역 (123)을 크로핑하면 참조번호 124와 같이 되고, 크로핑한 관심영역 (124)을 선명화하면 참조번호 125와 같이 된다.
DCT 계수 좌표선택부 (130)는 DCT 변환을 수행할 DCT 계수 좌표를 선택한다.
보다 구체적으로, DCT 변환을 수행할 때 모든 DCT 계수에 대해 DCT 변환을 수행하는 경우, 연산량이 많아지는바, 연산량을 줄이기 위하여 표지판을 분류하는데 필요한 DCT 계수의 좌표만을 선택하여 DCT 변환을 수행한다. DCT 계수는 기저벡터(Basis Vector)가 고정되어 있고, 일반적인 그레이영상에서 특징을 선택하였을 때보다 적은 수의 특징으로 영상을 표현할 수 있으므로 DCT 계수를 분류 과정의 특징으로 사용하여 특징의 차원을 줄일 수 있다. 분류에 가장 큰 영향을 미치는 의미 있는 DCT 계수의 좌표를 선택하는 것은 분류 성능을 유지하면서 연산량을 줄이는데 중요하다.
각 DCT 계수 중 동일 클래스의 샘플에서 표준편차가 작고, 다른 클래스의 샘플과의 표준편차가 큰 계수의 좌표를 상기 DCT 변환을 수행할 DCT 계수의 좌표로 선택한다. 소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하고, 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하고, 상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하며, 상기 선택된 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택한다.
표준편차를 고려함과 동시에 샘플의 변화 양상을 고려하기 위하여 피어슨 상관계수(Pearson correlation coefficient)를 이용한 상관분석방법을 이용할 수 있다. 피어슨 상관관계는 다음 수학식 2와 같다.
Figure 112011089307621-pat00002
X, Y는 상관관계를 확인하려는 두 대상 μx와 μy는 두 대상의 평균값, n은 두 대상의 변수 갯수를 의미한다. 피어슨 상관계수는 -1에서 1까지의 값을 갖으며 계수가 음수일 경우 음의 방향 선형관계, 양수일 경우 양의 방향 선형관계를 의미하며, -0.1부터 0.1까지의 값을 갖는 경우 선형관계가 없음을 나타낸다. 상기 피어슨 상관관계를 이용하여 전체 계수 중 일부만을 선택하여 특징의 개수를 최적화할 수 있으며, 학습을 위한 샘플의 변화 양상을 고려하여 환경변화에 강건하며 의미 있는 특징을 선택할 수 있다. 판별방법은 다음 수학식 3과 같다.
Figure 112011089307621-pat00003
c는 클래스, (i,j)는 샘플의 행/열 좌표를 의미하며, rwithin ,c(i,j)는 해당 클래스 및 좌표에 해당하는 샘플과 동일한 클래스에 속하는 다른 좌표의 샘플간의 피어슨 상관계수의 평균을 의미한다. rbetween ,c(i,j)는 각기 다른 클래스에 속하는 해당 좌표 샘플 값들 간의 피어슨 상관계수의 평균을 의미한다. DFc(i,j)는 판별요소의 값으로 α는 비교상수, Stdwithin ,c(i,j)는 해당 좌표의 샘플과 동일 클래스 c의 다른 픽셀들 사이의 제 1 표준편차를 의미하며, Stdbetween ,c(i,j)는 해당 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 의미한다. 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 판별요소 값을 산출하여, 각 계수별로 클래스간의 판별요소의 값의 순위를 연산하고, 클래스 별로 상위의 계수를 선택하고 이들을 다시 중첩하여 상기 계수의 좌표를 DCT변환시 DCT 계수 좌표로 이용한다. 상관관계가 크고 작은 정도를 확인하기 위하여 피어슨 상관계수의 절대값을 이용한다. 비례상수 α는 상관관계의 영향과 표준편차의 영향을 선형적으로 조절하며 실험적으로 구해질 수 있다.
DCT 변환부 (140)는 상기 선택된 DCT 계수 좌표에 따라 상기 영상블록을 DCT 변환한다.
보다 구체적으로, 전처리부 (120)에서 관심영역의 크기를 정규화하므로, 버터플라이 구조로 1-D DCT의 연산을 각 프레임의 관심영역마다 동일한 수로 수행된다. DCT 계수 전체에 대해 1-D DCT를 수행하는 경우, 연산량은 다음 수학식 4 내지 5와 같다.
Figure 112011089307621-pat00004
Figure 112011089307621-pat00005
N1D _ pixel은 관심영역의 행 또는 열의 픽셀 수를 의미한다. 상기 연산량을 줄이기 위해서 관심영역을 일정한 크기를 갖는 영상블록으로 나누어 DCT를 수행할 경우, 매크로블록(Macro-Block) 크기의 행, 열에 해당하는 픽셀정보만으로 DCT 연산을 수행하게 되어 N1D _ pixel이 감소하는바, 연산량을 감소한다. 상기 영상블록, 즉 매크로블록은 2n 크기를 갖도록 설정할 수 있다. 또한, 영상블록을 DCT 변환함에 있어서, 버터플라이 연산을 수행하여 병렬적으로 변환할 수 있다. 상기 버터플라이 연산으로 Chen의 Fast-DCT 방법에서 사용되는 버터플라이 방식을 이용하여 연산하면 연산량을 크게 줄일 수 있다. 상기 버터플라이 연산을 도 1b를 참조하여 설명하면 다음과 같다.
도 1b는 본 발명의 일 실시예에 따른 표지판 인식장치의 버터플라이 연산구조를 나타낸 것이다.
보다 구체적으로, 4-비트 (bit) 영상데이터를 입력으로 갖는 1-D Block-DCT의 버터플라이 구조이다. 검은 원은 연산 없음, 하얀 원은 덧셈 연산, -1은 부호 변경, Cn은 해당하는 코사인(cosine) 계수와의 곱셈 연산을 의미한다. 부호 변경의 경우, 덧셈 연산을 뺄셈 연산으로 대체하므로 연산량이 증가하지 않는다. 상기와 같은 버터플라이 구조에 의하면 F0 내지 F3의 값은 다음 수학식 6과 같다.
Figure 112011089307621-pat00006
Figure 112011089307621-pat00007
Figure 112011089307621-pat00008
Figure 112011089307621-pat00009
관심영역을 작은 크기의 영상블록으로 나누어 DCT 변환을 수행하는 경우, 연산량이 줄어들며, 하드웨어 구성할 때에 복잡도와 면적이 감소하는 장점이 있다. 관심영역을 영상블록으로 즉, 격자 구조로 분할하여 영상블록(매크로블록)에 해당하는 픽셀 값이 DCT 연산에 사용되며, 영상블록 간의 DCT 변환값은 서로 연관성이 없게 된다.
도 1c는 블록화의 격자구조 분할 방식을 도시한 것이다.
보다 구체적으로, 참조번호 131은 관심영역을 나타내며, 참조번호 141은 상기 관심영역 (131)을 블록화의 격자구조 분할 방식으로 분할한 영상블록이다. 관심영역을 계산하고자 하는 크기의 영상블록으로 나누어 DCT 변환을 수행한다.
관심영역을 영상블록으로 나누어 DCT 변환 즉, Block-DCT를 수행하는 경우, 영상블록 간에 상관성이 없게 된다. 따라서, DCT 연산을 하드웨어로 구성하는 경우, 파이프라인 구조로 만들 수 있으며, GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 병렬연산이 가능하여, 연산속도를 높일 수 있다. 하드웨어를 병렬처리가 가능한 파이프 구조로 구성하고 컴퓨터 그래픽스를 위한 계산만 다루는 GPU로 그래픽 파이프라인에 연결하여 병렬적으로 처리하는 GPGPU를 이용하면 연산을 행 또는 열 순서대로 연산하는 것에 비해 연산 속도를 높일 수 있다.
상기 영상블록 별로 DCT 변환을 수행할 때, DCT 계수 선택부 (130)가 선택한 DCT 계수를 이용하여 연산량을 줄일 수 있다. 상기 선택된 DCT 계수를 포함하고 있는 블록의 행 또는 열에 대해서만 DCT 변환을 수행한다. 선택된 DCT 계수에 따라 영상블록의 DCT 변환 값을 구하기 위하여, 2-D DCT 연산은 1-D DCT로 행렬을 나누어 수행하는 행렬-분해형 (Row-Column Decomposition) 방법을 이용한다. 상기 방법을 이용하면, 산출된 계수만을 구할 때 행 또는 열의 순서와 상관없이 1-D DCT를 수행할 수 있으므로 DCT 계수의 선택에 따라 연산량을 줄일 수 있다.
도 1d는 선택된 계수 좌표를 포함하는 열에 대해서만 DCT 변환하는 것을 나타낸 것이다.
보다 구체적으로, 참조번호 151은 DCT 계수 좌표선택부 (130)에서 선택한 DCT 계수 좌표를 나타낸 것이고, 참조번호 152는 상기 선택된 DCT 계수 좌표가 포함된 블록의 열만을 DCT 변환한 것을 나타낸다. 상기 DCT 계수 좌표가 포함된 블록의 열에 대해서만 DCT 변환을 하는바, 모든 열에 대해 DCT 변환을 수행하는 것보다 연산량을 줄일 수 있다.
특징값 추출부 (150)는 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출한다.
보다 구체적으로, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이다. 따라서, DCT 계수 선택부 (130)가 선택한 DCT 계수 좌표에 따라, DCT 변환부 (140)가 DCT 변환하여 산출한 DCT 계수를 특징값으로 추출한다.
클래스 분류부 (160)는 복수의 클래스 각각의 특징값과 특징값 추출부 (150)가 추출한 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류한다.
보다 구체적으로, 상기 각 클래스는 복수 종류의 표지판 이미지 샘플이고, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수이다. 특징값 추출부 (150)가 추출한 상기 DCT 계수에 의한 특징값과 복수의 클래스 각각의 특징값 간의 거리를 산출한다. 먼저 단일 프레임에 대한 분류를 위해 추출된 특징값에 대하여 추가적으로 선형판별법을 이용하여 개수를 줄이고 분류에 유리하도록 한다. 선형판별법을 거쳐 변환된 결과를 학습 과정에서 각 클래스에 대한 단일 가우시안 모델로 가정하며, 이는 충분한 수의 샘플이 학습이 되어 분포를 형성하면 가능하다. 이를 바탕으로 분류하고자 하는 샘플을 각 클래스의 분포에 대해 다음 수학식 7의 Mahalanobis Distance로 산출하여 단일 프레임에 대한 분류를 한다.
Figure 112011089307621-pat00010
c는 클래스, f는 선형 판별법을 통해 변환된 DCT 계수의 (c-1)차원 벡터 Mk는 f와 동일하게 변환된 평균의 벡터,
Figure 112011089307621-pat00011
은 선형 판별법으로 학습된 DCT 계수들의 공분산행렬의 역행렬이다. 상기 관심영역과 각각의 클래스간의 상기 Mahalanobis Distance를 산출하여 가장 가까운 클래스로 상기 관심영역을 분류하여 상기 표지판을 인식한다.
결정부 (170)는 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 표지판을 인식한다.
보다 구체적으로, 단일 프레임의 영상만으로 분류할 때보다 분류확률을 높이기 위하여 연속적인 복수의 프레임 영상을 이용하여, 상기 표지판이 어떤 클래스에 해당하는지 결정한다. 이를 위하여, 단일 프레임을 대상으로 얻은 결과를 연속적으로 누적한다. 상기 누적결과, 상기 현재 및 이전 프레임들의 수에 대한 특정 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정한다. 이로써 표지판이 어떤 클래스의 표지판에 해당하는지 인식할 수 있다.
임계비율은 사용자에 의해 미리 설정될 수 있고, 또는 실험에 의해 설정될 수 있다. Nsample 개의 입력의 클래스에 대한 분류 확률은 다음 수학식 8과 같다.
Figure 112011089307621-pat00012
Ac(k)는 k 번째 샘플의 Mahalanobis Distance가 클래스 c에 대하여 최소일 경우에만 1을 갖는다. w(k)는 단일 입력되는 프레임간의 크기 차이에 따라 실험적으로 주어지는 가중치이다. 이를 Nsample 개의 샘플에 대하여 누적한 후 다음 수학식 9와 같이 최종 분류한다.
Figure 112011089307621-pat00013
누적할 프레임의 수는 사용자에 의해 설정되거나 실험적으로 설정된다. 한 프레임씩 슬라이딩하며 누적을 반복할 수 있다.
도 2는 본 발명의 실시예에 따른 표지판 인식방법의 흐름도이다.
210단계는 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계이다.
보다 구체적으로, 표지판이 촬영된 영상에서 표지판의 정보를 포함하는 관심영역만을 추출하는 단계이다. 본 단계에 대한 상세한 설명은 도 1의 관심영역 추출부 (110)에 대한 설명에 대응하는바, 도 1의 관심영역 추출부 (110)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
220단계는 DCT 변환을 수행할 DCT 계수 좌표를 산출하는 단계이다.
보다 구체적으로, DCT 변환의 연산량을 줄이기 위하여 표지판의 분류에 필요한 DCT 계수 좌표만을 선택하여 DCT 변환을 수행하기 위하여 DCT 계수 좌표를 선택한다. 본 단계에 대한 상세한 설명은 도 1의 DCT 계수 좌표선택부 (130)에 대한 설명에 대응하는바, 도 1의 DCT 계수 좌표선택부 (130)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
230단계는 상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계이다.
보다 구체적으로, DCT 변환의 연산량을 줄이기 위하여 관심영역을 DCT 변환을 수행하고자 하는 크기를 갖는 영상블록으로 나누어 영상블록 별로 DCT 변환을 수행한다. 또한, 상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 변환할 수 있으며, 상기 버터플라이 연산은, 파이프라인 구조와 GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 수행할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 DCT 변환부 (140)에 대한 설명에 대응하는바, 도 1의 DCT 변환부 (140)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
240단계는 상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계이다.
보다 구체적으로, 표지판의 클래스를 분류하기 위하여 DCT 계수와 그로부터 특징값을 추출한다. 본 단계에 대한 상세한 설명은 도 1의 특징값 추출부 (150)에 대한 설명에 대응하는바, 도 1의 특징값 추출부 (150)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
250단계는 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 단계이다.
보다 구체적으로, 240단계에서 추출한 특징값과 클래스의 특징값 간의 Mahalanobis Distance를 이용하여 클래스를 분류하여 상기 표지판을 인식한다. 본 단계에 대한 상세한 설명은 도 1의 클래스 분류부 (160)에 대한 설명에 대응하는바, 도 1의 클래스 분류부 (160)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
도 3은 본 발명의 실시예에 따른 표지판 인식방법의 DCT 변환을 수행할 DCT 계수 좌표를 산출하는 단계의 흐름도이다.
310단계는 소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하는 단계이다.
보다 구체적으로, 표준편차를 고려함과 동시에 샘플의 변화 양상을 고려하기 위하여 해당 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출한다. 상기 제 1 표준편차는 수학식 3의 rwithin ,c(i,j)이고, 상기 제 2 표준편차는 rbetween,c(i,j)이다.
320단계는 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하는 단계이다.
보다 구체적으로, 310 단계에서 산출한 제 1 표준편차와 제 2 표준편차로부터 판별요소의 값을 구해 각 DCT 계수의 순위를 산출한다. 상기 판별요소의 값은 수학식 3의 DFc(i,j)이다. 상기 판별요소의 값의 순서대로 각 DCT 계수의 순위를 산출한다.
330단계는 상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하는 단계이다.
보다 구체적으로, 320단계에서 산출한 DCT 계수의 순위에 따라 각 클래스를 구별할 수 있는 DCT 계수를 선택한다. 상기 각 클래스의 특징이 되는 DCT 계수와의 비교만을 통하여 표지판을 구분할 수 있는바, 상기 각 클래스를 구별할 수 있는, 즉, 각 클래스의 특징이 되는 DCT 계수를 선택한다.
340단계는 상기 선택된 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택하는 단계이다.
보다 구체적으로, 330단계에서 산출한 DCT 계수 좌표는 각 클래스 별 DCT 계수의 좌표이고, 구별하고자 하는 표지판의 DCT 계수와 모든 클래스의 DCT 계수를 비교해야 하는바, 상기 각 클래스 별 DCT 계수의 좌표를 중첩하여 230단계에서 DCT 변환을 수행할 DCT 계수 좌표로 선택한다.
도 4는 본 발명의 실시예에 따른 표지판 인식방법의 전처리 단계의 흐름도이다.
410단계에서 클래스분류에 동일한 크기의 관심영역을 얻기 위하여 영상으로부터 추출된 관심영역의 크기를 정규화한다. 420단계에서는 표지판 인식에 필요한 정보만을 추출하기 위하여, 상기 정규화된 관심영역을 배경과 전경으로 구분하여 상기 전경만을 추출한다. 430단계에서는 상기 추출된 전경을 선명화한다. 도 4에 대한 상세한 설명은 도 1의 전처리부 (120)에 대한 설명에 대응하는바, 도 1의 전처리부 (120)에 대한 설명으로 도 4에 대한 설명을 대신한다.
도 5는 본 발명의 실시예에 따른 표지판 인식방법의 표지판을 분류하는 단계의 흐름도이다.
510단계는 현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 표지판을 인식하는 단계이다.
보다 구체적으로, 단일프레임만을 이용한 표지판 분류보다 분류확률을 높이기 위하여 일정 프레임이상의 관심영역의 결과를 누적하여 이용한다. 본 단계에 대한 상세한 설명은 도 1의 결정부 (170)에 대한 설명에 대응하는바, 도 1의 결정부 (170)에 대한 설명으로 본 단계에 대한 설명을 대신한다.
도 6은 본 발명의 실시예에 따른 이미지 인식방법의 흐름도이다.
이미지 인식방법에 대한 상세한 설명은 도 2 내지 도 5의 표지판 인식방법에 대한 상세한 설명에 대응한다. 표지판 이외의 다른 이미지에도 도 2 내지 도 5의 표지판 인식방법이 동일하게 적용될 수 있다. 따라서, 이미지 인식방법에 대한 상세한 설명은 도 2 내지 도 5의 표지판 인식방법에 대한 상세한 설명으로 대신한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 관심영역 추출부
120: 전처리 부
130: DCT 계수 좌표선택부
140: DCT 변환부
150: 특징값 추출부
160: 클래스 분류부
170: 결정부

Claims (17)

  1. 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 단계;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계;
    상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 단계; 및
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 표지판을 인식하는 단계를 포함하고,
    상기 DCT 변환을 수행할 DCT 계수 좌표는,
    DCT 계수 중 동일 클래스의 샘플에서 표준편차가 작고, 다른 클래스의 샘플과의 표준편차가 큰 DCT 계수의 좌표인 것을 특징으로 하는 표지판 인식방법.
  2. 제 1 항에 있어서,
    상기 DCT 변환하는 단계는,
    상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 변환하는 것을 특징으로 하는 표지판 인식방법.
  3. 제 2 항에 있어서,
    상기 버터플라이 연산은,
    파이프라인 구조와 GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 수행되는 것을 특징으로 하는 표지판 인식방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계는,
    소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하는 단계;
    상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하는 단계;
    상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하는 단계; 및
    상기 선택된 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택하는 단계를 포함하는 표지판 인식방법.
  6. 제 5 항에 있어서,
    상기 각 클래스는 복수 종류의 표지판 이미지 샘플이고,
    상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수인 것을 특징으로 하는 표지판 인식방법.
  7. 제 1 항에 있어서,
    현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 상기 표지판을 인식하는 단계를 더 포함하는 표지판 인식방법.
  8. 제 1 항에 있어서,
    상기 추출된 관심영역을 전처리하는 단계를 더 포함하고,
    상기 전처리하는 단계는,
    상기 관심영역의 크기를 정규화하는 단계;
    상기 정규화된 관심영역을 배경과 전경으로 구분하여 상기 전경만을 추출하는 단계; 및
    상기 추출된 전경을 선명화하는 단계를 포함하는 표지판 인식방법.
  9. 이미지로부터 관심영역을 추출하는 단계;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계;
    상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 단계;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 이미지의 특징값으로 추출하는 단계; 및
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 이미지가 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하여 상기 이미지를 인식하는 단계를 포함하고,
    상기 DCT 변환을 수행할 DCT 계수 좌표는,
    DCT 계수 중 동일 클래스의 샘플에서 표준편차가 작고, 다른 클래스의 샘플과의 표준편차가 큰 DCT 계수의 좌표인 것을 특징으로 하는 이미지 인식방법.
  10. 제 9 항에 있어서,
    상기 DCT 변환하는 단계는,
    상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 변환하는 것을 특징으로 하는 이미지 인식방법.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 DCT 변환을 수행할 DCT 계수 좌표를 선택하는 단계는,
    소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하는 단계;
    상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하는 단계;
    상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하는 단계; 및
    상기 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택하는 단계를 포함하는 이미지 인식방법.
  13. 제 1 항 내지 제 3 항, 제 5 항 내지 제 10 항, 및 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 영상으로부터 표지판의 정보를 포함하는 관심영역을 추출하는 관심영역 추출부;
    상기 추출된 관심영역을 전처리하는 전처리부;
    DCT 변환을 수행할 DCT 계수 좌표를 선택하는 DCT 계수 좌표선택부;
    상기 선택된 DCT 계수 좌표에 따라 상기 관심영역을 소정의 크기를 갖는 영상블록으로 나누어 DCT 변환하는 DCT 변환부;
    상기 DCT 변환하여 산출한 DCT 계수를 상기 표지판의 특징값으로 추출하는 특징값 추출부;
    복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 표지판이 상기 복수의 클래스 중 어떤 클래스에 속하는지 분류하는 클래스 분류부; 및
    현재 프레임의 상기 관심영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 관심영역으로부터 분류한 결과들을 고려하여, 상기 현재 및 이전 프레임들의 수에 대한 소정의 클래스로 분류된 프레임 수의 비율이 미리 설정된 임계비율 이상이면, 상기 표지판이 상기 분류된 클래스에 해당하는 것으로 결정하여 상기 표지판을 인식하는 결정부를 포함하고,
    상기 DCT 변환을 수행할 DCT 계수 좌표는,
    DCT 계수 중 동일 클래스의 샘플에서 표준편차가 작고, 다른 클래스의 샘플과의 표준편차가 큰 DCT 계수의 좌표인 것을 특징으로 하는 표지판 인식장치.
  15. 제 14 항에 있어서,
    상기 DCT 변환부는,
    파이프라인 구조와 GPGPU(General-Purpose Computing on Graphics Processing Units)를 이용하여 상기 영상블록을 버터플라이 연산을 수행하여 병렬적으로 DCT 변환하는 것을 특징으로 하는 표지판 인식장치.
  16. 삭제
  17. 제 14 항에 있어서,
    상기 DCT 계수 좌표선택부는,
    소정의 좌표의 샘플과 동일 클래스의 픽셀 간의 제 1 표준편차와 상기 좌표의 샘플과 다른 클래스의 픽셀 간의 제 2 표준편차를 산출하고, 상기 산출된 제 1 표준편차와 제 2 표준편차로부터 각 DCT 계수의 순위를 산출하고, 상기 산출된 순위에 따라 각 클래스의 특징이 되는 DCT 계수를 선택하며, 상기 선택된 각 클래스 별 DCT 계수의 좌표를 중첩하여 상기 DCT 변환을 수행할 DCT 계수 좌표로 선택하는 것을 특징으로 하는 표지판 인식장치.

KR1020110117728A 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 KR101298937B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110117728A KR101298937B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117728A KR101298937B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Publications (2)

Publication Number Publication Date
KR20130052334A KR20130052334A (ko) 2013-05-22
KR101298937B1 true KR101298937B1 (ko) 2013-08-23

Family

ID=48661986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117728A KR101298937B1 (ko) 2011-11-11 2011-11-11 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Country Status (1)

Country Link
KR (1) KR101298937B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
KR101998593B1 (ko) * 2017-11-27 2019-07-10 주식회사 디알엠인사이드 관심 영역 기반 온라인 만화 식별 시스템 및 방법
KR102112768B1 (ko) * 2018-08-06 2020-06-04 네이버웹툰 주식회사 이미지 매칭을 이용한 표식 검출 방법, 장치 및 프로그램
CN116647335A (zh) * 2023-05-26 2023-08-25 中国大唐集团财务有限公司 一种基于离散余弦变换通过场景生成私钥的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065753A (ko) * 2003-01-16 2004-07-23 엘지전자 주식회사 Ｒｏｉ 추출 장치 및 그 방법
KR20070027768A (ko) * 2004-08-16 2007-03-09 지멘스 코포레이트 리서치, 인코포레이티드 교통 표지판 탐지를 위한 방법
KR20080098850A (ko) * 2007-05-07 2008-11-12 삼성테크윈 주식회사 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065753A (ko) * 2003-01-16 2004-07-23 엘지전자 주식회사 Ｒｏｉ 추출 장치 및 그 방법
KR20070027768A (ko) * 2004-08-16 2007-03-09 지멘스 코포레이트 리서치, 인코포레이티드 교통 표지판 탐지를 위한 방법
KR20080098850A (ko) * 2007-05-07 2008-11-12 삼성테크윈 주식회사 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치

Also Published As

Publication number Publication date
KR20130052334A (ko) 2013-05-22

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
WO2020173022A1 (zh) 一种识别车辆违章行为的方法、服务器及存储介质
KR101176552B1 (ko) 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
US9443137B2 (en) Apparatus and method for detecting body parts
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111401308B (zh) 一种基于光流效应的鱼类行为视频识别方法
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
KR101298937B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
Zhang et al. Spatial–temporal gray-level co-occurrence aware CNN for SAR image change detection
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Barnouti et al. Automatic Iraqi license plate recognition system using back propagation neural network (BPNN)
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN110555406A (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
Wu et al. Vehicle detection in high-resolution images using superpixel segmentation and CNN iteration strategy
KR101312306B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN110472478B (zh) 一种基于光流场统计特征的场景分析方法及系统
Nguyen et al. A Real-time Pedestrian Detection based on AGMM and HOG for Embedded Surveillance
Tang et al. Rapid forward vehicle detection based on deformable Part Model
Sonawane et al. Enhanced Fish Detection in Underwater Video Using Wavelet-Based Color Correction and Machine Learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170801

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee