KR101176552B1 - 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법 - Google Patents

속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법 Download PDF

Info

Publication number
KR101176552B1
KR101176552B1 KR1020100119040A KR20100119040A KR101176552B1 KR 101176552 B1 KR101176552 B1 KR 101176552B1 KR 1020100119040 A KR1020100119040 A KR 1020100119040A KR 20100119040 A KR20100119040 A KR 20100119040A KR 101176552 B1 KR101176552 B1 KR 101176552B1
Authority
KR
South Korea
Prior art keywords
speed limit
class
image
sign
limit sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020100119040A
Other languages
English (en)
Other versions
KR20120057351A (ko
Inventor
강병휘
조한민
황선영
김광수
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020100119040A priority Critical patent/KR101176552B1/ko
Publication of KR20120057351A publication Critical patent/KR20120057351A/ko
Application granted granted Critical
Publication of KR101176552B1 publication Critical patent/KR101176552B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법에 관한 것으로, 본 발명의 일 실시예에 따른 속도 제한 표지판 인식 방법은, 속도 제한 표지판이 촬영된 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 산출된 DCT 계수로부터 속도 제한 표지판의 특징값을 선택 및 추출하는 단계 및 복수의 클래스 각각의 특징값과 추출된 특징값 간의 거리를 산출하여 속도 제한 표지판이 복수 클래스 중 어떤 클래스에 속하는지 분류하는 단계를 포함한다.

Description

속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법{Method and apparatus for recognizing speed limit signs and method for recognizing image}
본 발명은 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법에 관한 것으로, 지능형 자동차 개발을 위한 속도 제한 표지판 실시간 인식 방법에 관한 것이다.
지능형 자동차에서의 컴퓨터 비전 시스템은 사람의 반응체계를 비추어 볼 때 그 중요성과 전망이 높은 분야 중에 하나이다. 사람의 반응체계는 시각을 통하여 외부로부터 여러 정보를 얻은 후 반응하며 그 비율이 약 80% 이상일 정도로 높은 비중을 차지하고 있다. 따라서 대부분 정보의 전달 형태가 시각적이며 이를 이용한 컴퓨터 비전 시스템이 기존 자동차 분야에 접목이 되어 그 중요성이 커지고 있다. 컴퓨터 비전 시스템이 지능형 자동차에 응용된 기술은 카메라를 통한 자동차 주변 정보를 종합, 처리, 응용하는 목적이 있으며 그 결과 차선이탈 경보, 차간거리유지 시스템, 보행자 인식 시스템, 주차보조시스템, 교통 표지판 인식 등의 많은 어플리케이션이 있다. 이 중에서 교통표지판 인식은 안전을 생각했을 때 간과될 수 없는 중요한 기술 중에 하나이나 다른 기술에 비해 발전이 많이 이뤄지지 않았다. 교통 표지판 인식은 여러 종류의 표지판을 대상으로 할 수 있으나 그 중에서 속도 제한 표지판 인식에 대한 연구가 그 중요성에 비해 상대적으로 적고, 기존 연구 결과, 교통 표지판 형태에 따라 삼각형, 원형(속도 제한 표지판 제외) 표지판의 경우 인식률이 상당히 높은데 반하여 속도 제한 표지판의 경우 상대적으로 낮은 90% 초반대의 인식률을 보인다. 이러한 문제들을 해결하기 위해 인식률을 높이기 위한 많은 연구가 진행되고 있으나, 인식률을 높일 수록 연산량이 증가하는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 인식률을 유지 또는 향상시키면서 연산량을 줄일 수 있는 속도 제한 표지판 인식 방법을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 속도 제한 표지판 인식 방법은, 속도 제한 표지판이 촬영된 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 산출된 DCT 계수로부터 상기 속도 제한 표지판의 특징값을 선택 및 추출하는 단계 및 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여 상기 속도 제한 표지판이 상기 복수 클래스 중 어떤 클래스에 속하는지 분류하는 단계를 포함한다.
여기서 상기 각 클래스는 복수 종류의 속도 제한을 나타내는 표지판 이미지 샘플이고, 상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수일 수 있고, 상기 이미지 영역에서 특정 위치의 화소들은, 상기 각 클래스의 특징값을 갖는 상기 표지판 이미지 샘플의 화소 위치와 대응되는 위치의 화소들일 수 있다.
또한, 상기 추출하는 단계는 상기 이미지 영역에서 특정 위치의 화소들에 대한 DCT 계수를 산출하는 단계 및 상기 특정 위치의 화소들에 대한 DCT 계수를 상기 속도 제한 표지판의 특징값으로 추출하는 단계를 포함할 수 있다.
한편, 현재 프레임의 상기 이미지 영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 이미지 영역으로부터 분류한 결과들을 고려하여 상기 속도 제한 표지판이 어떤 클래스의 속도 제한을 나타내는 것인지 결정하는 단계를 더 포함할 수 있다.
한편, 상기 결정하는 단계는 상기 현재 및 이전 프레임들의 수에 대한 동일 클래스로 분류된 프레임 수의 비율이 기준치 이상이면, 상기 속도 제한 표지판이 상기 동일 클래스의 속도 제한을 나타내는 것으로 결정하는 것일 수 있다.
전술한 목적을 달성하기 위하여, 본 발명의 다른 면에 따른 속도 제한 표지판 인식 방법은, 영상으로부터 속도 제한 표지판이 촬영된 이미지 영역을 관심영역으로 검출하고, 일정 크기로 리사이징하는 단계와, 리사이징된 이미지 영역에서 특정 위치의 화소들에 대한 DCT(Discrete Cosine Transform) 계수를 산출하는 단계 및 복수 종류의 속도 제한을 나타내는 표지판 이미지 샘플들 각각을 구별하는 DCT 계수와 상기 산출된 DCT 계수를 비교하여, 상기 이미지 영역이 상기 복수 종류의 표지판 이미지 샘플 중 어느 것과 유사한지 판단하는 단계를 포함한다.
여기서 상기 리사이징된 이미지 영역에서 특정 위치의 화소들은, 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 DCT 계수를 갖는 화소 위치와 대응되는 위치의 화소들일 수 있다.
전술한 목적을 달성하기 위하여, 본 발명의 또 다른 면에 따른 이미지 인식방법은, 현재 프레임으로부터 인식대상 객체가 촬영된 이미지 영역을 관심영역으로 검출하고, 전처리를 수행하는 단계와, 전처리된 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 DCT 계수로부터 상기 인식대상 객체의 특징값을 추출하는 단계와, 복수 종류 클래스의 특징값과 상기 인식대상 객체의 특징값 간의 거리를 산출하여, 상기 산출결과를 토대로 상기 인식대상 객체가 상기 복수 종류 클래스 중 어떤 클래스에 속하는지 분류하는 단계 및 상기 현재 프레임으로부터 상기 분류한 결과와 이전 프레임들로부터 분류한 결과를 고려하여, 상기 인식대상 객체가 어떤 클래스에 해당하는지 결정하는 단계를 포함한다.
여기서, 상기 추출하는 단계는 상기 전처리된 이미지 영역에서 특정 위치의 화소들에 대한 DCT 계수를 산출하는 단계 및 상기 특정 위치의 화소들에 대한 DCT 계수를 상기 인식대상 객체의 특징값으로 추출하는 단계를 포함할 수 있다. 또한 상기 각 클래스는 복수 종류의 이미지 샘플이고, 상기 전처리된 이미지 영역에서 특정 위치의 화소들은, 상기 각 클래스를 다른 클래스와 구별시키는 DCT 계수를 갖는 이미지 샘플의 화소 위치와 대응되는 위치의 화소들일 수 있다.
전술한 목적을 달성하기 위하여, 본 발명의 또 다른 면에 따른 속도 제한 표지판 인식장치는, 속도 제한 표지판이 촬영된 현재 프레임의 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 산출된 DCT 계수로부터 상기 속도 제한 표지판의 특징값을 추출하는 특징값 추출부와, 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 거리를 산출하여, 상기 산출결과를 토대로 상기 속도 제한 표지판 이미지가 상기 복수 클래스 중 어떤 클래스에 속하는지 분류하는 분류부 및 상기 현재 프레임의 이미지 영역으로부터 상기 분류한 결과와, 이전 프레임들의 이미지 영역으로부터 분류한 결과를 고려하여 상기 속도 제한 표지판이 어떤 클래스의 속도 제한을 나타내는지 결정하는 결정부를 포함한다.
본 발명에 따르면, 종래의 방법에 비해 인식률을 유시 또는 향상시키면서도,연산량을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 속도 제한 표지판 인식 장치를 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 속도 제한 표시판 인식 방법을 나타내는 순서도이다.
도 3은 도 2의 전처리 과정을 설명하기 위한 순서도이다.
도 4는 도 3의 전처리 과정의 예시도이다.
도 5는 도 1의 특징값 추출부 및 분류부를 설명하기 위한 개념도이다.
도 6은 도 1의 특징값 추출부의 동작을 설명하기 위한 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 속도 제한 표지판인식 방법 및 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 속도 제한 표지판 인식 장치를 나타내는 구성도이고, 도 2는 본 발명의 일 실시예에 따른 속도 제한 표시판 인식 방법을 나타내는 순서도이고, 도 3은 도 2의 전처리 과정을 설명하기 위한 순서도이고, 도 4는 도 3의 전처리 과정의 예시도이고, 도 5는 도 1의 특징값 추출부 및 분류부를 설명하기 위한 개념도이고, 도 6은 도 1의 특징값 추출부의 동작을 설명하기 위한 개념도이다.
먼저 도 1을 참조하면, 본 발명의 실시예에 따른 속도 제한 표지판 인식 장치(10)는, 관심영역 검출부(100)와, 전처리부(200)와, 특징값 추출부(300)와, 분류부(400) 및 결정부(500)를 포함한다.
도 2를 더 참조하여 도 1의 속도 제한 표지판 인식 장치(10)가 예컨대 차량에 설치되어, 이동 중에 촬영한 영상으로부터 속도 제한 표지판을 인식하는 방법에 대해 설명한다.
먼저 관심영역 검출부(100)는, 현재 프레임의 촬영 영상에서 속도 제한 표지판이 촬영된 이미지 영역을 관심영역으로 검출한다(S110).
그리고 전처리부(200)는, 관심영역으로 검출된 이미지 영역에 대해 속도 제한 표지판 내용이 선명해지도록 전처리 과정을 수행한다(S120). 전처리부(200)가 수행하는 전처리 과정에 대해서는 도 3 및 도 4를 더 참조하여 설명한다.
차량에 설치된 카메라를 통해 속도 제한 표지판을 촬영하고, 촬영된 영상의 각 프레임에서 관심 영역, 즉 속도 제한 표지판이 위치하는 영역을 검출하면, 검출된 관심 영역은, 검출된 크기와 환경적인 상황(예컨대 촬영된 영상의 색상변화 등)으로 인해 검출된 관심 영역 그대로를 특징 추출에 사용하기는 힘들다. 이를 위해 검출된 영역에 대해, 전처리 과정을 통한 정규화를 수행하여 특징 추출이 잘 되도록 한다.
구체적으로 도 3에 도시된 바와 같이, 먼저 전처리부(200)는 검출된 관심 영역을 리사이징(resizing)하여 일정한 특정 크기로 변형할 수 있다(S310). 자동차와 속도 제한 표지판의 상대적인 거리에 따라 검출된 관심 영역의 크기가 다양하므로, 예컨대 30×30(화소단위)의 일정한 특정 크기로 리사이징한다. 예컨대 리사이징은 bicubic 보간법을 이용하여 수행할 수 있다. 리사이징 과정은, 전처리 후에 이미지 영역에서 미리 정해진 특정 위치의 화소에 대해서만 DCT를 수행하기 위해서도 필요하다. 이에 대해서는 도 5를 참조하여 후술한다. 이러한 리사이징 과정을 통해, 도 3의 (a)에 도시된 검출된 관심 영역은 도 3의 (b)와 같이 특정 크기로 변형된다.
다음으로, 전처리부(200)는 리사이징된 이미지에서 표지판 내용의 선명도를 향상시킨다(S320). 영상촬영 시 빛 또는 어두움 등의 영향으로 인해 리사이징된 영상은 속도 제한 표지판 본래의 특징을 표현하지 못하기 때문에, 선명도 향상을 통해 영상의 배경과 전경을 분리하고 보정한다. 선명도 향상은 표지판 내부의 배경이 흰색임을 이용하여 화이트 밸런스(white balance) 보정과 콘트라스트(contrast)를 늘리는 방법으로 수행된다. 이러한 선명도 향상 과정을 통해, 도 3의 (b)에 도시된 리사이징 결과 영상은 (c)와 같이 배경 및 전경이 분리된 보정된 영상으로 변형된다.
그리고, 전처리부(200)는 그레이 레벨 변환을 통해 컬러 영상을 8비트 그레이 영상으로 변환하고(S330), 마지막으로 크로핑(cropping) 과정을 통해 숫자에 해당하는 영역만을 잘라낸다(S340). 이러한 그레이 레벨 변환 과정 및 크로핑 과정을 통해 도 3의 (c)에 도시된 영상에서 불필요한 부분이 제거된 그레이 영상으로 변환된다. 여기서 크로핑 과정은 속도 제한 표지판 분류에 불필요한 부분을 제거할 뿐만 아니라 특징의 개수를 줄여 분류 과정에서 연산량을 줄일 수 있다.
한편, 특징값 추출부(300)는 전처리된 이미지 영역에서 DCT 계수를 산출하고(S230), 산출된 DCT 계수를 토대로 속도 제한 표지판의 특징값으로 추출한다(S240). 여기서 특징값 추출부(300)는 이미지 영역에서 특정 위치의 화소들에 대해서만 DCT 계수를 산출하고, 산출된 DCT 계수 모두를 속도 제한 표지판의 특징값으로 선택 및 추출할 수 있다. 또는 특징값 추출부(300)는 이미지 영역에 대해 DCT 계수를 산출하고, 산출된 DCT 계수 중 특정한 일부를 속도 제한 표지판의 특징값으로 선택 및 추출할 수도 있다. 이하에서는 특징값 추출부(300)가 이미지 영역에서 특정 위치의 화소들에 대해서만 DCT 계수를 산출하는 경우를 예로 든다.
다음으로 분류부(400)는 추출된 속도 제한 표지판의 특징값과, 복수의 클래스 각각의 특징값을 비교하여, 속도 제한 표지판의 특징값이 복수의 클래스 중 어떤 클래스의 특징값과 유사한지 분류한다. 예컨대 분류부(400)는, 추출된 속도 제한 표지판의 특징값과, 복수의 클래스 각각의 특징값 간의 거리(마할라노비스 거리(Mahalanobis Distance))를 산출하여 상기 속도 제한 표지판이 상기 복수 클래스 중 어떤 클래스에 속하는지 분류할 수 있다. 여기서 클래스는 예컨대 시속 80km, 시속 90km 또는 시속 100km와 같은 속도 제한을 나타내는 표지판 이미지 샘플일 수 있다. 즉, 분류부(400)는 추출된 속도 제한 표지판의 특징값과, 복수의 속도 표지판 이미지 샘플의 특징값을 비교하여, 촬영된 속도 제한 표지판이 어떤 속도 제한을 나타내는 표지판인지 분류한다(S250).
여기서, 특징값 추출부(300)가 이미지 영역에서 특정 위치의 화소들에 대해서 DCT 계수를 산출함으로써 추출한 특징값은 무엇인지, 클래스(복수 종류의 속도 제한을 나타내는 표지판 이미지 샘플)의 특징값은 무엇인지 구체적으로 설명한다.
먼저, 클래스와 클래스의 특징값을 미리 설정한다. 클래스는 앞서 말한 바와 같이, 시속 80km, 시속 90km 또는 시속 100km와 같은 속도 제한을 나타내는 표지판 이미지 샘플로서, 분류의 기준 또는 분류의 카테고리일 수 있다. 그리고 각 클래스의 특징값은, 각 표지판 이미지 샘플을 DCT 변환하였을 때, 어느 하나의 클래스를 다른 클래스와 뚜렷이 구별시키는 DCT 계수를 의미한다. 이는 시속 80km, 시속 90km 또는 시속 100km와 같은 속도 제한에서, 각 숫자인 80, 90, 100 등의 이미지를 DCT 하였을 때 DCT 계수가 다르게 나타난다는 점을 이용한 것이다.
예컨대 도 5에 도시된 바와 같이, 80 표지판 이미지 샘플(도 5에는 10×10으로 리사이징된 예가 도시됨)의 DCT 계수 중 (a, b), (c, d), (e, f)의 특정 위치의 화소(도 5의 (a)에서 음영처리된 위치의 화소)의 DCT 계수가 다른 90, 100 이미지의 DCT 계수와 구별된다면, 그러한 80 이미지의 DCT 계수는 시속 80km 속도 제한 표지판의 특징값이 될 수 있다. 또한 마찬가지로, 90 이미지의 DCT 계수 중 (g, h), (i, j), (k, l)의 특정 위치의 화소의 DCT 계수가 다른 80, 100 이미지의 DCT 계수와 구별된다면, 그러한 90 이미지의 DCT 계수는 시속 90km 속도 제한 표지판의 특징값이 될 수 있다. 또한 100 이미지의 DCT 계수 중 (m, n), (o, p), (q, r)의 특정 위치의 화소(도 5의 (b)에서 음영처리된 위치의 화소)의 DCT 계수가 다른 80, 90 이미지의 DCT 계수와 구별된다면, 그러한 100 이미지의 DCT 계수는 시속 100km 속도 제한 표지판의 특징값이 될 수 있다.
따라서 미리, 시속 80km, 시속 90km 또는 시속 100km 등과 같은 속도 제한을 나타내는 표지판 이미지 샘플(클래스) 들에서 각 클래스를 구별할 수 있는 특징값을 산출해 놓고, 이후에 차량이 이동하면서 촬영한 영상으로부터 추출한 특징값과 비교하여, 속도 제한 표지판을 분류할 수 있다.
여기서, 시속 80km, 시속 90km 또는 시속 100km와 같은 속도 제한을 나타내는 표지판 이미지 샘플(클래스) 들에서 각 클래스를 구별할 수 있는 특징값이 (a, b), (c, d), (e, f), (g, h), (i, j), (k, l), (m, n), (o, p), (q, r) 위치(도 5의 (c)에서 음영처리된 위치)에 존재한다.
따라서 분류부(400)는, 전처리된 이미지 영역의 모든 화소에 대해 DCT 계수를 산출하지 않고, 도 5의 (c)에서 음영처리된 특정 위치에 대응하는 전처리된 이미지 영역의 화소에 대해 DCT 계수를 산출하고, 산출된 DCT 계수(특징값)가 80 표지판 이미지 샘플의 특징값(도 5의 (a)에서 음영처리된 위치의 DCT 계수)과 가까운지(또는 유사한지), 90 표지판 이미지 샘플의 특징값과 가까운지, 또는 100 표지판 이미지 샘플의 특징값(도 5의 (b)에서 음영처리된 위치의 DCT 계수)과 가까운지를 분류할 수 있다.
좀더 구체적으로, 먼저 단일 프레임에 대한 분류를 위해 추출된 특징에 대하여 추가적으로 선형판별법을 이용하여 개수를 줄이고 분류에 유리하도록 한다. 선형판별법을 거쳐 변환된 결과를 학습 과정에서 각 클래스에 대한 단일 가우시안 모델로 가정을 하며, 이는 충분한 숫자의 샘플이 학습이 되어 분포를 형성하면 가능하다. 이를 바탕으로 분류하고자 하는 샘플을 각 클래스의 분포에 대해 아래의 수학식 1의 Mahalanobis Distance로 계산하여 단일 프레임에 대한 분류를 한다.
[수학식 1]
Figure 112010077724518-pat00001
여기서 x와 μk는 선형판별법을 통해 추출된 (c-1)차원의 벡터로서 x는 분류하려는 샘플, μk는 학습된 k 클래스의 평균, ∑k는 학습된 k 클래스의 공분산 행렬이다.
이와 같이, DCT 계수는 기저 벡터(basis vector)가 고정되어 있으면서 비교적 적은 수의 DCT 계수로 영상을 잘 표현할 수 있으므로 이미지 영역의 전 화소에 대한 DCT 계수가 아니라, 특정 위치 화소의 DCT 계수를 이용하여 분류할 수 있고, 이를 통해 DCT 과정 및 분류 과정에서의 연산량을 줄일 수 있다.
한편, 시속 80km, 시속 90km 또는 시속 100km와 같은 속도 제한을 나타내는 표지판 이미지 샘플(클래스) 들에서 각 클래스를 구별할 수 있는 특징값을 미리 결정해 놓아야 한다.
즉, 각 DCT 계수 중 클래스 내부의 분산은 작고 클래스 간 분산은 큰 계수를 선택한다. 각 계수 중 클래스 내부의 분산은 작고 클래스 간 분산은 큰 계수는 분류에 가장 결정적인 요인이 될 수 있다. 이는 선형판별법과 유사한 개념이지만 선형판별법의 경우 변환 행렬을 구해 새로운 차원으로 투영하므로 계수를 선택할 수 없는 단점이 있다. 그러나 특징을 선택할 수 있도록 기준을 정한다면 이를 바탕으로 전체 계수 중 일부를 특징으로 삼아 특징의 개수를 줄일 수 있다.
이를 위해 본 실시예에서는, 아래의 표와 같이 판별 요소(discriminant factor)를 정의하여, 판별 요소를 통해 표지판 이미지 샘플의 특징값 및 특정 위치를 획득한다. 이러한 과정에서 DCT 계수 중 DC 영역을 제외한 모든 계수에 대하여 각각 구하며 DC 영역은 영상의 밝기를 나타내므로 분류 시 고려하지 않을 수 있다.
계수별 각 클래스의 평균
Figure 112010077724518-pat00002
계수별 전체 평균
Figure 112010077724518-pat00003
게수별 클래스 간 분산
Figure 112010077724518-pat00004
계수별 각 클래스의 분산의 분산
Figure 112010077724518-pat00005
계수별 각 클래스의 분산의 합
Figure 112010077724518-pat00006
판별 요소
Figure 112010077724518-pat00007
여기에서 c는 클래스의 수, (i,j)는 샘플의 행/열, xk c , (i,j) 는 클래스 c의 k번째 샘플의 (i,j) 행/열의 계수, n은 샘플의 수이다. 정의된 판별 요소의 크기가 클수록 분류에 영향을 주는 DCT 계수로 판단할 수 있으며 이를 기준으로 우선순위를 부여한다.
DCT 계수 중 제안된 판별 요소를 기준으로 일부 DCT 계수를 선택하여 특징으로 추출한다. 만약 특징으로 추출하고자 하는 DCT 계수가 다른 DCT 계수와 떨어져 행이나 열을 공유하지 못하는 경우 이 계수가 높은 판별 요소 값을 갖는다 하더라도 분류에 영향을 미치는 정도에 비해 연산에 따르는 오버헤드가 커진다.
또한 고주파 성분은 일반적으로 영상의 노이즈 성분을 포함하므로 선택된 계수가 고주파 성분이면 계수 선택에서 제외하더라도 분류에는 크게 영향을 미치지 못한다. 이를 위해 판별 요소에 대해 각 행과 열의 평균값을 구하고, 이를 기준으로 특징으로 선택할 계수의 개수에 맞게 실험적으로 상위의 행과 열을 선택하여 구하고자 하는 계수의 범위를 정한다. 이렇게 정해진 행과 열의 범위에서 최종적으로 판별 요소를 기준으로, 도 5의 (a), (b)의 음영처리된 것과 같이 상위 몇 개의 계수를 선택한다.
도 6을 참조하여 특징값 추출부(300)가 전처리된 이미지 영역에서 특정 위치의 화소에 대해 DCT를 수행하는 과정을 설명한다. 도 6은 특징값 추출부(300)가 전처리된 이미지 영역에서 특정 위치의 화소에 대해 DCT를 수행하는 과정을 나타낸다.
특징값 추출부(300)가 전처리된 이미지 영역에서 특정 위치의 화소에 대해 DCT를 수행할 때, 2-D DCT 연산은 행렬 분해형(row-column decomposition) 방법으로 수행할 수 있다. 즉, 특징값 추출부(300)는 도 6의 (a)와 같이 특정 위치의 화소에 대해 DCT를 수행할 때, 행 또는 열의 순서에 상관없이 도 6의 (b) 및 (c) 와 같이 1-D DCT를 각각 수행한다. 이로써 DCT 계수 산출시 연산량을 줄일 수 있는 장점이 있다. 이때, 각각의 행과 열을 구하는 연산량을 고려하여 적은 쪽의 행 또는 열의 1-D DCT를 먼저 수행하여 추가적으로 연산량을 줄인다.
이러한 과정을 통해 특징값 추출부(300)는, 전처리된 이미지 영역에 대해 모든 DCT 계수를 구하지 않고, 특정 위치(도 5의 (C) 참조)의 화소에 대해 DCT 계수를 산출함으로써, 연산량을 줄일 수 있다. 또한, 특정 위치(도 5의 (C) 참조)는 전술한 바와 같이, 각 클래스의 특징값을 갖는 화소의 위치이며, 특징값은 클래스 내부의 분산값은 작고 클래스간 분산값은 큰 값으로 선택된 것이므로, 전처리된 이미지 영역에서 특정 위치의 특징값과 클래스의 특징값 간의 비교로 속도 제한 표지판을 분류하여도, 인식률은 보장 또는 향상된다.
이로써, 특징값 추출부(300)의 특징 추출 및 분류부(400)의 분류과정을 통해 속도 제한 표지판을 인식할 수 있다.
다만, 인식률을 더 향상시키기 위해, 도 1에 도시된 바와 같이, 실시예에 따른 속도 제한 표지판 인식장치는 결정부(500)를 더 포함할 수 있다.
결정부(500)는, 현재 프레임에 대한 분류 과정과, 이전 프레임에 대한 분류 과정을 종합적으로 고려하여, 속도 제한 표지판이 어떤 속도 제한을 나타내는지 결정한다.
예컨대 결정부(500)는, 현재 및 이전 프레임들의 수에 대한 동일 클래스로 분류된 프레임 수의 비율이 기준치 이상이면, 속도 제한 표지판이 클래스에 속하는 것으로 결정할 수 있다. 즉, 결정부(500)는, 현재 프레임까지 10 프레임에 대해 분류해 본 결과, 시속 80km를 나타내는 표지판 이미지 샘플로 분류된 프레임은 6번이고, 90 및 100km를 나타내는 표지판 이미지 샘플로 분류된 프레임은 4번이면, 기준치(예컨대 60%) 이상이므로, 속도 제한 표지판을 속도제한 시속 80km를 나타내는 표지판인 것으로 결정한다. 만약, 기준치보다 작으면, 속도 제한 인식 장치는 차후의 프레임에 대해 전술한 과정(도 2에서 S210 내지 S260)을 거쳐, 이전에 분류한 결과와 종합 고려하여 결정할 수 있다.
좀더 구체적으로 설명하면 본 실시예에서는 아래의 수학식 2와 수학식 3을 이용하여 특정 프레임 개수에 대해 확률이 가장 높은 클래스로 분류한다. 수학식 2는 n개의 프레임에 대해 k 클래스로 분류된 확률을 말하며 여기서 yi는 각 프레임에서 분류된 결과를 나타낸다. 이 때 몇 개의 프레임을 가지고 분류 기준을 정할지는 실험적으로 결정한다.
[수학식 2]
Figure 112010077724518-pat00008
[수학식 3]
Figure 112010077724518-pat00009
한편, 본 발명은 이러한 실시예와 달리, 변형례로서, 결정부(500)가 이전 프레임들의 분류결과를 누적하여 고려하지 않는 대신, 분류부(400)가 현재 및 이전 프레임들에서 추출된 특징값들을 종합 고려해서 분류할 수 있다. 예컨대 기 설정된 프레임수 15개의 현재 및 이전 프레임들에서 많이 추출된 상위의 특징값들을 선택하고, 그를 통해 속도 제한 표지판이 어떤 클래스에 해당하는지 분류할 수도 있다. 이러한 경우에는 도 1에서 결정부(500)가 제거될 수도 있다.
이하에서는 본 발명의 실시예에 따른 성능을 실험한 예를 설명한다.
본 실험은 비쥬얼 C++와 매틀랩(Matlab)으로 속도 표지판 인식 장치를 구현하였으며 OpenCV 라이브러리를 이용하였다. 학습 및 분류를 위한 데이터는 속도 제한 표지판 검출이 비교적 용이한 일반 국도, 고속도로, 시가지 등에서 비교적 맑은 날씨와 약간 흐린 날씨의 환경에서 촬영하였으며, 30fps 속도와 640×480 크기의 동영상에서 각 프레임 영상을 획득하였다.
본 실험에서는 분류를 위해 획득된 영상에서 속도 제한 표지판 영역을 잘라내어 관심 영역으로 사용하였다. 잘라낸 관심 영역은 최소 11×11부터 최대 30×30 크기로서 학습을 위한 영상은 15×15부터 30×30 크기로 사용하였으며, 분류 영상은 11×11부터 30×30 크기를 사용하였다. 인식을 위한 속도 제한 표지판은 10㎞/h부터 10의 단위로 110㎞/h까지 총 11가지의 클래스에 대해 실험을 수행하며 각 클래스의 학습을 위한 샘플 수는 클래스 당 200개씩 총 2200개로 분류를 위한 샘플 수는 클래스 당 100개씩 총 1100개로 하였다.
학습 및 분류를 위한 샘플은 전처리 과정을 거치며 전처리 과정의 순서에 따라 30×30 크기로 리사이징 후 표지판 내용 선명도 향상, 그레이 레벨 변환 과정을 거쳤다. 마지막 크로핑 과정은 표지판 내용에 해당하는 영역을 실험적으로 분석하여 평균적인 범위에 대하여 20×20 크기로 수행하였다.
본 실험에서는 관심 영역을 15×15 크기를 기준으로 저해상도와 고해상도로 구분하여 실험 대상을 나누었으며, 그 실험 결과는 아래의 표 1과 같다.
[표 1]
Figure 112010077724518-pat00010
위 표 1은 속도 제한 표지별 기존방법과 본 실시예에 따른 방법의 인식횟수를 비교한 것이다.
본 실시예에 따른 속도 제한 표지판 인식 방법은 적은 수의 DCT 계수를 특징을 선택 및 추출하여 분류를 행하기 때문에, 전체 영역 전부를 특징으로 하여 분류하는 경우보다 데이터 처리량이 줄어들면서 인식률이 떨어지나 이는 연속된 프레임을 이용한 인식을 통해 보상이 되므로 단일 프레임의 인식률 차이는 크게 의미가 없다.
본 실시예에 따른 속도 제한 표지판 인식 방법으로 실험한 결과 단일 프레임의 경우, 기존 방법을 이용한 결과에 비하여 저해상도에서는 평균 4.2% 인식률 감소, 고해상도에서는 평균 4.6% 인식률 감소를 보인다. 여러 클래스 중 몇몇의 인식률은 상대적으로 낮은데 이는 다른 클래스와 비슷한 특징을 가지고 있어 생기는 문제이다.
연속된 프레임의 경우 저해상도는 30개의 프레임을 기준으로 하였을 때, 고해상도는 20개의 프레임을 기준으로 하였을 때 99% 이상의 정확한 인식을 보였다. 앞서 언급한 대로 단일 프레임에 대한 인식률이 낮더라도 연속된 프레임에 대한 적당한 인식 기준을 세워 분류함으로써 인식률이 보장되는 것을 확인하였다. 이는 15×15 크기 이하에서 인식함을 의미한다.
특징 선택을 위해 상위 18개의 행/열의 범위 안에서 상위 60개의 DCT 계수를 선택하였다. 표 2는 제안된 방법과 기존에 제안된 방법의 곱셈/덧셈의 연산 수행횟수와 차이를 보인다.
아래의 표 2는 본 실시예에 따른 속도 제한 표지판 인식 방법과 종래에 널리 알려진 방법의 곱셈/덧셈의 연산 횟수를 비교한 것이다.
[표 2]
Figure 112010077724518-pat00011
제안된 방법의 곱셈/덧셈 연산 수행횟수를 구한 결과 기존의 방법에 비하여 곱셈은 58.6% 감소, 덧셈은 38.3% 감소를 보인다. 이는 기존의 방법인 선형판별법을 이용할 경우 입력으로 들어오는 특징을 변환하는 연산이 입력 특징의 개수와 분류하는 클래스의 개수에 의해 결정되므로, 전체 영역의 픽셀 개수를 특징으로 하는 기존의 방법의 경우 연산량이 크다. 하지만 제안된 방법은 정해진 DCT 계수만을 구하여 연산량을 줄이는 방법을 제안하였으며 특징의 개수가 줄어듦에 따라 선형판별법에서의 연산량도 줄임으로써 실시간 처리가 가능하도록 하였다.
이와 같이 본 실시예에서는 DCT 계수를 이용하여 속도 제한 표지판을 실시간으로 인식할 수 있다. 카메라로 들어오는 입력에 대해 단일 프레임을 기준으로 검출된 관심 영역에 전처리 과정을 거쳐 특징을 추출하며, 특징의 개수를 줄이기 위해 DCT 계수 중 일부만 선택하기 위한 판별 요소를 정의한다. 판별 요소는 DCT 계수 중에 클래스 간 분산은 크고 클래스 내 분산은 작은 것을 선택하며, 행과 열의 범위를 정하고 연산량을 고려하여 계수를 선택하는 방법을 사용하였다. 추출된 특징을 이용하여 단일 프레임의 분류를 하며 이 결과를 바탕으로 연속된 프레임에 대해 적용하여 최종적으로 속도 제한 표지판을 인식하도록 하였다.
이러한 실시예를 통해, DCT 계수를 이용하여 기존 연구 대비 연산량은 줄어들고, 연속된 프레임을 이용하므로 저해상도에서 인식이 가능하다. 이것은 더 멀리 있는 표지판을 실시간으로 인식할 수 있음을 의미하며 운전자에게 더 빨리 경고할 수 있는 환경을 제공할 수 있다.
이하에서 본 발명의 다른 실시예에 따른 이미지 인식 방법을 설명한다.
본 발명의 다른 실시예에 따른 이미지 인식 방법은, 이전 실시예와 유사하게, 인식대상 객체가 촬영된 현재 프레임의 이미지로부터 관심영역을 검출하고, 전처리를 수행한다. 여기서 인식대상 객체는, 이전 실시예처럼, 속도 제한 표지판일 수 있고, 또는 문자, 숫자 등과 같은, 인식대상의 기호 또는 언어 또는 형상일 수 있다.
그리고, 전처리된 이미지에서 DCT 계수를 산출하고, DCT 계수로부터 상기 인식대상 객체의 특징값을 추출한다. 이때, DCT 계수는, 이전 실시예와 같이 연산량을 줄이기 위해, 클래스의 특징값의 위치와 대응하는 위치의, 전처리된 이미지의 화소에 대한 DCT 계수이다. 그리고 클래스는 인식할 때 분류 기준이 되는 이미지 샘플일 수 있다.
그리고, 복수 종류 클래스의 특징값과 인식대상 객체의 특징값 간의 거리를 산출하여, 산출결과를 토대로 인식대상 객체가 복수 종류 클래스 중 어떤 클래스에 속하는지 분류한다.
그리고 인식률을 높이기 위해, 현재 프레임에 대한 분류 결과와 이전 프레임들에 대한 분류 결과를 고려하여, 인식대상 객체가 어떤 클래스에 해당하는지 결정할 수 있다.
즉, 본 발명은, 앞선 실시예인 속도 제한 표지판 인식 방법에 한정되지 않고, 다양한 종류의 이미지를 인식할 수 있는 방법에 적용될 수 있다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (17)

  1. 속도 제한 표지판이 촬영된 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 산출된 DCT 계수로부터 상기 속도 제한 표지판의 특징값을 선택 및 추출하는 단계; 및
    복수 종류의 속도 제한을 나타내는 표지판 이미지 샘플인 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 마할라노비스(Mahalanobis) 거리를 산출하여 상기 속도 제한 표지판이 상기 복수 클래스 중 어떤 클래스에 속하는지 분류하는 단계를 포함하되,
    상기 특징값을 선택 및 추출하는 단계는,
    상기 산출된 DCT 계수 중에 클래스 간 분산값을 클래스 내 분산값으로 나눈 결과값의 크기가 설계자에 의해 사전에 설정된 기준치 이상에 해당하는 DCT 계수를 우선적으로 선택하여 상기 특징값의 추출 개수를 줄이는 것을 특징으로 하는 것을 특징으로 하는 속도 제한 표지판 인식방법.
  2. 제1항에 있어서,
    상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플의 DCT 계수인 것
    인 속도 제한 표지판 인식방법.
  3. 제2항에 있어서, 상기 추출하는 단계는
    상기 이미지 영역에서 특정 위치의 화소들에 대한 DCT 계수를 산출하는 단계; 및
    상기 특정 위치의 화소들에 대한 DCT 계수를 상기 속도 제한 표지판의 특징값으로 추출하는 단계를 포함하는 것
    인 속도 제한 표지판 인식 방법.
  4. 제3항에 있어서,
    상기 이미지 영역에서 특정 위치의 화소들은, 상기 각 클래스의 특징값을 갖는 상기 표지판 이미지 샘플의 화소 위치와 대응되는 위치의 화소들인 것
    인 속도 제한 표지판 인식 방법.
  5. 제1항에 있어서,
    현재 프레임의 상기 이미지 영역으로부터 상기 분류한 결과와, 이전 프레임들에서의 이미지 영역으로부터 분류한 결과들을 고려하여 상기 속도 제한 표지판이 어떤 클래스의 속도 제한을 나타내는 것인지 결정하는 단계를 더 포함하는 것
    인 속도 제한 표지판 인식방법.
  6. 제5항에 있어서, 상기 결정하는 단계는
    상기 현재 및 이전 프레임들의 수에 대한 동일 클래스로 분류된 프레임 수의 비율이 기준치 이상이면, 상기 속도 제한 표지판이 상기 동일 클래스의 속도 제한을 나타내는 것으로 결정하는 것
    인 속도 제한 표지판 인식방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 현재 프레임으로부터 인식대상 객체가 촬영된 이미지 영역을 관심영역으로 검출하고, 전처리를 수행하는 단계;
    전처리된 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 DCT 계수로부터 상기 인식대상 객체의 특징값을 추출하는 단계;
    복수 종류의 이미지 샘플인 복수 종류 클래스의 특징값과 상기 인식대상 객체의 특징값 간의 마할라노비스(Mahalanobis) 거리를 산출하여, 상기 산출결과를 토대로 상기 인식대상 객체가 상기 복수 종류 클래스 중 어떤 클래스에 속하는지 분류하는 단계; 및
    상기 현재 프레임으로부터 상기 분류한 결과와 이전 프레임들로부터 분류한 결과를 고려하여, 상기 인식대상 객체가 어떤 클래스에 해당하는지 결정하는 단계를 포함하되,
    상기 특징값을 추출하는 단계는,
    상기 산출된 DCT 계수 중에 클래스 간 분산값을 클래스 내 분산값으로 나눈 결과값의 크기가 설계자에 의해 사전에 설정된 기준치 이상에 해당하는 DCT 계수를 우선적으로 선택하여 상기 특징값의 추출 개수를 줄이는 것을 특징으로 하는 이미지 인식 방법.
  11. 제10항에 있어서, 상기 추출하는 단계는
    상기 전처리된 이미지 영역에서 특정 위치의 화소들에 대한 DCT 계수를 산출하는 단계; 및
    상기 특정 위치의 화소들에 대한 DCT 계수를 상기 인식대상 객체의 특징값으로 추출하는 단계를 포함하는 것
    인 이미지 인식 방법.
  12. 제11항에 있어서,
    상기 전처리된 이미지 영역에서 특정 위치의 화소들은, 상기 각 클래스를 다른 클래스와 구별시키는 DCT 계수를 갖는 이미지 샘플의 화소 위치와 대응되는 위치의 화소들인 것
    인 이미지 인식 방법.
  13. 속도 제한 표지판이 촬영된 현재 프레임의 이미지 영역에서 DCT(Discrete Cosine Transform) 계수를 산출하고, 상기 산출된 DCT 계수로부터 상기 속도 제한 표지판의 특징값을 추출하는 특징값 추출부;
    복수 종류의 속도 제한을 나타내는 표지판 이미지 샘플인 복수의 클래스 각각의 특징값과 상기 추출된 특징값 간의 마할라노비스(Mahalanobis) 거리를 산출하여, 상기 산출결과를 토대로 상기 속도 제한 표지판 이미지가 상기 복수 클래스 중 어떤 클래스에 속하는지 분류하는 분류부; 및
    상기 현재 프레임의 이미지 영역으로부터 상기 분류한 결과와, 이전 프레임들의 이미지 영역으로부터 분류한 결과를 고려하여 상기 속도 제한 표지판이 어떤 클래스의 속도 제한을 나타내는지 결정하는 결정부를 포함하되,
    상기 특징값 추출부는,
    상기 산출된 DCT 계수 중에 클래스 간 분산값을 클래스 내 분산값으로 나눈 결과값의 크기가 설계자에 의해 사전에 설정된 기준치 이상에 해당하는 DCT 계수를 우선적으로 선택하여 상기 특징값의 추출 개수를 줄이는 것을 특징으로 하는 것을 특징으로 하는 속도 제한 표지판 인식장치.
  14. 제13항에 있어서, 상기 결정부는
    상기 현재 및 이전 프레임들의 수에 대한 동일 클래스로 분류된 프레임 수의 비율이 기준치 이상이면, 상기 속도 제한 표지판이 상기 동일 클래스의 속도 제한을 나타내는 것으로 결정하는 것
    인 속도 제한 표지판 인식장치.
  15. 제13항에 있어서,
    상기 각 클래스의 특징값은 상기 복수 종류의 표지판 이미지 샘플 중 어느 하나를 다른 표지판 이미지 샘플과 구별시키는 상기 각 표지판 이미지 샘플별 DCT 계수인 것
    인 속도 제한 표지판 인식장치.
  16. 제15항에 있어서, 상기 특징값 추출부는
    상기 이미지 영역에서 특정 위치의 화소들에 대한 DCT 계수를 산출하여, 상기 산출된 DCT 계수를 상기 속도 제한 표지판의 특징값으로 추출하는 것
    인 속도 제한 표지판 인식 장치.
  17. 제16항에 있어서,
    상기 이미지 영역에서 특정 위치의 화소들은, 상기 각 클래스의 특징값을 갖는 상기 표지판 이미지 샘플의 화소 위치와 대응되는 위치의 화소들인 것
    인 속도 제한 표지판 인식 장치.
KR1020100119040A 2010-11-26 2010-11-26 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법 Expired - Fee Related KR101176552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100119040A KR101176552B1 (ko) 2010-11-26 2010-11-26 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100119040A KR101176552B1 (ko) 2010-11-26 2010-11-26 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법

Publications (2)

Publication Number Publication Date
KR20120057351A KR20120057351A (ko) 2012-06-05
KR101176552B1 true KR101176552B1 (ko) 2012-08-24

Family

ID=46609243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100119040A Expired - Fee Related KR101176552B1 (ko) 2010-11-26 2010-11-26 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법

Country Status (1)

Country Link
KR (1) KR101176552B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312306B1 (ko) 2011-11-11 2013-09-27 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865958B1 (ko) * 2012-11-22 2018-06-11 현대자동차주식회사 속도 제한 표지판 인식 장치 및 방법
KR101382671B1 (ko) * 2012-12-31 2014-04-07 현대자동차주식회사 멀티 스케일 원형 후보군 검출 방법
KR101635461B1 (ko) 2014-11-05 2016-07-04 한밭대학교 산학협력단 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
DE102015205524B4 (de) 2015-03-26 2020-11-05 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts, beispielsweise eines Verkehrsschildes, in einem Bild
US9937923B2 (en) * 2016-01-30 2018-04-10 Bendix Commercial Vehicle Systems Llc System and method for providing a speed warning and speed control
KR102001763B1 (ko) 2018-01-02 2019-07-18 창원대학교 산학협력단 영상처리 기반의 속도표지판 인식 방법 및 장치
KR102140936B1 (ko) * 2018-08-14 2020-08-04 에스케이텔레콤 주식회사 객체인식장치 및 그 동작 방법
KR102274544B1 (ko) 2018-10-04 2021-07-07 삼성전자주식회사 주행 보조 장치 및 이미지 처리 방법
KR20200069910A (ko) 2018-12-07 2020-06-17 이인텔리전스 주식회사 교통표지판의 보조표지판 인식 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1: H Yang, C Liu, K Liu, S Huang, Traffic sign recognition in disturbing Environments. 2003., Lecture Notes in Computer Science 2871: ISMIS'03, (pages 252-261)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312306B1 (ko) 2011-11-11 2013-09-27 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법

Also Published As

Publication number Publication date
KR20120057351A (ko) 2012-06-05

Similar Documents

Publication Publication Date Title
KR101176552B1 (ko) 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
US9384401B2 (en) Method for fog detection
Alefs et al. Road sign detection from edge orientation histograms
EP2575077B1 (en) Road sign detecting method and road sign detecting apparatus
KR102043089B1 (ko) 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
WO2019196131A1 (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
EP2580740A2 (en) An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
CN106570439B (zh) 一种车辆检测方法及装置
EP2741234B1 (en) Object localization using vertical symmetry
US12008816B2 (en) Method and system for real time object detection
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
Rabiu Vehicle detection and classification for cluttered urban intersection
Bulla Traffic sign detection and recognition based on convolutional neural network
WO2013026205A1 (en) System and method for detecting and recognizing rectangular traffic signs
KR101298937B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
Wennan et al. Lane detection in some complex conditions
CN115100903A (zh) 一种基于yolov3目标检测算法的公路弯道双向预警系统
CN118155149B (zh) 一种智慧城市道路智能监控系统
KR101169340B1 (ko) 영상 처리 시스템에서의 객체 인식 방법 및 시스템
CN117523521A (zh) 一种基于Haar特征和改进HOG特征的车辆检测方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20150625

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20160817

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180818

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180818

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000