KR101484531B1 - 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템 - Google Patents

영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템 Download PDF

Info

Publication number
KR101484531B1
KR101484531B1 KR20130065692A KR20130065692A KR101484531B1 KR 101484531 B1 KR101484531 B1 KR 101484531B1 KR 20130065692 A KR20130065692 A KR 20130065692A KR 20130065692 A KR20130065692 A KR 20130065692A KR 101484531 B1 KR101484531 B1 KR 101484531B1
Authority
KR
South Korea
Prior art keywords
license plate
image
feature vector
color
area
Prior art date
Application number
KR20130065692A
Other languages
English (en)
Other versions
KR20140143927A (ko
Inventor
노용만
민현석
이승호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR20130065692A priority Critical patent/KR101484531B1/ko
Publication of KR20140143927A publication Critical patent/KR20140143927A/ko
Application granted granted Critical
Publication of KR101484531B1 publication Critical patent/KR101484531B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력 영상 중 번호판 영역을 검출하는 방법 및 시스템에 관한 것으로서, 구체적으로는 영상 조각을 기반으로 형성된 영상 특징 벡터 데이터베이스 및 희소 표현 기법을 활용하여 번호판 영역을 검출하는 방법 및 시스템에 관한 것이다.
본 발명은 입력 영상에서 하나 이상의 번호판 후보 영역을 추출하는 단계; 및 상기 번호판 후보 영역을 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 나타낸 후, 이를 바탕으로 상기 번호판 후보 영역이 번호판 영역에 해당하는지를 판별하는 단계를 포함하며, 상기 영상 특징 벡터는 번호판 및 비번호판 훈련 영상의 영상 조각을 이용하여 형성된 것임을 특징으로 하는 번호판 영역 검출 방법을 개시하며, 본 발명에 의하여 영상 조각 기반의 영상 특징 벡터를 사용하여 영상 특징 벡터 데이터베이스를 생성하고, 이와 함께 희소 표현 기법을 이용하여 번호판 영역을 검출함으로써, 촬영 기기의 성능 제한, 열악한 촬영 환경 등의 원인으로 입력 영상의 품질이 떨어지거나 잘못된 영역을 포함하는 경우에도 번호판 영역을 효과적이고 정확하게 검출할 수 있는 방법 및 시스템을 제공하는 효과를 갖는다.

Description

영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템 {Method and system of panel area detection using sparse representation based on image segmentation}
본 발명은 입력 영상 중 번호판 영역을 검출하는 방법 및 시스템에 관한 것으로서, 구체적으로는 영상 조각을 기반으로 형성된 영상 특징 벡터 데이터베이스 및 희소 표현 기법을 활용하여 번호판 영역을 검출하는 방법 및 시스템에 관한 것이다.
최근 지능형 교통체계(Intelligent Transport System), 영상 감시 시스템, 위치 기반 서비스 등 다양한 어플리케이션의 필수 요소 기술로서, 번호판 검출 및 인식 기술이 관심을 받고 있고, 이에 따라 번호판 검출 및 인식 기술에 대한 다양한 연구가 진행되고 있다. 그런데 번호판 인식 기술의 경우와 비교할 때 그 전제가 되는 번호판 영역 검출 기술은 많은 응용 분야에서 비교적 소홀하게 다루어 진 것이 사실이다. 그러나 번호판 영역의 검출이 정확하게 이루어지지 못하는 경우, 그에 따라 번호판 인식 결과에 오류가 발생할 가능성이 높아지게 되므로 번호판 영역의 검출 기술은 전체 시스템의 성능에 직결되는 문제라 할 수 있다.
입력 영상 중 번호판 영역의 검출에 대한 종래 기술은 번호판의 높이 및 너비의 비율, 대칭성, 색상, 질감, 명암의 분포, 사용되는 문자의 특징 등을 이용하는 방식으로 이루어져 왔으나, 입력 영상을 얻기 위한 CCTV 등의 촬영 환경이 열악한 경우가 많고, 그 촬영 대상이 되는 자동차 등의 이동에 따른 화면의 번짐, 낮은 해상도 등으로 인하여 실제 운용에 있어서 잘못된 결과를 보여주는 경우가 많았다. 또한 종래 기술의 경우 번호판 영역의 검출을 위하여 선정된 번호판 후보 영역에 대하여, 그 영역 전체에서 추출되는 특징 지표를 사용하여 번호판 영역인지 여부를 판단하였는데, 번호판 후보 영역의 영상이 깔끔하게 촬영되지 못하는 등 오류 영역을 포함하는 경우, 이를 판별함에 있어 잘못된 결과를 내는 경우가 많았다.
최근 희소 표현(sparse representation) 기법은 얼굴 인식, 신호 분류, 질감 분류 등의 영역에서 집중적인 연구의 주제가 되고 있고, 또한 이는 상기와 같은 번호판 영역의 검출에도 시도되고 있다. 그러나, 이러한 희소 표현 기법이 적용되더라도, 이동 물체에 대한 영상과 같이 번지거나 촬영 기기의 해상도가 떨어지는 등 입력 영상의 품질이 떨어지거나, 또는 선정된 번호판 후보 영역이 번호판 이외의 영역을 포함하는 등 정확히 정렬이 되지 못하는 경우 여전히 번호판 영역의 검출에 있어 종종 잘못된 결과를 내놓는 문제가 있었다.
따라서 촬영 기기의 성능 제한, 열악한 촬영 환경 등의 원인으로 입력 영상의 품질이 떨어지는 등의 경우에도 번호판 영역을 정확하게 검출할 수 있는 방법 및 시스템의 구현이 요구되고 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 촬영 기기의 성능 제한, 열악한 촬영 환경 등의 원인으로 입력 영상의 품질이 떨어지거나 잘못된 영역을 포함하는 경우에도 번호판 영역을 정확하게 검출하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 번호판 영역 검출 방법은 (a) 입력 영상에서 하나 이상의 번호판 후보 영역을 추출하는 단계; 및 (b) 상기 번호판 후보 영역을 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 나타낸 후, 이를 바탕으로 상기 번호판 후보 영역이 번호판 영역에 해당하는지를 판별하는 단계를 포함하며, 상기 영상 특징 벡터는 번호판 및 비번호판 훈련 영상의 영상 조각을 이용하여 형성된 것임을 특징으로 한다.
여기서, 상기 (a) 단계에 앞서, (p) 복수의 영상 특징 벡터를 포함하는 영상 특징 벡터 데이터베이스를 형성하는 단계를 더 포함할 수 있다.
여기서, 상기 (p) 단계는, (p1) 번호판 훈련 영상 및 비번호판 훈련 영상으로부터 각각 번호판 영상 조각 및 비번호판 영상 조각을 추출하는 단계; (p2) 번호판 훈련 영상 조각 및 비번호판 훈련 영상 조각의 각 영상 특징 벡터를 추출하는 단계; 및 (p3) 상기 각 영상 특징 벡터로부터 영상 특징 벡터 데이터베이스를 생성하는 단계를 포함할 수 있다.
여기서, 상기 (p2) 단계는, (p21) 번호판 훈련 영상 조각 및 비번호판 훈련 영상 조각의 색상을 양자화하는 단계; (p22) 상기 색상이 양자화된 영상 조각의 영상 특징 벡터를 산출하는 단계를 포함할 수 있다.
여기서, 상기 (p21) 단계는, 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고 이를 바탕으로 상기 영상 조각의 색상을 양자화하는 단계일 수 있다.
여기서, 상기 (p22) 단계는, 상기 영상 조각의 영상 특성 중 컬러 LBP(color local binary pattern)를 이용하여 영상 특징 벡터를 산출하는 단계일 수 있다.
여기서, 상기 (a) 단계는, (a1) 영상을 입력 받는 단계; (a2) 상기 입력 영상의 색상을 양자화하는 단계; (a3) 상기 입력 영상에서 번호판 후보 영역을 산출하는 단계; 및 (a4) 상기 번호판 후보 영역 중에서 잡음 영역을 제거하는 단계를 포함할 수 있다.
여기서, 상기 (a2) 단계는, 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 입력 영상의 색상을 양자화하는 단계일 수 있다.
여기서, 상기 (a3) 단계는, 상기 색상이 양자화된 영상의 색상 질감(color texture) 변화 정도를 고려하여 번호판 후보 영역을 산출하는 단계일 수 있다.
여기서, 상기 (b) 단계는, 상기 번호판 후보 영역에 대하여, (b1) 번호판 후보 영역 전체에 대한 영상 특징 벡터를 구하는 단계; (b2) 번호판 영상 특징 벡터에 의한 적극 복원 에러값을 구하는 단계; (b3) 비번호판 영상 특징 벡터에 의한 소극 복원 에러값을 구하는 단계; 및 (b4) 상기 적극 복원 에러값 및 소극 복원 에러값을 비교하여 상기 번호판 후보 영역이 번호판 영역에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
여기서, 상기 (b1) 단계는, 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 번호판 후보 영역의 색상을 양자화하는 단계를 포함할 수 있다.
여기서, 상기 (b1) 단계는, 상기 번호판 후보 영역의 영상 특성 중 컬러 LBP(color local binary pattern)을 이용하여 영상 특징 벡터를 산출하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따른 번호판 영역 검출 시스템은 입력 영상에서 번호판 후보 영역을 추출하는 번호판 후보 영역 추출부; 번호판 영상 조각 및 비번호판 영상 조각의 각 영상 특징 벡터를 관리하고 제공하는 영상 특징 벡터 데이터베이스부; 및 상기 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 상기 번호판 후보 영역이 번호판 영역에 해당하는지 여부를 판별하는 번호판 영역 검증부를 포함하는 것을 특징으로 한다.
여기서, 번호판 및 비번호판 훈련 영상의 영상 조각을 이용하여 상기 영상 특징 벡터 데이터베이스를 생성하는 영상 특징 벡터 데이터베이스 생성부를 더 포함할 수 있다.
여기서, 상기 영상 특징 벡터 데이터베이스 생성부는, 훈련 영상으로부터 번호판 영상 조각 및 비번호판 영상 조각을 추출하는 영상 조각 추출부; 상기 번호판 영상 조각 및 비번호판 영상 조각의 영상 특징 벡터를 추출하는 영상 특징 벡터 추출부; 및 상기 영상 특징 벡터를 이용하여 영상 특징 벡터 데이터베이스를 작성하는 영상 특징 벡터 데이터베이스 작성부를 포함하여 구성될 수 있다.
여기서, 상기 영상 특징 벡터 추출부는, 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 영상 조각의 색상을 양자화할 수 있다.
여기서, 상기 영상 특징 벡터 추출부는, 상기 영상 조각의 영상 특성 중 컬러 LBP(color local binary pattern)를 이용하여 영상 특징 벡터를 산출할 수 있다.
여기서, 상기 번호판 후보 영역 추출부는, 상기 입력 영상의 색상을 양자화 하는 색상 양자화부; 상기 색상이 양자화된 입력 영상에서 번호판 후보 영역을 산출하는 번호판 후보 영역 산출부; 및 상기 번호판 후보 영역 중 잡음 영역을 제거하는 잡음 영역 제거부를 포함하여 구성될 수 있다.
여기서, 상기 색상 양자화부는 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 입력 영상의 색상을 양자화할 수 있다.
여기서, 상기 번호판 후보 영역 산출부는 색상이 양자화된 영상의 색상 질감(color texture) 변화 정도를 고려하여 번호판 후보 영역을 산출할 수 있다.
여기서, 상기 번호판 영역 검증부는, 상기 번호판 후보 영역 번호판 전체에 대한 영상 특징 벡터를 추출하는 번호판 후보 영역 영상 특징 벡터 추출부; 및 상기 번호판 후보 영역 영상 특징 벡터를 희소 표현에 적용하여, 상기 번호판 후보 영역이 번호판에 해당하는지 여부를 판별하는 희소 표현 기반 검증부를 포함하여 구성될 수 있다.
본 발명의 또 다른 측면에 따른 번호판 후보 영역 검출 방법은 입력 영상에서 번호판 후보 영역을 검출함에 있어, 번호판의 배경색 뿐만 아니라 글자색을 함께 고려하기 위하여, 색 공간을 번호판 배경색 영역, 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 입력 영상의 색상을 양자화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 영상 조각 기반의 영상 특징 벡터를 사용하여 영상 특징 벡터 데이터베이스를 생성하고, 이와 함께 희소 표현 기법을 이용하여 번호판 영역을 검출함으로써, 촬영 기기의 성능 제한, 열악한 촬영 환경 등의 원인으로 입력 영상의 품질이 떨어지거나 잘못된 영역을 포함하는 경우에도 번호판 영역을 효과적이고 정확하게 검출할 수 있는 방법 및 시스템을 제공하는 효과를 갖는다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 시스템의 블럭도.
도 2는 본 발명의 일 실시예에 따른 번호판 후보 영역 추출부의 블럭도.
도 3은 본 발명의 일 실시예에 따른 영상 조각에 기반한 영상 특징 벡터 데이터베이스 생성부의 블럭도.
도 4는 본 발명의 일 실시예에 따른 영상 조각 기반 희소 표현을 활용한 자동차 번호판 영역 검출 방법의 순서도.
도 5는 본 발명의 일 실시예에 따른 입력 영상에 대한 번호판 후보 영역 추출 과정.
도 6은 본 발명의 일 실시예에 따른 번호판 후보 영역의 추출 순서에 따르는 중간 영상.
도 7은 대한민국에서 사용되는 자동차 번호판의 종류.
도 8은 본 발명의 일 실시예에 따른 입력 영상에 대한 색상 양자화.
도 9는 본 발명의 일 실시예에 따른 잘못 선정된 번호판 영역의 분할 및 영상 조각 추출.
도 10은 본 발명의 일 실시예에 따른 번호판 훈련 영상 및 비번호판 훈련 영상에 대한 영상 조각 추출, 이에 대한 영상 특징 벡터 및 데이터베이스 생성.
도 11은 본 발명의 일 실시예에 따른 번호판 후보 영역에 대한 희소 표현.
도 12는 실험에 사용된 입력 영상 샘플.
도 13은 잘못 산출된 번호판 후보 영역의 예.
도 14는 본 발명의 일 실시예에 따른 잘못 정렬된 번호판 영역에 대한 희소 표현 계수 분포.
도 15는 다양한 크기의 번호판 영역의 예.
도 16은 본 발명의 일 실시예에 따른 영상 특징 벡터의 숫자에 따른 번호판 영역 판별 정확도.
도 17은 본 발명의 일 실시예에 따른 영상 조각의 크기에 따른 번호판 영역 판별 정확도.
도 18은 본 발명의 일 실시예에 따른 번호판 영역의 크기에 따른 성능 비교.
도 19는 본 발명의 일 실시예에 따른 번호판 종류에 따른 성능 비교.
도 20은 본 발명의 일 실시예에 따른 주변 밝기에 따른 성능 비교.
도 21은 본 발명의 일 실시예에 따른 영상 특징 벡터의 숫자에 따른 번호판 검출 시간.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명은 종래 기술이 번호판 후보 영역(210)을 선정한 후, 그 영역 전체에 대하여 특징 지표를 산출하여 당해 번호판 후보 영역(210)이 번호판 영역을 포함하는지 여부를 판단하는 바, 이때 입력 영상 촬영 환경의 제약 등에 의하여 열악한 영상이 입력되는 경우 그 판별 결과가 잘못되는 경우가 많다는 점에 착안하여, 영상 조각을 기반으로 하는 영상 특징 벡터의 조합에 의한 희소 표현을 이용하여 번호판 영역 여부를 판별함으로써 입력 영상의 품질이 열악하더라도 보다 정확하고 효과적으로 번호판 영역을 검출할 수 있는 방법 및 시스템을 개시하는 것을 특징으로 하는 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 시스템(100)의 블럭도를 도시하고 있다. 도 1에서 볼 수 있듯이, 본 발명의 일 실시예에 따른 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 시스템(100)은 번호판 후보 영역 추출부(110), 번호판 영역 검증부(120) 및 영상 특징 벡터 데이터베이스부(130)를 포함하여 구성될 수 있다.
상기 번호판 후보 영역 추출부(110)는 CCTV나 블랙박스 등의 영상을 입력 받거나, 원격 또는 지역 저장 장치로부터 영상을 전달받아, 여기서 번호판 후보 영역(210)을 추출하게 된다. 입력 받는 영상의 파일 타입은 현재 널리 쓰이고 있는 JPEG, BMP, GIF 등을 포함할 수 있고, 이외의 파일 형식도 가능하다.
도 2는 본 발명의 일 실시예에 따른 번호판 후보 영역 추출부(110)의 블록도를 도시하고 있다. 영상이 입력되면, 영상 내의 번호판 후보 영역(210)을 추출하기 위하여, 번호판 색상 모델(118)을 기반으로 색상 양자화부(112)가 입력 영상을 양자화하고, 다시 여기서 색상 질감 검출부(114)가 번호판과 유사한 색상 질감을 가진 영역을 추출한다. 이어서, 잡음 제거부(116)가 너무 작거나 기형적인 잡음 영역을 제거한 후, 최종적으로 번호판 후보 영역(210)을 도출한다. 이렇게 추출된 번호판 후보 영역(210)은 번호판 영역 검증부(120)로 전달된다.
이때, 상기 번호판 색상 모델(118)로서 종래 기술의 경우 번호판의 배경색 만을 고려하여 입력 영상에 대하여 양자화 하였으나, 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고 이를 바탕으로 입력 영상을 양자화 하는 것이 바람직하다. 아래에서 보다 자세히 살핀다.
또한 상기 색상 질감 검출부(114)에서는 상기 양자화된 영상의 색상 질감(color texture) 변화 정도를 고려하여 번호판 후보 영역을 산출하게 된다. 여기서 색상 질감(color texture)라 함은 색상의 양자화에 따른 질감을 말하며, 아래에서 자세히 살핀다.
상기 번호판 영역 검증부(120)는 상기 전달받은 번호판 후보 영역(210)을 영상 특징 벡터의 조합으로 이루어지는 희소 표현을 사용하여 표현하고, 이를 바탕으로 상기 번호판 후보 영역(210)이 번호판 영역에 해당하는 지를 판별하게 된다. 상기 번호판 영역 검증부(120)는 번호판 후보 영역 영상 특징 벡터 추출부(122) 및 희소 표현 기반 검증부(124)를 포함하여 구성될 수 있다.
상기 번호판 후보 영역 영상 특징 벡터 추출부(122)는 상기 전달받은 번호판 후보 영역(210)의 영상 특징 벡터를 추출한다. 이때, 상기 번호판 후보 영역은 색상에 따른 양자화를 거쳐, 전체 영역에 대하여 영상 특성 벡터를 추출하는 과정을 거칠 수 있다. 여기서, 종래 기술의 경우 색상에 따른 양자화에 있어, 번호판의 배경색만을 고려하였으나, 이와 함께 번호판의 글자색을 함께 고려함으로써, 번호판 영역 검출 성능을 개선할 수 있다. 이에 따라 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 번호판 후보 영역의 색상을 양자화하는 것이 바람직하다.
또한, 상기 양자화된 번호판 후보 영역(210)은 영상 특성 중 컬러 LBP(color local binary pattern)을 이용하여 영상 특징 벡터를 산출하는 것이 번호판 영역 검출 성능의 개선을 위하여 더욱 바람직하다.
이어서 희소 표현 기반 검증부(124)에서는 희소 표현(sparse representation) 기법과 함께 영상 특징 벡터 데이터베이스(130)을 사용하여 상기 번호판 후보 영역(210)이 번호판 영역인지 여부를 판별하게 된다.
상기 번호판 후보 영역(210)은 영상 특징 벡터의 조합으로 이루어 지는 희소 표현으로 나타내어질 수 있으므로, 이를 이용하여 번호판 영상 조각 및 비번호판 영상 조각의 영상 특징 벡터를 기준으로, 상기 번호판 후보 영역(210)의 각 복원 에러값을 구하여 비교함으로써, 상기 번호판 후보 영역(210)이 번호판 영상에 해당하는지 여부를 판별할 수 있게 된다.
상기 영상 특징 벡터 데이터베이스부(130)는 번호판 훈련 영상(310) 및 비번호판 훈련 영상(320)의 영상 조각으로부터 산출한 영상 특징 벡터들을 관리하고 제공하여, 번호판 영역 검증부(120)가 전달하는 번호판 후보 영역이 번호판 영역인지 여부를 판별할 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상 특징 벡터 데이터베이스 생성부 (300)의 블록도를 도시하고 있다. 상기 영상 특징 벡터 데이터베이스 생성부(300)는 훈련 영상으로부터 번호판 훈련 영상 조각(340) 및 비번호판 훈련 영상 조각(350)을 추출하는 영상 조각 추출부(330), 상기 번호판 훈련 영상 조각(340) 및 비번호판 훈련 영상 조각(350)의 영상 특징 벡터를 추출하는 영상 특징 벡터 추출부(360) 및 상기 영상 특징 벡터를 이용하여 영상 특징 벡터 데이터베이스를 작성하는 영상 특징 벡터 데이터베이스 작성부(370)를 포함하여 구성될 수 있다.
상기 영상 특징 벡터 추출부(360)에서도 앞서 살핀 바와 같이 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 영상 조각의 색상을 양자화한 후, 영상 조각의 영상 특성 중 컬러 LBP(color local binary pattern)를 이용하여 영상 특징 벡터를 산출하는 것이 바람직하다.
본 발명의 일 실시예에 따른 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법은 (a) 입력 영상에서 하나 이상의 번호판 후보 영역(210)을 추출하는 단계 및 (b) 상기 번호판 후보 영역(210)을 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 나타낸 후, 이를 바탕으로 상기 번호판 후보 영역(210)이 번호판 영역에 해당하는지를 판별하는 단계를 포함하여 구성될 수 있고, 이를 보다 구체화하면 도 4와 같은 일련의 단계를 포함하는 실시예로서 나타낼 수도 있다.
먼저 (a) 입력 영상에서 하나 이상의 번호판 후보 영역(210)을 추출하는 단계에 대하여 살핀다. 상기 (a) 번호판 후보 영역(210) 추출 단계는 (a1) 영상을 입력 받는 단계(S410), (a2) 상기 입력 영상에 번호판 색상 모델(118)을 적용하여 상기 입력 영상의 색상을 양자화하는 단계(S420), (a3) 상기 입력 영상에서 색상 및 질감을 기준으로 번호판 후보 영역(210)을 검출하는 단계(S430) 및 (a4) 상기 번호판 후보 영역(210)에서 잡음 영역을 제거하는 단계(S440)를 포함하여 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 입력 영상에 대한 번호판 후보 영역(210)의 추출 과정을 보여준다. 도 5(a)와 같은 영상이 입력되면, 상기 입력 영상에 대하여 도 5(b)와 같이 번호판 후보 영역(210)이 검출되고, 이를 분리하여 추출하면 도 5(c)와 같이 추출된 번호판 후보 영역(210)이 도출된다.
도 6은 본 발명의 일 실시예에 따른 번호판 후보 영역(210)의 추출 순서에 따르는 중간 영상을 단계별로 보여주고 있다. 먼저 도 6(a)와 같이 영상이 입력되면, 상기 입력 영상에 대하여 색상 양자화가 행하여 지고(도 6(b)), 이어서, 색상 질감(color texture)을 기준으로 번호판 후보 영역(210)을 검출한 후(도 6(c)), 상기 번호판 후보 영역(210) 중 너무 작거나 기형적인 잡음 영역을 제거하여(도 6(d)), 최종적으로 번호판 후보 영역(210)을 추출하게 된다(도 6(e)).
종래 번호판 후보 영역(210)을 판별함에 있어, 번호판의 배경색만을 고려하여 이를 추출하는 방법이 사용되었으나, 번호판의 배경색은 입력 영상의 다른 부분에서도 얼마든지 나타날 수 있어, 잘못된 검출 결과를 초래하기도 하였다. 도 7은 대한민국에서 사용되는 자동차 번호판의 종류를 보여 주고 있는데, 여기서 볼 수 있듯이 현재 사용되고 있는 4종의 자동차 번호판은 녹색 혹은 흰색 계열의 색상을 바탕색으로 사용하고 있고, 이외에도 자동차의 용도에 따라 다수의 색상이 사용되고 있다. 따라서, 이와 동일 내지 유사한 색상이 입력 영상에서 발견되는 것은 그다지 어려운 일이 아니다.
이러한 문제점을 해결하기 위하여, 번호판의 배경색뿐만 아니라 번호판의 글자색도 함께 고려하여 번호판 후보 영역(210)을 산출함으로써 그 오류를 크게 줄일 수 있다. 이에 따라, 색 공간을 도 8과 같이 번호판의 배경색 영역, 번호판의 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 입력 영상의 색상을 양자화하여 번호판 후보 영역(210)을 산출할 수 있다. 이때, 번호판 영역에서는 색상의 변화가 빈번하게 일어나게 되므로, 이를 이용하여 색상이 양자화된 영상에 대하여 그 질감으로서 번호판 후보 영역(210)을 판별할 수 있고, 여기서는 이러한 방법을 색상 질감(color texture) 검출이라고 정의한다. 색상 질감 검출을 위하여, 미리 정해진 크기의 윈도우를 사용하여 색상간의 변화 횟수를 산출한 후, 이러한 변화 횟수가 특정한 값을 넘으면 번호판 후보 영역(210)으로 판단하는 것이 가능하다.
상기한 일련의 과정을 통하여 번호판 후보 영역(210)이 산출되면, 이어서 희소 표현과 영상 특징 벡터 데이터베이스를 이용하여 각 번호판 후보 영역이 번호판 영역인지를 판단하게 된다.
이와 관련하여 영상 특징 벡터 데이터베이스를 이용하는 번호판 영역 판별 방법에 대하여 설명한다. 우선, 영상 조각에 기반하는 영상 특징 벡터 데이터베이스 D v 는 다음의 수학식 1과 같이 정의될 수 있다.
수학식 1
Figure 112013051005717-pat00001
Figure 112013051005717-pat00002
여기서, 상기
Figure 112013051005717-pat00003
와
Figure 112013051005717-pat00004
는 번호판 훈련 영상 조각(340) 및 비번호판 훈련 영상 조각(350)에 대한 영상 특징 벡터의 집합이 되고, 이때, P + 와 P - 는 번호판 훈련 영상(310) 및 비번호판 훈련 영상(320)의 개수가 되며, 또한 P는 P + 와 P - 의 합계가 되고, d는 영상 특징 벡터의 차원수(dimensionality)가 된다. v + i와 v - i는 각각 i번째 번호판 훈련 영상 조각(340) 및 비번호판 훈련 영상 조각(350)의 영상 특징 벡터가 된다. 이렇게 형성된 영상 특징 벡터 데이터베이스는 번호판 후보 영역 추출부(110)에서 검출된 번호판 후보 영역이 번호판 영역에 해당하는지 여부를 판단하는데 사용된다.
일반적으로 번호판 후보 영역(210)의 영상 특징 벡터 y는 영상 조각들에 대한 영상 특징 벡터들의 조합으로 구성되어 질 수 있고, 또한 이는 번호판 영역에 대한 영상 특징 벡터(y + i) 및 비번호판 영역에 대한 영상 특징 벡터(y - i)의 조합으로 구성될 수 있으므로, 결국 번호판 후보 영역(210)의 영상 특징 벡터 y는 다음의 수학식 2에 의하여 표현될 수 있다.
수학식 2
Figure 112013051005717-pat00005
또한, 번호판 후보 영역(210)의 영상 특징 벡터 y는 다음의 수학식 3과 같이 희소 표현에 의하여 표현될 수 있다.
수학식 3
Figure 112013051005717-pat00006
여기서,
Figure 112013051005717-pat00007
는 상기 번호판 후보 영역(210)의 영상 특징 벡터 y를 표현하는 희소 선형 표현(sparse linear representation)을 나타낸다. 또한, x + v,i 와 x - v,i 는 각각 i번째 번호판 영상 조각 및 비번호판 영상 조각에 해당하는 희소 계수(sparse coefficient)가 된다.
상기의 D v 는 영상 특징 벡터 데이터베이스 생성을 통하여 형성될 수 있다. 따라서 D v 는 주어지는 값이고, 또한 번호판 후보 영역(210)의 영상 특성 벡터 y는 입력 영상으로부터 번호판 후보 영역(210)을 산출한 뒤, 그로부터 구할 수 있으므로, 결국 상기 수학식 3으로부터 x v 를 구할 수 있게 된다. 상기 수학식 3의 해에 해당하는 x v 를 도출하기 위해서는l 1-최소화법(techniques for l 1-minimization) 등의 방법이 사용될 수 있다.
이어서, 번호판 후보 영역(210)의 영상 특징 벡터 y의 복원 에러값을 기반으로, 상기 번호판 후보 영역(210)이 번호판인지 여부를 판단할 수 있다. 복원 에러값은 아래의 수학식 4와 같이 정의될 수 있다.
수학식 4
Figure 112013051005717-pat00008
여기서,
Figure 112013051005717-pat00009
는 l 2 노옴(norm)을 의미한다. 이때, x-의 값들을 0으로 하여 E 값을 계산함으로써, 번호판 훈련 영상(310)에서 추출된 영상 조각만으로 표현되는 경우의 적극 복원 에러값(E+)를 산출할 수 있고, 반대로, x+의 값들을 0으로 하여 E 값을 계산함으로써, 비번호판 훈련 영상(320)에서 추출된 영상 조각만으로 표현되는 경우의 소극 복원 에러값(E-)를 산출할 수 있다. 따라서, 적극 복원 에러값(E+)이 크고 소극 복원 에러값(E-)이 작다면, 번호판 영상 조각으로 복원하는 경우 그 오차가 크고 비번호판 영상 조각으로 복원하는 경우 그 오차가 작다는 의미가 되어, 당해 번호판 후보 영역(210)이 번호판 영상이 아니라는 뜻이 되고, 반대로, 소극 복원 에러값(E-)이 크고 적극 복원 에러값(E+)이 작다면 번호판 영상이 맞다는 의미가 된다.
따라서, 상기 적극 복원 에러값과 소극 복원 에러값을 비교하여, E+ > E- 인 경우에는 상기 번호판 후보 영역(210)이 번호판이 아니라고 판단할 수 있고, 반대로 E+ ≤ E- 인 경우에는 번호판 영역이 맞다고 판단할 수 있다.
도 9는 본 발명의 일 실시예에 따른 번호판 후보 영역(210)에 대한 번호판 영역과 비번호판 영역으로의 분할 및 각 영역에 대한 영상 조각의 추출 결과를 보여 주고 있다. 또한 도 10은 본 발명의 일 실시예에 따른 번호판 훈련 영상(310) 및 비번호판 훈련 영상(320)에 대한 영상 조각 추출, 이에 대한 영상 특징 벡터 및 데이터베이스 생성 과정을 도시하고 있다. 또한 도 11은 본 발명의 일 실시예에 따른 번호판 후보 영역(210)에 대한 희소 표현의 예를 보여 준다.
[ 실시예 : 자동차 번호판 영역 검출 ]
아래에서는 본 발명의 일 실시예로서 자동차 번호판 검출에의 응용에 대하여, 구체적인 시스템의 구성 및 성능 검증 결과를 살핀다. 먼저 실험에 사용된 입력 영상 자료의 구성은 다음의 표 1에서 볼 수 있다.
영상 유형 카메라 카메라 위치 촬영 환경 해상도 입력 영상 숫자
영상 유형 1 CCTV 지면 위 4.5 ~ 5 m 실외, 주간, 이동 차량, 대한민국 차량 번호판 1280x720 966
영상 유형 2 CCTV 지면 위 4.5 ~ 5 m 실외, 야간, 이동 차량, 대한민국 차량 번호판 1280x720 141
영상 유형 3 CCTV 지면 위 2.5 ~ 3 m 실내, 야간, 이동 차량, 대한민국 차량 번호판 1280x720 326
영상 유형 4 자동차 장착 지면 위 1.5 ~ 2 m 실외, 주간, 이동 차량, 대한민국 차량 번호판 1280x960 1000
상기 표 1에서 볼 수 있듯이, 총 2463장의 실제 영상에 대하여 실험을 실시하였다. 입력 영상은 대한민국 각지의 다양한 지역에서 취사되었고, 영상 마다 하나 이상의 이동 차량이 포함되어 있으며, 각 차량까지의 거리는 다양하다. 또한 실외뿐만 아니라 실내에서의 영상도 포함되었고, 이에 따라 입력 영상들은 4개의 유형으로 분류되었다.
도 12는 실험에 사용된 입력 영상의 샘플을 보여 준다. 도 12의 (a) 내지 (d)는 각각 영상 유형 1 내지 4의 대표적인 샘플을 보여 주고 있다. 여기서 볼 수 있듯이, 각 차량 번호판의 해상도는 상당히 낮은 수준에 그치고 있는데, 구체적으로는 그 해상도가 30x15 내지 120x30 픽셀 정도로 매우 다양하다.
또한 앞서 살핀 바와 같이 상기 영상 샘플들은 도 7의 경우처럼 4종의 자동차 번호판 유형을 포함하고 있으므로, 각 번호판 유형에 따라 번호판의 배경색 및 글자색이 다를 수 있고, 크기와 비율 등이 상이할 수 있다.
상기한 2463장의 입력 영상들 중 무작위로 선택된 200장의 입력 영상에 대하여 영상 특징 벡터 데이터베이스를 생성하였다. 이때 4종의 자동차 번호판 유형에 대하여 각각 50개의 입력 영상을 무작위로 선택하여 사용하였다. 아래 표 2에서 볼 수 있듯이 무작위로 선택된 200장의 영상의 구성은 전체 영상의 구성비와 큰 차이가 없었다.
번호판 유형 1 유형 2 유형 3 유형 4
데이터베이스에 사용된 200장의 입력 영상 46 (18.7%) 52 (21.1%) 82 (33.3%) 66 (26.8%)
나머지 2263장의 영상 433 (15.0%) 548 (19.0%) 991 (34.4%) 913 (31.7%)
이때 비교 실험을 위하여 영상 조각에 기반한 영상 특징 벡터 데이터베이스뿐만 아니라 종래 기술에 따른 영상 특징 벡터 데이터베이스도 생성하였다. 200장의 입력 영상에서 200개의 번호판 영역과 200개의 비번호판 영역을 각각 추출하였고, 이때 영상 조각의 추출과 관련해서 영상 조각의 크기를 9x12 픽셀로 하고, 상기 크기의 윈도우(window)의 이동 단위(sliding step)을 3 픽셀로 하였으며, 또한 영상 조각의 번호판 영상 조각과 비번호판 영상 조각을 각각 3200개씩 추출하였다. 덧붙여, l 1-최소화법(techniques for l 1-minimization)의 구현과 관련해서는 regularized orthogonal least squares 알고리즘을 사용하였다.
또한, 성능 비교를 위하여 객체 분류에 광범위하게 사용되는 RBF(radial basis function) 커널의 SVM(support vector machines)을 사용하여 번호판 영상 및 비번호판 영상 각 200장으로 훈련시켜 실험에 함께 사용하였다.
실험 결과 1. 번호판 검출에 사용하는 영상 특성의 종류에 따른 성능 변화
먼저, 컬러 히스토그램(histogram), oriented gradient 히스토그램, 회색 LBP(grayscale local binary pattern), 컬러 LBP(color local binary pattern) 등 번호판 검출에 사용되는 영상 특성의 종류에 따른 성능 변화를 검토하였다. 이를 위하여 2263장의 입력 영상으로부터 5682개의 번호판 후보 영역(210)을 추출하였고, 이는 아래 표 3에 분류되어 있다.
NTP NFP NFN 제1정확도 제2정확도
데이터베이스에 사용된 200장의 입력 영상 243 202 3 98.78% 54.61%
나머지 2263장의 영상 2857 2825 28 99.03% 50.28%
여기서 NTP는 정확하게 번호판 영역을 추출한 숫자이고, NFP는 비번호판 영역을 번호판 영역으로 잘못 추출한 숫자이고, NFN는 번호판 영역을 비번호판 영역으로 잘못 추출한 숫자이다. 또한 제1정확도(recall)라 함은 NTP/(NTP+NFN)로, 제2정확도(precision)라 함은 NTP/(NTP+NFP)로 각각 정의되었다.
도 13은 잘못 산출된 번호판 후보 영역(210)의 예들을 보여 준다. 여기서 볼 수 있듯이, 잘못 산출된 번호판 후보 영역(210)들은 색상과 패턴에서 번호판 영상과 유사함을 알 수 있다.
아래의 표 4는 번호판 영역 검출에 사용되는 영상 특성의 종류에 따라 번호판 검출의 제2정확도가 어떻게 달라지는지를 나타낸다.
검출 방법 컬러 히스토그램 oriented gradients
히스토그램		 회색
LBP		 컬러
LBP
제2정확도 종래 희소 표현법 68.1% 78.6% 78.7% 90.1%
영상 조각 희소 표현법 72.9% 82.6% 82.8% 93.3%
표 4에서 볼 수 있듯이, 컬러LBP 특성을 사용하는 경우가 다른 경우 보다 제2정확도가 높은 결과를 보여준다는 것을 알 수 있다. 덧붙여, 색상과 질감 정보를 함께 사용하면 보다 효율적으로 번호판 영역을 검출할 수 있다는 점도 유추할 수 있다.
이에 따라서, 이하에서는 번호판 후보 영역(210)과 영상 조각의 영상 특징 벡터를 산출함에 있어 컬러 LBP 특성을 사용하도록 한다. 또한 앞서 살핀 바와 같이 색 공간을 번호판 배경색, 번호판 글자색, 기타색 등 3 채널로 나눌 때, 각 256-D 특성 벡터값을 가지는 것을 고려하면, 영상 특성 벡터의 총 차수는 3 x 256 = 768이 되고 이에 따라 수학식 1의 d의 값으로 768을 사용할 수 있다.
실험 결과 2. 잘못된 영상 영역의 정렬에 따른 성능 변화
아래 표 5는 산출된 번호판 영역 중 실제 번호판 영역외 비율이 얼마나 포함되었는지에 따라 그 숫자를 나타내고 있다. 여기서 비율 1은 번호판 외 영역이 30% 이상 차지할 때, 비율 2는 번호판외 영역이 20~30%일 때, 비율 3은 번호판외 영역이 10~20%일 때, 비율 4는 번호판 외 영역이 10% 미만일 때를 나타낸다. 표 5는 앞서 살핀 2263장의 영상에 포함된 2857개의 번호판 영역에 대하여 분류하고 있다.
비율 1 비율 2 비율 3 비율 4
번호판 영상의 숫자 241 (8.4%) 642 (22.5%) 1160 (40.6%) 814 (28.5%)
아래의 표 6에서는 상기 각 비율의 입력 영상에 대한 검출 방법에 따른 제1정확도 값의 변호를 보여 준다. 여기서 볼 수 있듯이, 본 발명에 따른 영상 조각 희소 표현법을 사용할 경우 비율 1~4의 경우 모두에서 가장 좋은 성능을 나타내고 있다. 특히 비율 1의 경우는 가장 큰 성능의 차이를 보여주는데, 이는 비번호판 영역의 비율이 높은 경우 다른 검출 방법은 오류를 나타낼 가능성이 높은 반면 본 발명에 따른 영상 조각 희소 표현법에 따르는 경우 이를 크게 개선할 수 있다는 점을 의미한다.
검출 방법 비율 1 비율 2 비율 3 비율 4
제1 정확도 종래 희소 표현법 62.7% (151/241) 84.3% (541/642) 92.4% (1072/1160) 96.7% (787/814)
SVM 60.2% (145/241) 83.6% (537/642) 92.1% (1069/1160) 96.7% (787/814)
영상 조각 희소 표현법 88.7% (214/241) 93.9% (603/642) 94.7% (1098/1160) 96.6% (786/814)
도 14는 본 발명의 일 실시예에 따른 잘못 정렬된 번호판 영역에 대한 희소 표현 계수 분포를 보여 준다. 도 14(a)는 비번호판 영역의 비율이 58%, 도 14(b)는 비번호판 영역의 비율이 65%에 달하는 경우인데, 이렇듯 비번호판 영역의 비율이 높은 경우라 하더라도, 각 x v + 영역의 희소 계수 값이 크게 나타나고 있는 바, 효과적으로 번호판 영역을 판별하고 있음을 확인할 수 있다. 여기서는 번호판 영상 조각에 대한 영상 특성 벡터와 비번호판 영상 조각에 대한 영상 특성 벡터를 각각 3200개씩 가지고 있는 영상 특성 벡터 데이터베이스를 사용하였다.
실험 결과 3. 해상도에 따른 성능 변화
아래의 표 7은 상기 2263장의 입력 영상에 포함된 2857개의 번호판 영상을 해상도에 따라 분류하여 그 숫자를 보여주고 있다. 해상도 1은 500 픽셀보다 적은 경우, 해상도 2는 500~1000픽셀의 경우, 해상도 3은 1000~1500 픽셀의 경우, 해상도 4는 1500픽셀보다 많은 경우를 나타낸다.
해상도 1 해상도 2 해상도 3 해상도 4
번호판 영상의 숫자 464 (16.2%) 897 (31.4%) 871 (30.5%) 625 (21.9%)
도 15는 상기 해상도 분류에 따른 다양한 크기의 번호판 영역의 예를 보여 준다. 여기에서 자동차와 카메라 간의 거리에 따라 해상도가 크게 달라지는 것을 확인할 수 있다.
아래 표 8은 다양한 해상도의 번호판 영상에 대하여 검출 방법에 따라 제1, 제2정확도 성능이 어떻게 달라지는지를 보여주고 있다. 여기서도 전반적으로 본 발명에 따르는 영상 조각 희소 표현법에 의한 결과가 가장 뛰어난 것을 확인할 수 있다. 특히 해상도 1의 경우 그 성능 차이가 명확한데, 이는 번호판의 해상도가 낮더라도 본 발명에 따른 영상 조각 희소 표현법에 의할 경우 오류의 발생이 상대적으로 억제된다는 것을 의미한다.
검출 방법 해상도 1 해상도 2 해상도 3 해상도 4
제1정확도 종래 희소 표현법 81.4% 87.7% 91.9% 93.6%
SVM 71.1% 89.3% 92.5% 94.1%
영상 조각 희소 표현법 91.0% 91.4% 96.9% 98.6%
제2정확도 종래 희소 표현법 84.8% 89.1% 90.4% 95.1%
SVM 74.1% 88.3% 90.2% 94.1%
영상 조각 희소 표현법 91.0% 91.0% 94.1% 98.0%
실험 결과 4. 번호판의 종류에 따른 성능 변화
아래의 표 9에서는 번호판의 각 유형에 대하여 검출 방법에 따라 제1정확도가 어떻게 달라지는가를 보여주고 있다. 이 경우에도 전반적으로 본 발명에 따른 영상 조각 희소 표현법에 의한 검출 성능이 우수한 것을 알 수 있는데, 다만 유형 4의 경우 각 검출 방법에 따른 성능 차이가 거의 동일하다는 점을 알 수 있다.
본 발명에 따른 영상 조각 희소 표현법을 사용하는 경우의 성능 개선은 또한 다른 색상의 조합을 고려한다는 점에서 기인한다고도 할 수 있는데, 이는 아래 유형 1, 2의 경우 성능 개선 효과가 명확하다는 점에서도 확인할 수 있다. 유형 3, 4는 흑색-백색 색상 조합을 포함하는 반면, 유형 1, 2는 녹색-백색 색상 조합을 포함하고 있어, 자동차의 색상 등을 고려할 때 후자의 색상 조합이 보다 분별이 쉬운 경우라고 할 수 있고, 이에 따라 유형 4의 경우 그 성능 차이가 크게 나타나지 않은 것으로 판단된다.
검출 방법 유형 1 유형 2 유형 3 유형 4
제1정확도 종래 희소 표현법 62.7% 84.3% 92.4% 96.7%
SVM 60.2% 83.6% 92.1% 96.7%
영상 조각 희소 표현법 88.7% 93.9% 94.7% 96.6%
실험 결과 5. 영상 특징 벡터의 숫자에 따른 성능 변화
도 16은 영상 특징 벡터의 숫자에 따른 번호판 영역 판별의 제2정확도를 보여 준다. 각 영상 특징 벡터는 768의 크기를 가지고 있다. 영상 특징 벡터의 숫자가 1600을 넘어서는 경우 제2정확도가 크게 개선되지 않음을 확인할 수 있다.
실험 결과 6. 영상 조각의 크기에 따른 성능 변화
도 17은 영상 조각의 크기에 따른 번호판 영역 판별의 제2정확도를 보여 준다. 영상 조각의 크기를 6x8에서 15x20까지 바꾸며 실험을 진행하였으나, 그에 따른 제2정확도가 크게 바뀌지 않음을 알 수 있다.
실험 결과 7. 다른 번호판 영역 판별 기술과의 성능 비교
여기서는 본 발명에 따르는 영상 조각 희소 표현법에 의한 번호판 검출 성능을 다른 검출 방법과 비교하여 살펴 보고자 한다. 비교할 첫번째 방법은 영역 기준 번호판 검출법(region-based license panel detection method)이고, 두번째 방법은 이동 동심 윈도우 기반 번호판 검출법(LPD method based on sliding concentric window)이다.
도 18은 번호판 해상도가 달라질 때 상기 각 검출 방법에 따르는 성능 변화를 보여주고 있다. 여기서 모든 해상도에 대하여 본 발명에 따르는 영상 조각 희소 표현법에 의한 검출 성능이 가장 뛰어나다는 것을 확인할 수 있다.
또한, 도 19는 번호판 종류에 대하여 상기 각 검출 방법에 따르는 성능 변화를 보여주고 있고, 도 20은 주변 밝기에 따른 각 검출 방법의 성능을 비교하고 있다. 이 경우에도 앞서 살핀 경우들과 마찬가지로 전반적으로 본 발명에 따르는 영상 조각 희소 표현법에 의한 검출 성능이 뛰어나다는 것을 확인할 수 있다.
실험 결과 8. 번호판 영역 판별 계산의 복잡도
도 21은 영상 특징 벡터의 숫자에 따르는 번호판 검출 시간을 보여주고 있다. 영상 특징 벡터가 늘어남에 따라 계산 복잡도가 증가하게 되어 번호판 검출 시간이 늘어나게 되는데, 특히 영상 특징 벡터가 1600개 이하인 경우에는 그 검출 시간이 서서히 증가하다가 3200개를 거치면서 증가 속도가 빨라지기 시작하는 것을 알 수 있으나, 6400개의 영상 특징 벡터를 사용하더라도 평균 0.25초 이내에 번호판 검출 작업을 마무리할 수 있는 정도이다. 여기서 사용된 컴퓨터는 Intel 3.07GHz i7 프로세서와 4GB의 시스템 메모리를 가지고 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 조각 기반 희소 표현 번호판 영역 검출 시스템
110 : 번호판 후보 영역 추출부
112 : 색상 양자화부
114 : 색상 질감 검출부
116 : 잡음 영역 제거부
118 : 번호판 색상 모델
120 : 번호판 영역 검증부
122 : 번호판 후보 영역 특징 벡터 추출부
124 : 희소 표현 기반 검증부
130 : 영상 특징 벡터 데이터베이스부
210 : 번호판 후보 영역
300 : 영상 특징 벡터 데이터베이스 생성부
310 : 번호판 훈련 영상
320 : 비번호판 훈련 영상
330 : 영상 조각 추출부
340 : 번호판 훈련 영상 조각
350 : 비번호판 훈련 영상 조각
360 : 영상 특징 벡터 추출부
370 : 영상 특징 벡터 데이터베이스 작성부

Claims (22)

  1. (a) 입력 영상에서 하나 이상의 번호판 후보 영역을 추출하는 단계; 및
    (b) 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 산출하고, 상기 전체 영역에 대한 특징 벡터를 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 나타낸 후,
    상기 희소 표현에서 얻어진 희소 계수 중 번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 적극 복원 에러값이,
    비번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 소극 복원 에러값보다 작은 경우,
    상기 번호판 후보 영역을 번호판 영역에 해당하는 것으로 판별하는 단계를 포함하며, 상기 영상 특징 벡터는 번호판 및 비번호판 훈련 영상의 영상 조각을 이용하여 형성된 것임을 특징으로 하는 번호판 영역 검출 방법.
  2. 제1항에 있어서,
    상기 (a) 단계에 앞서,
    (p) 복수의 영상 특징 벡터를 포함하는 영상 특징 벡터 데이터베이스를 형성하는 단계를 더 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  3. 제2항에 있어서,
    상기 (p) 단계는,
    (p1) 번호판 훈련 영상 및 비번호판 훈련 영상으로부터 각각 번호판 영상 조각 및 비번호판 영상 조각을 추출하는 단계;
    (p2) 번호판 훈련 영상 조각 및 비번호판 훈련 영상 조각의 각 영상 특징 벡터를 추출하는 단계; 및
    (p3) 상기 각 영상 특징 벡터로부터 영상 특징 벡터 데이터베이스를 생성하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  4. 제3항에 있어서,
    상기 (p2) 단계는,
    (p21) 번호판 훈련 영상 조각 및 비번호판 훈련 영상 조각의 색상을 양자화하는 단계;
    (p22) 상기 색상이 양자화된 영상 조각의 영상 특징 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  5. 제4항에 있어서,
    상기 (p21) 단계는,
    색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고 이를 바탕으로 상기 영상 조각의 색상을 양자화하는 단계인 것을 특징으로 하는 번호판 영역 검출 방법.
  6. 제4항에 있어서,
    상기 (p22) 단계는,
    상기 영상 조각의 영상 특성 중 컬러 LBP(color local binary pattern)를 이용하여 영상 특징 벡터를 산출하는 단계인 것을 특징으로 하는 번호판 영역 검출 방법.
  7. 제1항에 있어서,
    상기 (a) 단계는,
    (a1) 영상을 입력 받는 단계;
    (a2) 상기 입력 영상의 색상을 양자화하는 단계;
    (a3) 상기 입력 영상에서 번호판 후보 영역을 산출하는 단계; 및
    (a4) 상기 번호판 후보 영역 중에서 잡음 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  8. 제7항에 있어서,
    상기 (a2) 단계는,
    색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고,
    이를 바탕으로 상기 입력 영상의 색상을 양자화하는 단계인 것을 특징으로 하는 번호판 영역 검출 방법.
  9. 제7항에 있어서,
    상기 (a3) 단계는,
    상기 색상이 양자화된 영상의 색상 질감(color texture) 변화 정도를 고려하여 번호판 후보 영역을 산출하는 단계인 것을 특징으로 하는 번호판 영역 검출 방법.
  10. 제1항에 있어서,
    상기 (b) 단계는,
    상기 번호판 후보 영역에 대하여,
    (b1) 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 구하는 단계;
    (b2) 상기 전체 영역에 대한 특징 벡터를 영상 특징 벡터의 조합에 의한 희소 표현(sparse representation)을 이용하여 나타낸 후,
    상기 희소 표현으로부터 각 영상 특징 벡터에 대한 희소 계수를 산출하는 단계;
    (b3) 상기 희소 계수 중, 번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현하는 경우의 복원 에러값인 적극 복원 에러값을 구하는 단계;
    (b4) 상기 희소 계수 중, 비번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현하는 경우의 복원 에러값인 소극 복원 에러값을 구하는 단계; 및(b5) 상기 적극 복원 에러값 및 소극 복원 에러값을 비교하여 상기 적극 복원 에러값이 상기 소극 복원 에러값보다 작을 경우, 상기 번호판 후보 영역을 번호판 영역으로 판단하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  11. 제10항에 있어서,
    상기 (b1) 단계는,
    색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고,
    이를 바탕으로 상기 번호판 후보 영역의 색상을 양자화하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  12. 제10항에 있어서,
    상기 (b1) 단계는,
    상기 번호판 후보 영역의 영상 특성 중 컬러 LBP(color local binary pattern)을 이용하여 영상 특징 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 번호판 영역 검출 방법.
  13. 입력 영상에서 번호판 후보 영역을 추출하는 번호판 후보 영역 추출부;
    훈련용 번호판 영상 조각 및 비번호판 영상 조각들로부터 추출된 영상 특징 벡터를 저장하고 제공하는 영상 특징 벡터 데이터베이스부; 및
    상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 산출하고, 이를 상기 영상 특징 벡터의 조합에 의한 희소 표현으로 나타낸 후,
    상기 희소 표현에서 얻어진 희소 계수 중 번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 적극 복원 에러값이,
    비번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 소극 복원 에러값보다 작은 경우,상기 번호판 후보 영역을 번호판 영역에 해당하는 것으로 판별하는 번호판 영역 검증부를 포함하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  14. 제13항에 있어서,
    번호판 및 비번호판 훈련 영상의 영상 조각을 이용하여 상기 영상 특징 벡터 데이터베이스를 생성하는 영상 특징 벡터 데이터베이스 생성부를 더 포함하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  15. 제14항에 있어서,
    상기 영상 특징 벡터 데이터베이스 생성부는,
    훈련 영상으로부터 번호판 영상 조각 및 비번호판 영상 조각을 추출하는 영상 조각 추출부;
    상기 번호판 영상 조각 및 비번호판 영상 조각의 영상 특징 벡터를 추출하는 영상 특징 벡터 추출부; 및
    상기 영상 특징 벡터를 이용하여 영상 특징 벡터 데이터베이스를 작성하는 영상 특징 벡터 데이터베이스 작성부를 포함하여 구성되는 것을 특징으로 하는 번호판 영역 검출 시스템.
  16. 제15항에 있어서,
    상기 영상 특징 벡터 추출부는,
    색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 영상 조각의 색상을 양자화하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  17. 제15항에 있어서,
    상기 영상 특징 벡터 추출부는,
    상기 영상 조각의 영상 특성 중 컬러 LBP(color local binary pattern)를 이용하여 영상 특징 벡터를 산출하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  18. 제13항에 있어서,
    상기 번호판 후보 영역 추출부는,
    상기 입력 영상의 색상을 양자화 하는 색상 양자화부;
    상기 색상이 양자화된 입력 영상에서 번호판 후보 영역을 산출하는 번호판 후보 영역 산출부; 및
    상기 번호판 후보 영역 중 잡음 영역을 제거하는 잡음 영역 제거부를 포함하여 구성되는 것을 특징으로 하는 번호판 영역 검출 시스템.
  19. 제18항에 있어서,
    상기 색상 양자화부는 색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고, 이를 바탕으로 상기 입력 영상의 색상을 양자화하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  20. 제18항에 있어서,
    상기 번호판 후보 영역 산출부는 색상이 양자화된 영상의 색상 질감(color texture) 변화 정도를 고려하여 번호판 후보 영역을 산출하는 것을 특징으로 하는 번호판 영역 검출 시스템.
  21. 제13항에 있어서,
    상기 번호판 영역 검증부는,
    상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 추출하는 번호판 후보 영역 영상 특징 벡터 추출부; 및
    상기 전체 영역에 대한 특징 벡터를 상기 영상 특징 벡터의 조합에 의한 희소 표현으로 나타낸 후,
    상기 희소 표현에서 얻어진 희소 계수 중 번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 적극 복원 에러값이,
    비번호판 훈련 영상의 영상 조각을 이용하여 형성된 영상 특징 벡터의 희소 계수 만을 이용하여 상기 번호판 후보 영역의 전체 영역에 대한 특징 벡터를 표현한 경우의 복원 에러값인 소극 복원 에러값보다 작은 경우,상기 번호판 후보 영역을 번호판 영역에 해당하는 것으로 판별하는 희소 표현 기반 검증부를 포함하여 구성되는 것을 특징으로 하는 번호판 영역 검출 시스템.
  22. 입력 영상에서 번호판 후보 영역을 검출함에 있어,
    번호판의 배경색 뿐만 아니라 글자색을 함께 고려하기 위하여,
    색 공간을 번호판 배경색 영역, 번호판 글자색 영역 및 기타 영역으로 나누고,
    이를 바탕으로 상기 입력 영상의 색상을 양자화하는 단계; 및
    상기 양자화된 입력 영상의 특정 영역 내에서 인접한 픽셀 간에 번호판 배경색에 해당하는 픽셀과 번호판 글자색에 해당하는 픽셀이 교차하면서 발생하는 횟수를 산출한 후,상기 교차하면서 발생하는 횟수가 소정의 횟수 이상인 경우, 상기 특정 영역을 번호판 후보 영역으로 검출하는 단계를 포함하는 것을 특징으로 하는 번호판 후보 영역 검출 방법.
KR20130065692A 2013-06-10 2013-06-10 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템 KR101484531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130065692A KR101484531B1 (ko) 2013-06-10 2013-06-10 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130065692A KR101484531B1 (ko) 2013-06-10 2013-06-10 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20140143927A KR20140143927A (ko) 2014-12-18
KR101484531B1 true KR101484531B1 (ko) 2015-01-20

Family

ID=52591000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130065692A KR101484531B1 (ko) 2013-06-10 2013-06-10 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101484531B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637056B (zh) * 2015-02-02 2018-02-23 复旦大学 基于稀疏表示的医学ct图像肾上腺肿瘤分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990081410A (ko) * 1998-04-29 1999-11-15 구자홍 색좌표공간 구조와 이 색좌표를 이용한 색 양자화 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990081410A (ko) * 1998-04-29 1999-11-15 구자홍 색좌표공간 구조와 이 색좌표를 이용한 색 양자화 방법

Also Published As

Publication number Publication date
KR20140143927A (ko) 2014-12-18

Similar Documents

Publication Publication Date Title
Chen et al. Automatic detection of object-based forgery in advanced video
EP1233374B1 (en) Apparatus and method for extracting objects based on feature matching between segmented regions in images
CN107944450B (zh) 一种车牌识别方法及装置
JP4771906B2 (ja) Ｊｐｅｇ圧縮履歴に関して画像を分類する方法
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
Wang et al. An effective method for plate number recognition
US20020081033A1 (en) Visual attention system
US8340412B2 (en) Image processing
GB2431793A (en) Image comparison
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
EP2605186B1 (en) Method and apparatus for recognizing a character based on a photographed image
CN105184291B (zh) 一种多类型车牌检测方法及系统
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN106503112B (zh) 视频检索方法和装置
CN105631473A (zh) 一种有限有标签样本条件的相机来源鉴别方法
CN104463134A (zh) 一种车牌检测方法和系统
CN111784675A (zh) 物品纹理信息处理的方法、装置、存储介质及电子设备
Zhao et al. Tampered region detection of inpainting JPEG images
Su et al. Robust video fingerprinting based on visual attention regions
CN102301697B (zh) 视频签名产生设备
Khalid et al. Image de-fencing using histograms of oriented gradients
CN110930287B (zh) 一种图像隐写检测方法、装置及计算机设备、存储介质
CN107704864B (zh) 基于图像对象性语义检测的显著目标检测方法
KR101484531B1 (ko) 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템
EP2325801A2 (en) Methods of representing and analysing images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee