KR101224164B1 - 번호판영역 검출을 위한 전처리 방법 및 장치 - Google Patents

번호판영역 검출을 위한 전처리 방법 및 장치 Download PDF

Info

Publication number
KR101224164B1
KR101224164B1 KR1020110029502A KR20110029502A KR101224164B1 KR 101224164 B1 KR101224164 B1 KR 101224164B1 KR 1020110029502 A KR1020110029502 A KR 1020110029502A KR 20110029502 A KR20110029502 A KR 20110029502A KR 101224164 B1 KR101224164 B1 KR 101224164B1
Authority
KR
South Korea
Prior art keywords
license plate
window
image
value
edge
Prior art date
Application number
KR1020110029502A
Other languages
English (en)
Other versions
KR20120111153A (ko
Inventor
장순택
엄성용
김희석
박근식
Original Assignee
하이테콤시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이테콤시스템(주) filed Critical 하이테콤시스템(주)
Priority to KR1020110029502A priority Critical patent/KR101224164B1/ko
Publication of KR20120111153A publication Critical patent/KR20120111153A/ko
Application granted granted Critical
Publication of KR101224164B1 publication Critical patent/KR101224164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라의 촬영에 의해 획득된 영상으로부터 번호판영역을 검출하기 위한 전처리(Pre-processing) 과정에서 Convert(60 to 120) 알고리즘을 사용하여 명암 값을 조절함으로써 전체적인 영상의 밝기가 아닌 번호판영역의 특징을 부각시키며, 종래의 소벨(Sobel) 마스크 연산자 대신 Window scan(윈도우 스캔) 기법을 사용하여 수직에지 및 수평에지 영상을 획득함으로써 메모리 엑세스(Access) 량이 줄어들 뿐만 아니라 연산속도가 빨라지며, 획득된 수직에지 영상의 명암 히스토그램을 이용하여 수직에지 및 수평에지의 누적 값을 설정값에 비교하여 번호판영역이라고 판단할 수 있는 후보영역들을 선정하며, 위치판단모듈과 세로테두리 검색모듈, 번호판 종류 판단모듈에 의해 후보영역들 중 번호판영역을 검출함으로써 검출 정확도가 우수할 뿐만 아니라 연산속도가 빠른 번호판영역 검출을 위한 전처리 장치 및 방법에 관한 것이다.

Description

번호판영역 검출을 위한 전처리 방법 및 장치{Pre- processing method and apparatus for license plate recognition }
본 발명은 카메라의 촬영에 의해 획득된 영상으로부터 번호판영역을 고속으로 검출할 뿐만 아니라 검출 정확도가 뛰어난 번호판영역 검출을 위한 전처리 장치 및 방법에 관한 것이다.
자동차 인식 시스템(Vehicle Plate Recognition System : VPRS)은 기 설정된 구역 내를 통과하는 차량을 촬영하여 획득한 영상의 분석을 통해 촬영된 차량의 번호판의 문자를 인식하는 시스템이며, 이러한 자동차 인식 시스템(VPRS)은 차량의 증가와 디지털 기술의 발달로 인해 과속단속 시스템, 신호위반 단속 시스템, 보안용 감시 카메라, 방범용 CCTV, 통행료 면탈 시스템 및 주차장 관리 시스템 등의 다양한 분야에서 사용되고 있으며, 자동차 인식 시스템(VPRS)에 대한 다양한 연구가 진행되고 있다.
자동차 인식 시스템(VPRS)은 통상적으로 번호판영역 검출 단계와, 영역분리 단계, 문자인식 단계로 이루어지며, 번호판영역 검출단계는 영상이 입력되면 입력된 영상으로부터 번호판영역의 위치를 검출하는 단계이며, 영역분리 단계는 번호판영역 검출 단계로부터 검출된 번호판을 영상으로부터 분리하는 단계이며, 문자인식 단계는 영역분리 단계에서 분리된 번호판에 형성된 문자들을 인식하는 단계이다.
또한 자동차 인식 시스템(VPRS)은 번호판영역 검출 단계에서 번호판영역을 제대로 검출하지 못하면 시스템 자체의 의미가 상실되기 때문에 번호판영역을 얼마나 정확하게 검출하느냐는 전체적인 시스템의 성능의 가장 중요한 문제이다.
또한 자동차 인식 시스템(VPRS)은 번호판영역의 검출 정확도를 향상시키기 위해서 번호판영역의 위치가 효율적으로 검출될 수 있도록 획득된 영상으로부터 영상이 갖는 비효율적인 정보를 줄이는 전처리 단계(Pre-processing)가 필수적으로 수행되고 있다. 이때 전처리 단계는 기울기 보정, 명암 보정, 이진화 과정, 윤곽선(에지) 검출, 잡음(Noise) 제거 등의 과정들을 포함한다.
도 1은 등록특허 10-0751154호에 개시된 잡음 제거장치의 블록도이다.
도 1의 종래의 잡음 제거장치(100)는 번호판영역의 잡음을 제거하여 효율적으로 번호판영역이 검출되도록 하는 장치이며, 영상 저장부(101)와, 미분 연산부(103), 경계선 검출부(105), 경계선 보상부(107), 필터링부(109)로 이루어진다.
또한 영상저장부(101)는 처리하고자 하는 영상을 저장하며, 미분 연산부(103)는 영상 저장부(101)로부터 입력되는 영상의 각 픽셀(pixel)들의 그래디언트(gradient) 값을 구하며, 경계선 검출부(105)는 미분 연산부(103)에서 구한 각 픽셀들의 그래디언트 값을 미리 선정한 임계값과 비교하며 비교 결과에 따라 입력된 영상에 나타나는 피사체들의 경계선을 검출하며, 경계선 보상부(107)는 경계선 검출부(105)에 의해 검출된 경계선에 손상된 부분이 있는지를 판단하며 판단결과에 따라 손상된 경계선 부분을 보상하며, 필터링부(109)는 경계선 보상부(107)에 의해 보상된 경계선 이외의 영역을 필터링하여 잡음을 제거한다.
또한 미분 연산부(103)는 각 픽셀의 그래디언트(Gradient) 값을 산출하기 위해 소벨(Sobel) 마스크 연산자를 사용하며, 이때 상기 마스크란 영상 안에서 일정 부분에 위치시키기 위한 행렬 모양을 한 구조체를 말하며, 주로 3 X 3이나 5 X 5 등과 같은 정방 행렬이 많이 사용된다.
도 2의 (a)는 원 영상을 나타내는 그래프이고, (b)는 소벨(Sobel) 마스크의 수평 경계 연산자를 나타내는 그래프이고, (c)는 소벨(Sobel) 마스크의 수직 경계 연산자를 나타내는 그래프이다.
소벨(Sobel) 마스크 연산자는 이미지 전처리(Pre-processing)에서 에지 검출을 위해 대표적으로 사용되고 있는 기술이며, 소벨(Sobel) 마스크를 이용한 경계선 검출 방식은 (a)의 원 영상(110) 위에 (b)의 수평 경계 연산자인 3X3 마스크(111)와, (c)의 수직 경계 연산자인 3X3 마스크(113)를 위치시킨 후 마스크(111), (113)의 계수와 마스크(111), (113)의 계수에 대응하는 원 영상(110)의 각 픽셀 값들을 곱한 다음 이를 합산한 값을 원 영상(110)의 3X3 마스크의 중앙 위치의 픽셀(Z5)(115)에 할당함으로써 이루어진다.
즉 (a)의 원 영상(110)에서 Z5픽셀(115)의 수평성분의 그래디언트 값을 구하고자 하는 경우 Z5 픽셀(115)의 수평성분의 그래디언트 값인 Gx는 다음의 수학식 1로 정의된다.
수학식 1
Gx = (Z1 + 2Z2 +Z3) - (Z7 +2Z8 +Z9)
또한 (a)의 원 영상(110)에서 Z5 픽셀(115)의 수직성분의 그래디언트 값을 구하고자 하는 경우 Z5 픽셀(115)의 수직성분의 그래디언트 값인 Gy는 다음의 수학식 2로 정의된다.
수학식 2
Gy = ( Z3 + 2Z6 + Z9) - (Z1 + 3Z4 + Z7)
또한 원 영상(110)의 Z5 픽셀(115)의 그래디언트 값은 다음의 수학식 3에 의하여 정의된다.
수학식 3
G(Z5)=Gx+Gy
즉 소벨(Sobel) 마스크 연산 기법은 수학식 1과 수학식 2, 수학식 3에 의해 산출되는 그래디언트 값을 이용하여 에지를 검출하며, 9개의 픽셀 값(Z1, Z2, Z3, Z4, Z5, Z6, Z7, Z8, Z9)들을 이미지 메모리에서 로드한 후 각각의 픽셀들을 수직 및 수평 마스크 연산자(111), (113)들에 9번 곱셈하며, 곱해진 값들을 합산한 후 절대값 처리한다.
또한 도 1에서는 종래의 잡음 제거장치(100)가 소벨(Sobel) 마스크 연산 기법을 적용한 것으로 예를 들어 설명하였으나 경계선 연산 방식에는 로버트(Robbert), 프리윗(Prewitt) 마스크 연산 기법이 적용될 수도 있으며, 로버트(Robbert) 및 프리윗(Prewitt) 마스크 연산 기법들은 수직 및 수평 연산자가 도 2의 소벨(Sobel) 마스크의 수직 및 수평 연산자와 같이 동일한 3X3 마스크로 이루어지기 때문에 소벨(Sobel) 마스크 연산 기법과 동일한 연산시간이 소요된다.
또한 경계선 검출부(105)는 미분 연산부(103)로부터 전송받은 그래디언트 값을 기 설정된 임계값과 비교하여 영상에 나타나는 피사체들의 경계선을 검출하며, 만약 그래디언트 값이 기 설정된 임계값보다 크면 하이 '1' 값을 출력하며, 그래디언트 값이 기 설정된 임계값보다 작으면 로우 '0' 값으로 출력함으로써 피사체들의 경계선을 검출한다.
이와 같이 종래의 잡음 제거장치(100)는 소벨(Sobel) 마스크 연산 기법을 이용하여 경계선을 검출함으로써 간단한 방법으로 경계선을 검출할 수 있을 뿐만 아니라 검출 정확도가 우수하다.
그러나 종래의 잡음 제거장치(100)에서 적용되는 소벨(Sobel) 마스크 연산 기법은 각 연산과정이 1cycle이 소요된다고 가정하면 하나의 픽셀의 에지 값을 구하기 위해서는 이미지 메모리에서 해당 픽셀의 정보를 로드하는데 1cycle, 해당 픽셀이 마스크 연산자의 패턴과의 곱셈이 9cycle(3X3 크기의 마스크 연산자의 패턴에 각각 곱셈이 이루어져야 하기 때문에), 곱해진 값들을 합산하는데 1cycle, 합산값을 에지 메모리에 저장하는데 1cycle이 소용됨으로써 하나의 픽셀의 에지 값의 소요시간은 총 12cycle이 소요됨으로써 곱셈 및 덧셈의 연산과정이 많아 연산시간이 지체되며, 메모리 엑세스(Access) 량이 증가하는 문제점이 발생된다.
본 발명은 이러한 문제를 해결하기 위한 것으로 본 발명의 해결과제는 카메라의 촬영에 의해 획득된 영상이 갖는 정보를 줄이며, 번호판영역의 특징을 부각시키기 위해 명암변환, 이진화처리, 잡음제거 등을 포함하는 전처리 과정을 수행하되 에지검출 시 종래의 마스크 연산자를 사용하는 대신 3X3 크기의 제 1윈도우와 제2윈도우를 좌에서 우로 스캔하여 제1윈도우와 제2윈도우에 속하는 9개의 픽셀들의 Gray 값들을 합산한 후 제1윈도우와 제2윈도우의 합산값들의 차이를 기 설정된 설정값(TH2)에 비교하는 방식으로 에지를 검출함으로써 에지검출을 위한 연산이 고속으로 이루어질 뿐만 아니라 메모리 엑세스(Access)량이 줄어들며, 검출 정확도가 우수한 번호판영역 검출을 위한 전처리 장치 및 방법에 관한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 카메라의 촬영에 의해 획득된 영상을 입력받아 입력영상으로부터 차량의 번호판영역을 검출하는 번호판영역 검출 장치에 있어서: 상기 입력영상의 픽셀들의 계조값을 기 설정된 제1 설정값(TH1)의 이상과 미만에 대해 각각 백과 흑에 대응하는 이진화 값으로 처리하는 이진화모듈; 상기 이진화 처리된 영상을 3X3 크기를 갖는 연속된 제1윈도우와 제2윈도우로 스캔(Scan)하여 상기 제1윈도우와 상기 제2윈도우에 속하는 9개의 픽셀들의 값들을 각각 합산한 합산값들의 차이값의 절대값이 기 설정된 제2 설정값(TH2)보다 이상이면 상기 제1윈도우와 상기 제2윈도우에 해당되는 픽셀들에 에지가 존재한다고 판단하는 윈도우 스캔 기법을 이용하여 에지영상을 획득하는 에지 검출모듈; 상기 에지영상을 통해 번호판영역을 검출하는 검출모듈을 포함하는 것이다.
또한 본 발명에서 상기 윈도우 스캔 기법은 상기 제1윈도우와 상기 제2윈도우의 합산값들의 차이값의 절대값이 상기 제2 설정값(TH2)보다 이상일 때 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 크면 상기 제2윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하며, 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 작으면 상기 제1윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하는 것이 바람직하다.
또한 본 발명에서 상기 이진화모듈은 오츠(Otsu) 알고리즘 기법을 적용하여 상기 입력영상을 이진화 처리하는 것이 바람직하다.
또한 본 발명에서 상기 검출모듈은 상기 에지영상의 히스토그램을 생성한 후 상기 에지의 밀집도가 기 설정된 제3 설정값(TH3)보다 이상이면 상기 밀집도가 형성된 영역을 후보영역으로 선정하며, 상기 밀집도가 상기 제3 설정값(TH3)보다 미만이면 상기 밀집도가 형성된 영역을 비 후보영역으로 선정하는 하는 것이 바람직하다.
또한 본 발명에서 상기 검출모듈은 상기 후보영역들을 선정하면 상기 후보영역들이 상기 에지영상 내에 형성된 위치를 파악한 후 상기 후보영역들의 위치가 하부에 가까울수록 우선순위를 부여하며, 상기 부여된 우선순위에 따라 검증을 수행하되 상기 에지가 세로로 연결되어 있는 연결성을 조사하여 상기 세로로 연결된 에지들이 상기 번호판의 세로테두리 라인이라고 판단할 수 있는 범위를 지정하는 제4 설정값(TH4)보다 이상이면 상기 세로로 연결된 에지들을 상기 번호판의 세로테두리 라인이라고 판단하며, 상기 세로로 연결된 에지들이 상기 세로테두리 라인이라고 판단하면 동일한 방법으로 상기 번호판의 타측 세로테두리 라인까지 검색하여 상기 타측 세로테두리 라인까지 검색된 상기 우선순위가 높은 후보영역을 상기 번호판영역으로 결정하는 것이 바람직하다.
또한 본 발명에서 상기 카메라로부터 입력영상을 전송받으면 다음의 수학식 1에 의하여 정의되는 Convert(X) 함수에 의해 픽셀의 계조값이 60 미만이면 상기 픽셀의 계조값을 'low'레벨로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 'high'레벨로 변환하며, 명암 변환된 영상을 상기 이진화모듈로 전송하는 명암변화모듈을 더 포함하는 것이 바람직하다.
수학식 1
Figure 112011023559213-pat00001
또한 본 발명에서 상기 입력영상을 전송받으면 상기 입력영상을 8비트 Gray 영상으로 크기 변환하며, 상기 8비트 Gray 영상은 상기 명암변환모듈로 전송되는 것이 바람직하다.
또한 본 발명의 다른 해결수단은 카메라로부터 촬영된 입력영상을 전송받은 제 1단계; 상기 입력영상의 픽셀들 각각의 계조값을 기 설정된 제1 설정값(TH1)의 이상과 미만에 대해 각각 흑과 백으로 대응하는 이진화 값으로 처리하는 제 2단계; 상기 이진화 처리된 영상을 3X3 크기를 갖는 연속된 제1윈도우와 제2윈도우로 스캔(Scan)하여 상기 제1윈도우와 상기 제2윈도우에 속하는 9개의 픽셀들의 값들을 각각 합산한 합산값들의 차이값의 절대값이 기 설정된 제2 설정값(TH2)보다 이상이면 상기 제1윈도우와 상기 제2윈도우에 해당되는 픽셀들에 에지가 존재한다고 판단하는 윈도우 스캔 기법을 이용하여 에지영상을 획득하는 제 3단계; 상기 에지영상을 통해 번호판영역을 검출하는 제 4단계를 포함하는 것이다.
또한 본 발명에서 상기 제 3단계는 상기 제1윈도우와 상기 제2윈도우의 합산값들의 차이값의 절대값이 상기 제2 설정값(TH2)보다 이상일 때 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 크면 상기 제2윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하며, 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 작으면 상기 제1윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하는 것이 바람직하다.
또한 본 발명에서 상기 제 2단계는 상기 카메라로부터 입력영상을 전송받으면 다음의 수학식 2에 의하여 정의되는 Convert(X) 함수를 이용하여 픽셀의 계조값이 60 미만이면 상기 픽셀의 계조값을 'low' 레벨로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 'high' 레벨로 변환하는 것이 바람직하다.
수학식 2
Figure 112011023559213-pat00002
또한 본 발명에서 상기 제 4단계는 상기 에지영상의 에지 히스토그램을 생성한 후 상기 에지의 밀집도가 기 설정된 제3 설정값(TH3)보다 이상이면 상기 밀집도가 형성된 영역을 후보영역으로 선정하며, 상기 밀집도가 상기 제3 설정값(TH3)보다 미만이면 상기 밀집도가 형성된 영역을 비 후보영역으로 선정하는 하는 것이 바람직하다.
또한 본 발명에서 상기 제 4단계는 상기 후보영역들을 선정하면 상기 후보영역들이 상기 에지영상 내에 형성된 위치를 파악한 후 상기 후보영역들의 위치가 하부에 가까울수록 우선순위를 부여하며, 상기 부여된 우선순위에 따라 검증을 수행하되 상기 에지가 세로로 연결되어 있는 연결성을 조사하여 상기 세로로 연결된 에지들이 상기 번호판의 세로테두리 라인이라고 판단할 수 있는 범위를 지정하는 제4 설정값(TH4)보다 이상이면 상기 세로로 연결된 에지들을 상기 번호판의 세로테두리 라인이라고 판단하며, 상기 세로로 연결된 에지들이 상기 세로테두리 라인이라고 판단하면 동일한 방법으로 상기 번호판의 타측 세로테두리 라인까지 검색하여 상기 타측 세로테두리 라인까지 검색된 상기 우선순위가 높은 후보영역을 상기 번호판영역으로 결정하는 것이 바람직하다.
또한 본 발명에서 상기 제 1단계와 상기 제 2단계 사이에는 상기 입력영상의 픽셀들 각각의 계조값이 60 미만이면 상기 픽셀의 계조값을 '0'으로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 '255'로 변환하는 명암변환단계를 더 포함하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 윈도우 스캔 기법을 이용하여 에지를 검출하기 때문에 연산과정이 간단하여 고속으로 연산이 이루어진다.
또한 번호판영역 검출 장치는 카메라의 촬영에 의해 획득된 영상을 전송받으면 제어부가 전송받은 영상을 8비트 Gray 영상으로 변환하기 때문에 정보 처리량이 줄어들게 된다.
또한 번호판영역 검출 장치는 명암변환 시 Convert(60 to 120) 알고리즘 기법을 사용하기 때문에 번호판영역을 형성하는 테두리 및 문자가 선명해져 번호판영역의 특징이 효율적으로 부각된다.
또한 번호판영역 검출 장치는 이진화 작업 시 오츠(Otsu) 알고리즘을 적용하여 각 픽셀에 따라 적절한 경계값이 자동으로 산출된다.
또한 번호판영역 검출 장치는 잡음이 제거된 수직 에지영상을 전송받으면 수직 및 수평 에지 히스토그램을 생성한 후 라인 별로 수직에지 및 수평에지를 합산한 누적 값을 산출하여 누적 값이 설정값(TH4)보다 크면 해당 영역을 번호판영역의 후보영역으로 선정하며, 선정된 번호판영역들은 해당 영역이 영상 내에서 형성된 위치에 따라 하부에서 상부로 우선순위를 부여하기 때문에 번호판영역이 후보영역에서 제외되는 경우의 수를 줄여 검출 정확률을 증가시킨다.
또한 번호판영역 검출 장치의 검증모듈은 선정된 후보영역들이 영상 내에서 하부에 가까운지를 검증하여 하부에 가까운 후보영역들에 우선순위를 부여하며, 우선순위에 따라 번호판의 세로테두리 라인으로 판단할 수 있는 일정길이 이상의 수직에지들을 검색함으로써 후보영역들 중에 번호판영역을 검출하며, 번호판 종류 판단모듈이 검출된 번호판영역의 명암 히스토그램의 분포도를 이용하여 번호판의 종류를 파악하기 때문에 검출 정확도가 증가된다.
도 1은 등록특허 10-0751154호에 개시된 잡음 제거장치의 블록도이다.
도 2의 (a)는 원 영상을 나타내는 그래프이고, (b)는 소벨(Sobel) 마스크의 수평 경계 연산자를 나타내는 그래프이고, (c)는 소벨(Sobel) 마스크의 수직 경계 연산자를 나타내는 그래프이다.
도 3은 본 발명의 일실시예인 번호판 인식 검출 장치를 나타내는 블록도이다.
도 4는 명암변환모듈에 의해 명암 값이 변환되기 전, 후의 영상이다.
도 5는 이진화모듈에서 적용된 윈도우 스캔(Window Scan) 기법을 설명하기 위한 예시도이다.
도 6은 도 5의 에지검출 모듈에 적용되는 윈도우 스캔(Window scan) 기법을 설명하기 위한 예시도이다.
도 7은 필터링의 침식연산과 팽창연산에 의해 잡음이 제거된 영상을 나타내는 예시도이다.
도 8은 도 7의 검출모듈의 동작과정을 나타내는 플로차트이다.
도 9는 수평 성분의 에지 히스토그램을 나타내는 예시도이다.
도 10은 수직 성분의 에지 히스토그램을 나타내는 예시도이다.
도 11은 도 3의 검증모듈을 나타내는 블록도이다.
도 12는 도 3의 번호판 종류 판단모듈에 의해 생성된 차량별 번호판에 따른 히스토그램을 나타내는 예시도이다.
도 13은 본 발명의 일실시예인 도 3의 번호판영역 인식 장치의 동작과정을 나타내는 플로차트이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 3은 본 발명의 일실시예인 번호판영역 검출 장치를 나타내는 블록도이다.
도 3의 번호판영역 검출 장치(1)는 차량의 이동이 발생되는 구간에 설치되어 이동하는 차량을 촬영한 카메라(19)로부터 전송받은 영상을 분석하며, 전처리(Pre-processing) 과정을 수행하여 입력영상으로부터 차량의 번호판영역을 검출하는 장치이다.
또한 번호판영역 검출 장치(1)는 기 설정된 구간에 설치되는 카메라(19)를 제어하는 카메라 제어장치(18)와, 카메라 제어장치(18)로 주기적으로 영상요청 데이터를 전송하여 카메라 제어장치(18)로부터 카메라(19)의 촬영에 의해 획득된 영상들을 전송받으며 전송받은 영상을 변환 및 분석하여 영상 내에서 번호판영역을 검출하는 제어부(2)로 이루어진다.
또한 도 1에서는 카메라 제어장치(18)가 하나인 것으로 예를 들어 설명하였으나 카메라 제어장치(18)는 복수개로 구성될 수 있다.
카메라 제어장치(18)는 기 설정된 구간을 촬영하는 카메라(19)를 제어하는 카메라 구동부(미도시)와, 번호판영역 검출 장치(1)와 데이터를 송수신하는 데이터 송수신부(미도시)와, 카메라(19)의 촬영에 의해 획득된 영상을 저장하는 메모리(미도시)로 이루어지며, 번호판영역 검출 장치(1)의 제어부(2)로부터 영상요청 데이터를 전송받으면 저장한 영상을 제어부(2)로 전송한다.
제어부(2)는 카메라 제어장치(18)로 주기적으로 영상요청 데이터를 전송하며, 카메라 제어장치(18)로부터 영상을 전송받으면 전송받은 영상에 전처리(Pre-processing) 과정을 수행하여 영상 내에 존재하는 번호판영역을 검출한다.
또한 제어부(2)는 카메라 제어장치(18)에 연결되며, 제어모듈(3)과, 메모리(5), 명암변환모듈(5), 이진화모듈(7), 에지 검출모듈(9), 필터링 모듈(11), 후보영역 검출모듈(13), 후보영역 검증모듈(15)들을 포함하며, 카메라 제어장치(18)는 제어모듈(2)에 의해 제어된다.
제어모듈(3)은 제어부(2)의 OS(Operating System)이며, 각각의 구성모듈(3), (5), (7), (9), (11), (13), (15)들을 제어한다.
또한 제어모듈(3)은 기 설정된 주기에 따라 카메라 제어장치(18)로 영상요청 데이터를 전송하며, 카메라 제어장치(18)로부터 영상을 전송받으면 전송받은 영상을 하나의 픽셀 당 저장되는 정보량이 적은 8비트의 Gray 영상으로 변환(영상크기변환)하여 영상에 저장되는 정보량을 절감시켜 번호판영역 검출 장치(1)의 연산시간을 줄이며, 변환된 8비트 Gray 영상을 명암변환모듈(5)로 전송한다. 이때 도 2에서는 영상크기 변환(8비트 Gray 영상으로 변환)이 제어모듈(3)에서 수행되는 것을 예를 들어 설명하였으나 영상의 크기변환은 제어모듈(3)에서 수행되지 않고, 독립적인 모듈로 구성될 수 있으며, 이러한 영상크기변환은 이미지 전처리(Pre-processing) 과정에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.
명암변환모듈(5)은 제어모듈(3)로부터 8비트 Gray 영상을 전송받으면 전송받은 8비트 Gray 영상의 명암 값을 조절하여 후술되는 모듈(7), (9), (11), (13), (15)들에서 번호판영역이 효율적으로 검출되도록 한다.
또한 명암변환모듈(5)은 제어모듈(3)로부터 영상을 전송받으면 전송받은 영상의 명암 분포상태를 나타내는 명암 히스토그램을 생성하며, Convert(60 to 120) 알고리즘 기법을 사용하여 영상을 명암 값이 고르게 분포한 영상으로 변환하며, 명암 변환된 영상을 제어모듈(3)의 제어에 따라 이진화모듈(7)로 전송한다.
이때 종래의 이미지 전처리 과정의 명암변환에서는 히스토그램 평활화 또는 히스토그램 스트레칭 기법이 사용되어 전체적인 영상의 밝기 및 선명도를 높였다면 본 발명에서는 Convert(60 to 120) 알고리즘 기법을 적용하여 영상 전체가 아닌 번호판영역의 에지(경계선) 및 문자의 선명도를 증가시키기 때문에 종래의 히스토그램 평활화 또는 히스토그램 스트레칭에 비해 번호판영역의 특징이 부각되어 번호판영역의 검출이 더욱 효율적으로 검출되도록 한다.
또한 Convert(60 to 120) 알고리즘은 Gray 레벨의 값이 60 미만이면 '0'레벨로 변환하며, Gray 레벨의 값이 120 이상이면 '255'로 변환하며, Gray 레벨의 값이 60과 120 사이이면 Gray 레벨의 값을 그대로 보존함으로써 번호판영역의 에지들을 선명하게 하며, Convert(60 to 120) 알고리즘을 수행하는 Convert(X) 함수는 다음의 수학식 4에 의하여 정의된다.
수학식 4
Figure 112011023559213-pat00003
도 4는 명암변환모듈에 의해 명암 값이 변환되기 전, 후의 영상이다.
명암변환모듈(5)은 제어모듈(3)로부터 전송받은 8비트 Gray 영상(a)을 수학식 4로 정의되는 Convert(60 to 120) 알고리즘을 적용하여 Gray 레벨의 값이 60 미만이며, 120 이상인 픽셀들 각각의 명암 값을 변환시키며, 도 4의 (a)의 명암 값이 조절되기 전의 영상(51)보다 도 4의 (b)의 명암 값이 조절된 후의 영상(53)에서 배경 및 번호판영역(S)의 문자, 에지가 선명해지는 것이 확인된다.
이진화모듈(7)은 명암변환모듈(5)로부터 전송받은 영상(명암 값이 조절된 영상)의 픽셀들 각각의 Gray 레벨의 값을 산출하여 Gray 레벨의 값에 따라 픽셀들을 '0' 또는 '255'로 이진화 함으로써 정보 처리량을 현저하게 절감시킨다. 즉 이진화모듈(7)은 각각의 픽셀이 갖는 Gray 레벨 값이 인접하는 픽셀의 Gray 레벨 값과 비슷한 수치로 이루어질 경우 이들을 하나의 객체로 처리함으로써 데이터를 단순화시켜 정보 처리량을 절감시킨다.
또한 이진화모듈(7)에서 수행하는 영상의 이진화 기법은 정보 처리량을 줄일 수 있는 장점으로 인해 이미지 전처리 과정에서 필수적으로 사용되는 기술이며, 블록을 이용한 이진화 기법, 라벨링(Labeling)을 이용한 이진화 기법 및 상기에 전술한 경계값을 이용한 이진화 기법 등의 다양한 기술들이 연구되어 사용되고 있으나 본 발명의 이진화모듈(7)에서는 종래의 기술들 중 경계값을 이용한 이진화 기법들 중 오츠(Otsu) 알고리즘 이진화 기법을 적용한다. 이때 경계값을 이용한 이진화 기법들은 각각의 픽셀들의 Gray 레벨의 값을 기 설정된 경계값에 비교하여 픽셀의 Gray 레벨의 값을 '0' 또는 '255'로 변환하는 것이기 때문에 경계값을 최적의 값으로 설정하는 것은 경계값을 이용한 이진화 기법에 있어서 가장 중요한 문제이며, 만약 경계값이 너무 낮거나 높을 경우 영상이 너무 크게 변환되어 원하는 영상을 얻지 못하게 되며, 이러한 단점을 극복하기 위해 본 발명에서는 경계값을 이용한 이진화 기법들 중 오츠(Otsu) 알고리즘 이진화 기법을 적용하며, 오츠(Otsu) 알고리즘 이진화 기법은 Gray 영상의 화소 분포를 이용하여 자동으로 최적의 경계값을 결정하는 알고리즘이며, 픽셀에 따라 자동으로 경계값을 결정하기 때문에 이미지 전처리 과정에서 대표적으로 사용되고 있다.
에지검출 모듈(9)은 이진화모듈(7)로부터 전송받은 이진화 처리된 영상을 분석하여 수평에지 및 수직에지들을 검출하며, 본 발명에서는 도 1에서 전술되었던 종래의 Sobel Mask 연산 방식 대신 윈도우 스캔(Window scan) 기법을 개발하여 적용하였다.
도 5는 이진화모듈에서 적용된 윈도우 스캔(Window Scan) 기법을 설명하기 위한 예시도이다.
윈도우 스캔(Window scan) 기법은 3 X 3의 크기를 갖는 제1윈도우(91)와, 제1윈도우(91)의 우측에 연속되게 형성된 제2윈도우(93)들을 형성한 후 제1윈도우(91)와 제2윈도우(93)를 영상(이진화 처리된 영상)(70)의 좌에서 우로 스캔을 하며, 제1윈도우(91)에 겹치는 영상의 9개 픽셀들의 합산값과 제2윈도우(93)에 겹치는 9개 픽셀들의 합산값들의 차이값을 기 설정된 설정값(TH2)에 비교하여 만약 차이값이 설정값(TH2) 보다 이상이면 에지로 판단하며, 만약 차이값이 설정값(TH2)보다 작으면 에지가 없다고 판단함으로써 에지로 판단된 픽셀들이 출력된 에지영상을 획득하며, 이때 설정값(TH2)은 90 이상 110 이하인 것이 바람직하다.
또한 윈도우 스캔(Window scan) 기법은 제1윈도우의 합산값과 제2윈도우의 합산값들의 차이값에 절대값을 처리한 DIF(n) 함수는 다음의 수학식 5로 정의되며, DIF(n)의 값이 설정값(TH2)보다 이상인지를 판단하여 에지의 유무를 판단하는 연산은 다음의 수학식 5로 정의된다.
수학식 5
DIF(n) = | SUM(An) - SUM(Bn) |
수학식 6
If | DIF(n) | >= TH2(90<TH2<110)
이때 SUM(An)은 제1윈도우(91)에 해당되는 9개의 픽셀들을 합산한 값이며, SUM(Bn)은 제2윈도우(93)에 해당되는 9개의 픽셀들을 합산한 값이다.
도 6은 도 5의 에지검출 모듈에 적용되는 윈도우 스캔(Window scan) 기법을 설명하기 위한 예시도이다.
도 6에 도시된 바와 같이 윈도우 스캔(Window scan) 기법은 만약 제1윈도우(91)에 에지가 없으며, 제2윈도우(93)에 에지가 있는 경우(a) 제1윈도우(91)의 픽셀들(3 X 3)을 합산한 합산값이 제2윈도우(93)의 픽셀들을 합산한 합산값보다 크기 때문에 합산값들의 차이가 발생하여 전술하였던 수학식 5와 수학식 6에 의해 해당 픽셀들에 에지가 있다고 판단하되 제1윈도우(91)의 합산값이 제2윈도우(93)의 합산값보다 크기 때문에 제2윈도우(93)의 픽셀에 에지가 존재한다고 판단하고, 제1윈도우(91)에 에지가 있으며, 제2윈도우(93)에 에지가 없는 경우(b) 제2윈도우(93)의 픽셀들을 합산한 합산값이 제1윈도우(91)의 픽셀들을 합산한 합산값보다 크기 때문에 합산값들의 차이가 발생하여 전술하였던 수학식 5와 수학식 6에 의해 해당 픽셀들에 에지가 있다고 판단하되 제1윈도우(91)의 합산값이 제2윈도우(93)의 합산값보다 작기 때문에 제2윈도우(93)의 픽셀에 에지가 존재한다고 판단한다.
또한 윈도우 스캔(Window scan) 기법은 제1윈도우(91)와 제2윈도우(93)에 에지가 존재하지 않는 경우(c) 제1윈도우(91)와 제2윈도우(93)의 픽셀들을 합산한 합산값들은 차이가 크지 않기 때문에 수학식 5와 수학식 6에 의해 제1윈도우(91)와 제2윈도우(93)에 에지가 존재하지 않는 것으로 판단함으로써 에지영상을 출력한다.
이와 같이 본 발명의 일실시예인 번호판영역 검출 장치(1)의 에지검출 모듈(9)은 윈도우 스캔(Window scan) 기법을 적용하여 에지 영상을 출력하기 때문에 종래의 에지영상 검출방식인 Sobel mask 방식에 비해 메모리 엑세스(Access)와 연산 시간이 현저하게 줄어들게 된다.
필터링 모듈(11)은 에지검출 모듈(9)로부터 에지영상을 전송받으면 라이트, 그림자, 차량의 떨림, 주변 환경 등에 의해 발생되는 쓸모없는 잡음(Noise)들을 제거함으로써 번호판영역 검출 정확률을 증가시킨다. 이때 잡음이 제거된 영상은 제어모듈(3)의 제어에 따라 검출모듈(13)로 전송된다.
또한 필터링 모듈(11)은 침식연산과 팽창연산의 순으로 연산을 반복하는 열림 연산을 사용하여 전송받은 에지영상의 잡음을 제거한다. 이때 상기 침식연산이란 에지영상의 작은 덩어리를 형성하는 객체를 제거함으로써 배경을 확장시키는 연산이며, 선명하지 않은 픽셀들이나 객체들에 떨어져 있는 픽셀들을 제거하며, 침식연산 함수 F(X)는 다음의 수학식 7에 의하여 정의된다.
수학식 7
X = A
Figure 112011023559213-pat00004
B = { X : B -X ⊂ A}
또한 팽창연산은 에지영상의 객체 내부에 형성된 작은 구멍들을 제거하여 객체를 확장시키는 연산이며, 팽창연산 함수P(X)는 다음의 수학식 8에 의하여 정의된다.
수학식 8
X = A
Figure 112011023559213-pat00005
B = {X : -B -X
Figure 112011023559213-pat00006
A ≠
Figure 112011023559213-pat00007
}
즉 필터링 모듈(11)은 상기의 수학식 7로 정의되는 침식연산과, 상기의 수학식 8로 정의되는 팽창연산을 조합한 열림 연산을 수행하며, 열림 연산은 다음의 수학식 9에 의하여 정의된다.
수학식 9
A °B = ( A
Figure 112011023559213-pat00008
B )
Figure 112011023559213-pat00009
B
도 7은 필터링의 침식연산과 팽창연산에 의해 잡음이 제거된 영상을 나타내는 예시도이다.
도 7에 도시된 바와 같이 카메라(19)의 촬영에 의해 획득된 영상이 입력되면(a) 번호판영역 검출 장치(1)의 에지검출 모듈(9)은 윈도우 스캔 기법을 적용하여 수직성분으로 이루어진 수직 에지영상을 출력한다(b). 이때 에지검출 모듈(9)이 획득한 수직 에지영상을 살펴보면 번호판영역에 문자들이 일정간격으로 밀집되어 있기 때문에 번호판영역에 에지가 가장 많이 검출되며, 검출된 수직 에지영상은 필터링 모듈(11)로 전송된다.
또한 필터링 모듈(11)은 에지 검출모듈(9)로부터 전송받은 수직 에지영상에 전술하였던 수학식 7로 정의되는 침식연산을 수행함으로써 선명하지 않은 픽셀들이나 객체들에 떨어져 있는 픽셀들을 제거한다(c).
또한 필터링 모듈(11)은 침식연산 수행 후 전술하였던 수학식 8로 정의되는 팽창연산을 수행하여 객체들에 형성된 작은 구멍들을 제거함으로써 번호판영역 주변의 흰 픽셀들(작은 구멍들)과 라이트 부분에 빛의 번짐으로 인해 형성된 흰색 픽셀들을 제거한다(d).
검출모듈(13)은 필터링 모듈(11)에 의해 출력된 영상(전처리 과정이 모두 수행된)을 전송받으면 해당 영상의 에지 히스토그램을 생성하며, 생성된 에지 히스토그램을 분석하여 번호판영역으로 판단할 수 있는 후보영역들을 선정한다. 즉 검출모듈(13)은 에지 히스토그램의 각각의 라인별로 수평 및 수직 에지를 합산하여 누적 값들을 산출하며, 기 설정되어 수평 및 수직 에지 누적 값이 번호판영역이라고 판단할 수 있는 범위를 지정하는 설정값(TH4) 보다 이상이면 해당영역을 후보영역으로 선정한다. 이때 검출모듈(13)은 선정된 후보영역들을 누적 값의 크기에 따라 우선순위를 부여한다.
도 8은 도 7의 검출모듈의 동작과정을 나타내는 플로차트이다.
도 8에 도시된 바와 같이 검출모듈(13)은 필터링 모듈(11)로부터 영상을 전송받으면 전송받은 영상에서 수평 및 수직 히스토그램을 생성하며(S1), 생성된 수평 및 수직 히스토그램을 이용하여 수평에지 및 수직에지를 합산하며, 영상의 각 라인별로 합산한 수평에지와 수직에지의 합산값들이 누적된 누적 값을 산출한다(S2).
또한 검출모듈(13)은 단계 2에서 산출된 누적 값들 중 누적 값이 최대 구간인 곳을 선택하여 누적 값에 따라 우선순위를 부여하며, 가장 우선순위가 높은 라인의 누적 값을 설정값(TH4)과 비교하여 해당 영역을 후보영역으로 선정할 것인지를 판단한다(S3).
또한 검출모듈(13)은 만약 누적 값이 설정값(TH4) 보다 미만이면 다음 우선순위를 갖는 라인의 누적 값을 선택하여 단계 3(S3)을 재수행한다(S4). 검출모듈(13)은 만약 누적 값이 설정값(TH4) 보다 이상이면 해당 라인을 번호판영역의 후보영역으로 선정한다(S5).
도 9는 도 8의 검출모듈에 의해 생성된 수평 성분의 에지 히스토그램을 나타내는 예시도이며, 도 10은 도 8의 검출모듈에 의해 생성된 수직 성분의 에지 히스토그램을 나타내는 예시도이다.
도 9에 도시된 바와 같이 검출모듈(13)에 의해 생성된 수평누적 히스토그램(131)을 살펴보면 수평 에지 성분의 밀집도가 높은 영역(133), (135)이 복수개가 존재할 뿐만 아니라 번호판영역(S)은 밀집도가 높은 영역(131), (135)들 중 영상의 하부에 형성하는 것을 알 수 있으며, 검출모듈(13)은 밀집도가 높은 영역들 중 번호판영역을 선정하기 위해 번호판영역이 하부에 형성된다는 특징을 이용하여 영상의 하부에서부터 상부의 순위로 우선순위를 부여함으로써 후보영역을 빠르게 선정하게 된다. 즉 검출모듈(13)은 누적 값과 설정값(TH4)의 비교 전에 누적 값의 크기에 따라 우선순위를 부여하며, 후보영역 선정 후 후보영역의 위치에 따라 우선순위를 부여한다.
또한 도 10에 도시된 바와 같이 검출모듈(13)에 의해 생성된 수직누적 히스토그램(133)을 살펴보면 라이트 부분(135), (135')과 번호판영역(137)에 수직성분의 에지 밀집도가 높은 것을 확인할 수 있으며, 검출모듈(13)은 밀집도가 높은 영역(135), (135'), (137)들 중에서 번호판영역을 선정하기 위해 번호판영역(137)의 문자 영역에 에지가 많이 발생하는 특성을 이용하여 큰 문자 4개(차량번호)를 포함할 수 있는 200픽셀 정도의 크기로 에지 히스토그램의 성분을 합하여 그 평균이 가장 높은 지역을 후보영역으로 선정함으로써 평균이 높은 순으로 우선순위를 두어 잘못 선정된 후보영역이 있다고 하더라도 다음 후보영역이 선정되도록 한다.
도 11은 도 3의 검증모듈을 나타내는 블록도이다.
도 11의 검증모듈(15)은 검출모듈(13)로부터 후보영역 데이터들을 전송받으면 전송받은 후보영역 데이터들을 분석하여 후보영역들 중 번호판영역을 검출한다.
또한 검증모듈(15)은 위치판단모듈(151)과, 세로테두리 검색모듈(153), 번호판종류 판단모듈(155)을 포함하며, 위치판단모듈(151)은 통상적으로 번호판이 영상의 하부에 존재하기 때문에 후보영역이 영상의 하부에 존재하는지를 분석하며, 위치가 하부에서 상부로 형성된 순으로 우선순위를 부여한다.
세로테두리 검색모듈(153)은 위치판단모듈(151)에 의해 우선순위가 높은 후보영역들 순으로 해당 후보영역의 세로테두리 라인을 검색하여 해당 후보영역이 번호판영역에 해당되는지를 판단한다. 즉 차량이 기울어지지 않는 이상 차량을 촬영한 영상에는 번호판영역(137)의 세로테두리 라인은 대부분 나타나기 때문에 세로테두리 검색모듈(153)은 픽셀들이 수직으로 연속되어 있는 연결성을 조사하여 세로로 연결된 픽셀들이 세로테두리 라인이라고 판단할 수 있는 범위를 지정하는 설정값(TH5) 이상이면 수직으로 연속된 픽셀들을 세로테두리 라인이라고 판단한다. 이때 구형번호판은 가로 세로 비율이 2:1이며, 신번호판은 5:1인 특성을 이용하여 반대쪽에 존재하는 번호판의 수직으로 연속된 에지를 반복하여 검색하며, 반대편 세로테두리 라인까지 검색된 후보영역을 번호판영역으로 최종 판단하며, 번호판영역으로 판단한 영역의 위치 값을 번호판 종류 판단모듈(155)로 전송한다.
도 12는 도 3의 번호판 종류 판단모듈에 의해 생성된 차량별 번호판에 따른 히스토그램을 나타내는 예시도이다.
번호판 종류 판단모듈(155)은 세로테두리 검색모듈(153)로부터 번호판영역의 위치 값을 전송받으면 입력영상(8비트 Gray 영상)으로부터 전송받은 위치 값에 해당되는 번호판영역의 히스토그램을 생성한다. 이때 통상적으로 번호판의 내상부에는 나사가 설치되며, 나사 주변에는 그림자가 많이 발생하여 잡음(Noise)이 많이 발생하기 때문에 번호판 종류 판단모듈(155)은 입력영상(8비트 Gray 영상)에서 번호판영역의 히스토그램을 생성할 때 기 설정된 면적의 상부를 제외한 영역의 히스토그램을 생성한다.
또한 번호판 종류 판단모듈(155)은 히스토그램을 이용하여 명암 값의 분포도와 표준편차를 이용하여 검출된 번호판이 일반차량용 번호판인지 영업차량용 번호판인지를 판단할 뿐만 아니라 번호판이 일반차량용 번호판인 경우 구형 번호판인지 신형 번호판인지를 판단한다.
즉 히스토그램의 분포도를 살펴보면 도 12에 도시된 바와 같이 번호판이 일반차량용 구형 번호판인 경우(a) 배경이 문자에 비해 어둡기 때문에 낮은 레벨을 갖는 값이 다른 레벨들에 비해 현저하게 다량으로 검출되며(a_1), 번호판이 일반차량용 신형 번호판인 경우(b) 배경이 문자에 비해 밝기 때문에 높은 레벨을 갖는 값이 다른 레벨들에 비해 현저하게 다량으로 검출되며(b_1), 번호판이 영업차량용 번호판인 경우(c) 배경이 문자보다 밝기 때문에 높은 레벨을 갖는 값이 다른 값들에 비해 많되 전체적으로 균일하게 분포되어 검출(c_1)되는 특성들을 이용하여 번호판 종류 판단모듈(155)은 번호판의 종류를 판단한다.
도 13은 본 발명의 일실시예인 도 3의 번호판영역 인식 장치의 동작과정을 나타내는 플로차트이다.
카메라(19)의 촬영에 의해 획득된 영상을 전송받으며(S10), 제어모듈(3)은 전송받은 영상을 8비트 Gray 영상으로 변환함으로써 각각의 픽셀들이 갖는 정보량을 절감시킨다(S20).
명암변환모듈(5)은 단계 20에서 획득된 8비트 Gray 영상에 Convert(60 to 120) 알고리즘을 적용하여 명암 값을 조절하는 방식으로 명암도 대비가 뚜렷하지 않은 번호판영역의 명암도 대비를 선명하게 변환함으로써 번호판영역의 인식률을 증가시킨다(S30).
이진화모듈(7)은 단계 30에 의해 획득된 영상에 오츠(Otsu) 알고리즘 이진화기법을 적용하여 영상의 픽셀들 각각을 이진화 시켜 정보의 처리량을 절감시킨다(S40).
에지검출 모듈(9)은 단계 40에서 획득된 이진화 영상(이진화 처리된 영상)에 윈도우 스캔(Window scan) 기법을 적용하여 수직성분의 에지들이 출력된 수직 에지영상을 출력한다(S50).
필터링 모듈(11)은 침식연산과 팽창연산을 조합하여 수행하는 열림 연산을 이용하여 단계50에서 획득된 수직 에지영상에 형성된 잡음(Noise)들을 제거한다(S60).
번호판영역 검출모듈(13)은 단계 60에서 획득된 잡음이 제거된 수직 에지영상을 분석하여 번호판영역이라고 판단할 수 있는 후보영역들을 선정하며, 이때 번호판영역 검출모듈(13)은 수직 및 수평 에지 히스토그램을 생성한 후 각 라인별로 수직 및 수평 에지를 합산한 누적 값의 크기에 따라 우선순위를 부여하며, 우선순위가 높은 순서대로 누적 값이 설정값(TH4) 보다 이상이면 해당 영역을 후보영역으로 선정하며, 선정된 후보영역들 중에서 후보영역들이 영상 내에서 형성된 위치가 하부일수록 우선순위를 재부여한다(S70).
번호판영역 검증모듈(15)은 단계 70에서 선정된 후보영역들에 2가지의 검증단계를 수행하여 후보영역들 중 최종 번호판영역을 검출하며, 이때 번호판영역의 검출은 전술하였던 바와 같이 영상에서 후보영역이 형성된 위치를 이용한 검증(후보영역이 영상의 하부에 위치하는지를 검증), 번호판 테두리의 세로라인 검색을 이용한 검증 방식을 통해 후보영역들 중 번호판영역을 검출하며, 검출된 번호판영역은 명암의 분포도를 이용하여 번호판이 일반차량용 번호판인지 영업차량용 번호판인지를 판단하며, 만약 번호판이 일반차량용 번호판인 경우 번호판영역 검증모듈(15)은 번호판이 구형 번호판(녹색 번호판)인지 신형 번호판(흰색 번호판)인지를 판단한다.(S80).
1:번호판영역 검출 장치 2:제어부
3:제어모듈 5:명암변화모듈
7:이진화모듈 9:에지검출모듈
10:일반 구형 번호판 11:필터링
13:번호판영역 검출모듈 15:번호판영역 검증모듈
20:일반 신형 번호판 30:영업차량용 번호판
100:종래의 잡음 제거장치 151:위치판단모듈
153:세로테두리 검색모듈 155:번호판 종류 판단모듈

Claims (13)

  1. 카메라의 촬영에 의해 획득된 영상을 입력받아 입력영상으로부터 차량의 번호판영역을 검출하는 번호판영역 검출 장치에 있어서:
    상기 입력영상의 픽셀들의 계조값을 기 설정된 제1 설정값(TH1)의 이상과 미만에 대해 각각 백과 흑에 대응하는 이진화 값으로 처리하는 이진화모듈;
    상기 이진화 처리된 영상을 3X3 크기를 갖는 연속된 제1윈도우와 제2윈도우로 스캔(Scan)하여 상기 제1윈도우와 상기 제2윈도우에 속하는 9개의 픽셀들의 값들을 각각 합산한 합산값들의 차이값의 절대값이 기 설정된 제2 설정값(TH2)보다 이상이면 상기 제1윈도우와 상기 제2윈도우에 해당되는 픽셀들에 에지가 존재한다고 판단하는 윈도우 스캔 기법을 이용하여 에지영상을 획득하는 에지 검출모듈;
    상기 에지영상을 통해 번호판영역을 검출하는 검출모듈을 포함하는 것을 특징으로 하는 번호판영역 검출장치.
  2. 청구항 1에서, 상기 윈도우 스캔 기법은 상기 제1윈도우와 상기 제2윈도우의 합산값들의 차이값의 절대값이 상기 제2 설정값(TH2)보다 이상일 때 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 크면 상기 제2윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하며, 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 작으면 상기 제1윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하는 것을 특징으로 하는 번호판영역 검출 장치.
  3. 청구항 1에서, 상기 이진화모듈은 오츠(Otsu) 알고리즘 기법을 적용하여 상기 입력영상을 이진화 처리하는 것을 특징으로 하는 번호판영역 검출 장치.
  4. 청구항 1에서, 상기 검출모듈은 상기 에지영상의 히스토그램을 생성한 후 상기 에지의 밀집도가 기 설정된 제3 설정값(TH3)보다 이상이면 상기 밀집도가 형성된 영역을 후보영역으로 선정하며, 상기 밀집도가 상기 제3 설정값(TH3)보다 미만이면 상기 밀집도가 형성된 영역을 비 후보영역으로 선정하는 하는 것을 특징으로 하는 번호판영역 검출 장치.
  5. 청구항 4에서, 상기 검출모듈은 상기 후보영역들을 선정하면 상기 후보영역들이 상기 에지영상 내에 형성된 위치를 파악한 후 상기 후보영역들의 위치가 하부에 가까울수록 우선순위를 부여하며,
    상기 부여된 우선순위에 따라 검증을 수행하되 상기 에지가 세로로 연결되어 있는 연결성을 조사하여 상기 세로로 연결된 에지들이 상기 번호판의 세로테두리 라인이라고 판단할 수 있는 범위를 지정하는 제4 설정값(TH4)보다 이상이면 상기 세로로 연결된 에지들을 상기 번호판의 세로테두리 라인이라고 판단하며, 상기 세로로 연결된 에지들이 상기 세로테두리 라인이라고 판단하면 동일한 방법으로 상기 번호판의 타측 세로테두리 라인까지 검색하여 상기 타측 세로테두리 라인까지 검색된 후보영역들 중 상기 우선순위가 높은 후보영역을 상기 번호판영역으로 결정하는 것을 특징으로 하는 번호판영역 검출 장치.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서, 상기 카메라로부터 입력영상을 전송받으면 다음의 수학식 1에 의하여 정의되는 Convert(X) 함수에 의해 픽셀의 계조값이 60 미만이면 상기 픽셀의 계조값을 'low'레벨로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 'high'레벨로 변환하며, 명암 변환된 영상을 상기 이진화모듈로 전송하는 명암변화모듈을 더 포함하는 것을 특징으로 하는 번호판영역 검출 장치.
    수학식 1
    Figure 112011023559213-pat00010
  7. 청구항 6에서, 상기 입력영상을 전송받으면 상기 입력영상을 8비트 Gray 영상으로 크기 변환하며, 상기 8비트 Gray 영상은 상기 명암변환모듈로 전송되는 것을 특징으로 하는 번호판영역 검출 장치
  8. 카메라로부터 촬영된 입력영상을 전송받은 제 1단계;
    상기 입력영상의 픽셀들 각각의 계조값을 기 설정된 제1 설정값(TH1)의 이상과 미만에 대해 각각 흑과 백으로 대응하는 이진화 값으로 처리하는 제 2단계;
    상기 이진화 처리된 영상을 3X3 크기를 갖는 연속된 제1윈도우와 제2윈도우로 스캔(Scan)하여 상기 제1윈도우와 상기 제2윈도우에 속하는 9개의 픽셀들의 값들을 각각 합산한 합산값들의 차이값의 절대값이 기 설정된 제2 설정값(TH2)보다 이상이면 상기 제1윈도우와 상기 제2윈도우에 해당되는 픽셀들에 에지가 존재한다고 판단하는 윈도우 스캔 기법을 이용하여 에지영상을 획득하는 제 3단계;
    상기 에지영상을 통해 번호판영역을 검출하는 제 4단계를 포함하는 것을 특징으로 하는 번호판영역 검출 방법.
  9. 청구항 8에서, 상기 제 3단계는 상기 제1윈도우와 상기 제2윈도우의 합산값들의 차이값의 절대값이 상기 제2 설정값(TH2)보다 이상일 때 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 크면 상기 제2윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하며, 상기 제1윈도우의 합산값이 상기 제2윈도우의 합산값보다 작으면 상기 제1윈도우에 해당되는 픽셀들에 상기 에지가 존재한다고 판단하는 것을 특징으로 하는 번호판영역 검출 방법.
  10. 청구항 9에서, 상기 제 2단계는 상기 카메라로부터 입력영상을 전송받으면 다음의 수학식 2에 의하여 정의되는 Convert(X) 함수를 이용하여 픽셀의 계조값이 60 미만이면 상기 픽셀의 계조값을 'low' 레벨로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 'high' 레벨로 변환하는 것을 특징으로 하는 번호판영역 검출 방법.
    수학식 2
    Figure 112011023559213-pat00011
  11. 청구항 8에서, 상기 제 4단계는 상기 에지영상의 에지 히스토그램을 생성한 후 상기 에지의 밀집도가 기 설정된 제3 설정값(TH3)보다 이상이면 상기 밀집도가 형성된 영역을 후보영역으로 선정하며, 상기 밀집도가 상기 제3 설정값(TH3)보다 미만이면 상기 밀집도가 형성된 영역을 비 후보영역으로 선정하는 하는 것을 특징으로 하는 번호판영역 검출 방법.
  12. 청구항 11에서, 상기 제 4단계는 상기 후보영역들을 선정하면 상기 후보영역들이 상기 에지영상 내에 형성된 위치를 파악한 후 상기 후보영역들의 위치가 하부에 가까울수록 우선순위를 부여하며,
    상기 부여된 우선순위에 따라 검증을 수행하되 상기 에지가 세로로 연결되어 있는 연결성을 조사하여 상기 세로로 연결된 에지들이 상기 번호판의 세로테두리 라인이라고 판단할 수 있는 범위를 지정하는 제4 설정값(TH4)보다 이상이면 상기 세로로 연결된 에지들을 상기 번호판의 세로테두리 라인이라고 판단하며, 상기 세로로 연결된 에지들이 상기 세로테두리 라인이라고 판단하면 동일한 방법으로 상기 번호판의 타측 세로테두리 라인까지 검색하여 상기 타측 세로테두리 라인까지 검색된 후보영역들 중 상기 우선순위가 높은 후보영역을 상기 번호판영역으로 결정하는 것을 특징으로 하는 번호판영역 검출 방법.
  13. 청구항 12에서, 상기 제 1단계와 상기 제 2단계 사이에는 상기 입력영상의 픽셀들 각각의 계조값이 60 미만이면 상기 픽셀의 계조값을 '0'으로, 상기 픽셀의 계조값이 120 이상이면 상기 픽셀의 계조값을 '255'로 변환하는 명암변환단계를 더 포함하는 것을 특징으로 하는 번호판영역 검출 방법.
KR1020110029502A 2011-03-31 2011-03-31 번호판영역 검출을 위한 전처리 방법 및 장치 KR101224164B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110029502A KR101224164B1 (ko) 2011-03-31 2011-03-31 번호판영역 검출을 위한 전처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110029502A KR101224164B1 (ko) 2011-03-31 2011-03-31 번호판영역 검출을 위한 전처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120111153A KR20120111153A (ko) 2012-10-10
KR101224164B1 true KR101224164B1 (ko) 2013-01-21

Family

ID=47281890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110029502A KR101224164B1 (ko) 2011-03-31 2011-03-31 번호판영역 검출을 위한 전처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101224164B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116266A (ko) * 2013-03-21 2014-10-02 청주대학교 산학협력단 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템
KR20220157163A (ko) * 2021-05-20 2022-11-29 한국전자기술연구원 야간 해상 환경에서 선박 내 등화 식별 방법 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101282663B1 (ko) * 2012-10-17 2013-07-12 최종기 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법
KR102021966B1 (ko) * 2012-10-23 2019-11-04 엘지디스플레이 주식회사 패널 외관 검사장치 및 이를 이용한 검사방법
KR102008283B1 (ko) * 2019-01-23 2019-08-07 (주)토페스 번호판인식방법 및 이를 수행하는 번호판인식장치
CN110880078B (zh) * 2019-11-25 2023-06-16 云南昆船电子设备有限公司 一种卷包生产换牌控制方法及计算机程序产品
CN112070081B (zh) * 2020-08-20 2024-01-09 广州杰赛科技股份有限公司 一种基于高清视频的智能化车牌识别方法
KR102311488B1 (ko) * 2021-04-08 2021-10-08 변병오 바디 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
KR102407315B1 (ko) * 2021-09-30 2022-06-13 주식회사 라온에이치씨 번호판 및 차량 인식의 하이브리드 방식에 기반한 주차 관제 시스템 및 이를 이용한 주차 관제 방법
CN115063375B (zh) * 2022-02-18 2024-06-04 厦门中翎易优创科技有限公司 一种对排卵试纸检测结果进行自动分析的图像识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339017A (ja) 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
KR20030038014A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 입력영상에서 대상물체의 특징패턴을 이용한 특정영역추출방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339017A (ja) 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
KR20030038014A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 입력영상에서 대상물체의 특징패턴을 이용한 특정영역추출방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116266A (ko) * 2013-03-21 2014-10-02 청주대학교 산학협력단 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템
KR102007298B1 (ko) * 2013-03-21 2019-08-06 청주대학교 산학협력단 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템
KR20220157163A (ko) * 2021-05-20 2022-11-29 한국전자기술연구원 야간 해상 환경에서 선박 내 등화 식별 방법 및 시스템
KR102513414B1 (ko) * 2021-05-20 2023-03-23 한국전자기술연구원 야간 해상 환경에서 선박 내 등화 식별 방법 및 시스템

Also Published As

Publication number Publication date
KR20120111153A (ko) 2012-10-10

Similar Documents

Publication Publication Date Title
KR101224164B1 (ko) 번호판영역 검출을 위한 전처리 방법 및 장치
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
KR101546700B1 (ko) 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
US9245198B2 (en) Object recognition by comparison of patterns against map of image
JP2007316997A (ja) 車種判別プログラムおよび車種判別装置
WO2014128688A1 (en) Method, system and software module for foreground extraction
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
KR101051569B1 (ko) 영상 잡음 제거 장치 및 방법
JP2012038318A (ja) ターゲット検出方法及び装置
KR101549495B1 (ko) 문자 추출 장치 및 그 방법
Wang et al. Car license plate detection based on MSER
US8306335B2 (en) Method of analyzing digital document images
WO2020130799A1 (en) A system and method for licence plate detection
WO2013102797A1 (en) System and method for detecting targets in maritime surveillance applications
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
JPWO2013133086A1 (ja) 白線検出装置、白線検出フィルタ装置及び白線検出方法
US11037266B2 (en) Attached substance detection device and attached substance detection method
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
US10997743B2 (en) Attachable matter detection apparatus
CN110363192B (zh) 物件影像辨识系统及物件影像辨识方法
JP3906221B2 (ja) 画像処理方法及び画像処理装置
Cika et al. Vehicle license plate detection and recognition using symbol analysis

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 7

R401 Registration of restoration