KR20210079180A - 차량 번호판 인식 방법 및 장치 - Google Patents

차량 번호판 인식 방법 및 장치 Download PDF

Info

Publication number
KR20210079180A
KR20210079180A KR1020200133664A KR20200133664A KR20210079180A KR 20210079180 A KR20210079180 A KR 20210079180A KR 1020200133664 A KR1020200133664 A KR 1020200133664A KR 20200133664 A KR20200133664 A KR 20200133664A KR 20210079180 A KR20210079180 A KR 20210079180A
Authority
KR
South Korea
Prior art keywords
vehicle
license plate
data
algorithm
image
Prior art date
Application number
KR1020200133664A
Other languages
English (en)
Inventor
이윤주
박세호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20210079180A publication Critical patent/KR20210079180A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • G06K9/3258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • G06K9/46
    • G06K9/6201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06K2209/01
    • G06K2209/15

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 번호판 인식 방법이 제공된다. 상기 방법은 수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하는 단계; 상기 차량의 현재 속도에 기반하여 상기 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하는 단계; 및 상기 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 상기 입력 데이터와 미리 준비된 학습 데이터를 대상으로 상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계를 포함하되, 상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계는, 상기 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 상기 입력 데이터를 설정한다.

Description

차량 번호판 인식 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZINF VEHICLE LICENSE PLATE}
본 발명은 차량 번호판 인식 방법 및 장치에 관한 것으로, 구체적으로는 수집된 이미지의 해상도를 조절하여 차량 번호판을 추출하고, 차량의 현재 속도에 기초하여 문자 인식을 위한 알고리즘을 선택하여 차량 번호판의 문자를 인식하는 방법 및 장치에 관한 것이다.
자동차 번호판 자동 검출 및 인식 기술은 ITS(Intelligent Transport System)을 이루는 핵심 기술로서 주정차 관리, 교통 신호 위반, 범죄 차량 검출 등 다양한 응용 분야에서 사용되고 있으며, 인식률이 높은 번호판 인식 알고리즘을 개발하기 위해 많은 연구가 수행되고 있다.
기존의 국내외에서 개발된 문자 부분의 에지의 연결에 기반을 둔 신호처리 기법 알고리즘이나, 훈련에 기반한 번호 검출 기법 등은 주로 번호판 검출의 정확도를 높이는 방법 위주로 초점이 맞춰져 있었다.
이는 이전의 국내 번호판이 가로로 긴 번호판이 없던 시절에는 적합한 방법이었으나, 가로로 긴 번호판이 등장하고, 2019년 9월부터 새로은 8자리 신규 번호판으로 변경됨에 따라, 낮은 정확도 및 긴 처리시간을 요하는 문제가 있다.
본 발명의 실시예는 차량의 번호판을 검출하기 위하여 차량 이미지의 원본 해상도를 감소시켜 검출 속도를 향상시키고, 동시에 문자 인식 단계에서는 원본 해상도록 복원시킨 후 차량 속도에 기초한 알고리즘을 선택하여 차량 번호판의 문자를 인식하는 차량 번호판 인식 방법 및 장치를 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 차량 번호판 인식 방법은 수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하는 단계; 상기 차량의 현재 속도에 기반하여 상기 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하는 단계; 및 상기 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 상기 입력 데이터와 미리 준비된 학습 데이터를 대상으로 상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계를 포함한다. 이때, 상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계는, 상기 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 상기 입력 데이터를 설정한다.
본 발명의 일부 실시예에서, 수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하는 단계는, 상기 해상도가 감소된 상기 이미지로부터 소정의 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 단계; 및 상기 설정된 관심 영역으로부터 상기 차량 번호판을 검출하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 차량의 현재 속도에 기반하여 상기 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하는 단계는, 상기 차량 속도가 미리 설정된 제1 속도 미만인 경우 상기 특징 비교 알고리즘을 선택하고, 상기 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 상기 픽셀 비교 알고리즘을 선택할 수 있다.
본 발명의 일부 실시예에서, 상기 검출된 번호판의 문자를 인식하는 단계는, 상기 학습 데이터로부터 픽셀 정보를 포함하는 특징 데이터를 추출하는 단계; 상기 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장하는 단계; 상기 특징 데이터 및 분류 데이터에 기초하여 상기 픽셀 비교 알고리즘인 KNN(K-Nearest Neighbor) 알고리즘을 학습시키는 단계; 및 상기 학습된 KNN 알고리즘에 상기 입력 데이터를 입력하여 상기 학습 데이터와 가장 유사한 문자를 인식 결과로 반환하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 검출된 번호판의 문자를 인식하는 단계는, 상기 학습 데이터에 HOG(Histogram of Oriented Gradients) 설명자를 이용하여 픽셀 정보를 포함하는 특징 데이터를 추출하는 단계; 상기 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장하는 단계; 상기 특징 데이터 및 분류 데이터에 기초하여 상기 특징 비교 알고리즘인 SVM(Support Vector Machine) 알고리즘을 학습시키는 단계; 및 상기 학습된 SVM 알고리즘에 상기 입력 데이터를 입력하여 상기 입력 데이터에 상응하는 카테고리를 문자 인식 결과로 반환하는 단계를 포함할 수 있다.
또한, 본 발명의 제2 측면에 따른 차량 번호판 인식 장치는 촬영된 차량의 이미지를 수집하는 통신모듈, 상기 수집된 차량의 이미지로부터 차량 번호판을 검출하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하고, 상기 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 상기 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 상기 입력 데이터와 미리 준비된 학습 데이터를 대상으로 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하여 상기 검출된 번호판의 문자를 인식하되, 상기 차량 속도가 미리 설정된 제1 속도 미만인 경우 상기 특징 비교 알고리즘을 선택하고, 상기 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 상기 픽셀 비교 알고리즘을 선택한다.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 차량의 현재 속도에 기반하여 상기 픽셀 비교 알고리즘을 선택한 경우, 상기 학습 데이터로부터 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장한 후, 상기 특징 데이터 및 분류 데이터에 기초하여 상기 픽셀 비교 알고리즘인 KNN(K-Nearest Neighbor) 알고리즘을 학습시키고, 상기 학습된 KNN 알고리즘에 상기 입력 데이터를 입력하여 상기 학습 데이터와 가장 유사한 문자를 인식 결과로 반환할 수 있다.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 차량의 현재 속도에 기반하여 상기 특징 비교 알고리즘을 선택한 경우, 상기 학습 데이터에 HOG(Histogram of Oriented Gradients) 설명자를 이용하여 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장한 후, 상기 특징 데이터 및 분류 데이터에 기초하여 상기 특징 비교 알고리즘인 SVM(Support Vector Machine) 알고리즘을 학습시키고, 상기 학습된 SVM 알고리즘에 상기 입력 데이터를 입력하여 상기 입력 데이터에 상응하는 카테고리를 문자 인식 결과로 반환할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 전체 차량 이미지를 스캔 및 처리하여 연산 시간이 오래 걸리는 종래 기술과는 달리, 해상도 조절 및 선택적 알고리즘 적용을 통해, 차량 번호판의 인식 과정 중 차량 번호판을 검출하는 과정과 번호판의 문자를 인식하는 과정에서의 연산량을 줄임과 동시에 처리 속도를 향상시킬 수 있다는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량 번호판 인식 방법의 순서도이다.
도 2는 차량 번호판을 검출하는 과정을 설명하기 위한 일 예를 도시한 도면이다.
도 3은 관심 영역을 설정한 일 예를 도시한 도면이다.
도 4는 입력 데이터와 학습 데이터의 일 예시를 도시한 도면이다.
도 5는 차량 번호판의 문자 인식을 위한 학습 데이터의 일 예시를 도시한 도면이다.
도 6은 픽셀 비교 알고리즘에서의 특징 데이터 및 분류 데이터의 일 부분에 대한 예시를 도시한 도면이다.
도 7은 특징 비교 알고리즘에서의 특징 데이터 및 분류 데이터의 일 부분에 대한 예시를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량 번호판 인식 장치(100)를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량 번호판 인식 방법의 순서도이다.
한편, 도 1에 도시된 단계들은 차량 번호판 인식 장치(100)를 구현하는 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.
먼저, 서버는 수집된 차량의 이미지의 원본 해상도를 감소시켜 이미지로부터 차량 번호판을 검출한다(S110). 한편, 서버는 차량의 개별 이미지를 수집하고 이를 기반으로 차량 번호판을 검출할 수 있음은 물론, 카메라에 의해 촬영된 영상 중 일부를 캡쳐하는 방식을 통해 차량 이미지를 수집할 수도 있다.
도 2는 차량 번호판을 검출하는 과정을 설명하기 위한 일 예를 도시한 도면이다. 도 3은 관심 영역을 설정한 일 예를 도시한 도면이다.
일반적으로 차량 번호판 검출을 위해서는 전체 차량 이미지를 스캔하고 처리하기 때문에 연산 시간이 매우 오래 걸린다는 단점이 있다. 이를 개선하기 위하여, 본 발명의 일 실시예는 도 2에 도시된 바와 같이 차량 번호판 검출시에만 수집된 차량의 이미지의 원본 해상도를 감소시킨후, 해상도를 감소시킨 이미지를 대상으로 연산을 통해 차량 번호판을 검출한다.
차량 번호판 검출 과정에서는 문자와 유사한 데이터의 그룹을 찾아서 차량 번호판 후보군을 지정하기 때문에 해상도의 영향을 덜 받는다.
하지만, 차량 번호판의 문자를 인식하기 위해서는 해상도가 높을 경우 문자 인식률이 더욱 향상되기 때문에, 서버는 차량 번호판을 검출하는 단계 이후에 다시 이미지의 해상도를 원본 해상도로 복원시키게 된다.
한편, 본 발명의 일 실시예는 해상도가 감소된 이미지로부터 소정의 영역을 관심 영역(ROI, Region Of Interest)으로 설정하고, 설정된 관심 영역으로부터 차량 번호판을 검출할 수 있다.
예를 들어, 도 3의 (a)와 같이 1920Ⅹ1080의 원본 해상도를 갖는 이미지의 해상도를 1/2로 낮춘 후, 도 3의 (b)와 같이 500Ⅹ300에 해당하는 영역을 관심 영역으로 설정하였다. 먼저, 해상도가 1/2로 감소된 960Ⅹ540의 이미지를 처리할 경우 평균 연산 시간이 반으로 줄어들어 0.1초 소요되었다. 또한, 960Ⅹ540의 이미지 데이터 중 입력 영상 데이터의 전체를 처리하는 것이 아니라 이미지의 일부분을 차량 번호판 관심 영역으로 설정하여 차량 번호판을 검출한 결과, 평균 연산 시간은 0.03초가 소요되었다.
960Ⅹ540의 해상도를 갖는 이미지는 500Ⅹ300의 관심 영역을 갖도록 설정된 경우보다 약 3배 더 큰 해상도를 갖는 반면, 관심 영역을 설정한 경우보다 그 처리 시간은 약 3배 더 소요됨을 확인할 수 있다. 이와 같이, 본 발명의 일 실시예는 해상도 조절 및 관심 영역 설정을 통해 차량 번호판을 보다 빠르게 검출할 수 있다.
한편, 관심 영역 설정은 차량의 속도 정보에 기반하여 선택적으로 설정될 수도 있다. 예를 들어, 고속 주행의 경우 차량 번호판을 최종적으로 인식하기 위한 각 단계마다 연산량이 적은 방법을 사용해야 한다. 특히, 주행 차량의 경우 차량이 이동하는 중에 번호판을 인식해야 하므로, 관심 영역을 설정하는 것을 통해 연산량을 감소시켜 보다 빠른 번호판 인식을 가능하게 할 수 있다.
기존에는 주행 다차로를 전부 하나의 관심 영역으로 지정하였으며, 이 경우 카메라 앞에서 차선 변경시 이의 검출이 가능하였으나, 관심 영역이 다차로로 커질수록 연산 속도가 더 오래 걸린다는 단점이 있다.
따라서, 본 발명의 일 실시예는 차량 속도가 미리 설정된 제1 속도보다 더 큰 제2 속도 이상인 경우 관심 영역을 설정하여 차량 번호판 추출 과정을 수행할 수 있다. 이때, 설정되는 관심 영역의 크기는 속도에 반비례하거나, 미리 설정된 속도 등급에 따라 조절될 수 있다. 즉, 차량의 현재 속도가 빠를수록 더욱 빠른 차량 번호판 검출을 위해 관심 영역의 크기를 감소시킬 수 있으며, 차량 속도가 줄어들수록 관심 영역 크기를 증가시킬 수 있다. 차량 속도가 제2 속도 미만인 경우 카메라에 의해 촬영된 이미지 전체가 관심 영역으로 설정될 수 있다.
다음으로, 서버는 원본 해상도가 감소된 차량의 이미지를 다시 원본 해상도로 복원시키고(S120), 차량의 현재 속도에 기반하여 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택한다(S130).
그 다음, 서버는 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 입력 데이터와 미리 준비된 학습 데이터를 대상으로 선택된 알고리즘에 기초하여 검출된 번호판의 문자를 인식하게 된다(S140).
이때, 본 발명의 일 실시예에서 서버는 차량 속도가 미리 설정된 제1 속도 미만인 경우 픽셀 비교 알고리즘을 선택하고, 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 특징 비교 알고리즘을 선택할 수 있다.
여기에서, 제1 속도는 주차관리 시스템 등이 설치되어 차량이 저속으로 주행하는 환경에서 적용되는 속도를 의미하고, 제2 속도는 고속도로와 같이 고속 주행하는 환경에서 적용되는 속도를 의미한다. 서버는 저속으로 주행하는 차량의 경우 특징 비교 알고리즘을 적용하여 문자 인식 정확도를 높이는 방법을 사용하며, 고속으로 주행하는 차량의 경우 픽셀 비교 알고리즘을 적용하여 처리 속도를 높일 수 있다. 특히, 시속 180Km/h 이상과 같은 고속 주행시 차량 번호판을 인식하기 위해서는 차량 번호판 추출 단계, 문자 분할 및 인식을 위한 각 단계마다 연산량이 적은 방법을 사용해야 한다.
구체적으로 본 발명은 검출된 차량 번호판 이미지로부터 문자를 인식하기 위한 기계학습 알고리즘으로, 픽셀 비교 알고리즘과 특징 비교 알고리즘을 선택적으로 적용할 수 있다.
픽셀 비교 알고리즘은 입력 데이터와 가장 많이 일치하는 데이터를 찾아 해당 문자로 인식하는 방법이다. 비슷한 문자와 숫자는 오인식률이 높다는 단점을 가지고 있지만 반대로 연산 속도가 빠르다는 장점이 있다. 따라서, 본 발명의 일 실시예는 고속도로와 같은 고속 주행 상황에서는 픽셀 비교 알고리즘을 적용하여 빠르게 차량 번호판의 문자를 인식할 수 있다.
도 4는 입력 데이터와 학습 데이터의 일 예시를 도시한 도면이다.
도 4를 참조하면, 입력 데이터인 숫자 5와 가장 많이 일치하는 학습 데이터는 숫자 5로 확인할 수 있지만, 숫자 6의 경우도 숫자 5와 유사도가 95%로 높은 수치로 일치하는 경우가 발생할 수 있다. 따라서, 픽셀 비교 알고리즘은 입력 데이터가 너무 훼손되거나 일부 가려진 데이터일 경우 인식률이 떨어진다는 단점이 있다.
이를 보완하기 위하여, 본 발명의 일 실시예는 특징 비교 알고리즘을 이용할 수 있다. 특징 비교 알고리즘은 입력 데이터와 특징이 가장 일치하는 데이터를 찾아 문자로 인식하는 방법이다.
본 발명의 일 실시예는 문자의 특징을 추출하기 위하여 HOG(Histogram of Oriented Gradients) 설명자를 사용하였다. 여기에서 HOG 설명자는 픽셀 변화량의 각도와 크기를 고려하여 히스토그램 형태의 특징을 추출하는 방법이다.
특징 비교 알고리즘은 인식하고자 하는 문자의 특징을 추출하여 문자를 인식하기 때문에 연산 시간이 픽셀 비교 알고리즘에 비하여 오래 걸리는 단점이 있으나, 반대로 문자 인식 정확도가 높다는 장점이 있다.
도 5는 차량 번호판의 문자 인식을 위한 학습 데이터의 일 예시를 도시한 도면이다.
픽셀 비교 알고리즘과 특징 비교 알고리즘을 사용하여 문자를 인식하기 위해서는 인식하고자 하는 문자의 픽셀 정보 및 특징 정보를 학습하는 과정이 필요하다. 그리고 각 기계학습 알고리즘을 통해 인식하고자 하는 문자를 학습시켜야만 차량 번호판 인식 과정에서 문자 인식이 가능하다. 본 발명의 일 실시예에서는 다양한 언어를 학습시켜 여러 나라의 차량 번호판 인식에 사용할 수도 있으며, 도 5는 학습 데이터 중 국내 차량 번호판의 인식을 위한 학습 데이터를 도시한 것이다. 한편, 학습 데이터는 주행 자동차로부터 획득하거나 웹 데이터를 참고하여 수집할 수 있다.
일 실시예로, 서버는 픽셀 비교 알고리즘으로 KNN(K-Nearest Neighbor) 알고리즘을 사용할 수 있다.
구체적으로, 서버는 학습 데이터로부터 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 특징 데이터와 함께 하나의 파일 형태(예를 들어, XML)로 저장할 수 있다. 도 6은 픽셀 비교 알고리즘에서의 특징 데이터 및 분류 데이터의 일 부분에 대한 예시를 도시한 도면이다.
그 다음, 서버는 특징 데이터 및 분류 데이터에 기초하여 KNN 알고리즘을 학습시키고, 학습된 KNN 알고리즘에 입력 데이터를 입력하여 학습 데이터와 가장 유사한 문자를 인식 결과로 반환한다.
KNN 알고리즘에서의 훈련 데이터는 훈련 데이터의 특징과 항목 분류명을 저장하여 사용하며, 분류 단계에서는 사용자가 지정한 K 상수에서 가장 가까운 분류명을 할당함으로써 분류된다. 문자 인식을 위해 KNN 알고리즘을 사용할 경우, K는 1로 정의되어 기존 학습된 데이터와 가장 비슷한 문자 1개를 인식 결과로 반환하게 된다.
또 다른 실시예로, 서버는 특징 비교 알고리즘으로 SVM(Support Vector Machine) 알고리즘을 사용할 수 있다.
구체적으로, 서버는 학습 데이터에 상기 학습 데이터에 HOG(Histogram of Oriented Gradients) 설명자를 이용하여 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 특징 데이터와 함께 하나의 파일로 저장할 수 있다. 도 7은 특징 비교 알고리즘에서의 특징 데이터 및 분류 데이터의 일 부분에 대한 예시를 도시한 도면이다.
그 다음, 서버는 특징 데이터 및 분류 데이터에 기초하여 특징 비교 알고리즘인 SVM(Support Vector Machine) 알고리즘을 학습시키고, 학습된 SVM 알고리즘에 입력 데이터를 입력하여 입력 데이터에 상응하는 카테고리를 문자 인식 결과로 반환한다.
SVM 알고리즘은 기계학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도학습 모델이다. SVM 알고리즘은 훈련 데이터에서 새로운 데이터가 어떤 카테고리에 속할지를 판단할 수 있다. 또한, HOG 설명자를 통해 훈련한 문자 데이터에서 새로운 입력 데이터가 어떤 카테고리에 속할지를 판단하여 그 결과를 반환하며, 반환된 결과는 문자 인식 결과로 사용된다.
이와 같이, 본 발명의 일 실시예는 차량의 속도 정보에 기초하여 픽셀 비교 알고리즘과 특징 비교 알고리즘을 선택적으로 운용할 수 있어, 정밀 검출 또는 고속 검출을 용이하게 할 수 있다. 또한, 저속과 고속 주행의 중간 속도(예를 들어, 규정 속도)의 경우에는 픽셀 비교 알고리즘과 특징 비교 알고리즘을 혼합하여 사용하는 것도 가능하다.
한편, 상술한 설명에서, 단계 S110 내지 단계 S140 은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 7에 기술된 내용은 도 8의 차량 번호판 인식 장치(100)에도 적용된다.
이하에서는 본 발명의 일 실시예에 따른 차량 번호판 인식 장치(100)에 대하여 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 차량 번호판 인식 장치(100)를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 차량 번호판 인식 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 촬영된 차량의 이미지를 수집하며, 메모리(120)에는 수집된 차량의 이미지로부터 차량 번호판을 검출하기 위한 프로그램이 저장된다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 수집된 차량의 이미지의 원본 해상도를 감소시켜 이미지로부터 차량 번호판을 검출하고, 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 번호판이 검출된 차량의 이미지를 입력 데이터로 설정ㅎ한다. 그리고 입력 데이터와 미리 준비된 학습 데이터를 대상으로 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하여 상기 검출된 번호판의 문자를 인식한다. 이때, 프로세서(130)는 차량 속도가 미리 설정된 제1 속도 미만인 경우 특징 비교 알고리즘을 선택하고, 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 픽셀 비교 알고리즘을 선택한다.
이상에서 전술한 본 발명의 일 실시예에 따른 차량 번호판 인식 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 차량 번호판 인식 장치
110: 통신모듈
120: 메모리
130: 프로세서

Claims (8)

  1. 컴퓨터에 의해 수행되는 방법에 있어서,
    수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하는 단계;
    상기 차량의 현재 속도에 기반하여 상기 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하는 단계; 및
    상기 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 상기 입력 데이터와 미리 준비된 학습 데이터를 대상으로 상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계를 포함하되,
    상기 선택된 알고리즘에 기초하여 상기 검출된 번호판의 문자를 인식하는 단계는,
    상기 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 상기 입력 데이터를 설정하는 것인 차량 번호판 인식 방법.
  2. 제1항에 있어서,
    수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하는 단계는,
    상기 해상도가 감소된 상기 이미지로부터 소정의 영역을 관심 영역(ROI, Region Of Interest)으로 설정하는 단계; 및
    상기 설정된 관심 영역으로부터 상기 차량 번호판을 검출하는 단계를 포함하는 차량 번호판 인식 방법.
  3. 제1항에 있어서,
    상기 차량의 현재 속도에 기반하여 상기 차량 번호판의 문자 인식을 위한 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하는 단계는,
    상기 차량 속도가 미리 설정된 제1 속도 미만인 경우 상기 특징 비교 알고리즘을 선택하고, 상기 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 상기 픽셀 비교 알고리즘을 선택하는 것인 차량 번호판 인식 방법.
  4. 제1항에 있어서,
    상기 검출된 번호판의 문자를 인식하는 단계는,
    상기 학습 데이터로부터 픽셀 정보를 포함하는 특징 데이터를 추출하는 단계;
    상기 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장하는 단계;
    상기 특징 데이터 및 분류 데이터에 기초하여 상기 픽셀 비교 알고리즘인 KNN(K-Nearest Neighbor) 알고리즘을 학습시키는 단계; 및
    상기 학습된 KNN 알고리즘에 상기 입력 데이터를 입력하여 상기 학습 데이터와 가장 유사한 문자를 인식 결과로 반환하는 단계를 포함하는 차량 번호판 인식 방법.
  5. 제1항에 있어서,
    상기 검출된 번호판의 문자를 인식하는 단계는,
    상기 학습 데이터에 HOG(Histogram of Oriented Gradients) 설명자를 이용하여 픽셀 정보를 포함하는 특징 데이터를 추출하는 단계;
    상기 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장하는 단계;
    상기 특징 데이터 및 분류 데이터에 기초하여 상기 특징 비교 알고리즘인 SVM(Support Vector Machine) 알고리즘을 학습시키는 단계; 및
    상기 학습된 SVM 알고리즘에 상기 입력 데이터를 입력하여 상기 입력 데이터에 상응하는 카테고리를 문자 인식 결과로 반환하는 단계를 포함하는 차량 번호판 인식 방법.
  6. 촬영된 차량의 이미지를 수집하는 통신모듈,
    상기 수집된 차량의 이미지로부터 차량 번호판을 검출하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 수집된 차량의 이미지의 원본 해상도를 감소시켜 상기 이미지로부터 차량 번호판을 검출하고, 상기 원본 해상도가 감소된 차량의 이미지의 해상도를 다시 원본 해상도로 복원시켜 상기 번호판이 검출된 차량의 이미지를 입력 데이터로 설정하고, 상기 입력 데이터와 미리 준비된 학습 데이터를 대상으로 픽셀 비교 알고리즘 및 특징 비교 알고리즘 중 어느 하나를 선택하여 상기 검출된 번호판의 문자를 인식하되,
    상기 차량 속도가 미리 설정된 제1 속도 미만인 경우 상기 특징 비교 알고리즘을 선택하고, 상기 차량 속도가 미리 설정된 제1 속도보다 큰 제2 속도 이상인 경우 상기 픽셀 비교 알고리즘을 선택하는 것인 차량 번호판 인식 장치.
  7. 제6항에 있어서,
    상기 프로세서는 상기 차량의 현재 속도에 기반하여 상기 픽셀 비교 알고리즘을 선택한 경우, 상기 학습 데이터로부터 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장한 후, 상기 특징 데이터 및 분류 데이터에 기초하여 상기 픽셀 비교 알고리즘인 KNN(K-Nearest Neighbor) 알고리즘을 학습시키고, 상기 학습된 KNN 알고리즘에 상기 입력 데이터를 입력하여 상기 학습 데이터와 가장 유사한 문자를 인식 결과로 반환하는 것인 차량 번호판 인식 장치.
  8. 제6항에 있어서,
    상기 프로세서는 상기 차량의 현재 속도에 기반하여 상기 특징 비교 알고리즘을 선택한 경우, 상기 학습 데이터에 HOG(Histogram of Oriented Gradients) 설명자를 이용하여 픽셀 정보를 포함하는 특징 데이터를 추출하고, 특징 데이터를 분류하기 위한 문자의 유니코드가 저장되어 있는 분류 데이터를 상기 특징 데이터와 함께 하나의 파일로 저장한 후, 상기 특징 데이터 및 분류 데이터에 기초하여 상기 특징 비교 알고리즘인 SVM(Support Vector Machine) 알고리즘을 학습시키고, 상기 학습된 SVM 알고리즘에 상기 입력 데이터를 입력하여 상기 입력 데이터에 상응하는 카테고리를 문자 인식 결과로 반환하는 것인 차량 번호판 인식 장치.
KR1020200133664A 2019-12-19 2020-10-15 차량 번호판 인식 방법 및 장치 KR20210079180A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190170684 2019-12-19
KR20190170684 2019-12-19

Publications (1)

Publication Number Publication Date
KR20210079180A true KR20210079180A (ko) 2021-06-29

Family

ID=76626912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200133664A KR20210079180A (ko) 2019-12-19 2020-10-15 차량 번호판 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210079180A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414845B1 (ko) 2022-02-15 2022-06-30 주식회사 페르미온 가짜 번호판 식별 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414845B1 (ko) 2022-02-15 2022-06-30 주식회사 페르미온 가짜 번호판 식별 방법 및 시스템

Similar Documents

Publication Publication Date Title
Fujiyoshi et al. Deep learning-based image recognition for autonomous driving
Hsu et al. Robust license plate detection in the wild
Lin et al. An efficient license plate recognition system using convolution neural networks
Ruta et al. Real-time traffic sign recognition from video by class-specific discriminative features
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
CN101221623B (zh) 一种物体类型的在线训练和识别方法及其系统
CN103208008A (zh) 基于机器视觉的交通视频监控目标检测快速适应方法
CN111353491B (zh) 一种文字方向确定方法、装置、设备及存储介质
CN109063790B (zh) 对象识别模型优化方法、装置和电子设备
Hatolkar et al. A survey on road traffic sign recognition system using convolution neural network
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
CN111291749B (zh) 手势识别方法、装置及机器人
Khazaee et al. A real-time license plate detection method using a deep learning approach
Ganapathy et al. A Malaysian vehicle license plate localization and recognition system
KR20210079180A (ko) 차량 번호판 인식 방법 및 장치
Pirgazi et al. An efficient robust method for accurate and real-time vehicle plate recognition
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Kluwak et al. ALPR-extension to traditional plate recognition methods
US20200279103A1 (en) Information processing apparatus, control method, and program
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Venkatesh et al. An intelligent traffic management system based on the Internet of Things for detecting rule violations
Puri et al. Ssd based vehicle number plate detection and recognition