KR20220121494A - 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템 - Google Patents

차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템 Download PDF

Info

Publication number
KR20220121494A
KR20220121494A KR1020210025645A KR20210025645A KR20220121494A KR 20220121494 A KR20220121494 A KR 20220121494A KR 1020210025645 A KR1020210025645 A KR 1020210025645A KR 20210025645 A KR20210025645 A KR 20210025645A KR 20220121494 A KR20220121494 A KR 20220121494A
Authority
KR
South Korea
Prior art keywords
license plate
resolution
image
low
vehicle number
Prior art date
Application number
KR1020210025645A
Other languages
English (en)
Inventor
원인수
신은영
김경화
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210025645A priority Critical patent/KR20220121494A/ko
Publication of KR20220121494A publication Critical patent/KR20220121494A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량번호 인식 시스템이 저해상도 영상에서 차량번호를 인식하는 방법으로서, 하나의 차량에 대해 촬영된 저해상도 영상과 고해상도 영상을 수신하고, 고해상도 영상에서 추출한 고해상도 차량번호판 이미지와 고해상도 차량번호, 저해상도 영상에서 추출한 저해상도 차량번호판 이미지와 저해상도 차량번호를 학습 데이터로 생성한다. 학습 데이터를 이용하여 신경망 모델을 학습시킨 후, 정보 수집 수단으로부터 수신한 저해상도 영상에서 차량번호를 추출한다. 이때, 학습된 신경망 모델은, 저해상도 차량번호판 이미지가 입력되면 고해상도 차량번호판 이미지를 출력하도록 학습된 제1 신경망 모델과 저해상도 차량번호가 고해상도 차량번호에 매핑되도록 학습된 제2 신경망 모델을 포함한다.

Description

차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템{Method for recognizing a license plate number using license plate number recognizer and license plate number recognition system implementing the same}
본 발명은 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템에 관한 것이다.
일반적으로 차량의 출입을 통제하는 차량번호 자동 인식 시스템은, 출입구에 루프코일 센서를 부착하여 이용하거나 트리거 방식을 사용하여, 순간 촬영된 영상으로부터 차량번호를 인식한다. 이때, 정지 영상에서 차량번호가 인식되지 않으면, 차량번호가 인식될 때까지 재인식을 시도해야 되는 문제가 있다.
이를 보완하기 위해 동영상 방식의 차량번호 자동 인식 시스템이 등장하였다. 동영상 방식의 차량번호 자동 인식 시스템은 차량번호의 인식 정확도를 보장하기 위해 차량 번호판의 최소 크기(영상 픽셀)를 규정하고 있다. 따라서 근접하여 차량 번호판을 촬영하거나, 반드시 고해상도의 카메라를 사용해야 하는 문제가 있다.
최근 출입통제용 이외에 CCTV나 블랙박스 등을 이용하여, 방범이나 수사의 목적으로 차량번호 인식에 대한 요구가 늘어가고 있다. 그러나, 10m 이상의 원거리에서 획득되는 차량번호판의 크기가 작아, 차량번호의 인식이 아예 불가하거나 인식률이 현격히 낮아지는 문제가 있다.
따라서, 차량번호판 인식률을 향상시키기 위한 방법으로 딥러닝 기반으로, 저해상도의 차량번호판을 고해상도로 변환하는 초고해상화(Super Resolution) 학습 방법이 연구되었다. 딥러닝 기반의 초고해상화 학습 방법은 저해상도 영상은 있으나 정답이 되는 고해상도 영상이 없기 때문에, 영상의 특성을 학습하는데 한계가 있다.
이러한 문제를 극복하기 위해, 정답인 고해상도 영상 확보 후, 최근접 보간법(Nearest neighbor interpolation), 양선형 보간법(Bilinear interpolation) 등 다양한 방법들을 이용하여 저해상도로 변환한다. 그리고 확보한 고해상도 영상과 생성한 저해상도 영상을 쌍으로 학습하여, 저해상도 영상을 고해상도 영상으로 복원하는 학습 방법을 사용하고 있다.
이러한 초고해상화 학습 방법은 영상의 왜곡이 적은 애니메이션이나 미디어 영상에는 효과가 있어, 다양한 서비스로 제공될 수 있다. 하지만 CCTV나 블랙박스, 드론 등을 이용하여 실생활에서 수집한 영상은, 조도의 변화, 움직임에 따른 영상 흐려짐, 센서 해상도에 따른 영상 뭉침 현상 등 다양한 왜곡과 열화가 발생할 수 밖에 없으며, 비교적 왜곡이 적은 미디어 콘텐츠와는 다른 특성을 갖는다.
따라서 종래의 초고해상화 학습 방법을 실생활에서 수집한 영상에 반영하면 단순히 해상도를 확대하는 수준에 그칠 뿐, 차량번호 인식 등의 정확도 향상에는 한계가 발생한다.
따라서, 본 발명은 차량번호판을 대상으로 하나의 카메라를 통해 저해상도와 고해상도의 영상을 동시에 취득하여 이를 학습 데이터로 사용하여 차량번호 인식 모듈을 초고해상화 학습 방법으로 학습시키며, 학습된 모듈을 실제 환경에 적용할 수 있는 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 차량번호 인식 시스템이 저해상도 영상에서 차량번호를 인식하는 방법으로서,
하나의 차량에 대해 촬영된 학습용 저해상도 영상과 학습용 고해상도 영상을 수신하는 단계, 상기 학습용 고해상도 영상에서 추출한 고해상도 차량번호판 이미지와 고해상도 차량번호, 상기 학습용 저해상도 영상에서 추출한 저해상도 차량번호판 이미지와 저해상도 차량번호를 학습 데이터로 생성하는 단계, 상기 학습 데이터를 이용하여 차량번호 인식기를 학습시키는 단계, 그리고 정보 수집 수단으로부터 분석 대상 영상을 수신하고, 학습된 차량번호 인식기를 이용하여 상기 분석 대상 영상에 포함된 차량번호를 추출하는 단계를 포함하고, 상기 학습된 차량번호 인식기는, 상기 분석 대상 영상이 입력되면 상기 분석 대상 영상의 해상도보다 향상된 고해상도 영상으로 변환하고, 변환된 고해상도 영상으로부터 차량번호판 이미지를 출력하는 제1 신경망 모델, 그리고 상기 제1 신경망 모델에서 출력한 차량번호판 이미지에서 문자들을 추출하고, 추출한 문자들에 기 매핑되어 있는 정답 문자들을 찾아 차량번호로 추출하는 제2 신경망 모델을 포함한다.
상기 학습 데이터로 생성하는 단계는, 상기 고해상도 영상에서 상기 고해상도 차량번호판 이미지를 추출하고, 추출한 고해상도 차량번호판 이미지의 제1 위치 좌표를 생성하는 단계, 상기 고해상도 영상의 크기와 상기 저해상도 영상의 크기를 각각 확인하고, 상기 고해상도 영상의 크기 대비 상기 저해상도 영상의 크기의 비율을 구하는 단계, 그리고 상기 제1 위치 좌표에 상기 비율을 반영하여, 상기 저해상도 영상에서 추출한 저해상도 차량번호판 이미지의 제2 위치 좌표를 계산하는 단계를 포함할 수 있다.
상기 학습 데이터로 생성하는 단계는, 상기 고해상도 차량번호판 이미지와 상기 저해상도 차량번호판 이미지를 쌍으로 저장하는 단계를 더 포함할 수 있다.
상기 학습 데이터로 생성하는 단계는, 상기 고해상도 차량번호판 이미지에서 숫자와 문자를 추출하고, 상기 추출한 숫자와 문자의 위치 정보를 확인하는 단계, 상기 위치 정보를 이용하여 상기 저해상도 차량번호판 이미지에서 숫자와 문자를 추출하는 단계, 그리고 상기 저해상도 차량번호판 이미지에서 추출한 숫자와 문자가 상기 고해상도 차량번호판 이미지에서 추출한 숫자와 문자에 매핑하는 단계를 더 포함할 수 있다.
상기 고해상도 차량번호판 이미지에서 추출한 숫자와 문자의 인덱스로 정렬하고, 상기 저해상도 차량번호판 이미지에서 추출한 숫자와 문자를 정렬한 숫자와 문자에 매핑되도록 저장하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 실제 환경에서 발생하는 다양한 영상 변형과 왜곡을 학습하기 위해 다해상도 영상을 수집하고, 고해상도와 저해상도 영상을 동시에 저장하여 이를 이용하여 문자 인식 모델을 학습시켜, 차량번호판의 배경과 문자 영역을 최대한 분리하여 정보력을 복원할 수 있다.
또한, 초고해상화 결과를 활용하여 기존의 문자 인식이 아닌 초고해상화 결과를 추가로 학습하여, 변형, 왜곡된 문자들도 인식할 수 있다.
또한, 원거리, 저해상도에서 입수한 영상에서의 차량번호판 인식률을 증대시킬 수 있고, 방범용 CCTV, 블랙박스, 드론 등에서 촬영한 영상에서도 차량번호판 인식이 가능하여 보다 다양한 영역에서 차량번호판 인식 기술을 사용할 수 있다.
도 1은 본 발명의 실시예에 따른 차량번호 인식 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따라 차량번호 인식 시스템이 차량번호를 인식하는 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따라 차량번호 인식 시스템이 신경망 차량번호 인식기를 학습시키는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 제1 위치 좌표를 이용하여 제2 위치 좌표를 확인하는 예시도이다.
도 5는 본 발명의 실시예에 따라 저해상도 영상에서 차량번호판을 복원한 예시도이다.
도 6은 본 발명의 실시예에 따라 저해상도 영상에서 추출한 차량번호판의 해상도를 확대한 결과의 예시도이다.
도 7은 본 발명의 실시예에 따라 문자를 인덱스로 저장한 예시도이다.
도 8은 본 발명의 실시예에 따른 차량번호 인식 시스템의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따라 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차량번호 인식 시스템이 적용된 환경의 예시도이다.
도 1에 도시된 바와 같이, 차량번호 인식 시스템(100)은 CCTV, 드론, 블랙박스 등 다양한 형태의 정보 수집 수단(200)이 실생활에서 수집한 영상을 입수하여, 영상 내에서 차량번호판을 확인하고 확인한 차량번호판 내에서 차량번호를 추출한다. 여기서, 정보 수집 수단(200)이 입수한 영상은 저해상도 영상일 수도 있고, 고해상도 영상일 수도 있다.
차량번호 인식 시스템(100)은 차량번호 인식기(120)를 이용하여 저해상도 영상을 고해상도 영상으로 변환한다. 그리고 변환한 고해상도 영상에서 고해상도 차량번호판 이미지를 추출한다. 그리고, 차량번호 인식기(120)는 추출한 고해상도 차량번호판 이미지에서 차량번호를 추출한다.
일반적으로 원거리에서 촬영한 저해상도 영상을 고해상도 영상으로 변환할 때, 차량번호판 내 문자가 변형되는 경우가 발생한다. 따라서, 본 발명의 실시예에서는 변환한 고해상도 영상에서 추출한 차량번호판 이미지로부터 차량번호를 용이하게 추출하기 위해서, 차량번호 인식 시스템(100)은 학습 데이터를 이용하여 신경망 모델로 구현된 차량번호 인식기(120)를 학습시킨다.
본 발명의 실시예에 따른 차량번호 인식기(120)는 제1 신경망 모델(121)과 제2 신경망 모델(122)로 구성된다.
제1 신경망 모델(121)은 저해상도 영상을 고해상도 영상으로 변환하고, 변환한 고해상도 영상으로부터 고해상도 차량번호판 이미지를 출력하도록 학습되어 있다. 제2 신경망 모델(122)은 제1 신경망 모델(121)에서 출력한 고해상도 차량번호판 이미지로부터 차량번호를 추출하도록 학습되어 있다.
본 발명의 실시예에서는 차량번호 인식기(120)를 학습시키기 위해 동일한 차량에 대한 저해상도 영상과 고해상도 영상을 동시에 입력으로 받는다. 그리고, 제1 신경망 모델(121)에 저해상도 영상이 입력되면 고해상도 영상이 출력되도록 학습시킨다.
그리고, 고해상도 영상과 저해상도 영상에서 각각 차량번호판 이미지(저해상도 차량번호판 이미지와 고해상도 차량번호판 이미지)를 추출하고, 추출한 차량번호판 이미지를 한 쌍으로 문자 인덱싱 저장소(도면 미도시)에 저장한다. 차량번호판 이미지 쌍은 제1 신경망 모델(121)로 입력되고, 저해상도 차량번호판 이미지를 고해상도 차량번호판 이미지로 변환하도록 제1 신경망 모델(121)을 학습시킨다.
고해상도 차량번호판 이미지는 제2 신경망 모델(122)로 입력되어 차량번호 즉, 문자를 추출하도록 학습시킨다. 이때, 문자 인덱싱 저장소에 저장되어 있는 고해상도 영상에서 추출한 문자를 제2 신경망 모델(122)로 입력하여, 고해상도 차량번호판 이미지에서 추출한 문자와 고해상도 영상에서 추출한 문자가 매핑되도록 제2 신경망 모델(122)을 학습시킨다.
이와 같이 학습시킨 신경망 차량번호 인식기(120)를 이용하여 차량번호 인식 시스템(100)은 원거리에서 촬영된 영상이나 저해상도 영상에서 차량번호판의 차량번호를 출력할 수 있다. 즉, 학습시킨 신경망 차량번호 인식기(120)를 이용하여, 차량번호 인식 시스템(100)은 입력되는 영상(저해상도 영상 또는 고해상도 영상)에서 차량 번호판을 찾고, 찾은 차량번호판을 제1 신경망 모델(121)을 이용하여 초고해상화 수행하여 고해상도 차량번호판 이미지로 생성한다.
차량번호 인식 시스템(100)은 생성한 차량번호판 이미지에서 제2 신경망 모델(122)을 이용하여 문자 인식한 후, 차량번호를 추출한다. 이때, 차량번호 인식 시스템(100)이 차량번호를 인식하기 위한 방법에 대해 도 2를 참조로 설명한다.
도 2는 본 발명의 실시예에 따라 차량번호 인식 시스템이 차량번호를 인식하는 방법을 나타낸 흐름도이다
도 2에 도시된 바와 같이, 차량번호 인식 시스템(100)이 신경망 차량번호 인식기를 학습시킨다(S100).
즉, 차량번호 인식 시스템(100)은 저해상도 영상이 입력되면 고해상도 영상으로 변환하도록, 신경망 차량번호 인식기를 구성하는 제1 신경망 모델을 학습시킨다. 그리고 차량번호 인식 시스템(100)은 고해상도 영상에서 차량번호판을 인식하고, 인식한 차량번호판에서 차량번호를 추출하도록, 신경망 차량번호 인식기를 구성하는 제2 신경망 모델을 학습시킨다.
이와 같이 신경망 차량번호 인식기를 학습시킨 후, 차량번호 인식 시스템(100)은 학습시킨 신경망 차량번호 인식기를 이용하여 저해상도 영상에서 차량번호를 인식한다(S200).
상술한 절차 중 신경망 차량번호 인식기를 학습시키는 방법에 대해 다음 도 3을 참조로 하여 상세하게 차량번호를 추출하는 방법에 대해 설명한다.
도 3은 본 발명의 실시예에 따라 차량번호 인식 시스템이 신경망 차량번호 인식기를 학습시키는 방법을 나타낸 흐름도이다.
도 3에 도시된 바와 같이, 차량번호 인식 시스템(100)은 하나의 차량을 촬영한 고해상도 영상과 저해상도 영상을 수집한다(S101). 여기서 저해상도 영상은 640×360 해상도를 가지는 영상이고, 고해상도 영상은 FHD 영상(1920×1080)인 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
차량번호 인식 시스템(100)은 고해상도 영상에서 차량번호판 이미지를 검출하고, 고해상도 영상 전체 크기에서 차량번호판의 제1 위치 좌표를 계산한다(S102). 차량번호 인식 시스템(100)은 고해상도 영상의 크기와 저해상도 영상의 크기를 확인하고, 고해상도 영상의 크기 대비 저해상도 영상의 크기 비율을 계산한다(S103). 여기서, 영상의 크기라 함은 프레임 너비와 길이를 의미한다.
차량번호 인식 시스템(100)은 S102 단계에서 확인한 제1 위치 좌표에 S102 단계에서 계산한 비율을 반영함으로써, 저해상도 영상에서 차량번호판의 제2 위치 좌표를 계산할 수 있다(S104). 이를 토대로, 차량번호 인식 시스템(100)은 제2 위치 좌표에서 저해상도 영상의 차량번호판 이미지를 추출할 수 있다.
차량번호 인식 시스템(100)은 S102 단계에서 검출한 고해상도 영상에서의 차량번호판 이미지와 S104 단계에서 추출한 저해상도 영상에서의 차량번호판 이미지를 쌍으로 저장한다(S105). 그리고, 차량번호 인식 시스템(100)은 저해상도 차량번호판 이미지가 제1 신경망 모델로 입력되면 고해상도 차량번호판 이미지가 출력되도록 제1 신경망 모델을 학습시킨다(S106).
여기서, 제1 신경망 모델은 SRCNN(Super Resolution Convolution Neural Networks), SRGAN(Super Resolution Generative Adversarial Networks) 등으로 구현되는 것을 예로 하여 설명하며, 제1 신경망 모델을 학습시키는 방법은 이미 알려진 것으로 본 발명의 실시예에서는 상세한 설명은 생략한다.
그리고, 차량번호 인식 시스템(100)은 저해상도 차량번호판 이미지와 고해상도 차량번호판 이미지가 동일한 프레임에서 추출될 수 있도록, 저해상도 영상의 프레임과 고해상도 영상의 프레임을 비교할 수 있다. 또는, 동일한 시간에 촬영된 저해상도 영상의 프레임과 고해상도 영상의 프레임의 쌍을 시간 동기를 통해 맞추어, 동일한 프레임에서 고해상도 차량번호판 이미지와 저해상도 차량번호판 이미지가 추출되도록 한다.
이때, 차량번호 인식 시스템(100)은 시간 동기 방법으로 영상 내 시간 표기(time stamp)를 사용하거나, 시간 표기가 없을 경우 프레임 별 영상의 유사도를 비교하는 방법을 사용한다. 차량번호 인식 시스템(100)이 사용하는 두 방법은 이미 알려진 것이므로 본 발명의 실시예에서는 상세한 설명을 생략한다.
한편, 차량번호 인식 시스템(100)은 S102 단계에서 검출한 고해상도 차량번호판 이미지에서 숫자와 문자를 추출한다(S107). 차량번호판 이미지에서 숫자와 문자만을 추출하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
차량번호 인식 시스템(100)은 S107 단계에서 추출한 숫자와 문자의 위치가 차량번호판 이미지에서 어떤 위치에 해당하는지 추출할 수도 있다. 추출한 숫자와 문자의 위치 정보를 획득하는 방법도 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
차량번호 인식 시스템(100)은 추출한 숫자와 문자의 위치 정보를 이용하여, 저해상도 차량번호판 이미지에서 숫자와 문자를 추출한다(S108). 그리고 차량번호 인식 시스템(100)은 저해상도 차량번호판 이미지에서 추출한 숫자와 문자가, S107 단계 즉, 고해상도 차량번호판 이미지에서 추출한 숫자와 문자에 매핑되도록 제2 신경망 모델을 학습시킨다(S109).
이상의 절차를 통해 차량번호 인식 시스템(100)이 정보 수집 수단(200)들이 수집한 저해상도 영상에서 차량번호를 추출하기 위하여 신경망 모델을 학습시킬 때, 저해상도 이미지에서 차량번호판의 위치 좌표인 제2 위치 좌표를 확인하는 예에 대해 도 4를 참조로 설명한다.
도 4는 본 발명의 실시예에 따른 제1 위치 좌표를 이용하여 제2 위치 좌표를 확인하는 예시도이다.
도 4에 도시된 바와 같이, 차량번호 인식 시스템(100)은 하나의 동일한 객체에 대한 서로 다른 두 해상도의 영상을 수집한다. 정보 수집 수단(200) 중 CCTV는 동일한 환경에서 하나의 객체에 대한 영상을 서로 다른 해상도로 영상을 생성하여 제공하는 기능이 있다.
따라서, 차량번호 인식 시스템(100)은 정보 수집 수단(200)이 하나의 객체에 대해 생성한 서로 다른 해상도의 영상을 수집할 수 있다. 차량번호 인식 시스템(100)은 서로 다른 해상도의 영상을 프레임별로 비교하여 동일한 시간에 촬영된 고해상도와 저해상도 프레임의 쌍을 맞춘다.
그리고 나서, 차량번호 인식 시스템(100)은 수집한 고해상도 영상에서 도 4의 (a)에 도시한 바와 같이 차량번호판 이미지를 검출한다. 이때, 차량번호 인식 시스템(100)은 고해상도 영상의 제1 지점(①)의 좌표를 기준 좌표인 (0,0)으로 하고, 제2 지점(②)을 영상의 너비와 길이인 (wh,hh) 표현한다. 그리고, 차량번호 인식 시스템(100)은 인식한 차량번호판의 위치를 제1 위치 좌표인 (x,y,w,h)로 표현할 수 있다.
또한, 차량번호 인식 시스템(100)은 저해상도 영상의 너비와 길이 즉, 저해상도 영상의 프레임 크기를 계산할 수 있다. 그러므로 차량번호 인식 시스템(100)은 고해상도 영상의 너비와 길이 대비 저해상도 영상의 너비와 길이의 비율을 구할 수 있다.
다시 말해, 차량번호 인식 시스템(100)은 도 4의 (b)에 도시한 바와 같이, 너비 비율과 길이 비율을 이용하여 고해상도에서 인식한 차량번호판의 위치인 제1 위치 좌표를, 저해상도 영상에서 차량번호판의 위치인 제2 위치 좌표 (x’,y’,w’,h’)로 계산할 수 있다.
다음은 차량번호 인식 시스템(100)이 차량번호판의 위치를 검출한 후 저해상도 영상에서 차량번호판을 복원한 예에 대해 도 5를 참조로 설명한다.
도 5는 본 발명의 실시예에 따라 저해상도 영상에서 차량번호판을 복원한 예시도이다.
차량번호 인식 시스템(100)은 고해상도 영상에서 차량번호판 이미지를 추출하고, 고해상도 영상에서 인식한 차량번호판의 위치를 저해상도 영상의 좌표값으로 변환한 후, 저해상도 영상에서 동일한 위치의 있는 차량번호판의 이미지를 추출한다.
즉, 정보 수집 수단(200)이 촬영한 고해상도 영상에서 차량번호판을 추출하면 도 5의 (a)에 도시된 바와 같다. 이때, 종래에는 정답인 고해상도 영상 확보 후 최근접 보간법, 양선형 보간법 등 기 정의된 방법으로 도 5의 (b)에 도시된 바와 같이 저해상도 영상으로 변환한다. 이렇게 변환한 저해상도 영상을 다시 고해상도 영상으로 복원하는 방법을 사용하고 있다.
그러나, 실제 정보 수집 수단(200)이 저해상도 영상을 수집할 때에는 왜곡이나 변형의 특성이 반영되어 도 5의 (b)와 같은 저해상도 영상이 생성되지 않는다. 즉, 도 5의 (c)에 도시된 바와 같이, 실제 수집한 저해상도 영상에는 왜곡이나 변형이 반영되기 때문에, 도 5의 (b)에서 생성한 저해상도 영상과는 차이를 나타내는 것을 알 수 있다.
따라서, 본 발명의 실시예에서는 차량번호 인식 시스템(100)이 도 5의 (d)에 도시한 바와 같이, 고해상도 영상에서 추출한 차량번호판 이미지와 저해상도 영상에서 추출한 차량번호판 이미지를 한 쌍으로 저장하여 관리한다.
도 6은 본 발명의 실시예에 따라 저해상도 영상에서 추출한 차량번호판의 해상도를 확대한 결과의 예시도이다.
도 6의 (a)에 도시된 바와 같이 정보 수집 수단(200)이 수집한 저해상도 영상에서 추출한 차량번호판 이미지를 종래의 방법을 이용하여 해상도를 확대한다고 가정한다. 그러면, 도 6의 (b)에 도시된 바와 같이 차량번호판의 배경과 문자 영역이 명확하게 구분되지 않고, 왜곡이나 변형 부분도 개선되지 않은 상태로 추출된다.
그러나, 본 발명의 실시예에 따라 차량번호 인식 시스템(100)이 학습시킨 신경망 모델을 이용하여 저해상도 차량번호판 이미지를 확대하면, 도 6의 (c)에 도시된 바와 같이 차량번호판과 문자 영역이 최대한 구분되어 명확하게 표현되는 것을 알 수 있다. 이는 도 6의 (d)에 도시된 바와 같이, 차량번호 인식 시스템(100)이 고해상도 영상에서 추출한 차량번호판 이미지와 유사하게 저해상도 영상에서 차량번호판 이미지를 추출할 수 있는 것을 알 수 있다.
이와 같이 저해상도 영상에서 차량번호판 이미지를 추출한 후, 차량번호 인식 시스템(100)은 차량번호판 이미지에서 문자를 인식하여 추출한다. 이에 대해 도 7을 참조로 설명한다.
도 7은 본 발명의 실시예에 따라 문자를 인덱스로 저장한 예시도이다.
도 7에 도시된 바와 같이, 차량번호 인식 시스템(100)은 고해상도 이미지에서 숫자와 문자를 인식하고, 저해상도 영상을 초고해상화 한 영상 즉, 고해상도 영상에서 취득한 숫자 및 문자와 묶어 저장한다.
즉, 차량번호 인식 시스템(100)은 고해상도의 차량번호판 이미지에서 배경과 다른 숫자, 문자 영역을 하나씩 검출한다. 차량번호 인식 시스템(100)은 광학적 문자 판독기(OCR: Optical Character Reader)를 이용하여 문자를 인식할 수도 있다. 예를 들면 차량번호 인식 시스템(100)은 “11너5817” 이미지에서, ‘1’, ‘1’, ‘너’, ‘5’, ‘8’, ‘1’, ‘7’을 각각 인식할 수 있다.
차량번호 인식 시스템(100)은 저해상도 차량번호판 이미지에서 차량번호판의 각 문자들을 추출할 때, 고해상도 차량번호판 이미지에서 추출한 숫자와 문자의 위치 정보를 이용한다. 또한, 변환한 위치 좌표를 사용하여 차량번호판 초고해상화 처리를 한 고해상도 영상에서 동일한 위치에서 문자 영역을 추출한다.
차량번호 인식 시스템(100)은 고해상도 차량번호판 이미지에서 입수한 숫자/문자와 초고해상화한 문자 이미지를 문자 단위로 제2 신경망 모델에 입력하여 학습시킨다. 저해상도 영상에서 입수한 문자 이미지는 화소 분해능과 환경적 요인으로 문자가 일부 왜곡되는 현상이 발생한다.
따라서, 왜곡된 문자를 초고해상화 하였을 때 일반적인 문자와 다른 모양을 나타낼 수 있다. 즉, 도 7의 문자 ‘2’를 보면 위쪽의 곡선은 표현되지만 하단의 ‘-‘는 명확히 보이지 않는다. 따라서, 차량번호 인식 시스템(100)은 제2 신경망 모델의 학습을 통해 왜곡이 발생한 문자를 추출하더라도 이를 바로 인식할 수 있다.
도 8은 본 발명의 실시예에 따른 차량번호 인식 시스템의 구조도이다.
도 8에 도시된 바와 같이, 차량번호 인식 시스템(100)의 하드웨어(300)는 적어도 하나의 프로세서(310), 메모리(320), 스토리지(330), 통신 인터페이스(340)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 차량번호 인식 시스템(100)은 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(310)는 차량번호 인식 시스템(100)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(110)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다.
메모리(320)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(110)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(320)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.
스토리지(330)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 특히, 스토리지(330)는 고해상도 영상에서 입수한 차량번호판 이미지와 저해상도 영상에서 입수한 차량번호판 이미지를 매핑하여 저장한다.
통신 인터페이스(340)는 유/무선 통신 모듈일 수 있다. 통신 인터페이스(340)는 학습을 위한 서로 다른 두 해상도의 영상을 학습 데이터로 입수한다. CCTV는 동일한 환경에서 서로 다른 해상도로 영상을 생성하여 제공하는 기능이 있다.
따라서, 통신 인터페이스(340)는 CCTV와 같은 정보 수집 수단(200)으로부터 학습 데이터를 수집할 때, FHD(1920x1080)의 해상도를 가지는 고해상도 영상과 640x360의 해상도를 가지는 저해상도 영상을 학습 데이터로서 수집한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

  1. 차량번호 인식 시스템이 영상에서 차량번호를 인식하는 방법으로서,
    하나의 차량에 대해 촬영된 학습용 저해상도 영상과 학습용 고해상도 영상을 수신하는 단계,
    상기 학습용 고해상도 영상에서 추출한 고해상도 차량번호판 이미지와 고해상도 차량번호, 상기 학습용 저해상도 영상에서 추출한 저해상도 차량번호판 이미지와 저해상도 차량번호를 학습 데이터로 생성하는 단계,
    상기 학습 데이터를 이용하여 차량번호 인식기를 학습시키는 단계, 그리고
    정보 수집 수단으로부터 분석 대상 영상을 수신하고, 학습된 차량번호 인식기를 이용하여 상기 분석 대상 영상에 포함된 차량번호를 추출하는 단계
    를 포함하고, 상기 학습된 차량번호 인식기는,
    상기 분석 대상 영상이 입력되면 상기 분석 대상 영상의 해상도보다 향상된 고해상도 영상으로 변환하고, 변환된 고해상도 영상으로부터 차량번호판 이미지를 출력하는 제1 신경망 모델, 그리고
    상기 제1 신경망 모델에서 출력한 차량번호판 이미지에서 문자들을 추출하고, 추출한 문자들에 기 매핑되어 있는 정답 문자들을 찾아 차량번호로 추출하는 제2 신경망 모델
    을 포함하는, 차량번호 인식 방법.
  2. 제1항에 있어서,
    상기 학습 데이터로 생성하는 단계는,
    상기 고해상도 영상에서 상기 고해상도 차량번호판 이미지를 추출하고, 추출한 고해상도 차량번호판 이미지의 제1 위치 좌표를 생성하는 단계,
    상기 고해상도 영상의 크기와 상기 저해상도 영상의 크기를 각각 확인하고, 상기 고해상도 영상의 크기 대비 상기 저해상도 영상의 크기의 비율을 구하는 단계, 그리고
    상기 제1 위치 좌표에 상기 비율을 반영하여, 상기 저해상도 영상에서 추출한 저해상도 차량번호판 이미지의 제2 위치 좌표를 계산하는 단계
    를 포함하는, 차량번호 인식 방법.
  3. 제2항에 있어서,
    상기 학습 데이터로 생성하는 단계는,
    상기 고해상도 차량번호판 이미지와 상기 저해상도 차량번호판 이미지를 쌍으로 저장하는 단계
    를 더 포함하는, 차량번호 인식 방법.
  4. 제3항에 있어서,
    상기 학습 데이터로 생성하는 단계는,
    상기 고해상도 차량번호판 이미지에서 숫자와 문자를 추출하고, 상기 추출한 숫자와 문자의 위치 정보를 확인하는 단계,
    상기 위치 정보를 이용하여 상기 저해상도 차량번호판 이미지에서 숫자와 문자를 추출하는 단계, 그리고
    상기 저해상도 차량번호판 이미지에서 추출한 숫자와 문자가 상기 고해상도 차량번호판 이미지에서 추출한 숫자와 문자에 매핑하는 단계
    를 더 포함하는, 차량번호 인식 방법.
  5. 제4항에 있어서,
    상기 고해상도 차량번호판 이미지에서 추출한 숫자와 문자의 인덱스로 정렬하고, 상기 저해상도 차량번호판 이미지에서 추출한 숫자와 문자를 정렬한 숫자와 문자에 매핑되도록 저장하는 단계
    를 더 포함하는, 차량번호 인식 방법.
KR1020210025645A 2021-02-25 2021-02-25 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템 KR20220121494A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210025645A KR20220121494A (ko) 2021-02-25 2021-02-25 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210025645A KR20220121494A (ko) 2021-02-25 2021-02-25 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템

Publications (1)

Publication Number Publication Date
KR20220121494A true KR20220121494A (ko) 2022-09-01

Family

ID=83281825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025645A KR20220121494A (ko) 2021-02-25 2021-02-25 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템

Country Status (1)

Country Link
KR (1) KR20220121494A (ko)

Similar Documents

Publication Publication Date Title
CN111461134B (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
CN109993160B (zh) 一种图像矫正及文本与位置识别方法及系统
JP4161659B2 (ja) 画像認識システム及びその認識方法並びにプログラム
US6961466B2 (en) Method and apparatus for object recognition
JP5361530B2 (ja) 画像認識装置、撮像装置及び画像認識方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
JP4933186B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN103946866A (zh) 与直方图一起使用多层连接分量的文本检测
JP5574033B2 (ja) 画像認識システム及びその認識方法並びにプログラム
CN111553363B (zh) 一种端到端的图章识别方法及系统
CN108292367B (zh) 图像处理装置、半导体装置、图像识别装置、移动体装置以及图像处理方法
CN113989794B (zh) 一种车牌检测和识别方法
US20200279166A1 (en) Information processing device
CN110838119A (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111401322A (zh) 进出站识别方法、装置、终端及存储介质
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
US11481919B2 (en) Information processing device
JP5100688B2 (ja) 対象物検出装置及びプログラム
KR20220121494A (ko) 차량번호 인식기를 이용하여 차량번호를 인식하는 방법 및 이를 구현한 차량번호 인식 시스템
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法
CN109614841B (zh) 嵌入式系统中的快速人脸检测方法
KR101161580B1 (ko) 인터리빙 히스토그램을 이용한 특징 벡터 추출 방법 및 이를 적용한 영상 인식 방법
CN112990096B (zh) 一种基于ocr与人脸检测融合的身份证信息录用方法