KR20220099672A - 차량 번호판 인식 시스템 - Google Patents

Abstract

본 발명은 차량 번호판 인식 시스템에 관한 것으로, 영상에서 자동차 번호판을 검출하는 이미지 검출부; 상기 이미지 검출부에서 전송되는 번호판 이미지에서 노이즈를 제거하는 잡음 제거 네트워크; 상기 잡음 제거 네트워크에 의해 노이즈가 제거된 번호판 이미지의 왜곡을 보정하는 보정 네트워크; 및 상기 보정 네트워크의 출력 이미지에서 차량 번호를 판독하는 판독부를 포함한다.

Description

차량 번호판 인식 시스템{System of License Plate Recognition}

본 발명은 차량 번호판 인식 장치에 관한 것으로, 보다 상세하게는 차량 번호판의 판독률을 높일 수 있는 차량 번호판 인식 시스템에 관한 것이다.

차량의 번호판 인식은 속도위반, 불법주차, 주차 관제 등 다양한 목적으로 이용된다.

움직이는 차량의 번호판 인식 방법은 움직이는 차량의 영상을 획득한 후 해당 영상에서 번호판 영역을 추출하고, 추출된 번호판 영역에서 문자 인식을 통해 차량의 번호판을 인식하게 된다.

그러나, 움직이는 차량의 영상을 획득할 때 차량에 부착된 번호판의 기울어짐, 훼손 또는 햇빛과 같은 조명의 영향으로 차량의 영상 왜곡이 발생 될 수 있고, 카메라의 촬영 각도에 따라 번호와 문자의 인식 문제가 발생 되는 문제점이 있을 수 있다.

이러한, 문제점들을 개선하기 위해 새로운 번호판 인식 기술이 요구되고 있다.

대한민국 등록특허공보 제10-1999985호

따라서, 본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명의 목적은 차량 번호판의 판독률을 높일 수 있는 차량 번호판 인식 시스템을 제공하는 데 있다.

상술한 목적을 이루기 위해, 본 발명에 따르면, 영상에서 자동차 번호판을 검출하는 이미지 검출부; 상기 이미지 검출부에서 전송되는 번호판 이미지에서 노이즈를 제거하는 잡음 제거 네트워크; 상기 잡음 제거 네트워크에 의해 노이즈가 제거된 번호판 이미지의 왜곡을 보정하는 보정 네트워크; 및 상기 보정 네트워크의 출력 이미지에서 차량 번호를 판독하는 LPR 네트워크를 포함하고, 상기 잡음 제거 네트워크와 보정 네트워크에서는 각각 픽셀 레벨에서 아래의 수식 1과 수식 2와 같은 제1 손실과 제2 손실이 발생 되고, 상기 제1 손실과 제2 손실은 상기 보정 네트워크에서 보상되는 것을 특징으로 한다.

[수식 1]

여기서, G_D는 잡음 제거 네트워크)를 나타내고, w는 잡음 제거 네트워크의 매개 변수이며, N은 전체 데이터 개수, LQ는 저품질 이미지 데이터, HQ는 고품질 이미지 데이터, i는 입력 이미지의 각도(즉, -30도, -15도, 0도, 15도, 30도), j는 입력 이미지의 개수, I는 입력 이미지를 나타냄.

[수식 2]

여기서, G_R은 보정 네트워크를 나타내고, θ는 번호판 영역의 각도를 나타내며, θ^LQ는 추정 값,

는 기준 값(ground truth angle)을 나타냄.

본 발명에 따르면, 상기 잡음 제거 네트워크 및 보정 네트워크는 U-Net 기반의 CNN을 이용한 번호판 이미지 학습을 통해 번호판 이미지의 노이즈 제거 및 왜곡을 보정하는 것을 특징으로 한다.

본 발명에 따르면, 픽셀 레벨에서 발생 되는 손실을 보상하여 왜곡을 보정하기 때문에 보정 과정에서 번호판 이미지의 외관 손상 없이 기하학적 변형만으로 차량 번호 판독이 이루어지므로 차량 번호 판독 인식률을 높일 수 있다.

도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 시스템이다.
도 2는 번호판 이미지의 각도 변화를 설명하기 위한 도면이다.
도 3a는 잡음이 있는 번호판 이미지를 나타내는 도면이고, 도 3b는 잡음 제거 네트워크가 도 3a의 번호판 이미지에서 잡음을 제거한 상태를 나타내는 도면이며, 도 3c는 보정 네트워크에서 손실 값이 보정되기 전 번호판 이미지를 나타내는 도면이고, 도 3d는 보정 네트워크에서 손실 값이 보정된 후 번호판 이미지를 나타내는 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예의 동작원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 시스템이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 차량 번호판 인식 시스템은 입력되는 영상에서 자동차 번호판 이미지를 검출하는 이미지 검출부(10), 입력 이미지의 노이즈 제거 및 보정을 진행하는 주요 작업 예측 네트워크, 및 주요 작업 예측 네트워크에서 복원된 이미지에서 텍스트 감지 및 분류를 진행하는 LPR(License Plate Recognition) 네트워크(40)를 포함한다.

이미지 검출부(10)는 카메라 등의 촬영장치에 의해 촬영된 자동차 영상에서 자동차의 번호판을 검출하는 것으로, RetinaNet이나 VGG-16 네트워크로 구성된다.

주요 작업 예측 네트워크는 입력 이미지에 포함된 잡음(즉, 노이즈)을 제거함과 아울러 왜곡을 보정하는 곳으로, 이미지 검출부(10)에서 전달된 번호판 이미지에서 잡음를 제거하는 잡음 제거 네트워크(Denoising Network)(20)와 잡음 제거 네트워크(20)에서 잡음 제거 시 발생 되는 왜곡을 보정하는 보정 네트워크(Rectification Network)(30)를 포함한다.

이러한, 잡음 제거 네트워크(20)와 보정 네트워크(30)는 U-Net 기반의 CNN(Convolutional Neural Network)을 이용하여 번호판 이미지 학습을 통해 번호판 이미지의 노이즈 제거 및 왜곡 보정을 진행하게 된다. 이때, 잡음 제거 네트워크(20)와 보정 네트워크(30)가 번호판 이미지 학습을 진행할 경우 고품질의 이미지를 기준(Ground Truth)으로 설정한 후 고품질 원본 이미지(I^HQ _i)의 샘플 하나만 도 2와 같이 다른 각도로 변환하여 여러 개(본 발명에서는 4개만 설명하기로 함)의 훈련 샘플을 생성할 수 있고, GD의 I^HQ _i, GR의 I^LQ _i, i∈{-30°, -15°, 0°, +15°, +30°}일 때, 주요 작업 예측 네트워크는 입력 이미지(I^LQ _i) 및 해당 샘플에서 복구 결과를 추출하며, LPR 네트워크(40)는 G_R(G_D(I^LQ _i))를 사용하여 복구 이미지를 인식하게 됩니다.

도 2에 도시된 바와 같이 고품질의 이미지를 기준(Ground Truth) 이미지로 사용하면, 간단한 선형 변환을 통해 일정 각도 회전된 이미지를 얻을 수 있고, 회전 이미지의 1/4을 다운 샘플링하여 저품질 이미지를 처리하며, 분할된 이미지는 저품질 이미지의 이진화를 통해 추론이 가능해진다.

한편, 이미지 검출부(10)에서 검출된 번호판 이미지(I^LQ _i)가 잡음 제거 네트워크(20)에 입력되면, 잡음 제거 네트워크(20)는 입력된 번호판 이미지에서 노이즈를 제거한 후 이를 출력합니다.

한 쌍의 입력 이미지(I^LQ _i)와 보정되지 않은 기준 노이즈 제거 이미지(I^HQ _i)가 주어질 때 잡음 제거 네트워크(20)에서의 손실 함수는 픽셀 단위의 MSE 손실(Mean Square Error)이며, 아래의 수식 1과 같다.

[수식 1]

여기서, G_D는 잡음 제거 네트워크를 나타내고, w는 잡음 제거 네트워크의 매개 변수이며, N은 전체 데이터 개수, LQ는 저품질 이미지 데이터, HQ는 고품질 이미지 데이터, i는 입력 이미지의 각도(즉, -30도, -15도, 0도, 15도, 30도), j는 입력 이미지의 개수, I는 입력 이미지를 나타냄.

이러한, 손실은 잡음 제거 네트워크(20)에서 입력 이미지의 내용 정보를 추출하고, 픽셀 레벨에서 고품질의 자연스러운 이미지를 생성할 수 있도록 합니다.

이렇게 잡음 제거 네트워크(20)에서 픽셀 단위로 노이즈를 제거한 후 보정 네트워크(30)에서 왜곡을 보정하기 때문에 보정되어 출력된 번호판 이미지는 고품질을 가질 수 있게 되고, LPR 네트워크(40)는 고품질의 번호판 이미지가 전달되므로 번호판 이미지에서 문자와 숫자들을 인식하는 게 더 쉬워지게 된다.

한편, 보정 네트워크(30)에서 왜곡 보정 시 아래의 수식 2와 같은 손실이 발생 된다.

[수식 2]

여기서, G_R은 보정 네트워크를 나타내고, θ는 번호판 영역의 각도를 나타내며, θ^LQ는 추정 값,

는 기준 값(ground truth angle)을 나타냄.

이러한, 보정 네트워크(30)는 픽셀 레벨에서 발생 되는 수식 1 및 수식 2와 같은 손실을 보상하여 왜곡을 보정하기 때문에 이미지 색상, 강도, 조명과 같은 물체의 모양을 보존하는 데 도움이 될 뿐만 아니라 기하학적 변형만 가능한 노이즈 제거 결과를 얻을 수 있게 된다.

LPR 네트워크(40)는 보정 네트워크(30)에서 출력된 고품질의 번호판 이미지에서 자동차 번호를 판독한다.

이와 같은 구성으로 이루어진 본 발명의 실시 예에 따른 차량 번호판 인식 시스템은 픽셀 레벨에서 발생 되는 손실을 보상하여 왜곡을 보정하기 때문에 도 3a 내지 도 3d와 같이 보정 과정에서 번호판 이미지의 외관 손상 없이 기하학적 변형만으로 차량 번호 판독이 이루어지므로 차량 번호 판독 인식률을 높일 수 있게 된다.

이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관해서 설명하였으나, 이는 본 발명의 가장 양호한 실시 예를 예시적으로 설명한 것일 뿐, 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 벗어나지 않는 범위 내에서 다양한 변형과 모방이 가능함을 물론이다. 따라서, 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져선 안 되며, 후술하는 청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.

10: 이미지 검출부 20: 잡음 제거 네트워크
30: 보정 네트워크 40: LPR 네트워크

Claims (2)

1. 영상에서 자동차 번호판을 검출하는 이미지 검출부;
   상기 이미지 검출부에서 전송되는 번호판 이미지에서 노이즈를 제거하는 잡음 제거 네트워크;
   상기 잡음 제거 네트워크에 의해 노이즈가 제거된 번호판 이미지의 왜곡을 보정하는 보정 네트워크; 및
   상기 보정 네트워크의 출력 이미지에서 차량 번호를 판독하는 LPR 네트워크를 포함하고,
   상기 잡음 제거 네트워크와 보정 네트워크에서는 각각 픽셀 레벨에서 아래의 수식 1과 수식 2와 같은 제1 손실과 제2 손실이 발생 되고, 상기 제1 손실과 제2 손실은 상기 보정 네트워크에서 보상되는 것을 특징으로 하는 차량 번호판 인식 시스템.
   [수식 1]
   

   

   
   여기서, G_D는 잡음 제거 네트워크)를 나타내고, w는 잡음 제거 네트워크의 매개 변수이며, N은 전체 데이터 개수, LQ는 저품질 이미지 데이터, HQ는 고품질 이미지 데이터, i는 입력 이미지의 각도(즉, -30도, -15도, 0도, 15도, 30도), j는 입력 이미지의 개수, I는 입력 이미지를 나타냄.
   [수식 2]
   

   

   
   여기서, G_R은 보정 네트워크를 나타내고, θ는 번호판 영역의 각도를 나타내며, θ^LQ는 추정 값,

   

   는 기준 값(ground truth angle)을 나타냄.
2. 청구항 1에 있어서,
   상기 잡음 제거 네트워크 및 보정 네트워크는 U-Net 기반의 CNN을 이용한 번호판 이미지 학습을 통해 번호판 이미지의 노이즈 제거 및 왜곡을 보정하는 것을 특징으로 하는 차량 번호판 인식 시스템.
   

Images