KR20200052790A - 오염된 차량 번호판 인식이 가능한 이미지 인식 장치 - Google Patents

Abstract

본 발명은 이미지 인식률 증대 장치 및 방법에 관한 것으로서, 본 발명의 이미지 인식률 증대 장치는, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 이미지 전처리부; 전처리된 이미지에서 차량 번호판을 검출하는 차량 번호판 검출부; 검출된 차량 번호판의 이미지만을 추출하는 차량 번호판 이미지 추출부; 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 이미지 복원부; 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 문자 영역 검출부; 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 광학적 문자 판독장치를 이용하여 판독하는 문자 판독부; 및 전반적인 동작을 제어하는 제어부를 포함한다.

Description

이미지 인식률 증대 장치 및 방법{DEVICE AND METHOD OF INCREASING A RECOGNITION RATE IN A IMAGE}

*본 발명은 이미지 인식률 증대 장치 및 방법에 관한 것으로서, 보다 상세하게는 SRGAN 학습을 통하여, 저 해상도의 차량 번호판을 고 해상도의 차량 번호판으로 해상도를 높이는 이미지 인식률 증대 장치 및 방법에 관한 것이다.

현대인의 이동수단으로 사용되는 각종 차량 및 오토바이 등에는 관련 법규에 따라 번호판을 반드시 부착하여 운행하도록 의무화 되었다. 이러한 차량의 번호판은 단순히 차량을 식별하기 위함뿐 아니라 블랙박스나 CCTV에 찍힌 차량의 번호판을 식별하여 수사자료에 참조되거나 자동주차와 같이 차량의 번호판을 인식할 때 등 다양하게 활용되고 있다.

그러나, 종래의 차량 번호판을 인식하기 위해서는 전문적인 인식 장치 등을 별도로 구비하여야 하고, 기존의 장비와는 손쉽게 호환이 되지 않아 경제적인 문제점이 있었다.

따라서, 전문적인 인식 장치 보다 선명한 해상도로 차량의 번호판을 인식할 수 있으며, 기존의 장비의 업 그레이드 없이도 편리하게 호환이 가능한 차량 인식률 증대 장치 및 방법의 개발이 시급한 실정이다.

[관련기술문헌]

1. 차량번호 인식시스템 및 그 시스템을 이용한 차량 번호판 영상의 선명도 개선 방법(특허출원번호 제10-2005-0030669호)

본 발명이 해결하고자 하는 과제는 원본 이미지와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 및 SRCNN 학습 중 적어도 하나의 학습을 수행시킨 알고리즘을 이용하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 이미지 인식률 증대 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 오염된 차량의 번호판을 설정된 알고리즘에 따라 복원해 낼 수 있어, 번호판을 인식하는 사업장이나 수사기관 등에 유용하게 활용될 수 있는 이미지 인식률 증대 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 이동성 디스크 형태로 구성되거나 클라우드 기반의 애플리케이션 형태로 제공될 수 있어, 기존의 장비의 업 그레이드 없이 사용될 수 있어, 사용자의 경제성이나 편리성을 향상시켜 줄 수 있는 이미지 인식률 증대 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 차량 인식률 증대 장치는, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 이미지 전처리부; 전처리된 이미지에서 차량 번호판을 검출하는 차량 번호판 검출부; 검출된 차량 번호판의 이미지만을 추출하는 차량 번호판 이미지 추출부; 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 이미지 복원부; 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 문자 영역 검출부; 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치를 이용하여 판독하는 문자 판독부; 및 전반적인 동작을 제어하는 제어부를 포함한다.

본 발명이 해결하고자 하는 다른 과제는 SRGAN 알고리즘은, 저장된 데이터 베이스를 기반으로, SRGAN 학습이 완료된 알고리즘이다.

*본 발명이 해결하고자 하는 또 다른 과제는 차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장하는 데이터 베이스를 더 포함한다.

본 발명이 해결하고자 하는 또 다른 과제는 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출하는 텍스트 추출부; 및 텍스트 추출부에서 추출된 텍스트를 저장하는 저장부를 더 포함한다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 차량 인식률 증대 방법은, 이미지 전처리부에서, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 단계; 차량 번호판 검출부에서, 전처리된 이미지에서 차량 번호판을 검출하는 단계; 차량 번호판 이미지 추출부에서, 검출된 차량 번호판의 이미지만을 추출하는 단계; 이미지 복원부에서, 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 단계; 문자 영역 검출부에서, 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 단계; 문자 판독부에서, 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치를 이용하여 판독하는 단계; 및 제어부에서, 전반적인 동작을 제어하는 단계를 포함한다.

본 발명은 원본 이미지와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 및 SRCNN 학습 중 적어도 하나의 학습을 수행시킨 알고리즘을 이용하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 이미지 인식률 증대 장치 및 방법을 제공할 수 있다.

본 발명은 오염된 차량의 번호판을 설정된 알고리즘에 따라 복원해 낼 수 있어, 번호판을 인식하는 사업장이나 수사기관 등에 유용하게 활용될 수 있는 이미지 인식률 증대 장치 및 방법을 제공할 수 있다.

본 발명은 해결하고자 하는 또 다른 과제는 이동성 디스크 형태로 구성되거나 클라우드 기반의 애플리케이션 형태로 제공될 수 있어, 기존의 장비의 업 그레이드 없이 사용될 수 있어, 사용자의 경제성이나 편리성을 향상시켜 줄 수 있다.

발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1a 내지 도 1e는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도 및 오염된 번호판을 인식하는 내용을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 학습 데이터 베이스를 생성하는 내용을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치에서 SRGAN 학습을 수행하는 내용을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치의 동작 순서를 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 펌웨어 (firmware), 소프트웨어 (software), 또는 하드웨어 (hardware) 로 구성된, 알고리즘 또는 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 디지털 신호 처리 디바이스 (Digital Signal Processing Device) 의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시 예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예들을 상세히 설명한다.

도 1a 내지 도 1e는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도 및 오염된 번호판을 인식하는 내용을 설명하기 위한 도면이다.

도 1a는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도이다. 먼저, 도 1a에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치(100)는 이미지 전처리부(110), 차량 번호판 검출부(111), 차량 번호판 이미지 추출부(112), 이미지 복원부(113), 문자 영역 검출부(114), 문자 판독부(115), 텍스트 추출부(116), 저장부(117), 데이터 베이스(118) 및 제어부(120)를 포함한다.

이미지 인식률 증대 장치(100)는 스마트폰, 태블릿 PC, 노트북 및 데스크탑 등과 같은 다양한 전자 장치일 수 있고, USB 등과 같이 이동 저장공간 디스크 형태로 구성되어, 스마트폰, 태블릿 PC, 노트북 및 데스크탑 등과 같은 다양한 전자 장치와 연결하여 딥러닝 머신을 제공하는 형태로 전자 장치의 업 그레이드 없이 바로 이용 가능할 수도 있다.

또한, 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치(100)는 디바이스 형태로 구성된 것으로 예를 들어 설명하였지만, 디바이스의 종류와 관계없이 클라우드 기반의 애플리케이션을 제공할 수도 있다.

이미지 전처리부(110)는 이미지 전처리(image preprocessing)를 수행하여, 이미지에 포함된 노이즈(noise)를 제거한다.

차량 번호판 검출부(111)는 전처리된 이미지에서 차량 번호판을 검출(detection)한다. 구체적으로, 차량 번호판 검출부(111)는 전처리된 전체 이미지에서 차량 번호판만을 검출한다.

차량 번호판 이미지 추출부(112)는 검출된 차량 번호판의 이미지만을 추출한다. 구체적으로, 차량 번호판 이미지 추출부(112)는 차량 번호판 검출부(111)에서 검출된 차량 번호판에서 차량 번호판만의 이미지를 추출한다.

이미지 복원부(113)는 추출된 차량 번호판의 이미지를 SRGAN(Super Resolution Generation Adversarial Network) 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원한다.

보다 구체적으로, 이미지 복원부(113)는 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 저해상도의 추출된 차량 번호판의 이미지를 고해상도의 차량 번호판의 이미지로 복원한다.

여기서, SRGAN 알고리즘이란 GAN(Generative Adversarial Networks)을 기반으로 한 알고리즘으로, MES(Manufacturing Execution System) 보다 특성이 우수한 손실함수(Loss Function)를 적용한 알고리즘이다.

문자 영역 검출부(114)는 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출한다. 구체적으로, 문자 영역 검출부(114)는 고해상도로 복원된 차량 번호판의 이미지에 포함된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출한다.

예를 들어, 고해상도의 복원된 차량 번호판의 이미지가 “00가1234”일 경우, 문자 영역 검출부(114)는 “0”, “0”, “가”, “1”, “2”, “3”, 및 “4”라는 숫자 및 문자를 각각 검출할 수 있다.

문자 판독부(115)는 검출된 문자 영역을 광학적 문자 판독장치(Optical Character Reader)를 이용하여 판독한다. 예를 들면, 상술한 예에서, 문자 판독부(115)는 “0”, “0”, “가”, “1”, “2”, “3”, 및 “4”라는 숫자 및 문자를 문자 판독장치를 이용하여, 차량의 번호판은 “00가1234”라고 판독할 수 있다.

텍스트 추출부(116)는 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출한다.

저장부(117)는 텍스트 추출부(116)에서 추출된 텍스트를 저장한다.

데이터 베이스(118)는 차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 상기 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장한다.

여기서, 축소 이미지란 원본 이미지와 동일한 이미지로, 해상도만 원본 이미지와 비교하여 설정된 해상도만큼 떨어지는 이미지이다.

예를 들어, 설정된 해상도 이상의 원본 이미지에 표시된 차량 번호판이 “00가1234”일 경우, 데이터 베이스(118)는 제어부(120)의 제어에 따라 원본 이미지에 표시된 “00가1234”라는 차량 번호판과 축소된 이미지에 표시된 “00가1234”라는 차량 번호판을 각각 비교하여 저장할 수 있다.

즉, 데이터 베이스(118)에는 해상도가 높은 원본 이미지와 해상도가 떨어지는 축소 이미지를 각각 저장된다.

제어부(120)는 이미지 인식률 증대 장치(100)를 전반적으로 제어한다. 본 발명의 일 실시 예에서는 각각의 구성요소(110 내지 118)와 제어부(120)를 구별하여 표시하였지만, 모든 동작을 제어부(120)에서 수행할 수도 있음은 물론이다.

도 1b는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치(100)에 포함된 제어부(120)의 세부적인 구성을 개략적으로 도시한 블록도이고, 도 1c는 본 발명의 일 실시 예에 따른 오염된 차량 번호판을 설명하기 위한 상황도이다. 이하, 설명의 편의상 도 1b 및 도 1c를 함께 설명하겠다.

먼저, 도 1b에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치(100)의 제어부(120)는 오염 번호판 인식부(121), 오염 번호판 추정부(122), 차량 번호판 조회부(123) 및 결과 산출부(124)를 포함한다.

오염 번호판 인식부(121)는 차량 번호판이 오염된 번호판인지 여부를 판단한다. 여기서, 오염된 번호판이란 차량의 번호판이 각종 물질들이나 외부의 충격 등에 의하여 인식될 수 없는 차량의 번호판이다.

즉, 차량 번호판에 포함된 숫자, 기호 및 문자 중 어느 하나라도 완전히 인식되지 않을 경우, 오염 번호판 인식부(121)는 차량 번호판이 오염되었다고 판단한다.

예를 들면, 도 1c에 도시된 바와 같이, 오염 번호판 인식부(121)는 인식하고자 하는 차량의 번호판(130)에 포함된 문자 “가” 뒤에 위치한 세 번째 숫자(131)가 인식되지 않을 경우, 차량의 번호판(130)이 오염되었다고 판단한다.

만약, 오염 번호판 인식부(121)에서 차량 번호판이 오염되었다고 판단될 경우, 오염 번호판 인식부(121)는 인식하고자 하는 차량의 번호판(130)이 오염된 번호판이라고 인식한다.

이후, 오염 번호판 추정부(122)는 오염된 번호판에 포함된 숫자, 기호 및 문자 중 인식되지 않는 하나 이상의 숫자, 기호 및 문자를 추정한다. 예를 들면, 도 1c에 도시된 인식하고자 하는 차량의 번호판(130)에 포함된 문자 “가” 뒤에 위치한 세 번째 숫자(131)가 오염되기 전 어떤 숫자인지 추정한다.

이때, 오염 번호판 추정부(122)는 상술한 데이터 베이스(118)에 저장된 원본 이미지 및 축소 이미지를 비교하여, 오염된 숫자가 오염되기 전 어떤 숫자인지 추정한다.

구체적인 예를 들면, 오염 번호판 추정부(122)는 오염된 숫자(131)의 영역 중 오염되지 않은 영역에 표시된 형태를 보고 오염된 숫자가 “0”인지, “6”인지 아님 “8”인지 여부를 추정할 수 있다.

여기서, 오염 번호판 추정부(122)는 각각의 추정되는 숫자, 기호 및 문자 등을 퍼센트 형식으로 추정할 수 있다. 상술한 예에서, 오염 번호판 추정부(122)는 오염된 숫자(131)가 “0”, “6” 및 “8” 중 어느 하나라고 각각 100퍼센트 추정할 수도 있고, 30퍼센트, 50퍼센트 및 20퍼센트라고 추정할 수도 있다.

차량 번호판 조회부(123)는 인식하고자 하는 차량의 번호판에 포함된 숫자, 기호 및 문자 중 어느 하나라도 오염으로 인하여 완전히 인식되지 않을 경우, 차량의 차종과 최종적으로 인식된 번호판을 기반으로, 설정된 기관의 데이터 베이스에 저장된 등록 차량 번호판과 조회한다.

예를 들면, 오염 번호판 추정부(122)에서 오염 번호판을 식별한 결과 “00가12X4”까지 추정하였고, “X”로 표시된 숫자를 인식하지 못하였으며, 인식하고자 하는 번호판의 차종이 “A” 차종일 경우에 대하여 설명해 보겠다.

상술한 예에서, 차량 번호판 조회부(123)는 설정된 기관의 서버에 저장된 데이터 베이스를 기반으로, “A” 차종에 발부된 차량 번호판이 “00가1234”라는 정보를 취득할 수 있다.

결과 산출부(124)는 오염 번호판 추정부(122) 또는 차량 번호판 조회부(123)로부터 데이터를 전송받아 차량 번호판의 인식 결과를 산출한다. 예를 들면, 결과 산출부(124)는 오염 번호판 추정부(122)에서 추정된 차량 번호판과 그 추정된 차량 번호판의 퍼센트를 함께 표시할 수도 있고, 차량 번호판 조회부(123)로부터 확인된 차량의 번호판에 포함된 숫자, 기호 및 문자 등을 표시할 수도 있다.

본 발명의 일 실시 예에서는 설명하지 않았지만, 이미지 인식률 증대 장치는 딥러닝에 기반한 비정형 데이터 학습을 위한 툴을 생성할 수도 있다. 예를 들면, 이미지 인식률 증대 장치는 딥러닝에 기반한 비정형 데이터 학습을 위한 툴을 생성하여, 반투명도, 명암, 이미지 필터, 원근 표현, 상하 좌우 회전 등을 통해 동일 이미지에 대한 다양한 왜곡 이미지를 딥러닝 학습에 포함시킬 수도 있다.

본 발명의 일 실시 예에서는 설명하지 않았지만, 이미지 인식률 증대 장치는 수집된 번호판 이미지 상에 오염 번호판 이미지 필터를 거쳐 재 생성된 비정형 이미지를 비정형 번호판 이미지 학습기로 지도 학습하여 이미지 왜곡에도 유연하게 인식하게 할 수도 있다.

도 1d는 본 발명의 또 다른 실시 예에 따른 이미지 인식률 증대 장치(100)에 포함된 제어부(120)의 세부적인 구성을 개략적으로 도시한 블록도이고, 도 1e는 본 발명의 또 다른 실시 예에 따른 영역 유사도 판단부에서 영역 유사도를 판단하는 내용을 설명하기 위한 상황도이다. 이하, 설명의 편의상 도 1d 및 도 1e를 함께 설명하겠다.

먼저, 도 1d에 도시된 바와 같이, 본 발명의 또 다른 실시 예에 따른 이미지 인식률 증대 장치(100)의 제어부(120)는 차종 확인부(125), 인식 위치 확인부(126), 인식 시간대 확인부(127), 영역 유사도 판단부(128), 가중치 결정부(129) 및 차량 번호판 산출부(129-1)를 포함한다.

차종 확인부(125)는 인식하고자 하는 차량의 번호판에 포함된 숫자, 문자 및 기호 등이 인식되지 않는 오염된 번호판일 경우, 오염된 번호판의 차량에 대한 차종을 확인한다.

인식 위치 확인부(126)는 현재 오염된 번호판의 차량이 위치한 지역의 세부적인 위치를 확인한다. 예를 들면, 인식 위치 확인부(126)는 이미지 인식률 증대 장치(100) 내에 구성된 GPS 모듈 등으로 특정 음식점, 사우나, 아파트, 공공기관 및 빌딩과 같은 현재 차량이 위치한 지역의 세부적인 위치를 확인할 수 있다.

인식 시간대 확인부(127)는 현재 오염된 번호판의 차량을 인식한 구체적인 시간을 확인한다. 예를 들면, 인식 시간대 확인부(127)는 현재 오염된 번호판의 차량을 인식한 시간대가 오전 및 오후인지와 구체적인 시간을 함께 확인한다.

영역 유사도 판단부(128)는 인식하고자 하는 차량의 번호판이 오염된 번호판일 경우, 기존에 완전하게 인식된 차량의 번호판과 비교하여, 번호판의 영역의 유사도를 판단한다.

구체적으로, 인식하고자 하는 차량의 번호판에 포함된 숫자, 문자 및 기호 등 중에서 일부가 인식되지 않는 오염된 번호판일 경우, 영역 유사도 판단부(128)는 저장부(117) 또는 데이터 베이스(118)에 저장된 기존에 완전하게 인식된 차량의 번호판과 비교하여, 설정된 영역 중 유사도가 인정되는 영역을 판단한다.

예를 들면, 도 1e에 도시된 바와 같이, 제1영역 내지 제3영역(132 내지 134)으로 구획된 오염된 차량의 번호판(130)의 영역 중 현재 오염된 영역이 제1영역(132)이고, 기존에 완전하게 인식된 번호판에 대한 데이터가 저장되어 있는 경우에 대하여 설명해 보겠다.

상술한 예에서, 오염된 영역인 제1영역(132)을 제외한 나머지 제2영역 및 제3영역(133, 134)이 기존에 완전하게 인식된 번호판과 동일할 경우, 영역 유사도 판단부(128)는 기존에 인식된 번호판과 66.6퍼센트가 유사하다고 판단할 수 있다.

본 실시 예에서는 차량의 번호판을 제1영역 내지 제3영역(132 내지 134)으로 구분하는 예를 설명하였지만, 이에 한정되지 않고 차량의 번호판은 설정된 개수만큼 구분하여 유사도를 보다 정밀하게 판단할 수도 있다.

또한, 유사도 판단부(128)는 오염된 번호판과 기존에 인식된 번호판과의 고유영역이 일치하는지 여부를 추가적으로 판단하여, 유사도의 판단의 확률을 보다 높일 수도 있다.

여기서, 고유영역이란 다른 차량의 번호판과 구별될 수 있는 영역으로써, 예를 들면, 흠집, 구겨짐, 변색 및 특유의 마크 등과 같은 본 차량의 번호판만의 특유의 영역이다.

또한, 유사도 판단부(128)는 저장된 번호판과 오염된 번호판의 전 영역을 매칭하는 전 범위 매칭과 일부 영역을 매칭하는 일부 영역 매칭으로 이원화하여 구동될 수도 있다. 구체적으로, 유사도 판단부(128)는 저장된 번호판과 오염된 번호판의 전 영역을 매칭하는 전 범위 매칭과 저장된 번호판 중 일부의 영역과 오염된 번호판 중 인식이 되지 않는 일부의 영역을 상호 매칭하는 일부 영역 매칭으로 이원화하여 구동될 수 있다.

이에 따라, 본 발명의 유사도 판단부에 따르면, 저장된 번호판과 오염된 번호판 전 영역을 매칭할 수 있을 뿐만 아니라 사용자의 설정 또는 오염된 번호판의 위치에 따라 특정 영역만을 매칭할 수도 있기 때문에 이미지 인식률 증대 장치의 전체적인 로드를 줄여 줄 수 있는 장점이 있다.

또한, 본 발명의 유사도 판단부에 따르면, 차량의 번호판이 오염되어 인식되지 않는 번호판의 부분을 중점적으로 인식할 수 있기 때문에 오염된 번호판의 영역만을 보다 정밀하게 인식할 수 있는 장점이 있다.

가중치 결정부(129)는 차종 확인부(125), 인식 위치 확인부(126), 인식 시간대 확인부(127) 및 영역 유사도 판단부(128)에서 출력된 결과를 기반으로, 특정 데이터에 가중치를 차별화하여 부여한다.

예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 차종 확인부(125)에서 확인된 차종은 A차종으로 확인되었으며, 기존에 완전하게 인식된 차량의 번호판이 “00가 1234”이며, 차종이 A차종일 경우에 대하여 설명해보겠다.

상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차종 역시 A차종으로 일치하므로, 차종에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다.

또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 인식 위치 확인부(126)에서 확인된 위치는 A아파트로 확인되었으며, 기존에 A아파트 부근에서 인식된 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.

상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 위치 역시 A아파트 부근으로 유사하므로, 인식 위치에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다.

또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 인식 시간대 확인부(127)에서 확인된 시간대는 오전 10시로 확인되었으며, 기존에 오전 10시경에 인식된 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.

상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 시간대 역시 오전 10시로 유사하므로, 인식 시간대에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다.

또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 영역 유사도 판단부(127)에서 고유영역이 감지되었으며, 기존에 동일한 고유영역을 가지는 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.

상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 번호판에 포함된 고유영역 역시 일치하므로, 영역 유사도에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다.

차량 번호판 산출부(129-1)는 가중치 결정부(129)에서 결정된 가중치를 기반으로, 오염된 차량 번호판을 최종적으로 산출한다. 구체적으로, 차량 번호판 산출부(129-1)는 오염된 차량 번호판을 소유한 차량의 차종, 인식 위치, 인식 시간대 및 번호판 영역 유사도를 종합한 가중치를 기반으로, 오염된 차량 번호판을 최종적으로 산출한다.

도 2는 본 발명의 일 실시 예에 따른 학습 데이터 베이스를 생성하는 내용을 설명하기 위한 도면이다. 먼저, 도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 자동차 번호판 데이터 베이스는 번호판 원본 이미지와 번호판 축소 이미지가 각각 저장된다.

여기서, 원본 이미지란 차량의 번호판을 식별할 수 있는 설정된 해상도 이상의 이미지이고, 축소 이미지란 원본 이미지와 동일한 이미지로, 해상도만 원본 이미지와 비교하여 설정된 해상도만큼 떨어지는 이미지이다.

구체적으로, 자동차 번호판 데이터 베이스에는 원본 이미지와 이와 매칭되는 축소 이미지를 각각 비교하여 저장된다. 즉, 자동차 번호판 데이터 베이스에는 원본 이미지와 이와 매칭되는 축소 이미지가 각각 저장되어 학습 데이터 베이스가 생성된다.

본 발명의 일 실시 예에 따른 자동차 번호판 데이터 수집 방법에는 각국의 번호판이 저장될 수 있는데, 국내에서 수집하기 어려운 미국과 중국 번호판은 블랙박스 영상으로 1차로 수집될 수 있다. 이때, 차량 후면에 대한 자동차 번호판의 데이터를 수집하게 되는 제약과 저 해상도라는 제약이 있지만 추후에 설명할 학습에 도움이 될 수 있다.

또한, 자동차 번호판 데이터 베이스에는 숫자, 영문자, 한국, 중국어 문자 기반 자동 생성 이미지를 2차로 수집할 수도 있다.

도 3은 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치에서 SRGAN 학습을 수행하는 내용을 설명하기 위한 도면이다. 먼저, 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치에서 SRGAN 학습을 수행할 때, 이미지 인식률 증대 장치는 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행한다.

여기서, 이미지 인식률 증대 장치는 자동차의 블랙박스에서 촬영되어 저장된 자동차 데이터 베이스, 도로 데이터 베이스 및 도로 위 객체 데이터 베이스를 기반으로 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행한다.

즉, 차량 번호판 인식률 증대 장치에서는 원본 이미지와 이와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 학습을 수행하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 장점이 있다.

본 발명의 일 실시 예에서는 이미지 인식률 증대 장치에서 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행하는 것을 설명하였지만, SRGAN 학습에 한정되지 않는다.

구체적으로, 딥러닝 학습 기반 SR(Super-Resolution)의 종류로는 SRGAN에 한정되지 않고, SRCNN(Super-Resolution Convolutional Neural Network)일 수도 있다. 즉, 본 발명에서는 CNN(Convolutional Neural Network) 기반의 SR 학습 알고리즘으로 학습을 수행하는 것도 가능하다.

따라서, 이미지 인식률 증대 장치에서 생성된 데이터 베이스를 기반으로, SRGAN 학습 또는 SRCNN 학습을 수행하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 장점이 있다.

도 4는 본 발명의 일 실시 예에 따른 이미지 인식률 증대 장치의 동작 순서를 나타내는 순서도이다. 먼저, 도 4에 도시된 바와 같이, 이미지 전처리부는 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거한다(S410).

이후, 차량 번호판 검출부는, 전처리된 이미지에서 차량 번호판을 검출한다(S420).

이후, 차량 번호판 이미지 추출부는, 검출된 차량 번호판의 이미지만을 추출한다(S430).

이후, 이미지 복원부는, 추출된 차량 번호판의 이미지에서 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원한다(S440).

이후, 문자 영역 검출부는, 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 문자 영역을 검출한다(S450).

이후, 문자 판독부는, 검출된 문자 영역을 광학적 문자 판독장치를 이용하여 판독한다(S460).

이후, 텍스는 추출부는, 판독된 문자에 대해 텍스트로 추출한다(S470).

이후, 저장부는, 텍스트 추출부에서 추출된 텍스트를 저장한다(S480).

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 이미지 인식률 증대 장치
110 이미지 전처리부
112 차량 번호판 이미지 추출부
113 이미지 복원부
114 문자 영역 검출부
115 문자 판독부
116 텍스트 추출부
117 저장부
118 데이터 베이스
120 제어부
121 오염 번호판 인식부
122 오염 번호판 추정부
123 차량 번호판 조회부
124 결과 산출부
125 차종 확인부
126 인식 위치 확인부
127 인식 시간대 확인부
128 영역 유사도 판단부
129 가중치 결정부
129-1 차량 번호판 산출부
130 오염된 번호판
131 오염된 숫자
132 제1영역
133 제2영역
134 제3영역

Claims (4)

1. 이미지 전처리(image preprocessing)를 수행하여, 이미지에 포함된 노이즈를 제거하는 이미지 전처리부;
   상기 전처리된 이미지에서 차량 번호판을 검출(detection)하는 차량 번호판 검출부;
   상기 검출된 차량 번호판의 이미지만을 추출하는 차량 번호판 이미지 추출부;
   상기 추출된 차량 번호판의 이미지를 SRGAN(Super Resolution Generation Adversarial Network) 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 이미지 복원부;
   상기 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 문자 영역 검출부;
   상기 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치(Optical Character Reader)를 이용하여 판독하는 문자 판독부; 및
   전반적인 동작을 제어하는 제어부를 포함하는, 이미지 인식률 증대 장치.
2. 제1항에 있어서,
   상기 SRGAN 알고리즘은,
   저장된 데이터 베이스를 기반으로, SRGAN 학습이 완료된 알고리즘이며,
   차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 상기 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장하는 데이터 베이스를 더 포함하는, 이미지 인식률 증대 장치.
3. 제1항에 있어서,
   상기 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출하는 텍스트 추출부; 및
   상기 텍스트 추출부에서 추출된 텍스트를 저장하는 저장부를 더 포함하는, 이미지 인식률 증대 장치.
4. 이미지 전처리부에서, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 단계;
   차량 번호판 검출부에서, 상기 전처리된 이미지에서 차량 번호판을 검출하는 단계;
   차량 번호판 이미지 추출부에서, 상기 검출된 차량 번호판의 이미지만을 추출하는 단계;
   이미지 복원부에서, 상기 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 단계;
   문자 영역 검출부에서, 상기 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 단계;
   문자 판독부에서, 상기 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치를 이용하여 판독하는 단계; 및
   제어부에서, 전반적인 동작을 제어하는 단계를 포함하는, 이미지 인식률 증대 방법.
   

Images