KR102338912B1 - 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 - Google Patents

수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 Download PDF

Info

Publication number
KR102338912B1
KR102338912B1 KR1020210105905A KR20210105905A KR102338912B1 KR 102338912 B1 KR102338912 B1 KR 102338912B1 KR 1020210105905 A KR1020210105905 A KR 1020210105905A KR 20210105905 A KR20210105905 A KR 20210105905A KR 102338912 B1 KR102338912 B1 KR 102338912B1
Authority
KR
South Korea
Prior art keywords
license plate
vehicle
image
target vehicle
module
Prior art date
Application number
KR1020210105905A
Other languages
English (en)
Inventor
최우민
해용석
송재현
Original Assignee
주식회사 아프로시스템즈
최우민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아프로시스템즈, 최우민 filed Critical 주식회사 아프로시스템즈
Priority to KR1020210105905A priority Critical patent/KR102338912B1/ko
Application granted granted Critical
Publication of KR102338912B1 publication Critical patent/KR102338912B1/ko

Links

Images

Classifications

    • G06K9/3258—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K2209/15—

Abstract

본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 CCTV 영상 입력 모듈(110)이 CCTV 카메라를 통해 촬영된 CCTV 영상을 입력받는 단계(S1)와; CCTV 카메라 설치 구간에 설치되되 레이더(131)나, 라이더(132), 차량 검지기(133), 속도 감지 센서(134) 중 어느 1개 또는 2개 이상을 포함하는 차량 감지 장치(130)가 CCTV 카메라쪽으로 접근하는 차량을 감지하되 차량이 감지되었을 때 감지된 차량의 위치 좌표와, 차량이 감지되었다는 트리거(Trigger) 신호를 출력하는 단계(S2); 상기 차량 감지 장치(130)로부터 트리거 신호를 입력받은 딥러닝 물체 검지 장치(120)가 상기 CCTV 영상 입력 모듈(110)로부터 입력된 CCTV 영상에 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 적용하여 차량 객체를 검출하고 상기 차량 감지 장치(130)로부터 전송된 차량의 위치 좌표를 상기 CCTV 영상으로부터 검출된 차량 객체와 매핑(Mapping) 시키는 단계(S3);상기 차량 감지 장치(130)로부터 트리거 신호가 입력되었을 때 타겟 차량 결정 모듈(140)이 상기 차량 감지 장치(130)에 갖추어진 레이더(131)나 라이더(132)에 의해 감지된 차량, 또는 상기 차량 검지기(133)에 의해 통행이 검지된 차량, 또는 상기 속도 감지 센서(134)에 의해 감지된 주행 차량을 타겟 차량으로 결정하는 단계(S4); 상기 차량 감지 장치(130)로부터 트리거(Trigger) 신호가 입력되고, 상기 타겟 차량 결정 모듈(140)로부터 타겟 차량이 결정되었다는 제어 신호가 입력된 시점에서 상기 번호판 캡쳐 모듈(150)이 상기 딥러닝 물체 검지 장치(120)에 의해 검출된 CCTV 영상 내 타겟 차량 객체와, 상기 CCTV 영상 내 타겟 차량 객체의 위치 좌표를 참조하여 타겟 차량 객체의 번호판을 캡쳐(Capture)하는 단계(S5); 상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)를 포함한다. 이러한 절차로 이루어진 본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 CCTV 카메라에 의해 촬영된 차량 번호판 영상에 수퍼 레졸루션 기법을 적용하여 상기 차량 번호판 영상의 선명도를 보다 개선할 수 있다. 따라서, CCTV 카메라에 의해 촬영된 영상 내 차량 번호판의 위치나, 차량 번호판의 크기에 상관없이 차량 번호판의 검지 및 인식에 대한 성능을 높일 수 있다.

Description

수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법{RECOGNITION METHOD OF VEHICLES LICENSE PLATE USING SUPER RESOLUTION}
본 발명은 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법에 관한 것이다.
현재 CCTV 영상은 주차장이나 도로 상의 차량 검지나, 불법 주정차 단속, 방범 시스템 등에 활용되고 있다.
주로 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 이용하여 차량이나, 차량 번호, 사람 등을 인지하고 있다.
CCTV 영상을 통해 차량의 불법적인 행위들, 예를 들어, 불법 주정차나, 신호 위반, 과속 등의 불법 행위를 인식하기 위해서는 CCTV 영상 내 불법 행위를 저지르는 차량을 검지한 후 검지된 차량의 번호판을 인식하는 것이 매우 중요한 일이다.
CCTV 영상 내 차량의 번호판을 인식하기 위해서는 먼저 CCTV 영상 내 차량을 인식하고, 인식된 차량의 번호판을 인식한 후, 차량 번호판 내부의 정보를 인식해야 한다.
보다 높은 차량 번호판 인식율을 위해서는 보다 선명한 CCTV 영상이 필수적이다.
CCTV 촬영 영상은 CCTV 촬영 영상 내 차량의 위치에 따른 차량 번호판의 크기와, CCTV 카메라 렌즈의 설정값, 그리고, CCTV 촬영 당시 촬영 현장의 조도 변화에 의해 선명하지 않고 흐릿하게 보일 수 있다.
도면 4 내지 도면 6은 CCTV 촬영 영상 내 차량의 위치에 따라 CCTV 촬영 영상 내 차량 번호판의 크기가 달라지는 것을 설명하기 위한 도면으로 차량이 CCTV 카메라로부터 멀어질수록 차량 번호판의 크기가 작아진다.
즉, 동일한 차량 번호판에 대하여 도면 4 내지 도면 6에 도시한 바와 같이, CCTV 촬영 영상의 하단에 위치한 차량 번호판의 크기와, CCTV 촬영 영상의 상단에 위치한 차량 번호판의 크기는 차이가 날 수 밖에 없다.
도면 7 내지 도면 9는 도면 4 내지 도면 6의 CCTV 촬영 영상에서 각각 추출한 차량 번호판 영상을 동일한 화소수로 변환했을 때 차량 번호판의 화질 상태를 설명하기 위한 도면이다.
이처럼 차량 번호판이 촬영된 거리에 따라 CCTV 카메라에 의해 촬영된 차량 번호판의 선명도는 급격하게 떨어질 수 밖에 없다.
이에 따라, CCTV 촬영 영상 내 차량 번호판의 위치에 따라 선명도가 급격하게 차이가 나는 것을 단순히 딥러닝 검출 기법만 가지고 효율적으로 인식하기에는 무리가 있다.
결국, CCTV 카메라의 적은 화소수, 카메라 설정에 의한 오류, 촬영 현장의 조도 변화에 의해 발생하는 흐릿한 촬영 영상은 차량 번호판 인식율에 악영항을 미칠 수 밖에 없다는 문제점이 있었다.
한편, 본 발명의 선행 기술로는 출원번호 "10-2014-0136729"호의 "번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 시스템은 바운더리 코드가 에지 영역에 제공되는 차량의 번호판과, 상기 바운더리 코드를 본래 차량 번호 정보로 변환하여 상기 차량 번호 정보를 저장하거나 표시하거나 외부로 전송하는 차량 번호 인식 장치를 포함한다.
대한민국 특허등록번호 "10-1696519" (2016.04.21) 대한민국 특허등록번호 "10-1719549" (2017.03.24)
상기 문제점을 해결하기 위하여 본 발명은 CCTV 카메라의 성능이나, 잘못된 카메라 설정, CCTV 카메라가 설치된 환경에 의해 CCTV 카메라에 의해 촬영된 영상이 선명하지 못한 문제점을 해결하여 차량 번호판에 대한 인식률을 높일 수 있는 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법을 제공하는데 본 발명의 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 CCTV 영상 입력 모듈(110)이 CCTV 카메라를 통해 촬영된 CCTV 영상을 입력받는 단계(S1)와; CCTV 카메라 설치 구간에 설치되되 레이더(131)나, 라이더(132), 차량 검지기(133), 속도 감지 센서(134) 중 어느 1개 또는 2개 이상을 포함하는 차량 감지 장치(130)가 CCTV 카메라쪽으로 접근하는 차량을 감지하되 차량이 감지되었을 때 감지된 차량의 위치 좌표와, 차량이 감지되었다는 트리거(Trigger) 신호를 출력하는 단계(S2); 상기 차량 감지 장치(130)로부터 트리거 신호를 입력받은 딥러닝 물체 검지 장치(120)가 상기 CCTV 영상 입력 모듈(110)로부터 입력된 CCTV 영상에 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 적용하여 차량 객체를 검출하고 상기 차량 감지 장치(130)로부터 전송된 차량의 위치 좌표를 상기 CCTV 영상으로부터 검출된 차량 객체와 매핑(Mapping) 시키는 단계(S3); 상기 차량 감지 장치(130)로부터 트리거 신호가 입력되었을 때 타겟 차량 결정 모듈(140)이 상기 차량 감지 장치(130)에 갖추어진 레이더(131)나 라이더(132)에 의해 감지된 차량, 또는 상기 차량 검지기(133)에 의해 통행이 검지된 차량, 또는 상기 속도 감지 센서(134)에 의해 감지된 주행 차량을 타겟 차량으로 결정하는 단계(S4); 상기 차량 감지 장치(130)로부터 트리거(Trigger) 신호가 입력되고, 상기 타겟 차량 결정 모듈(140)로부터 타겟 차량이 결정되었다는 제어 신호가 입력된 시점에서 상기 번호판 캡쳐 모듈(150)이 상기 딥러닝 물체 검지 장치(120)에 의해 검출된 CCTV 영상 내 타겟 차량 객체와, 상기 CCTV 영상 내 타겟 차량 객체의 위치 좌표를 참조하여 타겟 차량 객체의 번호판을 캡쳐(Capture)하는 단계(S5); 및 상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)을 포함한다. 상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution, 이하 SR) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)는 SR 실행 모듈(161)이 번호판 캡쳐 모듈(150)에서 캡쳐된 타겟 차량 객체의 번호판 영상을 확대하고 확대된 타겟 차량 객체의 번호판 영상에 수퍼 레졸루션 기법을 적용하여 타겟 차량 객체의 번호판 영상에 대한 선명도를 향상시키는 단계(S6-1)와, 번호판 인식 모듈(163)이 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식하는 단계(S6-2), 번호판 출력 모듈(165)이 상기 번호판 인식 모듈(163)에서 인식된 숫자 및 문자 정보를 출력하는 단계(S6-3)를 포함한다.
이러한 절차로 이루어진 본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 CCTV 카메라에 의해 촬영된 차량 번호판 영상에 수퍼 레졸루션 기법을 적용하여 상기 차량 번호판 영상의 선명도를 보다 개선할 수 있다.
따라서, CCTV 카메라에 의해 촬영된 영상 내 차량 번호판의 위치나, 차량 번호판의 크기에 상관없이 차량 번호판의 검지 및 인식에 대한 성능을 높일 수 있다.
도면 1은 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 장치의 제어 블록도,
도면 2는 수퍼 레졸루션 기법을 적용하기 전과 후의 차량 번호판 영상 상태를 설명하기 위한 도면으로서 도면 2의 좌측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용하기 전 영상이고 도면 2의 우측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용한 후 영상,
도면 3a와 도면 3b는 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법의 흐름도,
도면 4 내지 도면 6은 CCTV 촬영 영상 내 차량의 위치에 따라 CCTV 촬영 영상 내 차량 번호판의 크기가 달라지는 것을 설명하기 위한 도면,
도면 7 내지 도면 9는 도면 4 내지 도면 6의 CCTV 촬영 영상에서 각각 추출된 차량 번호판 영상을 동일한 화소수로 변환했을 때 차량 번호판의 화질 상태를 설명하기 위한 도면,
도면 10은 도면 8에 수퍼 레졸루션(super resolution) 기법을 적용했을 때 차량 번호판 영상의 선명도가 개선된 상태도,
도면 11은 도면 9에 수퍼 레졸루션(super resolution) 기법을 적용했을 때 차량 번호판 영상의 선명도가 개선된 상태도,
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.
도면 1은 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 장치의 제어 블록도이고, 도면 2는 수퍼 레졸루션 기법을 적용하기 전과 후의 차량 번호판 영상 상태를 설명하기 위한 도면으로서 도면 2의 좌측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용하기 전 영상이고 도면 2의 우측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용한 후 영상이며, 도면 3a와 도면 3b는 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법의 흐름도이다.
본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 장치는 도면 1에 도시한 바와 같이, CCTV 영상 입력 모듈(110), 딥러닝 물체 검지 장치(120), 차량 감지 장치(130), 타겟 차량 결정 모듈(140), 번호판 캡쳐 모듈(150), PRBSR 장치(160)를 포함한다.
상기 CCTV 영상 입력 모듈(110)은 CCTV 카메라를 통해 촬영된 CCTV 영상을 입력받는다.
상기 CCTV 카메라는 도로, 주차장에 설치될 수 있다.
상기 차량 감지 장치(130)는 상기 CCTV 카메라 설치 구간에 설치되어 CCTV 카메라쪽으로 접근하는 차량을 감지하되 차량이 감지되었을 때 감지된 차량의 위치 좌표와, 차량이 감지되었다는 트리거(Trigger) 신호를 출력한다.
상기 차량 감지 장치(130)는 도로, 주차장, 불법 주차 구역, 도로 방범 구역, 생활 방범 구역에서 차량을 감지한다.
상기 차량 감지 장치(130)는 레이더(radar)(131)나, 라이더(Lidar)(132), 차량 검지기(133), 속도 감지 센서(134) 중 어느 1개 또는 2개 이상을 포함한다.
상기 레이더(131)와 라이더(132)는 차량을 감지하고, 차량 검지기(133)는 바닥면에 설치되어 차량의 통행을 감지하거나 CCTV 카메라 영상을 사용하여 사용자가 지정한 검지 영역을 감지하며, 속도 감지 센서(134)는 상기 CCTV 카메라 설치 구간을 통과하는 차량의 속도를 감지한다.
상기 딥러닝 물체 검지 장치(120)는 상기 차량 감지 장치(130)로부터 트리거 신호를 입력받았을 때 상기 CCTV 영상 입력 모듈(110)로부터 입력된 CCTV 영상에 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 적용하여 차량 객체를 검출하고, 상기 차량 감지 장치(130)로부터 전송된 차량의 위치 좌표를 상기 CCTV 영상으로부터 검출된 차량 객체와 매핑(Mapping) 시킨다.
상기 타겟 차량 결정 모듈(140)은 도면 1에 도시한 바와 같이, 상기 차량 감지 장치(130)로부터 트리거 신호가 입력 되고, 상기 차량 감지 장치(130)에 갖추어진 레이더(131)나 라이더(132)에 의해 감지된 차량, 또는 상기 차량 검지기(133)에 의해 통행이 검지된 차량, 또는 상기 속도 감지 센서(134)에 의해 감지된 주행 차량을 타겟 차량으로 결정한다.
상기 번호판 캡쳐 모듈(150)은 상기 차량 감지 장치(130)로부터 트리거(Trigger) 신호가 입력되고, 상기 타겟 차량 결정 모듈(140)로부터 타겟 차량이 결정되었다는 제어 신호가 입력된 시점에서 상기 딥러닝 물체 검지 장치(120)에 의해 검출된 CCTV 영상 내 타겟 차량 객체와, 상기 CCTV 영상 내 타겟 차량 객체의 위치 좌표를 참조하여 타겟 차량 객체의 번호판을 캡쳐(Capture)한다.
상기 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)는 상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력한다.
상기 PRBSR 장치(160)는 SR 실행 모듈(161)과, 번호판 인식 모듈(163), 번호판 출력 모듈(165)을 포함한다.
상기 SR 실행 모듈(161)은 번호판 캡쳐 모듈(150)에서 캡쳐된 타겟 차량 객체의 번호판 영상을 확대하고, 확대된 타겟 차량 객체의 번호판 영상에 수퍼 레졸루션 기법을 적용하여 타겟 차량 객체의 번호판 영상에 대한 선명도를 향상시킨다.
상기 SR 실행 모듈(161)은 GAN(generative adversarial network)을 이용한 수퍼 레졸루션 기법을 사용할 수 있다.
제너레이티브 네트워크(generative network)와 디스크리미네이터(discriminator network)의 2가지 네트워크를 사용하여 학습할 수 있다.
보다 구체적으로는, 제너레이티브 네트워크는 새로운 데이터를 생성하는 네트워크이고 디스크리미네이터 네트워크는 입력된 데이터가 제너레이티브 네트워크에서 생성된 가짜 데이터인지 아니면 훈련 데이터에서 입력된 진짜 데이터인지를 훈련하는 네트워크이다.
이 2가지 네트워크가 서로 경쟁하며 학습하도록 구성될 수 있다.
상기 SR 실행 모듈(161)은 위 2가지 네트워크를 이용하여 데이터의 생성과 판단을 경쟁적으로 하면서 학습을 하도록 구성될 수 있다.
이를 통해 실제와 유사한 데이터를 자동으로 생성하도록 구성될 수 있다.
상기 SR 실행 모듈(161)은 이러한 학습을 통해 수퍼 레졸루션 기법에 의해 발생되는 새로운 픽셀의 데이터를 생성하여 고해상도의 이미지로 변환하도록 구성될 수 있다.
상기 번호판 인식 모듈(163)은 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식한다.
상기 번호판 출력 모듈(165)은 상기 번호판 인식 모듈(163)에서 인식된 숫자 및 문자 정보를 출력한다.
도면 2는 수퍼 레졸루션 기법을 적용하기 전과 후의 차량 번호판 영상 상태를 설명하기 위한 도면으로서 도면 2의 좌측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용하기 전 영상이고 도면 2의 우측에 배치된 차량 번호판이 수퍼 레졸루션 기법을 적용한 후 영상이다.
이러한 경우 CCTV 카메라로부터 멀리 떨어진 차량의 번호판을 정확하게 인지할 수 있다.
도면 3a와 도면 3b는 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법의 흐름도이다.
본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 도면 3a와 도면 3b에 도시한 바와 같이, CCTV 영상 입력 모듈(110)이 CCTV 카메라를 통해 촬영된 CCTV 영상을 입력받는 단계(S1)와; CCTV 카메라 설치 구간에 설치되되 레이더(131)나, 라이더(132), 차량 검지기(133), 속도 감지 센서(134) 중 어느 1개 또는 2개 이상을 포함하는 차량 감지 장치(130)가 CCTV 카메라쪽으로 접근하는 차량을 감지하되 차량이 감지되었을 때 감지된 차량의 위치 좌표와, 차량이 감지되었다는 트리거(Trigger) 신호를 출력하는 단계(S2); 상기 차량 감지 장치(130)로부터 트리거 신호를 입력받은 딥러닝 물체 검지 장치(120)가 상기 CCTV 영상 입력 모듈(110)로부터 입력된 CCTV 영상에 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 적용하여 차량 객체를 검출하고 상기 차량 감지 장치(130)로부터 전송된 차량의 위치 좌표를 상기 CCTV 영상으로부터 검출된 차량 객체와 매핑(Mapping) 시키는 단계(S3); 상기 차량 감지 장치(130)로부터 트리거 신호가 입력되었을 때 타겟 차량 결정 모듈(140)이 상기 차량 감지 장치(130)에 갖추어진 레이더(131)나 라이더(132)에 의해 감지된 차량, 또는 상기 차량 검지기(133)에 의해 통행이 검지된 차량, 또는 상기 속도 감지 센서(134)에 의해 감지된 주행 차량을 타겟 차량으로 결정하는 단계(S4); 상기 차량 감지 장치(130)로부터 트리거(Trigger) 신호가 입력되고, 상기 타겟 차량 결정 모듈(140)로부터 타겟 차량이 결정되었다는 제어 신호가 입력된 시점에서 상기 번호판 캡쳐 모듈(150)이 상기 딥러닝 물체 검지 장치(120)에 의해 검출된 CCTV 영상 내 타겟 차량 객체와, 상기 CCTV 영상 내 타겟 차량 객체의 위치 좌표를 참조하여 타겟 차량 객체의 번호판을 캡쳐(Capture)하는 단계(S5); 상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)을 포함한다.
상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)는 SR 실행 모듈(161)이 번호판 캡쳐 모듈(150)에서 캡쳐된 타겟 차량 객체의 번호판 영상을 확대하고 확대된 타겟 차량 객체의 번호판 영상에 수퍼 레졸루션 기법을 적용하여 타겟 차량 객체의 번호판 영상에 대한 선명도를 향상시키는 단계(S6-1)와,번호판 인식 모듈(163)이 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식하는 단계(S6-2), 및 번호판 출력 모듈(165)이 상기 번호판 인식 모듈(163)에서 인식된 숫자 및 문자 정보를 출력하는 단계(S6-3)를 포함한다.
상기 번호판 인식 모듈(163)이 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식하는 단계(S6-2)는 상기 번호판 인식 모듈(163)이 상기 타겟 차량 객체의 번호판 영상을 흑백 영상으로 변환하는 단계와, 상기 번호판 인식 모듈(163)이 흑백 영상으로 변환된 타겟 차량 객체의 번호판 영상 전체에 가우시안 스무딩(Gaussian smoothing)과 메디안 필터링(Median Filtering)을 차례대로 수행하여 흑백 영상으로 변환된 타겟 차량 객체의 번호판 영상 내 잡음을 제거하는 단계, 및 상기 번호판 인식 모듈(163)이 잡음이 제거된 타겟 차량 객체의 번호판 영상을 영상 내 문자를 인식하고 분류하는 인공 신경망에 투입하여 타겟 차량 객체의 번호판 영상 내 숫자와 문자를 파악하는 단계를 포함한다.
이러한 절차로 이루어진 본 발명에 따른 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법은 CCTV 카메라에 의해 촬영된 차량 번호판 영상에 수퍼 레졸루션 기법을 적용하여 상기 차량 번호판 영상의 선명도를 보다 개선할 수 있다.
따라서, CCTV 카메라에 의해 촬영된 영상 내 차량 번호판의 위치나, 차량 번호판의 크기에 상관없이 차량 번호판의 검지 및 인식에 대한 성능을 높일 수 있다.
110: CCTV 영상 입력 모듈 120: 딥러닝 물체 검지 장치
130: 차량 감지 장치 131: 레이더
132: 라이더 133: 차량 검지기
134: 속도 감지 센서 140: 타겟 차량 결정 모듈
150: 번호판 캡쳐 모듈 160: PRBSR 장치
161: SR 실행 모듈 163: 번호판 인식 모듈
165: 번호판 출력 모듈

Claims (2)

  1. CCTV 영상 입력 모듈(110)이 CCTV 카메라를 통해 촬영된 CCTV 영상을 입력받는 단계(S1)와;
    CCTV 카메라 설치 구간에 설치되되 레이더(131)나, 라이더(132), 차량 검지기(133), 속도 감지 센서(134) 중 어느 1개 또는 2개 이상을 포함하는 차량 감지 장치(130)가 CCTV 카메라쪽으로 접근하는 차량을 감지하되 차량이 감지되었을 때 감지된 차량의 위치 좌표와, 차량이 감지되었다는 트리거(Trigger) 신호를 출력하는 단계(S2);
    상기 차량 감지 장치(130)로부터 트리거 신호를 입력받은 딥러닝 물체 검지 장치(120)가 상기 CCTV 영상 입력 모듈(110)로부터 입력된 CCTV 영상에 CNN(Convolutional Neural Network) 기반의 딥러닝(Deep learning) 기법을 적용하여 차량 객체를 검출하고 상기 차량 감지 장치(130)로부터 전송된 차량의 위치 좌표를 상기 CCTV 영상으로부터 검출된 차량 객체와 매핑(Mapping) 시키는 단계(S3);
    상기 차량 감지 장치(130)로부터 트리거 신호가 입력되었을 때 타겟 차량 결정 모듈(140)이 상기 차량 감지 장치(130)에 갖추어진 레이더(131)나 라이더(132)에 의해 감지된 차량, 또는 상기 차량 검지기(133)에 의해 통행이 검지된 차량, 또는 상기 속도 감지 센서(134)에 의해 감지된 주행 차량을 타겟 차량으로 결정하는 단계(S4);
    상기 차량 감지 장치(130)로부터 트리거(Trigger) 신호가 입력되고, 상기 타겟 차량 결정 모듈(140)로부터 타겟 차량이 결정되었다는 제어 신호가 입력된 시점에서 번호판 캡쳐 모듈(150)이 상기 딥러닝 물체 검지 장치(120)에 의해 검출된 CCTV 영상 내 타겟 차량 객체와, 상기 CCTV 영상 내 타겟 차량 객체의 위치 좌표를 참조하여 타겟 차량 객체의 번호판을 캡쳐(Capture)하는 단계(S5);
    상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)를 포함하고,
    상기 번호판 캡쳐 모듈(150)에 의해 캡쳐된 타겟 차량 객체의 번호판 영상에 PRBSR(Plate Recognition Based Super Resolution: 수퍼 레졸루션 기반 번호판 인식) 장치(160)가 수퍼 레졸루션(super resolution) 기법을 적용하여 타겟 차량 객체의 번호판을 인식한 후 인식된 타겟 차량 객체의 번호판을 출력하는 단계(S6)는
    SR 실행 모듈(161)이 번호판 캡쳐 모듈(150)에서 캡쳐된 타겟 차량 객체의 번호판 영상을 확대하고 확대된 타겟 차량 객체의 번호판 영상에 수퍼 레졸루션 기법을 적용하여 타겟 차량 객체의 번호판 영상에 대한 선명도를 향상시키는 단계(S6-1)와,
    번호판 인식 모듈(163)이 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식하는 단계(S6-2),
    번호판 출력 모듈(165)이 상기 번호판 인식 모듈(163)에서 인식된 숫자 및 문자 정보를 출력하는 단계(S6-3)를 포함하며,
    상기 번호판 인식 모듈(163)이 수퍼 레졸루션 기법을 적용한 후 선명도가 향상된 타겟 차량 객체의 번호판 영상에서 숫자 및 문자 정보를 인식하는 단계(S6-2)는
    상기 번호판 인식 모듈(163)이 상기 타겟 차량 객체의 번호판 영상을 흑백 영상으로 변환하는 단계와,
    상기 번호판 인식 모듈(163)이 흑백 영상으로 변환된 타겟 차량 객체의 번호판 영상 전체에 가우시안 스무딩(Gaussian smoothing)과 메디안 필터링(Median Filtering)을 차례대로 수행하여 흑백 영상으로 변환된 타겟 차량 객체의 번호판 영상 내 잡음을 제거하는 단계,
    및 상기 번호판 인식 모듈(163)이 잡음이 제거된 타겟 차량 객체의 번호판 영상을 영상 내 문자를 인식하고 분류하는 인공 신경망에 투입하여 타겟 차량 객체의 번호판 영상 내 숫자와 문자를 파악하는 단계를 포함하는 것을 특징으로 하는 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법.
  2. 삭제
KR1020210105905A 2021-08-11 2021-08-11 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 KR102338912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210105905A KR102338912B1 (ko) 2021-08-11 2021-08-11 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105905A KR102338912B1 (ko) 2021-08-11 2021-08-11 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법

Publications (1)

Publication Number Publication Date
KR102338912B1 true KR102338912B1 (ko) 2021-12-15

Family

ID=78865660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105905A KR102338912B1 (ko) 2021-08-11 2021-08-11 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법

Country Status (1)

Country Link
KR (1) KR102338912B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506971B1 (ko) * 2022-10-26 2023-03-07 주식회사 알씨 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
CN116543377A (zh) * 2023-07-05 2023-08-04 西南民族大学 一种基于多尺度特征的车牌清晰度提升方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880859A (zh) * 2012-08-30 2013-01-16 华南理工大学 一种车牌识别方法
KR101696519B1 (ko) 2014-10-10 2017-01-24 금오공과대학교 산학협력단 에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법
KR101719549B1 (ko) 2016-01-07 2017-03-24 (주)아이엠시티 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
KR102157990B1 (ko) * 2020-06-29 2020-09-21 이홍기 신경망을 이용한 차량 번호판 인식 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880859A (zh) * 2012-08-30 2013-01-16 华南理工大学 一种车牌识别方法
KR101696519B1 (ko) 2014-10-10 2017-01-24 금오공과대학교 산학협력단 에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법
KR101719549B1 (ko) 2016-01-07 2017-03-24 (주)아이엠시티 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
KR102157990B1 (ko) * 2020-06-29 2020-09-21 이홍기 신경망을 이용한 차량 번호판 인식 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506971B1 (ko) * 2022-10-26 2023-03-07 주식회사 알씨 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
CN116543377A (zh) * 2023-07-05 2023-08-04 西南民族大学 一种基于多尺度特征的车牌清晰度提升方法

Similar Documents

Publication Publication Date Title
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR101677972B1 (ko) 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
KR102338912B1 (ko) 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법
KR20120072020A (ko) 자율주행 시스템의 주행정보 인식 방법 및 장치
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
KR100820952B1 (ko) 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템
US20230015771A1 (en) Methods for detecting phantom projection attacks against computer vision algorithms
KR101905538B1 (ko) 다중 카메라를 이용한 속도 계도 시스템
US11176397B2 (en) Object recognition device
JP2020013206A (ja) 動画・カメラからの二輪車検知装置、プログラム及びシステム
KR101911239B1 (ko) 불법 주정차 단속을 위한 채널 확대 운영 시스템
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
JP4706693B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
KR102220643B1 (ko) 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv
JP5447162B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
KR101696519B1 (ko) 에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법
CN111583341B (zh) 云台像机移位检测方法
JP5447164B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
JP2006172262A (ja) 車両用道路標示検出装置
JP2018072884A (ja) 情報処理装置、情報処理方法およびプログラム
JP4259461B2 (ja) 目標検出装置
JP2006012013A (ja) 移動物体追跡装置
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant