KR102516890B1 - 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템 - Google Patents

Abstract

드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템이 개시된다. 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템은 카메라를 구비하는 드론; 상기 드론으로부터 실시간으로 촬영된 카메라 영상 데이터를 수신받고, 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램을 구비하는 지상 단말기; 및 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 드론의 카메라 영상을 딥러닝의 SSD 알고리즘을 이용하여 차량 영역 및 번호판 영역의 객체를 검출한 후, 차량과 차량 번호판의 영역의 특징 맵을 구성하며, 상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 불법주정차 차량 번호를 인식하는 영상 분석 서버를 포함한다. 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템은 드론의 카메라를 이용한 불법 주정차 촬영을 하였으며, 드론의 카메라 영상을 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 차량 영역과 번호판 영역을 검출하고, 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 번호판의 문자와 숫자를 분리하는 앵커박스를 생성하여 차량 번호를 인식하여 불법주정차를 단속하는데 사용된다.

Description

드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템{Identification system and method of illegal parking and stopping vehicle numbers using drone images and artificial intelligence technology}

본 발명은 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템에 관한 것으로, 보다 상세하게는 드론의 카메라를 이용한 불법 주정차 촬영을 실시하였으며, 드론의 카메라 영상을 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 차량 영역과 번호판 영역을 검출하고, 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 번호판의 문자와 숫자를 분리하는 앵커박스를 생성하여 차량 번호를 인식하여 불법주정차를 단속하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템 및 방법에 관한 것이다.

이와 관련된 선행기술1로써, 특허등록번호 10-1987618에서는 "딥러닝 기반의 차량 번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템"이 등록되어 있다.

도 1은 종래의 딥러닝 기반의 차량 번호판 이미지 매칭 기법을 적용한 차량 번호판 측정 시스템의 구성도이다,

딥러닝 기반의 차량 번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템은, 소정의 거리에 위치한 차량 이미지를 촬영하는 카메라;

상기 카메라와 연동되어 복수 대의 차량 이미지 데이터를 수신하고, 딥 러닝 인공신경망 및 번호판 특징 추출 알고리즘을 이용해 차량 번호판을 객체화 하여 차량을 특정하는 메인 서버 및

상기 메인 서버와 연동되어 특정된 차량 외에 미출차 및 출차된 차량을 모니터링할 수 있는 모니터링 단말을 포함하고,

차량 번호판의 형태를 객체화시켜 차량을 특정할 수 있으며,

상기 번호판 특징 추출 알고리즘은,

상기 차량 이미지 데이터로부터 HOG(Histogram of Oriented Gradient) 방식을 이용하여 차량 전체 영역을 이미지화하여 검출하고, 이미지화된 차량 전체 영역에서 SVM(Support Vector Machine) 분류기를 통해 차량 번호판 영역을 인식하고, 인식된 차량 번호판 영역을 정규화하여, 정규화된 차량 번호판 영역을 수백차원의 특징 값을 가지도록 객체화 하고,

상기 메인 서버는,

입차 시 상기 번호판 특징 추출 알고리즘을 통해 객체화된 복수 대의 차량 번호판 영역 데이터와 출차되는 차량의 상기 번호판 특징 추출 알고리즘을 통해 객체화된 차량 번호판 영역 데이터의 유사도를 판별하여 상기 출차되는 차량을 특정하는 매칭부를 포함하며,

상기 매칭부는, 코싸인 유사도(cosine similarity)를 포함하는 유사도 판별 기법을 이용하여 유사도를 판별한다.

이와 관련된 선행기술2로써, 특허등록번호 10-2122850에서는 "딥 러닝 기반의 교통분석 및 차량 번호 인식 솔루션"이 등록되어 있다.

구체적으로, 딥 러닝 기반의 교통분석 및 차량 번호 인식 솔루션은 다수의 상이한 교통감시영역마다 각기 설치된 카메라장치별로 교통환경정보를 수집하고, 빅데이터화하여 미리 설정된 딥 러닝 기반으로 학습하여, 딥 러닝 기반의 교통환경학습 결과를 적용하여 다수의 상이한 주변 환경 조건별로 교통분석을 한다.

딥 러닝 기반의 교통분석 및 차량 번호 인식 방법은

중앙관제센터의 교통분석 및 차량 번호 인식 방법에 있어서,

교통감시시에 다수의 상이한 교통감시영역마다 각기 설치된 카메라장치별로 교통환경정보를 수집하는 제 1 단계;

상기 수집된 교통환경정보를 각 카메라장치별로 빅데이터화하고, 미리 설정된 딥 러닝 기반으로 학습하는 제 2 단계; 및

상기 학습된 딥 러닝 기반의 교통환경학습 결과를 적용해서 다수의 상이한 주변 환경 조건별로 교통분석하는 제 3 단계를 포함하고,

상기 제 1 단계 후에,

상기 수집된 교통환경정보에서 차량 피처 메타데이터를 추출하는 제 2‘ 단계;

상기 추출된 차량 피처 메타데이터에 따라 차량 영상 패치의 피처값을 추출하는 미리 설정된 AI 포맷으로부터 차량 피처를 추출하는 제 3‘ 단계;

상기 추출된 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷에 의해 차량을 인식하는 제 4‘ 단계; 및

상기 인식된 차량에서 미리 설정된 Lpr(License Plate Recognition)Net에 의해 차량 번호를 문자인식하고 차량 번호를 추론하는 제 5‘ 단계를 포함한다.

최근, 지역 균형 발전 계획과 더불어 지자체는 신시가지 및 혁신도시 조성 사업이 지속적으로 추진되고 있다. 도시 발전과 함께 증가하는 차량 수는 한정된 국내 도로 여건 및 주차 시설의 부족에 의해 다양한 형태의 불법 주정차 문제를 야기하고 있다.

불법 주정차는 교통 흐름을 방해하고 교통안전사고를 증가시키며, 생활도로를 잠식하는 등의 부작용을 낳고 있고, 주민 생활의 불편과 사회의 경제적 손실을 가져오고 있다. 국내에서는 이러한 문제를 개선하기 위해 인력에 의한 불법 주정차 단속, 수동 무인단속, 자동 무인단속 장비를 이용하여 불법 주정차를 단속하고 있다. 인력 단속은 지속적인 효과가 어려워 2004년 도로교통법 시행령 제71조의 3 제2항이 개정되면서 무인단속장비를 활용할 수 있게 되었다. 수동 무인단속은 사무실에서 모니터로 현장을 보면서 위반차량의 번호를 수동으로 입력하는 방법이며, 자동 시스템은 원클릭으로 번호판 인식부터 단속 확정까지 자동으로 시행하는 방법을 말한다(류지형 등, 2019; 이경순·김지홍, 2006).

현재 불법 주정차 차량을 단속하는 방법은 교차로에 설치된 CCTV 카메라를 이용하거나 또는 경찰관이 현장에 출동하여 카메라가 부착된 단속차량을 이용하여 단속하는 방법이 대표적이다. 교차로에 설치된 CCTV는 주로 교통량이나 교통 흐름을 실시간으로 모니터링하는 것을 목적으로 하고 있으며 일부 불법 주정차 차량도 단속하는 일을 하고 있다. 다만, 불법 주정차 차량의 대부분이 좁은 도로에서 이루어지고 있다는 점에서 교차로에서의 불법 주정차 단속 효과는 크지 않은 것이 사실이다. 또한, 경찰관이 카메라가 부착된 차량을 이용하여 불법 주정차를 단속하는 것이 가장 정확한 방법이지만, 가용 인력의 한계로 한시적인 단속이라는 지적을 받고 있다(장현천 등, 2015).

순찰차에 부착된 고가의 카메라는 근거리에서 차량의 번호판을 촬영한 후 이진법에 의해 번호를 인식하는 방법을 채택하고 있으며, 영상의 품질이 낮을 경우 번호를 효과적으로 인식하지 못하는 한계가 있다. 이러한 문제는 교차로에 설치된 CCTV의 경우도 유사하다. 교차로에 가까운 차량의 경우, 비교적 고품질의 영상을 얻을 수 있지만, 멀리 주차되어 있는 차량의 경우 CCTV를 확대하여 촬영하더라도 해상도의 문제로 이진법에 의한 차량 번호 자동식별이 어렵게 된다. 따라서, 담당자가 불법 주정차 차량을 육안으로 식별하여 기록하는 수동 방식을 병행할 수 밖에 없는 구조를 가지고 있다.

이러한 문제를 해결하기 위해 다양한 형태와 해상도를 가지는 차량 번호판을 학습자료로 구축하여 인공지능(AI; Artificial Intelligence) 기반의 딥러닝 알고리즘에 적용하여 차량 번호를 식별하는 연구가 활발히 진행되고 있다(김대진·문현준, 2019; 김동민 등, 2012; 신강호, 2003; Arzoo·Neerai, 2019).

딥러닝 알고리즘을 이용하여 차량 번호를 인식하는 연구는 다음과 같다.

김연규와 차의영(2016)은 합성곱 신경망(CNN : Convolutional Neural Network) 기반의 GoogLeNet 알고리즘 연구를 통해 한글 문자를 효과적으로 인식하는 연구를 수행하였으며 2,000개 이상의 한글 문자 샘플을 적용한 결과 99% 이상의 정확도를 보였다. 김승균 등(2009)은 불법 주정차 차량을 단속하기 위한 차량 검지 및 추적기법을 개발하였으며, 움직이는 차량을 구분하기 위해 향상된 코드북 물체 검지 알고리즘을 적용하였다. 그러나, 이 연구는 단순히 불법 주정차 차량의 객체만을 인식하였으며, 차량 번호 검출 연구는 수행되지 않았다. 류지형 등(2019)은 딥러닝 추적 알고리즘을 통해 불법 주정차 지역에서 차량의 이동 특성을 파악하여 위반 차량을 검출하는 연구를 실시하였다. 차량 추적은 CNTK(Microsoft Cognitive Toolkit) 및 Faster CNN 방법을 이용하였으며, 주정차 위반 차량 검지율을 96.7%로 확보할 수 있었다.

국외 딥러닝 관련 연구를 살펴보면 Arzoo와 Neerai(2019)는 교통흐름을 예측하기 위해 딥러닝 모델을 활용하였으며, Andrew 등(2019)은 딥러닝 알고리즘을 활용하여 Google Street View 영상으로부터 교통신호를 모니터링하는 연구를 제시하였다. 또한 Jun 등(2017)은 인공지능 기반의 신경망 알고리즘을 활용하여 교통 현장에서 차선을 효과적으로 감지하여 운전자가 구조적으로 교통 상황을 예측하도록 지원하는 연구를 수행하였으며, Xingcheng 등(2017)은 차량과 함께 사람의 얼굴을 인식하기 위해 합성곱 신경망 알고리즘(CNN) 모델을 활용하였다. 그리고 Li 등(2018)은 딥러닝 학습을 통해 다양한 형태의 차량 유형을 검출하는 연구를 수행하였으며, Yingjun 등(2019)은 인공지능 컴퓨팅 기술인 딥러닝 알고리즘과 교통 모의 실험 분석을 통해 차량의 이동행태를 효과적으로 판단하였다. 특히 Asharul과 Yaseen(2019)는 딥러닝 알고리즘을 적용하여 UAV(Unmanned Aerial Vehicle)를 운영하는데 필요한 네트워크 및 하드웨어 운용 그리고 군사 및 농업분야에 활용하는 연구를 진행하였다. 그리고, Qing 등(2020)은 회전익 드론에 열적외선 카메라를 탑재한 후 차량을 영상으로 촬영하였으며, 이를 합성곱 신경망 알고리즘(CNN)에 적용하여 차량의 영역을 인식하는 연구를 수행하였다.

이와 같이 교통 분야에서 차량 번호 인식, 차선 검출, 차량 유형 분석 등에 딥러닝 기반의 연구들이 수행되고 있다. 이러한 연구의 효과를 높이기 위해 다양하고 많은 양의 학습 자료를 얻어 훈련시키는 것이 중요하며, 특히 연구 목적에 부합되도록 딥러닝 알고리즘을 지속적으로 개선하는 것이 필요하다.

도심지 불법 주정차 문제는 상가 및 주택가 좁은 도로를 중심으로 광범위하게 발생하고 있으며, 이는 조성된 상권에 비해 주차공간이 충분하지 않은 것도 주요 원인으로 지적되고 있다.

도 2는 본 연구 대상지인 전주시 신시가지 도로에 불법 주정차 문제로 차량의 이동이 어려운 모습을 보여주고 있다.

불법 주정차 차량은 장시간 주차하는 차량을 비롯하여 상가 업무차 일시 정차하는 차량까지 매우 다양하게 나타난다. 또한, 전주시 신시가지 지역 중 일부 구간에 대해서는 불법 주정차 문제가 상습적으로 반복되고 있으며, 드론의 카메라를 사용하여 불법주정차 차량 번호판을 인식하여 효과적으로 불법주정차를 단속하기 위한 방안들이 필요하게 되었다.

도 3은 불법 주정차 단속 카메라 레일 모형도이다.

본 연구는 상습 불법 주정차 지역에 대한 신속하고 효과적인 단속하기 위해 도 3과 같이 불법 주정차 구간에 지상 4~6m 높이로 단속 카메라용 레일을 설치하여 카메라가 이동하면서 불법 주정차 차량을 단속하는 아이디어를 검토하였다. 레일은 불법 주정차 차량의 행태를 검토하여 직선형 또는 회전형으로 불법주정차 단속 카메라 레일을 구성하는 방안이 효과적일 것으로 판단되며, 촬영된 영상을 딥러닝 알고리즘을 이용하여 차량 번호를 식별한 후 이동조치 문자나 범칙금을 부과하는 등의 절차를 거치게 된다.

그러나, 도로에 불법 주정차 단속 카메라 레일을 설치하는 비용 문제를 비롯하여 시설물 설치에 따른 법적 검토 등의 문제로 실험을 수행하지 못하게 되었다. 단속 카메라 레일과 동일한 효과를 낼 수 있는 방법을 고안하게 되었다.

특허 등록번호 10-1987618 (등록일자 2019년 06월 03일), "딥러닝 기반의 차량 번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템", 윤재민 특허 등록번호 10-2122850 (등록일자 2020년 06월 09일), "딥 러닝 기반의 교통분석 및 차량 번호 인식 솔루션", (주)사라다

김대진, 문현준, 2019, "자동차 번호 인식률 향상을 위한 전후 처리 알고리즘 구현", 전기학회논문지, 전기학회, 제68권 제12호, pp.1594-1600. 김동민, 장상식, 윤인혜, 백준기, 2012, "CCTV 영상에서 참조 영상을 이용한 자동차 번호판 인식률 제고", 전자공학회논문지, 전자공학회, 제49권 제12호, pp.131-141. 김승균, 김효각, 장동니, 박상희, 고성제, 2020, 불법 주정차 차량 단속을 위한 차량 검지 및 추적 기능, 전기전자학회논문지, 제13권 제2호, pp.232-240. 김연규, 차의영, 2016, 한글 인식을 위한 "CNN 기반의 간소화된 GoogLeNet 알고리즘 연구", 한국정보통신학회논문지, 한국정보통신학회, 제20권 제9호, pp.1657-16+65. 김희석, 2014, "FPGA를 이용한 자동차 번호판 전처리 영역 추출 알고리즘 설계", 한국정보기술학회논문지, 한국정보기술학회, 제12권 제2호, pp.23-31. 류지형, 최두현, 김영모, 2019, "딥러닝 추적을 이용한 주정차위반 검지 방법", 전자공학회논문지, 전자공학회, 제56권 제9호, pp.67-74. 배윤오, 이영진, 장용훈, 이권순, 1996, "신경회로망을 이용한 자동차 종류 및 차량 번호 자동인식에 관한 연구", 대한전기학회 학술발표논문집, 대한전기학회, pp.22-24. 신강호, 2003, "주차장 자동차번호 인식 시스템에 관한 연구", 한국컴퓨터정보학회논문지, 한국컴퓨터정보학회, 제8권 제4호, pp.87-91. 이경순, 김지홍, 2006, "서울시 불법주차무인단속시스템 구축 사례", 교통기술과정책, 대한교통학회, 제3권 제1호, pp.116-126. 장현천, 안승규, 이순미, 이동진, 2015, "광학문자인식(OCR)기법을 활용한 무인항공기 자동 불법주정차 단속", 한국항공우주학회 학술발표 논문집, 한국항공우주학회, pp.323-326. Andrew Campbell, Alan Both, Qian Sun, 2019, "Detecting and mapping traffic signs from Google Street View images using deep learning and GIS", Computers, Environment and Urban Systems, Vol.77, pp.1-11. Arzoo Miglani, Neeraj kumar, 2019, "Deep learning models for traffic flow prediction in autonomous vehicles", Vehicular Communications, Vol.20, pp.1-36. Asharul Islam Khan, Yaseen Al-Mulla, 2019, "Unmanned Aerial Vehicle in the Machine Learning Environment", The 10th International Conference on Emerging Ubiquitous Systems and Pervasive Networks (EUSPN 2019) November 4-7, Procedia Computer Science, pp.46-53. Jun Li , Xue Mei, Danil Prokhorov, Dacheng Tao, 2017, "Deep Neural Network for Structural Prediction and Lane Detection in Traffic Scene", IEEE Transactions on Neural Networks and Learning Systems, Vol.28, No.3, pp.690-703. Li Suhao, Lin Jinzhao, Li Guoquan, Bai Tong, Wang Huiqian, Pang Yu, 2018, "Vehicle type detection based on deep learning in traffic scene", Procedia Computer Science, Vol.131, pp.564-572. Qing Kang, Hongdong Zhao, Dongxu Yang, Hafiz Shehzad Ahmed, Juncheng Ma, 2020, "Lightweight convolutional neural network for vehicle recognition in thermal infrared images", Infrared Physics and Technology, Vol.104, pp.1-8. Xingcheng Luo, Ruihan Shen, Jian Hu, Jianhua Deng, Linji Hu and Qing Guan, 2017, "A Deep Convolution Neural Network Model for Vehicle Recognition and Face Recognition", Procedia Computer Science, Vol.107, pp.715-720. Yingjun Ye, Xiaohui Zhang, Jian Sun, 2019, "Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment", Transportation Research Part C, Vol.107, pp.155-170.

상기 문제점을 해결하기 위한 본 발명의 목적은 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 드론의 카메라를 이용한 불법 주정차 촬영을 실시하였으며, 드론의 카메라 영상을 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 차량 영역과 번호판 영역을 검출하고, 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 번호판의 문자와 숫자를 분리하는 앵커박스를 생성하여 차량 번호를 인식하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템을 제공한다.

본 발명의 다른 목적은 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 방법을 제공한다.

본 연구는 향후 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 드론을 이용한 불법 주정차 촬영을 실시하였다. 드론 촬영을 통해 얻어진 영상은 본 연구에서 개발한 딥러닝 기반의 알고리즘에 적용하여 대상 구간의 불법 주정차 번호를 검출하는데 활용하였으며, 특히 해상도에 따른 불법 주정차 번호 인식 정확도를 평가하는데 목적을 두었다.

본 발명의 목적을 달성하기 위해, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템은 카메라를 구비하는 드론; 상기 드론으로부터 실시간으로 촬영된 카메라 영상 데이터를 수신받고, 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램을 구비하는 지상 단말기; 및 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 드론의 카메라 영상을 딥러닝의 SSD(Single Shot Detector) 알고리즘을 이용하여 차량 영역 및 번호판 영역의 객체를 검출한 후, 차량과 차량 번호판의 영역의 특징 맵을 구성하며, 상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 불법주정차 차량 번호를 인식하는 영상 분석 서버를 포함하며,
상기 SSD 알고리즘을 사용하는 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램은 차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정이 실행되며, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림을 포함하는 다양한 왜곡이 발생하게 되므로 경사지거나 비틀어진 번호판을 정형화시키는 데이터 확장 알고리즘을 사용하여 이를 보정하며, 상기 데이터 확장 알고리즘은 크게 광학적 변형(Photometric Distortion), 기하학적 변형(Geometric Distortion) 그리고 탄성학적 변형(Elastic Distortion) 과정을 통해 정형화된 번호판을 생성하며,
상기 기하학적 변형(Geometric Distortion) 방법은 원본 이미지(raw image)를 분석하여 회전(rotation), 틀기(shearing), 이동(translation), 확대(scaling)의 프로세스를 수행하며, 기하학 변형의 연산은 3×3 매트릭스를 사용하고, 기하학 변형을 보정하는 방법은 다음 식을 사용하였으며,

여기서, R은 회전(rotation) 매트릭스, Sh는 틀기(shearing) 매트릭스, T는 이동(translation) 매트릭스, Sc는 확대(scaling) 매트릭스인 것을 특징으로 하며,
이를 통해 얻어진 차량 번호판의 특징맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호를 인식한다.

본 발명의 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템은 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 일정 고도로 나는 드론의 카메라를 이용한 불법 주정차 촬영을 실시하였으며, 드론의 카메라 영상을 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 차량 영역과 번호판 영역을 검출하고, 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 번호판의 문자와 숫자를 분리하는 앵커박스를 생성하여 차량 번호를 인식하여 불법주정차를 단속하는 효과가 있다.

본 연구는 향후 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 드론을 이용한 불법 주정차 촬영을 실시하였다. 드론 촬영을 통해 얻어진 영상은 본 연구에서 개발한 딥러닝 기반의 알고리즘(SSD 알고리즘)에 적용하여 대상 구간의 불법 주정차 번호를 검출하는데 활용하였으며, 특히 저해상도/고해상도 영상에 따른 불법 주정차 번호 인식 정확도를 평가하였다.

도 1은 종래의 딥러닝 기반의 차량 번호판 이미지 매칭 기법을 적용한 차량 번호판 측정 시스템의 구성도이다,
도 2는 신시가지 도로에 불법 주정차 현상 사진이다.
도 3은 불법 주정차 단속 카메라 레일 모형도이다.
도 4는 앵커박스 및 합성곱 신경망(CNN) 특징맵을 이용한 차량 번호 인식 방법을 보인 순서도이다.
도 5는 차량 및 번호판 영역 인식 사진이다.
도 6은 기하학적 변형 알고리즘을 나타낸 도면이다.
도 7은 CNN 네트워크 구조를 나타낸 도면이다.
도 8은 M×N 크기의 차량 번호판 인식을 위한 차량 번호판의 문자영역에 생성되는 앵커박스 생성을 나타낸 도면이다.
도 9는 SSD 알고리즘을 이용하여 차량 및 번호판 영역을 검출한 후, 앵커박스를 생성하여 차량 번호를 인식하는 딥러닝 기반의 처리 결과를 보여주며, SSD 알고리즘을 사용한 딥러닝 기반의 차량 번호 인식 결과 사진이다.
도 10은 연구 대상 노선도의 사진이다.
도 11은 드론의 카메라로 촬영된 불법 주정차 드론 촬영 사진이다.
도 12는 드론을 사용한 노선별 불법 주정차 현황 사진이며, 각 노선별로 드론으로 촬영된 불법 주정차 사진을 보여주고 있다.
도 13은 자동차 번호 유형별 훈련자료 구축한 사진이다.
도 14는 드론의 카메라로 촬영한 해상도별 불법 주정차 번호 인식 사진: (a) 고해상도 드론 영상, (b) 저해상도 드론 영상
도 15는 차량 번호를 인식하지 못한 사례를 보인 사진이다.
도 16은 정차 위반 사각지대에 대한 드론 영상 기반의 차량 번호 인식 사례: (a) 주정차 위반 사각지대에 주차된 사례, (b) 드론 영상을 사용한 차량 번호 인식

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면 번호를 부여한다.

본 연구는 향후 레일형 카메라를 통한 불법 주정차 단속 업무를 지원하기 위해 레일형 카메라와 유사한 조건의 영상 취득을 위해 드론의 카메라를 이용한 불법 주정차 촬영을 실시하였다. 드론 촬영을 통해 얻어진 영상은 본 연구에서 개발한 딥러닝 기반의 알고리즘에 적용하여 대상 지역의 불법 주정차 번호를 검출하는데 활용하였으며, 특히 해상도에 따른 불법 주정차 번호 인식 정확도를 평가하는데 목적을 두었다.

본 발명의 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템은 카메라를 구비하는 드론; 일
정 경로를 정해진 속도와 고도를 갖는 Waypoint 경로를 나는 드론으로부터 실시간으로 촬영된 카메라 영상 데이터를 수신받고, 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램을 구비하는 지상 단말기; 및
상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 드론의 카메라 영상을 딥러닝의 SSD(Single Shot Detector) 알고리즘을 이용하여 자동차 테두리를 포함하는 차량 영역 및 번호판 영역의 객체(차량, 차량 번호판)를 검출한 후, 차량과 차량 번호판의 영역의 특징 맵(feature map)을 구성하며, 상기 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후, 차량 번호판의 특징 추출과 분류에 따라 학습 데이터에 기초하여 차량과 차량 번호판을 인식하여 관심 지역의 불법주정차 차량 번호를 인식하는 영상 분석 서버를 포함하며,
상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램은 차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정이 실행되며, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림을 포함하는 다양한 왜곡이 발생하게 되므로 경사지거나 비틀어진 번호판을 정형화시키는 데이터 확장 알고리즘을 사용하여 이를 보정하며, 상기 데이터 확장 알고리즘은 크게 광학적 변형(Photometric Distortion), 기하학적 변형(Geometric Distortion) 그리고 탄성학적 변형(Elastic Distortion) 과정을 통해 정형화된 번호판을 생성하며,
상기 기하학적 변형(Geometric Distortion) 방법은 원본 이미지(raw image)를 분석하여 회전(rotation), 틀기(shearing), 이동(translation), 확대(scaling)의 프로세스를 수행하며, 기하학 변형의 연산은 3×3 매트릭스를 사용하고, 기하학 변형을 보정하는 방법은 다음 식을 사용하였으며,

여기서, R은 회전(rotation) 매트릭스, Sh는 틀기(shearing) 매트릭스, T는 이동(translation) 매트릭스, Sc는 확대(scaling) 매트릭스인 것을 특징으로 하며,
이를 통해 얻어진 차량 번호판의 특징맵(feature map)에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호를 인식한다.

인공지능 딥러닝 알고리즘은 SSD 알고리즘을 사용하며, 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하여 드론의 카메라 영상의 자동차의 테두리를 포함하는 차량 영역과 번호판 영역의 객체(차량, 차량 번호판)를 검출하고, 차량과 차량 번호판의 영역의 특징 맵(feature map)을 구성하며, 상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 차량 객체와 차량 번호판을 인식하여 관심 지역의 불법주정차 차량 번호를 인식한다.

상기 인공지능 딥러닝 알고리즘은 SSD 알고리즘을 사용하며, 상기 SSD 알고리즘을 이용하여 차량 영역 및 번호판 영역을 검출한 후, 앵커박스를 생성하여 차량 번호를 인식한다.

드론은 카메라가 구비된 회전익 드론을 사용하며,

4대 이상의 프로펠러와 모터(M1,M2,M3,M4);

4대 이상의 프로펠러와 모터(M1,M2,M3,M4)와 연결되며, 비행 콘트롤러(FC)와 연결되는 전자 속도 제어기(ESC);

상기 전자 속도 제어기(ESC)와 연결되며, 무선 통신부를 통해 상기 지상 단말기으로부터 원격 드론 비행 제어 신호를 수신받고, 실시간으로 촬영된 드론 카메라 영상 데이터를 영상 분석 서버로 송신되도록 제어하는 비행 콘트롤러(FC);

상기 비행 콘트롤러(FC)와 연결되며, 상기 지상 단말기로부터 원격 드론 비행 제어 신호를 수신받고, RF 통신부, Wi-Fi 통신부, LTE 4G/5F 통신부 중 어느 하나를 구비하는 무선통신부;

상기 비행 콘트롤러(FC)와 연결되며, 드론의 GPS 위치 정보를 제공하는 GPS 수신기;

상기 비행 콘트롤러(FC)와 연결되며, 드론의 해발 고도 정보를 제공하는 고도계;

상기 비행 콘트롤러(FC)와 연결되며, z 축(axis)을 기준으로 회전하는 4대 이상의 프로펠러들의 각속도를 측정하여 yaw, roll, pitch를 제어하여 드론의 자세 제어를 하여 드론의 좌우 수평 밸런싱을 유지되도록 하는 자이로스코프(gyroscope, gyro sensor); 및 상기 비행 콘트롤러(FC)와 연결되며, 비행경로를 이동하는 드론의 가속도를 측정하는 가속도 센서(acceleration sensor)를 구비하는 INS 관성항법 장치;

드론의 하부에 구비된 PTZ 제어가 가능한 카메라;

상기 비행 콘트롤러(FC)와 연결되며, 상기 카메라의 영상을 인코딩하는 A/V 영상처리부;

카메라 영상 데이터와 시간에 따른 드론의 위치와 고도, 속도, 가속도 데이터를 기록하는 저장부;

상기 비행 콘트롤러와 연결되며, 드론에 전원을 공급하는 전원 공급부;

상기 비행 콘트롤러(FC)에 연결되며, 지능형 영상 분석 모듈에 의해 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상 내의 객체들을 검출하여 특징 추출과 분류를 통해 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈;

상기 드론의 상부 몸체와 하부 수직 이착륙부를 구비하는 기구부 프레임을 포함한다.

상기 드론은 상기 비행 콘트롤러(FC)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부를 더 포함할 수 있다.

드론의 카메라는 CCD 카메라, CMOS 이미지 센서, 및 적외선 카메라 중 어느 하나의 카메라를 사용할 수 있다.

상기 지상 단말기는

상기 드론을 원격 제어하는 조작부;

상기 드론의 수직 이착륙, 수직 상승/하강, 방향 제어, 선형 가속, 드론의 속도 제어, 고도 제어, 위치 제어, 호버링, 랜딩 및 비행 경로를 제어하는 비행제어 SW;

상기 미디어 서버에 접속하여 RTSP client를 사용하여 드론의 카메라의 객체가 식별된 영상 데이터를 표시부로 출력하는 클라이언트;

상기 드론의 원격 드론 비행 제어 신호를 전송하도록 제어하는 제어부;

상기 드론으로 통신망(RF, Wi-Fi, LTE 4G/5G 또는 IoT 통신망)을 통해 원격 드론 비행 제어 신호를 송신하는 통신부;

상기 드론으로부터 수신된 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 수신받아 저장하는 저장부; 및

상기 제어부와 연결되며, 드론의 카메라 영상 내 객체가 식별된 영상 데이터를 표출하는 표시부를 포함한다.

2. 딥러닝 알고리즘을 이용한 차량 번호 인식 프로세스

드론을 통해 취득한 영상을 활용하여 불법 주정차된 차량 번호를 인식하기 위해 본 연구에서는 다양한 학습 데이터를 구축하였으며, 이를 딥러닝 알고리즘에 적용하였다. 도 4는 딥러닝 알고리즘을 활용하여 불법 주정차된 차량 번호를 자동으로 인식하는 과정을 나타내고 있다.

도 4는 앵커박스 및 합성곱 신경망(CNN) 특징맵을 이용한 차량 번호 인식 방법을 보인 순서도이다.

먼저, 불법 주정차된 차량에 대해 드론의 카메라를 이용하여 영상을 촬영한 후 딥러닝 기술 중 하나인 SSD 알고리즘을 이용하여 자동차 테두리 및 번호판 영역을 검출하였다. 이를 위해 본 연구는 방대한 양의 차량 테두리 및 번호판 영역에 대한 학습 데이터를 구축하였다.

딥러닝 기반의 불법주정차 차량 번호 인식 프로그램은 영상 분석 서버에 접속하여 차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정을 거치게 되며, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림 등 다양한 왜곡이 발생하게 되므로 데이터 확장 알고리즘을 활용하여 이를 보정하게 된다. 상기 데이터 확장 알고리즘은 크게 광학적 변형(Photometric Distortion), 기하학적 변형(Geometric Distortion) 그리고 탄성학적 변형(Elastic Distortion) 과정을 통해 정형화된 번호판을 생성하며, 이를 통해 얻어진 차량 번호판의 특징맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호를 인식하게 된다.

먼저, SSD 알고리즘을 이용하여 차량 테두리 및 번호판 영역을 검출하는 과정을 다음과 같이 설명한다.

차량 및 번호판 영역을 검출하기 위해 많은 양의 훈련 과정을 거치게 되며, 본 연구는 50,232개의 학습 데이터를 활용하였다. 먼저, 차량 이미지가 입력되면, 마우스로 번호판 영역을 드래그하여 박스를 그려주고, 해당되는 번호판 타입과 번호판 영역 좌표를 저장하게 되는 라벨링 과정을 수행하였다.

상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하고,

상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램에 의해 먼저 SSD 알고리즘을 이용하여 차량 테두리 및 번호판 영역을 검출하는 과정은 차량 영역과 및 번호판 영역을 검출하기 위해 수개~수만개의 학습 데이터를 활용하며, 차량 이미지가 입력되면, 마우스로 번호판 영역을 드래그하여 박스를 그려주고 해당되는 번호판 타입과 번호판 영역 좌표를 저장하게 되는 라벨링 과정을 수행하며,

드론의 카메라 영상의 차량과 차량 번호판의 객체를 검출하고, 차량 번호판의 영역의 특징 맵을 구성하며,

차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정을 거치게 되는데, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림 등 다양한 왜곡이 발생하게 되므로 데이터 확장 알고리즘을 활용하여 이를 보정하고,

상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 관심 지역의 불법주정차 차량 번호를 인식한다.

도 5는 차량 및 번호판 영역 인식 사진이다.

SSD 알고리즘을 이용하여 차량 영역과 번호판 영역을 인식하기 위해 Base Network와 Extra Network를 구성해야 한다. 본 연구에서는 xml을 사용하여 차량 영역을 검출하는 vehicleDet.xml와 번호판 영역을 검출하는 KRPlateDet.xml를 작성하였다. 특히 Base Network의 계산 속도를 높이기 위해 Mobilenet V2를 사용하였다. KRPlateRecog.xml에 학습 네트워크 구성을 정의하였으며, 입력 이미지 사이즈는 94×24로 하였고 CNN 연산을 위한 네트워크는 Mobilenet V2를 사용하였다.

SSD 기반의 학습 훈련 시간은 7시간 30분 정도 소요되었으며, 훈련 후 차량 및 번호판 영역을 인식하는 정확도(accuracy)를 평가한 결과 99.4%로 높게 나타났다.

차량 번호판 영역으로부터 차량 번호를 효과적으로 검출하기 위해서는 전처리 과정이 요구된다. 드론의 카메라 또는 CCTV 카메라 등을 사용하여 취득된 영상은 거리와 각도에 따라 비틀림 현상이 나타나므로 정형화된 형태의 앵커박스를 생성할 수 없게 되며, 딥러닝 기반의 차량 번호를 인식하는데 오류를 가져오게 된다.

본 연구는 이러한 문제를 해결하기 위해 광학적 변형(Photometric Distortion), 기하학적 변형(Geometric Distortion), 탄성학적 변형(Elastic Distortion)을 보정하는 데이터 확장 알고리즘을 이용하였다.

먼저, 광학적 변형(Photometric Distortion)은 잡음(noise)를 추가하거나 밝기를 조정하는 밝기 대조(light contrast) 방법을 사용하여 새로운 영상을 생성하는 과정이다. 먼저 잡음(noise)를 추가하기 위해 본 연구에서는 가우시간 분포 noise를 계산하여 원본 영상에 추가하였다.

img_noise = img_src + random_noise

여기서, img_noise는 잡음(noise)값이 추가된 이미지, img_src는 원본 이미지(raw image), random_noise는 평균값이 0 이고 표준편차가 1인 정규분포를 가지는 noise값을 의미한다.

그리고 밝기 대비 변형은 Gray-scale Balance 기법을 사용하였으며,

여기서, f(x)는 결과값, x는 이미지 입력값, max는 이미지 최대값, min은 이미지 최소값, Vmax와 Vmin은 밝기 변형 구간 값을 의미한다.

두 번째 기하학적 변형(Geometric Distortion) 방법은 도 6과 같은 방법으로 수행하였다. 이 방법은 원본 이미지(raw image)를 분석하여 회전(rotation), 틀기(shearing), 이동(translation), 확대(scaling) 등의 프로세스를 종합적으로 수행하는 것으로서 기하학 변형의 연산은 3×3 매트릭스를 이용하였다.

도 6은 기하학적 변형 알고리즘을 나타낸 도면이다.

기하학 변형을 보정하는 방법은 다음의 식을 이용하였다.

여기서, R은 회전(rotation) 매트릭스, Sh는 틀기(shearing) 매트릭스, T는 이동(translation) 매트릭스, Sc는 확대(scaling) 매트릭스이다.

세 번째 탄성학적 변형(Elastic Distortion)은 각 픽셀에 대한 변위장(displacement field)을 계산하여 영상의 형태를 변형시키는 방법으로서, 드론의 카메라 영상에 포함된 각 픽셀별로 다른 방향으로 뒤틀리게 함으로서 자연스러운 영상의 변형을 유도하게 된다.

탄성학적 변형을 보정하기 위해 먼저 x 방향 변위와 y방향 변위 dx, dy에 대한 유니폼 랜덤 변위장을 계산하게 된다.

이 과정이 완료되면, dx, dy에 대한 스무딩(smoothing)을 계산하게 된다.

Smoothing(dx, dx, kernel_size, sigma)

Smoothing(dy, dy, kernel_size, sigma)

여기서, sigma는 가우시안 커널 파라미터(Gaussian kernel parameter)이다(김희석, 2014).

또한, 스무딩한 변위장에 변형 정도의 세기를 조절하는 alpha값을 곱하게 되며, 최종적으로 변위장 dx, dy 위치값으로 원래 이미지값을 가져와 다시 맵핑(remapping)하는 과정을 거치게 된다.

데이터 확장 알고리즘을 통해 얻어진 차량 번호판은 도 6과 같이 합성곱 신경망 알고리즘(CNN) 네트워크의 특징맵으로 변환되어 다음 단계을 위한 입력자료로 제공된다.

도 7은 CNN 네트워크 구조를 나타낸 도면이다.

드론 카메라 영상의 딥러닝을 사용한 카메라 영상의 실시간 차량객체와 차량번호판 인식은 CNN(Convolutional Neural Networks), RNN(Recurrent Neural Networks)과 LSTM(Long-Short Term Memory) 중 어느 하나를 사용할 수 있다.

딥러닝 모듈은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Networks), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, 및 Faster RCNN(Region based Convolutional Neural Network), YOLO(You Only Look Once), SSD(Single Shot Detector) 알고리즘 중 어느 하나의 인공지능 딥러닝 알고리즘(실시예, SSD 알고리즘을 사용)을 사용하여 드론의 카메라 영상 내의 차량 객체와 차량 번호판 객체를 검출(object detection)하고, 특징 추출과 분류를 통해 차량 번호판의 영역의 특징 맵(feature map)을 구성하며 상기 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 학습 데이터에 기초하여 대상 지역의 불법주정차 차량 번호를 인식한다.

CNN(Convolutional Neural Networks)은 카메라 영상의 이미지 속의 객체(차량 객체, 차량 번호판)를 검출하거나 숫자/글자를 추출하는 문자 인식을 통해 차량 번호 인식 기술로 사용되며, 번호판 타입과 차량 번호판의 학습데이터를 확보하여 불법주청차 차량 번호 인식의 정확도(accuracy)를 높일 수 있다.

다층 구조의 MLP는 카메라 입력 영상으로부터 입력층(input layer)/L-1개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer3.. )/출력층(output layer)을 포함하며, CNN 알고리즘은 AlexNet, VGGNet, ResNet 중 어느 하나의 CNN 딥러닝 알고리즘을 사용할 수 있다. 다층구조의 MLP를 사용하여 Multilayer Perceptron을 통해 카메라 영상의 차량과 차량 번호판의 특징 추출(feature extraction)과 객체(차량, 차량 번호판)를 분류(classification)한다.

또한, 합성곱 신경망(CNN)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.

심층 CNN(deep CNN) 알고리즘은 가중치를 갖는 마스크(예, 3x3 window)를 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 컨볼류션(convolution)과 서브샘플링(subsampling)을 반복하여 영상의 데이터량을 줄이며 영상의 왜곡에 강한 특징을 추출하며(feature extraction), 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 객체(차량, 차량 번호판 등)를 분류(classification)한다.

CNN 알고리즘을 사용한 영상처리에서, 컨볼루션(convolution)은 가중치를 갖는 마스크(예, 3x3 윈도우)를 사용하여 영상처리가 이루어지며, 입력 영상에 가중치를 갖는 마스크(예, 3x3 window, 5x5 window)를 stride에 따라 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치(weight)를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.

subsampling은 화면 크기를 줄이는 과정이며, 해당 영역의 최대치를 선택하는 max pooling을 사용한다.

FC 층(Fully Connected Layer, 완전연결층)은 신경망의 입력 단자에 연결시켜 차량 객체와 차량 번호판의 학습(learning)에 따라 영상의 객체들(차량, 차량 번호판)을 분류한다. 예를 들면, 현재 5층의 convolution layer와 3층의 fully_connected layer를 사용한다.

컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체의 클래스를 분류한다.

결과적으로, 드론의 카메라 영상의 객체(차량, 차량 번호판)를 검출하고 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치 영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하며, Pooling layer를 통과함에 따라 특징맵(feature map)의 크기가 작아지며 각각 다른 크기의 특징 맵에서 객체 위치영역 정보를 추출하여 객체들을 검출하여, FC 층(Fully Connected Layer, 완전 연결층)에 의해 객체들(차량, 차량 번호판)을 분류(classification)한다.

또한, 실시예에서는 인공지능 딥러닝 알고리즘은 드론의 카메라 영상내 객체 검출 속도가 빠른 YOLO(You only Look Once), SSD(Single Shot Detector) 알고리즘 등의 인공지능/딥러닝 비전 기술을 사용하였다.

참고로, 딥러닝을 사용한 드론의 카메라 영상의 실시간 객체 인식을 위한 YOLO(You Only Look Once)는 각 이미지를 SxS 개의 그리드(grid, 경계 상자)로 분할하고, 각 그리드의 신뢰도를 계산하여 그리드 내 객체 인식시 정확도를 반영하여 이미지 전체를 한번에 보는 방식으로 클래스를 구분하며, YOLO는 단순한 처리로 다른 모델에 비해 2배 정도 높은 성능을 갖고 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다.

이와 달리, YOLO와 유사하면서 더 나은 성능을 보이는 SSD(Single Shot Detector) 알고리즘은 카메라 영상내 객체 검출 속도 및 정확도 사이의 균형감이 고유한 장점, SSD는 입력 이미지에 대한 CNN을 단 한번만 실행하고도 특징 맵(feature map) 계산이 가능하여 다양한 스케일의 객체 검출 가능하다.

SSD는 카메라 영상 내의 객체 검출(object detection)을 위한 그리드(grid)가 표시되는 객체 검출 속도 및 정확도 사이의 균형이 있는 인공지능 기반 객체 검출 알고리즘이다. SSD는 한 번만 입력 이미지에 대한 CNN(Convolutional Neural Network)을 실행하고, 특징 맵(feature map)을 계산한다. 그리드 및 객체 분류 확률을 예측하기 위해 특징 맵을 3 × 3 필터 크기로 CNN을 수행한다. SSD는 CNN처리 후, 그리드(grid)를 예측한다. 이 방법은 다양한 스케일의 객체를 검출할 수 있다.

앵커박스는 차량 번호판을 구성하는 숫자와 문자영역을 각각 구분하는 과정으로서, 앵커박스는 SSD 알고리즘에서의 default box와 유사한 개념이다. 다만 가로와 세로의 비율이 1:2, 1:1, 2:1 세가지 종류인 default box와는 달리, 앵커박스는 차량 번호의 가로와 세로의 비율이 비슷하기 때문에 1:1 비율의 박스만 사용하는 것이 특징이다.

앵커박스는 높이가 N이라면 가로 크기는 [N/2, N] 범위로 N/2 만큼 생성하게 된다. 즉, 차량 번호판의 문자 영역의 각 세로 픽셀 기준으로 stride가 “1”인 경우, N/2개의 앵커박스를 가지게 된다.

도 8은 M×N 크기인 차량 번호판 문자영역에 생성되는 앵커박스를 보여주고 있으며, 이 경우 앵커박스의 총 개수는 N/2×(M-N)개가 된다.

본 연구는 KRPlateRecog.xml에 학습 네트워크 구성을 정의하였으며, 입력 이미지 사이즈는 94×24로 하였고 CNN 연산을 위한 네트워크는 Mobilenet V2를 사용하였다. 차량 번호 인식을 위한 훈련시간은 12시간 정도 소요되었으며, 차량 번호 인식 정확도를 평가한 결과 98.5%로 매우 높게 나타났다.

도 9는 SSD 알고리즘을 이용하여 차량 영역 및 번호판 영역을 검출한 후, 앵커박스를 생성하여 차량 번호를 인식하는 딥러닝 기반의 처리 결과를 보여주며, SSD 알고리즘을 사용한 딥러닝 기반의 차량 번호 인식 결과 사진이다.

3. 드론 영상 기반 딥러닝 알고리즘을 이용한 불법 주정차 번호 인식

드론 촬영을 통해 얻어진 영상은 본 연구에서 개발한 딥러닝 기반의 알고리즘(SSD 알고리즘)에 적용하여 대상 구간의 불법 주정차 번호를 검출하였다.

연구 대상지역은 도 10과 같이 주간에도 불법 주정차 문제로 많은 민원이 발생하고 있는 전주 신시가지를 대상으로 하였으며, 대표적으로 6개 노선을 선정하여 실험을 진행하였다.

대상지역은 신시가지 특성상 차량과 보행자 이동이 많은 관계로 안전사고 방지를 위해 크기와 소음이 작으면서 성능이 우수한 회전익 드론(DJI Mavic 2 pro 드론)을 활용하였다.

도 11은 드론의 카메라로 촬영된 불법 주정차 드론 촬영 사진이며, 6번 노선에서 드론을 활용하여 불법 주정차 영상을 촬영하고 있는 모습이다.

도 12는 드론을 사용한 노선별 불법 주정차 현황 사진이며, 각 노선별로 드론으로 촬영된 불법 주정차 사진을 보여주고 있다.

본 연구에서는 딥러닝 기반의 차량 번호 인식을 자동으로 수행하기 위해 Visual Studio 2017 환경에서 C++과 C# 언어를 이용하여 프로그램을 개발하였으며, 특히 도 13와 같이 다양한 형태의 차량 번호판을 식별할 수 있도록 기존 지역표시 번호판을 비롯하여 2줄 번호판 그리고 최근에 보급되고 있는 1줄 형태의 세자리 숫자 번호판까지 훈련자료를 수집하여 학습에 활용하였다.

도 13은 자동차 번호 유형별 훈련자료 구축한 사진이다.

본 연구는 각 노선별로 촬영한 드론 영상을 활용하여 불법 주정차 번호 인식 정확도를 평가하였으며, 특히 도 13과 같이 드론의 카메라의 성능을 고려하여 영상의 해상도에 따른 차량 번호 인식 실험도 함께 수행하였다.

도 14는 드론의 카메라로 촬영한 해상도별 불법 주정차 번호 인식 사진: (a) 고해상도 드론 영상, (b) 저해상도 드론 영상

먼저 드론으로 촬영한 1920×1080 해상도의 영상으로부터 640×360로 해상도를 다운시켰으며, 고해상도/저해상도 각 해상도별 영상을 SSD 알고리즘을 사용한 딥러닝 기반의 차량 번호 인식 프로그램에 적용하여 불법 주정차차량 인식 정확도를 평가하였다. 표 1은 노선별 불법 주정차된 차량대수와 해상도별 용량 및 인식률을 분석한 결과이다. 6개 노선에 불법 주정차된 64대의 차량 중 62대를 인식하여 96.9%의 인식 정확도를 확보할 수 있었다. 다만, 5번 노선과 6번 노선에서 각각 1대씩 차량 번호를 인식하지 못한 것으로 나타났다.

[표1]

불법 주정차 번호를 인식하지 못한 차량을 확인한 결과 도 14와 같이 최근에 보급하고 있는 세자리 숫자 번호판으로 확인되었다. 훈련자료를 분석한 결과 총 50,232개 중 세자리 번호판은 823개로서 전체 훈련자료의 약 1.6%로 나타났다. 따라서 학습에 이용된 훈련자료가 충분하지 않은 것이 원인으로 파악되었다.

도 15는 차량 번호를 인식하지 못한 사례를 보인 사진이다.

도 16은 정차 위반 사각지대에 대한 드론 영상 기반의 차량 번호 인식 사례: (a) 주정차 위반 사각지대에 주차된 사례, (b) 드론 영상을 사용한 차량 번호 인식

드론의 카메라로 촬영된 영상은 카메라 각도 조정이 가능하므로 교차로에 설치된 CCTV에 비해 앞 차량과 밀착하여 주차된 불법 주정차 사각지대에 위치한 차량도 촬영이 가능하다. 도 15(a)는 앞차와의 간격이 매우 좁아 번호판이 잘 보이지 않는 사각지역의 차량을 보여주고 있으며, 도 15(b)는 드론을 통해 주차 사각지역의 차량을 촬영한 후 실시간으로 불법 주정차 번호를 인식하는 화면을 보여주고 있다.

본 연구는 도심지 상습 불법 주정차 차량 단속을 위해 검토한 레일형 불법 주정차 단속 카메라와 유사한 환경에서 실험하기 위해 드론 영상을 활용하였다. 특히 영상으로부터 차량 번호를 실시간 인식할 수 있는 딥러닝 알고리즘(SSD 알고리즘) 기반의 차량 번호 인식 프로그램을 개발하였으며, 이를 통해 실험한 결과 다양한 형태의 불법 주정차 번호를 효과적으로 탐지할 수 있었다.

향후 본 연구 성과는 레일형 불법 주정차 단속 카메라 시설물에 대해서도 적용이 가능할 것으로 판단되며, 이를 통해 도심지 상습 불법 주정차 지역의 원활한 교통 개선이 가능할 것으로 판단된다.

4. 결론

불법 주정차 문제는 화재나 응급환자 발생시 교통 흐름을 방해하여 막대한 인명 및 재산피해를 가져올 수 있으며, 따라서, 불법주정차 차량은 주기적이고 즉각적인 모니터링과 단속이 필요하다. 불법 주정차 문제는 넓은 도로보다는 좁은 도로에서 상습적으로 발생하고 있으며, 이를 효과적으로 단속하기 위한 아이디어 발굴이 요구되고 있다.

본 연구는 이러한 문제를 개선하기 위해 레일형 불법 주정차 단속 카메라 시설물을 검토하였으나, 설치과정에서 발생하는 비용 및 법적 문제로 이와 유사한 효과를 가져올 수 있는 드론의 카메라 영상 기반의 불법 주정차 모니터링 연구를 수행하였다.

드론을 통해 취득한 영상으로부터 불법 주정차 번호를 인식하기 위해 딥러닝 기반의 차량 번호 인식 알고리즘을 개발하였다. 또한 실제 현장에서 불법 주정차 단속 업무를 효과적으로 지원하기 위해 Visual Studio 2017 환경에서 C++과 C# 언어를 이용하여 차량 번호를 자동으로 식별할 수 있는 프로그램을 개발하였다. 딥러닝 알고리즘을 이용한 차량 번호 인식은 먼저 SSD 알고리즘을 이용하여 자동차 및 번호판 영역을 검출하는 단계부터 시작하게 된다. 이를 위해 50,232개의 학습 자료를 구축하여 훈련과정을 진행하였으며 자체 테스트한 차량 번호 인식 정확도는 99.4%로 매우 높게 나타났다.

드론의 카메라를 통해 취득한 영상은 다양한 모양과 형태를 가지게 되므로 최적의 앵커박스 및 딥러닝 알고리즘(SSD 알고리즘)을 적용하기 위해 경사지거나 비틀어진 번호판을 정형화시키는 데이터 확장 알고리즘을 개발하였다. 데이터 확장 알고리즘은 크게 광학적 변형, 기하학적 변형 그리고 탄성학적 변형 과정을 거치도록 구성하였다.

드론 영상을 활용한 불법 주정차 번호 인식을 위한 대상지로서 전주시 신시가지 중 상습 불법 주정차가 발생하고 있는 6개 노선을 대표적으로 선정하였다. 국내에는 지역표시 번호판을 비롯하여 다양한 형태의 번호판이 존재하기 때문에 각 유형별 차량 번호를 학습자료로 구축하여 훈련과정에 적용하였다.

또한, 드론으로 촬영한 1920×1080 해상도의 영상으로부터 640×360로 해상도를 다운시켜 해상도별 딥러닝 기반의 차량 번호 인식 정확도를 함께 평가하였다. 분석 결과 불법 주정차된 64대의 차량 중 62대를 인식하여 96.9%의 높은 정확도를 확보할 수 있었다.

다만, 전체 훈련자료 중 1.6%로 상대적으로 훈련자료가 부족한 세자리 숫자 번호판이 위치한 5번과 6번 노선에서 각각 1대씩 차량 번호를 인식하지 못한 것으로 나타났다. 향후 연구에서는 세자리 숫자에 대한 훈련자료를 많이 확보하여 딥러닝 알고리즘에 적용함으로서 국내에서 이용중인 모든 유형의 차량 번호에 대해서도 높은 차량 번호 인식 정확도를 가지는 불법 주정차 차량 번호 인식 프로그램을 구현할 계획이다. 해상도에 따른 차량 번호 인식 결과를 분석한 결과, 세자리 숫자를 제외한 모든 번호판 유형에서 저해상도의 영상에서도 딥러닝 알고리즘을 통한 불법 주정차 번호 인식 정확도는 우수한 것으로 평가되었다. 특히 앞 차량과 밀착하여 주차된 불법 주정차 사각 지대의 차량에 대하여 드론 촬영 각도 조정을 통해 효과적으로 번호를 식별할 수 있음을 알 수 있었다.

본 연구는 좁은 도로의 상습 불법 주정차 지역에 적용 가능한 레일형 불법 주정차 단속 카메라의 효과를 검토하기 위해 드론 영상에 의한 딥러닝 기반의 차량 번호 인식 프로그램을 개발하였으며 실험 결과 매우 높은 정확도를 확보할 수 있었다. 본 연구에서 개발한 알고리즘과 프로그램은 향후 불법 주정차 단속 업무에 활용이 가능하며 이를 통해 쾌적하고 원활한 교통 흐름을 확보할 수 있을 것으로 기대된다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.

이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.

본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.

Claims (10)

1. 카메라를 구비하는 드론;
   상기 드론으로부터 실시간으로 촬영된 카메라 영상 데이터를 수신받고, 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램을 구비하는 지상 단말기; 및
   상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 영상 분석 서버에 의해 드론의 카메라 영상을 딥러닝의 SSD(Single Shot Detector) 알고리즘을 이용하여 자동차의 테두리를 포함하는 차량 영역 및 번호판 영역의 객체를 검출한 후, 차량과 차량 번호판 영역의 특징 맵을 구성하며, 상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후, 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 관심 지역의 불법주정차 차량 번호를 인식하는 영상 분석 서버를 포함하며,
   상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램은 차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정이 실행되며, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림을 포함하는 다양한 왜곡이 발생하게 되므로 경사지거나 비틀어진 번호판을 정형화시키는 데이터 확장 알고리즘을 사용하여 이를 보정하며, 상기 데이터 확장 알고리즘은 크게 광학적 변형(Photometric Distortion), 기하학적 변형(Geometric Distortion) 그리고 탄성학적 변형(Elastic Distortion) 과정을 통해 정형화된 번호판을 생성하며,
   상기 기하학적 변형(Geometric Distortion) 방법은 원본 이미지(raw image)를 분석하여 회전(rotation), 틀기(shearing), 이동(translation), 확대(scaling)의 프로세스를 수행하며, 기하학 변형의 연산은 3×3 매트릭스를 사용하고, 기하학 변형을 보정하는 방법은 다음 식을 사용하였으며,
   

   

   
   여기서, R은 회전(rotation) 매트릭스, Sh는 틀기(shearing) 매트릭스, T는 이동(translation) 매트릭스, Sc는 확대(scaling) 매트릭스인 것을 특징으로 하며,
   이를 통해 얻어진 차량 번호판의 특징맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호를 인식하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
2. 제1항에 있어서,
   상기 드론은 카메라가 구비된 회전익 드론을 사용하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
3. 삭제
4. 제1항에 있어서,
   상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램과 연동되는 상기 영상 분석 서버에 의해 인공지능 딥러닝 알고리즘(SSD 알고리즘)을 사용하고,
   상기 SSD 알고리즘을 사용하는 상기 딥러닝 기반의 불법주정차 차량 번호 인식 프로그램에 의해 먼저 SSD 알고리즘을 이용하여 차량 테두리 및 번호판 영역을 검출하는 과정은 차량 영역과 및 번호판 영역을 검출하기 위해 수개~수만개의 학습 데이터를 활용하며, 차량 이미지가 입력되면, 마우스로 번호판 영역을 드래그하여 박스를 그려주고 해당되는 번호판 타입과 번호판 영역 좌표를 저장하게 되는 라벨링 과정을 수행하며,
   드론의 카메라 영상의 차량과 차량 번호판의 객체를 검출하고 차량 번호판의 영역의 특징 맵을 구성하며,
   차량 번호판 영역이 검출되면, 차량 번호를 인식하는 과정을 거치며, 이때 촬영된 차량 번호판의 형태는 회전, 확대, 비틀림의 다양한 왜곡이 발생하게 되므로 데이터 확장 알고리즘을 활용하여 이를 보정하고,
   상기 차량 번호판의 특징 맵에 대해 문자와 숫자 영역을 분리하는 앵커박스를 생성한 후 차량 번호판의 특징 추출과 분류에 따라 번호판 타입과 차량 번호판의 학습 데이터에 기초하여 관심 지역의 불법주정차 차량 번호를 인식하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
5. 삭제
6. 제1항에 있어서,
   상기 광학적 변형(Photometric Distortion)은 잡음(noise)를 추가하거나 밝기를 조정하는 밝기 대조(light contrast) 방법을 이용하여 새로운 영상을 생성하는 과정이며, 먼저 잡음(noise)를 추가하기 위해 가우시간 분포 noise를 계산하여 원본 영상에 추가하였으며,
   img_noise = img_src + random_noise
   여기서, img_noise는 잡음(noise)값이 추가된 이미지, img_src는 원본 이미지(raw image), random_noise는 평균값이 0 이고, 표준편차가 1인 정규분포를 가지는 noise값을 의미하며,
   그리고 밝기 대비 변형은 Gray-scale Balance 기법을 사용하였으며,
   

   

   
   여기서, f(x)는 결과값, x는 이미지 입력값, max는 이미지 최대값, min은 이미지 최소값, Vmax와 Vmin은 밝기 변형 구간 값을 의미하는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
7. 삭제
8. 제1항에 있어서,
   상기 탄성학적 변형(Elastic Distortion)은 각 픽셀에 대한 변위장(displacement field)을 계산하여 영상의 형태를 변형시키는 방법으로서, 드론의 카메라 영상에 포함된 각 픽셀별로 다른 방향으로 뒤틀리게 함으로서 자연스러운 영상의 변형을 유도하게 되며,
   탄성학적 변형을 보정하기 위해 먼저 x방향 변위와 y 방향 변위 dx, dy에 대한 유니폼 랜덤 변위장을 계산하고,
   

   

   
   이 과정이 완료되면, dx, dy에 대한 스무딩(smoothing)을 계산하며,
   Smoothing(dx, dx, kernel_size, sigma)
   Smoothing(dy, dy, kernel_size, sigma)
   여기서, sigma는 가우시안 커널 파라미터(Gaussian kernel parameter)이며,
   또한, 스무딩한 변위장에 변형 정도의 세기를 조절하는 alpha값을 곱하게 되며, 최종적으로 변위장 dx, dy 위치값으로 원래 이미지값을 가져와 다시 맵핑(remapping)하는 과정을 거치게 되며,
   상기 데이터 확장 알고리즘을 통해 얻어진 차량 번호판은 합성곱 신경망 알고리즘(CNN) 네트워크의 특징맵으로 변환되어 다음 단계을 위한 입력 자료로 제공되는, 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
9. 제1항에 있어서,
   상기 SSD 알고리즘을 이용하여 차량 영역과 번호판 영역을 인식하기 위해 베이스 네트워크(Base Network)와 엑스트라 네트워크(Extra Network)를 구성해야 하며, xml을 이용하여 차량 영역을 검출하는 xml과 번호판 영역을 검출하는 xml을 작성하였으며, 특히 베이스 네트워크(Base Network)의 계산 속도를 높이기 위해 Mobilenet V2를 사용하며,
   상기 번호판 영역을 검출하는 xml에 학습 네트워크 구성을 정의하였으며, 입력 이미지 사이즈는 94×24로 하였고, CNN 연산을 위한 네트워크는 Mobilenet V2를 사용하는, 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
10. 제1항에 있어서,
    상기 앵커박스는 차량 번호판을 구성하는 숫자와 문자영역을 각각 구분하는 과정으로서, 상기 앵커박스는 차량 번호의 가로와 세로의 비율이 비슷하기 때문에 1:1 비율의 박스만 사용하며,
    상기 앵커박스는 높이가 N이라면 가로 크기는 [N/2, N] 범위로 N/2 만큼 생성하게 되며, 즉, 차량 번호판의 문자 영역의 각 세로 픽셀 기준으로 stride가 “1”인 경우, N/2개의 앵커박스를 가지게 되고,
    M×N 크기인 차량 번호판 문자영역에 생성되는 앵커박스의 총 개수는 N/2×(M-N)개가 사용되는, 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템.
    

Images