KR20220156247A - Ev 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법 - Google Patents

Abstract

본 발명은 EV 충전기에 탑재되거나 EV 충전기에 탈부착 가능한 카메라를 활용하여 EV 충전기 주변의 위험 상황 등을 검출하는 방법에 관한 것으로, 특히, 카메라에 의하여 검출되는 이벤트 중에서 EV 충전기로부터 소정 거리내에서 검출되는 이벤트만을 유효 이벤트로 판단하는 방법을 제안하고자 한다.
본 발명의 기술적 사상인 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법은,
상기 EV 충전기에 장착되는 상기 카메라를 통하여 EV 충전기 주변의 객체를 적어도 하나 이상 검출하는 단계;
상기 객체를 기계적 학습이 진행되어 있는 관제 서버로 전송하는 단계;
상기 관제 서버에서 전송된 상기 객체에 대하여 레이블링 처리한 후 상기 객체의 사이즈를 측정하는 단계;
소정 사이즈 이상인 객체를 추출하는 단계;
기계적 학습 정보가 저장되어 있는 상기 관제 서버에서 상기 객체가 상기 EV 충전기 주변에서 발생한 위험 상황에 해당하는 객체인지 여부를 판단하는 단계;
위험 상황에 해당하는 객체라고 판단되는 경우 상기 관제 서버에서는 상기 EV 충전기로 소정의 경고 신호를 전송하는 단계;
상기 EV 충전기에 장착되는 디스플레이부 또는 스피커를 통하여 경고 신호에 대응하는 텍스트 정보 또는 사운드 정보를 출력하는 단계로 구성되는 것을 특징으로 한다.
본 발명은 EV 충전기에 장착된 카메라를 통하여 검출되는 다수의 이벤트 중에서 EV 충전기 주변에서 발생하는 이벤트만을 유효 이벤트로 검출하고, EV 충전기에서 소정거리 벗어나 있는 이벤트를 노이즈 이벤트로 판단함으로써 EV 충전기 주변에서 발생하는 유효 이벤트에 집중할 수 있다는 이점이 있다.

Description

EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법{Deep Learning-based Hazardous Situation Object/Event Information Detection Method with Cameras Applied to EV Charger}

본 발명은 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법으로서, 보다 구체적으로는 EV 충전기에 탑재되거나 EV 충전기에 탈부착 가능한 카메라를 활용하여 EV 충전기 주변의 위험 상황 등을 검출하는 방법에 관한 것이다

일반적으로, 전기 자동차는 전기를 사용하여 운행되는 자동차를 의미하는 것으로, 크게 순수 전기 자동차(Batttery Powered Electric Vehicle)와 하이브리드 전기 자동차(Hybrid Electric Vehicle)로 구분될 수 있다.

여기서, 순수 전기 자동차는, 화석 연료를 이용함 없이 전기만을 사용하여 주행하는 자동차로서, 일반적으로 전기 자동차라 명칭된다. 그리고, 하이브리드 전기 자동차는 전기 및 화석 연료를 사용하여 주행하는 것을 의미한다.

이러한, 전기 자동차에는 주행을 위한 전기를 공급하는 배터리가 구비된다. 특히, 순수 전기 자동차 및 플러그인(Plug-in) 타입의 하이브리드 전기 자동차는, 외부의 전원으로부터 공급되는 전력을 이용하여 배터리를 충전하며, 배터리에 충전된 전력을 이용하여 전기 모터를 구동한다.

한편, 전기 자동차와 같이 엔진이 없고 순수 배터리에 저장된 전기에너지로만 운행되는 차량은 배터리의 에너지가 방전되면 이를 충전해야만 주행이 가능하다.

한편, 최근 들어서, 저탄소 녹색 성장이라는 정부의 비젼 제시에 따라 전기 자동차의 생산 및 보급이 확대되고 있고, 전기 자동차의 배터리 충전을 위한 전기차 충전기의 보급 또한 확대되고 있다.

그런데, 전기차 충전기와 관련하여 최근 다양한 문제가 초래되고 있다.

예컨대, 전기차 충전기 영역에서의 장시간 무단 주차, 전기차 충전 중 차량 화재 발생, 전기차 충전기 부근에서의 교통 방해 등이 그렇다

그런데 종래의 전기차 충전기의 경우 위와 같은 문제가 발생하였을 때, 예컨대 도 1 및 도 2에 도시된 바와 같이 전기 충전 중 화재가 발생하거나 전기 충전기 주변에 불필요하게 주차된 차량 등이 장시간 방치되어 있는 경우 등이 발생한 경우 실시간으로 능동적인 대처를 하기에 제약이 많이 있었다.

왜냐하면 전기차 충전기 주변에 CCTV 등을 설치하였더라도 관제 서버에서 일일이 어떤 문제가 발생하였는지 제대로 파악하는데 시간이 걸렸기 때문이다.

1. 특허출원 10-2018-0025602, 발명의 명칭 : "CCTV 구동 방법 및 시스템 " 2. 특허출원 10-2019-0039216, 발명의 명칭 : "지능형 스마트 선별 관제 시스템 "

1. K. Lee, C.H. Lee, S.A. Kim, Y.H. Kim, "Fast Object Detection Based on Color Histograms and Local Binary Patterns,"presented at the TENCON IEEE Region 10 Conference, Cebu, Nov. 19-22, 2012. 2. H. Weda, M. Barbieri, "Automatic Children Detection in Digital Images,"presented at the IEEE International Conference on Multimedia and Expo, Beijing, July. 2-5, 2007 3. Y.H. Kwon and N. da Vitoria Lobo (April 1999), Age classification from facial images, Computer Vision and Image Understanding, Vol. 74, No. 1, pp. 1-21, Available: http//:www.idealibrary.com 4. W.B Horng, C.P. Lee and C.W. Chen (2001), Classification of age groups based on facial features, Tamkang Journal of Science and Engineering, Vol. 4, No. 3, pp. 183-192. 5. A. Lanitis, C. Draganova, and C. Christodoulou. "Comparing different classifiers for automatic age estimation," IEEE Transactions on Systems, Man and Cybernetics, Part B, 34(1):621-628, 2004. 6. X. Geng, Z. Zhou, Y. Zhng, G. Li, and H. Dai. "Learning from facial aging patterns for automatic age estimation" Proceedings of ACMMultimedia'06, pp.307-316, 2006. 7. Viola and Jones, "Rapid object detection using a boosted cascade of simple features", Computer Vision and Pattern Recognition, 2001 8. M. Ranzato, F.J. Huang, Y. Boureau, and Y. LeCun, "Unsupervised learning of invariant feature hierarchies with applications to object recognition", in CVPR, 2007. 9. K Simonyan and A. Sizzerman, "Very deep convolutional networks for large scale image recognition", CoRR. vol. abs/1409.1556, 2014. 10. Y. Jia, E Shelhamer, J. Donahue, S. Karayev, J Long, R. Girshick, S. Guadarrama, and Trevor Darrell, "Caffe, Convolutional Architecure for Fast Feature Embedding", In Proceedings of the 22nd ACM international conference on Multimedia, pp. 675-678, 2014.

본 발명은 전술한 종래의 문제점에 착안하여 제안된 것으로 EV 충전기에 탑재되거나 EV 충전기에 탈부착 가능한 카메라를 활용하여 EV 충전기 주변의 위험 상황 등을 검출하는 방법을 제안하고자 한다.

특히, 본 발명에서는 카메라에 의하여 검출되는 이벤트 중에서 EV 충전기로부터 소정 거리내에서 검출되는 이벤트만을 유효 이벤트로 판단하는 방법을 제안하고자 한다.

본 발명의 기술적 사상인 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법은,

상기 EV 충전기에 장착되는 상기 카메라를 통하여 EV 충전기 주변의 객체를 적어도 하나 이상 검출하는 단계;

상기 객체를 기계적 학습이 진행되어 있는 관제 서버로 전송하는 단계;

상기 관제 서버에서 전송된 상기 객체에 대하여 레이블링 처리한 후 상기 객체의 사이즈를 측정하는 단계;

소정 사이즈 이상인 객체를 추출하는 단계;

기계적 학습 정보가 저장되어 있는 상기 관제 서버에서 상기 객체가 상기 EV 충전기 주변에서 발생한 위험 상황에 해당하는 객체인지 여부를 판단하는 단계;

위험 상황에 해당하는 객체라고 판단되는 경우 상기 관제 서버에서는 상기 EV 충전기로 소정의 경고 신호를 전송하는 단계;

상기 EV 충전기에 장착되는 디스플레이부 또는 스피커를 통하여 경고 신호에 대응하는 텍스트 정보 또는 사운드 정보를 출력하는 단계로 구성되는 것을 특징으로 한다.

본 발명에 있어서, 소정 사이즈 이상인 객체를 추출하는 단계는 상기 카메라에서 촬영되어 검출된 객체 중에서 상기 EV 충전기로부터 일정 거리 내에 있는 개체이며, 상기 카메라에 화각에 따라 상이하게 설정될 수 있는 것을 특징으로 한다.

본 발명에 따른 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법을 실시하는 경우 다음과 같은 효과를 기대할 수 있다

본 발명은 EV 충전기에 장착된 카메라를 통하여 검출되는 다수의 이벤트 중에서 EV 충전기 주변에서 발생하는 이벤트만을 유효 이벤트로 검출하고, EV 충전기에서 소정거리 벗어나 있는 이벤트를 노이즈 이벤트로 판단함으로써 EV 충전기 주변에서 발생하는 유효 이벤트에 집중할 수 있다는 이점이 있다.

도 1 및 도 2는 종래 전기 충전기 주변에서 발생한 사건의 일예로 도 1은 전기 충전 중 화재가 발생한 경우이고, 도 2는 전기 충전기 주변에서 비충전 차량이 강시간 무단 주차하여 전기 충전을 방해하는 사례를 나타낸 도면이다.
도 3은 본 발명에서 제안하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 시스템의 개요도이다.
도 4는 본 발명에서 제안하는 카메라 모듈을 장착된 EV 충전기의 일예이다.
도 5는 기계적 학습된 본 발명의 관제 서버에서 EV 충전기의 카메라를 통하여 전송되는 객체 중에서 유효 이벤트로 인식하는 방법을 설명하는 개념도이다.
도 6은 본 발명에서 제안하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법을 설명하는 흐름도이다.
도 7은 본 발명에 따른 EV 충전기 카메라가 설치된 장소에 따라 다양하게 검출되는 객체들의 일예를 도시한 도면이다.

이하, 도면을 참조하여 본 발명에서 제안하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법에 대하여 설명하기로 한다.

도 3은 본 발명에서 제안하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 시스템의 개요도이다.

본 발명에서는 전기차 충전을 위한 초소형 급속 충전기(이하, EV 충전기)를 제공한다..

본 발명의 EV 충전기에는 카메라가 장착되어 있다. 본 발명의 카메라는 가시광선 영역을 촬영하는 카메라는 물론 열화상 카메라를 포함할 수 있다. 이는 조도가 낮거나 밤에도 객체를 인식하기 위함이다.

참고로, 도 3에 도시된 본 발명의 EV 충전기의 구성은 본 발명에서 제안하는 카메라 모듈을 장착된 EV 충전기의 일예가 도시된 도 4에 추가로 도시하였다. 참고하기 바란다

본 발명에 있어서, 카메라를 활용하여 객체를 검출하는 방법 자체는 본 발명의 핵심 사항은 아니므로 구체적인 설명은 생략하기로 한다.

왜냐하면, 카메라를 이용한 객체 검출 방법은 전술한 특허문헌이나 논문 등에 다향하게 개시되어 있기 때문이다.

본 발명에서는 영상을 통한 객체 인식 후 EV 충전기로부터 소정 거리내에 있는 위험 상황만을 유효 이벤트로 하는 것이기 때문이다. 이에 대하여는 후술하기로 한다.

도 3에 도시된 바와 같이, 관제 서버에서는 EV 충전기의 카메라를 통하여 촬영된 영상으로부터 소정의 위험 상황을 나타내는 객체를 인식하게 된다.

본 발명의 관제 서버는 EV 충전기의 카메라를 통하여 촬영된 각종 객체에 대한 기계적 학습되어 있다.

따라서 카메라를 통하여 관제 서버로 전송된 영상 속 객체에 대하여 어떤 객체가 위험 상황인지 여부를 자동 판별한다.

참고로, 본 발명의 EV 충전기와 관제 서버는 유무선 통신 네트워크를 통하여 다양하게 연결할 수 있을 것이다.

다음, 도 5는 기계적 학습된 본 발명의 관제 서버에서 EV 충전기의 카메라를 통하여 전송되는 객체 중에서 유효 이벤트로 인식하는 방법을 설명하는 개념도이다.

도 5에 도시된 바와 같이, 전기 자동차용 EV 충전기는 다양한 장소에 설치될 수 있을 것이다.

아파트 주차장이나, 마트, 또는 고속도로 휴게소 등 그 설치 장소는 다양할 것이다.

따라서, EV 충전기의 카메라를 통하여 촬영되는 주변 상황은 EV 충전기 설치 장소에 따라 달라질 것이다.

본 발명에서는 이러한 각종 주변 환경 변화에 따라 객체를 인식할 수 있도록 충분한 기계적 학습을 수행한 후 그 결과를 관제 서버(서버)에 설치하였다

따라서, 본 발명에서 제안하는 EV 충전기를 설치한 후 카메라를 통하여 촬영되는 영상을 본 발명의 관제 서버로 전송하면 관제 서버에서는 이를 분석하여 소정의 객체를 추출하고 추출된 객체 중에서 전기 충전에 방해가 되거나 EV 충전기에 위험을 줄 수 있는 상황을 인식한 후 그 결과를 EV 충전기로 전송한다

참고로, 본 발명에서는 소정의 객체를 인식하는 경우 도면에서와 같이 사각형 형상으로 레이블링 처리되며, 카메라로부터의 거리에 따라 레이블링 처리된 소정 객체의 사이즈(면적)가 달라진다.

한편, 본 발명의 EV 충전기에는 예컨대 디스플레이부 또는 스피커 등이 설치되어 있을 수 있다.

따라서, 관제 서버에서 소정의 객체 추출 후 EV 충전기 주변에 장애물이 있거나 위험 상황이 발생하였다고 판단되는 경우(예컨대, 화재 발생이나 쓰레기 투척, 장치 주차 등) EV 충전기로 이런 정보를 전송하고 EV 충전기에서는 디스플레이부를 통한 텍스트 정보 또는 스피커를 통한 사운드 정보를 출력시킴으로써 실시간 경보 제공이 가능하다

도 5에 도시된 바와 같이, EV 충전기에서 촬영한 각종 상황 영상에 대하여 본 발명의 관제 서버에서는 소정의 이벤트 객체를 추출할 수 있을 것이다.

그런데, 최근의 객체 인식 시스템의 경우 그 인식율이 많이 개선된 관계로 실시간으로 다수의 객체 인식이 동시다발적으로 발생한다

예컨대, EV 충전기 주변을 걸어가는 사람, 자전거를 타고 가는 사람, 스쳐 지나가는 자동차 등과 같은 모든 객체에 대하여 인식하게 된다.

즉, EV 충전기의 카메라를 통하여 촬영된 한 프레임의 영상 속에서도 다수의 변화가 발생하고 이런 변화에 대하여 실시간으로 다수의 객체가 검출되게 된다.

그런데. 이러한 모든 객체의 인식은 EV 충전기의 안전과 무관한 경우가 대다수이다.

예컨대, EV 충전기 주변을 지나가는 보행자나, 자전거 그리고 일정 거리 밖의 도로에서 주행하는 차량들의 경우 EV 충전기의 안전과는 무관한 객체들이다.

따라서, 이러한 노이즈 객체를 제거할 필요가 있다.

이에 본 발명에서는 EV 충전기의 카메라를 통하여 촬영된 영상 속에서 검출된 객체 중에서 EV 충전기로부터 소정 거리를 벗어난 곳에서 발생한 이벤트는 노이즈 이벤트로 제거하고자 한다

즉, 본 발명에서는 EV 충전기로부터 소정 거리 이내에 있는 객체 중에서 EV 충전기의 안전이나 EV 충전기의 충전 기능을 수행하는데 방해가 되는 객체를 검출하고 소정의 경고를 EV 충전기의 디스플레이부 또는 스피커를 통하여 출력하는 방법을 제안한다 참고로, EV 충전기에 발광체(경보등)를 부착하여 경고할 수도 있으며 이는 당업자가 필요에 따라 선택할 수 있는 구성이다.

도 6은 본 발명에서 제안하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법을 설명하는 흐름도이고, 도 7은 본 발명에 따른 EV 충전기 카메라가 설치된 장소에 따라 다양하게 검출되는 객체들의 일예를 도시한 도면이다.

도시된 바와 같이, 본 발명의 기술적 사상인 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법 다음과 같은 단계로 처리된다.

먼저, EV 충전기에 장착되는 상기 카메라를 통하여 EV 충전기 주변의 객체를 적어도 하나 이상 검출한다.

다음, 객체를 기계적 학습이 진행되어 있는 관제 서버로 전송한다.

참고로, 본 발명의 다른 실시 방법으로는 EV 충전기의 카메라에서는 영상만을 촬영하고 해당 영상이 관제 서버로 전송되면 관체 서버에서 객체를 검출하는 단계를 수행하는 것도 가능하다 이는 카메라 모듈에 객체 인식 솔루션을 설치하는지 여부에 따라 가변적일 것이다. 이러한 사항은 당업자에게 선택적인 사항일 수 있다.

다음, 관제 서버에서 전송된 상기 객체에 대하여 레이블링 처리한 후 상기 객체의 사이즈를 측정한다.

다음, 관제 서버에서는 소정 사이즈 이상인 객체만을 별도로 추출한다

다음, 기계적 학습 정보가 저장되어 있는 상기 관제 서버에서 상기 객체가 상기 EV 충전기 주변에서 발생한 위험 상황에 해당하는 객체인지 여부를 판단한다.

예컨대, 단순히 EV 충전기 근처를 지나가는 보행자 또는 자전거를 탄 사람이 객체로 검출되는 경우에는 위험 상황으로 보지 않으며, EV 충전기로부터 소정 거리내에 일정 시간 무단 주차되어 있는 차량이나 자전거 등이 있거나 무단 투척한 쓰레기 등이 있거나 혹은 소정 시간 동안 이물질 등이 근처에 방치되어 있는 경우에는 위험 상황으로 판단한다

즉, 본 발명의 경우 소정 거리내에서 동일한 객체 사이즈로 검출되더라도 휴효 이벤트인지 여부는 관제 서버에서 판단하게 되며 이는 관제 서버의 딥러닝 학습된 데이터와 비교함으로써 가능하다.

다음, 위험 상황에 해당하는 객체라고 판단되는 경우 상기 관제 서버에서는 상기 EV 충전기로 소정의 경고 신호를 전송한다.

마지막으로, 상기 EV 충전기에 장착되는 디스플레이부 또는 스피커를 통하여 경고 신호에 대응하는 텍스트 정보 또는 사운드 정보를 출력한다.

한편, 본 발명에 있어서, 소정 사이즈 이상인 객체를 추출하는 단계는 상기 카메라에서 촬영되어 검출된 객체 중에서 상기 EV 충전기로부터 일정 거리 내에 있는 개체를 의미하며, 상기 카메라에 화각에 따라 상이하게 설정될 수 있다.

이상에서 설명한 본 발명에 따른 기술적 사상인 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법을 실시하는 경우, EV 충전기에 장착된 카메라를 통하여 검출되는 다수의 이벤트 중에서 EV 충전기 주변에서 발생하는 이벤트만을 유효 이벤트로 검출하고, EV 충전기에서 소정거리 벗어나 있는 이벤트를 노이즈 이벤트로 판단함으로써 EV 충전기 주변에서 발생하는 유효 이벤트에 집중할 수 있다는 이점이 있다.

특히, 본 발명의 경우 카메라 화각 성능에 따라 검출되는 객체의 사이즈를 기초로 EV 충전기로부터 원거리에 있다고 판단되는 경우 노이즈 이벤트로 판단함으로써 실제 유효 이벤트만을 검출하여 경보 등의 절차를 이행 할 수 있으므로 효율적인 EV 충전기 관리가 가능하다는 이점이 있다.

Claims (2)

1. EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법으로서,
   상기 EV 충전기에 장착되는 상기 카메라를 통하여 상기 EV 충전기 주변의 객체를 적어도 하나 이상 검출하는 단계;
   상기 객체를 기계적 학습이 진행되어 있는 관제 서버로 전송하는 단계;
   상기 관제 서버로 전송된 상기 객체에 대하여 레이블링 처리한 후 상기 객체의 사이즈를 측정하는 단계;
   소정 사이즈 이상인 객체를 추출하는 단계;
   기계적 학습 정보가 저장되어 있는 상기 관제 서버에서 상기 객체가 상기 EV 충전기 주변에서 발생한 위험 상황에 해당하는 객체인지 여부를 판단하는 단계;
   위험 상황에 해당하는 객체라고 판단되는 경우 상기 관제 서버에서 상기 EV 충전기로 소정의 경고 신호를 전송하는 단계;
   상기 EV 충전기에 장착되는 디스플레이부 또는 스피커를 통하여 경고 신호에 대응하는 텍스트 정보 또는 사운드 정보를 출력하는 단계로 구성되는 것을 특징으로 하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법.
2. 제 1 항에 있어서,
   소정 사이즈 이상인 객체를 추출하는 단계는
   상기 카메라에서 촬영되어 검출된 객체 중에서 상기 EV 충전기로부터 일정 거리 내에 있는 개체이며, 상기 카메라에 화각에 따라 상이하게 설정될 수 있는 것을 특징으로 하는 EV 충전기에 적용되는 카메라를 활용한 딥러닝 기반의 위험 상황 객체/이벤트 정보 검출 방법.

Images