KR20190140516A - 기계학습을 이용하여 소음, 충격 및 영상 분석을 통한 주차 차량 감시 시스템 - Google Patents

Abstract

기계학습을 이용하여 소음, 충격 및 영상 분석을 통한 주차 차량 감시 시스템에 있어서, 주차된 차량에 설치되는 감시장치로부터 상기 주차된 차량에 대하여 발생하는 파손 정보를 수신하는 통신부로서, 상기 감시장치는 상기 주차된 차량에 대하여 발생하는 파손 정보을 감지하기 위한 적어도 하나의 센서를 포함하고 상기 적어도 하나의 센서에서 감지된 파손 정보를 외부로 전송하는 것인, 통신부; 상기 통신부를 이용하여 상기 사용자 클라이언트에 상기 주차된 차량의 파손에 대한 알림을 제공하는 알림 제공부; 및 상기 센서를 통하여 수집된 파손 정보을 기반으로 기계학습기법을 통해 상기 파손 정보을 인식하고 주차 차량 파손의 유형를 판단하는 사고유형분석부를 포함하고, 상기 파손 정보는 소음 정보 및 충격 정보를 포함하는, 주차 차량 감시 시스템이 개시된다.

Description

기계학습을 이용하여 소음, 충격 및 영상 분석을 통한 주차 차량 감시 시스템{SYSTEM FOR MONITORING STATUS OF A PARKED CAR USING NOISE, IMPACT AND IMAGE ANALYSIS USING MACHINE LEARNING}

본 발명은 소음, 충격 및 영상의 파손 정보를 기계학습을 이용하여 분석하는 주차 차량 감시 시스템에 관한 것으로서에 관한 것이다.

주차된 차량에 충격이 발생하는 경우 알람을 울려 파손을 방지하는 차량경보기가 널리 사용되었다. 하지만 차량경보기가 울리는 것만으로 차량의 파손을 완전히 막기 어렵고, 차주가 자신의 차량경보기가 울리는 경우에도 그 사실을 알기 어려운 경우가 많았다.

또한, 파손의 정도와 상관 없이 동일한 차량경보기가 울려 차주가 파손의 정도를 예측할 수 없었고, 경미한 파손의 경우 차량을 파손한 가해자가 차주에게 연락을 하지 않거나 차주가 차량 복귀 후 곧바로 파손을 확인 하지 않게된다면 파손 여부를 바로 확인 할 수 없는 경우가 있었다.

이와 같은 사유로 주차된 차량에 파손이 일어난 경우 증거 확보하기 어려워 차량에 발생한 피해를 고스란히 차주의 몫이 되는 경우가 상당하였다.

따라서 주차 차량에 파손이 일어난 경우 주차 차량으로부터 멀리 떨어진 차주에게 차량 파손 유무 및 정도를 알려주는 기술이 요구되고 있다.

공개특허공보 제 10-2017-0082025 호, 2017.07.13

본 발명이 해결하고자 하는 과제는 주차된 차량의 상태를 감시하는 시스템을 제공하는 것이다.

또한, 본 발명은 주차 차량의 상태를 감시하고 주차 차량 파손 시 발생하는 소음, 충격과 파손 당시의 영상을 기계학습하고 기계학습된 모듈을 사용하여 소음, 충격, 영상을 분석하여 파손의 유무 및 정도를 분석하고 이를 차주에게 전송하는 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 주차 차량 감시 시스템은, 주차된 차량에 설치되는 감시장치로부터 상기 주차된 차량에 대하여 발생하는 파손 정보를 수신하는 통신부로서, 상기 감시장치는 상기 주차된 차량에 대하여 발생하는 파손 정보을 감지하기 위한 적어도 하나의 센서를 포함하고 상기 적어도 하나의 센서에서 감지된 파손 정보를 외부로 전송하는 것인, 통신부; 상기 통신부를 이용하여 상기 사용자 클라이언트에 상기 주차된 차량의 파손에 대한 알림을 제공하는 알림 제공부; 및 상기 센서를 통하여 수집된 파손 정보을 기반으로 기계학습기법을 통해 상기 파손 정보을 인식하고 주차 차량 파손의 유형를 판단하는 사고유형분석부를 포함하고, 상기 파손 정보는 소음 정보 및 충격 정보를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 센서와 카메라를 이용하여 주차된 차량의 상태를 감시하되, 기계학습 모듈을 통해 주차 차량의 파손 유무 및 정도를 분석하여 주차 차량으로부터 멀리 떨어진 차주에게 알려주는 효과가 있다.

또한 기계학습 모듈을 통해 예측된 파손 유무 및 정도에 따른 차주의 대응 방안, 파손 당시 영상, 가해자의 도주 유무를 알려주는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 주차된 차량의 상태를 감시하는 시스템을 도시한 개념도이다.
도 2는 일 실시 예에 따라 주차된 차량의 상태를 감시하는 감시장치를 간략하게 도시한 구성도이다.
도 3은 일 실시 예에 따라 소음분석을 통한 주차 차량 파손 여부 감지 시스템의 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 기계학습 모듈 구성도 이다.
도 4은 일 실시 예에 따른 주차차량의 파손 분류 방법의 순서도이다.
도 5은 일 실시 예에 따른 멜 주파수 캡스트럼 계수 (MFCC, Mel-Frequency Cepstrum Coefficient) 추출과정을 보여주는 순서도이다.
도 6은 일 실시 예에 따른 합성곱 신경망 (CNN, Convolutional Neural Network)의 일반적인 구조이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 일 실시 예에 따른 주차된 차량의 상태를 감시하는 시스템을 도시한 개념도이다.

도 1을 참조하면, 주차된 차량의 상태를 감시하는 시스템은 주차된 차량에 설치된 감시장치(100), 서버(200) 및 사용자 클라이언트(300)를 포함한다.

일 실시 예에서, 사용자의 차량에는 적어도 하나의 감시장치(100)가 설치된다. 본 명세서에서, 감시장치(100)는 차량에 이용되는 것으로 한정하여 설명하나, 개시된 실시 예에 따른 감시장치(100) 및 감시장치(100)를 포함하는 감시 시스템은 어떠한 대상체에도 활용될 수 있다.

일 실시 예에서, 감시장치(100)는 적어도 하나의 센서 장치를 포함한다. 예를 들어, 감시장치(100)는 소음, 충격, 가속도, 방향 및 빛 등을 감지할 수 있는 적어도 하나의 센서 장치를 포함할 수 있으나, 이에 제한되지는 않는다.

일 실시 예에서, 감시장치(100)는 차량에 별도로 설치되는 형태로 구성될 수도 있고, 차량의 일부로서 차량의 전장 시스템에 포함될 수도있다.

일 실시 예에서, 감시장치(100)는 차량에 설치되어, 차량 주변의 소음 및 차량에 대한 충격 등을 감지하기 위하여 이용된다. 차량에 대한 충격은 주차된 차량에 대한 다른 차량의 접촉사고와, 다른 사람의 실수 또는 악의에 의한 차량파손 등을 포함한다.

일 실시 예에서, 감시장치(100)는 차량에 대해 적어도 하나의 센서를 이용하여 수집된 정보를 서버(200)에 전달한다.

일 실시 예에서, 감시장치(100)는 적어도 하나의 센서를 이용하여 수집된 정보를 분석하여 차량의 상태를 판단하고, 판단된 정보를 서버(200)에 전달할 수도 있다.

일 실시 예에서, 감시장치(100)는 판단된 정보를 분석하여 차량의 상태가 서버(200)에 업로드되거나 사용자 클라이언트(300)에 전달되어야 할 상태라고 판단되면, 알림 정보를 서버(200)에 업로드할 수 있다.

일 실시 예에서, 서버(200)는 무선 통신 환경을 통해 적어도 하나 이상의 다른 장치와 데이터 송수신이 가능한 객체를 의미하며, 본 발명에서 상기 서버(200)는 중계 서버, 중개 서버 및/또는 클라이언트 서버를 더 포함할 수 있다.

또한, 상기 서버(200)의 일예로 클라우드(Cloud) 서버, IMS(IP Multimedia Subsystem) 서버, 텔레포니 어플리케이션(Telephony Application) 서버, IM(Instant Messaging) 서버, MGCF(Media Gateway Control Function) 서버, MSG(Messaging Gateway) 서버, CSCF(Call Session Control Function) 서버를 포함할 수 있으며, 상기 서버(200)는 PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer) 등 데이터를 송수신할 수 있는 객체를 지칭하는 장치로 구현될 수도 있다.

일 실시 예에서, 서버(200)는 사고유형분석부를 포함하고 사고유형분석부는 감시장치(100)로부터 수신된 파손 정보를 기반으로 기계학습기법을 통해 상기 파손 정보를 인식하고 주차 차량 파손의 유형을 판단한다.

일 실시 예에서, 상기 파손 정보는 주차 차량 파손 시 발생하는 소음, 충격 및 파손시 촬영된 영상을 포함한다.

일 실시 예에서, 상기 사고유형분석부는 주차 차량의 파손 시 발생한 소음, 충격 및 파손시 촬영된 영상의 파손 정보를 학습한 기계학습 모듈을 포함한다.

도 2는 일 실시 예에 따라 주차된 차량의 상태를 감시하는 감시장치(100)를 간략하게 도시한 구성도이다.

도 2를 참조하면, 감시장치(100)는 소음 감지부(110), 충격 감지부(150), 제어부(130), 통신부(140) 및 영상 촬영부(120)를 포함한다. 한편, 도 2에 도시된 감시 장치에는 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 감시 장치에 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.

일 실시 예에서, 소음 감지부(110)는 소리를 감지할 수 있는 적어도 하나의 센서 장치를 포함한다.

일 실시 예에서, 소음 감지부(110)에 포함된 적어도 하나의 센서 장치는 차량의 서로 다른 위치에 설치되어, 차량 주위에서 발생하는 소음의 방향과, 소음의 원인이 이동하는 방향을 감지할 수 있다.

예를 들어, 소음 감지부(110)에 포함된 적어도 하나의 센서 장치는 차량의 4방향에 각각 하나씩 설치되고, 각 센서에 수신되는 소음의 크기에 기초하여 소음이 발생하는 방향을 판단할 수 있다.

일 실시 예에서, 충격 감지부(150)는 충격을 감지할 수 있는 적어도 하나의 센서 장치를 포함한다.

예를 들어, 충격 감지부(150)는 가속도 센서 또는 자이로 센서를 포함하여, 차량에 충돌이 발생하여 차량에 움직임이 발생하는지 여부를 판단할 수 있다.

다른 예로, 충격 감지부(150)는 차량의 표면에 대한 접촉여부를 판단할 수 있는 적어도 하나의 센서 장치를 포함할 수 있다.

또 다른 예로, 충격 감지부(150)는 차량에 대한 충격 발생 여부를 판단할 수 있는 적어도 하나의 센서 장치를 포함할 수 있다. 예를 들어, 충격 감지부(150)는 압전 소자를 포함할 수 있다.

충격 감지부(150)에 포함될 수 있는 센서의 종류는 제한되지 않으며, 충격 감지부(150)는 차량에 대한 충격을 감지할 수 있는 어떠한 형태의 센서도 포함될 수 있다.

일 실시 예에서, 통신부(140)는 소음 감지부(110) 또는 충격 감지부(150)로부터 수신된 정보 또는 제어부(130)에서 처리된 정보를 서버(200)로 전송하는 데 이용된다.

일 실시 예에서, 영상 촬영부(120)는 하나 이상의 카메라 장치를 포함할 수 있다. 카메라 장치로는 차량에 기 설치된 블랙박스 장치가 활용될 수도 있다. 감시장치(100)에 포함된 카메라 장치는 광각 카메라 장치 또는 360도 카메라 장치를 포함할 수 있다. 또한, 감시장치(100)에 포함된 카메라 장치는 야간 촬영을 위한 야간 투시 카메라 또는 적외선 카메라 등을 포함할 수 있다. 카메라 장치는 차량의 외부에 설치될 수도 있고, 차량의 내부에 설치되어 창문을 통해 외부를 촬영하도록 구성될 수도 있다.

일 실시 예에서, 감시장치(100)가 차량에 대한 파손, 파손 위험 및 외부 객체의 접근 등을 포함하는 차량의 위험을 감지하면, 카메라 장치를 활성화할 수 있다. 감시장치(100)는 카메라 장치를 이용하여 차량 주변의 영상을 촬영하여 저장하거나, 서버(200)로 전송하여 사용자 클라이언트(300)가 영상을 실시간으로 확인하도록 할 수도 있다.

일 실시 예에서, 카메라 장치는 좌우 또는 상하로 회전 가능하도록 설계되어, 외부 객체가 감지되는 방향을 지향하도록 구성될 수도 있다. 또한, 카메라 장치는 사용자 클라이언트(300)의 제어에 의해 방향을 바꿀 수 있도록 설정될 수도 있다.

일 실시 예에서, 감시장치(100)는 차량 내부에 설치되는 적어도 하나의 인체감지센서 또는 동작감지센서(미도시)를 더 포함할 수 있다. 인체감지센서 또는 동작감지센서는 초음파 센서, 적외선 센서 및 열 감지 센서 등을 포함할 수 있다. 감시장치(100)는 차량 내부의 인체감지센서 또는 동작감지센서를 이용하여, 사람이 차량 내부에 있는 것으로 판단되는 경우에는 감시장치(100)를 비활성화하고, 차량 내부에 사람이 없는 것으로 판단되는 경우에 감시장치(100)를 활성화할 수 있다.

일 실시 예에서, 감시장치(100)는 적어도 하나의 동글, 리모컨 장치 또는 비콘 장치 등을 더 포함할 수 있다. 감시장치(100)에 설치된 동글, 리모컨 장치 또는 비콘 장치는 운전자의 자동차 키 또는 사용자 클라이언트(300)와 근거리 통신을 수행하여, 운전자가 차량으로부터 소정의 거리 내에 있는지 여부를 판단할 수 있다. 운전자가 차량으로부터 소정의 거리 내에 있는 경우, 감시 장치가 비활성화될 수 있다. 마찬가지로, 운전자가 차량으로부터 소정의 거리 밖으로 벗어나는 경우, 감시장치(100)가 활성화될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

도 3은 일 실시 예에 따른 기계학습 모듈 구성도 이다.

일 실시 예에서, 상기 기계학습기법 모듈은 파손 특징 추출 모듈(210), 파손 특징 선택 모듈(220), 파손 분류 모듈(230)을 포함한다.

일 실시 예에서, 상기 기계학습 모듈은 주차 차량의 파손 시 발생하는 상기 파손 정보 데이터베이스를 준비하고 제 1파손 정보를 입력받고 상기 파손 정보 데이터베이스를 조회하여 상기 파손 정보와 소정의 기준 유사도 이상의 파손 정보를 출력한다.

일 실시 예에서, 상기 파손 정보 데이터베이스는 소정의 파손 정보에 관한 학습 데이터셋을 입력받고 상기 학습데이터셋을 신경망 학습 모델을 이용하여 기계학습하고 상기 기계 학습 결과에 따라 상기 파손 정보들 간의 유사도를 산출하는 것을 포함한다.

일 실시 예에서, 상기 서버(200)는 알림 제공부를 포함한다. 알림 제공부는 상기 사고유형분석부를 통해 분석된 차량 파손 유무를 사용자 클라이언트(300)에게 알림을 전달할 수 있다.

예를 들어, 차량에 접촉사고가 발생하거나 차량의 일부가 파손된 것으로 판단되는 경우, 서버(200)는 사용자 클라이언트(300)에 알림을 전달할 수 있다.

일 실시 예에서, 사용자 클라이언트(300)는 적어도 하나의 사용자 단말에서 실행되며, 하나 이상의 프로그램(program) 또는 어플리케이션(Application)을 포함할 수 있으며, 특히 본 발명의 일실시예인 주차된 차량을 감시하는 시스템과 관련된 API(Application Program Interface) 또는 임베디드 소프트웨어(Embaded Software)를 포함하는 어플리케이션을 포함할 수 있다.

일 실시 예에서, 사용자 클라이언트(300)는 하나 이상의 프로그램 또는 어플리케이션을 통해 서버(200)에 데이터 또는 신호를 전송하거나 수신할 수 있다.

사용자 클라이언트(300)가 실행되는 사용자 단말의 일례로, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine)장치, D2D 장치(Device-to-Device) 장치를 포함할 수 있다.

물론, 어디까지나 이는 예시에 불과할 뿐이며, 본 발명에서의 사용자 단말은 상술한 예시들 이외에도 현재 개발되어 상용화되었거나 또는 향후 개발될 데이터 또는 신호 전송이 가능한 모든 장치를 포함하는 개념으로 해석되어야 한다.

일 실시 예에서, 사용자 클라이언트(300)는 적어도 하나의 애플리케이션 또는 웹 페이지를 이용하여 서버(200)에 저장된 정보를 열람할 수 있다.

일 실시 예에서, 감시장치(100), 서버(200) 및 사용자 클라이언트(300)는 소정의 네트워크를 통하여 정보를 송수신할 수 있다.

네트워크는 감시장치(100), 서버(200) 및 사용자 클라이언트(300) 간의 데이터 송수신을 위한 데이터 통신망을 의미하며, 그 종류에는 특별히 제한되지 않는다.

예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다.

또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.

도 4은 일 실시 예에 따른 주차차량의 파손 분류 방법의 순서도이다.

단계 S410에서, 센서로부터 얻어진 소음, 충격 데이터를 오디오 시그널로 변환한다.

단계 S420에서, 상기 특징 추출 모듈(210)에서는 상기 감시장치(100)에서 획득한 상기 파손 정보 중 소음 및 충격 정보를 멜 주파수 캡스트럼 계수 (MFCC, Mel-Frequency Cepstrum Coefficient)를 이용하여 소음 및 충격의 정보의 특징을 추출한다.

단계 S430에서, 상기 특징 선택 모듈(220)에서는 상기 파손 정보인 소음, 충격 및 영상 정보를 합성곱 신경망 (CNN, Convolutional Neural Network)을 이용하여 파손 정보의 특징을 선택한다.

단계 S440에서, 상기 파손 분류 모듈(230)은 상기 최적화 모듈에서 파손 정보의 특징을 전달받아 주차 차량의 파손을 분류한다.

도 5은 일 실시 예에 따른 멜 주파수 캡스트럼 계수 (MFCC, Mel-Frequency Cepstrum Coefficient) 추출과정을 보여주는 순서도이다.

단계 S510에서, 사전 강조 (Pre-emphasis)는 신호에 사전 강조 필터를 적용하여 고주파를 증폭하는 것이다. 사전 강조 필터를 통해 일반적으로 저주파수와 상대적으로 작은 크기를 가진 고주파수의 주파수 스펙트럼의 균현을 유지한다. 또한 신호 대 잡음비 (SNR, Signal to noise ratio)를 향상시킬 수 있다.

단계 S520에서, 프레이밍 (Framing)은 신호를 단시간 프레임으로 분할하는 방법이다. 시간이 지남에 따라 신호의 주파수가 변하기 때문에 신호의 주파수가 매우 짧은 시간 동안 고정되어 있다고 가정하고 이 짧은 시간의 프레임에 대해 퓨리에 변환을 수행하고 인접한 프레임을 연결함으로써 신호의 주파수 윤곽의 근사값을 얻는다.

단계 S530에서, 윈도우 (Window)는 신호를 프레임으로 분할 한 후 각 프레임에 해밍 (Hamming) 창과 같은 창 함수를 적용한다. 이로써 데이터가 무한하다는 고속 푸리에 변환 (FFT, Fast Fourier Transform)의 가정에 대비해 스펙트럼 누출을 줄인다.

단계 S540에서, 고속 푸리에 변환를 통해 임의의 입력 신호를 다양한 주파수를 갖는 주기함수들의 합으로 분해한다.

단계 S550에서, 멜 필터 뱅크 (Mel Filter bank)는 삼각형 필터, 일반적으로 40개의 필터를 파워 스펙트럼에 적용하여 주파수 대역을 추출하는 것이다. 저주파 주변에서는 차별적이고 고주파수 주변에서는 덜 차별적인 방식으로 소리에 대한 비선형 인간 인지를 모방할 수 있게 한다.

단계 S560에서, 필터 뱅크 에너지가 입력되면 이 값에 로그(LOG)를 취한다. 인간의 귀는 소리의 크기르 선형 스케일(Linear Scale)로 감지하는 것이 아니기 때문에 로그를 취함으로써 인간이 실제로 듣는 것과 유사하게 소리의 특징을 만든다. 일반적으로 소리가 두배 크게 들리기 위해서는 실제로 에너지의 8배를 인가해야 한다.

단계 S570에서, 로그가 취해진 필터 뱅크 에너지에 이산코사인변환(DCT, Discrete Cosine Transform)를 계산하여 에너지들 사이에 상관관계를 분리해준다.

도 6은 일 실시 예에 따른 합성곱 신경망(CNN, Convolutional Neural Network)의 일반적인 구조이다.

합성곱 신경망은 이미지의 특징을 추출하는 부분과 클래스를 분류하는 부분으로 나눌수 있다. 특징 추출 부분은 컨볼루션 레이어(Convolution Layer)와 풀링 레이어(Pooling Layer)를 여러 겹 쌓는 형태로 구성된다. 컨볼루션 레이어는 입력 데이터에 필터를 적용 후 활성화 함수를 반영한다. 컨볼루션 레이어 다음에 위치하는 풀링 레이어는 선택적인 레이어이다. 합성곱 신경망 마지막 부분에는 이미지 분류를 위한 풀리 커넥티드 레이어(Fully Connected Layer)가 있다.

합성곱 신경망은 이미지 특징을 추출하기 위하여 입력데이터를 필터가 순회하며 합성곱을 계산하고 그 계산 결과를 이용하여 특징 맵(Feature map)을 만든다. 컨볼루션 레이어는 필터 크기, 스트라이드(Stride), 패딩(Padding) 적용 여부, 최대 풀링(Max Pooling) 크기에 따라 출력 데이터의 형태가 변경된다.

상기 필터는 이미지의 특징을 찾아내기 위한 공용 파라미터이다. 필터는 일반적으로 (4,4), (3,3)과 같은 정사각형 행렬이다. 합성곱 신경망에서 학습의 대상은 필터 파라미터이다. 필터는 입력 데이터를 지정된 간격으로 순회하며 채널(Chnnel)별로 합성곱을 하고 모든 채널의 합성곱의 합을 특징 맵으로 만든다.

상기 채널은 영상을 구성하는 데이터이다. 컬러 영상은 각 픽셀 RGB 3개의 실수로 표현한 3차원 데이터로써 3개의 채널로 구성된다. 반면 흑병 영상은 흑백 명안만을 표현하는 2차원 데이터로 2개의 채널로 구성된다.

상기 스트라이드는 필터가 입력 데이터를 이동하는 간격이다. 스트라이드가 1로 설정되면 필터는 1칸씩 이동하고 스트라이드가 2로 설정되면 필터는 2칸씩 이동한다.

입력 데이터가 여러 채널을 갖을 경우 각 채널을 순회하며 합성곱을 계산한 후 채널별 특징 맵을 만든다. 그리고 각 채널의 특징 맵을 합산하여 최종 특징 맵을 반환한다. 입력 데이터는 채널 수와 상관 없이 필터 별로 1개의 특징 맵이 만들어 진다.

하나의 컨볼루션 레이어에 크기가 같은 여러 개의 필터를 적용할 수 있다. 이 경우에 특징 맵에는 필터 개수 만큼의 채널이 만들어 진다. 입력 데이터에 적용한 필터의 개수는 출력 데이터인 특징 맵의 채널이 된다.

컨볼루션 레이어의 입력 데이터를 필터가 순회하며 합성곱을 통해서 만든 출력을 특징 맵 또는 활성화 맵(Activation Map)이라고 한다. 특징 맵은 합성곱 계산으로 만들어진 행렬이다. 활성화 맵은 특징 맵 행렬에 활성 함수를 적용한 결과이다. 즉 컨볼루션 레이어의 최종 출력 결과가 활성화 맵이다.

상기 패딩은 입력데이터의 외각에 지정된 픽셀만큼 특정 값으로 채워 넣어 컨볼루션의 출력 데이터가 줄어드는 것을 방지한다. 일반적으로 패딩 값으로 0을 채워 넣는다.

상기 풀링 레이어는 컨볼루션 레이어의 출력 데이터를 입력받아서 출력 데이터(활성화 맵)의 크기를 줄이거나 특정 데이터를 강조하는 용도로 사용된다. 풀링 레이어를 처리하는 방법으로는 최대풀링(Max Pooling)과 평균 풀링(Average Pooning), 최소 풀링(Min Pooling)이 있다. 정사각 행렬의 특정 영역 안에 값의 최댓값을 모으거나 특정 영역의 평균을 구하는 방식으로 동작한다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 감시장치
200 : 서버
300 : 사용자 클라이언트

Claims (5)

1. 주차된 차량에 설치되는 감시장치로부터 상기 주차된 차량에 대하여 발생하는 파손 정보를 수신하는 통신부로서, 상기 감시장치는 상기 주차된 차량에 대하여 발생하는 파손 정보을 감지하기 위한 적어도 하나의 센서를 포함하고 상기 적어도 하나의 센서에서 감지된 파손 정보를 외부로 전송하는 것인, 통신부;
   상기 통신부를 이용하여 상기 사용자 클라이언트에 상기 주차된 차량의 파손에 대한 알림을 제공하는 알림 제공부; 및
   상기 센서를 통하여 수집된 파손 정보을 기반으로 기계학습기법을 통해 상기 파손 정보을 인식하고 주차 차량 파손의 유형를 판단하는 사고유형분석부
   를 포함하고,
   상기 파손 정보는 소음 정보 및 충격 정보를 포함하는, 주차 차량 감시 시스템.
2. 제1 항에 있어서, 상기 사고유형분석부는,
   주차 차량의 파손 시 발생한 소음 및 충격들을 학습한 기계학습기법 모듈을 포함하고,
   상기 기계학습기법 모듈은,
   상기 감시장치에서 획득한 소음 및 충격 정보를 MFCC(Mel-Frequency Cepstrum Coefficient)를 이용하여 소음 및 충격의 특징을 추출하는 소음 및 충격 특징 추출 모듈;
   CNN(Convolutional Neural Network)을 이용하여, 소음 및 충격 정보의 특징들을 선택하는 소음 및 충격 특징 선택 모듈; 및
   상기 소음 및 충격 특징 선택 모듈에서 소음 및 충격 특징을 전달받아 상기 주차 차량의 파손을 분류하는 주차 차량 파손 분류 모듈;을 포함하는, 주차 차량 감시 시스템.
3. 제1 항에 있어서, 파손 정보는 영상 정보를 더 포함하고,
   상기 기계학습기법 모듈은,
   CNN(Convolutional Neural Network)을 이용하여, 영상 특징들을 선택하는 영상 특징 선택 모듈; 및
   상기 영상 특징 선택 모듈에서 영상 특징을 전달받아 상기 주차 차량의 파손을 분류하는 주차 차량 파손 분류 모듈;을 포함하는, 주차 차량 감시 시스템.
4. 제2항에 있어서, 기계학습기법 모듈은,
   주차 차량의 파손시 발생하는 상기 파손 정보 데이터베이스를 준비하고, 제1 파손 정보를 입력받고, 상기 파손 정보 데이터베이스를 조회하여, 상기 파손 정보와 소정의 기준 유사도 이상의 파손 정보를 출력하고,
   상기 파손 정보 데이터베이스는,
   소정의 파손 정보에 관한 학습 데이터셋을 입력받고, 상기 학습 데이터 셋을 신경망 학습 모델을 이용하여 기계 학습하고, 상기 기계 학습 결과에 따라 상기 파손 정보들 간의 유사도를 산출하는 것를 포함하는 것을 특징으로 하는, 주차 차량 감시 시스템.
5. 제1 항에 있어서, 상기 알림 제공부는,
   상기 주차된 차량이 파손된 것으로 판단되는 경우,
   상기 사고유형분석부를 통하여 판단된 파손의 유형 및 대응 방안을 클라이언트에게 전달하는, 주차 차량 감시 시스템.

Images