KR102111162B1 - 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법 - Google Patents

블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법 Download PDF

Info

Publication number
KR102111162B1
KR102111162B1 KR1020190134949A KR20190134949A KR102111162B1 KR 102111162 B1 KR102111162 B1 KR 102111162B1 KR 1020190134949 A KR1020190134949 A KR 1020190134949A KR 20190134949 A KR20190134949 A KR 20190134949A KR 102111162 B1 KR102111162 B1 KR 102111162B1
Authority
KR
South Korea
Prior art keywords
camera
black box
home
image
video server
Prior art date
Application number
KR1020190134949A
Other languages
English (en)
Inventor
김호정
Original Assignee
주식회사 경림이앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 경림이앤지 filed Critical 주식회사 경림이앤지
Priority to KR1020190134949A priority Critical patent/KR102111162B1/ko
Application granted granted Critical
Publication of KR102111162B1 publication Critical patent/KR102111162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법이 개시된다. 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스; 적어도 하나 이상의 카메라; 적어도 하나 이상의 인코더; 상기 적어도 하나 이상의 인코더와 연결되며 적어도 하나 이상의 카메라의 인코딩 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터들은 상기 자동차용 블랙박스로부터 카메라 영상 데이터를 수신받아 저장하며, AI Vision과 딥러닝 기술을 사용하여 영상의 객체들(자동차, 침입자 등)의 특징 추출과 분류를 통해 객체들을 검출하고, 마스킹 된 이동하는 특정 객체의 추적 기능을 제공하는 홈 비디오 서버; 및 상기 홈 비디오 서버와 연동되는 사용자 단말을 포함한다. 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은 PC와 IPTV 단말, 스마트기기가 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 적어도 하나 이상의 카메라, 카메라와 스피커와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 및/또는 카메라를 구비하는 IoT 디바이스와 연동하여 1/2/3/4채널의 동영상이 모니터링되며, 침입 탐지 또는 이상행위자 발 견시 PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력된다.

Description

블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법{ Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car}
본 발명은 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법에 관한 것으로, 보다 상세하게는 PC와 IPTV 단말, 스마트기기(스마트폰, 태블릿 PC)가 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 적어도 하나 이상의 카메라, 카메라와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 또는 카메라를 구비하는 IoT 디바이스와 연동하여 1/2/3/4채널의 동영상이 모니터링되며, AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하며, 실시간으로 이동하는 특정 객체를 추적하며, 이상 행위나 침입 탐지가 감지되면, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 카메라와 Wi-Fi 통신부를 구비하는 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력되도록 하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법에 관한 것이다.
홈 시큐리티 시스템(Home Security System)은 가정용 홈 모니터링 시스템으로써, 홈 서버와 게이트웨이와 연동되는 홈 네트워킹 프로토콜을 사용하며, 홈 네트워킹 프로토콜은 유선 또는 무선 홈네트워킹 프로토콜이 사용된다.
유선 홈네트워킹 기술은 Ethernet, Home-PNA, PLC(Power Line Communication), IEEE1394, USB 케이블을 사용하며, 무선 홈 네트워킹 기술은 Bluetooth, IEEE802.11 WLAN, HomeRF, IrDA, UWB 및 무선1394 등의 기술을 사용한다.
CCTV(Closed Circuit Television) 시스템은 영상을 촬영하는 적어도 하나 이상의 카메라와, 적어도 하나 이상의 카메라와 UTP 케이블로 연결되어 각 카메라의 영상 데이터를 압축하여 저장하는 DVR(Digital Video Recorder) 또는 NVR(Network Video Recorder)과, DVR 또는 NVR에 연결된 스토리지 장치로 구성되며, 네트워크를 통해 PC로 각 카메라 채널의 동영상과 음성을 멀티뷰어 화면을 통해 원격감시 시스템으로 사용된다.
DVR(디지털 비디오 레코더)는 아날로그 CCTV 시스템으로써, 1.8km 거리 내에서 케이블로 연결된 다수의 카메라 촬영 영상 데이터를 인코딩하여 하드 디스크에 저장하며, 각 카메라 채널별 영상을 분배하는 디지털 영상 저장 장치이며, 화면 전환 스위치, 화면 분할기, VCR 재생기 및 알람 제어기를 제공한다.
NVR은 네트워크상에 설치된 카메라와 연결되는 비디오 서버를 통해 영상 녹화와 모니터링, 이벤트 관리, 재생을 위한 전용 PC 서버이며, IP 카메라로부터 디지털 영상을 전송받아 압축하여 저장한다.
이와 관련된 선행기술1로써, 특허 공개번호 10-2006-0088744에서는 "홈서버를 이용한 댁내 비디오 모니터링 시스템"을 제공한다.
홈서버를 이용한 댁내 비디오 모니터링 시스템은, 인터넷을 통해 연결되어 다수개의 가전기기가 연결된 홈 네트워크망을 제어 관리하는 홈서버에 내장되고, 화상통화서비스를 제공하는 비디오폰모듈; 상기 비디오폰모듈에 댁내의 영상 및 음성 정보를 제공할 수 있는 카메라; 상기 카메라와 비디오폰모듈을 매개하는 카메라 드라이버; 및 상기 카메라와, 상기 카메라 드라이버와, 상기 비디오폰모듈을 작동시키고 제어할 수 있는 홈비디오 모니터링 매니저를 포함한다.
이와 관련된 선행기술2로써, 특허 공개번호 10-2014-0077817에서는 "홈 모니터링 방법 및 장치"를 개시하고 있다. 홈 게이트웨이는, 이동 단말로부터 홈 모니터링의 요청 메시지를 수신하는 과정과, 상기 요청 메시지에 응답하여 미리 등록된 적어도 하나의 홈 디바이스에 포함된 카메라 모듈 및/또는 모니터링하고자 하는 위치에 대한 모니터링 정보를 상기 이동 단말에게 제공하는 과정과, 상기 카메라 정보에 근거하여 선택된 제1 카메라 모듈을 나타내는 선택 정보를 상기 이동 단말로부터 수신하는 과정과, 상기 선택 정보의 수신에 응답하여 상기 제1 카메라 모듈로부터 촬영되고 수집된 영상 데이터를 상기 이동 단말로 전송하는 과정과, 상기 이동 단말로부터 상기 제1 카메라 모듈에 대한 제어 명령을 수신하는 과정과, 상기 제어 명령을 상기 제1 카메라 모듈이 구비된 제1 홈 디바이스에게 전송하는 과정을 수행한다.
이와 관련된 선행기술3로써, 특허 등록번호 10-1735780에서는 "스마트 홈 시큐리티 시스템에서 침입을 감지하는 방법 및 단말"이 개시된다. 단말은 무선 이기종으로부터 수신되는 신호의 세기를 측정하고, 측정한 수신신호 세기의 변화값을 계산한다. 그리고 단말은 계산한 수신신호 세기 변화 값을 이용하여 수신신호 세기 변화 확률을 계산하며, 수신신호 세기 변화 확률을 소정의 임계 값과 비교하여 침입자의 침입 여부를 판단한다.
도 1은 종래의 스마트홈 시큐리티 시스템을 나타내는 도면이다.
스마트홈 시큐리티 시스템은 기지국(100), 무선랜 AP(Access Point)(200), 블루투스 장치(300), 단말(400), 게이트웨이(500) 및 관제 서버(600)를 포함한다.
기지국(100)은 기지국내에 속한 단말(400)과 신호를 송신하고 수신하는 셀룰러 통신을 수행한다. 기지국(100)은 일정한 시간 간격으로 수신 신호 강도(Received Signal Strength, RSS) 측정을 위한 파일럿 신호(S1)를 전송한다. 여기서, RSS 측정을 위한 파일럿 신호(S1)는 기지국(100)이 스마트 홈 시큐리티를 위해 특별히 전송하는 파일럿 신호일 수도 있으며 일반적인 신호 전송에 사용되는 파일럿 신호일 수 있다.
무선랜 AP(200)는 단말(400)과 와이파이(WiFi) 통신을 수행한다. 그리고, 본 발명의 실시예에 따른 무선랜 AP(200)는 일정한 시간 간격으로 RSS 측정을 위한 파일럿 신호(S2)를 전송한다. 여기서, RSS을 측정을 위한 파일럿 신호(S2)는 무선랜 AP(200)이 스마트 홈 시큐리티를 위해 특별히 전송하는 파일럿 신호일 수 있으며 일반적인 신호 전송에 사용되는 파일럿 신호 일 수 있다.
블루투스 장치(300)는 단말(400)과 블루투스 통신을 수행한다. 도 1에서는 블루투스 장치(300)가 TV에 설치된 것으로 나타내었으나 TV 이외에 다른 가정기기에 설치될 수 있다. 블루투스 장치(300)는 일정한 시간 간격으로 RSS 측정을 위한 파일럿 신호(S3)를 전송한다. 여기서, RSS 측정을 위한 파일럿 신호(S3)는 블루투스 장치(300)가 스마트 홈 시큐리티를 위해 특별히 전송하는 파일럿 신호일 수도 있으며 일반적인 신호 전송에 사용되는 파일럿 신호 일 수 있다.
단말(400)은 기지국(100)으로부터 수신되는 파일럿 신호(S1)에 대한 수신신호의 세기(RSS)를 측정하고 무선랜 AP(200)로부터 수신되는 파일럿 신호(S2)에 대한 수신신호의 세기(RSS)를 측정한다. 그리고, 단말(400)은 블루투스 장치(300)로부터 수신된 파일럿 신호(S3)에 대한 수신신호의 세기(RSS)를 측정한다. 단말(400)은 각 무선 이기종(100, 200, 300)으로부터 수신되는 파일럿 신호를 통해 측정한 수신신호의 세기를 합성하여 신호를 분석하며, 신호 분석을 통해 침입자의 침입 여부를 판단한다. 단말(400)은 3G 통신 또는 LTE 통신이 가능한 스마트폰일 수 있다.
기지국(100)과 단말(400)간에 전송되는 신호는 침입이 없을 경우에는 수신신호의 세기(RSS)가 거의 일정한 값을 가진다. 그러나 침입이 있을 경우에는 수신신호의 세기(RSS)는 큰 변동 폭을 가진다. 그리고, 무선랜 AP(200)과 단말(400)간에 전송되는 신호의 수신신호 세기(RSS), 그리고 블루투스 장치(300)과 단말(400)간에 전송되는 신호의 수신신호 세기(RSS)도 침입이 있을 경우에는 큰 변동 폭을 가진다. 단말(400)은 이러한 수신신호 세기(RSS)의 변동 폭을 이용하여 침입자의 침입 여부를 판단한다.
단말(400)은 수신신호 세기(RSS)의 변동 폭을 이용하여 침입자가 침입한 것으로 판단한 경우 침입 정보를 기지국(100)으로 전송하며, 기지국(100)은 이 침입 정보를 다시 게이트웨이(500)를 통해 관제 서버(600)로 전송한다. 관제 서버(600)으로 전송된 침입 정보를 관제 요원이 최종 확인하며, 관제 요원은 현장상황을 확인을 위해 출동하거나 경찰에 연락할 수 있다.
실시예에 따른 단말(400)이 이기종(100, 200, 300)으로부터 전송되는 신호의 수신 신호 세기(RSS)를 측정하고 분석하여, 침입자의 침입 여부를 판단한다.
그러나, 기존의 홈 시큐리티 시스템은 센서와 카메라들을 구비하는 CCTV 시스템을 구비하였으나, 출입문 개폐 제어 시스템과 홈 서버와 연동되어 홈 카메라 모니터링을 제공하였으나, 주차중인 차량의 블랙박스와 카메라와 연동되어 홈 비디오 서버를 통해 홈 모니터링과 스마트폰 모니터링 및 원격 음성 신호 전송 기능을 제공하지 않았다.
특허 공개번호 10-2006-0088744 (공개일자 2006년 08월 07일), "홈서버를 이용한 댁내 비디오 모니터링 시스템", 엘지전자 주식회사 특허 공개번호 10-2014-0077817 (공개일자 2014년 06월 24일), "홈 모니터링 방법 및 장치", 삼성전자주식회사 특허 등록번호 10-1735780 (등록일자 2017년 05월 08일), "스마트 홈 시큐리티 시스템에서 침입을 감지하는 방법 및 단말", 주식회사 에스원
상기 문제점을 해결하기 위한 본 발명의 목적은 PC와 IPTV 단말, 스마트기기(스마트폰, 태블릿 PC)가 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 적어도 하나 이상의 카메라, 카메라와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 또는 카메라를 구비하는 IoT 디바이스와 연동하여 1/2/3/4채널의 동영상이 모니터링되며, AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 사각 박스로 마스킹 된 이동하는 특정 객체 추적 기능을 제공하여, 이동하는 객체가 이상 행위나 침입 탐지가 감지되면, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 카메라와 Wi-Fi 통신부를 구비하는 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력되도록 하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템을 제공한다.
본 발명의 다른 목적은 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 제1 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스; 적어도 하나 이상의 카메라; 상기 적어도 하나 이상의 카메라에 각각 연결되는 적어도 하나 이상의 인코더; 상기 적어도 하나 이상의 인코더와 연결되며 적어도 하나 이상의 카메라의 인코딩 영상 데이터를 수신받아 저장하며, 상기 자동차용 블랙박스로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터에 대하여 딥러닝 기술을 사용하여 영상의 객체(object, 자동차, 침입자 등)를 검출하여 특징 추출과 분류를 통해 이동하는 객체의 추적 기능을 제공하는 홈 비디오 서버; 및 상기 홈 비디오 서버와 연동되는 사용자 단말을 포함하며,
상기 사용자 단말이 홈 비디오 서버에 접속하여 적어도 하나 이상의 카메라 영상데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링(PC 모니터링)과 모바일 모니터링(스마트기기 모니터링)을 제공한다.
본 발명의 다른 목적을 달성하기 위해, 제2 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은 마이크, 스피커, 적어도 하나 이상의 카메라(C)와 A/V 컨트롤러와 통신부가 구비된 IoT 디바이스; 적어도 하나 이상의 상기 IoT 디바이스의 카메라 영상 데이터를 수신받아 저장하며, 블랙박스로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터에 대하여 딥러닝 기술을 사용하여 영상의 객체들의 특징 추출과 분류를 통해 객체들을 검출하고 이동하는 특정 객체의 추적 기능을 제공하는 홈 비디오 서버; 및 상기 홈 비디오 서버와 연동되는 사용자 단말을 포함하며,
상기 사용자 단말이 홈 비디오 서버에 접속하여 적어도 하나 이상의 카메라 영상 데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링(PC 모니터링)과 모바일 모니터링(스마트기기 모니터링)을 제공한다.
본 발명의 또 다른 목적을 달성하기 위해, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법은, 적어도 하나 이상의 카메라와 인코더를 통해 홈 비디오 서버에 연동되며, 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스가 상기 홈 비디오 서버에 연동되는 단계; 사용자 단말은 상기 홈 비디오 서버와 유무선 통신을 통해 연결되며, WLAN 무선랜 AP 설정(ID, Passwd) 블랙박스 카메라 채널 모드가 설정되는 단계; 상기 자동차용 블랙박스로부터 카메라 영상 데이터를 Wi-Fi 통신을 통해 상기 홈 비디오 서버로 저장하며, 상기 홈 비디어 서버의 저장된 영상들에 대하여 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출과 분류를 통해 객체들을 검출하고, 이동하는 특정 객체의 추적 기능을 제공하는 단계; 및 상기 사용자 단말은 상기 홈 비디오 서버와 연동되어, 상기 홈 비디오 서버에 저장된 적어도 하나 이상의 카메라 영상 데이터 및 블랙박스 카메라 영상 데이터에 대하여 비디오 모니터링을 제공하는 단계를 포함한다.
본 발명의 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법은 PC와 IPTV 단말, 스마트기기(스마트폰, 태블릿 PC)가 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 적어도 하나 이상의 카메라, 카메라와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 또는 카메라를 구비하는 IoT 디바이스와 연동하여 1/2/3/4채널의 동영상이 모니터링되며, 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 사각 박스로 마스킹 된 이동하는 특정 객체를 추적하며, 사용자 단말의 모니터링 영상에서 침입 탐지 또는 이상 행위자가 감지되면, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 카메라와 Wi-Fi 통신부를 구비하는 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력되도록 한다.
도 1은 종래의 홈 모니터링 시스템 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 구성도이다.
도 3은 본 발명의 제2 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 구성도이다.
도 4는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법을 설명한 순서도이다.
도 5a와 5b는 컨볼루션 신경망(CNN) 알고리즘을 사용하여 영상의 특징 추출과 분류하여 객체를 추출하는 과정이 보인 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
본 발명의 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법은 PC와 IPTV 단말, 스마트기기(스마트폰, 태블릿 PC)가 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 적어도 하나 이상의 카메라, 카메라와 스피커와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 또는 카메라를 구비하는 IoT 디바이스와 연동하여 1/2/3/4채널의 동영상이 모니터링되며, AI vision과 인공지능의 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 탐지하고, 마스킹 된 이동하는 특정 객체를 추적하는 기능을 제공하며, 침입 탐지 또는 이상행위자가 발견되면, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 블랙박스의 스피커로 원격 음성 신호를 전송하여 블랙박스의 스피커로 출력되도록 한다.
(실시예1)
도 2는 본 발명의 제1 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 구성도이다.
제1 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은
블랙박스 시스템(102)과 카메라(C)(103)와 스피커(S)(107) 및 Wi-Fi 통신부(101)를 구비하는 자동차용 블랙박스(100);
적어도 하나 이상의 카메라(307);
적어도 하나 이상의 카메라(307)에 각각 연결되는 적어도 하나 이상의 인코더(306);
상기 적어도 하나 이상의 인코더(306)와 연결되며 적어도 하나 이상의 카메라의 인코딩 영상 데이터를 수신받아 저장하며, 자동차용 블랙박스(100)로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터에 대하여 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 실시간으로 사각 박스로 마스킹 된 이동하는 특정 객체의 추적 기능을 제공하는 홈 비디오 서버(200); 및
상기 홈 비디오 서버(200)와 연동되는 사용자 단말을 포함하며,
상기 사용자 단말의 모니터링 클라이언트가 홈 비디오 서버(200)에 접속하여 적어도 하나 이상의 카메라 영상데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링(PC 모니터링)과 모바일 모니터링(스마트기기 모니터링)을 제공한다.
상기 사용자 단말은 PC(930)와 IPTV 단말(910, 920), 스마트폰과 태블릿 PC를 포함하는 스마트 기기(700) 중 하나 이상을 사용한다.
상기 사용자 단말의 모니터링 클라이언트는 상기 홈 비디오 서버(200)와 연동되며, 적어도 하나 이상의 카메라 영상(CAM1,CAM2,CAM3)과 블랙박스 카메라 영상(B-CAM)에 대하여 1/2/3/4 채널 비디오 모니터링을 하며, 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 객체 추적 알고리즘을 사용하여 이동하는 특정 객체의 추적 기능을 제공하며, 실시간 모니터링 영상을 보고 주차 중인 차량의 침입 탐지 또는 이상 행위자 발견시에 상기 사용자 단말로부터 Wi-Fi 통신망을 통해 블랙박스(100)의 스피커(S)(107)로 원격 음성 신호를 전송하는 것을 특징으로 한다.
카메라(C)(307)는 렌즈와 카메라, 전원장치를 포함하며, 이를 커버하는 돔 또는 상부 덮개형 카메라 하우징을 구비하며, 고정식 카메라와 회전식 카메라를 사용할 수 있다.
카메라(C)(307)는 고정 카메라, 상하좌우 회전이 가능한 돔 카메라(Dome camera), PTZ 카메라, 야간 촬영이 가능한 적외선 LED를 구비하는 적외선(IR, Infrared Ray) 카메라 등이 사용된다.
실시예에서는, 카메라(C)(307)는 PTZ(Pan, Tilt, Zoom) 제어 기능을 PTZ 카메라를 사용하였다.
PTZ 카메라는 PTZ(Pan, Tilt, Zoom) 제어 기능을 제공하며, Pan은 카메라의 위치를 고정하고 카메라를 좌우로 움직이는 기능, Tilt(tilt up, tilt down)는 카메라를 상하로 움직이는 기능이며, Zoom in/out은 카메라의 초점 거리를 근거리 또는 원거리로 포커싱하여 영상을 축소/확대하는 기능을 제공한다.
상기 홈 비디오 서버(200)는 적어도 하나 이상의 카메라(307)와 인코더(306)를 통해 연동되고, Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 연동되며, 사용자 단말의 1/2/3/4채널의 동영상이 모니터링된다.
예를들면, PC(930)의 마이크 또는 스마트폰(700)으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 주차 중인 자동차의 Wi-Fi 통신부(101)를 구비하는 블랙박스(100)의 스피커(107)로 원격 음성 신호를 전송하여 출력된다.
(실시예2)
도 3은 본 발명의 제2 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 구성도이다.
제2 실시예는 홈 시큐리티(home security)용으로 사용되는 마이크(301), 스피커(303), 적어도 하나 이상의 카메라(C)(306)와 A/V 컨트롤러(305)와 통신부(309)가 구비된 IoT 디바이스와; 카메라(C)(103)와 스피커(S)(107) 및 Wi-Fi 통신부(101)를 구비하는 자동차용 블랙박스(100)를 사용하는 경우를 나타낸 예이다.
제2 실시예에 따른 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템은
블랙박스 시스템(102)과 카메라(B-CAM)(103)와 스피커(S)(107) 및 Wi-Fi 통신부(101)를 구비하는 자동차용 블랙박스(100);
마이크(301), 스피커(303), 적어도 하나 이상의 카메라(C)(307)와 A/V 컨트롤러(305)와 통신부(309)가 구비된 IoT 디바이스(300);
적어도 하나 이상의 지역에 설치된 상기 IoT 디바이스의 카메라 영상 데이터를 수신받아 저장하며, 자동차용 블랙박스(100)로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터들은 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 마스킹 된 이동하는 특정 객체의 추적 기능을 제공하는 홈 비디오 서버(200); 및
상기 홈 비디오 서버(200)와 연동되는 사용자 단말을 포함하며,
상기 사용자 단말이 홈 비디오 서버(200)에 접속하여 적어도 하나 이상의 카메라 영상데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링(PC 모니터링)과 모바일 모니터링(스마트기기 모니터링)을 제공한다.
상기 사용자 단말은 PC(930)와 IPTV 단말(910, 920), 스마트폰과 태블릿 PC를 포함하는 스마트기기(700) 중 하나 이상을 사용한다.
상기 사용자 단말은 상기 홈 비디오 서버(200)와 연동되어 적어도 하나 이상의 IoT 디바이스의 카메라 영상과 블랙박스 카메라 영상에 대하여 1/2/3/4 채널 비디오 모니터링을 하며, 팀입 탐지 또는 이상 행위자 발견시에 상기 사용자 단말로부터 Wi-Fi 통신망을 통해 상기 IoT 디바이스(300) 또는 블랙박스(100)로 원격 음성 신호를 전송하여 해당 기기(IoT 디바이스 또는 블랙박스)의 스피커로 출력되도록 한다.
카메라(C)(307)는 고정 카메라, 상하좌우 회전이 가능한 돔 카메라(Dome camera), PTZ 카메라, 야간 촬영이 가능한 적외선 LED를 구비하는 돔 적외선(IR, Infrared Ray) 카메라 등이 사용된다.
실시예에서는, 카메라(C)(307)는 PTZ(Pan, Tilt, Zoom) 제어 기능을 PTZ 카메라를 사용하였다.
PTZ 카메라는 PTZ(Pan, Tilt, Zoom) 제어 기능을 제공하며, Pan은 카메라의 위치를 고정하고 카메라를 좌우로 움직이는 기능, Tilt(tilt up, tilt down)는 카메라를 상하로 움직이는 기능이며, Zoom in/out은 카메라의 초점 거리를 근거리 또는 원거리로 포커싱하여 영상을 축소/확대하는 기능을 제공한다.
IoT 디바이스(300)는 마이크(301); 상기 마이크(301)와 연결되는 ADC(302); 스피커(303); 상기 스피커(303)와 연결되는 DAC(304); 영상과 음성 데이터를 송수신하는 A/V 컨트롤러(305); 상기 A/V 컨트롤러(305)와 연결되며 상기 영상과 음성 데이터를 임시로 저장하는 저장부(미도시); 적어도 하나 이상의 카메라(C)(307); 상기 적어도 하나 이상의 카메라(C)(307)와 각각 연결되며 상기 A/V 컨트롤러(305)로 인코딩된 영상 데이터를 제공하는 인코더(306); 및 상기 A/V 컨트롤러(305)의 제어에 따라 저장부에 임시로 저장된 영상 데이터 전송하거나 원격지 사용자 단말로부터 음성 데이터를 수신받는 통신부(309)를 포함하며,
IoT 디바이스(300)의 통신부(309)는 유선 케이블(이더넷 케이블, UTP 케이블) 또는 Wi-Fi, NB-IoT, 또는 LTE 4G/5G 모뎀을 사용한다.
상기 홈 비디오 서버(200)는 적어도 하나 이상의 PTZ 카메라와 인코더를 통해 연동되고, Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 연동되며, 사용자 단말의 모니터링 클라이언트는 1/2/3/4채널의 동영상을 모니터링하며, 홈 비디오 서버에 저장된 영상 데이터들은 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 이동하는 특정 객체의 추적 기능을 제공한다.
사용자 단말의 클라이언트(client)의 영상 분석 소프트웨어는 홈 비디오 서버(home video server)(200)에 연결되며, 적어도 하나 이상의 카메라 영상 및/또는 IoT 디바이스의 카메라 영상, 및 블랙박스 카메라 영상 데이터에 대하여 AI vision과 인공지능의 딥러닝 기술을 사용하여 영상에 포함된 객체들의 특징 추출(faeture extraction)과 분류(classification)를 통해 객체들을 검출하고, 이동하는 특정 객체를 추적하는 기능을 제공한다.
상기 사용자 단말의 클라이언트(client)의 모니터링 클라이언트(영상 분석 소프트웨어)는 홈 비디오 서버(200)에 연결되며, 적어도 하나 이상의 카메라 영상(CAM1, CAM2) 및/또는 IoT 디바이스의 카메라 영상(CAM3), 및 블랙박스 카메라 영상(B-CAM) 데이터에 대하여 AI vision과 인공지능의 딥러닝 기술을 적용하여 영상에 포함된 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 마스킹 된 이동하는 특정 객체의 추적 기능을 제공한다.
상기 딥러닝 기술은 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 알고리즘을 사용하여 영상의 객체를 탐지하여, 야간에 한 방중에 금은방, 주택 인근의 자동차에 접근하는 침입 탐지 또는 이상행위자 객체가 탐지되면, PC 또는 스마트폰 단말로 일정시간 동안 알람을 발생한다.
또한, 영상의 객체를 검출하는 알고리즘은 영상 처리시에 칼만 필터 알고리즘을 사용항 영상의 객체들을 추적할 수 있으며, 영상의 객체들을 검출 후 사각형 블럭으로 마스킹 된 이동하는 특정 객체들의 움직임을 추적할 수 있다.
상기 방법은, 홈 비디오 서버에 저장된 영상들은 AI 비전과 딥러닝 기술과 객체 추적 알고리즘을 사용하여 실시간으로 모니터링 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 실시간으로 사각형 박스로 마스킹 된 이동하는 특정 객체의 움직임을 추적하며, 사용자 단말의 모니터링 클라이언트에서 침임 탐지 또는 이상행위자 객체 탐지시에, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력되도록 한다.
예를들면, PC(930)의 마이크 또는 스마트폰(700)으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 상기 IoT 디바이스 또는 주차 중인 자동차의 Wi-Fi 통신부(101)를 구비하는 블랙박스(100)의 스피커(107)로 원격 음성 신호를 전송하여 출력된다.
○ 제품의 구성
- 홈 비디오 서버: 인코더와 다수의 카메라(PTZ 카메라), 카메라와 스피커와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 연동
- Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라-> 홈 비디오 서버 -> 사용자 단말 client
- 사용자 단말: PC(client), IPTV 단말(STB-client, LCD 모니터), 스마트기기(client) - 홈 비디오 서버 연결
- A/V codec : H.264, MPEG-4, H.265, MJPEG, 기타 코덱 등
○ 제품의 특징
- 블랙박스 카메라 채널 모드 설정, 블랙박스 WLAN 무선랜 AP 설정(ID, Passwd)
- 카메라 비디오 채널: 1채널/2채널/3채널/4채널 선택 비디오 모니터링
- 다수의 카메라 PTZ 제어(Play, Stop, Sound ON/OFF)
- PTZ 카메라와 블랙박스 카메라 동영상을 홈 비디오 서버를 통해 1채널/2채널/3채널/4채널 모니터링
- 정문에 설치된 IP 카메라와 마이크와 스피커 A/V 컨트롤러 구비: 정문 IP 카메라 영상 내 객체 탐지(방문자 알람, PTZ 포커싱): 칼만필터 알고리즘 또는 AI 딥러닝(Deep Learning) 알고리즘을 사용하여 영상 내 사람 객체(object) 탐지, 알람, 스마트폰 알람
- 정문에 설치된 IP 카메라와 스피커 및 A/V 컨트롤러- 홈 video server 연동: PC와 연결된 스피커 또는 스마트폰 음성 신호 -> 홈 video server ->(Wi-Fi) -> A/V 컨트롤러를 통해 스피커로 원격 음성 신호 출력
- WLAN 무선랜 커버리지(100m) 내에서 블랙박스 카메라 동영상 모니터링, PC와 연결된 스피커 또는 스마트폰 음성 신호 -> 홈 video server ->(Wi-Fi) -> 주차 중인 자동차의 Wi-Fi 통신부를 구비하는 블랙박스 스피커로 음성 신호 출력
* PC 비디오 모니터링, 스마트폰 모바일 모니터링
- 스마트폰 client: 홈 video server와 연결, PTZ 카메라와 블랙박스 카메라 동영상을 홈 video server를 통해 1채널/2채널/3채널/4채널 모니터링
* IoT 디바이스의 스피커/블랙박스의 스피커로 원격 음성 신호 전송
- 원격 음성 신호 전송 -> 스마트폰 음성 신호 -> 홈 video server ->(Wi-Fi) -> 주차 중인 자동차의 Wi-Fi 통신부를 구비하는 블랙박스 스피커/정문에 구비된 IoT 디바이스의 스피커로 원격 음성 신호 출력
도 4는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법을 설명한 순서도이다.
본 발명의 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법은
적어도 하나 이상의 카메라와 인코더를 통해 홈 비디오 서버에 연동되며, 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스가 홈 비디오 서버에 연동되는 단계;
사용자 단말은 PC(930)와 IPTV 단말(910, 920), 스마트폰과 태블릿 PC를 포함하는 스마트기기(700) 중 하나 이상의 디바이스를 사용하며, 홈 비디오 서버와 유무선 통신을 통해 연결되며, WLAN 무선랜 AP 설정(ID, Passwd) 블랙박스 카메라 채널 모드가 설정되는 단계;
카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스로부터 카메라 영상을 Wi-Fi 통신을 통해 홈 비디오 서버로 저장하며, 홈 비디오 서버가 저장된 영상들에 대하여 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 이동하는 특정 객체의 추적 기능을 제공하는 단계;
마이크(301), 스피커(303), 적어도 하나 이상의 카메라(C)(307)와 A/V 컨트롤러(305)와 통신부(309)가 구비된 IoT 디바이스(300)로부터 홈 비디오 서버로 상기 IoT 디바이스(300)의 영상 데이터를 저장하는 단계; 및
상기 사용자 단말의 모니터링 클라이언트로 상기 홈 비디오 서버(200)와 연동되어 적어도 하나 이상의 CCTV 카메라 영상 데이터 및/또는 IoT 디바이스의 카메라 영상 데이터, 및 블랙박스 카메라 영상 데이터에 대하여 비디오 모니터링을 제공하는 단계를 포함한다.
IP Address와 port number가 할당된 PC와 IPTV 단말 등의 사용자 단말의 모니터링 클라이언트는 TCP/IP 네트워크를 통해 홈 비디오 서버와 연동되며, 홈 비디오 서버는 인코더와 다수의 PTZ 카메라, 마이크와 스피커와 통신부를 구비하는 IoT 디바이스, 카메라와 스피커와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 연동하여 1/2/3/4채널의 동영상 데이터가 모니터링되며,
또한, 스마트 기기(스마트폰, 태블릿 PC)는 Wi-Fi 또는 LTE 4G/5G 이동통신망을 통해 홈 비디오 서버(200)에 접속하여 모바일 비디오 모니터링을 제공받는 단계를 더 포함한다.
사용자 단말의 클라이언트(client)의 영상 분석 소프트웨어는 홈 비디오 서버(home video server)(200)에 연결되며, 적어도 하나 이상의 카메라 영상 및/또는 IoT 디바이스의 카메라 영상 데이터, 및 블랙박스 카메라의 영상 데이터가 홈 비디어 서버(200)에 저장되고, 홈 비디오 서버(200)에 저장된 영상 데이터에 대하여 AI vision, 인공지능의 딥러닝 기술과 별도의 학습 알고리즘(learning algorithm)을 사용하여 학습 데이터베이스를 사용하여 학습하는 SVM 분류기/k-NN 분류기 또는 clustering 또는 강화 학습 등을 사용한 기계학습(machine learning) 및 확률과 통계를 적용하여 영상의 객체들의 특징 추출과 분류를 통해 객체들을 검출하고, 사각 박스로 마스킹 된 이동하는 객체를 추적하는 기능을 제공한다.
예를들면, 영상의 객체 및 추적 알고리즘은 영상 처리시에 칼만 필터 알고리즘을 사용할 수 있다.
칼만 필터 알고리즘은 컴퓨터 비전, 로봇 비전, 위성 카메라 분야에 사용되며, 선형 시스템(linear system)에서 측정 모델(measurement model)과 상태 모델(process model)로부터 과거 데이터와 현재 데이터로부터 오차를 보정하여 미래의 움직임의 상태를 예측하는 추정 알고리즘이다. 예를들면, 이산 시간 선형 동적 시스템에서는 물체의 측정값에 확률적인 오차가 포함되고. 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인(linear) 관계를 가지고 있는 경우가 가능하다. 예를들면, 영상 내의 노이즈(오차)는 안개에 의한 시야 부정확, 다중 움직임, 가려짐 등이 될 수 있으며, 백색 잡음(white noise)으로 간주된다.
추정하는 단계는 i) 현재의 상태 변수 추정치 및 공분산(covariance) 값으로부터 다음 측정시간에서의 상태 변수 추정치 및 공분산을 계산하는 예측(prediction) 단계; ii) 실제 측정된 상태를 토대로 정확한 상태를 계산하기 위해, 계산된 예측 상태와 실제 측정값의 오차를 사용해 귀납적 상태 보정, 귀납적 공분산 보정을 통해 보정(update)하는 단계를 포함한다. 즉 연역적 상태 예측, 연역적 공분산 예측이 이루어진다.
각 시간의 추정 상태는 평균(mean)과 분산(variance)으로 표현된다. 분산(variance)은 퍼진 정도를 나타내는 통계치이며, 공분산(covariance)은 두 확률 변수 X,Y의 상관 정도로 변동 방향을 나타내는 통계치이므로 추정에 효과적으로 예측하는데 사용한다.
선형 시스템은 행렬연산의 표현이 가능하고, 가우시안은 평균(mean)과 공분산(covariance)으로 모델링이 가능하다.
칼만 필터는 측정 노이즈를 가우시안 확률 모델과 같은 의미로 사용한다. 가우시안 확률 모델은 정규분포를 이루며 평균과 분산을 알면, 항상 영상 내 노이즈가 있더라도 오차를 예측(prediction)하여 수정해가며 제어해야 한다. 이 프로세스 노이즈(process noise, 예측 오차분)과 측정 노이즈(measurement noise, 실측잡음분)을 공분산(covariance)을 이용하여 가중치 처리를 한다.
process noise가 measurement noise보다 분산이 크다면 측정치(measurement)에 더 큰 가중치(weight)가 곱해지며, process noise가 measurement noise보다 분산이 작으면 모델(model)을 이용한 예측 값에 더 큰 가중치를 곱해 업데이트되는 구조로 작동된다. 변하지 않는 행렬값과 초기값을 가지고 예측 루틴의 값을 계산하게 된다.
이후 예측 루틴의 값을 사용하여 Kalman Gain과 측정값 z를 사용하여 다음 예측치를 보정하고 process noise 분산을 보정하는 과정을 반복하여 칼만 필터가 동작한다.
Cov(X,Y) > 0이면 x가 증가할때 y도 증가하며, Cov(X,Y) > 0이면 x가 증가할때 y는 감소하는 경향을 보인다. 두 변수가 아무 상관 없이 흩어져 있으면 Cov(X,Y) = 0에 근접한다.
선형 시스템은 직접 센서들에서 측정가능한 측정모델함수(오차 포함)와, 현재상태를 표현하지만 직접 측정이 불가능한 상태모델함수로 표현한다.
[표현식]
Figure 112019110267168-pat00001
칼만 필터는 이전 시간에 추정한 값을 토대로 현재 시간의 값을 추정하며 재귀적으로 동작된다.
Xk는 특정 시간 k에서의 상태 벡터, 그 시간에서의 사용자 입력을 Uk로 나타낸다. A는 해당 시간 k-1에서 이전 상태에 기반한 상태 전이 행렬, B는 사용자 입력에 의한 상태 전이 행렬을 나타낸다. H는 해당 시간에서 측정에 관계되는 행렬이다.
Xk-1은 이전 상태이며, Xk는 현재 상태이다. K는 칼만게인(Kalman Gain), P는 추정오차공분산 메트릭스(estimation error covariance matrix), ^는 상태변수, x-의 -는 이전 상태를 표현한다. Q는 예측노이즈 공분산, R은 측정노이즈 공분산 행렬이다.
여기서, Time update와 Measurement Update의 2개의 상태로 나눠 구현하였다.
상태 모델 함수가 Time update이고, 측정 모델 함수가 Measurement Update와 같다.
* Time Update: 예측 단계(시간 갱신): 이전 데이터를 근거로 예측
1) 이전 상태벡터에 A를 곱하고 u(예측오차잡음)에 B를 곱하여 구한 x는 수순수한 상태예측값이다.
2) 에러 보정을 위해 수행하는 단계로 수집된 자료를 기반으로 얼마의 보정을 할지 결정한다.(프로세스 노이즈 예측)
* Measurement Update : 교정 단계(측정치 갱신): 새로운 측정값으로 교정
1) 칼만 게인을 구한다(프로세스노이즈(예측오차분)과 측정 노이즈(실측잡음분)를 이용하여 계산)
2) 측정잡음 z을 추가하여 현재의 상태 벡터 x를 구한다.
3) 예측 오류인 추정오차공분산 P를 구한다.
영상 처리를 위해 AI에 사용할 경우, 딥러닝의 CNN(Convolutional Neural Network)부터 주가예측과 같이 시간의 흐름에 따른 분석을 할 때 많이 사용되는 RNN(Recurrent Neural Network) 등을 학습할 수 있다.
CNN 구조는 중간 몇 개의 컨볼루션 레이어(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)를 추출한다. 풀링 레이어(Pooling layer)를 통과함에 따라 특징지도의 크기가 작아지는데 각각 다른 크기의 특징지도에서 객체 위치영역 정보를 추출하기 때문에 크기(scale)가 다른 객체 검출을 제공한다.
예를 들면, Lecun - CNN의 구조를 사용할 경우, 32x32 크기의 입력 영상에 대해, 먼저 5x5 convolution을 적용하여 28x28 크기를 갖는 6개의 feature map을 생성하고, 이를 다시 sub-sampling(pooling)을 거쳐 6개의 14x14 크기의 중간 영상을 만들어낸다. 다시 이에 대해 5x5 크기를 갖는 kernel을 사용해 convolution을 수행하고 총 16개 feature map을 갖는 10x10 영상을 만들어내고, sub-sampling을 통해 총 16개의 5x5 영상을 얻는다. 그 중 120개를 선택하여 FC(Fully connected) NN에 연결하고 최종적으로 10개의 class를 분류하였다.
C1과 C3는 각각의 convolution을 거쳐서 얻어진 feature map 영상을 보여준다. C1 단계에서는 6개의 다른 feature map을 얻을 수 있도록 서로 다른 convolution kernel이 사용되었고, C3 단계에서는 16개의 다른 feature map을 얻을 수 있는 서로 다른 convolution이 적용되었다. C1과 C2 convolution 단계 및 S2와 S4 pooling 단계를 거치면서, topology 변화에 강인한 특성을 갖게 되었으며, 결과적으로 인식 능력이 크게 개선되었다. 비교적 깨끗한 영상 뿐만 아니라 상당한 잡음이 있는 경우에 대해서도, 각각의 convolution kernel이 각각 다른 특징을 추출해 낼 수 있다.
홈 모니터링을 위한 지능형 CCTV 시스템은 1/2/3/4 채널의 영상 객체 검출, 이동하는 객체 추적 기술이 사용된다. 영상내 객체 검출을 위해 배경추정 기법을 사용하는 방법과, 객체의 특징점(feature)을 사용한 학습 알고리즘(learning algorithm)을 사용하는 방법이 사용될 수 있다.
배경추정 알고리즘은 학습 알고리즘을 사용하는 방법으로 계산량은 적지만 사람이 움직이지 않는 경우, 객체 검출 성능이 저하된다.
객체의 특징점(feature)을 사용한 학습 알고리즘으로 영상 내의 객체를 검출하기 위해 객체의 특징을 표현한 특징점을 추출하고, 특징점을 이용해 객체를 검출하려는 대상 객체에 학습 알고리즘(learning algorithm)이 사용하며, 홈 모니터링과 CCTV 관제에 있어서 영상 내의 객체 검출 대상은 침입탐지자 또는 이상행위자를 하는 사람과 차량이다. 사람 객체 검출은 유사 Haar, HOG(Histogram of Oriented Gradient)와 LBP(Local Bit Pattern) 특징점이 주로 사용되고, 학습 알고리즘은 Adaboost와 SVM(Support Vector Machine) 알고리즘이 적용된다.
딥러닝 기술은 CNN(Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, 및 Faster RCNN(Region based Convolutional Neural Network) 알고리즘 중 어느 하나의 알고리즘을 사용하여 영상 내의 객체(object)를 탐지한다. 예를들면, 홈 비디오 서버는 AI 비전과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체들을 검출하고, 마스킹 된 이동하는 객체의 추적 기능을 제공하며, 다수의 카메라 모니터링 시에 야간에 한 방중에 주택 인근의 출입문 또는 자동차에 접근하는 이상행위자 객체가 탐지되면, PC 또는 스마트폰 단말로 일정시간 동안 알람(alarm)을 발생한다.
예를들면, 이전의 영상처리시에 영상 내 객체 검출(Object Detection) 알고리즘들은 일정 크기를 가지는 Sliding Window 방식을 사용하여 이미지의 모든 영역을 탐색하면서 객체를 검출하였다.
도 5a와 5b는 컨볼루션 신경망(CNN) 알고리즘을 사용하여 영상의 특징 추출과 분류하여 객체를 추출하는 과정이 보인 도면이다.
딥러닝의 CNN(Conventional Neural Network) 알고리즘은 카메라 입력 영상으로부터 입력층(input layer)/n개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer 3... )/출력층(output layer)으로 구성되는 다층구조의 컨볼루션 신경망(CNN)을 사용하여 Multilayer Perceptron을 통해 영상의 객체들의 특징 추출(feature extraction)과 객체들을 분류(classification)하여 영상내 객체들(사람, 자동차, 강아지 등)을 검출한다.
CNN 알고리즘은 AlexNet, VGGNet, ResNet 중 어느 하나의 딥러닝 알고리즘을 사용하여 카메라 영상의 얼굴인식에 사용될 수 있다.
예를들면, 보안(security)이 요구되는 금은방에서, 홈 모니터링 카메라의 영상에 침입 탐지가 녹화된 도둑 얼굴의 경우, 특정 시간대에 침입자로 판단된 이동하는 영상의 특정 객체의 이미지(얼굴 사진)를 캡춰하여 얼굴 인식을 위해 CNN 알고리즘을 사용하여 얼굴의 특징점(눈, 눈썹, 코, 입, 윤곽선)을 추출하여 얼굴 인식을 할 수 있다.
참고로, 얼굴 인식은 템플릿 매칭(Template Matching) 방법, PCA(Principal Component Analysis) 기반 Eigen Vector를 추출하는 방법, ANN(Artificial Neural Network)을 사용하는 방법 등이 사용 가능하다. 템플릿 매칭 방법은 얼굴 인식시에 눈, 눈썹, 코, 입, 윤곽선의 얼굴의 특징점을 구하고, 눈, 눈썹, 코, 입, 윤곽선 등의 얼굴의 특징값을 구한 후 특징 벡터(vector) 주위의 일정 영역을 템플릿으로 정하여 얼굴 인식을 하며, ANN 방법은 얼굴 이미지에서 얼굴 특징값들을 추출하지 않고 픽셀 영상을 인공 신경망(Neural Network)에 입력하여 얼굴을 인식한다.
얼굴 인식의 특징벡터는 얼굴인식에 사용되는 특징값들을 원소로 가지는 벡터이다. 고유 얼굴(eigen vector)의 특징벡터를 추출하는데 사용되는 필터로써 Gabor 필터, Haar 필터, LBP(Local Binary Pattern)- DLBP(Discriminative LBP), ULBP(Uniform LBP), NLBP(Number BP)- 등 여러가지 필터가 사용될 수 있다.
템플릿 매칭(Template Matching) 방법으로써, 눈, 눈썹, 코, 입, 윤곽선의 얼굴의 특징(faeture) 기반의 얼굴 인식은 카메라로 촬영된 영상 데이터를 haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform) 영상을 이용한 검출 방법이 사용된다. 예를들면, 카메라의 입력 영상에서 Haar-like feature로 학습된 얼굴 및 눈 검출기를 사용하여 얼굴의 윤곽선(턱 선)과 눈/눈썹/코/입을 검출하고, 원형의 눈동자를 검출하기 위해 관심 영역(ROI, Region of Interest)으로 설정된 눈 영역을 grayscale로 변환하며, 눈 영역에서 눈동자와 눈(iris)의 외곽선 영역이 추출되는 실험에 의한 통계적인 임계값(threshold)을 사용하여 눈 이미지의 histogram[x축 각 픽셀의 화소값, y축 해당 화소 값의 갯수]을 구하고 눈의 이미지를 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 눈 영역의 사진의 전처리를 수행하며, 얼굴 영역에서 눈, 눈썹, 코, 입, 턱의 윤곽선을 포함하는 얼굴의 특징 데이터를 검출하고, 텍스처 특징(Texture Faetures)과 형상 특징(Shape Features)을 추출하여 머신 러닝(machine learning) 기술을 사용하여 학습된 데이터가 저장된 학습 데이터베이스를 참조하고 디지털 포렌식 기술을 사용하여 표준 크기의 사진들이 저장된 범죄자의 얼굴 인식 DB에 저장된 얼굴 사진의 특징점들과 유사도(similarity)를 비교하여 얼굴 인식을 할 수도 있다.
컨볼루션 신경망(CNN, Convolutional Neural Network)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.
CNN 알고리즘은 가중치(weight)를 갖는 마스크(예, 3x3 window 또는 5x5 window)를 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 convolution(합성곱)과 subsampling을 반복하여 영상의 데이터량을 줄이며 객체들의 특징 추출(feature extraction)을 하며, 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 객체들(object, 자동차, 사람, 강아지 등)을 분류(classification)한다.
CNN 알고리즘을 사용한 영상처리 시, 컨볼루션(convolution)은 가중치(weight)를 갖는 마스크(예, 3x3 window 또는 5x5 window)를 사용하여 이동해가며 영상의 데이터량을 줄이며 특징 추출(feature extraction)을 통해 특징 맵(feature map)을 구성하여 영상처리가 이루어지며, 입력 영상에 가중치(weight)를 갖는 마스크(예, 3x3 윈도우)를 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.
subsampling은 화면 크기를 줄이는 과정이며, 해당 영역의 최대치를 선택하는 max pooling을 사용한다.
FC 층(Fully Connected Layer, 완전연결층)은 신경망의 학습(learning)에 의해 영상 내의 객체들(예, object, 자동차, 사람, 강아지 등)을 분류(classification)한다.
예를들면, 현재 5층의 convolutional layer와 3층의 fully_connected layer로 이루어져 있다. CNN 알고리즘과 별도로 추가적으로, 객체 추적을 학습하기 위해 객체 추적용 데이터베이스를 사용하여 학습(learning)할 수 있다.
컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체(object)의 클래스를 분류한다.
결과적으로, CCTV 카메라와 IoT 디바이스/블랙박스 카메라의 영상 데이터로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하여 CCTV 카메라와 IoT 디바이스/블랙박스 카메라의 영상의 객체들을 추출하고, 이동하는 특정 객체를 추적하기 위해 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하고, Pooling layer를 통과함에 따라 영상의 데이터량을 줄이며 특징맵(feature map)의 크기가 작아지며 각각 다른 크기의 특징맵(feature map)에서 객체 위치영역 정보를 추출하여 객체들을 검출하여, FC 층(Fully Connected Layer, 완전 연결층)에 의해 각각의 객체를 분류(classification)한다.
CNN 알고리즘은 영상내 객체 검출, 특징 추출과 분류하는 기능을 제공하며, 그러나 객체 추적 기능을 제공하지 않는다.
또한, 카메라의 영상 데이터 내의 이동하는 객체를 추적하기 위해, CNN 보다 더 향상된 딥러닝 알고리즘을 사용하여 구조의 특징맵(feature map) 정보를 객체의 특징 정보와 학습 데이터베이스를 사용하여 이전 영상, 현재 영상, 이전 영상의 객체의 영역정보를 입력으로 받고 현재의 객체의 위치 정보를 결과로 출력하여 영상 내의 이동하는 특정 객체를 추적할 수 있다.
R-CNN의 기본적인 구조는 입력 이미지에서 Selective Search라는 Region Proposal 생성 알고리즘을 사용하여, 객체가 존재할 것으로 추정되는 Region Proposal들을 추출한다. 각각의 Region Proposal들은 사각형 모양의 Bounding Box 안의 이미지 형태인데, 모든 Region Proposal들에 대하여 크기를 동일하게 만든 후 CNN을 거쳐 분류하는 작업을 수행한다.
R-CNN은 모든 Region Proposal마다 하나의 CNN(Convolutional Neural Network)을 실행해야 하므로 속도가 느려지며, 이미지 특징 추출을 위한 모델, 분류를 위한 모델, Bounding Box를 잡아주는 모델을 동시에 학습해야 하므로 기계 학습에 걸리는 시간이 많이 들었다.
R-CNN의 속도 문제를 해결하기 위해, Fast R-CNN 모델이 개발되었다. Fast R-CNN 모델은 Feature를 입력 이미지로부터 추출하는 것이 아니라, CNN을 거친 특징맵(Feature Map) 상에서 RoI Pooling을 사용하여 특징(Feature)을 추출한다.
Faster R-CNN은, Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 넣은 모델이다. 이 네트워크를 RPN(Region Proposal Network)라고 한다. RPN을 통해 RoI Pooling을 수행하는 레이어와 Bounding Box를 추출하는 레이어가 같은 특징 맵(feature map)을 공유할 수 있다.
Fast RCNN은 전체 영상과 객체들을 입력받고, 전체 영상에 대한 CNN의 특징 맵(feature map)를 획득한다. ROI(Region of Interest) 풀링층은 각각의 개체에 대하여 특징맵(feature map)으로부터 고정된 길이의 특징 벡터를 추출한다. 각각의 특징벡터는 FC 층(Fully Connected layer, 완전 연결층)을 통해 하나의 시퀀스가 되어, 소프트맥스(Softmax)를 통한 확률 추정과 경계 박스의 위치를 출력한다.
풀링(Pooling)은 다양한 위치에서 특징의 통계를 집계하여 이미지의 해상도를 줄이는 하위 샘플링 프로세스이며, 풀링은 회전, 노이즈 및 왜곡에 강인하며, 풀링은 최대값 풀링과 평균값 풀링 두 가지 방법이 사용된다.
하나의 CNN 분류기는 컨볼루션층과 풀링층이 반복되며 그 구조에 따라 다양한 기능의 층(layer)들이 추가될 수 있다. 입력 이미지에 대하여 컨볼루션과 풀링 과정을 거쳐 추출된 특징(faeture)은 다양한 분류기들(예, SVM classifier)을 적용시켜 영상 내 객체들(예, 사람, 자동차, 강아지 등)이 분류될 수 있다.
Faster R-CNN은 입력 이미지에 대해 통째로 Convolution Layer를 여러 번 거쳐 객체들의 특징을 추출하며, 이렇게 추출된 출력 특징 맵을 RPN과 RoI Pooling Layer가 공유하게 된다. RPN은 특징맵(feature map)에서 Region Proposal들을 추출하며, RoI Pooling Layer는 RPN에서 추출된 Region Proposal들에 대해 RoI 풀링을 수행한다.
상기 방법은, 모니터링 요원 또는 사용자 단말의 모니터링 클라이언트(영상 분석 소프트웨어)가 홈 비디오 서버에 연결되어 AI vision과 딥러닝 기술을 사용하여 영상의 객체들(object, 자동차, 침입자 등)의 특징 추출(feature extraction)과 분류(classification)를 통해 객체를 검출하고, 마스킹 된 이동하는 객체의 추적 기능을 제공하며, 이상행위자 객체 탐지시에, PC의 마이크 또는 스마트폰으로부터 통신 커버리지(Wi-Fi, 100m) 내에서 IoT 디바이스의 스피커 또는 주차 중인 자동차의 블랙박스의 스피커로 원격 음성 신호를 전송하여 출력되도록 하는 단계를 더 포함한다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 방법의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
100: 자동차 블랙박스 101: 통신부
102: 블랙박스 103: 카메라(C)
107: 스피커(S) 200: 홈 비디오 서버
301: 마이크 302: ADC
303: 스피커 304: DAC
305: A/V 컨트롤러 306: 인코더
307: 카메라(C) 309: 통신부
700: 스마트폰, 태블릿PC 910: 셋탑박스(STB)
920: 모니터 930: PC

Claims (19)

  1. 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스;
    적어도 하나 이상의 카메라;
    상기 적어도 하나 이상의 카메라에 각각 연결되는 적어도 하나 이상의 인코더;
    상기 적어도 하나 이상의 인코더와 연결되며 적어도 하나 이상의 카메라의 인코딩 영상 데이터를 수신받아 저장하며, 상기 자동차용 블랙박스로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터들은 AI vision과 딥러닝 기술을 사용하여 영상의 객체들의 특징 추출과 분류를 통해 객체를 검출하고, 마스킹 된 이동하는 객체의 추적 기능을 제공하는 홈 비디오 서버; 및
    상기 홈 비디오 서버와 연동되는 사용자 단말을 포함하며,
    상기 사용자 단말이 홈 비디오 서버에 접속하여 적어도 하나 이상의 카메라 영상데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링과 모바일 모니터링을 제공하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  2. 제1항에 있어서,
    상기 사용자 단말은 PC와 IPTV 단말, 스마트폰과 태블릿 PC를 포함하는 스마트기기 중 하나 이상을 사용하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  3. 제1항에 있어서,
    상기 사용자 단말의 클라이언트(client)의 영상 분석 소프트웨어는 홈 비디오 서버에 연결되어 적어도 하나 이상의 카메라 영상, IoT 디바이스의 카메라 영상, 및 블랙박스 카메라 영상에 대하여 인공지능의 딥러닝 기술을 사용하여 영상의 객체를 검출하며,
    상기 딥러닝 기술은 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 알고리즘을 사용하여 영상의 객체를 검출하여, 야간에 한 방중에 주택 인근의 자동차에 접근하는 침입 탐지 또는 이상행위자 객체가 탐지되면, PC 또는 스마트폰 단말로 일정시간 동안 알람을 발생하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  4. 제3항에 있어서,
    상기 영상의 객체를 검출하는 알고리즘은 영상 처리시에 칼만 필터 알고리즘을 사용하여 영상의 객체를 검출하고, 마스킹 된 이동하는 객체를 추적하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  5. 제1항에 있어서,
    상기 사용자 단말은 모니터링 클라이언트를 사용하여 상기 홈 비디오 서버와 연동되어 적어도 하나 이상의 카메라 영상과 블랙박스 카메라 영상 데이터에 대하여 비디오 모니터링을 하며, 침입 탐지 또는 이상행위자 발견시, 상기 사용자 단말로부터 Wi-Fi 통신망을 통해 블랙박스의 스피커로 원격 음성 신호를 전송하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  6. 마이크, 스피커, 적어도 하나 이상의 카메라(C)와 A/V 컨트롤러와 통신부가 구비된 IoT 디바이스;
    적어도 하나 이상의 상기 IoT 디바이스의 카메라 영상 데이터를 수신받아 저장하며, 블랙박스로부터 카메라 영상 데이터를 수신받아 저장하며, 저장된 영상 데이터들은 AI vision과 딥러닝 기술을 사용하여 영상의 객체들의 특징 추출과 분류를 통해 객체를 검출하고, 마스킹 된 이동하는 객체의 추적 기능을 제공하는 홈 비디오 서버; 및
    상기 홈 비디오 서버와 연동되는 사용자 단말을 포함하며,
    상기 사용자 단말이 홈 비디오 서버에 접속하여 IoT 디바이스의 적어도 하나 이상의 카메라 영상데이터와 블랙박스의 카메라 영상 데이터에 대하여 홈 모니터링과 모바일 모니터링을 제공하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  7. 제6항에 있어서,
    상기 IoT 디바이스는
    마이크; 상기 마이크와 연결되는 ADC;
    스피커; 상기 스피커와 연결되는 DAC;
    영상과 음성 데이터를 송수신하는 A/V 컨트롤러;
    상기 A/V 컨트롤러와 연결되며 상기 영상과 음성 데이터를 임시로 저장하는 저장부;
    적어도 하나 이상의 카메라(C);
    상기 적어도 하나 이상의 카메라(C)와 각각 연결되며 상기 A/V 컨트롤러로 인코딩된 영상 데이터를 제공하는 인코더; 및
    상기 A/V 컨트롤러의 제어에 따라 저장부에 임시로 저장된 영상 데이터 전송하거나 원격지 사용자 단말로부터 음성 데이터를 수신받는 통신부를 포함하며,
    상기 IoT 디바이스의 상기 통신부는 Wi-Fi, NB-IoT, LTE 4G/5G 모뎀을 사용하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  8. 제6항에 있어서,
    상기 홈 비디오 서버와 Wi-Fi, NB-IoT, LTE 4G/5G 모뎀을 연동되며, 카메라(C)와 스피커(S) 및 통신부를 구비하는 자동차용 블랙박스를 더 포함하는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  9. 제6항에 있어서,
    상기 사용자 단말은 PC와 IPTV 단말, 스마트폰과 태블릿 PC를 포함하는 스마트기기 중 하나 이상을 사용하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  10. 제6항에 있어서,
    상기 사용자 단말의 클라이언트(client)의 영상 분석 소프트웨어는 홈 비디오 서버에 연결되어 적어도 하나 이상의 카메라 영상, IoT 디바이스의 카메라 영상, 및 블랙박스 카메라 영상에 대하여 인공지능의 딥러닝 기술을 사용하여 영상의 객체를 검출하며,
    상기 딥러닝 기술은 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 알고리즘을 사용하여 영상의 객체를 검출하여, 야간에 한 방중에 주택 인근의 자동차에 접근하는 침입 탐지 또는 이상행위자 객체가 탐지되면, PC 또는 스마트폰 단말로 일정시간 동안 알람을 발생하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  11. 제10항에 있어서,
    상기 영상의 객체를 검출하는 알고리즘은 영상 처리시에 칼만 필터 알고리즘을 사용하여 영상의 객체를 검출하고 추적하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  12. 제6항에 있어서,
    상기 사용자 단말은 상기 홈 비디오 서버와 연동되어 적어도 하나 이상의 IoT 디바이스의 카메라 영상과 블랙박스 카메라 영상에 대하여 1/2/3/4 채널 비디오 모니터링을 하며, 침입 탐지나 이상 행위 발견시에, 상기 사용자 단말로부터 Wi-Fi 통신망을 통해 상기 IoT 디바이스의 스피커 또는 상기 블랙박스로 원격 음성 신호를 전송하여 스피커로 출력되도록 하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템.
  13. 적어도 하나 이상의 카메라와 인코더를 통해 홈 비디오 서버에 연동되며, 카메라와 스피커 및 Wi-Fi 통신부를 구비하는 자동차용 블랙박스가 상기 홈 비디오 서버에 연동되는 단계;
    사용자 단말은 상기 홈 비디오 서버와 유무선 통신을 통해 연결되며, WLAN 무선랜 AP 설정(ID, Passwd) 블랙박스 카메라 채널 모드가 설정되는 단계;
    상기 자동차용 블랙박스로부터 카메라 영상 데이터를 Wi-Fi 통신을 통해 상기 홈 비디오 서버로 저장하며, 홈 비디오 서버가 딥러닝 기술을 사용하여 영상의 객체들의 특징 추출과 분류를 통해 객체를 검출하고, 마스킹 된 이동하는 객체의 추적 기능을 제공하는 단계; 및
    상기 사용자 단말은 상기 홈 비디오 서버와 연동되어, 상기 홈 비디오 서버에 저장된 적어도 하나 이상의 카메라 영상 데이터 및 블랙박스 카메라 영상 데이터에 대하여 비디오 모니터링을 제공하는 단계;
    를 포함하는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
  14. 제13항에 있어서,
    상기 사용자 단말은 PC와 IPTV 단말, 스마트폰과 태블릿 PC를 포함하는 스마트기기 중 하나 이상을 사용하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
  15. 제13항에 있어서,
    마이크, 스피커, 적어도 하나 이상의 카메라(C)와 A/V 컨트롤러와 통신부가 구비된 IoT 디바이스로부터 상기 홈 비디오 서버로 상기 IoT 디바이스의 영상 데이터를 저장하는 단계를 더 포함하며,
    상기 사용자 단말이 상기 홈 비디오 서버와 연동되며, 상기 홈 비디오 서버는 인코더와 다수의 카메라, 마이크와 스피커와 통신부를 구비하는 IoT 디바이스, 카메라와 스피커와 Wi-Fi 통신부를 구비하는 자동차 블랙박스 카메라 연동하여 1/2/3/4채널의 동영상 데이터가 모니터링되며,
    또한, 스마트 기기를 사용하여 상기 홈 비디오 서버에 접속하여 모바일 비디오 모니터링을 제공하는 단계를 더 포함하는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
  16. 삭제
  17. 제13항에 있어서,
    상기 사용자 단말의 클라이언트(client)의 영상 분석 소프트웨어는 홈 비디오 서버에 연결되어 적어도 하나 이상의 카메라 영상, IoT 디바이스의 카메라 영상, 및 블랙박스 카메라 영상에 대하여 인공지능의 딥러닝 기술을 적용하여 영상의 객체를 검출하며,
    상기 딥러닝 기술은 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 알고리즘을 사용하여 영상의 객체를 탐지하여, 야간에 한 방중에 주택 인근의 자동차에 접근하는 침입 탐지 또는 이상행위자 객체가 탐지되면, PC 또는 스마트폰 단말로 일정시간 동안 알람을 발생하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
  18. 제17항에 있어서,
    상기 영상의 객체를 검출하는 알고리즘은 영상 처리시에 칼만 필터 알고리즘을 사용하여 영상의 객체를 검출하고 이동하는 객체를 추적하는, 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
  19. 제13항에 있어서,
    상기 사용자 단말은 상기 홈 비디오 서버와 연동되어 적어도 하나 이상의 IoT 디바이스의 카메라 영상과 블랙박스 카메라 영상에 대하여 1/2/3/4 채널 비디오 모니터링을 하며, 침입 탐지 또는 이상행위자 발견 시 상기 사용자 단말로부터 Wi-Fi 통신망을 통해 상기 IoT 디바이스 또는 상기 블랙박스로 원격 음성 신호를 전송하여 스피커로 출력되도록 하는 단계를 더 포함하는 블랙 박스와 연동된 다채널 카메라 홈 모니터링 방법.
KR1020190134949A 2019-10-28 2019-10-28 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법 KR102111162B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134949A KR102111162B1 (ko) 2019-10-28 2019-10-28 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134949A KR102111162B1 (ko) 2019-10-28 2019-10-28 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102111162B1 true KR102111162B1 (ko) 2020-05-14

Family

ID=70737264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134949A KR102111162B1 (ko) 2019-10-28 2019-10-28 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102111162B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201020A (zh) * 2020-10-10 2021-01-08 合肥远康信息技术有限公司 一种智慧110联网综合报警平台可视化系统
CN115527203A (zh) * 2022-10-21 2022-12-27 中粮工程装备无锡有限公司 一种基于物联网的谷物干燥远程控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060088744A (ko) 2005-02-02 2006-08-07 엘지전자 주식회사 홈서버를 이용한 댁내 비디오 모니터링 시스템
KR20130102235A (ko) * 2012-03-07 2013-09-17 (주) 세인 차량용 블랙박스, 감시카메라장치 및 이들의 네트워크를 이용한 사고영상 처리방법
KR20140077817A (ko) 2012-12-14 2014-06-24 삼성전자주식회사 홈 모니터링 방법 및 장치
KR101735780B1 (ko) 2014-12-05 2017-05-15 주식회사 에스원 스마트 홈 시큐리티 시스템에서 침입을 감지하는 방법 및 단말
KR20190023544A (ko) * 2017-08-29 2019-03-08 김승욱 IoT 센서와 연계된 사운드 기반의 디지털 영상저장 장치 및 방법
KR20190063729A (ko) * 2017-11-30 2019-06-10 주식회사 넥토마이닝 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템
KR20190119229A (ko) * 2018-04-04 2019-10-22 한국과학기술연구원 복수의 영상 장비를 사용하여 관심 객체 식별에 의한 비디오 요약을 생성하는 방법 및 이를 수행하는 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060088744A (ko) 2005-02-02 2006-08-07 엘지전자 주식회사 홈서버를 이용한 댁내 비디오 모니터링 시스템
KR20130102235A (ko) * 2012-03-07 2013-09-17 (주) 세인 차량용 블랙박스, 감시카메라장치 및 이들의 네트워크를 이용한 사고영상 처리방법
KR20140077817A (ko) 2012-12-14 2014-06-24 삼성전자주식회사 홈 모니터링 방법 및 장치
KR101735780B1 (ko) 2014-12-05 2017-05-15 주식회사 에스원 스마트 홈 시큐리티 시스템에서 침입을 감지하는 방법 및 단말
KR20190023544A (ko) * 2017-08-29 2019-03-08 김승욱 IoT 센서와 연계된 사운드 기반의 디지털 영상저장 장치 및 방법
KR20190063729A (ko) * 2017-11-30 2019-06-10 주식회사 넥토마이닝 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템
KR20190119229A (ko) * 2018-04-04 2019-10-22 한국과학기술연구원 복수의 영상 장비를 사용하여 관심 객체 식별에 의한 비디오 요약을 생성하는 방법 및 이를 수행하는 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201020A (zh) * 2020-10-10 2021-01-08 合肥远康信息技术有限公司 一种智慧110联网综合报警平台可视化系统
CN115527203A (zh) * 2022-10-21 2022-12-27 中粮工程装备无锡有限公司 一种基于物联网的谷物干燥远程控制方法及系统
CN115527203B (zh) * 2022-10-21 2023-08-25 中粮工程装备无锡有限公司 一种基于物联网的谷物干燥远程控制方法及系统

Similar Documents

Publication Publication Date Title
Elharrouss et al. A review of video surveillance systems
CA3017027C (en) System and method for training object classifier by machine learning
US11393210B2 (en) Generation of alert events based on a detection of objects from camera images
Dick et al. Issues in automated visual surveillance
KR101793636B1 (ko) 통합 지능형 cctv 영상 처리 시스템
KR101570339B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
JP2007512738A (ja) 映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法
US20200145623A1 (en) Method and System for Initiating a Video Stream
KR102111162B1 (ko) 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법
US10210392B2 (en) System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
Raza et al. Multiple Pedestrian Detection and Tracking in Night Vision Surveillance Systems
KR102113533B1 (ko) 영상 내의 이상 행동 객체를 추적하는 장치
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
Krishna et al. Advanced video surveillance system
US20230267742A1 (en) Method and system for crowd counting
KR20130047131A (ko) 이동형 단말기를 이용한 영상감시 방법 및 시스템
KR20230167549A (ko) 지능형 하이브리드 감시제어모듈을 통한 단계별자율 경보형 스마트 cctv 감시장치 및 감시방법
KR20220064213A (ko) 보안 감시 장치의 동작 프로그램
Huang et al. Distributed video arrays for tracking, human identification, and activity analysis
Zhang et al. Real-time video intelligent surveillance system
KR102397839B1 (ko) Ａｉ 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
CN118334743A (zh) 一种公共场所中的人员逗留行为检测方法
Appiah et al. Autonomous real-time surveillance system with distributed ip cameras

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant