KR20190047246A - 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 - Google Patents
소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 Download PDFInfo
- Publication number
- KR20190047246A KR20190047246A KR1020170140896A KR20170140896A KR20190047246A KR 20190047246 A KR20190047246 A KR 20190047246A KR 1020170140896 A KR1020170140896 A KR 1020170140896A KR 20170140896 A KR20170140896 A KR 20170140896A KR 20190047246 A KR20190047246 A KR 20190047246A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- unit
- sensor device
- data
- sound
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 19
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 231100000167 toxic agent Toxicity 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Human Resources & Organizations (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 영상 센서 및/또는 소리 센서를 포함하는 제1 센서부, 무선 네트워크를 통해 데이터를 송수신하는 통신부, 제1 센서부로부터의 센싱 데이터를 처리하는 하나 이상의 프로그램을 저장하는 저장부 및 하나 이상의 프로그램을 수행하여 제1 센서부로부터의 센싱 데이터를 처리하여 결과 데이터를 생성하고 생성된 결과 데이터를 통신부를 통해 송출하는 제어부를 포함하는 센서 디바이스 및 환경 모니터링 시스템에 관한 것이다.
Description
본 발명은 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템에 관한 것으로서, 구체적으로는 소리 센서 및/또는 영상 센서로부터 센싱된 데이터를 처리하여 외부 환경을 인식하고 인식된 상태를 나타내는 결과값을 IoT 네트워크를 통해 전송할 수 있도록 구성되는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템에 관한 것이다.
사물 인터넷(IoT : Internet of Things) 기술을 활용하여 생활환경을 감시하거나 측정하여 위험을 미리 감지하거나 안전한 환경을 제공하기 위한 노력들이 행해지고 있다.
이를 위해, IoT 디바이스는 다양한 센서를 구비하여 각종 외부 환경을 모니터링하고 있다. IoT 디바이스는 공기질 측정 센서(PM2.5, VOCs), 방사능 센서, 전자파 센서 등 다양한 센서를 활용하여 외부 환경을 모니터링할 수 있도록 구성된다.
나아가, 개발자들은 IoT 디바이스에서 인간의 오감 중에서 가장 중요한 센싱 역할을 담당하는 시각과 청각에 대응하는 영상센서 및 소리센서의 활용 부분에 많은 관심을 가지고 있다.
일반적으로, 영상과 소리 데이터는 수집된 그대로 서버(클라우드 서버)로 전송되고 서버가 수집된 데이터를 처리한다. 클라우드 서버는 컴퓨팅 파워가 높아 수집된 데이터를 처리하여 영상과 소리에 관련된 각종 서비스를 제공할 수 있다.
IoT 디바이스는 IoT 네트워크를 통해 각종 데이터를 클라우드 서버와 송수신할 수 있다. IoT 네트워크는 예를 들어 LoRa(Long Range) 네트워크이거나 NB-IoT(NarrowBand-Internet of Things) 네트워크일 수 있다. 기존 IoT 네트워크는 기존의 유선랜, 와이파이, LTE 망과 달리 저속의 통신 속도를 가진다. 예를 들어, LoRa나 NB-IoT 네트워크상에서 IoT 디바이스는 수 bps에서 수 Kbps 정도의 통신 속도를 가진다.
이러한 IoT 통신 속도는 영상과 소리 데이터의 처리에 턱없이 부족하다. 또한, 영상과 소리 데이터는 개인정보보호에 민감한 정보를 포함할 수 있어 영상과 소리 데이터 자체가 클라우드 서버로 전송되는 경우 개인정보보호와 관련하여 다양한 문제점을 야기할 수 있다.
이와 같이, IoT 네트워크를 통해 영상과 소리 데이터의 처리에 있어 야기되는 여러 문제점을 해소할 수 있는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템이 필요하다.
본 발명은 상술한 문제점을 해결하기 위해서 안출한 것으로서, 영상이나 소리 센싱에 기반하여 외부 환경을 모니터링하고 모니터링된 결과를 저속의 IoT 네트워크를 통해 송출할 수 있도록 하는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템을 제공하는 데 그 목적이 있다.
또한, 본 발명은 딥-러닝 프로그램을 이용하여 입력되는 영상이나 소리로부터 지정된 목적물만을 인식하고 인식된 목적물에 기초한 결과 데이터를 산출하도록 구성하여 영상이나 소리 데이터에 의한 개인정보 노출을 방지할 수 있도록 하는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템을 제공하는 데 그 목적이 있다.
또한, 본 발명은 각각의 센서 디바이스에서 기록된 센싱 데이터를 이용하여 내장된 프로그램을 갱신하고 저속의 IoT 네트워크를 통해 갱신된 내장 프로그램을 센서 디바이스로 재배포할 수 있도록 하는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템을 제공하는 데 그 목적이 있다.
또한, 본 발명은 다른 환경 센서와 결합하여 환경 센서의 이벤트에 연동하여 영상이나 소리 데이터를 센싱 및 이벤트에 지정된 목적물을 인식하고 그에 따라 결과 데이터를 산출하여 IoT 네트워크로 송출할 수 있도록 하는, 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템을 제공하는 데 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 센서 디바이스는 영상 센서, 소리 센서 또는 영상 센서와 소리 센서를 포함하는 제1 센서부, 무선 네트워크를 통해 데이터를 송수신하는 통신부, 제1 센서부로부터의 센싱 데이터를 처리하는 하나 이상의 프로그램을 저장하는 저장부 및 하나 이상의 프로그램을 수행하여 제1 센서부로부터의 센싱 데이터를 처리하여 결과 데이터를 생성하고 생성된 결과 데이터를 통신부를 통해 송출하는 제어부를 포함한다.
상기한 센서 디바이스에 있어서, 무선 네트워크는 LoRa 네트워크이거나 NB-IoT 네트워크이고, 하나 이상의 프로그램은 설정된 목적물을 인식하고 목적물의 인식에 따라 결과 데이터를 생성할 수 있는 딥-러닝 프로그램을 포함한다.
상기한 센서 디바이스에 있어서, 영상 센서 및 소리 센서와 상이한 환경 센서를 하나 이상 포함하는 제2 센서부를 더 포함하고, 제어부는 제2 센서부로부터의 센싱 데이터에서 외부 이벤트를 인식하고 외부 이벤트를 인식하는 경우에 제1 센서부를 구동하여 외부 이벤트에 맵핑된 목적물을 인식하고 목적물의 인식에 따른 결과 데이터를 생성한다.
상기한 센서 디바이스에 있어서, 제1 센서부, 제2 센서부, 통신부, 저장부 및 제어부에 지정된 전압 레벨에 대응하는 전원을 공급하고 제1 센서부의 전원 공급을 제어할 수 있는 전원 공급부를 더 포함하고, 전원 공급부를 통해 제1 센서부로의 전원 공급을 차단하고 있는 제어부는 제2 센서부를 통해 외부 이벤트를 인식하는 경우에 전원 공급부를 통해 제1 센서부에 지정된 전압 레벨에 대응하는 전원을 공급하여 제1 센서부를 구동하고 제1 센서부로부터의 센싱 데이터에서 외부 이벤트에 맵핑된 목적물을 인식하고 목적물의 인식에 따른 결과 데이터를 생성한다.
상기한 센서 디바이스에 있어서, 제1 센서부는 영상 센서 및 소리 센서를 포함하고, 센서 디바이스는 영상 센서 및 소리 센서에 지정된 전압 레벨에 대응하는 전원을 공급하고 영상 센서의 전원 공급을 제어할 수 있는 전원 공급부를 더 포함하며, 제어부는 소리 센서로부터의 소리 데이터에서 지정된 외부 이벤트를 인식하는 경우에 전원 공급부를 통해 영상 센서에 전원을 공급하고 영상 센서로부터의 영상 데이터를 처리하여 지정된 목적물을 인식하고 지정된 목적물의 인식에 따른 결과 데이터를 생성하여 통신부를 통해 송출한다.
상기한 센서 디바이스에 있어서, 하나 이상의 프로그램은 딥-러닝 프로그램을 업데이트하기 위한 갱신 프로그램을 더 포함하고, 갱신 프로그램을 수행하는 제어부는 LoRa 네트워크 또는 NB-IoT 네트워크를 통해 복수의 센서 디바이스에 의해 수집된 센싱 데이터에 의한 추가 학습으로 갱신된 딥-러닝 프로그램의 부분들을 서로 다른 시각에 수신하고 부분들을 조합하여 저장부의 딥-러닝 프로그램을 대체한다.
상기한 센서 디바이스에 있어서, 저장부는 착탈 가능한 메모리 카드를 포함하고, 외부 이벤트를 인식한 제어부는 외부 이벤트의 인식에 따라 제1 센서부에 포함되는 영상 센서 및 소리 센서를 통해 수신되는 센싱 데이터를 메모리 카드에 저장하고, 메모리 카드에 저장되는 센싱 데이터는 클라우드 서버에 의한 추가 학습을 통해 하나 이상의 프로그램에 포함되는 딥-러닝 프로그램의 갱신에 이용된다.
본 발명의 일 양상에 따른 환경 모니터링 시스템은 상기한 제1 센서 디바이스 및 제2 센서 디바이스를 포함한다.
상기한 환경 모니터링 시스템에 있어서, IoT 네트워크를 통해 무선으로 제1 센서 디바이스 및 제2 센서 디바이스로부터 결과 데이터를 수신하고 각각의 센서 디바이스에 대한 대응 처리를 수행하는 클라우드 서버를 더 포함한다.
상기한 환경 모니터링 시스템에 있어서, 클라우드 서버는 제1 센서 디바이스 및 제2 센서 디바이스에서 수집된 오프라인 센싱 데이터를 추가 학습 데이터로 이용하여 제1 센서 디바이스 및 제2 센서 디바이스에서 수행되는 딥-러닝 프로그램을 갱신하고 갱신된 딥-러닝 프로그램의 부분 파일들을 제1 센서 디바이스 및 제2 센서 디바이스로 전송하고, 제1 센서 디바이스는 제1 센서 디바이스에서 수신된 부분 파일과 제2 센서 디바이스에서 수신된 부분 파일을 이용하여 갱신된 딥-러닝 프로그램을 구성하고 저장부에 저장되어 있는 기존 딥-러닝 프로그램을 갱신된 딥-러닝 프로그램으로 대체한다.
상기와 같은 본 발명에 따른 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템은 영상이나 소리 센싱에 기반하여 외부 환경을 모니터링하고 모니터링된 결과를 저속의 IoT 네트워크를 통해 송출할 수 있도록 하는 효과가 있다.
또한, 상기와 같은 본 발명에 따른 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템은 딥-러닝 프로그램을 이용하여 입력되는 영상이나 소리로부터 지정된 목적물만을 인식하고 인식된 목적물에 기초한 결과 데이터를 산출하도록 구성하여 영상이나 소리 데이터에 의한 개인정보 노출을 방지할 수 있도록 하는 효과가 있다.
또한, 상기와 같은 본 발명에 따른 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템은 각각의 센서 디바이스에서 기록된 센싱 데이터를 이용하여 내장된 프로그램을 갱신하고 저속의 IoT 네트워크를 통해 갱신된 내장 프로그램을 센서 디바이스로 재배포할 수 있도록 하는 효과가 있다.
또한, 상기와 같은 본 발명에 따른 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템은 다른 환경 센서와 결합하여 환경 센서의 이벤트에 연동하여 영상이나 소리 데이터를 센싱 및 이벤트에 지정된 목적물을 인식하고 그에 따라 결과 데이터를 산출하여 IoT 네트워크로 송출할 수 있도록 하는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 환경 모니터링 시스템에 구성되는 장치간 연결 구성의 예를 도시한 도면이다.
도 2는 센서 디바이스의 예시적인 블록도를 도시한 도면이다.
도 3은 본 발명에 따른 센서 디바이스를 활용하여 외부 환경을 모니터링하고 그에 따라 프로그램을 갱신할 수 있는 예시적인 제어 흐름을 도시한 도면이다.
도 2는 센서 디바이스의 예시적인 블록도를 도시한 도면이다.
도 3은 본 발명에 따른 센서 디바이스를 활용하여 외부 환경을 모니터링하고 그에 따라 프로그램을 갱신할 수 있는 예시적인 제어 흐름을 도시한 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 환경 모니터링 시스템에 구성되는 장치간 연결 구성의 예를 도시한 도면이다.
도 1의 환경 모니터링 시스템은 소리 및/또는 영상에 기반하여 외부 환경을 모니터링할 수 있도록 구성된다.
도 1을 통해 환경 모니터링 시스템을 살펴보면, 환경 모니터링 시스템은 하나 이상의 센서 디바이스(100), 무선 네트워크(200), 무선 AP(300), 광대역 네트워크(400), 클라우드(Cloud) 서버(500) 및 외부 서버(600)를 포함한다.
센서 디바이스(100)는 센서 디바이스(100) 외부의 환경을 모니터링할 수 있는 디바이스이다. 센서 디바이스(100)는 적어도 소리 센서 및/또는 영상 센서를 구비하여 소리 센서 및/또는 영상 센서를 통해 소리 데이터 및/또는 영상 데이터를 캡쳐링(인식)하고 소리 데이터 및/또는 영상 데이터에서 지정된(설정된) 이벤트나 지정된(설정된) 목적물(타겟)을 인식하고 인식된 이벤트나 목적물에 따라 산출되는 결과 데이터를 무선 네트워크(200)를 통해 송출할 수 있도록 구성된다.
센서 디바이스(100)는 결과 데이터를 산출하기 위한 프로그램을 구비하여 프로그램을 통해 소리 데이터 및/또는 영상 데이터로부터 특정 타겟이나 이벤트를 인식할 수 있도록 구성된다. 이 프로그램은 예를 들어 인공지능 프로그램일 수 있고 예를 들어 딥-러닝 프로그램일 수 있다.
센서 디바이스(100)는 특정 위치에 고정 설치되거나 이동 가능하도록 구성될 수 있다. 센서 디바이스(100)는 IoT 네트워크에 연결될 수 있고 각종 외부 환경을 센싱할 수 있는 IoT 디바이스일 수 있다. 센서 디바이스(100)에 대해서는 도 2 이하에서 상세히 살펴보도록 한다.
무선 네트워크(200)는 고정 설치되거나 이동 가능한 여러 센서 디바이스(100) 사이의 데이터를 무선으로 송수신하기 위한 네트워크이다. 무선 네트워크(200)는 일정한 영역 내의 센서 디바이스(100)를 서로 연결할 수 있다. 무선 네트워크(200)는 수백 미터나 수 킬로미터 영역 범위 내에서 무선 통신이 가능하고 IoT 네트워크로 활용 가능한 LoRa 네트워크이거나 NB-IoT 네트워크일 수 있다. 그 외 무선 네트워크(200)는 센서 네트워크에 활용 가능한 지그비 네트워크이거나 와이파이 등일 수도 있다.
무선 AP(300)(Access Point)는 무선 네트워크(200)와 광대역 네트워크(400)를 연결하기 위한 디바이스이다. 무선 AP(300)는 무선 네트워크(200)를 통해 센서 디바이스(100)로부터 수신된 결과 데이터 등을 광대역 네트워크(400)를 통해 클라우드 서버(500) 등으로 전송할 수 있다. 무선 AP(300)는 클라우드 서버(500)로부터의 각종 데이터를 연결된 무선 네트워크(200)상의 하나 혹은 복수의 센서 디바이스(100)로 전송할 수 있다.
여기서, 무선 네트워크(200)에 연결된 각각의 센서 디바이스(100)는 지정된 동일 외부 환경을 모니터링하기 위해 동일한 프로그램과 구성을 구비할 수 있다. 예를 들어 센서 디바이스(100)는 딥-러닝을 통해 영상이나 소리로부터 특정 이벤트나 특정 목적물을 하나 이상 인식하는 딥-러닝 프로그램을 내장하고 동일한 환경 센서를 구비할 수 있다.
광대역 네트워크(400)는 무선 네트워크(200)가 커버링하는 단일 통신 영역보다 더 넓은 영역에서 데이터를 송수신할 수 있는 네트워크이다. 광대역 네트워크(400)는 예를 들어 이동통신사업자에 의해서 제공되는 이동통신망, 인터넷망 또는 그 조합으로 구성된다.
광대역 네트워크(400)를 통해 서버 등은 각종 데이터를 무선 AP(300)를 통해 센서 디바이스(100)로 전송하고 센서 디바이스(100)로부터 수신할 수 있다.
클라우드 서버(500)는 광대역 네트워크(400)를 통해 다수의 센서 디바이스(100)에 연결되고 다수 센서 디바이스(100) 각각으로부터의 각종 데이터를 처리하고 처리 결과를 출력할 수 있도록 구성된다.
예를 들어, 클라우드 서버(500)는 무선 네트워크(200)의 일 예인 IoT 네트워크를 통해 무선으로 센서 디바이스(100)들 각각으로부터 결과 데이터를 수신하고 결과 데이터를 이용하여 각각의 센서 디바이스(100)에 대한 대응 처리를 수행한다.
예를 들어, 클라우드 서버(500)는 센서 디바이스(100)로부터의 사람 인식 여부, 차량 인식 여부, 인식된 사람수, 인식된 차량수 등(과 인식된 외부 이벤트)을 포함하는 결과 데이터를 이용하여 센서 디바이스(100)의 목적에 따른 특정 이벤트를 인식하고 대응하는 처리(예를 들어 소방청 연락, 경찰청 연락, 차량 통제 등)를 수행한다. 대응 처리는 예를 들어 클라우드 서버(500)가 지정된 외부 서버(600)로 통신 채널을 설정하고 외부 서버(600)로 인식된 이벤트와 센서 디바이스(100)의 위치 정보를 포함하며 특정 액션을 요청하는 데이터를 전송하여 구성될 수 있다.
또한, 클라우드 서버(500)는 무선 네트워크(200)에 연결된 센서 디바이스(100)에서 수행되는 프로그램을 센서 디바이스(100)들로부터 수집된 데이터를 이용하여 갱신하고 갱신된 프로그램을 무선 네트워크(200)를 통해 각각의 센서 디바이스(100)들로 전송할 수 있다.
예를 들어, 클라우드 서버(500)는 센서 디바이스(100)에 구비되고 착탈 가능한 메모리 카드의 센싱 데이터를 관리자 등에 의한 준비와 입력으로 인식하고 여러 센서 디바이스(100)에서의 센싱 데이터, 나아가 결과 데이터,를 추가 학습 데이터로 이용하여 자가 학습하여 센서 디바이스(100)에 내장되는 딥-러닝 프로그램을 갱신한다.
클라우드 서버(500)는 갱신된 딥-러닝 프로그램을 이 딥-러닝 프로그램을 수행하는 여러 센서 디바이스(100)로 무선 네트워크(200)를 통해 전송한다. IoT 네트워크의 전송 속도가 저속임을 감안하여, 클라우드 서버(500)는 갱신된 딥-러닝 프로그램을 여러 부분(여러 패치 파일)으로 나누고 나누어진 부분들을 센서 디바이스(100)들로 서로 다른 시각에 전송한다.
클라우드 서버(500)는 프로그램의 전송의 효율을 위해, 동일 IoT 네트워크의 그룹에 연결된 각각의 센서 디바이스(100)로 갱신된 딥-러닝 프로그램들 중 서로 다른 부분들을 전송하고 각각의 센서 디바이스(100)는 IoT 네트워크에 연결되어 있는 다른 센서 디바이스(100)로부터 다른 부분들을 수신하고 자신이 수신한 부분과 다른 부분들을 이용하여 클라우드 서버(500)에 의해 갱신된 딥-러닝 프로그램을 구성할 수 있다.
센서 디바이스(100)는 동일 무선 네트워크(200) 내의 여러 센서 디바이스(100)에서 수신된 부분들(패치 파일들)을 결합하여 전체 딥-러닝 프로그램을 구성하고 저장부(107)에 저장되어 있는 기존 딥-러닝 프로그램을 갱신된 딥-러닝 프로그램으로 대체할 수 있다.
외부 서버(600)는 광대역 네트워크(400)를 통해 클라우드 서버(500)에 연결되어 특정 액션 요청을 수신하고 해당 액션을 처리한다. 외부 서버(600)는 예를 들어, 경찰청, 소방청, 교통 상황실, 등과 같이 특정 기관에 설치되어 있는 서버일 수 있다.
도 2는 센서 디바이스(100)의 예시적인 블록도를 도시한 도면이다.
도 2에 따르면, 센서 디바이스(100)는 제1 센서부(101), 제2 센서부(103), 통신부(105), 저장부(107), 출력부(109), 전원 공급부(111) 및 제어부(113)를 포함한다. 설계예에 따라 센서 디바이스(100)는 도 2의 특정 구성요소를 생략할 수 있고 도시되지 않은 다른 구성요소를 더 포함할 수도 있다.
도 2를 통해 센서 디바이스(100)를 상세히 살펴보면, 제1 센서부(101)는 영상 센서, 소리 센서 또는 영상 센서 및 소리 센서를 포함하여 포함된 영상 센서 및/또는 소리 센서로부터의 영상 이미지 및/또는 소리를 인식(캡쳐링)하고 인식된 영상 데이터 및/또는 소리 데이터를 출력한다.
영상 센서는 예를 들어 카메라 센서일 수 있고 CCD 센서, CMOS 센서 등 일 수 있다. 소리 센서는 진동 신호를 전기 신호로 변환하는 마이크를 포함한다. 제1 센서부(101)는 영상 센서에서 출력되는 이미지 신호를 디지털 신호로 변환하기 위한 로직(칩셋)과 마이크로부터의 전기 신호를 디지털 신호로 변환하기 위한 오디오 ADC(또는 CODEC)를 더 포함할 수 있다.
제1 센서부(101)는 전원 공급부(111)로부터 지정된 전압 레벨의 전원을 공급받아 영상 데이터 및/또는 소리 데이터를 출력할 수 있고 전원 공급이 차단되는 경우 영상이나 소리 데이터의 캡쳐링은 중단된다.
제2 센서부(103)는 센서 디바이스(100) 외부에서 지정된 특정 환경 데이터를 센싱한다. 제2 센서부(103)는 하나 이상의 환경 센서를 포함하여 각종 환경 데이터를 센싱할 수 있다. 환경 센서는 예를 들어 적외선 센서, 공기질 측정 센서, 방사능 센서, 전자파 센서, 화재 감지 센서 등을 포함할 수 있다.
환경 센서는 특정 이벤트의 발생을 모니터링할 수 있도록 하고 예를 들어 외부로부터의 무단 침입, 환경 오염, 화재 감지, 사람의 존재 여부 탐지 등 다양한 이벤트를 모니터링할 수 있다.
환경 센서는 제1 센서부(101)의 영상 센서 및 소리 센서와는 다른 구성을 가지고 지정된 특정 환경 데이터를 센싱하고 센싱된 데이터를 출력할 수 있다.
통신부(105)는 무선 네트워크(200)를 통해 데이터를 송수신한다. 통신부(105)는 무선 네트워크(200)의 무선 통신 기술을 적용하기 위한 안테나 및 통신 칩셋( 모듈)을 구비하여 공기 중으로부터 무선 패킷을 인식하거나 공기 중으로 무선 패킷을 송출할 수 있다.
예를 들어, 통신부(105)는 LoRa 네트워크(통신) 기술을 이용하기 위한 무선 안테나 및 칩셋을 구비하여 LoRa 표준에 따른 각종 무선 패킷을 송수신할 수 있다. 또는, 통신부(105)는 NB-IoT 네트워크(통신) 기술을 이용하기 위한 무선 안테나 및 칩셋을 구비하여 NB-IoT 표준에 따른 각종 무선 패킷을 송수신할 수 있다.
저장부(107)는 휘발성 메모리, 비휘발성 메모리, 및/또는 착탈 가능한 메모리 카드를 포함하여 각종 데이터와 프로그램을 저장한다.
예를 들어, 저장부(107)는 비휘발성 메모리에 센서 디바이스(100)를 통괄 제어하기 위한 제어 프로그램, 제2 센서부(103)를 통한 센싱 데이터로부터 특정 이벤트를 인식하기 위한 감지 프로그램, 제1 센서부(101)를 통한 센싱 데이터를 처리하기 위한 처리 프로그램, 저장부(107)에 저장되어 있는 프로그램을 업데이트하기 위한 갱신 프로그램 등을 저장한다.
제어 프로그램은 센서 디바이스(100)를 전체적으로 제어하며 다른 프로그램의 구동과 종료를 제어할 수 있다. 감지 프로그램은 제2 센서부(103)의 환경 센서의 유형에 따라 지정된 특정 외부 이벤트를 감지할 수 있다. 예를 들어 감지 프로그램은 무단 침입, 환경 오염 이상, 사고 발생, 독성 물질의 배출, 화재 발생 등의 이벤트를 환경 센서의 센싱 값을 이용하여 인식할 수 있도록 구성된다. 감지 프로그램은 일반 프로그래밍 기법으로 구성될 수 있고 설계 예에 따라 딥-러닝 프로그램으로 구성될 수도 있다.
처리 프로그램은 제1 센서부(101)의 센싱 데이터를 처리하여 지정된 결과값을 산출할 수 있도록 구성된다. 예를 들어, 처리 프로그램은 설정된 목적물(사람, 사람의 얼굴, 차량, 차량 번호, 특정 곤충)을 인식하고 목적물의 인식 여부, 인식시 그 수 등에 따라 결과 데이터를 생성하는 딥-러닝 프로그램을 포함할 수 있다.
딥-러닝 프로그램은 제1 센서부(101)의 영상 데이터 나아가 소리 데이터를 입력으로 받아 다층 구조의 노드(신경망)를 통해 인식 결과를 산출할 수 있다. 본 발명에 따른, 딥-러닝 프로그램은 특정 목적물을 인식할 수 있도록 구성된다. 예를 들어, 딥-러닝 프로그램은 영상 데이터에서(보조적으로 소리 데이터를 더 활용하여) 사람을 인식하거나 특정 곤충, 특정 동물을 인식하거나 차량 등을 인식할 수 있다.
본 발명에 따른, 딥-러닝 프로그램은 특정 목적물의 인식을 위해 최적화될 수 있고 신경망의 계층 구조를 단순화(예를 들어 5층 이하의 중간층 노드를 가지도록 수정 가능함) 시킬 수 있다.
갱신 프로그램은 저장부(107)에 저장되어 있는 하나 이상의 프로그램을 갱신할 수 있도록 한다. 갱신 프로그램은 제어 프로그램에 의해 구동될 수 있고 OTA(Over-The-Air) 기법을 통해 특정 프로그램을 갱신할 수 있다. 예를 들어, 갱신 프로그램은 처리 프로그램의 갱신된 딥-러닝 프로그램을 통신부(105)를 통해 무선 네트워크(200)로부터(예를 들어 클라우드 서버(500)로부터) 수신하고 저장부(107)의 기존 딥-러닝 프로그램을 대체할 수 있다.
저장부(107)에 저장되는 각각의 프로그램들은 알려진 다양한 프로그래밍 기법을 통해 서로 연동할 수 있도록 구성된다.
저장부(107)는 착탈 가능한 메모리 카드(예를 들어 SD 카드)를 포함하는 데, 메모리 카드는 제1 센서부(101)의 영상 센서 및/또는 소리 센서를 통해 수신되는 센싱 데이터(영상 데이터 및/또는 소리 데이터), 나아가 결과 데이터,를 저장한다.
저장된 센싱 데이터는 오프라인을 통해 클라우드 서버(500)에 제공된다. 클라우드 서버(500)는 여러 센서 디바이스(100)로부터 제공된 센싱 데이터들을 학습 데이터로 이용하여 기존 딥-러닝 프로그램을 업데이트하는 데 이용된다.
출력부(109)는 스피커, 부저, 사이렌, LED 등을 구비하여 제어부(113)로부터의 신호를 출력한다. 예를 들어, 출력부(109)는 제어부(113)로부터의 경고 신호를 수신하고 이를 스피커, 부저, 사이렌 등을 통해 소리로 출력하거나 LED 등을 통해 광으로 출력할 수 있다.
전원 공급부(111)는 전원 소스(예를 들어, 리튬이온 배터리, 건전지, AC 전원 등)를 구비하여 전원 소스로부터 제1 센서부(101), 제2 센서부(103), 저장부(107), 통신부(105), 출력부(109) 및 제어부(113)에서 이용될 하나 이상의 전원을 생성하고 생성된 전원을 제1 센서부(101), 제2 센서부(103), 저장부(107), 통신부(105), 출력부(109) 및 제어부(113)로 공급한다.
예를 들어, 전원 공급부(111)는 하나 이상의 전압 레귤레이터를 포함하여 각 구성요소가 필요한 지정된 전압 레벨(3.3V, 5V, 12V 등)에 대응하는 전원을 전원 소스로부터 생성하고 생성된 전원을 대응하는 구성요소로 출력할 수 있다.
전원 공급부(111)는 특정 구성요소로의 전원 공급을 제어할 수 있도록 구성된다. 전원 공급부(111)는 전원의 공급/차단을 제어할 수 있는 전원 스위치(릴레이)를 구비하여 특정 구성요소로의 전원 공급을 제어할 수 있다. 예를 들어, 전원 공급부(111)는 제1 센서부(101)(의 영상 센서 및/또는 소리 센서)에 지정된 전압 레벨을 공급 및 차단하기 위한 전원 스위치를 구비하고 제어부(113)에서의 제어 신호에 따라 제1 센서부(101)(의 영상 센서 및/또는 소리 센서)로 지정된 전압 레벨의 전원을 공급하거나 차단할 수 있다.
제1 센서부(101)가 영상 센서 및 소리 센서를 모두 포함하는 경우에, 전원 공급부(111)는 영상 센서와 소리 센서를 개별적으로 전원 제어하기 위한 전원 스위치를 각각 포함하여 제어부(113)로부터의 제어 신호에 따라 각 센서로의 전원 공급을 제어할 수 있다.
제어부(113)는 프로그램의 명령어를 실행할 수 있는 실행 유닛(Execution Unit)을 하나 이상 포함하여 저장부(107)에 저장되어 있는 하나 이상의 프로그램을 이용하여 센서 디바이스(100)를 제어한다. 제어부(113)는 프로세서, 마이컴, CPU, MPU, 중앙처리장치 등으로 지칭되거나 이를 포함할 수 있다.
예를 들어, 제어부(113)는 저장부(107)의 하나 이상의 프로그램을 수행하여 제1 센서부(101)로부터의 센싱 데이터를 처리하여 결과 데이터를 생성하고 생성된 결과 데이터를 통신부(105)를 통해 클라우드 서버(500)로 송출한다.
제어부(113)는 제어 프로그램을 로딩하여 다른 프로그램들을 구동하거나 제어할 수 있고 처리 프로그램(딥-러닝 프로그램), 감지 프로그램, 갱신 프로그램 등을 통해 외부 환경을 모니터링하고 외부 환경의 모니터링에 이용되는 프로그램을 갱신할 수 있다.
또한, 제어부(113)는 제어 프로그램을 통해 전원 공급부(111)를 제어한다. 예를 들어, 제어 프로그램은 제1 센서부(101)(의 영상 센서)로의 지정 전압 레벨의 전원을 공급하거나 차단할 수 있는 전원 스위치를 제어하기 위한 제어 신호를 출력하고 그에 따라 제1 센서부(101)(의 영상 센서)를 구동하고 센싱 데이터(영상 데이터)를 수신할 수 있다.
제어부(113)에서 이루어지는 예시적인 제어 흐름은 도 3에서 좀 더 상세히 살펴보도록 한다.
도 3은 본 발명에 따른 센서 디바이스(100)를 활용하여 외부 환경을 모니터링하고 그에 따라 프로그램을 갱신할 수 있는 예시적인 제어 흐름을 도시한 도면이다.
본 발명에 따른, 환경 모니터링 시스템은 다양한 응용예에 활용될 수 있다. 예를 들어, 환경 모니터링 시스템은 외부 침입 감지(1인 가구나 화장실 등), 실내 환경(예를 들어 교실) 모니터링, 출입 모니터링(내방객 수 등), 교통 환경 분석, 주차장 모니터링, 사고 모니터링, 소음이나 공기질 모니터링, 화재 감지, 위험 감지 등을 수행할 수 있는 시스템이다.
환경 모니터링 시스템의 센서 디바이스(100)는 적어도 제1 센서부(101)를 구비하여 영상 및/또는 소리 데이터를 이용하여 특정 목적물을 인식하고 대응하는 액션이나 처리를 수행할 수 있도록 구성된다.
환경 모니터링 시스템의 센서 디바이스(100)는 응용 예에 따라 특정 환경 센서를 구비하여 응용 예에 특화된 이벤트 등을 인식할 수 있도록 구성된다. 또한, 센서 디바이스(100)는 응용 예에 특화된 프로그램을 구비하고 바람직하게는 응용 예에서 목적물(사람, 동물, 곤충 등) 인식에 이용되고 최적화된 딥-러닝 프로그램을 구비한다.
여기서, 도 3의 제어 흐름의 특정 과정은 응용 예 등에 따라 생략될 수 있다. 예를 들어 단계 S10이나 S20 등은 응용 예에 따라 생략될 수 있다.
도 3을 통해 그 제어 흐름을 살펴보면, 센서 디바이스(100)(제어부(113))는 감지 프로그램 등을 통해 외부 이벤트를 인식(S10)한다.
예를 들어 감지 프로그램을 수행하는 센서 디바이스(100)(제어부(113))는 제2 센서부(103)로부터 센싱 데이터를 수신하고 수신된 센싱 데이터의 값에 따라 지정된 외부 이벤트의 발생을 인식할 수 있다. 센서 디바이스(100)(제어부(113))는 제2 센서부(103)으로부터 수신된 환경 데이터와 임계치와의 비교로 특정 이벤트(외부 침입, 부재중, 공기 오염, 화재 발생, 위험 감지 등)를 인식할 수 있다.
또는, 감지 프로그램이나 딥-러닝 프로그램을 수행하는 센서 디바이스(100)(제어부(113))는 제1 센서부(101)의 소리 센서로부터 소리 데이터를 수신하고 지정된 외부 이벤트의 발생을 인식할 수 있다. 센서 디바이스(100)(제어부(113))는 소리 데이터를 주파수 변환 등을 통해 특징(feature) 데이터로 변환하고 변환된 특징 데이터와 기존 이벤트에 대응하는 특징 데이터를 비교하여 외부 이벤트의 발생 여부를 결정할 수 있다. 예를 들어 센서 디바이스(100)(제어부(113))는 비명이나 고음 등의 이벤트 발생을 인식할 수 있다.
센서 디바이스(100)(제어부(113))가 외부 이벤트의 인식을 위해 소리 센서만을 활용하는 경우에, 제2 센서부(103)는 센서 디바이스(100)에서 생략될 수 있다. 또한, S10의 과정과 후속 S20의 과정은 설경 변형에 따라 생략될 수도 있다.
센서 디바이스(100)(제어부(113))가 외부 이벤트를 인식하지 못한 경우, S20 이후의 과정이 수행되기 전에 S10 과정은 반복적으로 수행되어 센서 디바이스(100)(제어부(113))가 외부 이벤트의 인식을 지속적으로 시도할 수 있다.
센서 디바이스(100)(제어부(113))는 제어 프로그램을 통해 외부 이벤트의 인식에 따라 제1 센서부(101)를 구동(S20)한다. 예를 들어, 제1 센서부(101)(의 영상 센서)에 전원을 차단하고 있는 센서 디바이스(100)(제어부(113))는 제1 센서부(101)(의 영상 센서)에 전원을 공급하기 위한 제어 신호를 생성하고 생성된 제어 신호를 전원 공급부(111)로 출력한다.
전원 공급을 위한 제어 신호의 수신에 따라, 전원 공급부(111)는 제1 센서부(101)(의 영상 센서)에 연결되어 전원을 공급하거나 차단하도록 구성된 전원 스위치에 수신된 제어 신호에 대응하는 신호를 인가하여 지정된 전압 레벨에 대응하는 전원을 제1 센서부(101)(의 영상 센서)로 공급한다.
전원이 공급됨에 따라, 제1 센서부(101)(의 영상 센서)는 구동 시작하고 영상 센서로부터의 영상 데이터 및/또는 소리 센서로부터의 소리 데이터를 포함하는 센싱 데이터를 제어부(113)로 출력한다.
센서 디바이스(100)(제어부(113))는 수신된 센싱 데이터를 이용하여 지정된 목적물을 인식하는 한편, 영상 데이터 및/또는 소리 데이터를 포함하는 센싱 데이터를 저장 시각(시작 시각 및 종료 시각)에 맵핑시켜 저장부(107)의 착탈 가능한 메모리 카드에 제어 프로그램 등을 통해 저장(S30)한다. 바람직하게는 센서 디바이스(100)(제어부(113))는 외부 이벤트를 인식하는 경우에 해당 영상 데이터 및 소리 데이터를 메모리 카드에 저장할 수 있다.
센서 디바이스(100)(제어부(113))는 제어 프로그램 등에 의해 구동되는 딥-러닝 프로그램을 통해 특정 외부 이벤트에 맵핑되어 있는 특정 목적물을 센싱 데이터(영상 데이터, 나아가 소리 데이터)에서 인식하고 목적물의 인식에 따른 결과 데이터를 생성하고 생성된 결과 데이터를 무선 네트워크(200)를 통해 클라우드 서버(500)로 전송(S40)한다.
구체적으로, 센서 디바이스(100)(제어부(113))는 특정 외부 이벤트의 발생에 따라 인식될 목적물을 맵핑하도록 구성된다. 예를 들어 침입 이벤트, 공기 오염 이벤트, 화재 발생, 위험 발생 등의 경우에 사람이나 사람 얼굴을 목적물(타겟)로 하여 해당 목적물을 인식하거나 차량 사고가 발생한 경우에 차량 및/또는 사람을 인식하거나 환경 보호나 관리 등을 위한 경우 특정 곤충을 인식하도록 딥-러닝 프로그램이 구성된다. 이와 같이 구비된 환경 센서와 발생 이벤트에 따라 특정 목적물이 맵핑되어 딥-러닝 프로그램이 해당 목적물을 인식하도록 구성된다.
센서 디바이스(100)(제어부(113))는 딥-러닝 프로그램의 구동을 통해 영상 센서로부터의 영상 데이터(나아가 소리 데이터)를 입력으로 하여 지정된 목적물을 인식하고 지정된 목적물의 인식에 따른(기초한) 결과 데이터를 생성한다.
예를 들어, 센서 디바이스(100)(제어부(113))는 딥-러닝 프로그램과 제어 프로그램을 통해 목적물의 인식 여부, 인식된 목적물의 수 등과 인식 시각과 나아 인식된 외부 이벤트 데이터를 포함하는 결과 데이터를 생성하고 이를 통신부(105)를 통해 클라우드 서버(500)로 송출한다.
클라우드 서버(500)는 수신된 결과 데이터에 따라 외부 서버(600)와 연동하여 대응하는 처리나 액션을 수행할 수 있다. 예를 들어, 클라우드 서버(600)는 특정 외부 이벤트가 발생하고 나아가 해당 이벤트에서 사람 등이 인식되는 경우, 소방청, 경찰청 등의 외부 서버(600)로 사고 발생, 화재 발생, 환경 오염 발생, 비상 상황 등의 이벤트 데이터와 함께 사람 등의 존재 여부와 사람의 수 등을 나타내는 데이터를 전송하여 필요한 대응 액션을 수행하도록 요청할 수 있다.
또한, 센서 디바이스(100)(제어부(113))는 결과 데이터를 메모리 카드에 저장중에 있는 센싱 데이터(영상 데이터 및/또는 소리 데이터)에 맵핑시켜 메모리 카드에 저장한다.
한편, 클라우드 서버(500)는 추가적인 학습 데이터를 이용하여 딥-러닝 프로그램을 갱신(S50)한다.
본 발명에 따른 환경 모니터링 시스템의 관리자 등은 동일 환경을 모니터링하는 여러 센서 디바이스(100)의 메모리 카드를 센서 디바이스(100)로부터 분리하고 메모리 카드의 센싱 데이터(와 대응 결과 데이터)를 딥-러닝 프로그램을 갱신할 때 이용되는 학습 데이터로 클라우드 서버(500)에 제공할 수 있다.
클라우드 서버(500)는 딥-러닝 프로그램의 갱신에 이용될 수 있는 여러 센서 디바이스(100)로부터의 센싱 데이터(와 대응 결과 데이터)를 학습 데이터로 이용하여 기존 딥-러닝 프로그램을 갱신한다.
이후, 클라우드 서버(500)는 갱신된 딥-러닝 프로그램을 무선 네트워크(200)(예를 들어, LoRa 네트워크나 NB-IoT 네트워크)를 통해 OTA 표준에 따라 여러 센서 디바이스(100)로 배포(S60)한다.
무선 네트워크(200)의 속도와 각 센서 디바이스(100)의 무선 네트워크(200)로의 접속 기회의 제한 사항을 고려하여, 클라우드 서버(500)는 갱신된 딥-러닝 프로그램을 여러 부분(패치 파일들)으로 분리하고 분리된 부분들을 센서 디바이스(100)에서 다른 시각에 수신될 수 있도록 한다.
예를 들어, 클라우드 서버(500)는 여러 부분을 단일 센서 디바이스(100)로 다른 시각에 순차적으로 무선 네트워크(200)를 통해 전송할 수 있다. 단일 센서 디바이스(100)(의 제어부(113))는 갱신 프로그램을 통해 다른 시각에 수신된 부분들을 조합하여 갱신된 딥-러닝 프로그램을 구성할 수 있다.
또는, 클라우드 서버(500)는 무선 네트워크(200)의 그룹(하나의 무선 AP(300)에 연결되어 있는 센서 디바이스(100)들의 그룹)의 센서 디바이스(100)들 각각으로 서로 다른 부분들을 무선 네트워크(200)의 무선 AP(300)를 통해 전송한다.
무선 네트워크(200)의 그룹 내의 각각의 센서 디바이스(100)들은 가지고 부분들을 무선 네트워크(200) 그룹 내의 다른 센서 디바이스(100)로 서로 송수신하고 센서 디바이스(100)들(의 제어부(113)) 각각은 갱신 프로그램을 통해 부분들을 조합하여 갱신된 딥-러닝 프로그램을 구성 할 수 있다.
이후, 센서 디바이스(100)(의 제어부(113))는 갱신 프로그램을 통해 저장부(107)의 기존 딥-러닝 프로그램을 갱신된 딥-러닝 프로그램으로 대체(S70)하고 갱신된 딥-러닝 프로그램을 이용하여 외부 이벤트를 다시 모니터링하고 그에 따라 영상 데이터나 소리 데이터로부터 결과 데이터를 생성하여 클라우드 서버(500)로 전송(S10 내지 S40 참조)한다.
센서 디바이스(100)(의 제어부(113))는 다양한 방식으로 기존 딥-러닝 프로그램을 신규로 갱신된 딥-러닝 프로그램으로 대체할 수 있다. 한 예로, 센서 디바이스(100)(의 제어부(113))는 대체전 기존 딥-러닝 프로그램의 비휘발성 메모리 영역을 프리(free) 메모리 영역으로 할당하고 신규 갱신된 딥-러닝 프로그램의 비휘발성 메모리 영역의 시작 주소와 그 사이즈를 제어 프로그램에 설정하여 이후 갱신된 딥-러닝 프로그램이 수행될 수 있도록 한다.
이와 같이, 센서 디바이스(100)(의 제어부(113))는 클라우드 서버(500)나 무선 AP(300)와의 약속된 포맷에 따라 서로 다른 시각에 무선 네트워크(200)를 통해 수신된 부분들(패치파일들)을 하나의 딥-러닝 프로그램을 완성하고 완성된 후에 기존 딥-러닝 프로그램을 대체할 수 있도록 구성된다. 딥-러닝 프로그램의 대체는 딥-러닝 프로그램이 실행 중인 상태에서 이루어지거나 딥-러닝 프로그램이 구동 종료 상태에서 이루어질 수 있도 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 센서 디바이스
101 : 제1 센서부
103 : 제2 센서부
105 : 통신부
107 : 저장부
109 : 출력부
111 : 전원 공급부
113 : 제어부
200 : 무선 네트워크
300 : 무선 AP
400 : 광대역 네트워크
500 : 클라우드 서버
600 : 외부 서버
101 : 제1 센서부
103 : 제2 센서부
105 : 통신부
107 : 저장부
109 : 출력부
111 : 전원 공급부
113 : 제어부
200 : 무선 네트워크
300 : 무선 AP
400 : 광대역 네트워크
500 : 클라우드 서버
600 : 외부 서버
Claims (10)
- 영상 센서, 소리 센서 또는 영상 센서와 소리 센서를 포함하는 제1 센서부;
무선 네트워크를 통해 데이터를 송수신하는 통신부;
상기 제1 센서부로부터의 센싱 데이터를 처리하는 하나 이상의 프로그램을 저장하는 저장부; 및
상기 하나 이상의 프로그램을 수행하여 상기 제1 센서부로부터의 센싱 데이터를 처리하여 결과 데이터를 생성하고 생성된 결과 데이터를 상기 통신부를 통해 송출하는 제어부;를 포함하는,
센서 디바이스. - 제1항에 있어서,
상기 무선 네트워크는 LoRa 네트워크이거나 NB-IoT 네트워크이고,
상기 하나 이상의 프로그램은 설정된 목적물을 인식하고 목적물의 인식에 따라 상기 결과 데이터를 생성할 수 있는 딥-러닝 프로그램을 포함하는,
센서 디바이스. - 제1항에 있어서,
상기 영상 센서 및 상기 소리 센서와 상이한 환경 센서를 하나 이상 포함하는 제2 센서부;를 더 포함하고,
상기 제어부는 상기 제2 센서부로부터의 센싱 데이터에서 외부 이벤트를 인식하고 상기 외부 이벤트를 인식하는 경우에 상기 제1 센서부를 구동하여 상기 외부 이벤트에 맵핑된 목적물을 인식하고 목적물의 인식에 따른 결과 데이터를 생성하는,
센서 디바이스. - 제3항에 있어서,
상기 제1 센서부, 상기 제2 센서부, 상기 통신부, 상기 저장부 및 상기 제어부에 지정된 전압 레벨에 대응하는 전원을 공급하고 상기 제1 센서부의 전원 공급을 제어할 수 있는 전원 공급부;를 더 포함하고,
상기 전원 공급부를 통해 상기 제1 센서부로의 전원 공급을 차단하고 있는 상기 제어부는 상기 제2 센서부를 통해 상기 외부 이벤트를 인식하는 경우에 상기 전원 공급부를 통해 상기 제1 센서부에 지정된 전압 레벨에 대응하는 전원을 공급하여 상기 제1 센서부를 구동하고 상기 제1 센서부로부터의 센싱 데이터에서 상기 외부 이벤트에 맵핑된 목적물을 인식하고 목적물의 인식에 따른 결과 데이터를 생성하는,
센서 디바이스. - 제1항에 있어서,
상기 제1 센서부는 영상 센서 및 소리 센서를 포함하고,
상기 센서 디바이스는 상기 영상 센서 및 상기 소리 센서에 지정된 전압 레벨에 대응하는 전원을 공급하고 상기 영상 센서의 전원 공급을 제어할 수 있는 전원 공급부;를 더 포함하며,
상기 제어부는 상기 소리 센서로부터의 소리 데이터에서 지정된 외부 이벤트를 인식하는 경우에 상기 전원 공급부를 통해 상기 영상 센서에 전원을 공급하고 상기 영상 센서로부터의 영상 데이터를 처리하여 지정된 목적물을 인식하고 지정된 목적물의 인식에 따른 결과 데이터를 생성하여 상기 통신부를 통해 송출하는,
센서 디바이스. - 제2항에 있어서,
상기 하나 이상의 프로그램은 상기 딥-러닝 프로그램을 업데이트하기 위한 갱신 프로그램을 더 포함하고,
상기 갱신 프로그램을 수행하는 제어부는 상기 LoRa 네트워크 또는 NB-IoT 네트워크를 통해 복수의 센서 디바이스에 의해 수집된 센싱 데이터에 의한 추가 학습으로 갱신된 딥-러닝 프로그램의 부분들을 서로 다른 시각에 수신하고 상기 부분들을 조합하여 상기 저장부의 딥-러닝 프로그램을 대체하는,
센서 디바이스. - 제3항 또는 제5항에 있어서,
상기 저장부는 착탈 가능한 메모리 카드를 포함하고,
상기 외부 이벤트를 인식한 상기 제어부는 상기 외부 이벤트의 인식에 따라 상기 제1 센서부에 포함되는 영상 센서 및 소리 센서를 통해 수신되는 센싱 데이터를 상기 메모리 카드에 저장하고,
상기 메모리 카드에 저장되는 상기 센싱 데이터는 클라우드 서버에 의한 추가 학습을 통해 상기 하나 이상의 프로그램에 포함되는 딥-러닝 프로그램의 갱신에 이용되는,
센서 디바이스. - 제1항의, 제1 센서 디바이스; 및 제2 센서 디바이스;를 포함하는, 환경 모니터링 시스템.
- 제8항에 있어서,
IoT 네트워크를 통해 무선으로 상기 제1 센서 디바이스 및 상기 제2 센서 디바이스로부터 결과 데이터를 수신하고 각각의 센서 디바이스에 대한 대응 처리를 수행하는 클라우드 서버;를 더 포함하는,
환경 모니터링 시스템. - 제9항에 있어서,
상기 클라우드 서버는 제1 센서 디바이스 및 제2 센서 디바이스에서 수집된 오프라인 센싱 데이터를 추가 학습 데이터로 이용하여 상기 제1 센서 디바이스 및 상기 제2 센서 디바이스에서 수행되는 딥-러닝 프로그램을 갱신하고 갱신된 딥-러닝 프로그램의 부분 파일들을 상기 제1 센서 디바이스 및 상기 제2 센서 디바이스로 전송하고,
상기 제1 센서 디바이스는 상기 제1 센서 디바이스에서 수신된 부분 파일과 상기 제2 센서 디바이스에서 수신된 부분 파일을 이용하여 상기 갱신된 딥-러닝 프로그램을 구성하고 저장부에 저장되어 있는 기존 딥-러닝 프로그램을 갱신된 딥-러닝 프로그램으로 대체하는,
환경 모니터링 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170140896A KR102029751B1 (ko) | 2017-10-27 | 2017-10-27 | 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170140896A KR102029751B1 (ko) | 2017-10-27 | 2017-10-27 | 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190047246A true KR20190047246A (ko) | 2019-05-08 |
| KR102029751B1 KR102029751B1 (ko) | 2019-10-08 |
Family
ID=66580087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170140896A KR102029751B1 (ko) | 2017-10-27 | 2017-10-27 | 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102029751B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190371087A1 (en) * | 2019-06-10 | 2019-12-05 | Lg Electronics Inc. | Vehicle device equipped with artificial intelligence, methods for collecting learning data and system for improving performance of artificial intelligence |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220022942A (ko) | 2020-08-19 | 2022-03-02 | 인포뱅크 주식회사 | 자율주행차량의 외부의 위험상황 처리 장치 및 방법 |
| KR102597045B1 (ko) | 2020-12-16 | 2023-11-02 | 주식회사 콕스랩 | LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140069739A (ko) * | 2012-11-29 | 2014-06-10 | (주)아이티에스뱅크 | 보행자친화형 안전 알림장치 및 방법 |
| KR20170004493A (ko) * | 2015-07-02 | 2017-01-11 | 주식회사 스마트올웨이즈온 | Ir 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 방법 및 장치 |
| KR20170095082A (ko) * | 2016-02-12 | 2017-08-22 | 한국기술교육대학교 산학협력단 | 사물 인터넷 학습을 위한 실습 디바이스 및 그 방법 |
-
2017
- 2017-10-27 KR KR1020170140896A patent/KR102029751B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140069739A (ko) * | 2012-11-29 | 2014-06-10 | (주)아이티에스뱅크 | 보행자친화형 안전 알림장치 및 방법 |
| KR20170004493A (ko) * | 2015-07-02 | 2017-01-11 | 주식회사 스마트올웨이즈온 | Ir 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 방법 및 장치 |
| KR20170095082A (ko) * | 2016-02-12 | 2017-08-22 | 한국기술교육대학교 산학협력단 | 사물 인터넷 학습을 위한 실습 디바이스 및 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190371087A1 (en) * | 2019-06-10 | 2019-12-05 | Lg Electronics Inc. | Vehicle device equipped with artificial intelligence, methods for collecting learning data and system for improving performance of artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102029751B1 (ko) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489649B2 (en) | Drone data locker system | |
| KR102414902B1 (ko) | 카메라 설치 환경 및 목적에 따른 영상 데이터 분석을 위한 추천 인공지능 모델 제공방법 | |
| US20150287295A1 (en) | Smart Emergency Exit Signs | |
| KR20190047246A (ko) | 소리 또는 영상에 기반하여 외부 환경을 모니터링할 수 있는 센서 디바이스 및 이를 포함하는 환경 모니터링 시스템 | |
| KR20170018807A (ko) | 스마트 비상구 표시들 | |
| CN107277443B (zh) | 一种大范围周边安全监控方法和系统 | |
| US8365871B2 (en) | Electronic device and method for monitoring an elevator | |
| CN108234926A (zh) | 一种人员行为识别分析系统 | |
| CN105955212A (zh) | 智能家居平台及基于智能家居平台的家居环境监控方法 | |
| CN109920192A (zh) | 火灾报警方法、系统及计算机可读存储介质 | |
| KR102315698B1 (ko) | 인공지능을 이용한 영상 데이터 샘플링 방법, 장치 및 컴퓨터프로그램 | |
| KR102231183B1 (ko) | IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템 | |
| CN106546703A (zh) | 大气质量监测系统、方法及装置 | |
| KR101483614B1 (ko) | 모션감지를 이용한 실외 방범 장치 | |
| US20160240057A1 (en) | System and method for providing alerts regarding occupancy conditions | |
| KR20110038208A (ko) | 스마트센서시스템에서 상황인지 기반 정보처리 방법 | |
| KR20220000493A (ko) | 인공지능 모듈 플랫폼 서비스 제공 방법 | |
| CN108416953B (zh) | 一种智能光纤周界报警系统 | |
| KR102415461B1 (ko) | 상황 검출 및 알림이 가능한 인공지능 카메라 및 모니터링 시스템 | |
| KR20200010642A (ko) | 위치 추적 방법 및 위치 추적 시스템 | |
| KR20160135138A (ko) | 복수의 장소에 설치된 음성 분석 모듈을 이용하는 확장형 감시 장비 | |
| KR20200072896A (ko) | 케어 대상자 모니터링 장치 및 이를 이용한 케어 대상자 관리 방법 | |
| KR20230079913A (ko) | 인공지능 기반의 영상분석을 통하여 안전사고 예방경고 기능을 수행할 수 있는 스마트폴 | |
| KR101806552B1 (ko) | 도난 방지용 네트워크 카메라 | |
| KR102567890B1 (ko) | 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |