KR20230107440A - System for artificial intelligence of things - Google Patents

System for artificial intelligence of things Download PDF

Info

Publication number
KR20230107440A
KR20230107440A KR1020220002763A KR20220002763A KR20230107440A KR 20230107440 A KR20230107440 A KR 20230107440A KR 1020220002763 A KR1020220002763 A KR 1020220002763A KR 20220002763 A KR20220002763 A KR 20220002763A KR 20230107440 A KR20230107440 A KR 20230107440A
Authority
KR
South Korea
Prior art keywords
iot
image
sensor device
artificial intelligence
compressed
Prior art date
Application number
KR1020220002763A
Other languages
Korean (ko)
Other versions
KR102586652B1 (en
Inventor
서정욱
권혜민
강민구
김민준
Original Assignee
한신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한신대학교 산학협력단 filed Critical 한신대학교 산학협력단
Priority to KR1020220002763A priority Critical patent/KR102586652B1/en
Publication of KR20230107440A publication Critical patent/KR20230107440A/en
Application granted granted Critical
Publication of KR102586652B1 publication Critical patent/KR102586652B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사물 인공지능 시스템에 관한 것으로, 객체감지와 같은 인공지능 서비스를 제공하기 위해서 IoT 센서 디바이스는 IoT 네트워크의 심각한 과부하를 필연적으로 초래하는 이미지, 비디오와 같은 대용량의 데이터를 송신할 수 있어야 하는 문제를 해결하여, IoT 네트워크의 전체 트래픽을 줄이고도 객체감지가 가능한 oneM2M 호환 사물 인공지능 시스템을 제시하고자 한다.The present invention relates to an artificial intelligence system for things, and in order to provide artificial intelligence services such as object detection, an IoT sensor device must be able to transmit large amounts of data such as images and videos that inevitably cause serious overload of the IoT network. By solving the problem, we would like to propose a oneM2M compatible AI system that can detect objects even while reducing the total traffic of the IoT network.

Description

사물 인공지능 시스템{SYSTEM FOR ARTIFICIAL INTELLIGENCE OF THINGS}Artificial intelligence system of things {SYSTEM FOR ARTIFICIAL INTELLIGENCE OF THINGS}

본 발명은 사물 인공지능 시스템에 관한 것으로, 더욱 상세하게는 객체감지와 같은 인공지능 서비스를 제공하기 위해서 IoT 센서 디바이스는 IoT 네트워크의 심각한 과부하를 필연적으로 초래하는 이미지, 비디오와 같은 대용량의 데이터를 송신할 수 있어야 하는 문제를 해결하여, IoT 네트워크의 전체 트래픽을 줄이고도 객체감지가 가능한 oneM2M 호환 사물 인공지능 시스템을 제시하고자 한다.The present invention relates to an artificial intelligence system for things, and more particularly, in order to provide artificial intelligence services such as object detection, an IoT sensor device transmits large amounts of data such as images and videos that inevitably cause serious overload of an IoT network. By solving the problem that should be possible, we would like to present a oneM2M compatible AI system that can detect objects even while reducing the total traffic of the IoT network.

사물 인터넷(IoT, Internet of Things)은 표준 및 상호 운용 가능한 통신 프로토콜을 기반으로 자체 구성 능력을 갖춘 동적 글로벌 네트워크 인프라로, 물리적 사물과 가상 사물이 고유한 ID와 속성을 가지며 다양한 유무선 인터페이스를 통해 IoT 네트워크에 통합된다.The Internet of Things (IoT) is a dynamic global network infrastructure with self-configuration capabilities based on standard and interoperable communication protocols, where physical and virtual objects have unique identities and properties, and can be accessed via various wired and wireless interfaces. integrated into the network.

IoT 네트워크는 감지(sensory), 통신, 네트워킹 및 정보 처리 기술을 기반으로 월드-와이드 네트워크에 상호 연결된 네트워크를 의미한다. An IoT network refers to a network interconnected to a world-wide network based on sensory, communication, networking and information processing technologies.

최신 무선 기술은 IoT 디바이스의 감지능력을 연장(extend)하고, IoT 네트워크의 범위를 크게 확장(expand)해 왔다. 최근에는 인공지능(AI), 에지 컴퓨팅, 및 압축센싱(CS, compressed(or compressive) sensing)과 같은 일부 신기술이 IoT에 적용되어 사용자의 요구를 충족시키고 특정 서비스를 제공하고 있다.The latest wireless technologies have extended the sensing capabilities of IoT devices and greatly expanded the range of IoT networks. Recently, some new technologies such as artificial intelligence (AI), edge computing, and compressed (or compressive) sensing (CS) have been applied to IoT to meet user needs and provide specific services.

사물 인공지능(AIoT, Artificial Intelligence of Things)은 IoT 센서 디바이스가 감지 데이터를 분석하고 사람의 개입 없이 의사 결정을 내리고 조치를 취할 수 있도록 하는 새로운 기술이다.Artificial Intelligence of Things (AIoT) is a new technology that allows IoT sensor devices to analyze sensory data and make decisions and take actions without human intervention.

IoT 네트워크는 WLAN(무선 근거리 통신망)과 LPWAN(저전력 광역 통신망)을 포함한다. 와이파이(WiFi, Wireless Fidelity)는 IEEE 802.11 표준을 따르는 WLAN 중 하나로 IoT 장치에 무선 연결을 제공하기 위한 널리 알려져 있는 액세스 네트워크 중 하나이다. 와이파이 표준 제품군의 모든 버전에서는 인프라와 에드-혹 모드가 제공된다. IEEE 802.11n 및 802.11ac는 각각 600Mbps 및 7Gbps의 최대 데이터 속도를 제공할 수 있다.IoT networks include wireless local area networks (WLANs) and low power wide area networks (LPWANs). Wi-Fi (Wireless Fidelity) is one of the WLANs that follow the IEEE 802.11 standard and is one of the widely known access networks for providing wireless connectivity to IoT devices. Every version of the Wi-Fi standard suite comes with infrastructure and ad-hoc modes. IEEE 802.11n and 802.11ac can provide maximum data rates of 600Mbps and 7Gbps respectively.

다음으로 3GPP 릴리즈 12, 13 이후, 저전력 광역 통신망(LPWAN)으로서 LTE-M(Long-Term Evolution Machine) 및 협대역 IoT(NB-IoT)가 mMTC(Massive Machine-Type Communications)를 지원하기 위해서 제시되었다. mMTC의 요구 사항은 LTE-M 및 NB-IoT의 요구 사항과 거의 동일하다. 릴리스 13에서 LTE-M과 같은 저-복잡도 사용자 장비(UE) 카테고리 M1은 저비용 디바이스에 대해서 전력 소비 감소를 위한 불연속 수신 주기가 확장되도록 하는 것과 커버리지 향상 모드 작동을 가능하게 하기 위해 제시되었다.Next, since 3GPP Releases 12 and 13, LTE-M (Long-Term Evolution Machine) and Narrowband IoT (NB-IoT) have been proposed to support mMTC (Massive Machine-Type Communications) as a low-power wide area network (LPWAN). . The requirements of mMTC are almost identical to those of LTE-M and NB-IoT. In Release 13, a low-complexity user equipment (UE) category M1, such as LTE-M, was presented to allow extended discontinuous reception periods for reduced power consumption and coverage enhancement mode operation for low-cost devices.

NB-IoT는 또한 사용자가 LTE 대역에서 사용 가능한 스펙트럼의 작은 부분을 사용할 수 있도록 하고 허가된 주파수 대역에서 LTE 및 GSM(Global System for Mobile Communication)과 공존함으로써 적용의 유연성을 제공하기 위해 도입되었다. LTE-M은 다운링크 및 업링크 모두에 대해 1Mbps의 피크 데이터 속도를 지원하고, NB-IoT는 다운링크에 대해 200kbps 및 업링크에 대해 20kbps의 데이터 속도를 지원한다.NB-IoT was also introduced to allow users to use a small portion of the spectrum available in the LTE bands and to provide flexibility of application by coexisting with LTE and Global System for Mobile Communications (GSM) in licensed frequency bands. LTE-M supports a peak data rate of 1 Mbps for both downlink and uplink, and NB-IoT supports data rates of 200 kbps for downlink and 20 kbps for uplink.

IoT 에지 게이트웨이는 이기종 IoT 네트워크에서 중요한 역할을 하며, 주요 기능은 데이터를 IoT 센서 디바이스로부터 와이파이, LTE-M, NB-IoT, ZigBee, Bluetooth 등과 같은 기존의 무선 통신 프로토콜을 통해서 목적지 노드, 주로 IoT 서버로 포워딩하는 것이다. The IoT edge gateway plays an important role in heterogeneous IoT networks, and its main function is to transfer data from IoT sensor devices to destination nodes, mainly IoT servers, through existing wireless communication protocols such as Wi-Fi, LTE-M, NB-IoT, ZigBee, and Bluetooth. forwarding to

최근 IoT 센서 디바이스는 IoT 응용 분야에서 딥러닝을 활용한 객체 감지와 같은 AI 서비스를 제공하기 위해 이미지, 동영상, 음성과 같은 대량의 데이터를 보내야 하는 상황이 되었다. 이 경우 IoT 네트워크는 심각한 데이터 트래픽 과부하 문제에 필연적으로 직면하게 된다. 예를 들어 제한된 대역폭과 불안정한 채널 조건(예: 혼잡, 충돌 및 간섭)으로 인해 시간 지연(time delay) 또는 레이턴시(latency)가 발생할 수 있으며, 시간에 민감한 작업에 대한 의사 결정이 지연될 수 있다.Recently, IoT sensor devices have to send large amounts of data such as images, videos, and voices to provide AI services such as object detection using deep learning in IoT applications. In this case, the IoT network inevitably faces a serious data traffic overload problem. For example, limited bandwidth and unstable channel conditions (e.g., congestion, collisions, and interference) can cause time delay or latency, delaying decision-making for time-sensitive tasks.

더욱이, 중앙 집중식 IoT 서버는 다양한 유형의 IoT 센서 디바이스로부터 많은 양의 데이터를 저장하고 처리하기에는 비효율적이고 비용이 많이 소요되는 단점이 있다.Moreover, the centralized IoT server has the disadvantage of being inefficient and costly to store and process large amounts of data from various types of IoT sensor devices.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical details to be achieved by the present invention to be differentiated from the prior art will be described.

선행기술 1(W. Jung, S. Kim, S. Hong and J. Seo, "An AIoT monitoring system for multi-object tracking and alerting," Computers, Materials & Continua, vol. 67, no. 1, pp. 337-348, 2021.)은 AIoT 에지 게이트웨이가 돼지우리에 설치된 CCTV 카메라에서 비디오 프레임(이미지)을 추출하고, 더 빠른 지역 기반 컨볼루션 신경망 모델을 통해 이미지에서 복수의 돼지를 감지하고, 객체 중심점 추적 알고리즘으로 상기 복수의 돼지를 추적하는 oneM2M 호환 AIoT 모니터링 시스템을 제시한 바 있다. 그러나 상기 선행기술 1은 데이터 트래픽 문제를 고려하지 않았다.Prior Art 1 (W. Jung, S. Kim, S. Hong and J. Seo, "An AIoT monitoring system for multi-object tracking and alerting," Computers, Materials & Continua, vol. 67, no. 1, pp. 337-348, 2021.), an AIoT edge gateway extracts video frames (images) from CCTV cameras installed in pig pens, detects multiple pigs in images through a faster region-based convolutional neural network model, and tracks object center points. A oneM2M compatible AIoT monitoring system that tracks the plurality of pigs with an algorithm has been presented. However, the prior art 1 did not consider the data traffic problem.

또한 선행기술 2(H. Djelouat, A. Amira and F. Bensaali, "Compressive sensing-based IoT applications: A review," Journal of Sensor and Actuator Networks, vol. 7, no. 4, pp. 2224-2708, 2018.)는 압축센서(CS) 기반 IoT 애플리케이션을 검토하고 새로운 트렌드를 강조하고 미래 압축센서 기반 IoT 연구를 위한 길을 모색하였지만, 압축센서 기반 IoT 시스템 모델과 실험 결과는 제시하지 못하였다. 선행기술 2에서는 무인항공기(UAV)에서 영상 데이터 감소를 위한 경사 압축센서(gradient compressed sensor) 방법을 제시했는데, 여기서 감시 센터는 UAV로부터 수신된 감소된 양의 영상 픽셀을 재구성한 다음 수상한 물체를 탐지하기 위한 영상 처리 방법을 수행하였다.Also, Prior Art 2 (H. Djelouat, A. Amira and F. Bensaali, "Compressive sensing-based IoT applications: A review," Journal of Sensor and Actuator Networks, vol. 7, no. 4, pp. 2224-2708, 2018.) reviewed compressive sensor (CS)-based IoT applications, highlighted new trends, and sought a way for future compressive sensor-based IoT research, but failed to present a compressive sensor-based IoT system model and experimental results. Prior Art 2 proposed a gradient compressed sensor method for image data reduction in an unmanned aerial vehicle (UAV), where the surveillance center reconstructs the reduced amount of image pixels received from the UAV and then detects a suspicious object An image processing method was performed to do this.

그러나 선행기술 2는 딥러닝 기반의 객체 감지를 이용한 AIoT 시스템 모델은 고려하지 않았을 뿐 아니라, AIoT 시스템 모델에 대한 압축센싱 레이트의 효과도 분석하지 않았다.However, Prior Art 2 not only did not consider the AIoT system model using deep learning-based object detection, but also did not analyze the effect of the compressed sensing rate on the AIoT system model.

따라서 본 발명에서는 인공지능 객체 감지와 같은 인공지능 서비스를 위해 IoT 네트워크를 통해 많은 양의 데이터를 전송할 때 발생하는 데이터 트래픽 문제를 해결하기 위해 압축센싱을 이용한 AIoT 시스템 모델을 제시한다.Therefore, the present invention proposes an AIoT system model using compressed sensing to solve the data traffic problem that occurs when a large amount of data is transmitted through an IoT network for artificial intelligence services such as artificial intelligence object detection.

이를 위해서 본 발명에서는 먼저, 랜덤 샘플링 매트릭스, 압축센싱 복구 및 압축센싱의 변환 매트릭스를 분리하여 IoT 센서 디바이스와 IoT 에지 게이트웨이 간의 데이터 트래픽 감소를 위한 실용적인 AIoT 시스템 아키텍처를 제시한다.To this end, the present invention first presents a practical AIoT system architecture for reducing data traffic between an IoT sensor device and an IoT edge gateway by separating the random sampling matrix, compressed sensing recovery, and compressed sensing conversion matrix.

이하에서는 본 발명에서 제시하는 AIoT 시스템의 구성과 동작을 소개하고 데이터 트래픽 감소와 인공지능 객체 감지를 위한 압축센싱의 기능적 분리에 대해 자세하게 기술하고자 한다.Hereinafter, the configuration and operation of the AIoT system proposed in the present invention will be introduced, and the functional separation of compressed sensing for data traffic reduction and artificial intelligence object detection will be described in detail.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 압축센싱(CS: compressed sensing) 레이트(rate)에 의해 제어되는 랜덤 샘플링을 통한 압축센싱 기능을 가지는 적어도 하나 이상의 IoT 센서 디바이스, 상기 압축센싱과 관련한 복원과 객체감지를 위한 인공지능 기능을 구비한 IoT 에지 게이트웨이 및 IoT 서버를 포함하는 사물 인공지능 시스템을 제공하는 것을 그 목적으로 한다.The present invention was created to solve the above problems, and at least one IoT sensor device having a compressed sensing function through random sampling controlled by a compressed sensing (CS) rate, the compressed sensing Its purpose is to provide an artificial intelligence system for things including an IoT edge gateway and an IoT server equipped with an artificial intelligence function for restoration and object detection related to the object.

또한 본 발명은 IoT 센서 디바이스에서 압축센싱을 통해 이미지의 픽셀을 랜덤하게 선택하여 이미지를 압축하고, 압축한 이미지를 전송함으로서 IoT 네트워크의 데이터 트래픽을 감소시킬 수 있도록 하는 사물 인공지능 시스템을 제공하는 것을 그 목적으로 한다.In addition, the present invention is to provide an object artificial intelligence system that can reduce data traffic of an IoT network by randomly selecting pixels of an image through compression sensing in an IoT sensor device, compressing the image, and transmitting the compressed image. for that purpose

또한 본 발명은 적어도 하나 이상의 IoT 센서 디바이스와 연결된 IoT 에지 게이트웨이에서 압축한 이미지를 복원하고 복원한 이미지에 포함된 객체를 감지하여 IoT 서버에 제공하도록 함으로써 객체 감지를 위한 시스템 부하를 IoT 에지 게이트웨이와 IoT 서버에 분산할 수 있도록 하는 사물 인공지능 시스템을 제공하는 것을 그 목적으로 한다. In addition, the present invention restores an image compressed by an IoT edge gateway connected to at least one IoT sensor device, detects an object included in the restored image, and provides it to the IoT server, thereby reducing the system load for object detection to the IoT edge gateway and IoT Its purpose is to provide an artificial intelligence system for things that can be distributed to servers.

본 발명의 일 실시예에 따른 사물 인공지능 시스템은 압축센싱 레이트(compressed sensing rate)에 의해 제어되는 랜덤 샘플링을 포함한 압축센싱 기능을 구비한 적어도 하나 이상의 IoT 센서 디바이스 및 상기 압축센싱에 대한 복원과 상기 복원한 결과를 이용하여 객체 감지를 수행하는 IoT 에지 게이트웨이를 포함하며, 상기 압축센싱을 통해 이미지를 압축하여 송수신함으로써 IoT 네트워크의 데이터 트래픽을 감소시키는 것을 특징으로 한다.An artificial intelligence system for things according to an embodiment of the present invention includes at least one IoT sensor device having a compressed sensing function including random sampling controlled by a compressed sensing rate, restoration of the compressed sensing, and the above It includes an IoT edge gateway that performs object detection using the restored result, and reduces data traffic of the IoT network by compressing and transmitting and receiving images through the compression sensing.

또한 상기 IoT 센서 디바이스는 상기 압축센싱 레이트에 따라 상기 이미지의 픽셀을 무작위로 선택하는 랜덤 샘플링 매트릭스를 상기 이미지에 적용하여 상기 이미지를 압축하는 압축센싱부 및 상기 압축한 이미지를 상기 IoT 에지 게이트웨이로 전송하는 압축 이미지 전송부를 포함하는 것을 특징으로 한다.In addition, the IoT sensor device compresses the image by applying a random sampling matrix that randomly selects pixels of the image according to the compression sensing rate to the image, and transmits the compressed image to the IoT edge gateway It characterized in that it comprises a compressed image transmission unit to.

또한 상기 압축센싱 레이트는 감지할 객체의 종류나 네트워크 대역폭에 따라 각 상기 IoT 센서 디바이스별로 설정되며, 상기 IoT 에지 게이트웨이에서, 압축센싱 레이트를 변경해 가면서 상기 IoT 센서 디바이스별로 이미지를 압축하도록 하고, 다시 복원하여 객체를 감지한 결과, 사전에 설정한 감지 정확도의 임계값을 초과하는 경우에 해당하는 압축센싱 레이트를 선택하여 상기 IoT 센서 디바이스로 제공함으로써 설정하거나, 상기 네트워크 대역폭을 초과하지 않는 범위에서 각 상기 IoT 센서 디바이스별로 압축센싱 레이트를 지정하여 설정하거나, 또는 이들의 조합을 통해서 설정하는 것을 포함하는 것을 특징으로 한다.In addition, the compressed sensing rate is set for each IoT sensor device according to the type of object to be sensed or network bandwidth, and the IoT edge gateway compresses the image for each IoT sensor device while changing the compressed sensing rate, and restores it again As a result of detecting the object, select the compressed sensing rate corresponding to the case where the threshold of detection accuracy set in advance is exceeded and set it by providing it to the IoT sensor device, or set each of the above within the range that does not exceed the network bandwidth It is characterized by including specifying and setting the compression sensing rate for each IoT sensor device, or setting through a combination thereof.

또한 상기 IoT 에지 게이트웨이는 상기 적어도 하나 이상의 IoT 센서 디바이스로부터 수신한 상기 압축한 이미지를 복원하는 복원부 및 상기 복원한 이미지를 인공지능 학습모델에 입력하여 상기 객체를 감지하는 객체 감지부를 포함하며, 상기 인공지능 학습모델은 감지할 객체의 종류에 따라 적어도 하나 이상으로 구비되는 것을 특징으로 한다.In addition, the IoT edge gateway includes a restoration unit for restoring the compressed image received from the at least one or more IoT sensor devices and an object detection unit for detecting the object by inputting the restored image to an artificial intelligence learning model, wherein the It is characterized in that at least one artificial intelligence learning model is provided according to the type of object to be sensed.

또한 상기 압축한 이미지를 복원하는 것은 L1 최소화 방법을 이용하여 상기 압축한 이미지로부터 원래 이미지의 희소변환영역표현(sparse transform domain representation)을 생성하고, 상기 생성한 희소변환영역표현에 시간영역 변환 매트릭스를 적용하여 상기 희소변환영역표현을 시간영역의 이미지로 변환함으로써 수행되는 것을 특징으로 한다.In addition, restoring the compressed image generates a sparse transform domain representation of the original image from the compressed image using the L1 minimization method, and converts a time domain transform matrix to the generated sparse transform domain representation. It is characterized in that it is performed by applying and converting the sparse transform region expression into an image of the time domain.

또한 상기 사물 인공지능 시스템은 상기 객체를 감지한 결과를 IoT 에지 게이트웨이로부터 수신 받아 IoT 센서 디바이스별로 저장 및 관리하는 IoT 서버를 더 포함하며, 상기 IoT 서버는 감지할 객체의 종류에 따라 인공지능 학습모델을 각각 생성하여 상기 IoT 에지 게이트웨이로 제공하는 것을 더 포함하는 것을 특징으로 한다.In addition, the artificial intelligence system for things further includes an IoT server that receives the result of detecting the object from the IoT edge gateway and stores and manages it for each IoT sensor device. It is characterized in that it further comprises generating and providing each to the IoT edge gateway.

아울러 본 발명의 일 실시예에 따른 사물 인공지능 시스템에서, 압축센싱을 통한 IoT 네트워크의 데이터 트래픽 감소 방법은 IoT 센서 디바이스에서, 압축센싱 레이트에 의해 제어되는 랜덤 샘플링을 포함하는 압축센싱을 통해 이미지를 압축하는 압축센싱 단계, IoT 에지 게이트웨이에서, 상기 압축 이미지를 복원하는 복원 단계 및 상기 IoT 에지 게이트웨이에서, 상기 복원한 이미지를 이용하여 객체를 감지하는 객체 감지 단계를 포함하는 것을 특징으로 한다.In addition, in an artificial intelligence system for things according to an embodiment of the present invention, a method for reducing data traffic in an IoT network through compression sensing is an image through compression sensing including random sampling controlled by a compression sensing rate in an IoT sensor device. It is characterized in that it includes a compression sensing step of compressing, a restoration step of restoring the compressed image at the IoT edge gateway, and an object detection step of detecting an object using the restored image at the IoT edge gateway.

또한 상기 압축센싱 단계는, 상기 압축센싱 레이트에 따라 상기 이미지의 픽셀을 무작위로 선택하는 랜덤 샘플링 매트릭스를 상기 이미지에 적용하여 상기 이미지를 압축하며, 상기 압축 이미지는, 상기 IoT 에지 게이트웨이로 전송되는 것을 특징으로 한다.In addition, the compression sensing step compresses the image by applying a random sampling matrix that randomly selects pixels of the image according to the compression sensing rate to the image, and the compressed image is transmitted to the IoT edge gateway to be characterized

또한 상기 복원 단계는, L1 최소화 방법을 이용하여, 상기 IoT 센서 디바이스로부터 수신한 상기 압축한 이미지로부터 원래 이미지의 희소변환영역표현을 생성하고, 상기 생성한 희소변환영역표현에 시간영역 변환 매트릭스를 적용하여 상기 희소변환영역표현을 시간영역의 이미지로 변환함으로써 상기 압축한 이미지를 복원하는 것을 특징으로 한다.In addition, in the restoring step, using the L1 minimization method, a sparse transform domain representation of the original image is generated from the compressed image received from the IoT sensor device, and a time domain transform matrix is applied to the generated sparse transform domain expression. and restoring the compressed image by converting the sparse transform domain expression into a time domain image.

또한 상기 객체 감지 단계는, 상기 복원한 이미지를 인공지능 학습모델에 입력하여 상기 객체를 감지하며, 상기 인공지능 학습모델은, 감지할 객체의 종류에 따라 적어도 하나 이상으로 구비되는 것을 특징으로 한다.In the object detection step, the object is sensed by inputting the restored image to an artificial intelligence learning model, and at least one artificial intelligence learning model is provided according to the type of object to be detected.

이상에서와 같이 본 발명의 사물 인공지능 시스템은, 리콜, 정밀도, mAP50 및 mAP와 같은 성능 메트릭 측면에서 압축센싱이 인공지능 객체 감지에 미치는 영향을 분석한 결과 리콜이 약간 감소하지만 압축센싱 레이트가 감소하고 정밀도가 거의 일정하게 유지되며, mAP50과 mAP는 감소된 압축센싱 레이트에 따라 점차적으로 저하되는 효과가 있다. 결국 압축센싱 레이트가 적절하게 선택되면 제안된 AIoT 시스템은 인공지능을 통한 객체 감지의 성능저하 없이 IoT 네트워크의 전체 데이터 트래픽을 줄일 수 있는 효과가 있다.As described above, the artificial intelligence system of the present invention analyzes the effect of compressed sensing on artificial intelligence object detection in terms of recall, precision, mAP50 and mAP performance metrics. As a result, the recall slightly decreases, but the compressed sensing rate decreases. and accuracy is maintained almost constant, and mAP50 and mAP gradually decrease according to the reduced compression sensing rate. After all, if the compressed sensing rate is appropriately selected, the proposed AIoT system has the effect of reducing the total data traffic of the IoT network without deteriorating the performance of object detection through artificial intelligence.

또한 본 발명은 객체 감지를 위한 학습은 IoT 서버에서 수행하고, 객체 감지는 적어도 하나 이상의 IoT 센서 디바이스와 연결된 IoT 에지 게이트웨이에서 수행하도록 함으로써 IoT 서버의 부하를 분산할 수 있는 효과가 있다.In addition, the present invention has the effect of distributing the load of the IoT server by performing learning for object detection in the IoT server and object detection in the IoT edge gateway connected to at least one IoT sensor device.

도 1은 본 발명의 일 실시예에 따른 사물 인공지능 시스템을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 IoT 센서 디바이스의 동작을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 IoT 에지 게이트웨이의 동작을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 감지를 위한 인공지능 학습모델을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체를 감지하는 방법을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 IoT 센서 디바이스와 IoT 에지 게이트웨이의 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 압축센싱을 통한 압축 이미지의 생성과 압축 이미지를 복원하는 절차를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 학습모델의 생성과 객체를 감지하는 절차를 나타낸 흐름도이다.1 is a conceptual diagram illustrating an artificial intelligence system for things according to an embodiment of the present invention.
2 is a diagram shown to explain the operation of an IoT sensor device according to an embodiment of the present invention.
3 is a diagram shown to explain the operation of an IoT edge gateway according to an embodiment of the present invention.
4 is a diagram illustrating a method of generating an artificial intelligence learning model for object detection according to an embodiment of the present invention.
5 is a diagram for explaining a method of detecting an object according to an embodiment of the present invention.
6 is a diagram showing the configuration of an IoT sensor device and an IoT edge gateway according to an embodiment of the present invention.
7 is a flowchart illustrating a procedure of generating a compressed image through compression sensing and restoring the compressed image according to an embodiment of the present invention.
8 is a flowchart illustrating a procedure for generating an artificial intelligence learning model and detecting an object according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. Specific structural or functional descriptions of the embodiments disclosed in the specification or application of the present invention are merely exemplified for the purpose of explaining the embodiments according to the present invention, unless otherwise defined, technical or scientific All terms used in this specification, including terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. No.

도 1은 본 발명의 일 실시예에 따른 사물 인공지능 시스템을 설명하기 위해 나타낸 개념도이다.1 is a conceptual diagram illustrating an artificial intelligence system for things according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사물 인공지능 시스템(10)은 적어도 하나 이상의 IoT 센서 디바이스(100), IoT 에지 게이트웨이(200) 및 IoT 서버(300)를 포함하여 구성된다.As shown in FIG. 1, the AI system 10 according to an embodiment of the present invention includes at least one IoT sensor device 100, an IoT edge gateway 200, and an IoT server 300. do.

또한 적어도 하나 이상의 IoT 센서 디바이스(100)와 IoT 에지 게이트웨이(200)는 특정 데이터를 송수신하기 위한 IoT 네트워크를 형성하며, IoT 에지 게이트웨이(200)는 유무선 네트워크를 통해 IoT 서버(300)와 연결된다.In addition, at least one IoT sensor device 100 and the IoT edge gateway 200 form an IoT network for transmitting and receiving specific data, and the IoT edge gateway 200 is connected to the IoT server 300 through a wired or wireless network.

또한 도 1에는 하나의 IoT 에지 게이트웨이(200)를 도시하였으나, 본 발명의 사물 인공지능 시스템(10)은 복수의 IoT 에지 게이트웨이(200)를 포함하여 구성될 수 있으며, 각 상기 IoT 에지 게이트웨이(200)는 적어도 하나 이상의 IoT 센서 디바이스(100)와 연결되어 IoT 네트워크를 각각 구성한다.In addition, although one IoT edge gateway 200 is shown in FIG. 1, the artificial intelligence system 10 of the present invention may include a plurality of IoT edge gateways 200, and each of the IoT edge gateways 200 ) is connected to at least one or more IoT sensor devices 100 to configure an IoT network, respectively.

또한 사물 인공지능 시스템(10)은 카메라(미도시)로부터 획득되는 이미지로부터 객체를 감지하는 영상처리 분야에 적용될 수 있다.In addition, the object artificial intelligence system 10 may be applied to an image processing field of detecting an object from an image obtained from a camera (not shown).

따라서 IoT 센서 디바이스(100)는 각 IoT 센서 디바이스(100)에 연결된 카메라로부터 M x N의 이미지를 실시간으로 획득하고 IoT 게이트웨이(200)로 전송할 수 있다.Accordingly, the IoT sensor device 100 may acquire M x N images from cameras connected to each IoT sensor device 100 in real time and transmit the images to the IoT gateway 200 .

즉, IoT 센서 디바이스(100)는 카메라의 프레임 레이트(frame rate)에 따라 이미지를 실시간으로 획득함으로써 복수의 이미지로 구성되는 영상을 획득하는 것이며, 상기 이미지는 영상 프레임을 의미한다.That is, the IoT sensor device 100 obtains an image composed of a plurality of images by acquiring images in real time according to a frame rate of a camera, and the image means a video frame.

또한 이미지는 대용량 데이터이므로 복수의 IoT 센서 디바이스(100)가 동시에 이미지를 전송할 때, IoT 네트워크에 과도한 데이터 트래픽이 발생될 수 있다.In addition, since the image is a large amount of data, excessive data traffic may be generated in the IoT network when a plurality of IoT sensor devices 100 simultaneously transmit images.

따라서 IoT 센서 디바이스(100)는 카메라로부터 획득한 이미지(이하, 원본 이미지라고 지칭함)에 대한 압축센싱(compressed sensing)을 수행하여 상기 원본 이미지에 대한 압축 이미지를 생성한다.Accordingly, the IoT sensor device 100 generates a compressed image of the original image by performing compressed sensing on an image acquired from the camera (hereinafter referred to as an original image).

또한 IoT 센서 디바이스(100)는 원본 이미지 대신에 압축 이미지를 IoT 에지 게이트웨이(200)로 전송한다.Also, the IoT sensor device 100 transmits the compressed image to the IoT edge gateway 200 instead of the original image.

이를 통해 IoT 센서 디바이스(100)는 데이터 전송량을 감소시켜 IoT 에지 게이트웨이(200) 간의 IoT 네트워크에 대한 데이터 트래픽을 감소시킬 수 있다.Through this, the IoT sensor device 100 can reduce the amount of data transmission to reduce data traffic for the IoT network between the IoT edge gateways 200.

한편, IoT 센서 디바이스(100)에서 수행하는 압축센싱은 도 2를 참조하여 상세히 설명하도록 한다.Meanwhile, compression sensing performed by the IoT sensor device 100 will be described in detail with reference to FIG. 2 .

또한 IoT 에지 게이트웨이(200)는 이용목적에 따라 적어도 하나 이상의 객체를 감지하기 위한 인공지능 학습모델을 구비하여 IoT 센서 디바이스(100)로부터 수신되는 압축 이미지를 활용하여 객체를 감지하는 기능을 수행한다.In addition, the IoT edge gateway 200 has an artificial intelligence learning model for detecting at least one object according to the purpose of use, and performs a function of detecting an object by utilizing a compressed image received from the IoT sensor device 100.

이를 위해, 우선 IoT 에지 게이트웨이(200)는 압축 이미지를 복원한다.To this end, the IoT edge gateway 200 first restores the compressed image.

이때, 복원한 이미지는 실제 원본 이미지(즉, 압축 이미지에 대한 원래 이미지)와 실질적으로 동일한 것이 아니라 원본 이미지에 근사하도록 복원되는 것이 자명하다.At this time, it is obvious that the restored image is not substantially the same as the actual original image (ie, the original image for the compressed image) but is restored to approximate the original image.

한편, 압축 이미지를 복원하는 것은 도 3을 참조하여 상세히 설명하도록 한다.Meanwhile, restoring the compressed image will be described in detail with reference to FIG. 3 .

또한 IoT 에지 게이트웨이(200)는 복원한 이미지를 인공지능 학습모델에 적용하여 적어도 하나 이상의 객체를 감지한다.In addition, the IoT edge gateway 200 detects at least one object by applying the restored image to the artificial intelligence learning model.

또한 IoT 에지 게이트웨이(200)는 객체를 감지한 결과를 포함하는 이미지(즉, 복원한 이미지)를 IoT 서버(300)로 제공한다.In addition, the IoT edge gateway 200 provides an image (ie, a restored image) including a result of detecting an object to the IoT server 300.

또한 IoT 서버(300)는 딥러닝을 포함하는 인공지능 방법과 인공지능 학습모델을 통해 특정 객체를 포함하는 복수의 이미지를 기계학습하여 객체를 감지하기 위한 인공지능 학습모델을 생성한다. 상기 인공지능 학습모델을 생성하는 것은 도 4를 참조하여 상세히 설명하도록 한다.In addition, the IoT server 300 generates an artificial intelligence learning model for detecting an object by machine learning a plurality of images including a specific object through an artificial intelligence method including deep learning and an artificial intelligence learning model. Generating the artificial intelligence learning model will be described in detail with reference to FIG. 4 .

또한 IoT 서버(300)는 인공지능 학습모델을 데이터베이스(400)에 저장하여 각 IoT 에지 게이트웨이(200)에서 액세스하여 이용하도록 하거나, 각 IoT 에지 게이트웨이(200)로 제공하여 상기 각 IoT 에지 게이트웨이(200)에서 객체를 감지하도록 한다.In addition, the IoT server 300 stores the artificial intelligence learning model in the database 400 so that each IoT edge gateway 200 can access and use it, or provides it to each IoT edge gateway 200 so that each IoT edge gateway 200 ) to detect objects.

즉, 기계학습과 실제 객체를 감지하는 기능을 IoT 서버(300)와 IoT 에지 게이트웨이(200)에 분담함으로써 객체 감지를 위한 시스템 부하를 IoT 서버(300)와 IoT 에지 게이트웨이(200)로 분산하도록 하는 것이다.That is, by dividing the function of detecting machine learning and real objects between the IoT server 300 and the IoT edge gateway 200, the system load for object detection is distributed to the IoT server 300 and the IoT edge gateway 200. will be.

또한 인공지능 학습모델은 IoT 센서 디바이스(100)의 이용목적에 따라 각각 생성된다.In addition, artificial intelligence learning models are each generated according to the purpose of use of the IoT sensor device 100.

예를 들어, 특정 IoT 센서 디바이스(100)가 사람을 감지하기 위한 목적으로 이용되는 경우, IoT 에지 게이트웨이(200)에서 IoT 센서 디바이스(100)로부터 수신한 압축 이미지를 활용하여 IoT 에지 게이트웨이(200)에서 사람을 감지하고, 또 다른 IoT 센서 디바이스(100)를 통해 불법주차에 대한 차량을 감지하고자 한다면, IoT 에지 게이트웨이(200)에서 해당 IoT 센서 디바이스(100)로부터 수신한 압축 이미지를 활용하여 차량을 감지한다.For example, when a specific IoT sensor device 100 is used for the purpose of detecting a person, the IoT edge gateway 200 utilizes a compressed image received from the IoT sensor device 100 in the IoT edge gateway 200. If you want to detect a person and detect a vehicle for illegal parking through another IoT sensor device 100, the IoT edge gateway 200 uses the compressed image received from the corresponding IoT sensor device 100 to detect the vehicle detect

이를 위해, IoT 서버(200)는 사람을 감지하기 위한 인공지능 학습모델과 차량을 감지하기 위한 인공지능 학습모델을 각각 생성한다. 즉, 인공지능 학습모델은 IoT 네트워크를 형성하는 IoT 센서 디바이스(100)의 이용목적에 따라 다양하게 생성된다.To this end, the IoT server 200 generates an artificial intelligence learning model for detecting a person and an artificial intelligence learning model for detecting a vehicle, respectively. That is, the artificial intelligence learning model is created in various ways according to the purpose of using the IoT sensor device 100 forming the IoT network.

또한 IoT 서버(300)는 객체를 감지한 결과를 관리자 단말(미도시)로 제공할 수 있다. 즉, IoT 서버(300)는 상기 이용목적에 따라 객체한 감지한 결과를 모니터링하여 모니터링한 결과를 관리자 단말로 제공할 수 있는 기능을 포함할 수 있다.In addition, the IoT server 300 may provide a result of detecting an object to an administrator terminal (not shown). That is, the IoT server 300 may include a function capable of monitoring a result of detecting an object according to the purpose of use and providing the monitored result to an administrator terminal.

또한 IoT 서버(300)는 객체를 감지한 결과를 IoT 센서 디바이스(100)별로 분류하여 데이터베이스(400)에 저장 및 관리하는 기능을 수행한다.In addition, the IoT server 300 performs a function of classifying the object detection result for each IoT sensor device 100 and storing and managing it in the database 400 .

도 2는 본 발명의 일 실시예에 따른 IoT 센서 디바이스의 동작을 설명하기 위해 나타낸 도면이다.2 is a diagram shown to explain the operation of an IoT sensor device according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 센서 디바이스(100)는 카메라로부터 이미지를 수신한다.As shown in FIG. 2 , the IoT sensor device 100 according to an embodiment of the present invention receives an image from a camera.

또한 카메라는 고화질(HD급 이상)의 이미지를 제공하기 위한 것으로, 특정 영역을 촬영하는 CCTV로 구성될 수 있다. 다만, 이에 한정하지 않으며 의료영상 촬영장치 등과 같이 고화질의 이미지를 제공하는 다양한 촬영장치를 포괄하는 개념이다.In addition, the camera is intended to provide a high-definition (HD level or higher) image, and may be configured as a CCTV that captures a specific area. However, it is not limited thereto and is a concept encompassing various imaging devices that provide high-quality images, such as a medical imaging device.

또한 카메라는 IoT 센서 디바이스(100)에 통합되어 구성되거나, 혹은 IoT 센서 디바이스(100)가 상기 카메라에 통합되어 구성될 수 있다.In addition, the camera may be integrated into the IoT sensor device 100, or the IoT sensor device 100 may be integrated into the camera.

또한 IoT 센서 디바이스(100)는 다음의 [수학식 1]과 같이 획득한 이미지에 랜덤 샘플링 매트릭스(Φ)와 사전에 설정한 압축센싱 레이트(α)를 적용함으로써 상기 획득한 이미지에 대한 압축센싱을 수행한다.In addition, the IoT sensor device 100 performs compression sensing on the acquired image by applying a random sampling matrix (Φ) and a previously set compression sensing rate (α) to the acquired image as shown in [Equation 1] below. carry out

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서, b는 압축 이미지를 의미하며, f는 획득한 이미지(즉, 원본 이미지)를 의미한다.Here, b means a compressed image, and f means an acquired image (ie, an original image).

또한 Φ는 압축센싱 레이트(α)에 따라 원본 이미지의 픽셀을 무작위로 선택하는 랜덤 샘플링 매트릭스이다.Also, Φ is a random sampling matrix that randomly selects pixels of the original image according to the compression sensing rate (α).

또한 IoT 센서 디바이스(100)는 압축 이미지를 IoT 에지 게이트웨이(200)로 전송한다.In addition, the IoT sensor device 100 transmits the compressed image to the IoT edge gateway 200.

즉, IoT 센서 디바이스(100)는 원본 이미지 대신에 상기 원본 이미지에 대한 압축 이미지를 전송하기 때문에 IoT 네트워크의 데이터 트래픽을 감소시킨다.That is, since the IoT sensor device 100 transmits a compressed image for the original image instead of the original image, data traffic of the IoT network is reduced.

압축센싱을 통해 데이터 트래픽을 감소시키는 것을 예를 들어 설명하면, IoT 센서 디바이스(100)와 IoT 에지 게이트웨이(200)간의 IoT 네트워크는 최대 데이터 레이트 600Mbps(megabits per second)인 WLAN이고, 카메라로부터 640 x 640 크기의 원본 이미지(즉, 영상 프레임)가 30fps로 수신되고, 압축센싱 레이트가 동일하다고 가정하면 압축센싱을 수행하지 않는 각 IoT 센서 디바이스(200)의 데이터 레이트는 약 98Mbps(30 x 640 x 640 x 8)가 된다.Reducing data traffic through compression sensing is described as an example, the IoT network between the IoT sensor device 100 and the IoT edge gateway 200 is a WLAN with a maximum data rate of 600 Mbps (megabits per second), and 640 x Assuming that the original image (i.e., video frame) of 640 size is received at 30 fps and the compression sensing rate is the same, the data rate of each IoT sensor device 200 that does not perform compression sensing is about 98 Mbps (30 x 640 x 640 x 8).

즉, 상기 예에서, 압축센싱 레이트가 1일 때, 600Mbps의 IoT 네트워크를 통해서는 동시에 6개의 IoT 센서 디바이스(100)만 데이터(이미지)를 전송할 수 있다.That is, in the above example, when the compressed sensing rate is 1, only 6 IoT sensor devices 100 can simultaneously transmit data (images) through the IoT network of 600 Mbps.

만약, 압축센싱 레이트가 0.9이면 IoT 센서 디바이스(100)별 데이터 레이트는 88.2mps가 되어 결과적으로 IoT 네트워크에 대한 전체 트래픽은 600Mpbs에서 약 541Mbps로 줄어들며, 압축센싱 레이트가 0.5이면 각 IoT 센서 디바이스(100)별 데이터 레이트는 49Mbps가 되어 전체 트래픽은 306Mbps로 현저하게 줄어든다.If the compressed sensing rate is 0.9, the data rate for each IoT sensor device 100 is 88.2mps, and as a result, the total traffic for the IoT network is reduced from 600Mpbs to about 541Mbps. If the compressed sensing rate is 0.5, each IoT sensor device (100 ) becomes 49 Mbps, and the total traffic is significantly reduced to 306 Mbps.

즉, 압축센싱 레이트가 감소할수록 전체 데이터 트래픽이 감소하거나, 감소한 만큼 IoT 센서 디바이스(100)의 수를 증가시킬 수 있다.That is, as the compressed sensing rate decreases, total data traffic may decrease or the number of IoT sensor devices 100 may increase as much as the decrease.

다만, 압축센싱 레이트가 감소할수록 압축 이미지에 대한 복원 성능이 저하되어 복원한 이미지를 통해 객체를 감지하는 성능 또한 저하될 수밖에 없다.However, as the compression sensing rate decreases, the performance of reconstructing the compressed image deteriorates, and thus the performance of detecting an object through the reconstructed image is also degraded.

따라서 본 발명에서는, 객체 감지를 위한 환경에 따라서 해당되는 압축센싱 레이트가 적절하게 선택되어 사전에 설정된다.Therefore, in the present invention, a corresponding compression sensing rate is appropriately selected and set in advance according to the environment for object detection.

이에 따라 본 발명의 압축센싱 레이트는 객체 감지를 위한 환경에 따른 요구조건을 만족하도록 설정되어 객체감지에 대한 성능 저하도 없으면서 전체적인 트래픽을 줄일 수 있도록 한다.Accordingly, the compression sensing rate of the present invention is set to satisfy the requirements according to the environment for object detection, so that overall traffic can be reduced without degradation of object detection performance.

즉, 압축센싱 레이트는 IoT 센서 디바이스(100)별 이용목적(감지할 객체의 종류)이나 IoT 네트워크의 네트워크 대역폭에 따라 각 IoT 센서 디바이스별로 각각 설정된다.That is, the compressed sensing rate is set for each IoT sensor device according to the purpose of use (type of object to be sensed) for each IoT sensor device 100 or the network bandwidth of the IoT network.

예를 들어, 특정 IoT 센서 디바이스(200)가 사람의 얼굴을 감지하기 위한 목적으로 사용되고, 또 다른 IoT 센서 디바이스(200)가 차량을 감지하기 위한 목적으로 사용된다면, 일반적으로 차량이 사람의 얼굴보다 이미지에서 많은 영역을 차지하게 되므로 상기 특정 IoT 센서 디바이스(200)의 압축센싱 레이트는 상기 또 다른 IoT 센서 디바이스(200)의 압축센싱 레이트보다 상대적으로 높게 설정되는 것이다.For example, if a specific IoT sensor device 200 is used for the purpose of detecting a human face and another IoT sensor device 200 is used for the purpose of detecting a vehicle, the vehicle is generally larger than the human face. Since it occupies a large area in the image, the compression sensing rate of the specific IoT sensor device 200 is set relatively higher than that of the other IoT sensor device 200 .

이러한 압축센싱 레이트는 IoT 센서 디바이스(200)에 대한 이용목적에 따라 최대한 트래픽을 줄이고 객체 감지에 대한 성능 저하가 없도록 사전에 미리 선택되어 설정된다.This compressed sensing rate is preselected and set in advance so as to reduce traffic as much as possible and not to degrade object detection performance according to the purpose of using the IoT sensor device 200 .

또한 압축센싱 레이트는 관리자나 IoT 에지 게이트웨이(200)에서 IoT 센서 디바이스(200)별로 설정할 수 있다.In addition, the compressed sensing rate may be set for each IoT sensor device 200 by a manager or the IoT edge gateway 200 .

IoT 에지 게이트웨이(200)에서 설정하는 경우, 상기 IoT 에지 게이트웨이(200)에서, 압축센싱 레이트 설정을 위한 이미지를 개별 IoT 센서 디바이스(100)로 제공하고 사전에 설정한 최소한의 압축센싱 레이트(예: 0.3)를 변경(즉, 점차 증가)해 가면서 상기 IoT 센서 디바이스(100)별로 상기 테스트용 이미지를 압축하도록 하고, 다시 복원하여 인공지능 학습모델에 각각 적용하여 개체를 감지한 결과 사전에 설정한 감지 정확도의 임계값(예: 객체일 확률이 0.8이상)을 초과하는 경우에 해당하는 압축센싱 레이트를 선택하여 각 상기 IoT 센서 디바이스(100)로 각각 제공함으로써 설정하거나, IoT 네트워크의 대역폭을 초과하지 않는 범위에서 각 상기 IoT 센서 디바이스(100)별로 압축센싱 레이트를 지정하여 설정하거나, 또는 이들의 조합을 통해 각 상기 IoT 센서 디바이스(100)별로 압축센싱 레이트를 설정할 수 있다.When setting in the IoT edge gateway 200, the IoT edge gateway 200 provides the image for setting the compression sensing rate to the individual IoT sensor device 100 and sets the minimum compression sensing rate (eg: 0.3) to compress the test image for each IoT sensor device 100 while changing (i.e., gradually increasing), restore it, and apply it to the artificial intelligence learning model respectively to detect objects. As a result, detection set in advance Set by selecting the compressed sensing rate corresponding to the case where the accuracy threshold (eg, the probability of being an object is 0.8 or more) is exceeded and providing it to each of the IoT sensor devices 100, or it does not exceed the bandwidth of the IoT network The compressed sensing rate may be designated and set for each IoT sensor device 100 within the range, or the compressed sensing rate may be set for each IoT sensor device 100 through a combination thereof.

이때, 압축센싱 레이트를 설정하기 위해 각 IoT 디바이스(100)로 제공되는 이미지는 각 IoT 센서 디바이스(100)의 이용목적에 따른 객체가 포함된 이미지이다.At this time, the image provided to each IoT device 100 to set the compression sensing rate is an image including objects according to the purpose of use of each IoT sensor device 100 .

또한 네트워크 대역폭을 초과하지 않는 범위에서 압축센싱 레이트를 지정하여 설정하는 것은, 상기 네트워크 대역폭을 초과하지 않는 범위에서, 동일한 압축센싱 레이트를 지정하거나, IoT 센서 디바이스(100)의 이용목적에 따라 상이하게 설정될 수 있다.In addition, specifying and setting the compressed sensing rate within a range that does not exceed the network bandwidth specifies the same compressed sensing rate within a range that does not exceed the network bandwidth, or differently depending on the purpose of use of the IoT sensor device 100 can be set.

즉, 압축센싱 레이트는 IoT 에지 게이트웨이(200)에서, IoT 센서 디바이스(100)별로 각각 튜닝되어 제공됨으로써 설정될 수 있다.That is, the compressed sensing rate may be set by being tuned and provided for each IoT sensor device 100 in the IoT edge gateway 200 .

도 3은 본 발명의 일 실시예에 따른 IoT 에지 게이트웨이의 동작을 설명하기 위해 나타낸 도면이다.3 is a diagram shown to explain the operation of an IoT edge gateway according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 에지 게이트웨이(200)는 적어도 하나 이상의 IoT 센서 디바이스(100)로부터 원본 이미지를 압축한 압축 이미지를 수신한다.As shown in FIG. 3 , the IoT edge gateway 200 according to an embodiment of the present invention receives a compressed image obtained by compressing an original image from at least one IoT sensor device 100 .

또한 IoT 에지 게이트웨이(200)는 압축센싱 복원과 변환 매트릭스(Ψ)를 이용하여 압축 이미지를 복원한다.In addition, the IoT edge gateway 200 restores the compressed image using compressed sensing restoration and transformation matrix Ψ.

또한 IoT 에지 게이트웨이(200)는 다음의 [수학식 2]와 같이 L1 최소화 방법(L1 minimization method)을 사용하여 원본 이미지(f)에 대한 최적의 희소변환영역표현(

Figure pat00002
)을 생성함으로써 압축센싱 복원을 수행한다.In addition, the IoT edge gateway 200 uses the L1 minimization method as shown in [Equation 2] to express the optimal sparse transform area for the original image (f) (
Figure pat00002
) to perform compression sensing restoration.

[수학식 2] [Equation 2]

Figure pat00003
Figure pat00003

여기서, A는 샘플링 매트릭스(Φ)와 변환 매트릭스(Ψ)의 곱과 동일하며, ||x1|은 L1 norm을 나타내는

Figure pat00004
를 나타낸다.Here, A is equal to the product of the sampling matrix (Φ) and the transformation matrix (Ψ), and ||x1| represents the L1 norm.
Figure pat00004
indicates

또한 IoT 에지 게이트웨이(200)는 다음의 [수학식 3]과 같이 희소변환영역표현을 시간영역으로 변환하기 위한 변환 매트릭스(Ψ)를 상기 희소변환영역표현에 적용하여 최종적으로 압축 이미지를 복원한 복원 이미지를 생성한다.In addition, the IoT edge gateway 200 applies a transformation matrix (Ψ) for converting the sparse transform domain expression into the time domain as shown in [Equation 3] below to the sparse transform domain expression, and finally restores the compressed image. create an image

즉, 압축 이미지는 압축센싱을 통해 픽셀을 랜덤하게 샘플링함으로써 스파스(sparse) 변환된 것이고, 원본 이미지는 시간 영역의 이미지이므로, 압축 이미지로부터 압축센싱 복원을 통해 생성한 희소변환영역표현을 시간영역의 이미지로 변환할 필요가 있는 것이다. That is, the compressed image is sparsely transformed by randomly sampling pixels through compression sensing, and since the original image is an image in the time domain, the sparse transformation area expression generated through compression sensing restoration from the compressed image is converted into a time domain. It is necessary to convert it into an image of .

[수학식 3][Equation 3]

Figure pat00005
Figure pat00005

여기서,

Figure pat00006
는 복원 이미지를 나타내고, Ψ는 시간영역으로 변환하기 위한 변환 매트릭스를 나타내며,
Figure pat00007
는 압축센싱 복원을 통해 생성한 희소변환영역표현을 나타낸다.here,
Figure pat00006
Represents a reconstructed image, Ψ represents a transformation matrix for conversion to the time domain,
Figure pat00007
represents a sparse transform region expression generated through compression sensing restoration.

또한 복원 이미지(

Figure pat00008
)는 다음의 [수학식 4]와 같이 정의된다.Also restore image (
Figure pat00008
) is defined as in [Equation 4] below.

[수학식 4][Equation 4]

Figure pat00009
Figure pat00009

여기서, M 및 N은 복원 이미지에 대한 가로 및 세로의 사이즈(즉, 픽셀 수)를 의미하며, m은 0 내지 M - 1사이의 값을 가지며, n은 0 내지 N - 1사이의 값을 가진다.Here, M and N mean the horizontal and vertical sizes (ie, the number of pixels) of the reconstructed image, m has a value between 0 and M - 1, and n has a value between 0 and N - 1 .

또한 αp 및 αq는 다음의 [수학식 5]와 같이 정의된다.In addition, α p and α q are defined as in [Equation 5] below.

[수학식 5][Equation 5]

Figure pat00010
Figure pat00010

또한 IoT 에지 게이트웨이(200)는 복원 이미지를 인공지능 학습모델에 입력하여 복원 이미지에 포함된 객체를 감지한다.In addition, the IoT edge gateway 200 detects objects included in the restored image by inputting the restored image to the artificial intelligence learning model.

이때, 인공지능 학습모델은 감지한 객체에 대한 바운딩박스(bounding box) 및 객체일 확률을 복원 이미지에 표시하여 출력하도록 구성된다.At this time, the artificial intelligence learning model is configured to display and output a bounding box for the detected object and a probability of being the object on the reconstructed image.

한편, 인공지능 학습모델은 감지할 객체에 따라 각각 준비된다.On the other hand, artificial intelligence learning models are prepared for each object to be detected.

예를 들어, IoT 에지 게이트웨이(200)에 연결된 적어도 하나 이상의 IoT 센서 디바이스(100)가 동일한 객체(예: 사람 얼굴)를 감지하기 위한 목적으로 이용된다면 해당 객체를 감지하기 위한 인공지능 학습모델이 상기 IoT 에지 게이트웨이(200)에 구비된다. 또한 서로 다른 객체를 감지하기 위한 목적으로 IoT 센서 디바이스(100)가 이용된다면 각 객체를 감지하기 위한 복수의 인공지능 학습모델이 구비된다.For example, if at least one IoT sensor device 100 connected to the IoT edge gateway 200 is used for the purpose of detecting the same object (eg, a human face), an artificial intelligence learning model for detecting the object is It is provided in the IoT edge gateway 200. In addition, if the IoT sensor device 100 is used for the purpose of sensing different objects, a plurality of artificial intelligence learning models for sensing each object are provided.

따라서 IoT 에지 게이트웨이(200)는 복원 이미지를 IoT 센서 디바이스(100)의 목적에 따라 인공지능 학습모델에 각각 입력하여 객체를 감지한다. Therefore, the IoT edge gateway 200 detects an object by inputting the reconstructed image to the artificial intelligence learning model according to the purpose of the IoT sensor device 100, respectively.

또한 IoT 에지 게이트웨이(200)는 객체를 감지한 결과를 IoT 서버(300)로 제공하여 데이터베이스(400)에 저장 및 관리할 수 있도록 한다.In addition, the IoT edge gateway 200 provides a result of detecting an object to the IoT server 300 so that it can be stored and managed in the database 400.

도 4는 본 발명의 일 실시예에 따른 객체 감지를 위한 인공지능 학습모델을 생성하는 방법을 설명하기 위해 나타낸 도면이다.4 is a diagram illustrating a method of generating an artificial intelligence learning model for object detection according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 서버(300)는 인공지능 학습네트워크를 통해 복수의 학습이미지로 구성된 학습데이터를 학습하여 객체 감지를 위한 인공지능 학습모델을 생성한다.As shown in FIG. 4, the IoT server 300 according to an embodiment of the present invention generates an artificial intelligence learning model for object detection by learning learning data composed of a plurality of learning images through an artificial intelligence learning network. .

학습데이터는 객체의 종류별로 분류한 복수의 학습이미지로 각각 구성된다.The learning data is composed of a plurality of learning images classified by object type.

또한 본 발명에서는 학습 네트워크 중 하나인 CNN을 통해 기계학습을 수행할 수 있다. 또한 IoT 서버(300)는 학습데이터를 인공지능 학습네트워트에 입력하여 기계학습을 수행한다.In addition, in the present invention, machine learning can be performed through CNN, which is one of the learning networks. In addition, the IoT server 300 performs machine learning by inputting learning data to an artificial intelligence learning network.

상기 인공지능 학습네트워크는 입력 레이어(input layer), 적어도 하나 이상의 컨볼루션 레이어(convolutional layer), 적어도 하나 이상의 풀링 레이어(pooling layer) 및 완전연결 레이어(fully connected layer)를 포함하여 구성된다.The artificial intelligence learning network includes an input layer, at least one convolutional layer, at least one pooling layer, and a fully connected layer.

또한 입력 레이어는 학습데이터를 구성하는 복수의 학습이미지를 입력받는다. 또한 컨볼루션 레이어는 학습이미지 상에서 특정 가중치를 가지는 커널(kernel)을 미리 설정한 스트라이드(커널의 이동단위)에 따라 이동해 가면서 상기 학습이미지의 특정 부분과 상기 커널의 가중치를 컨볼루션하여 상기 학습이미지에 대한 복수의 특징맵(feature map)을 생성하여 출력하는 기능을 수행한다.In addition, the input layer receives a plurality of learning images constituting the learning data. In addition, the convolution layer convolves a specific part of the learning image and the weight of the kernel while moving a kernel having a specific weight on the training image according to a preset stride (movement unit of the kernel) to obtain the learning image. It performs the function of generating and outputting a plurality of feature maps.

또한 풀링 레이어는 해당 풀링 레이어의 커널과 스트라이드에 따라 컨볼루션 레이어에서 출력한 특징맵을 맥스 풀링(max pooling) 또는 평균 풀링(average pooling)을 통해 풀링함으로써 서브 샘플링을 수행한다.Also, the pooling layer performs subsampling by pooling the feature map output from the convolution layer through max pooling or average pooling according to the kernel and stride of the corresponding pooling layer.

이때, 컨볼루션 레이어와 풀링 레이어는 쌍을 이루어, 컨볼루션과 서브 샘플링을 반복적으로 수행하여 학습이미지에 대한 특징맵을 생성하도록 구성된다. 즉, 컨볼루션 레이어와 풀링 레이어는 적어도 하나 이상의 쌍으로 구성될 수 있다.At this time, the convolution layer and the pooling layer are paired to generate a feature map for the training image by repeatedly performing convolution and subsampling. That is, the convolution layer and the pooling layer may be composed of at least one pair.

또한 완전연결 레이어는 풀링 레이어에서 서브 샘플링한 복수의 특징맵을 연결시켜 학습이미지에 포함된 객체에 대한 확률을 계산하여, 상기 학습이미지에 상기 객체에 대한 바운딩박스와 상기 계산한 확률을 표시하여 출력하도록 구성된다.In addition, the fully connected layer calculates the probability of an object included in the training image by connecting a plurality of feature maps subsampled by the pooling layer, displays the bounding box for the object and the calculated probability in the training image, and outputs the calculated probability. is configured to

이때, 완전연결 레이어는 확률을 계산한 결과, 사전에 설정한 임계값을 초과하지 않으면, 이에 대한 정보(객체 없음)를 출력하도록 구성될 수 있다.In this case, the fully-connected layer may be configured to output information (no object) when the probability is not exceeded as a result of calculating the probability.

또한 기계학습을 수행하는 과정에서, IoT 서버(300)는 이미 객체를 알고 있으므로, 백프로퍼게이션(back propagation) 과정을 통해 인공지능 학습네트워크의 가중치를 조정하여 상기 인공지능 학습네트워크의 출력에 대한 오차를 최소화하는 방향으로 조정한다.In addition, in the process of performing machine learning, since the IoT server 300 already knows the object, the weight of the artificial intelligence learning network is adjusted through a back propagation process so that the error for the output of the artificial intelligence learning network is adjusted in such a way as to minimize

또한 IoT 서버(300)는 객체의 종류에 따른 학습데이터를 각각 기계학습하여 감지할 객체의 종류에 따른 적어도 하나 이상의 인공지능 학습모델을 생성한다.In addition, the IoT server 300 performs machine learning on learning data according to the type of object to generate at least one artificial intelligence learning model according to the type of object to be sensed.

예를 들어, IoT 센서 디바이스(100)의 이용목적이 차량(자동차), 사람, 얼굴, 동물을 감지하기 위해 이용된다면, IoT 서버(300)는 자동차, 사람, 얼굴, 동물에 대한 복수의 학습이미지로 각각 구성된 학습데이터를 기계학습하여 차량, 사람, 얼굴 및 동물을 감지하기 위한 인공지능 학습모델을 각각 생성한다. For example, if the purpose of using the IoT sensor device 100 is to detect a vehicle (car), person, face, or animal, the IoT server 300 provides a plurality of learning images for the car, person, face, or animal. By machine learning the learning data composed of each, an artificial intelligence learning model for detecting vehicles, people, faces, and animals is created.

또한 기계학습을 수행할 때, 기계학습이 학습데이터에만 치우쳐 수행되어 실제 생성한 인공지능 학습모델에 복원한 이미지를 적용하였을 때 상기 인공지능 학습모델의 출력결과에서 오차가 현저하게 증가하는 현상인 과적합(overfittion)이 발생될 수 있다.In addition, when machine learning is performed, machine learning is biased only on learning data, and when the restored image is applied to the actually created artificial intelligence learning model, the error in the output result of the artificial intelligence learning model is significantly increased. Overfitting may occur.

따라서 본 발명은 완전연결 레이어에 드롭아웃(drop out)기법을 적용하여 상기 과적합을 방지함으로써 인공지능 학습모델의 출력결과의 정확도를 향상시킬 수 있도록 한다.Therefore, the present invention prevents the overfitting by applying a dropout technique to the fully connected layer, thereby improving the accuracy of the output result of the artificial intelligence learning model.

한편, 드롭아웃 기법은 인공지능 학습모델의 정확도를 향상시키기 위해 일반적으로 사용되는 것으로 상세한 설명은 생략한다.Meanwhile, the dropout technique is generally used to improve the accuracy of an artificial intelligence learning model, and a detailed description thereof will be omitted.

또한 IoT 서버(300)는 학습데이터가 업데이트되면 업데이트된 학습데이터를 반영하여 인공지능 학습모델을 업데이트할 수 있으며, 업데이트한 인공지능 학습모델을 데이터베이스(400)에 저장하거나, 업데이트한 인공지능 학습모델에 대한 학습파라미터를 IoT 에지 게이트웨이(300)로 제공하여 업데이트할 수 있도록 한다.In addition, when the learning data is updated, the IoT server 300 may update the artificial intelligence learning model by reflecting the updated learning data, and store the updated artificial intelligence learning model in the database 400 or update the artificial intelligence learning model. The learning parameters for are provided to the IoT edge gateway 300 so that they can be updated.

한편, 도 4에는 인공지능 학습네트워크를 CNN에 한정하여 설명하고 있으나, 이에 한정하지 않으며 YOLO5 등과 같은 다양한 인공지능 학습네트워크를 이용하여 기계학습을 수행할 수 있다.Meanwhile, in FIG. 4, the artificial intelligence learning network is limited to CNN, but it is not limited thereto, and machine learning can be performed using various artificial intelligence learning networks such as YOLO5.

YOLO5는 CSPDarkNet(cross stage partial dark network)이라고 하는 백본 아키텍처를 사용하는 것으로, 정확도가 높고 작은 물체를 감지하는 능력이 우수한 장점이 있다.YOLO5 uses a backbone architecture called CSPDarkNet (cross stage partial dark network), and has advantages of high accuracy and excellent ability to detect small objects.

도 5는 본 발명의 일 실시예에 따른 객체를 감지하는 방법을 설명하기 위해 나타낸 도면이다.5 is a diagram for explaining a method of detecting an object according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 에지 게이트웨이(200)는 IoT 디바이스(100)별로 수신한 압축 이미지를 복원하고, 복원한 복원 이미지를 인공지능 학습모델에 입력하여 상기 복원 이미지에 포함된 객체를 감지한다.As shown in FIG. 5, the IoT edge gateway 200 according to an embodiment of the present invention restores the compressed image received for each IoT device 100, and inputs the restored image to an artificial intelligence learning model to obtain the Detect objects included in the restored image.

또한 IoT 에지 게이트웨이(200)는 IoT 디바이스(100)별 이용목적(즉, 감지할 객체의 종류)에 따라 감지할 객체에 따른 인공지능 학습모델에 상기 복원 이미지를 각각 적용하여 객체를 각각 감지한다.In addition, the IoT edge gateway 200 detects each object by applying the restored image to an artificial intelligence learning model according to an object to be sensed according to the purpose of use for each IoT device 100 (ie, the type of object to be sensed).

예를 들어, 특정 IoT 센서 디바이스(100)의 이용목적이 사람을 감지하기 위한 것이라면, IoT 에지 게이트웨이(200)는 사람을 감지하기 위한 인공지능 학습모델에 복원 이미지를 입력함으로써 사람을 감지한다.For example, if the purpose of using a specific IoT sensor device 100 is to detect a person, the IoT edge gateway 200 detects a person by inputting a reconstructed image into an artificial intelligence learning model for detecting a person.

이때, 인공지능 학습모델의 입력은 복원 이미지가 되며, 출력은 감지한 객체에 대한 바운딩박스와 확률을 표시한 복원 이미지이다.At this time, the input of the artificial intelligence learning model becomes a reconstructed image, and the output is a reconstructed image displaying the bounding box and probability for the detected object.

이를 통해 IoT 에지 게이트웨이(200)는 각 IoT 센서 디바이스(200)별 압축 이미지를 복원 이미지로부터 객체를 감지할 수 있다.Through this, the IoT edge gateway 200 can detect an object from a compressed image for each IoT sensor device 200 and a reconstructed image.

도 6은 본 발명의 일 실시예에 따른 IoT 센서 디바이스와 IoT 에지 게이트웨이의 구성을 나타낸 도면이다.6 is a diagram showing the configuration of an IoT sensor device and an IoT edge gateway according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 센서 디바이스(100)는 압축센싱 레이트에 의해 제어되는 랜덤 샘플링을 포함한 압축센싱 기능을 구비하여 상기 압축센싱을 통해 이미지의 데이터량을 줄여 IoT 네트워크의 트래픽을 감소시키기 위한 것으로, 이미지 수신부(110), 압축센싱부(120) 및 압축 이미지 전송부(130)를 포함하여 구성된다.As shown in FIG. 6, the IoT sensor device 100 according to an embodiment of the present invention has a compression sensing function including random sampling controlled by a compression sensing rate, and the amount of data of an image is measured through the compression sensing. It is intended to reduce the traffic of the IoT network by reducing it, and is configured to include an image receiving unit 110, a compressed sensing unit 120, and a compressed image transmitting unit 130.

또한 이미지 수신부(110)는 카메라로부터 이미지를 수신하는 기능을 수행한다. 즉, 이미지 수신부(110)는 카메라의 프레임 레이트에 따라 이미지를 수신한다.Also, the image receiving unit 110 performs a function of receiving an image from a camera. That is, the image receiving unit 110 receives an image according to the frame rate of the camera.

예를 들어, 카메라의 프레임 레이트가 35fps이면 초당 35장의 이미지를 수신한다. 따라서 이미지를 수신하는 것으로 기재되어 있으나 결국 이미지 수신부(110)는 영상을 수신하는 것이며, 상기 이미지는 영상 프레임을 의미하는 것이다.For example, if the camera's frame rate is 35 fps, it receives 35 images per second. Therefore, although described as receiving an image, the image receiving unit 110 eventually receives an image, and the image means an image frame.

또한 압축센싱부(120)는 이미지에 대한 압축센싱을 수행하여 이미지 수신부(110)를 통해 수신한 이미지(원본 이미지)를 압축한 압축 이미지를 생성한다.Also, the compression sensing unit 120 performs compression sensing on the image to generate a compressed image obtained by compressing the image (original image) received through the image receiving unit 110 .

상기 압축센싱은 랜덤 샘플링 매트릭스와 사전에 설정한 압축센싱 레이트를 이용하여 이미지 수신부(110)를 통해 수신한 이미지의 픽셀을 무작위로 선택함으로써 수행된다. 이를 통해 전송할 데이터량을 감소시킨다.The compression sensing is performed by randomly selecting pixels of an image received through the image receiving unit 110 using a random sampling matrix and a previously set compression sensing rate. This reduces the amount of data to be transmitted.

한편, 압축센싱을 수행하는 것은 도 2를 참조하여 설명하였음으로 더 이상의 상세한 설명은 생략하도록 한다.Meanwhile, since performing the compression sensing has been described with reference to FIG. 2 , further detailed descriptions will be omitted.

또한 압축 이미지 전송부(130)는 압축 이미지를 IoT 에지 게이트웨이(200)로 전송하는 기능을 수행한다.In addition, the compressed image transmission unit 130 performs a function of transmitting the compressed image to the IoT edge gateway 200.

이때, 압축 이미지 전송부(130)는 IoT 센서 디바이스(100)의 식별자(ID)를 압축 이미지와 함께 전송할 수 있다.At this time, the compressed image transmission unit 130 may transmit the identifier (ID) of the IoT sensor device 100 together with the compressed image.

또한 IoT 에지 게이트웨이(200)는 적어도 하나 이상의 IoT 센서 디바이스(100)로부터 수신한 압축 이미지를 복원하여 객체를 감지하기 위한 것으로, 압축 이미지 수신부(210), 복원부(220), 객체 감지부(230) 및 감지결과 전송부(240)를 포함하여 구성된다.In addition, the IoT edge gateway 200 is for detecting an object by restoring a compressed image received from at least one IoT sensor device 100, and includes a compressed image receiving unit 210, a restoring unit 220, and an object detecting unit 230 ) and a detection result transmission unit 240.

또한 압축 이미지 수신부(210)는 IoT 에지 게이트웨이(200)와 함께 IoT 네트워크를 형성하는 적어도 하나 이상의 IoT 센서 디바이스(100)로부터 압축 이미지를 각각 수신하는 기능을 수행한다.In addition, the compressed image receiving unit 210 performs a function of receiving compressed images from at least one IoT sensor device 100 forming an IoT network together with the IoT edge gateway 200 .

또한 복원부(220)는 압축 이미지를 원본의 이미지에 가깝게 복원하기 위한 것으로, 압축센싱 복원부(221) 및 시간영역 변환부(222)를 포함하여 구성된다.In addition, the restoration unit 220 is for restoring the compressed image closer to the original image, and includes a compression sensing restoration unit 221 and a time domain conversion unit 222.

또한 압축센싱 복원부(221)는 L1 최소화 방법을 통해 압축 이미지에 대한 최적의 희소변환영역표현을 생성함으로써 상기 압축 이미지에 대한 압축센싱을 복원한다.In addition, the compression sensing restoration unit 221 restores compression sensing for the compressed image by generating an optimal sparse transform region expression for the compressed image through the L1 minimization method.

또한 시간영역 변환부(222)는 희소변환영역표현을 시간영역 변환 매트릭스를 이용하여 시간영역으로 변환함으로써 최종적으로 압축 이미지를 복원한 복원 이미지를 출력한다.In addition, the time domain transform unit 222 converts the sparse transformation domain expression into the time domain using a time domain transformation matrix, thereby outputting a restored image obtained by restoring the compressed image.

한편, 압축센싱 복원과 시간영역 변환은 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.Meanwhile, since compression sensing restoration and time domain conversion have been described with reference to FIG. 3, further detailed descriptions will be omitted.

또한 객체 감지부(230)는 인공지능 학습모델에 복원 이미지를 적용하여 상기 복원 이미지에 포함된 객체를 감지하는 기능을 수행한다.In addition, the object detecting unit 230 performs a function of detecting an object included in the restored image by applying the restored image to the artificial intelligence learning model.

또한 인공지능 학습모델은 적어도 하나 이상의 IoT 센서 디바이스(100)의 이용목적에 따라 특정 객체를 감지하기 위해서 복수개로 구비됨은 상술한 바와 같다.In addition, as described above, the artificial intelligence learning model is provided in plurality in order to detect a specific object according to the purpose of using the at least one IoT sensor device 100.

따라서 객체 감지부(230)는 복원한 이미지를 IoT 센서 디바이스(100)로 분류하여 각 IoT 센서 디바이스(100)의 이용목적에 따른 인공지능 학습모델에 복원 이미지를 각각 적용한다.Therefore, the object detecting unit 230 classifies the restored image into the IoT sensor device 100 and applies the restored image to the artificial intelligence learning model according to the purpose of use of each IoT sensor device 100, respectively.

또한 인공지능 학습모델은 복원 이미지를 입력으로 하며, 상기 입력한 복원 이미지에 감지한 객체에 대한 바운딩박스와 상기 객체일 확률을 표시하여 출력한다.In addition, the artificial intelligence learning model takes a restored image as an input, and displays and outputs a bounding box for a detected object and a probability that the object is the object in the input restored image.

또한 감지결과 전송부(240)는 객체 감지부(230)에서 객체를 감지한 감지결과를 IoT 서버(300)로 전송하여, 상기 IoT 서버(300)에서 감지결과를 IoT 센서 디바이스(100)별로 저장 및 관리할 수 있도록 한다.In addition, the detection result transmission unit 240 transmits the detection result of object detection by the object detection unit 230 to the IoT server 300, and the IoT server 300 stores the detection result for each IoT sensor device 100. and to be able to manage.

이하에서는 도 7 및 도 8을 참조하여 본 발명의 사물 인공지능 시스템(10)에서 압축센싱을 통한 데이터 트래픽을 감소시키는 방법을 설명하도록 한다.Hereinafter, a method of reducing data traffic through compression sensing in the artificial intelligence system 10 of the present invention will be described with reference to FIGS. 7 and 8 .

도 7은 본 발명의 일 실시예에 따른 압축센싱을 통한 압축 이미지의 생성과 압축 이미지를 복원하는 절차를 나타낸 흐름도이다.7 is a flowchart illustrating a procedure of generating a compressed image through compression sensing and restoring the compressed image according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 압축센싱을 통한 압축 이미지의 생성과 압축 이미지를 복원하는 절차는 우선, IoT 센서 디바이스(100)에서, 카메라로부터 이미지를 수신하는 이미지 수신 단계(S110)를 수행한다.As shown in FIG. 7, in the procedure of generating a compressed image and restoring the compressed image through compression sensing according to an embodiment of the present invention, first, the IoT sensor device 100 receives an image from a camera. Step S110 is performed.

상기 이미지는 카메라의 프레임 레이트에 따라 수신됨은 상술한 바와 같다.As described above, the image is received according to the frame rate of the camera.

다음으로 IoT 센서 디바이스(100)에서 이미지에 대한 압축센싱을 수행하여 데이터량을 줄인 압축 이미지를 생성하는 압축센싱 단계를 수행한다(S120).Next, a compression sensing step of generating a compressed image with a reduced amount of data by performing compression sensing on the image in the IoT sensor device 100 is performed (S120).

상기 압축센싱은 압축센싱 레이트에 따른 랜덤 샘플링 매트릭스를 이용하여 카메라로부터 수신한 이미지의 픽셀을 무작위로 선택함으로써 수행됨은 상술한 바와 같다.As described above, the compression sensing is performed by randomly selecting pixels of an image received from a camera using a random sampling matrix according to a compression sensing rate.

한편, 도 7에는 도시하지 않았으나, IoT 에지 게이트웨이(200)에서 각 IoT 센서 디바이스(100)별로 압축센싱 레이트를 튜닝하여 미리 설정할 수 있으며, 상기 압축센싱 레이트를 설정하는 것은 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.On the other hand, although not shown in FIG. 7, the compressed sensing rate can be tuned and preset for each IoT sensor device 100 in the IoT edge gateway 200, and setting the compressed sensing rate has been described with reference to FIG. 2. Further detailed descriptions are omitted.

다음으로 IoT 센서 디바이스(100)에서, 압축 이미지를 IoT 에지 게이트웨이(200)로 전송하는 압축 이미지 전송 단계를 수행한다(S130).Next, the IoT sensor device 100 performs a compressed image transmission step of transmitting the compressed image to the IoT edge gateway 200 (S130).

또한 IoT 에지 게이트웨이(200)는 적어도 하나 이상의 IoT 센서 디바이스(100)로부터 압축 이미지를 수신하는 압축 이미지 수신 단계를 수행한다(S210).In addition, the IoT edge gateway 200 performs a compressed image reception step of receiving a compressed image from at least one or more IoT sensor devices 100 (S210).

다음으로 IoT 에지 게이트웨이(200)는 압축 이미지를 복원하는 복원 단계를 수행한다.Next, the IoT edge gateway 200 performs a restoration step of restoring the compressed image.

또한 복원 단계는 L1 최소화 방법을 이용하여 상기 압축 이미지로부터 원본 이미지에 대한 희소변환영역표현을 생성하는 압축센싱 복원 단계(S220) 및 상기 생성한 희소변환영역표현에 시간영역으로 변환하기 위한 시간영역 변환 매트릭스를 적용하여 상기 희소변환영역표현을 시간영역으로 변환함으로써 최종적으로 압축 이미지를 복원하는 시간영역 변환 단계(S230)를 포함하여 구성된다.In addition, the restoration step includes a compression sensing restoration step (S220) of generating a sparse transform domain expression for the original image from the compressed image using the L1 minimization method, and time domain conversion for converting the generated sparse transform domain expression into a time domain. and a time domain conversion step (S230) of finally restoring a compressed image by converting the sparse transform domain expression into a time domain by applying a matrix.

한편, 압축 이미지를 복원하는 것은 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.Meanwhile, since restoring the compressed image has been described with reference to FIG. 3 , further detailed description will be omitted.

이후, IoT 에지 게이트웨이(200)는 IoT 센서 디바이스(100)별 이용목적에 따라 복원한 복원 이미지로부터 객체를 감지하는 객체 감지 단계를 수행한다.Thereafter, the IoT edge gateway 200 performs an object detection step of detecting an object from the reconstructed image according to the purpose of use for each IoT sensor device 100.

상기 객체 감지 단계는 도 8을 참조하여 상세히 설명하도록 한다.The object detection step will be described in detail with reference to FIG. 8 .

도 8은 본 발명의 일 실시예에 따른 인공지능 학습모델의 생성과 객체를 감지하는 절차를 나타낸 흐름도이다.8 is a flowchart illustrating a procedure for generating an artificial intelligence learning model and detecting an object according to an embodiment of the present invention.

도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IoT 서버(300)는 인공지능 학습모델을 생성하기 위해서, 데이터베이스(400)에 저장된 학습데이터를 로딩한다(S310).As shown in FIG. 8, the IoT server 300 according to an embodiment of the present invention loads learning data stored in the database 400 to generate an artificial intelligence learning model (S310).

학습데이터는 사전에 미리 수집된 것으로, 객체의 종류에 따라 복수의 학습이미지로 구성됨은 상술한 바와 같다.The learning data is collected in advance, and is composed of a plurality of learning images according to the type of object as described above.

다음으로 IoT 서버(300)는 인공지능 학습네트워크를 통해 학습데이터를 감지 대상(즉, 감지할 객체의 종류)별로 기계학습하여 감지 대상에 따른 복수의 인공지능 학습모델을 생성하여 데이터베이스(400)에 저장한다(S320).Next, the IoT server 300 machine-learns the learning data for each detection target (ie, the type of object to be detected) through the artificial intelligence learning network, generates a plurality of artificial intelligence learning models according to the detection target, and stores the data in the database 400. Save (S320).

인공지능 학습모델은 사전에 미리 생성되며, 데이터베이스(400)에 저장되거나 IoT 서버(300)에서 IoT 에지 게이트웨이(200)로 제공될 수 있다. 한편, 상기 인공지능 학습모델을 생성하는 것은 도 4를 참조하여 설명하였으므로 여기서는 생략한다.The artificial intelligence learning model may be created in advance and stored in the database 400 or provided to the IoT edge gateway 200 from the IoT server 300. Meanwhile, since the creation of the artificial intelligence learning model has been described with reference to FIG. 4, it will be omitted here.

또한 IoT 에지 게이트웨이(200)는 복원 단계(S410)를 통해 복원한 복원 이미지를 인공지능 학습모델에 입력하여 객체를 감지하는 객체 감지 단계를 수행한다(S410). 상기 복원 단계는 도 7을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.In addition, the IoT edge gateway 200 performs an object detection step of detecting an object by inputting the restored image restored through the restoration step (S410) to the artificial intelligence learning model (S410). Since the restoring step has been described with reference to FIG. 7 , further detailed descriptions are omitted.

또한 객체 감지 단계는 복원한 이미지를 IoT 센서 디바이스(100)의 이용목적에 따라 데이터베이스(400)에 저장된 인공지능 학습모델을 액세스(로딩)하여, 상기 인공지능 학습모델에 복원 이미지를 각각 입력함으로써 각 복원 이미지에 포함된 객체를 감지한다. 상기 객체를 감지하는 것은 도 5 및 도 6을 참조하여 설명하였으므로 여기서는 생략하도록 한다.In addition, the object detection step accesses (loads) the artificial intelligence learning model stored in the database 400 according to the purpose of using the IoT sensor device 100 and inputs the restored image into the artificial intelligence learning model, respectively. Detect objects included in the restored image. Since sensing the object has been described with reference to FIGS. 5 and 6 , it will be omitted here.

다음으로 IoT 에지 게이트웨이(200)는 객체를 감지한 감지결과를 IoT 서버(300)로 전송하는 감지결과 전송 단계를 수행한다(S430).Next, the IoT edge gateway 200 performs a detection result transmission step of transmitting the detection result of detecting the object to the IoT server 300 (S430).

이때, 감지결과를 전송할 때, IoT 디바이스(100)의 식별자를 함께 전송한다.At this time, when transmitting the detection result, the identifier of the IoT device 100 is also transmitted.

이후, IoT 서버(300)는 IoT 에지 게이트웨이(200)로부터 수신되는 감지결과를 IoT 디바이스(100)별로 분류하여 데이터베이스(400)에 저장 및 관리하는 단계를 수행한다. Thereafter, the IoT server 300 classifies the sensing results received from the IoT edge gateway 200 for each IoT device 100 and stores and manages them in the database 400 .

이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 사물 인공지능 시스템은 압축센싱을 통해 이미지를 압축하여 전송함으로서 IoT 네트워크의 트래픽을 감소시키거나 전체 IoT 센서 디바이스의 수를 증가시킬 수 있는 효과가 있다.As described above, the artificial intelligence system for things according to an embodiment of the present invention compresses and transmits an image through compression sensing, thereby reducing the traffic of the IoT network or increasing the number of IoT sensor devices. there is.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.In the above, the preferred embodiments according to the present invention have been described, but the technical spirit of the present invention is not limited thereto, and each component of the present invention is changed or modified within the technical scope of the present invention to achieve the same purpose and effect. It could be.

아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and without departing from the gist of the present invention claimed in the claims, in the technical field to which the present invention belongs Various modified implementations are possible by those skilled in the art, and these modified implementations should not be individually understood from the technical spirit or perspective of the present invention.

10: 사물 인공지능 시스템 100: IoT 센서 디바이스
110: 이미지 수신부 120: 압축센싱부
130: 압축 이미지 전송부 200: IoT 에지 게이트웨이
210: 압축 이미지 수신부 220: 복원부
221: 압축센싱 복원부 222: 시간영역 변환부
230: 객체 감지부 240: 감지결과 전송부10: AI system of things 100: IoT sensor device
110: image receiving unit 120: compression sensing unit
130: compressed image transmission unit 200: IoT edge gateway
210: compressed image receiving unit 220: restoring unit
221: compression sensing restoration unit 222: time domain conversion unit
230: object detection unit 240: detection result transmission unit

Claims (10)

압축센싱 레이트(compressed sensing rate)에 의해 제어되는 랜덤 샘플링을 포함한 압축센싱 기능을 구비한 적어도 하나 이상의 IoT 센서 디바이스; 및
상기 압축센싱에 대한 복원과 상기 복원한 결과를 이용하여 객체 감지를 수행하는 IoT 에지 게이트웨이;를 포함하며,
상기 압축센싱을 통해 이미지를 압축하여 전송함으로써 IoT 네트워크의 데이터 트래픽을 감소시키는 것을 포함하는 것을 특징으로 하는 사물 인공지능 시스템.at least one IoT sensor device having a compressed sensing function including random sampling controlled by a compressed sensing rate; and
An IoT edge gateway for restoring the compressed sensing and performing object detection using the restored result,
The object artificial intelligence system comprising reducing data traffic of an IoT network by compressing and transmitting an image through the compression sensing. 청구항 1에 있어서,
상기 IoT 센서 디바이스는,
상기 압축센싱 레이트에 따라 상기 이미지의 픽셀을 무작위로 선택하는 랜덤 샘플링 매트릭스를 상기 이미지에 적용하여 상기 이미지를 압축하는 압축센싱부; 및
상기 압축한 이미지를 상기 IoT 에지 게이트웨이로 전송하는 압축 이미지 전송부;를 포함하는 것을 특징으로 하는 사물 인공지능 시스템.The method of claim 1,
The IoT sensor device,
a compression sensing unit for compressing the image by applying a random sampling matrix for randomly selecting pixels of the image according to the compression sensing rate; and
and a compressed image transmitter for transmitting the compressed image to the IoT edge gateway. 청구항 1에 있어서,
상기 압축센싱 레이트는,
감지할 객체의 종류나 네트워크 대역폭에 따라 각 상기 IoT 센서 디바이스별로 설정되며, 상기 IoT 에지 게이트웨이에서, 압축센싱 레이트를 변경해 가면서 상기 IoT 센서 디바이스별로 이미지를 압축하도록 하고, 다시 복원하여 객체를 감지한 결과, 사전에 설정한 감지 정확도의 임계값을 초과하는 경우에 해당하는 압축센싱 레이트를 선택하여 상기 IoT 센서 디바이스로 제공함으로써 설정하거나, 상기 네트워크 대역폭을 초과하지 않는 범위에서 각 상기 IoT 센서 디바이스별로 압축센싱 레이트를 지정하여 설정하거나, 또는 이들의 조합을 통해서 설정하는 것을 포함하는 것을 특징으로 하는 사물 인공지능 시스템.The method of claim 1,
The compression sensing rate is,
It is set for each IoT sensor device according to the type of object to be detected or the network bandwidth, and in the IoT edge gateway, the image is compressed for each IoT sensor device while changing the compression sensing rate, and the result of detecting the object by restoring it , Set by selecting a compressed sensing rate corresponding to the case of exceeding a pre-set detection accuracy threshold and providing it to the IoT sensor device, or compressing sensing for each IoT sensor device within a range that does not exceed the network bandwidth An object artificial intelligence system comprising setting a rate by designating it or setting it through a combination thereof. 청구항 1에 있어서,
상기 IoT 에지 게이트웨이는,
상기 적어도 하나 이상의 IoT 센서 디바이스로부터 수신한 상기 압축한 이미지를 복원하는 복원부; 및
상기 복원한 이미지를 인공지능 학습모델에 입력하여 상기 객체를 감지하는 객체 감지부;를 포함하며,
상기 인공지능 학습모델은 감지할 객체의 종류에 따라 적어도 하나 이상으로 구비되는 것을 포함하는 것을 특징으로 하는 사물 인공지능 시스템.The method of claim 1,
The IoT edge gateway,
a restoration unit restoring the compressed image received from the at least one or more IoT sensor devices; and
An object detection unit configured to sense the object by inputting the restored image to an artificial intelligence learning model;
The artificial intelligence system for things, characterized in that the artificial intelligence learning model comprises at least one provided according to the type of object to be sensed. 청구항 4에 있어서,
상기 압축한 이미지를 복원하는 것은,
L1 최소화 방법을 이용하여 상기 압축한 이미지로부터 원래 이미지의 희소변환영역표현(sparse transform domain representation)을 생성하고, 상기 생성한 희소변환영역표현에 시간영역 변환 매트릭스를 적용하여 상기 희소변환영역표현을 시간영역의 이미지로 변환하는 시간영역 변환함으로써 수행되는 것을 포함하는 것을 특징으로 하는 사물 인공지능 시스템.The method of claim 4,
Restoring the compressed image,
A sparse transform domain representation of the original image is generated from the compressed image using the L1 minimization method, and a time domain transform matrix is applied to the generated sparse transform domain representation to convert the sparse transform domain representation into time domain representation. An artificial intelligence system for objects, comprising performing time domain conversion to convert into an image of the domain. 청구항 1에 있어서,
상기 사물 인공지능 시스템은,
상기 객체를 감지한 결과를 IoT 에지 게이트웨이로부터 수신 받아 IoT 센서 디바이스별로 저장 및 관리하는 IoT 서버;를 더 포함하며,
상기 IoT 서버는,
감지할 객체의 종류에 따라 인공지능 학습모델을 각각 생성하여 상기 IoT 에지 게이트웨이로 제공하는 것을 더 포함하는 것을 특징으로 하는 사물 인공지능 시스템. The method of claim 1,
The object artificial intelligence system,
An IoT server receiving the result of detecting the object from the IoT edge gateway and storing and managing it for each IoT sensor device;
The IoT server,
The object artificial intelligence system further comprising generating each artificial intelligence learning model according to the type of object to be detected and providing it to the IoT edge gateway. IoT 센서 디바이스에서, 압축센싱 레이트에 의해 제어되는 랜덤 샘플링을 포함하는 압축센싱을 통해 이미지를 압축하는 압축센싱 단계;
IoT 에지 게이트웨이에서, 상기 압축한 이미지를 복원하는 복원 단계; 및
상기 IoT 에지 게이트웨이에서, 상기 복원한 이미지를 이용하여 객체를 감지하는 객체 감지 단계;를 포함하며,
상기 압축센싱을 통해 이미지를 압축하여 송수신함으로써 IoT 네트워크의 데이터 트래픽을 감소시키는 것을 포함하는 것을 특징으로 하는 방법. In the IoT sensor device, a compression sensing step of compressing an image through compression sensing including random sampling controlled by a compression sensing rate;
Restoring the compressed image at the IoT edge gateway; and
In the IoT edge gateway, an object detection step of detecting an object using the restored image; includes,
A method comprising reducing data traffic of an IoT network by compressing and transmitting and receiving an image through the compression sensing. 청구항 7에 있어서,
상기 압축센싱 단계는,
상기 압축센싱 레이트에 따라 상기 이미지의 픽셀을 무작위로 선택하는 랜덤 샘플링 매트릭스를 상기 이미지에 적용하여 상기 이미지를 압축하며,
상기 압축 이미지는, 상기 IoT 에지 게이트웨이로 전송되며,
상기 압축센싱 레이트는, 감지할 객체의 종류나 네트워크 대역폭에 따라 각 상기 IoT 센서 디바이스별로 설정되며, 상기 IoT 에지 게이트웨이에서, 압축센싱 레이트를 변경해 가면서 상기 IoT 센서 디바이스별로 이미지를 압축하도록 하고, 다시 복원하여 객체를 감지한 결과, 사전에 설정한 감지 정확도의 임계값을 초과하는 경우에 해당하는 압축센싱 레이트를 선택하여 상기 IoT 센서 디바이스로 제공함으로써 설정하거나, 상기 네트워크 대역폭을 초과하지 않는 범위에서 각 상기 IoT 센서 디바이스별로 압축센싱 레이트를 지정하여 설정하거나, 또는 이들의 조합을 통해서 설정하는 것을 포함하는 것을 특징으로 하는 방법.The method of claim 7,
In the compression sensing step,
Compressing the image by applying a random sampling matrix for randomly selecting pixels of the image according to the compression sensing rate to the image;
The compressed image is transmitted to the IoT edge gateway,
The compressed sensing rate is set for each IoT sensor device according to the type of object to be sensed or network bandwidth, and the IoT edge gateway compresses the image for each IoT sensor device while changing the compressed sensing rate, and restores it again As a result of detecting the object, select the compressed sensing rate corresponding to the case where the threshold of detection accuracy set in advance is exceeded and set it by providing it to the IoT sensor device, or set each of the above within the range that does not exceed the network bandwidth A method comprising specifying and setting a compression sensing rate for each IoT sensor device, or setting through a combination thereof. 청구항 7에 있어서,
상기 복원 단계는,
L1 최소화 방법을 이용하여, 상기 IoT 센서 디바이스로부터 수신한 상기 압축한 이미지로부터 원래 이미지의 희소변환영역표현을 생성하고, 상기 생성한 희소변환영역표현에 시간영역 변환 매트릭스를 적용하여 상기 희소변환영역표현을 시간영역의 이미지로 변환함으로써 상기 압축한 이미지를 복원하는 것을 포함하는 것을 특징으로 하는 방법.The method of claim 7,
The restoration step is
Using the L1 minimization method, a sparse transformation area representation of an original image is generated from the compressed image received from the IoT sensor device, and a time domain transformation matrix is applied to the generated sparse transformation area expression to express the sparse transformation area. characterized in that it comprises restoring the compressed image by converting to an image in the time domain. 청구항 9에 있어서,
상기 객체 감지 단계는,
상기 복원한 이미지를 인공지능 학습모델에 입력하여 상기 객체를 감지하며,
상기 인공지능 학습모델은, 감지할 객체의 종류에 따라 적어도 하나 이상으로 구비되는 것을 포함하는 것을 특징으로 하는 방법.The method of claim 9,
The object detection step,
The restored image is input to an artificial intelligence learning model to detect the object,
The method characterized in that the artificial intelligence learning model comprises at least one or more provided according to the type of object to be sensed.
KR1020220002763A 2022-01-07 2022-01-07 System for artificial intelligence of things KR102586652B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220002763A KR102586652B1 (en) 2022-01-07 2022-01-07 System for artificial intelligence of things

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220002763A KR102586652B1 (en) 2022-01-07 2022-01-07 System for artificial intelligence of things

Publications (2)

Publication Number Publication Date
KR20230107440A true KR20230107440A (en) 2023-07-17
KR102586652B1 KR102586652B1 (en) 2023-10-10

Family

ID=87430268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220002763A KR102586652B1 (en) 2022-01-07 2022-01-07 System for artificial intelligence of things

Country Status (1)

Country Link
KR (1) KR102586652B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142374A (en) * 2019-06-12 2020-12-22 삼성전자주식회사 Method for selecting artificial intelligience model based on input data and disaply apparatus for performing the same method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142374A (en) * 2019-06-12 2020-12-22 삼성전자주식회사 Method for selecting artificial intelligience model based on input data and disaply apparatus for performing the same method thereof

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hamza Djelouat et al., ‘Compressive Sensing-Based IoT Applications: A Review’, 2018.10.22.* *
Hye-Min Kwon et al., ‘Data Traffic Reduction with Compressed Sensing in an AIoT System’, 2021.09.07.* *
Liang Feng et al., ‘A Multi-tier Data Reduction Mechanism for IoT Sensors’, 2017.10.22.* *

Also Published As

Publication number Publication date
KR102586652B1 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
US10542398B2 (en) System, method and apparatus for sensing changes in an environment using wireless communication signals
US20230019669A1 (en) Systems and methods for enhanced feedback for cascaded federated machine learning
Unde et al. Block compressive sensing: Individual and joint reconstruction of correlated images
JP2017055421A (en) Multiple description coding with plural combined diversity
JPWO2017038100A1 (en) Monitoring server, distributed processing determination method, and program
US10484750B2 (en) Methods, radio communication device and base station device for managing a media stream
Irgan et al. Low-cost prioritization of image blocks in wireless sensor networks for border surveillance
US20220067417A1 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
Felici-Castell et al. Adaptive live video streaming on low-cost wireless multihop networks for road traffic surveillance in smart cities
Hong et al. Optimizing cloud-based video crowdsensing
Kwon et al. Data traffic reduction with compressed sensing in an AIoT system
US20230269158A1 (en) Method and apparatus for handling performance of edge network entities in a mobile communication system
KR102586652B1 (en) System for artificial intelligence of things
Hasan et al. A color frame reproduction technique for IoT-based video surveillance application
Wu et al. Compressed sensing based traffic prediction for 5G HetNet IoT video streaming
Barathy Two-level data aggregation for WMSNs employing a novel VBEAO and HOSVD
Alsmirat et al. Cross-layer optimization for automated video surveillance
Singh et al. Energy-efficient approach towards video-based sensor networks (wireless) beneath barrier coverage
US20230176915A1 (en) Method and device for providing split computing based on device capability
Pal et al. Low overhead spatiotemporal video compression over smartphone based delay tolerant network
Sakaushi et al. Edge-centric video surveillance system based on event-driven rate adaptation for 24-hour monitoring
Guo et al. DeepStream: Bandwidth efficient multi-camera video streaming for deep learning analytics
Pal et al. An energy-saving video compression targeting face recognition of disaster victim
Gholamnejad Davani et al. Experimental analysis of bandwidth allocation in automated video surveillance systems
JP2021039642A (en) Object identification method for determining object identification position using encoding parameter, device and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant