JP6832025B1 - Communication system for IoT device management - Google Patents

Communication system for IoT device management Download PDF

Info

Publication number
JP6832025B1
JP6832025B1 JP2020069236A JP2020069236A JP6832025B1 JP 6832025 B1 JP6832025 B1 JP 6832025B1 JP 2020069236 A JP2020069236 A JP 2020069236A JP 2020069236 A JP2020069236 A JP 2020069236A JP 6832025 B1 JP6832025 B1 JP 6832025B1
Authority
JP
Japan
Prior art keywords
server
message
iot device
data
mqtt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020069236A
Other languages
Japanese (ja)
Other versions
JP2021166350A (en
Inventor
浜田 晴夫
晴夫 浜田
隆朗 原田
隆朗 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mtes Neural Networks
Original Assignee
Mtes Neural Networks
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mtes Neural Networks filed Critical Mtes Neural Networks
Priority to JP2020069236A priority Critical patent/JP6832025B1/en
Application granted granted Critical
Publication of JP6832025B1 publication Critical patent/JP6832025B1/en
Publication of JP2021166350A publication Critical patent/JP2021166350A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】IoT機器とゲートウェイ装置等との間に適用される強固で軽量化された暗号方式を採用した通信システムを提供する。【解決手段】IoT機器とゲートウェイ装置等との間の暗号化通信において、IoT機器に特化しメッセージ長の短いメッセージ交換プロトコル、計算処理負荷の低くかつ強固な暗号化方式、都度の認証手続を不要とする暗号化方式、送信データの属性に応じて複数の送信経路を併用する通信方式の組み合わせを採用する。【選択図】図1PROBLEM TO BE SOLVED: To provide a communication system adopting a strong and lightweight encryption method applied between an IoT device and a gateway device or the like. SOLUTION: In encrypted communication between an IoT device and a gateway device or the like, a message exchange protocol having a short message length specialized for the IoT device, a strong encryption method with a low calculation processing load, and an authentication procedure each time are unnecessary. A combination of the encryption method and the communication method that uses multiple transmission paths together according to the attributes of the transmission data is adopted. [Selection diagram] Fig. 1

Description

本発明は、IoT機器とゲートウェイ装置、サーバ装置、クライアント端末等との間に適用される通信システムに関し、特に、IoT機器の性能に応じた軽量化された暗号方式を採用した通信システムに関するものである。 The present invention relates to a communication system applied between an IoT device and a gateway device, a server device, a client terminal, etc., and more particularly to a communication system adopting a lightweight encryption method according to the performance of the IoT device. is there.

IoT(Internet of Things)機器とは、情報処理機能及び通信機能を有し他機器とネットワーク接続して相互作用することが可能なあらゆる種類の電子機器のことを言う。例えば、各種の測定機器、撮像装置、セキュリティ装置、センサ、ロボット、車載装置、無人航空機、家電、住宅設備などがIoT機器として既に実用化されている。これらのIoT機器がゲートウェイ装置、サーバ装置、クライアント端末等と通信を行い、自機の動作情報や測定情報などを送信することで、システム運用者側では、現場のリアルタイムな監視・管理・問題対処、IoT機器に対するリアルタイムかつ臨機応変な制御などが可能となっている。 An IoT (Internet of Things) device is an electronic device of any kind that has an information processing function and a communication function and can interact with other devices by connecting to a network. For example, various measuring devices, imaging devices, security devices, sensors, robots, in-vehicle devices, unmanned aerial vehicles, home appliances, housing equipment, etc. have already been put into practical use as IoT devices. These IoT devices communicate with gateway devices, server devices, client terminals, etc., and transmit operation information and measurement information of their own devices, so that the system operator can monitor, manage, and deal with problems in real time on site. , Real-time and flexible control of IoT devices is possible.

昨今のAI技術の発展による第4次産業革命と次世代無線通信規格である5Gの普及により、IoT機器の普及が一気に進むとみられている。その一方で、従来のIoT機器は、サイバー攻撃に対し非常に脆弱であり、データ盗難、なりすまし、データ改ざんといった攻撃対象となったり、そのような攻撃のための踏み台として利用される事態も発生している。 With the recent development of AI technology and the fourth industrial revolution and the spread of 5G, which is the next-generation wireless communication standard, it is expected that the spread of IoT devices will progress at a stretch. On the other hand, conventional IoT devices are extremely vulnerable to cyber attacks, and may be the target of attacks such as data theft, spoofing, and data tampering, or may be used as a stepping stone for such attacks. ing.

その対処として、従来インターネット通信や電子機器間の無線通信で利用されている暗号方式、例えば、DES、AESといった共通鍵方式の暗号方式やRSA、SSL/TLSなどの公開鍵方式の暗号方式を利用して、IoT機器とゲートウェイ装置、サーバ装置、クライアント端末等との間の通信を暗号化することが提案されている。 As a countermeasure, the encryption methods conventionally used for Internet communication and wireless communication between electronic devices, for example, common key encryption methods such as DES and AES, and public key encryption methods such as RSA and SSL / TLS are used. It has been proposed to encrypt the communication between the IoT device and the gateway device, the server device, the client terminal, and the like.

特開2019−57867号公報JP-A-2019-57867

IBM「MQTT V3.1 プロトコル仕様」 (http://public.dhe.ibm.com/software/dw/jp/websphere/wmq/mqtt31_spec/mqtt-v3r1_ja.pdf)IBM "MQTT V3.1 Protocol Specification" (http://public.dhe.ibm.com/software/dw/jp/websphere/wmq/mqtt31_spec/mqtt-v3r1_ja.pdf) The SIMON and SPECK Families of Lightweight Block Ciphers (https://eprint.iacr.org/2013/404)The SIMON and SPECK Families of Lightweight Block Ciphers (https://eprint.iacr.org/2013/404)

IoT機器の特徴として、情報処理性能(コンピューティング能力、回路規模、使用可能電力、スループット、通信速度等)が限られたものが多いこと、人による細やかな管理が及びづらいことが挙げられる。
前者の特徴については、現在広く利用されているAES、RSAといった強固な暗号方式を適用しようとしても、計算負荷が高いため機器本来の機能を実行するためのリソースを圧迫することとなり、結局、適用がされないか、より軽量ではあるが脆弱な暗号方式を適用するほかないという問題があった。
後者の特徴については、IoT機器に一度記憶させた暗号化キーは、変更されることがほとんどないため、暗号化キーが盗まれたり、漏洩した場合、発覚するまでに長い時間がかかり、取り返しのつかない損害が発生しているという事態になるという問題があった。
The characteristics of IoT devices are that many of them have limited information processing performance (computing ability, circuit scale, usable power, throughput, communication speed, etc.), and that it is difficult for humans to perform detailed management.
Regarding the former feature, even if you try to apply strong encryption methods such as AES and RSA, which are widely used at present, the computational load is high, which puts pressure on the resources for executing the original functions of the device, and eventually it is applied. There was a problem that it was not done or there was no choice but to apply a lighter but weaker encryption method.
Regarding the latter feature, the encryption key once stored in the IoT device is rarely changed, so if the encryption key is stolen or leaked, it will take a long time to be discovered and it will be recovered. There was a problem that the damage was not good enough.

本発明は、このような実情に鑑みてなされたものであり、IoT機器とゲートウェイ装置等との間に適用される強固で軽量化された暗号方式を採用した通信システムを提供しようとするものである。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a communication system adopting a strong and lightweight encryption method applied between an IoT device and a gateway device or the like. is there.

上記解決課題に鑑みて鋭意研究の結果、本発明者は、IoT機器とゲートウェイ装置等との間の暗号化通信において、
IoT機器に特化したメッセージ長の短いメッセージ交換プロトコル
計算処理負荷の低くかつ強固な暗号化方式
都度の認証手続を不要とする暗号化方式
送信データの属性に応じて複数の送信経路を併用する通信方式
を採用することにより、上記の諸問題を解決できることに想到し、本発明を成すに至った。
As a result of diligent research in view of the above-mentioned problems, the present inventor has been involved in encrypted communication between an IoT device and a gateway device or the like.
Message exchange protocol with a short message length specialized for IoT devices A strong encryption method with a low calculation processing load An encryption method that does not require an authentication procedure each time Communication that uses multiple transmission paths together according to the attributes of the transmission data By adopting the method, it was conceived that the above problems could be solved, and the present invention was achieved.

より具体的には、本発明は、対象物についてのセンシングデータを定常的に取得しており、当該センシングデータと自機又は対象物の状態に関するメッセージとを発信するIoT機器と前記IoT機器からセンシングデータを受信し蓄積する蓄積サーバと、前記IoT機器からメッセージを受信し、少なくともメッセージ内容及び投稿先に関する所定の定義に基づいて、外部サービスに投稿する外部投稿サーバと、前記IoT機器と前記外部投稿サーバとの間のメッセージ送受信を中継するゲートウェイサーバとから構成されるIoT機器管理のための通信システムであって、前記ゲートウェイサーバは、前記各IoT機器及び前記外部投稿サーバの各々がメッセージを受信する対象となる前記IoT機器又は前記外部投稿サーバを指定したサブスクライブ情報を記憶しており、前記IoT機器又は前記外部投稿サーバからメッセージを受信すると、当該サブスクライブ情報に基づき、対象となる前記各IoT機器及び/又は前記外部投稿サーバに当該メッセージを送信することを特徴とする通信システムを提供するものである。 More specifically, the present invention constantly acquires sensing data about an object, and senses from the IoT device and the IoT device that transmit the sensing data and a message regarding the state of the own device or the object. An storage server that receives and stores data, an external posting server that receives a message from the IoT device and posts it to an external service based on at least a predetermined definition regarding the message content and the posting destination, the IoT device and the external posting. It is a communication system for managing IoT devices including a gateway server that relays message transmission / reception with and from the server, and the gateway server receives messages from each of the IoT devices and the external posting server. It stores the subscribe information that specifies the target IoT device or the external posting server, and when a message is received from the IoT device or the external posting server, each of the target IoT devices is based on the subscribing information. It provides a communication system characterized by transmitting the message to the device and / or the external posting server.

本発明のIoT機器管理のための通信システムにおいて、前記IoT機器は、センシングデータを解析し対象物における異常発生を検知する手段を有しており、異常発生の検知をメッセージ内容に含めて発信することを特徴とする。 In the communication system for managing IoT devices of the present invention, the IoT device has a means for analyzing sensing data and detecting the occurrence of an abnormality in an object, and transmits the detection of the occurrence of an abnormality by including it in the message content. It is characterized by that.

本発明のIoT機器管理のための通信システムは、さらに、センシングデータを解析し対象物における異常発生を検知する手段を有する解析サーバをさらに有しており、前記ゲートウェイサーバは、前記IoT機器から受信されるメッセージ内容に異常発生の検知が含まれる場合、当該メッセージを前記解析サーバに送信し、前記解析サーバは、当該メッセージに基づき対象物のセンシングデータを前記蓄積する蓄積サーバから取得し、取得したセンシングデータを解析し、対象物における異常発生を検知した場合は、異常発生の検知をメッセージ内容に含めて前記ゲートウェイサーバに送信することを特徴とする。 The communication system for managing IoT devices of the present invention further includes an analysis server having means for analyzing sensing data and detecting the occurrence of an abnormality in an object, and the gateway server receives from the IoT device. When the content of the message to be sent includes the detection of the occurrence of an abnormality, the message is transmitted to the analysis server, and the analysis server acquires and acquires the sensing data of the object based on the message from the storage server that stores the object. When the sensing data is analyzed and an abnormality occurrence in the object is detected, the detection of the abnormality occurrence is included in the message content and transmitted to the gateway server.

本発明のIoT機器管理のための通信システムにおいて、前記IoT機器は、撮像データを解析し対象物における異常発生を検知する手段を有するカメラであり、撮像データをから人体を認識し、その人体の基本骨格を推定し、その人体の姿勢を推定することにより、その人体が転倒状態であるか否かを判定し、転倒状態である場合には、転倒発生の検知をメッセージ内容に含めて発信することを特徴とする。 In the communication system for managing IoT devices of the present invention, the IoT device is a camera having a means for analyzing image pickup data and detecting an abnormality in an object, recognizes a human body from the imaged data, and recognizes the human body. By estimating the basic skeleton and estimating the posture of the human body, it is determined whether or not the human body is in a fall state, and if it is in a fall state, the detection of the occurrence of a fall is included in the message content and transmitted. It is characterized by that.

本発明のIoT機器管理のための通信システムにおいて、前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバとの間のメッセージの送受信にはMQTTプロトコルが適用され、送受信データは、少なくとも送信先情報及び送信条件情報を含むMQTTヘッダと、所定のメッセージ定義に基づくメッセージをMQTTメッセージ部とから構成されていることを特徴とする。 In the communication system for managing IoT devices of the present invention, the MQTT protocol is applied to send and receive messages between the IoT device, the external posting server and / or the analysis server, and the transmitted / received data is at least destination information. It is characterized in that it is composed of an MQTT header including transmission condition information and an MQTT message unit for a message based on a predetermined message definition.

本発明のIoT機器管理のための通信システムにおいて、前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバは、MQTTプロトコルにより送受信データを暗号化し、暗号化されたデータをMQTTメッセージ部とし、元の送受信データと同一のMQTTヘッダを付加して新たな送受信データを生成して送信し、
この送受信データを受信した前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバは、MQTTメッセージ部を復号して元の送受信データを取得することを特徴とする。
In the communication system for managing IoT devices of the present invention, the IoT device, the external posting server and / or the analysis server encrypts transmission / reception data by the MQTT protocol, and the encrypted data is used as an MQTT message unit. Add the same MQTT header as the transmission / reception data of, generate new transmission / reception data, and transmit it.
The IoT device, the external posting server, and / or the analysis server that have received the transmission / reception data are characterized in that the MQTT message unit is decoded to acquire the original transmission / reception data.

本発明のIoT機器管理のための通信システムにおいて、MQTTプロトコルによる送受信データに含まれるMQTTメッセージ部は、自機又は通信相手機器の識別情報、設置施設の識別情報、タイムスタンプ、蓄積サーバにおけるデータ格納場所のうち少なくとも1つの情報を含んでいることを特徴とする。 In the communication system for IoT device management of the present invention, the MQTT message unit included in the transmission / reception data by the MQTT protocol is the identification information of the own device or the communication partner device, the identification information of the installation facility, the time stamp, and the data storage in the storage server. It is characterized by containing at least one piece of information about the location.

以上、説明したように、本発明によれば、IoT機器の性能に応じた軽量化された暗号方式を採用した通信システムが提供される。 As described above, according to the present invention, there is provided a communication system that employs a lightweight encryption method according to the performance of an IoT device.

本発明の一実施形態にかかるIoT機器管理のための通信システムの全体構成を概略的に示す図である。It is a figure which shows outline the whole structure of the communication system for IoT device management which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるIoT機器管理のための通信システムの全体構成を概略的に示す図である。It is a figure which shows outline the whole structure of the communication system for IoT device management which concerns on one Embodiment of this invention. 図1及び図2に示すIoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間での通信方式を概念的に示す図である。It is a figure which conceptually shows the communication system between the IoT device, the gateway server, the external posting server, and the administrator terminal shown in FIGS. 1 and 2. 図1及び図2に示すIoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間での通信における暗号化処理の手順を模式的に示す図である。It is a figure which shows typically the procedure of the encryption process in the communication between the IoT device, the gateway server, the external posting server, and the administrator terminal shown in FIGS. 1 and 2. 図1及び図2に示すゲートウェイサーバの内部構成を模式的に示す図である。It is a figure which shows typically the internal structure of the gateway server shown in FIG. 1 and FIG. 図1及び図2に示す外部投稿サーバの内部構成を模式的に示す図である。It is a figure which shows typically the internal structure of the external posting server shown in FIGS. 1 and 2. 図1及び図2に示す管理者端末(サブスクライバ)の内部構成を模式的に示す図である。It is a figure which shows typically the internal structure of the administrator terminal (subscriber) shown in FIG. 1 and FIG. 本発明の一実施形態にかかるIoT機器管理のための通信システムおいて機器の異常を検知する処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process which detects the abnormality of the device in the communication system for IoT device management which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるIoT機器管理のための通信システムにおいて機器の状態を取得する処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process of acquiring the state of a device in the communication system for IoT device management which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるIoT機器管理のための通信システムの全体構成を概略的に示す図である。It is a figure which shows outline the whole structure of the communication system for IoT device management which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるIoT機器管理のための通信システムにおいて、AIカメラによる異常検知の一例を示す図である。It is a figure which shows an example of abnormality detection by an AI camera in the communication system for IoT device management which concerns on one Embodiment of this invention. 本発明の一実施形態にかかる監視カメラを用いた転倒検知システムにおける各機器の動作の概要について説明する図である。It is a figure explaining the outline of the operation of each device in the fall detection system using the surveillance camera which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるIoT機器管理のための通信システムにおいて、AIカメラによる異常検知の一例を示す図である。It is a figure which shows an example of abnormality detection by an AI camera in the communication system for IoT device management which concerns on one Embodiment of this invention.

以下、添付図面を参照しながら、本発明のIoT機器管理のための通信システムを実施するための最良の形態を詳細に説明する。図1〜図13は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。 Hereinafter, the best mode for implementing the communication system for IoT device management of the present invention will be described in detail with reference to the accompanying drawings. 1 to 13 are diagrams illustrating embodiments of the present invention, in which the parts with the same reference numerals represent the same objects, and the basic configuration and operation are the same. To do.

全体構成
図1及び図2は、本発明の一実施形態にかかるIoT機器管理のための通信システムの全体構成を概略的に示す図である。
図1において、本システムは、対象施設に設置された各種のIoT機器、ゲートウェイサーバ、施設管理者端末と、対象施設外にある蓄積サーバ、外部投稿サーバ、管理サーバ、管理者端末(サブスクライバ)とから構成されている。これらの機器、端末はインターネットを通じて常時通信可能である。
図2では、図1と異なり、ゲートウェイサーバが対象施設外に設置されているが、その他の機器、端末は図1に示すものと同様であり、全く同一の情報処理を実行することができるようになっている。
Overall Configuration FIGS. 1 and 2 are diagrams schematically showing the overall configuration of a communication system for IoT device management according to an embodiment of the present invention.
In FIG. 1, this system includes various IoT devices, gateway servers, and facility administrator terminals installed in the target facility, and storage servers, external posting servers, management servers, and administrator terminals (subscribers) outside the target facility. It is composed of. These devices and terminals can always communicate via the Internet.
In FIG. 2, unlike FIG. 1, the gateway server is installed outside the target facility, but other devices and terminals are the same as those shown in FIG. 1, so that exactly the same information processing can be executed. It has become.

本システムにおいて、IoT機器の設置対象施設とは、工場、作業所、店舗、倉庫、集会所、学校、病院、養護介護施設など、IoT機器による監視、定点観測、センシングが必要なあるいは有用であるあらゆるサイトを含み得る。
設置されるIoT機器は、監視カメラ、温度・湿度・照度センサ、温度調節デバイス、火災報知器、窓ドア開閉センサ、火災報知器、スマートロック、非常ボタンなどを含み、設置場所あるいはセンシング対象についての何らかの情報を取得し、発信することができるあらゆる機器がこれに該当する。一部のIoT機器は、センシング情報を解析するAi機能を有しているが、これについては後述する。
尚、IoT機器は、図示するように無線通信機能を有するほか、別途有線通信手段を有していてもよい。この場合、後述するメッセージ交換のための通信は無線通信、センシングデータ送信は有線通信といったデータ量及び緊急性の違いによる使い分けをすることができる。無線通信機能としては、例えば、WiFi(IEEE802.11)、WiMAX(IEEE802.16)、3GPP、LPWAN(Low Power Wide Area Network)、FAN(Factory Area Network)、Bluetoothなどの物理層・データリンク層の通信規格を採用する。
In this system, the facilities for which IoT devices are installed are factories, workshops, stores, warehouses, meetinghouses, schools, hospitals, nursing homes, etc., where monitoring, fixed point observation, and sensing by IoT devices are necessary or useful. Can include any site.
The IoT devices to be installed include surveillance cameras, temperature / humidity / illuminance sensors, temperature control devices, fire alarms, window door open / close sensors, fire alarms, smart locks, emergency buttons, etc., regarding the installation location or sensing target. This applies to any device that can acquire and transmit some information. Some IoT devices have an Ai function that analyzes sensing information, which will be described later.
In addition to having a wireless communication function as shown in the figure, the IoT device may have a separate wired communication means. In this case, communication for message exchange, which will be described later, can be used for wireless communication, and sensing data transmission can be used for wired communication, depending on the amount of data and urgency. The wireless communication function includes, for example, a physical layer / data link layer such as WiFi (IEEE802.11), WiMAX (IEEE802.16), 3GPP, LPWAN (Low Power Wide Area Network), FAN (Factory Area Network), and Bluetooth. Adopt communication standard.

ゲートウェイサーバは、各種のIoT機器と蓄積サーバ、外部投稿サーバ、管理サーバ、管理者端末(サブスクライバ)との間の情報通信を仲介する。すなわち、ゲートウェイサーバには、IoT機器とこれを利用する機器類との間でセンシング情報を含んだメッセージを授受するための通信プロトコルが実装されている。これについては後述する。 The gateway server mediates information communication between various IoT devices, a storage server, an external posting server, a management server, and an administrator terminal (subscriber). That is, the gateway server is equipped with a communication protocol for exchanging messages including sensing information between the IoT device and the devices that use the IoT device. This will be described later.

図1に示す施設管理者端末は、施設内に設置されたIoT機器とゲートウェイサーバを管理する端末である。図2に示す施設管理者端末は、施設内に設置されたIoT機器とルータを管理し、かつ、施設外に設置されたゲートウェイサーバのうち自施設に関する部分を管理する端末である。施設管理者端末もまた、サブスクライバ(後述)となり得る。 The facility manager terminal shown in FIG. 1 is a terminal that manages IoT devices and gateway servers installed in the facility. The facility manager terminal shown in FIG. 2 is a terminal that manages IoT devices and routers installed in the facility and manages a portion of the gateway server installed outside the facility related to the facility. The facility manager terminal can also be a subscriber (described later).

蓄積サーバは、対象施設のIoT機器から発信される情報、データを蓄積する機器である。例えば、温度・湿度等の経時的なセンシング情報、各種観測データ、撮像した画像・動画、機器動作情報などである。各種IoT機器と1対1で継続的に容量大きめのデータをやり取りするため、FTP、SFTP、SCP等の通信プロトコルが利用される。 The storage server is a device that stores information and data transmitted from the IoT device of the target facility. For example, sensing information over time such as temperature and humidity, various observation data, captured images / moving images, device operation information, and the like. Communication protocols such as FTP, SFTP, and SCP are used to continuously exchange large volumes of data with various IoT devices on a one-to-one basis.

管理者端末(サブスクライバ)は、IoT機器との間で情報通信を行い、IoT機器に対するメッセージの送信、IoT機器からのメッセージの受信、ゲートウェイサーバに対する各種操作などを行う。 The administrator terminal (subscriber) performs information communication with the IoT device, sends a message to the IoT device, receives a message from the IoT device, and performs various operations on the gateway server.

外部投稿サーバ(サブスクライバ)は、IoT機器との間で情報通信を行い、IoT機器に対するメッセージの送信、IoT機器からのメッセージの受信、ゲートウェイサーバに対する各種操作などを行う。また、IoT機器から受信したメッセージに応じて、外部サービスへの投稿を行う。 The external posting server (subscriber) performs information communication with the IoT device, sends a message to the IoT device, receives a message from the IoT device, and performs various operations on the gateway server. In addition, posting to an external service is performed according to the message received from the IoT device.

管理サーバは、本システム全体を管理する。主に、ゲートウェイサーバ、蓄積サーバ、外部投稿サーバなどを制御・管理するが、自機がパブリッシャ(後述)又はサブスクライバとして機能することも可能である。 The management server manages the entire system. It mainly controls and manages gateway servers, storage servers, external posting servers, etc., but it is also possible for your machine to function as a publisher (described later) or a subscriber.

通信方式
図3は、図1及び図2に示す各種のIoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間での通信方式を概念的に示す図である。
本システムでは、IoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間での通信方式として、パブリッシュ/サブスクライブ型の通信方式を採用している。
外部投稿サーバ、管理者端末は、特定のIoT機器からの特定の種類の通知を予めサブスクライブしている。例えば、センシングデバイスによる逐次ないしは定期的な測定実行の通知をサブスクライブしてもよいし、異常値の通知のみをサブスクライブしてもよい。各種のIoT機器は、自機の状態等に関する通知(パブリッシュ)をゲートウェイサーバに送信する。
こうして、図3に示すように、IoT機器からの通知(パブリッシュ)を受けたゲートウェイサーバは、その通知を受信することを予め希望(サブスクライブ)している端末に通知することができる。
本システムでは、このパブリッシュ/サブスクライブ型の通信方式として、MQTT(非特許文献1)を採用している。MQTTは、動作が簡易で軽量なプロトコルであり、IoT機器の処理負荷を軽減できる。また、通信のオーバーヘッドとなるプロトコルヘッダ長が最小で2バイトであるため、低速の無線通信環境下でも帯域を圧迫することなく迅速にメッセージを送受信できる。
Communication method FIG. 3 is a diagram conceptually showing a communication method between various IoT devices, gateway servers, external posting servers, and administrator terminals shown in FIGS. 1 and 2.
In this system, a publish / subscribe type communication method is adopted as a communication method between the IoT device, the gateway server, the external posting server, and the administrator terminal.
The external posting server and the administrator terminal subscribe to a specific type of notification from a specific IoT device in advance. For example, the notification of sequential or periodic measurement execution by the sensing device may be subscribed, or only the notification of an abnormal value may be subscribed. Various IoT devices send a notification (publish) regarding the status of their own device to the gateway server.
In this way, as shown in FIG. 3, the gateway server that has received the notification (publish) from the IoT device can notify the terminal that wishes to receive the notification in advance (subscribe).
In this system, MQTT (Non-Patent Document 1) is adopted as this publish / subscribe type communication method. MQTT is a protocol that is easy to operate and lightweight, and can reduce the processing load of IoT devices. Further, since the protocol header length, which is the overhead of communication, is a minimum of 2 bytes, messages can be quickly transmitted and received without squeezing the bandwidth even in a low-speed wireless communication environment.

続いて、本システムにおいて利用する暗号方式について説明する。
本システムにおけるIoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間(その他MQTTによるパブリッシュ/サブスクライブ型の通信を行うあらゆる機器を含む)での通信には、特許文献1に示されたゲートウェイサーバをハブとする共通鍵方式の暗号システムを適用する。
Next, the encryption method used in this system will be described.
The gateway shown in Patent Document 1 is used for communication between IoT devices, gateway servers, external posting servers, and administrator terminals in this system (including all other devices that perform publish / subscribe type communication by MQTT). Apply a common key encryption system with the server as the hub.

この暗号方式は、各端末・機器が共通する複数のハッシュ関数(H,H,H)と複数の端末・機器固有の数値(識別情報ID及び共有情報sk,i;機器固有の値i=0,1,2...)を持ち、ゲートウェイサーバがこれら全ての情報を保有する。
ゲートウェイサーバが各端末・機器と通信する際には、上記の共通鍵を交換するのではなく、その場で生成した乱数を交換し、これを端末・機器固有の数値と合わせてハッシュ計算して得られる値を再度交換するという方式を取る。これにより認証が成功した後に、さらに端末・機器固有の数値と交換した乱数とを合わせてハッシュ計算して共通の暗号鍵を生成することができる。また、端末・機器固有の共有情報は、 ゲートウェイサーバと同期して定期的にハッシュ関数を用いて更新されるようになっている。
このような暗号方式により、ゲートウェイサーバと各端末・機器との間では、盗聴されても問題の無い情報のみを交換して互いを認証することができるようになっている。また、そのような認証を経て各々が同一の暗号鍵を生成し、これを用いて暗号化したメッセージを送受信することができる。これらの処理に必要な情報処理性能は、従来のDES、AES、RSA、SSL/TLSといった暗号方式よりも大幅に低く、かつ、AESと同等の強固さを持つことが特許文献1において確認されている。
This encryption method uses a plurality of hash functions (H 0 , H 1 , H 2 ) common to each terminal / device and numerical values unique to a plurality of terminals / devices (identification information ID i and shared information ski i , i i ; device). It has a unique value i = 0, 1, 2, ...), And the gateway server holds all of this information.
When the gateway server communicates with each terminal / device, instead of exchanging the above common key, random numbers generated on the spot are exchanged, and this is combined with the numerical value unique to the terminal / device to perform hash calculation. The method is to exchange the obtained values again. As a result, after successful authentication, it is possible to generate a common encryption key by performing hash calculation by combining the numerical value unique to the terminal / device and the exchanged random number. In addition, the shared information unique to the terminal / device is periodically updated using a hash function in synchronization with the gateway server.
With such an encryption method, the gateway server and each terminal / device can authenticate each other by exchanging only information that does not cause any problem even if it is eavesdropped. Further, each person can generate the same encryption key through such authentication, and can send and receive an encrypted message using the same encryption key. It has been confirmed in Patent Document 1 that the information processing performance required for these processes is significantly lower than that of conventional encryption methods such as DES, AES, RSA, and SSL / TLS, and has the same strength as AES. There is.

図4は、図1及び図2に示す各種のIoT機器、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間での通信における暗号化処理の手順を模式的に示す図である。
図4(a)の方式では、これらの端末・機器間でやり取りされるMQTTメッセージ(MQTTヘッダとメッセージ部からなる)を上記の暗号化方式で暗号化し、無線通信プロトコルのデータユニット部として送信する。この方式は、図1及び図2に示す対象施設のように、IoT機器がTCP/IP接続環境を持たない場合でも、無線通信でゲートウェイサーバにさえ接続できれば、暗号化通信ができるという利点がある。
図4(b)の方式では、これらの端末・機器間でやり取りされるMQTTメッセージ(MQTTヘッダとメッセージ部からなる)を上記の暗号化方式で暗号化し、これを新たなMQTTメッセージ部とし、元のMQTTメッセージと同じMQTTヘッダを付加して送信する。この方式は、ゲートウェイサーバ、外部投稿サーバ、管理者端末の間でのTCP/IP接続環境をそのまま利用することができ(MQTT over TCP)、高い通信の信頼性が確保され、かつ、簡易に実装できるという利点がある。
FIG. 4 is a diagram schematically showing a procedure of encryption processing in communication between various IoT devices, gateway servers, external posting servers, and administrator terminals shown in FIGS. 1 and 2.
In the method of FIG. 4A, the MQTT message (consisting of the MQTT header and the message unit) exchanged between these terminals / devices is encrypted by the above encryption method and transmitted as the data unit unit of the wireless communication protocol. .. This method has an advantage that even if the IoT device does not have a TCP / IP connection environment as in the target facilities shown in FIGS. 1 and 2, encrypted communication can be performed as long as it can be connected to the gateway server by wireless communication. ..
In the method of FIG. 4B, the MQTT message (consisting of the MQTT header and the message part) exchanged between these terminals / devices is encrypted by the above encryption method, and this is used as a new MQTT message part. The same MQTT header as the MQTT message of is added and transmitted. In this method, the TCP / IP connection environment between the gateway server, external posting server, and administrator terminal can be used as it is (MQTT over TCP), high communication reliability is ensured, and it is easily implemented. There is an advantage that it can be done.

このように、本システムにおいて、ゲートウェイサーバをハブとする共通鍵方式の暗号システムを適用することで、MQTTメッセージを簡易迅速に暗号化して送受信することが可能となっている。 尚、上記の暗号化方式に代えて、同等の簡易軽量さと強固さを有するとされるSPEC(非特許文献2)を採用してもよい。 In this way, by applying a common key cryptosystem with a gateway server as a hub in this system, MQTT messages can be easily and quickly encrypted and sent and received. In addition, instead of the above-mentioned encryption method, SPEC (Non-Patent Document 2), which is said to have the same simplicity, light weight and strength, may be adopted.

各ノードの構成
図5は、図1及び図2に示すゲートウェイサーバの内部構成を模式的に示す図である。
図5において、ゲートウェイサーバは、メッセージ定義データベース、機器・ユーザ情報データベース、要求受付部、要求処理部、処理結果出力部、認証処理部、暗号化処理部、機器・ユーザ情報登録部、通信処理部を有している。
Configuration of each node FIG. 5 is a diagram schematically showing the internal configuration of the gateway server shown in FIGS. 1 and 2.
In FIG. 5, the gateway server is a message definition database, a device / user information database, a request reception unit, a request processing unit, a processing result output unit, an authentication processing unit, an encryption processing unit, a device / user information registration unit, and a communication processing unit. have.

メッセージ定義データベースは、MQTTのプロトコル定義(特許文献1の規定による)及び交換されるメッセージの定義(本システムにおいて任意に定義される)を記憶している。機器・ユーザ情報データベースは、本システムを利用する機器・ユーザの識別情報等のほか、MQTTメッセージ交換のために必要な情報(パブリッシュ・サブスクライブの登録情報等)と端末・機器認証に必要な情報(上述した、各端末・機器が共通する複数のハッシュ関数(H,H,H)と複数の機器固有の数値(識別情報ID及び共有情報sk,i;機器固有の値i=0,1,2...)を含む)とを記憶している。 The message definition database stores MQTT protocol definitions (according to the provisions of Patent Document 1) and definitions of messages to be exchanged (arbitrarily defined in this system). The device / user information database contains information required for exchanging MQTT messages (publish / subscribe registration information, etc.) and information required for terminal / device authentication, in addition to identification information of devices / users who use this system. (Multiple hash functions (H 0 , H 1 , H 2 ) common to each terminal / device and a plurality of device-specific numerical values (identification information ID i and shared information ski i , i i ; device-specific values) described above. i = 0,1,2, ...) is included).

要求受付部は、IoT機器、外部投稿サーバ、管理者端末などからのMQTTプロトコルにおける諸要求を受け付ける。要求処理部は、メッセージ定義データベースに基づき受け付けた要求を処理する。処理結果出力部は、要求の処理結果を出力する。例えば、メッセージのパブリッシュ要求、パブリッシュのリリース要求、サブスクライブ/アンサブスクライブ要求などが処理される。
尚、図3に示すMQTTメッセージ部は、自機又は通信相手機器の識別情報、設置施設の識別情報、タイムスタンプ、蓄積サーバにおけるデータ格納場所などの情報を含んでいる。また、上記の暗号化方式において利用する各種情報(機器固有情報、共有情報、ハッシュ関数、乱数値など)を含めてもよい。
The request reception unit receives various requests in the MQTT protocol from IoT devices, external posting servers, administrator terminals, and the like. The request processing unit processes the request received based on the message definition database. The processing result output unit outputs the processing result of the request. For example, a message publish request, a publish release request, a subscribe / unsubscribe request, etc. are processed.
The MQTT message unit shown in FIG. 3 includes information such as identification information of the own device or the communication partner device, identification information of the installation facility, a time stamp, and a data storage location in the storage server. In addition, various information (device-specific information, shared information, hash function, random value, etc.) used in the above encryption method may be included.

認証処理部は、ゲートウェイサーバとIoT機器、外部投稿サーバ、管理者端末などとの間での認証処理を行う。暗号化処理部は、ゲートウェイサーバとIoT機器、外部投稿サーバ、管理者端末などとの間で送受信されるMQTTメッセージを暗号化・復号する。認証処理及び暗号化処理には、上述した特許文献1に示されたゲートウェイサーバをハブとする共通鍵方式の暗号システムを適用する。 The authentication processing unit performs authentication processing between the gateway server and the IoT device, the external posting server, the administrator terminal, and the like. The encryption processing unit encrypts / decrypts MQTT messages sent / received between the gateway server and the IoT device, the external posting server, the administrator terminal, and the like. A common key cryptosystem using the gateway server as a hub shown in Patent Document 1 described above is applied to the authentication process and the encryption process.

機器・ユーザ情報登録部は、システム管理者等による要求に応じて、機器・ユーザ情報データベースに必要な情報を登録する。 The device / user information registration unit registers necessary information in the device / user information database in response to a request from the system administrator or the like.

図6は、図1及び図2に示す外部投稿サーバの内部構成を模式的に示す図である。
図6において、外部投稿サーバは、メッセージ定義データベース、外部投稿定義データベース、要求送信部、メッセージ受付部、メッセージ処理部、処理結果出力部、外部投稿処理部、認証処理部、暗号化処理部、通信処理部を有している。
メッセージ定義データベース、要求送信部、メッセージ受付部、メッセージ処理部、処理結果出力部、認証処理部、暗号化処理部は、上記同様である。
FIG. 6 is a diagram schematically showing the internal configuration of the external posting server shown in FIGS. 1 and 2.
In FIG. 6, the external post server includes a message definition database, an external post definition database, a request transmission unit, a message reception unit, a message processing unit, a processing result output unit, an external posting processing unit, an authentication processing unit, an encryption processing unit, and communication. It has a processing unit.
The message definition database, request transmission unit, message reception unit, message processing unit, processing result output unit, authentication processing unit, and encryption processing unit are the same as above.

外部投稿処理部は、IoT機器などから受信するMQTTメッセージに応じて(メッセージ処理部からの指令を受けて)、所定内容を所定の外部のSNS、メールサービスなどに投稿する。外部投稿定義データベースは、この処理をするための定義を記憶している。外部投稿定義は、例えば、対象とするMQTTメッセージの種類、IoT機器、その設置場所、投稿先のアドレス、認証情報等、投稿内容などを含む。 The external posting processing unit posts predetermined contents to a predetermined external SNS, mail service, etc. in response to an MQTT message received from an IoT device or the like (in response to a command from the message processing unit). The external post definition database stores the definition for this process. The external posting definition includes, for example, the type of MQTT message to be targeted, the IoT device, its installation location, the posting destination address, the authentication information, and the posting content.

図7は、図1及び図2に示す管理者端末(サブスクライバ)の内部構成を模式的に示す図である。
図7において、管理者端末は、メッセージ定義データベース、要求送信部、メッセージ受付部、メッセージ処理部、処理結果出力部、認証処理部、暗号化処理部、通信処理部
を有している。これらは、上記同様である。
尚、施設管理者端末もサブスクライバとして、管理者端末と同様の構成及び機能を有していてもよい。
FIG. 7 is a diagram schematically showing the internal configuration of the administrator terminal (subscriber) shown in FIGS. 1 and 2.
In FIG. 7, the administrator terminal has a message definition database, a request transmission unit, a message reception unit, a message processing unit, a processing result output unit, an authentication processing unit, an encryption processing unit, and a communication processing unit. These are the same as above.
The facility manager terminal may also have the same configuration and function as the manager terminal as a subscriber.

また、図示しないが、各IoT機器も、非常に簡易・軽量な構成で、メッセージ定義データベース、要求送信部、受付部、メッセージ処理部、処理結果出力部、認証処理部、暗号化処理部に相当する機能部を有している。 Although not shown, each IoT device has a very simple and lightweight configuration and corresponds to a message definition database, a request transmission unit, a reception unit, a message processing unit, a processing result output unit, an authentication processing unit, and an encryption processing unit. It has a functional part to be used.

本システムの動作の概要
以下、本システムにおける各機器の動作の概要について説明する。
図8は、本システムにおいて機器の異常を検知する処理の流れを示すシーケンス図である。
図8において、まず、外部投稿サーバは、監視対象とするIoT機器をサブスクライブする要求をゲートウェイサーバに送信する。ゲートウェイサーバはこの要求を処理し、機器・ユーザ情報データベースに記憶する。
ここで、当該IoT機器は、自機やセンシング対象の状態に関する情報を定期的にゲートウェイサーバにパブリッシュしており、かつ、センシングデータ等を定常的に蓄積サーバに送信しているものとする。ゲートウェイサーバは、当該IoT機器から受信したパブリッシュをそのサブスクライバである外部投稿サーバに転送する。この通知内容が正常を示すものである場合、外部投稿サーバは、特に対応をしなくてもよいし、あるいは、正常を示す内容であっても機器情報通知メッセージとして随時、外部SNSサービスを介してユーザ端末に通知を送信してもよい。
Outline of operation of this system The outline of operation of each device in this system will be described below.
FIG. 8 is a sequence diagram showing a flow of processing for detecting an abnormality in a device in this system.
In FIG. 8, first, the external posting server transmits a request for subscribing to the IoT device to be monitored to the gateway server. The gateway server processes this request and stores it in the device / user information database.
Here, it is assumed that the IoT device periodically publishes information on the state of its own device and the sensing target to the gateway server, and constantly transmits sensing data and the like to the storage server. The gateway server transfers the publish received from the IoT device to the external posting server which is its subscriber. If the content of this notification indicates normality, the external posting server does not have to take any action, or even if the content indicates normality, the device information notification message is displayed as a device information notification message at any time via the external SNS service. A notification may be sent to the user terminal.

当該IoT機器から異常示す通知内容がパブリッシュされた場合、ゲートウェイサーバからのこの通知を受信した外部投稿サーバは、外部SNSサービスを介してユーザ端末に異常検知の通知を送信する。また、蓄積サーバに対して、当該IoT機器から受信して蓄積しているセンシングデータ等をダウンロード要求に応じて送信できるよう指示を送信する。外部SNSサービスを介して異常検知の通知をユーザ端末に受信した当該IoT機器の監視者は、蓄積サーバからその異常を確認するための蓄積データを取得する。
このようにして、監視対象のIoT機器の異常検知が速やかに監視者に通知され、監視者はその確認のためのデータを直ちに取得できるようになっている。
尚、外部投稿サーバに代えて、管理者端末や施設管理者端末が同様の機能を担うことも可能である。この場合、管理者、施設管理者が管理者端末、施設管理者端末を操作して、蓄積サーバから蓄積データを取得することになる。
When the notification content indicating an abnormality is published from the IoT device, the external posting server that receives this notification from the gateway server sends an abnormality detection notification to the user terminal via the external SNS service. In addition, an instruction is transmitted to the storage server so that the sensing data and the like received and stored from the IoT device can be transmitted in response to the download request. The monitor of the IoT device that receives the notification of abnormality detection to the user terminal via the external SNS service acquires the accumulated data for confirming the abnormality from the accumulation server.
In this way, the observer is promptly notified of the abnormality detection of the IoT device to be monitored, and the observer can immediately acquire the data for confirmation.
In addition, instead of the external posting server, an administrator terminal or a facility administrator terminal can perform the same function. In this case, the manager and the facility manager operate the manager terminal and the facility manager terminal to acquire the stored data from the storage server.

図9は、本システムにおいて機器の状態を取得する処理の流れを示すシーケンス図である。
図9において、まず、外部投稿サーバとその監視対象とするIoT機器とは、互いをサブスクライブする要求をゲートウェイサーバに送信する。ゲートウェイサーバはこれらの要求を処理し、機器・ユーザ情報データベースに記憶する。
ここで、当該IoT機器は、センシングデータ等を定常的に蓄積サーバに送信しているものとする。
FIG. 9 is a sequence diagram showing a flow of processing for acquiring the state of the device in this system.
In FIG. 9, first, the external posting server and the IoT device to be monitored transmit a request to subscribe to each other to the gateway server. The gateway server processes these requests and stores them in the device / user information database.
Here, it is assumed that the IoT device constantly transmits sensing data and the like to the storage server.

外部投稿サーバは、当該IoT機器の監視者からの指示により、あるいは予め設定された条件により、当該IoT機器からの情報取得の要求をゲートウェイサーバに対してパブリッシュする。ゲートウェイサーバは、外部投稿サーバをサブスクライブしている当該IoT機器にそのパブリッシュを転送する。当該IoT機器は、その要求に応じて、自機やセンシング対象の状態に関する情報を定期的にゲートウェイサーバにパブリッシュする。ゲートウェイサーバは、当該IoT機器をサブスクライブしている外部投稿サーバにそのパブリッシュを転送する。また、蓄積サーバに対して、当該IoT機器から受信して蓄積しているセンシングデータ等をダウンロード要求に応じて送信できるよう指示を送信する(但し、通知内容は異常を示すものとは限らないので、この処理は省いてもよい。)。この通知内容が正常を示すものである場合、外部投稿サーバは、特に対応をしなくてもよいし、あるいは、正常を示す内容であっても機器情報通知メッセージとして随時、外部SNSサービスを介してユーザ端末に通知を送信してもよい。外部SNSサービスを介して通知内容をユーザ端末に受信した当該IoT機器の監視者は、その内容が正常異常にかかわらず、蓄積サーバからそれを確認するための蓄積データを取得することができる。
このようにして、監視者は、監視対象のIoT機器の機器情報を随時取得し、その状態を常時把握し、必要な対応を迅速に取ることができるようになっている。
尚、外部投稿サーバに代えて、管理者端末や施設管理者端末が同様の機能を担うことも可能である。この場合、管理者、施設管理者が管理者端末、施設管理者端末を操作して、蓄積サーバから蓄積データを取得することになる。
The external posting server publishes a request for information acquisition from the IoT device to the gateway server according to an instruction from the monitor of the IoT device or according to preset conditions. The gateway server transfers the publish to the IoT device that subscribes to the external posting server. The IoT device periodically publishes information on the state of its own device and the sensing target to the gateway server in response to the request. The gateway server transfers the publish to an external posting server that subscribes to the IoT device. In addition, an instruction is sent to the storage server so that the sensing data, etc. received from the IoT device and stored can be transmitted in response to the download request (however, the notification content does not necessarily indicate an abnormality). , This process may be omitted.) If the content of this notification indicates normality, the external posting server does not have to take any action, or even if the content indicates normality, the device information notification message is displayed as a device information notification message at any time via the external SNS service. A notification may be sent to the user terminal. The monitor of the IoT device that has received the notification content to the user terminal via the external SNS service can acquire the accumulated data for confirming it from the storage server regardless of whether the content is normal or abnormal.
In this way, the observer can acquire the device information of the IoT device to be monitored at any time, constantly grasp the state, and take necessary measures promptly.
In addition, instead of the external posting server, an administrator terminal or a facility administrator terminal can perform the same function. In this case, the manager and the facility manager operate the manager terminal and the facility manager terminal to acquire the stored data from the storage server.

本システムの適用例
本システムの具体的な適用例として、監視カメラを用いた転倒検知システムについて説明する。
図10は、このシステムの全体構成を概略的に示す図である。
図10において、このシステムは、全体構成として図1に示すのと同様であるが、IoT機器が、AIカメラである点、新たに解析サーバを有する点において相違する。図10に示す他の端末・機器、処理部等については、上記で説明したものと同様である。
Application example of this system As a specific application example of this system, a fall detection system using a surveillance camera will be described.
FIG. 10 is a diagram schematically showing the overall configuration of this system.
In FIG. 10, this system is the same as that shown in FIG. 1 as an overall configuration, except that the IoT device is an AI camera and has a new analysis server. The other terminals / devices, processing units, etc. shown in FIG. 10 are the same as those described above.

AIカメラは、撮像データ(センシングデータ)を蓄積サーバに随時送信し、自機の状態をMQTTメッセージとしてゲートウェイサーバに送信する機能に加えて、AI機能により撮像画像・動画を解析し、正常異常を判断し、その判断結果をMQTTメッセージとしてゲートウェイサーバに送信する機能を有している。 In addition to the function of transmitting the imaging data (sensing data) to the storage server at any time and the status of the own machine as an MQTT message to the gateway server, the AI camera analyzes the captured image / video by the AI function and detects normal / abnormal conditions. It has a function of making a judgment and transmitting the judgment result as an MQTT message to the gateway server.

ここで、AIカメラによる異常検知の一例として、人の転倒検知の方法について説明する。AIカメラは、撮像画像・動画から、人体を認識し、その人体の基本骨格(ないしは基本的構成要素)を推定し、これに基づきその人体の姿勢を判定する。その具体例を図11に示す。この姿勢の判定により、その人体が転倒していると判断した場合は、異常検知のMQTTメッセージをパブリッシュする。 Here, as an example of abnormality detection by the AI camera, a method of detecting a person's fall will be described. The AI camera recognizes a human body from captured images / moving images, estimates the basic skeleton (or basic components) of the human body, and determines the posture of the human body based on this. A specific example thereof is shown in FIG. If it is determined that the human body has fallen based on this posture determination, the MQTT message for abnormality detection is published.

解析サーバは、要求に応じて、AIカメラから受信した撮像データ(撮像画像・動画)を解析する。上記同様、撮像画像・動画から、人体を認識し、その人体の基本骨格(ないしは基本的構成要素)を推定し、これに基づきその人体の姿勢を判定する。解析サーバは、現場設定され常時稼働しているAIカメラに比べ、より高精度、広範囲な認識・推定・判定処理を行うことができる。 The analysis server analyzes the captured data (captured image / moving image) received from the AI camera upon request. Similar to the above, the human body is recognized from the captured image / moving image, the basic skeleton (or basic component) of the human body is estimated, and the posture of the human body is determined based on this. The analysis server can perform recognition / estimation / judgment processing with higher accuracy and a wider range than the AI camera that is set in the field and is always in operation.

以下、上記した監視カメラを用いた転倒検知システムにおける各機器の動作の概要について説明する。
図12は、この転倒検知システムにおいて機器の異常を検知する処理の流れを示すシーケンス図である。
図12において、まず、外部投稿サーバは監視対象であるAIカメラをサブスクライブしており、AIカメラは、その撮像画像・動画データを定常的に蓄積サーバに送信しているものとする。
The outline of the operation of each device in the fall detection system using the above-mentioned surveillance camera will be described below.
FIG. 12 is a sequence diagram showing a flow of processing for detecting an abnormality in a device in this fall detection system.
In FIG. 12, first, it is assumed that the external posting server subscribes to the AI camera to be monitored, and the AI camera constantly transmits the captured image / moving image data to the storage server.

AIカメラは、撮像画像・動画において人の転倒を検知した場合、異常検知の情報をゲートウェイサーバに対しパブリッシュする。ゲートウェイサーバを経由してこの情報を受信した外部投稿サーバは、異常検知の通知を解析サーバとユーザ端末に送信する。また、蓄積サーバに対して、当該AIカメラから受信して蓄積している撮像画像・動画データをダウンロード要求に応じて送信できるよう指示を送信する。この通知を受けた解析サーバは、通知された異常に関連する蓄積サーバからその撮像画像・動画データを取得する。解析サーバは、撮像画像・動画から、人が転倒したか否かを判定し、その結果を外部投稿サーバに送信する。外部投稿サーバは、その結果をユーザ端末に送信する。また、管理者端末、施設管理者端末などに送信してもよい。
このようにして、AIカメラと高精度の解析サーバによる2段階の解析を経て、精度の高い異常検知情報がユーザ端末に即座に通知されるようになっている。
尚、AIカメラは、その撮像画像・動画から背景を除去した画像・動画を生成し、これに基づいて、人体を認識し、その人体の基本骨格(ないしは基本的構成要素)を推定し、その人体の姿勢を判定するようにしてもよい。その具体例を図13に示す。このような事前処理をすることにより、AIカメラの処理負荷は大幅に低減され、2.5FPSから3FPS での解析を行うことが可能となる。
When the AI camera detects a person's fall in the captured image / moving image, the AI camera publishes the abnormality detection information to the gateway server. The external posting server that receives this information via the gateway server sends a notification of abnormality detection to the analysis server and the user terminal. In addition, an instruction is transmitted to the storage server so that the captured image / moving image data received from the AI camera and stored can be transmitted in response to the download request. The analysis server that receives this notification acquires the captured image / moving image data from the storage server related to the notified abnormality. The analysis server determines whether or not a person has fallen from the captured image / video, and transmits the result to the external posting server. The external posting server sends the result to the user terminal. Further, it may be transmitted to an administrator terminal, a facility administrator terminal, or the like.
Thus, through the analysis of the 2-step by the analysis server AI camera and Calibration of a high abnormality detection information accuracy it is adapted to be notified immediately to the user terminal.
The AI camera generates an image / video in which the background is removed from the captured image / video, recognizes the human body based on the image / video, estimates the basic skeleton (or basic component) of the human body, and determines the basic skeleton (or basic component) of the human body. The posture of the human body may be determined. A specific example thereof is shown in FIG. By performing such pre-processing, the processing load of the AI camera is significantly reduced, and it becomes possible to perform analysis from 2.5 FPS to 3 FPS.

以上、本発明のIoT機器管理のための通信システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態における各機器の構成及び暗号化通信機能に様々な変更・改良を加えることが可能である。 The communication system for managing IoT devices of the present invention has been described above by showing specific embodiments, but the present invention is not limited thereto. A person skilled in the art can make various changes and improvements to the configuration and the encrypted communication function of each device in each of the above embodiments without departing from the gist of the present invention.

本発明のIoT機器管理のための通信システムは、図1〜図13等に示すように、コンピュータのCPU、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたOS、アプリケーション、データベース、ネットワークシステム等によって実現されるものであり、IoT機器とゲートウェイ装置等との間における暗号化された通信という情報処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、IoT機器及びこれに用いる通信機器の製造等の産業において利用することができるものである。 As shown in FIGS. 1 to 13, the communication system for IoT device management of the present invention is an OS built on hardware resources including a computer CPU, memory, auxiliary storage device, display, input device, and the like. , Applications, databases, network systems, etc., and information processing of encrypted communication between IoT devices and gateway devices, etc. is specifically realized using the above hardware resources. Therefore, it corresponds to the technical idea utilizing the law of nature, and can be used in industries such as the manufacture of IoT devices and communication devices used therein.

Claims (6)

対象物についてのセンシングデータを定常的に取得しており、当該センシングデータと自機又は対象物の状態に関するメッセージとを発信するIoT機器と
前記IoT機器からセンシングデータを受信し蓄積する蓄積サーバと、
前記IoT機器からメッセージを受信し、少なくともメッセージ内容及び投稿先に関する所定の定義に基づいて、外部サービスに投稿する外部投稿サーバと、
前記IoT機器と前記外部投稿サーバとの間のメッセージ送受信を中継するゲートウェイサーバとから構成されるIoT機器管理のための通信システムであって、
前記ゲートウェイサーバは、前記各IoT機器及び前記外部投稿サーバの各々がメッセージを受信する対象となる前記IoT機器又は前記外部投稿サーバを指定したサブスクライブ情報を記憶しており、前記IoT機器又は前記外部投稿サーバからメッセージを受信すると、当該サブスクライブ情報に基づき、対象となる前記各IoT機器及び/又は前記外部投稿サーバに当該メッセージを送信する通信システムにおいて、
センシングデータを解析し対象物における異常発生を検知する手段を有する解析サーバをさらに有しており、
前記ゲートウェイサーバは、前記IoT機器から受信されるメッセージ内容に異常発生の検知が含まれる場合、当該メッセージを前記解析サーバに送信し、
前記解析サーバは、当該メッセージに基づき対象物のセンシングデータを前記蓄積する蓄積サーバから取得し、取得したセンシングデータを解析し、対象物における異常発生を検知した場合は、異常発生の検知をメッセージ内容に含めて前記ゲートウェイサーバに送信することを特徴とする通信システム。
An IoT device that constantly acquires sensing data about an object and transmits the sensing data and a message regarding the state of the own device or the object, a storage server that receives and stores sensing data from the IoT device, and a storage server.
An external posting server that receives a message from the IoT device and posts it to an external service based on at least a predetermined definition of the message content and posting destination.
A communication system for managing IoT devices, which is composed of a gateway server that relays message transmission / reception between the IoT device and the external posting server.
The gateway server stores the subscribe information designating the IoT device or the external posting server to which each of the IoT device and the external posting server receives a message, and stores the IoT device or the external posting server. In the communication system that receives a message from the posting server and transmits the message to each target IoT device and / or the external posting server based on the subscribe information.
It also has an analysis server that has a means to analyze the sensing data and detect the occurrence of an abnormality in the object.
When the message content received from the IoT device includes detection of an abnormality, the gateway server transmits the message to the analysis server.
The analysis server acquires the sensing data of the object from the storage server that stores the object based on the message, analyzes the acquired sensing data, and when an abnormality occurs in the object, detects the occurrence of the abnormality in the message content. A communication system characterized by being included in the above and transmitting to the gateway server.
前記IoT機器は、センシングデータを解析し対象物における異常発生を検知する手段を有しており、異常発生の検知をメッセージ内容に含めて発信することを特徴とする請求項1に記載の通信システム。 The communication system according to claim 1, wherein the IoT device has a means for analyzing sensing data and detecting the occurrence of an abnormality in an object, and transmits the detection of the occurrence of the abnormality by including the detection in the message content. .. 前記IoT機器は、撮像データを解析し対象物における異常発生を検知する手段を有するカメラであり、撮像データをから人体を認識し、その人体の基本骨格を推定し、その人体の姿勢を推定することにより、その人体が転倒状態であるか否かを判定し、転倒状態である場合には、転倒発生の検知をメッセージ内容に含めて発信することを特徴とする請求項1又は2に記載の通信システム。 The IoT device is a camera having a means for analyzing imaging data and detecting an abnormality in an object, recognizes a human body from the imaging data, estimates the basic skeleton of the human body, and estimates the posture of the human body. The invention according to claim 1 or 2 , wherein it is determined whether or not the human body is in a fallen state, and if the human body is in a fallen state, the detection of the occurrence of the fall is included in the message content and transmitted. Communications system. 前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバとの間のメッセージの送受信にはMQTTプロトコルが適用され、
送受信データは、少なくとも送信先情報及び送信条件情報を含むMQTTヘッダと、所定のメッセージ定義に基づくメッセージをMQTTメッセージ部とから構成されていることを特徴とする請求項1からのいずれか1項に記載の通信システム。
The MQTT protocol is applied to send and receive messages between the IoT device, the external posting server and / or the analysis server.
The transmission / reception data is any one of claims 1 to 3 , wherein the transmission / reception data is composed of an MQTT header including at least destination information and transmission condition information, and an MQTT message unit for a message based on a predetermined message definition. The communication system described in.
前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバは、MQTTプロトコルにより送受信データを暗号化し、暗号化されたデータをMQTTメッセージ部とし、元の送受信データと同一のMQTTヘッダを付加して新たな送受信データを生成して送信し、
この送受信データを受信した前記IoT機器、前記外部投稿サーバ及び/又は前記解析サーバは、MQTTメッセージ部を復号して元の送受信データを取得することを特徴とする請求項に記載の通信システム。
The IoT device, the external posting server and / or the analysis server encrypt the transmission / reception data by the MQTT protocol, use the encrypted data as the MQTT message unit, and add the same MQTT header as the original transmission / reception data to newly add. Generate and send transmission / reception data
The communication system according to claim 4 , wherein the IoT device, the external posting server, and / or the analysis server that have received the transmission / reception data decode the MQTT message unit to acquire the original transmission / reception data.
MQTTプロトコルによる送受信データに含まれるMQTTメッセージ部は、
自機又は通信相手機器の識別情報、設置施設の識別情報、タイムスタンプ、蓄積サーバにおけるデータ格納場所のうち少なくとも1つの情報を含んでいることを特徴とする請求項1からのいずれか1項に記載の通信システム。
The MQTT message part included in the data sent and received by the MQTT protocol is
Any one of claims 1 to 5 , characterized in that it contains at least one of the identification information of the own device or the communication partner device, the identification information of the installation facility, the time stamp, and the data storage location in the storage server. The communication system described in.
JP2020069236A 2020-04-07 2020-04-07 Communication system for IoT device management Active JP6832025B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020069236A JP6832025B1 (en) 2020-04-07 2020-04-07 Communication system for IoT device management

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020069236A JP6832025B1 (en) 2020-04-07 2020-04-07 Communication system for IoT device management

Publications (2)

Publication Number Publication Date
JP6832025B1 true JP6832025B1 (en) 2021-02-24
JP2021166350A JP2021166350A (en) 2021-10-14

Family

ID=74661651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020069236A Active JP6832025B1 (en) 2020-04-07 2020-04-07 Communication system for IoT device management

Country Status (1)

Country Link
JP (1) JP6832025B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208349A (en) * 2015-04-24 2016-12-08 株式会社東芝 Remote monitoring system, node device, and remote monitoring method
JP6571565B2 (en) * 2016-03-11 2019-09-04 株式会社日立ハイテクノロジーズ Abnormality diagnosis apparatus and method, and abnormality diagnosis system
JP2020034960A (en) * 2018-08-27 2020-03-05 株式会社シークェンス Posture detection apparatus of person to be monitored

Also Published As

Publication number Publication date
JP2021166350A (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11825547B2 (en) System, method and apparatus for virtual building management
US11323519B2 (en) Internet of things pub-sub data publisher
Ahmad et al. A review of current security issues in Internet of Things
Mishra Performance evaluation of MQTT broker servers
US20140277597A1 (en) System and method for managing industrial processes
US20190342170A1 (en) Auto-determining and installing missing components to a to-be-managed device by a single execution of unique device setup command
KR101926367B1 (en) IoT BROKER SERVER PROCESSING COPATIBILITY OF COMMUNICATIONS AND CONTROLLONG DEVICE ACCORDING TO PRIORITY
TW201537529A (en) Security system access detection
CN103428200A (en) Method and system for detecting the presence of rogue domain name service providers through passive monitoring
US10338980B2 (en) Binding smart objects
Ghosh et al. Sega: Secured edge gateway microservices architecture for iiot-based machine monitoring
JP6220625B2 (en) Delay monitoring system and delay monitoring method
Wendzel How to increase the security of smart buildings?
CN115328744B (en) Block chain-based equipment monitoring method, device, equipment and medium
JP5542772B2 (en) Building equipment management system connection system, building equipment management system connection method, and building equipment management system connection program
Spasov et al. Using IR array MLX90640 to build an IoT solution for ALL and security smart systems
US20180324063A1 (en) Cloud-based system for device monitoring and control
JP6832025B1 (en) Communication system for IoT device management
Nazir et al. Reliable image notifications for smart home security with MQTT
Ramya et al. Analysis of security issues and possible solutions in the internet of things for home automation system
Khan et al. CoAP-based request-response interaction model for the Internet of Things
EP3406067B1 (en) Electronic device for generating a control signal in a secured fashion and method for generating said control signal using the electronic device
Lo et al. Design of a Cloud-based Service Platform for the IoT.
Serdaroglu et al. Edge computing based smart meeting room controller
Chaudhary et al. An Overview of Internet of Things Related Protocols, Technologies, Challenges and Application

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200708

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6832025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150