WO2024122016A1 - データ収集システム - Google Patents
データ収集システム Download PDFInfo
- Publication number
- WO2024122016A1 WO2024122016A1 PCT/JP2022/045225 JP2022045225W WO2024122016A1 WO 2024122016 A1 WO2024122016 A1 WO 2024122016A1 JP 2022045225 W JP2022045225 W JP 2022045225W WO 2024122016 A1 WO2024122016 A1 WO 2024122016A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- metadata
- terminal
- information
- communication
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Definitions
- This disclosure relates to sensing data collection in the Internet of Things (IoT).
- IoT Internet of Things
- Non-Patent Document 1 reports a method that uses LLDP (Link Layer Discovery Protocol, see Non-Patent Document 3 for example).
- the purpose of this disclosure is to make it possible to visually view metadata of terminals on the spot in a space where multiple sensor terminals are operating.
- the data collection system includes a plurality of communication terminals and an administrator terminal.
- the plurality of communication terminals transmit metadata of their own devices using an extension area of the layer 2 communication protocol.
- the administrator terminal executes the method disclosed herein. Specifically, the administrator terminal receives metadata from the communication terminals using an extension area of the layer 2 communication protocol, and displays the received metadata on the administrator terminal by linking it to the communication terminal that sent the metadata.
- the administrator terminal may be a glasses-type display, and when the communication terminal is within the field of view of the glasses-type display, metadata of the communication terminal may be displayed on the lenses of the glasses-type display.
- the administrator terminal may be equipped with a camera, and if the communication terminal is included in an image captured by the camera, metadata of the communication terminal may be displayed on the image captured by the camera.
- the administrator terminal may receive metadata from the communication terminal using only a network device installed in the same space as the communication terminal.
- the administrator terminal may also receive metadata directly from the communication terminal.
- This disclosure makes it possible to make metadata of terminals visible on the spot in a space where multiple sensor terminals are operating.
- FIG. 1 is a diagram illustrating a data collection system according to the present disclosure.
- FIG. 2 is a diagram illustrating a terminal of a data collection system according to the present disclosure.
- FIG. 2 is a diagram illustrating a management node of a data collection system according to the present disclosure.
- 1 is a diagram illustrating a frame transmitted from a terminal to a management node. FIG. This is an example of a space where many sensor terminals are in operation.
- FIG. 1 is a diagram illustrating a data collection system according to an embodiment of the present invention. 13 is an example of a display screen displayed on an administrator terminal. 13 is an example of a display screen displayed on an administrator terminal.
- FIG. 1 is a diagram illustrating a data collection system according to an embodiment of the present invention.
- FIG. 1 is a diagram illustrating a data collection system according to an embodiment of the present invention.
- the data collection system 301 is a data collection system that performs communication from a terminal 11 to a network device 12 by utilizing an extension area of a standardized communication protocol (such as LLDP, HTIP, or IEEE802.11),
- the terminal 11 stores the sensing data detected by the sensor device in an area of the frame defined by the communication protocol, which is different from the area for storing the metadata, and transmits the data to the network device 12.
- the network device 12 transfers the frame to the management node 13,
- the management node 13 is characterized in that it associates the sensing data with the metadata and stores them based on information for identifying the terminal 11 that is written in the frame.
- the data collection network 15 is a network that connects the terminals 11 that exist within a specific range to the management node 13.
- the data collection network 15 is, for example, a local area network (LAN), a field area network (FAN), an IoT area network, etc.
- LAN local area network
- FAN field area network
- IoT area network IoT area network
- FIG. 2 is a diagram for explaining the terminal 11.
- the terminal 11 is, for example, an IoT sensor terminal that senses an observation target and generates sensing data.
- the terminal 11 includes a sensor device 11a, a sensing data storage processing unit 11b, a device information storage processing unit 11c, a communication protocol operation unit 11d1 , metadata detection units ( 11e1 , 11e2 , 11e3 , ...), and a metadata storage processing unit 11f.
- the sensor device 11a senses an object to be observed and acquires sensing data (main data).
- the sensing data may be, for example, temperature, images, acceleration, sound, light, CO2, etc.
- the device information storage processing unit 11c collects device information of the observed target (e.g., the device manufacturer name, model name, model number, etc.) and stores the information in a specified position of the frame (an area that can be used for unique purposes, such as an "extension area” or "optional area” specified by the protocol).
- the sensing data storage processing unit 11b stores the sensing data from the sensor device 11a in a specified position of the frame (such as the payload portion defined by the protocol).
- the sensing data storage processing unit 11b may process the sensing data before storing it in the frame, for example by converting it into a shortened code and storing it, or by splitting it into multiple frames and storing them (fragmentation), so that it conforms to the format/restrictions of the frame's unique extension area.
- the sensing data storage processing unit 11b can arbitrarily set the timing for storing the sensing data in the frame.
- the storage timing can be each time the sensing data is updated, or the sensing data can be stored not sequentially but after it has been accumulated for a certain period of time.
- the sensing data storage processing unit 11b can store a record (log) of the sensing data or the results of specific calculations/statistical processing in the frame.
- the type of sensing data stored in the frame and the storage timing may be fixed or variable.
- the type of sensing data and the storage timing may be dynamically changed by the judgment of the terminal 11 itself or an instruction from the management node 13.
- the frame transmission period may be fixed or variable.
- the frame transmission period may be dynamically changed based on the judgment of the terminal 11 itself or an instruction from the management node 13.
- the metadata detection unit 11e acquires information (metadata) other than device information.
- Information other than device information is, for example, location information of the detection target, time information, person, object, or event information, and other information.
- the present invention does not limit the information other than device information to these.
- the metadata detection unit 11e has a location information detection unit 11e 1 , a time detection unit 11e 2 , a person, object, or event detection unit 11e 3 , and other detection units.
- the location information detection unit 11e 1 is, for example, a GPS, an acceleration sensor, a gyro sensor, or an RSSI receiver for Wi-Fi signals, BLE (Bluetooth Low Energy) beacon signals, etc.
- the location metadata detected by the location information detection unit 11e 1 is information about a location acquired from a GPS signal, a BLE beacon signal, radio wave information of wireless communication, radio wave information of non-communication (television, radio, radio clock, other noise, etc.), power information, visible light information, sound wave information, vibration information, acceleration information, or other location metadata source.
- the time detection unit 11e2 is, for example, an information receiver from GPS or NTP (Network Time Protocol).
- the time metadata detected by the time detection unit 11e2 is information about time acquired from a GPS signal, information from the NTP, or other time metadata sources.
- the person, object, and event detection unit 11e 3 is a receiver that receives, for example, information from a BLE beacon (carried by a person), a smartphone carried by a person, or information from image analysis results.
- the person, object, or event metadata detected by the person, object, and event detection unit 11e 3 is information about a person, object, or event obtained from a BLE beacon carried by a person, information from a smartphone carried by a person, information from image analysis results, or other current event metadata sources.
- Other metadata detected by the detection unit includes information regarding the network configuration of the data collection network 15.
- the metadata detection unit 11e may detect all of the multiple detection targets, or may detect any one of them.
- the metadata storage processing unit 11f stores the data detected by the metadata detection unit 11e as metadata in an extension area or option area in the frame set by the communication protocol.
- the metadata storage processing unit 11f can store metadata in the control system frame of an IEEE 804.11 wireless LAN.
- various metadata are stored in the "Vendor Specific” area, which is an extension area of a Probe Request frame.
- various metadata are stored in the "Vendor Specific” area, which is an extension area of a Probe Response frame.
- the metadata storage processing unit 11f may process the metadata before storing it in the frame, for example by converting it into a shortened code and storing it, or by splitting it and storing it in multiple frames (fragmentation), so that it conforms to the format/restrictions of the frame's unique extension area.
- the metadata storage processing unit 11f can arbitrarily set the timing for storing metadata in a frame.
- the storage timing can be each time the metadata is updated, or the metadata can be stored not sequentially but after it has been accumulated for a certain period of time.
- the metadata storage processing unit 11f can store a record (log) of the metadata or the results of specific calculations/statistical processing in the frame.
- the type of metadata stored in the frame and the storage timing may be fixed or variable.
- the type of metadata and the storage timing may be dynamically changed at the discretion of the terminal 11 itself or in response to an instruction from the management node 13.
- the communication protocol operation unit 11d 1 transmits a frame in which sensing data and device information are stored in a predetermined area and metadata is stored in an extension area or an option area to the network device 12 using a lightweight and standardized communication protocol such as LLDP or HTIP (Home network Topology Identifying Protocol).
- the communication protocol of the frame in which the sensing data is stored and the communication protocol of the frame in which the device information is stored may be the same or different.
- the metadata storage processing unit 11f may store the metadata in a frame of one of the communication protocols (a frame in which the sensing data is stored or a frame in which the device information is stored) or in a frame of both communication protocols (a frame in which the sensing data is stored and a frame in which the device information is stored).
- the terminal 11 also has a function of operating according to instructions from the management node 13, etc. Specifically, the terminal 11 has an instruction interpretation unit 11g, and when the terminal itself changes the BLE beacon signal or metadata information (information to be transmitted, radio wave intensity, transmission frequency, etc.) according to instructions from the management node 13, the terminal transmits the information to the outside.
- the terminal 11 When transmitting information using the same protocol as communication with the network device 12, the terminal 11 operates the communication protocol operation unit 11d1.
- the terminal 11 When transmitting information using a protocol different from that for communication with the network device 12, the terminal 11 has a communication protocol operation unit 11d2 in addition to the communication protocol operation unit 11d1, and operates the communication protocol operation unit 11d2 .
- the terminal 11 itself is a beacon signal source for other terminals to grasp metadata.
- the terminal 11 may be a beacon signal source for identifying location metadata, or a beacon terminal carried by a worker to identify nearby people.
- the network device 12 is, for example, a network switch, a wireless access point, a wireless repeater, etc.
- the network device 12 sends the frames uploaded from the lower data collection network 15 to the management node 13 as is.
- the network device 12 may have a metadata processing unit (metadata detection unit 11e and metadata storage processing unit 11f) that the terminal 11 has. Even if the network device 12 does not have the sensor device 11a, it can add metadata such as its own unique information such as its own MAC address and a connection port to a frame sent from the terminal 11 and transfer the frame to the management node 13. If the network device 12 has a metadata processing section, it becomes possible to grasp the logical connection from the management node 13 to the terminal 11, and a more accurate logical/physical network management map can be created. In other words, even if the network device 12 is a network switch (switching hub) or a wireless repeater that does not have layer 3 or higher functions, this technology operates at layer 2, making it possible to manage and understand the connections between network devices, including the network
- FIG. 3 is a diagram explaining the management node 13.
- the management node 13 has a communication protocol operation unit 13a, an information processing unit 13b, and an information storage unit 13c.
- the management node 13 extracts information from frames passed from the network device 12, stores it, and provides it for analysis.
- the management node 13 is characterized by having the function of storing combinations of two or more pieces of collected information in the information storage unit 13c.
- the communication protocol operation unit 13a receives frames in which sensing data and metadata are stored from the terminal 11 and the network device 12.
- the information processing unit 12b extracts the following sensing data, device information, and metadata from the received frames, and organizes them in the information storage unit 13c based on information that identifies the individual terminal 11 (e.g., MAC address).
- the management node 13 refers to metadata related to a location and stores the main data acquired at the same location or within a certain area in the format of [location metadata, main data]. [supplement] Further details on location metadata. Like GPS information, there are cases where the information has become direct location metadata at the time of sensing by the terminal 11.
- FIG. 4 is a diagram explaining a frame 41 transmitted from the terminal 11 to the management node 13.
- the network device 12 is not shown in FIG. 4.
- the frame 41 is a layer 2 communication frame such as an Ethernet (registered trademark) frame or a Wi-Fi communication frame.
- the frame 41 is composed of a logical identifier 41a of the communication device such as a MAC address, a source and destination identifier 41b such as an IP address, an area 41c in which sensing data such as temperature and images are stored, and an extension area 41d in which metadata is stored.
- the identifier 41b and area 41c form a layer 3 communication packet.
- the management node 13 for example, links the MAC address of the logical identifier 41a with the location metadata of the extension area 41d to [MAC address, location metadata], and links the MAC address of the logical identifier 41a with the installer metadata of the extension area 41d to [MAC address, installer metadata], and organizes them in the information storage unit 13c.
- the data collection system 301 can acquire network configuration information, device information, sensing data, and metadata of terminals and devices using a communication protocol that does not require high performance.
- Fig. 5 is an example of a space in which a large number of sensor terminals 11S are in operation.
- the sensor terminals 11S in the same type of housing move in various directions and at various speeds.
- the sensor terminals 11S have the same appearance, it is not possible for the human eye to track and identify the sensor terminals 11.
- Fig. 5 there are three sensor terminals 11S, but the number of sensor terminals 11S is not limited to three.
- FIG. 6 is a diagram illustrating the data collection system 302 of this embodiment.
- a sensor terminal 11S functioning as a communication terminal is connected to an access point 12A functioning as a network device 12.
- an administrator terminal located in the space in which the sensor terminal 11S is located is a glasses-type display 14G.
- the data collection system of this embodiment executes the data collection method of this embodiment.
- the data collection method of this embodiment includes a plurality of communication terminals transmitting their own metadata using an extension area of a layer 2 communication protocol, and an administrator terminal receiving the metadata from the plurality of communication terminals and displaying the metadata on the administrator terminal in association with the communication terminal that transmitted the metadata.
- a glasses-type display 14G collects metadata with low latency in the space where the sensor terminals 11S are located.
- the glasses-type display 14G can be a glasses-type display used for AR (Augmented Reality)/MR (Mixed Reality)/VR (Virtual Reality), or any other terminal such as a tablet.
- AR Augmented Reality
- Mixed Reality Mixed Reality
- VR Virtual Reality
- metadata/data of stationary or moving sensor terminals 11S in the space can be displayed in real time on the glasses-type display 14G, improving the efficiency of maintenance and operation of IoT devices.
- each sensor terminal 11S transmits metadata to the glasses-type display 14G using the extended area of the layer 2 communication frame.
- the metadata includes any information according to the display content on the glasses-type display 14G, such as the position, inclination, and orientation of the sensor terminal 11S.
- information on the logical identifier of the sensor terminal 11S such as a MAC address, is transmitted in a linked state.
- the glasses-type display 14G can collect metadata such as the position, inclination, and orientation of each sensor terminal 11S in real time, with the information on the device logical identifier linked to the metadata.
- the visual position of the worker on the glasses-type display 14G (the relative position from the worker's viewpoint), the absolute position in the room, the logical identifier of the sensor terminal 11S, and metadata such as tilt, orientation, and status can be linked in real time and visually grasped. Since information can be collected with particularly low latency, changes in the angle of the glasses-type display 14G (such as swiveling) can also be tracked in real time.
- FIG. 7 is an example of a display screen displayed on the glasses-type display 14G.
- the glasses-type display 14G displays the metadata of the sensor terminal 11S on the lenses.
- the figure shows an example of displaying the metadata of the sensor terminal 11S in the vicinity of the sensor terminal 11S.
- the metadata includes any information about the sensor terminal 11S, such as the installer, installation date, sensor type, model number, etc. This makes it possible to check the metadata of the sensor terminal 11S on the spot in real time in this embodiment.
- the sensor terminal 11S transmits sensing data and metadata to the management node via the access point 12A, which is a network device, at a predetermined timing. Therefore, the low-layer communication from the sensor terminal 11S to the eyeglass-type display 14G can use the access point 12A, which is a network device, as shown in FIG. 8.
- the transmission does not go through the WAN side outside the access point 12A.
- a layer 2 communication frame that reaches the access point 12A from the sensor terminal 11S is directly transferred from the access point 12A to the eyeglass-type display 14G.
- communication is performed only in the local network within the space in which the sensor terminal 11S and the eyeglass-type display 14G are located.
- the eyeglass display 14G may make a transmission request to the sensor terminal 11S via the access point 12A, and the sensor terminal 11S may respond to the eyeglass display 14G.
- low-layer communication is used to transmit the transmission request and response.
- the transmission request and response are stored in an extension area of a layer 2 communication frame. This makes it possible for this embodiment to display metadata of the sensor terminal 11S on the eyeglass display 14G in real time.
- communication may be performed directly between the sensor terminal 11S and the eyeglass-type display 14G without going through the access point 12A.
- communication between the sensor terminal 11S and the eyeglass-type display 14G is also stored in an extension area of the layer 2 communication frame. This makes it possible for this embodiment to display metadata of the sensor terminal 11S on the eyeglass-type display 14G in real time.
- FIG. 10 shows an application example of this embodiment. It is possible to easily determine whether the inclination of either of the sensor terminals, cameras 11C-1 and 11C-2, has changed simply by looking at cameras 11C-1 and 11C-2 through the eyeglass-type display 14G.
- the type of metadata may be the presence or absence of data loss. In this case, the position of the sensor terminal with data loss can be determined simply by looking around the space through the eyeglass-type display 14G.
- this embodiment can collect metadata (physical location, status, etc.) of the sensor terminal 11S with low load and low latency, making it possible to smoothly identify abnormalities through the glasses-type display 14G, etc.
- any method may be used to link the sensor terminal 11S displayed on the glasses-type display 14G with the metadata received from the sensor terminal 11S.
- the metadata of the sensor terminal 11S can be directly and quickly transmitted.
- the metadata transmitted from the sensor terminal 11S to the eyeglass-type display 14G includes link information for linking the sensor terminal 11S displayed on the eyeglass-type display 14G.
- Examples of the link information include the absolute position of the sensor terminal 11S, its relative position with respect to other terminals, its relative position with respect to the beacon device, its inclination, orientation, and acceleration.
- the glasses-type display 14G uses the following three pieces of information to link the information of the sensor terminal 11S displayed on the glasses-type display 14G.
- the absolute position (three-dimensional coordinates) of the sensor terminal 11S at a certain time The absolute position (three-dimensional coordinates) of the glasses-type display 14G at a certain time Information on the orientation of the camera of the glasses-type display 14G at a certain time (6 axes, etc.)
- the glasses-type display 14G uses the following four pieces of information to link the information of the sensor terminal 11S to be displayed on the glasses-type display 14G.
- the absolute position (three-dimensional coordinates) of the sensor terminal 11S at a certain time Acceleration information (direction, speed, and acceleration) of the sensor terminal 11S at a certain time
- the absolute position (three-dimensional coordinates) of the glasses-type display 14G at a certain time Orientation information of the glasses-type display 14G at a certain time (6 axes, etc.)
- the sensor terminal 11S may be estimated based on its relative position to the other terminal.
- the glasses-type display 14G links the information of the sensor terminal 11S displayed on the glasses-type display 14G using the following four pieces of information.
- - Absolute positions (3D coordinates) of beacon signal sources whose positions are known (ideally four or more) at a certain time
- the relative distance between each beacon signal source and the sensor terminal 11S The absolute position (three-dimensional coordinates) of the eyeglass-type display 14G at a certain time Orientation information of the glasses-type display 14G at a certain time (6 axes, etc.)
- the absolute position of the glasses-type display 14G may be estimated using a beacon signal source, as with the sensor terminal 11S in the third pattern.
- the calculation process of the relative distance between each beacon signal source and the sensor terminal 11S may be performed anywhere in the sensor terminal 11S, the AP 12A, or the glasses-type display 14G.
- the eyeglass-type display 14G performs the calculation process of the relative distance.
- the sensor terminal 11S does not perform any calculation process, but simply mechanically transfers the beacon signal it receives to the low-layer protocol extension area and broadcasts it, making it possible to send metadata for position calculation quickly and with low load.
- metadata on the current position and state (orientation, inclination) of sensor terminals 11S and network devices that are constantly moving and are mounted on robots, drones, etc. is collected using the low latency of low-layer metadata collection technology, enabling maintenance operators to visually grasp the current state of the sensor terminals and network devices in real time.
- the administrator terminal is a glasses-type display 14G
- the present disclosure is not limited to this.
- the administrator terminal may be any communication terminal equipped with a camera.
- the orientation of the glasses-type display 14G can be replaced with the orientation of the camera.
- the present disclosure is not limited to glasses-type displays, but can be applied to any terminal equipped with a camera, and metadata of the communication terminal can be displayed on an image captured by the camera.
- the above-mentioned terminal 11 and management node 13 can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided via a network.
- Terminal 11S Sensor terminal 11a: Sensor device 11b: Sensing data storage processing unit 11c: Device information storage processing unit 11C-1, 11C-2: Camera 11d1, 11d2: Communication protocol operation unit 11e, 11e1, 11e2, 11e3, ...: Metadata detection unit 11f: Metadata storage processing unit 11g: Instruction interpretation unit 12: Network device 12A: Access point 13: Management node 13a: Communication protocol operation unit 13b: Information processing unit 13c: Information storage unit 14G: Glasses-type display 15: Data collection network 41: Frame 41a: Logical identifier 41b: Source/destination identifier 41c: Main data area 41d: Extension areas 301-302: Data collection system
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本開示は、複数のセンサ端末が稼働している空間において、端末のメタデータをその場で目視可能にすることを目的とする。 本開示は、装置のメタデータを、レイヤ2の通信プロトコルの拡張領域を利用して送信する複数の通信端末と、前記複数の通信端末からメタデータを受信し、受信したメタデータを、メタデータの送信元の前記通信端末に紐づけて自装置に表示する管理者端末と、を備えるデータ収集システムである。
Description
本開示は、IoT(Internet of Things)におけるセンシングデータ収集に関する。
標準規格化されており、かつ、高い性能を要求しない軽量の通信プロトコルで、端末や機器のネットワーク構成情報や機器情報を取得する。例えば、非特許文献1では、LLDP(Link Layer Discovery Protocol、例えば非特許文献3を参照。)を用いた方法が報告されている。
IoTにおいては、数多くのセンサ端末をネットワーク接続し、それらが生成するデータ(センシングデータ)を収集する必要がある。また、IoTにおけるデータ活用においては、センサ端末が生成するセンシングデータそのものだけではなく、メタデータと呼ばれる、センシングデータに関するデータの重要性が報告されており(非特許文献2など)、センシングデータとメタデータを合わせて取得且つ流通させることで、利用者がセンシングデータを安全かつ容易に活用することが期待されている。例えば、非特許文献1に開示されるLLDPを利用すれば、経済的なシステム構成で、センシングデータに関するメーカ名や型番などのメタデータ(機器情報)を収集できる。
美原 義行、山崎 毅文、岡本 学、佐藤 敦、「ホームネットワークマップ特定プロトコルHTIPの設計と診断ツールへの適用」、情報処理学会論文誌 コンシューマ・デバイス&システム、Vol.2、 No.3、 pp.34-45、Dec. 2012.
小田 利彦、今井 紘、内藤 丈嗣、竹林 一、「センシングデータ流通市場におけるメタデータの定義・生成・活用の一方式」、2018年度人工知能学会全国大会(第32回)、June 2012.
IEEE Std 802.1AB-2016, "IEEE Standard for Local and metropolitan area networks-Station and Media Access Control Connectivity Discovery"
IEEE Std 802.11TM-2016 P.708(Probe Reqest)、P.712(Probe Response)
複数のセンサ端末が稼働している空間では、同タイプの筐体の複数のセンサ端末が、至るところに配置されている。センサ端末は同じような外見を有する場合が多く、人の目ではセンサ端末を追尾し、特定することは困難である。特に、センサ端末がロボットやドローン等に搭載されており、移動する場合、センサ端末を追尾し、特定することはさらに困難である。
本開示は、複数のセンサ端末が稼働している空間において、端末のメタデータをその場で目視可能にすることを目的とする。
本開示に係るデータ収集システムは、複数の通信端末と、管理者端末と、を備える。前記複数の通信端末は、自装置のメタデータを、レイヤ2の通信プロトコルの拡張領域を利用して送信する。
管理者端末は、本開示に係る方法を実行する。具体的には、管理者端末は、レイヤ2の通信プロトコルの拡張領域を利用して、通信端末のメタデータを受信し、受信したメタデータを、メタデータの送信元の通信端末に紐づけて自装置に表示する。
前記管理者端末は、メガネ型ディスプレイであり、前記メガネ型ディスプレイの視界に前記通信端末が含まれている場合、前記通信端末のメタデータを、前記メガネ型ディスプレイのレンズに表示してもよい。
前記管理者端末は、カメラを備え、前記カメラで撮影されている画像に前記通信端末が含まれている場合、前記通信端末のメタデータを、前記カメラで撮影されている画像に表示してもよい。
前記管理者端末は、前記通信端末と同一空間に設置されているネットワーク装置のみを用いて、前記通信端末からメタデータを受信してもよい。また、前記管理者端末は、前記通信端末から直接メタデータを受信してもよい。
なお、上記各開示は、可能な限り組み合わせることができる。
本開示は、複数のセンサ端末が稼働している空間において、端末のメタデータをその場で目視可能にすることができる。
添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
(実施形態1)
本実施形態では、データ収集システムの基本構成を説明する。
図1は、本実施形態のデータ収集システム301を説明する図である。データ収集システム301は、端末11からネットワーク装置12への通信を標準規格化された通信プロトコル(LLDPやHTIP、IEEE802.11、等)の拡張領域を活用して行うデータ収集システムであって、
端末11は、センサーデバイスが検出したセンシングデータを、前記通信プロトコルで規定されるフレーム内の、メタデータを格納する領域とは異なる領域に格納し、ネットワーク装置12へ送出し、
ネットワーク装置12は、前記フレームを管理ノード13へ転送し、
管理ノード13は、前記フレームに記載される端末11を識別する情報に基づいて、前記センシングデータと前記メタデータとを関連付けて保管する
ことを特徴とする。
本実施形態では、データ収集システムの基本構成を説明する。
図1は、本実施形態のデータ収集システム301を説明する図である。データ収集システム301は、端末11からネットワーク装置12への通信を標準規格化された通信プロトコル(LLDPやHTIP、IEEE802.11、等)の拡張領域を活用して行うデータ収集システムであって、
端末11は、センサーデバイスが検出したセンシングデータを、前記通信プロトコルで規定されるフレーム内の、メタデータを格納する領域とは異なる領域に格納し、ネットワーク装置12へ送出し、
ネットワーク装置12は、前記フレームを管理ノード13へ転送し、
管理ノード13は、前記フレームに記載される端末11を識別する情報に基づいて、前記センシングデータと前記メタデータとを関連付けて保管する
ことを特徴とする。
データ収集ネットワーク15は、特定の範囲に存在する端末11と管理ノード13とを接続するネットワークである。データ収集ネットワーク15は、例えば、ローカルエリアネットワーク(LAN)、フィールドエリアネットワーク(FAN)、IoTエリアネットワークなどである。同じデータ収集ネットワーク15内に、単一種類の端末11が複数存在する場合と、複数種類の端末11が存在する場合がある。
図2は、端末11を説明する図である。
端末11は、例えば、IoTセンサ端末であり、観測対象に関するセンシングを行い、センシングデータを生成する。端末11は、センサーデバイス11a、センシングデータ格納処理部11b、機器情報格納処理部11c、通信プロトコル動作部11d1、メタデータ検出部(11e1、11e2、11e3、・・・)、及びメタデータ格納処理部11fを有する。
端末11は、例えば、IoTセンサ端末であり、観測対象に関するセンシングを行い、センシングデータを生成する。端末11は、センサーデバイス11a、センシングデータ格納処理部11b、機器情報格納処理部11c、通信プロトコル動作部11d1、メタデータ検出部(11e1、11e2、11e3、・・・)、及びメタデータ格納処理部11fを有する。
センサーデバイス11aは、観測対象に関するセンシングを行い、センシングデータ(主データ)を取得する。センシングデータは、例えば、温度、画像、加速度、音、光、CO2等である。
機器情報格納処理部11cは、観測対象の機器情報(例えば、機器のメーカ名、機種名、型番等)を収集し、フレームの所定位置(プロトコルで規定される“拡張領域”や“オプション領域”等の独自用途で使用可能な領域)に当該情報を格納する。
機器情報格納処理部11cは、観測対象の機器情報(例えば、機器のメーカ名、機種名、型番等)を収集し、フレームの所定位置(プロトコルで規定される“拡張領域”や“オプション領域”等の独自用途で使用可能な領域)に当該情報を格納する。
センシングデータ格納処理部11bは、センサーデバイス11aからのセンシングデータをフレームの所定位置(プロトコルで規定されるペイロード部分など)に格納する。センシングデータ格納処理部11bは、フレームの独自拡張領域の様式/制限に適合するように、センシングデータを、ある短縮コードに変換して格納したり、分割して複数フレームに分けて格納(フラグメンテーション)するなど、加工した後にフレームに格納してもよい。
センシングデータ格納処理部11bは、センシングデータをフレームに格納する格納タイミングを任意に設定することができる。例えば、当該格納タイミングをセンシングデータ更新の都度とすることもできるし、センシングデータを逐次格納ではなく一定期間蓄積したタイミングで格納してもよい。また、センシングデータ格納処理部11bは、センシングデータを一定期間蓄積した場合、その記録(ログ)や、特定の計算/統計処理をした結果をフレームに格納してもよい。
フレームに格納するセンシングデータの種別や格納タイミングは固定されていても変動してもよい。端末11自身の判断、管理ノード13からの指示でセンシングデータの種別や格納タイミングを動的に変更してもよい。
また、フレームの送信周期も固定されていてもよいし変動してもよい。端末11自身の判断、管理ノード13からの指示でフレームの送信周期を動的に変更してもよい。
また、フレームの送信周期も固定されていてもよいし変動してもよい。端末11自身の判断、管理ノード13からの指示でフレームの送信周期を動的に変更してもよい。
メタデータ検出部11eは、機器情報以外の情報(メタデータ)を取得する。機器情報以外の情報とは、例えば、検出対象の位置情報、時刻情報、人、モノ、又は出来事情報、及びその他情報である。ただし、本発明は機器情報以外の情報をこれらに限定しない。メタデータ検出部11eは、これらの情報を取得するために、位置情報検出部11e1、時刻検出部11e2、人、モノ、出来事検出部11e3、及びその他の検出部を有する。
位置情報検出部11e1は、例えば、GPS、加速度センサ、ジャイロセンサ、あるいはWi-Fi信号やBLE(Bluetooth Low Energy)ビーコン信号などのRSSI受信器である。そして、位置情報検出部11e1が検出する場所メタデータは、GPS信号、BLEビーコン信号、無線通信の電波情報、非通信の電波情報(テレビ、ラジオ、電波時計、その他ノイズ等)、電力情報、可視光情報、音波情報、振動情報、加速度情報、その他の場所メタデータ源から取得した位置に関する情報である。
時刻検出部11e2は、例えば、GPS、NTP(Network Time Protocol)からの情報受信器である。そして、時刻検出部11e2が検出する時刻メタデータは、GPS信号、NTPからの情報、その他の時刻メタデータ源から取得した時刻に関する情報である。
人、モノ、出来事検出部11e3は、例えば、BLEビーコン(人に所持させる)、人が所持しているスマートフォンからの情報や画像解析結果からの情報を受信する受信器である。人、モノ、出来事検出部11e3が検出する人、モノ、又は出来事メタデータは、人に所持させたBLEビーコン、人が所持しているスマートフォンからの情報、画像解析結果からの情報、その他の時事メタデータ源から取得した人、モノ、又は出来事に関する情報である。
その他の検出部が検出するメタデータとしては、データ収集ネットワーク15のネットワーク構成に関する情報などがある。
なお、メタデータ検出部11eは、複数の検出対象のうち全てを検出してもよいし、任意の1つを検出してもよい。
メタデータ格納処理部11fは、メタデータ検出部11eが検出したデータをメタデータとして通信プロトコルで設定されているフレーム内の拡張領域又はオプション領域に格納する。例えば、メタデータ格納処理部11fは、IEEE804.11無線LANの制御系フレームにメタデータを格納することができる。具体的には、Probe Request(プローブ要求)フレームの拡張領域である“Vendor Specific”領域に、各種メタデータを格納する。あるいは、Probe Response(プローブ応答)フレームの拡張領域である“Vendor Specific”領域に、各種メタデータを格納する。
メタデータ格納処理部11fは、フレームの独自拡張領域の様式/制限に適合するように、メタデータを、ある短縮コードに変換して格納したり、分割して複数フレームに分けて格納(フラグメンテーション)するなど、加工した後にフレームに格納してもよい。
メタデータ格納処理部11fは、メタデータをフレームに格納する格納タイミングを任意に設定することができる。例えば、当該格納タイミングをメタデータ更新の都度とすることもできるし、メタデータを逐次格納ではなく一定期間蓄積したタイミングで格納してもよい。また、メタデータ格納処理部11fは、メタデータを一定期間蓄積した場合、その記録(ログ)や、特定の計算/統計処理をした結果をフレームに格納してもよい。
フレームに格納するメタデータの種別や格納タイミングは固定されていても変動してもよい。端末11自身の判断、管理ノード13からの指示でメタデータの種別や格納タイミングを動的に変更してもよい。
通信プロトコル動作部11d1は、所定領域にセンシングデータや機器情報が格納され、拡張領域又はオプション領域にメタデータが格納されたフレームを、例えば、LLDPもしくはHTIP(Home network Topology Identifying Protocol)のような軽量で標準規格化された通信プロトコルを用いてネットワーク装置12へ送信する。なお、センシングデータが格納されたフレームの通信プロトコルと、機器情報が格納されたフレームの通信プロトコルとは、同一であっても異なっていてもよい。後者の場合、メタデータ格納処理部11fは、メタデータをいずれか1つの通信プロトコルのフレーム(センシングデータが格納されたフレーム又は機器情報が格納されたフレーム)に格納してもよいし、両方の通信プロトコルのフレーム(センシングデータが格納されたフレーム及び機器情報が格納されたフレーム)に格納してもよい。
さらに、端末11は、管理ノード13等からの指示に従って動作する機能も持つ。具体的には、端末11は、指示解釈部11gを有し、管理ノード13からの指示に従って、端末自身が発信するBLEビーコン信号やメタデータ情報(発信する情報、電波強度、送出頻度等)を変化させる場合、その情報を外部に情報発信する。ネットワーク装置12との通信と同じプロトコルで情報発信する場合、通信プロトコル動作部11d1を動作させる。ネットワーク装置12との通信と異なるプロトコルで情報発信する場合、通信プロトコル動作部11d1の他に通信プロトコル動作部11d2を備え、通信プロトコル動作部11d2を動作させる。
なお、端末11自体が、他の端末がメタデータを把握する為のビーコン信号源である場合も含む。例えば、端末11は、場所メタデータを識別する為のビーコン信号源であってもよいし、近接した人を識別する為に作業者に所持させるビーコン端末であってもよい。
ネットワーク装置12は、例えば、ネットワークスイッチ、無線アクセスポイント、無線リピータ等の装置である。ネットワーク装置12は、下位のデータ収集ネットワーク15からアップロードされたフレーム群をそのまま管理ノード13へ送出する。
ここで、ネットワーク装置12は、端末11が有するメタデータの処理部分(メタデータ検出部11e及びメタデータ格納処理部11f)を有していてもよい。ネットワーク装置12は、センサデバイス11aを持たない場合も、端末11から送られてきたフレームに、自身のMACアドレス等の固有情報、接続ポート等のメタデータを追加で付与し、管理ノード13へ転送することができる。
ネットワーク装置12がメタデータの処理部分を有せば、管理ノード13から端末11までの論理的なつながりを把握可能となり、より正確な論理的/物理的なネットワーク管理マップを作成することができる。
つまり、ネットワーク装置12がレイヤ3以上の機能を持たないネットワークスイッチ(スイッチングハブ)や無線リピータ等であっても、本技術はレイヤ2で行うため、ネットワーク装置12も含めたネットワーク機器のつながりを管理/把握できるようになる。
ここで、ネットワーク装置12は、端末11が有するメタデータの処理部分(メタデータ検出部11e及びメタデータ格納処理部11f)を有していてもよい。ネットワーク装置12は、センサデバイス11aを持たない場合も、端末11から送られてきたフレームに、自身のMACアドレス等の固有情報、接続ポート等のメタデータを追加で付与し、管理ノード13へ転送することができる。
ネットワーク装置12がメタデータの処理部分を有せば、管理ノード13から端末11までの論理的なつながりを把握可能となり、より正確な論理的/物理的なネットワーク管理マップを作成することができる。
つまり、ネットワーク装置12がレイヤ3以上の機能を持たないネットワークスイッチ(スイッチングハブ)や無線リピータ等であっても、本技術はレイヤ2で行うため、ネットワーク装置12も含めたネットワーク機器のつながりを管理/把握できるようになる。
図3は、管理ノード13を説明する図である。管理ノード13は、通信プロトコル動作部13a、情報処理部13b及び情報格納部13cを有する。管理ノード13は、ネットワーク装置12から渡されたフレームから情報を取り出して保管し、分析に供する。特に、管理ノード13は、収集した2以上の情報の組み合わせを情報格納部13cに格納する機能を持つことが特徴である。
通信プロトコル動作部13aは、端末11やネットワーク装置12からのセンシングデータやメタデータが格納されたフレームを受信する。情報処理部12bは、受信したフレームから以下のようなセンシングデータ、機器情報、及びメタデータを取り出し、これらを端末11の個体を識別する情報(例:MACアドレス)を基に情報格納部13cに整理する。
(1)端末の物理的な情報(筐体の特長、画像情報、貼られたラベルの情報、作業者が指をさしている対象、作業者の視線の対象、等の情報)
(2)論理ネットワーク上の端末の識別子(MACアドレス、UUID等)
(3)主データ(温度、画像、加速度、音、光、CO2等のセンシングデータ)
(4)各種メタデータ(場所、時刻、人、モノ、出来事等のデータ)
例えば、管理ノード13は、場所に関するメタデータを参照し、同一場所あるいはある領域内で取得された主データを[場所メタデータ、主データ]という形式で保管する。
[補足]
場所メタデータについて補足する。
GPS情報のように、端末11でセンシングされた時点で直接的な場所メタデータとなっている場合もある。一方、BLEビーコンからの信号、可視光、あるいは音情報のように、端末11でセンシングされてメタデータとして送出される時点では場所情報かどうかは確定されておらず、管理ノード13が当該メタデータを場所メタデータとして認識/把握する場合もある。
[補足終了]
(1)端末の物理的な情報(筐体の特長、画像情報、貼られたラベルの情報、作業者が指をさしている対象、作業者の視線の対象、等の情報)
(2)論理ネットワーク上の端末の識別子(MACアドレス、UUID等)
(3)主データ(温度、画像、加速度、音、光、CO2等のセンシングデータ)
(4)各種メタデータ(場所、時刻、人、モノ、出来事等のデータ)
例えば、管理ノード13は、場所に関するメタデータを参照し、同一場所あるいはある領域内で取得された主データを[場所メタデータ、主データ]という形式で保管する。
[補足]
場所メタデータについて補足する。
GPS情報のように、端末11でセンシングされた時点で直接的な場所メタデータとなっている場合もある。一方、BLEビーコンからの信号、可視光、あるいは音情報のように、端末11でセンシングされてメタデータとして送出される時点では場所情報かどうかは確定されておらず、管理ノード13が当該メタデータを場所メタデータとして認識/把握する場合もある。
[補足終了]
図4は、端末11から管理ノード13へ送信されるフレーム41を説明する図である。図4では、ネットワーク装置12の記載を省略している。フレーム41は、イーサネット(登録商標)フレームやWi-Fi通信フレームのようなレイヤ2通信フレームである。フレーム41は、MACアドレス等の通信デバイスの論理識別子41a、IPアドレスのような送信元や宛先の識別子41b、温度や画像などのセンシングデータが格納される領域41c、及びメタデータが格納される拡張領域41dで構成される。このうち、識別子41bと領域41cがレイヤ3通信パケットとなる。
管理ノード13は、例えば、論理識別子41aのMACアドレスと拡張領域41dの場所メタデータを組み合わせて[MACアドレス、場所メタデータ]、論理識別子41aのMACアドレスと拡張領域41dの設置者メタデータを組み合わせて[MACアドレス、設置者メタデータ]のように紐づけて情報格納部13cに整理する。
このように、データ収集システム301は、高い性能を要求しない通信プロトコルで、端末や機器のネットワーク構成情報、機器情報、センシングデータ及びメタデータを取得することができる。
(実施形態2)
図5は、多数のセンサ端末11Sが稼働している空間の一例である。ロボットやドローン等に搭載された、常に動き続けるような複数のセンサ端末11Sが稼働している空間では、同タイプの筐体のセンサ端末11Sが、様々な向き・速度で移動する。その場合、センサ端末11Sは同じような外見を有するため、人の目ではセンサ端末11を追尾し、特定することはできない。図5では、センサ端末11Sは3つであるが、センサ端末11Sの数は3つに限定されない。
図5は、多数のセンサ端末11Sが稼働している空間の一例である。ロボットやドローン等に搭載された、常に動き続けるような複数のセンサ端末11Sが稼働している空間では、同タイプの筐体のセンサ端末11Sが、様々な向き・速度で移動する。その場合、センサ端末11Sは同じような外見を有するため、人の目ではセンサ端末11を追尾し、特定することはできない。図5では、センサ端末11Sは3つであるが、センサ端末11Sの数は3つに限定されない。
人の目に代えて、画像解析を用いてセンサ端末11を判別することが考えられる。しかし、センサ端末11Sが同じような外見を有するため、別付けの識別タグ(QRコード、バーコード、RFタグ、ラベル、色を変える、等)をセンサ端末11Sの筐体に貼り付ける必要がある。このような識別タグを用いる場合、貼り間違い等による誤認識を防げない。
図6は、本実施形態のデータ収集システム302を説明する図である。本実施形態では、通信端末として機能するセンサ端末11Sがネットワーク装置12として機能するアクセスポイント12Aに接続される例を示す。また、センサ端末11Sの配置されている空間に位置する管理者端末がメガネ型ディスプレイ14Gである例を示す。
本実施形態のデータ収集システムは、本実施形態のデータ収集方法を実行する。本実施形態のデータ収集方法では、複数の通信端末が、自装置のメタデータを、レイヤ2の通信プロトコルの拡張領域を利用して送信することと、管理者端末が、前記複数の通信端末からメタデータを受信し、メタデータの送信元の前記通信端末に紐づけて自装置に表示することと、を備える。
本実施形態のデータ収集システムは、センサ端末11Sの配置されている空間において、メガネ型ディスプレイ14Gが低遅延なメタデータ収集を行う。メガネ型ディスプレイ14Gは、AR(Augmented Reality)/MR(Mixed Reality)/VR(Virtual Reality)に用いられるメガネ型ディスプレイのほか、タブレット等の任意の端末を採用することができる。本実施形態では、空間内の静止又は移動しているセンサ端末11Sのメタデータ/データを、リアルタイムにメガネ型ディスプレイ14Gに表示可能になるため、IoTデバイスの保守運用効率が向上する。
ここで、本実施形態では、各センサ端末11Sは、レイヤ2通信フレームの拡張領域を用いてメタデータをメガネ型ディスプレイ14Gに送信する。メタデータは、メガネ型ディスプレイ14Gにおける表示内容に応じた任意の情報を含み、例えば、センサ端末11Sの位置、傾き、向き等が例示できる。レイヤ2を用いた低レイヤ通信では、MACアドレス等のセンサ端末11Sの論理識別子の情報が紐づいた状態で送信される。このため、メガネ型ディスプレイ14Gは、各センサ端末11Sの位置、傾き、向き等のメタデータとデバイス論理識別子の情報が紐づいた状態でリアルタイムに収集可能になる。
本実施形態では、作業者のメガネ型ディスプレイ14G上の視覚的な位置(作業者の視点からみた相対位置)と、部屋の中の絶対位置と、センサ端末11Sの論理識別子と、傾き、向き、状態等のメタデータとを、リアルタイムに紐づけて視覚的に把握できる。特に低遅延に情報収集可能な為、メガネ型ディスプレイ14Gのアングル変更(首振り等)にもリアルタイムに追従可能である。
図7は、メガネ型ディスプレイ14Gに表示される表示画面の一例である。メガネ型ディスプレイ14Gは、レンズの視界にセンサ端末11Sが含まれている場合、センサ端末11Sのメタデータをレンズに表示する。図では、センサ端末11Sの近傍に、センサ端末11Sのメタデータを表示する例を示す。メタデータは、センサ端末11Sについての、例えば、設置者、設置日、センサ種別、型番等の任意の情報を含む。これにより、本実施形態は、センサ端末11Sのメタデータをリアルタイムにその場で確認することができる。
センサ端末11Sは、予め定められたタイミングで、ネットワーク装置であるアクセスポイント12Aを介してセンシングデータ及びメタデータを管理ノードに送信する。そこで、センサ端末11Sからメガネ型ディスプレイ14Gへの低レイヤ通信は、図8に示すように、ネットワーク装置であるアクセスポイント12Aを用いることができる。
ただし、センサ端末11Sからメガネ型ディスプレイ14Gへのメタデータの送信に際しては、アクセスポイント12Aの外部のWAN側を経由しない。例えば、センサ端末11Sからアクセスポイント12Aに到達したレイヤ2通信フレームは、アクセスポイント12Aからメガネ型ディスプレイ14Gへ直接転送される。このように、本実施形態では、センサ端末11S及びメガネ型ディスプレイ14Gの位置する空間内のローカルネットワークにおいてのみ通信を行う。
また、メガネ型ディスプレイ14Gがアクセスポイント12Aを介してセンサ端末11Sへ送信要求を行い、センサ端末11Sがメガネ型ディスプレイ14Gに対して応答を行ってもよい。この場合においても、この送信要求及び応答の送信に低レイヤ通信を用いる。具体的には、送信要求及び応答をレイヤ2通信フレームの拡張領域に格納する。これにより、本実施形態は、センサ端末11Sのメタデータを、リアルタイムでメガネ型ディスプレイ14Gに表示することができる。
なお、本実施形態は、図9に示すように、アクセスポイント12Aを介さずに、センサ端末11Sとメガネ型ディスプレイ14Gとで直接通信を行ってもよい。この場合も、センサ端末11Sとメガネ型ディスプレイ14Gとの通信は、レイヤ2通信フレームの拡張領域に格納する。これにより、本実施形態は、センサ端末11Sのメタデータを、リアルタイムでメガネ型ディスプレイ14Gに表示することができる。
図10に、本実施形態の適用例を示す。センサ端末であるカメラ11C-1及び11C-2のうちのどちらかの傾きが変わってしまったかを、メガネ型ディスプレイ14Gでカメラ11C-1及び11C-2を見るだけで簡単に把握することができる。メタデータの種類がデータの欠損の有無であってもよい。この場合、メガネ型ディスプレイ14Gで空間内を見渡すだけで、データの欠損があるセンサ端末の位置を把握することができる。
このように、本実施形態は、センサ端末11Sのメタデータ(物理的な位置、状態等)が低負荷かつ低遅延に収集できることにより、メガネ型ディスプレイ14G等を通して異常箇所の特定がスムーズに可能になる。
(実施形態3)
実施形態2において、メガネ型ディスプレイ14Gに表示されているセンサ端末11Sと、センサ端末11Sから受信したメタデータを紐づける方法は任意である。本開示では、センサ端末11Sのメタデータを直接迅速に伝達可能である。
実施形態2において、メガネ型ディスプレイ14Gに表示されているセンサ端末11Sと、センサ端末11Sから受信したメタデータを紐づける方法は任意である。本開示では、センサ端末11Sのメタデータを直接迅速に伝達可能である。
そこで、本実施形態では、センサ端末11Sからメガネ型ディスプレイ14Gに送信するメタデータに、メガネ型ディスプレイ14Gに表示されるセンサ端末11Sと紐づけるためのリンク情報を含める。リンク情報は、例えば、センサ端末11Sの絶対位置、他端末との相対位置、ビーコン装置との相対位置、傾き、向き、加速度が例示できる。
(第1のパターン)
メガネ型ディスプレイ14Gは、以下の3情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、センサ端末11Sの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gのカメラの向きの情報(6軸等)
メガネ型ディスプレイ14Gは、以下の3情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、センサ端末11Sの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gのカメラの向きの情報(6軸等)
(第2のパターン)
メガネ型ディスプレイ14Gは、以下の4情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、センサ端末11Sの絶対位置(3次元座標)
・ある時刻における、センサ端末11Sの加速度情報(移動の向き、速さ、加速度)
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの向きの情報(6軸等)
メガネ型ディスプレイ14Gは、以下の4情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、センサ端末11Sの絶対位置(3次元座標)
・ある時刻における、センサ端末11Sの加速度情報(移動の向き、速さ、加速度)
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの向きの情報(6軸等)
(第3のパターン)
位置が判明している他の端末が空間内に存在する場合、当該端末との相対位置に基づいて推定してもよい。この場合、メガネ型ディスプレイ14Gは、以下の4情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、位置の判明しているビーコン信号源(理想は4個以上)の絶対位置(3次元座標)
・前記各ビーコン信号源と、センサ端末11Sとの相対距離
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの向きの情報(6軸等)
位置が判明している他の端末が空間内に存在する場合、当該端末との相対位置に基づいて推定してもよい。この場合、メガネ型ディスプレイ14Gは、以下の4情報を用いて、メガネ型ディスプレイ14G上に表示するセンサ端末11Sの情報を紐づける。
・ある時刻における、位置の判明しているビーコン信号源(理想は4個以上)の絶対位置(3次元座標)
・前記各ビーコン信号源と、センサ端末11Sとの相対距離
・ある時刻における、メガネ型ディスプレイ14Gの絶対位置(3次元座標)
・ある時刻における、メガネ型ディスプレイ14Gの向きの情報(6軸等)
なお、メガネ型ディスプレイ14Gの絶対位置は、第3のパターンにおけるセンサ端末11Sと同様に、ビーコン信号源を利用して推定してもよい。また、各ビーコン信号源とセンサ端末11Sとの相対距離の算出処理は、センサ端末11S、AP12A、及びメガネ型ディスプレイ14Gのどこで行ってもよい。
センサ端末11Sに比べるとメガネ型ディスプレイ14Gの計算リソースの方が多い場合、メガネ型ディスプレイ14Gで相対距離の算出処理を行う。その場合、センサ端末11Sでは算出処理は特に行わず、自身の受信したビーコン信号を機械的に低レイヤプロトコル拡張領域に載せ替えてブロードキャストするだけでよく、迅速かつ低負荷に位置算出の為のメタデータ送出が可能になる。
以上説明したように、本実施形態では、ロボットやドローン等に搭載された、常に動き続けるようなセンサ端末11Sやネットワーク機器の現在の位置や状態(向き、傾き)のメタデータを、低レイヤメタデータ収集技術の低遅延性を利用して収集し、保守運用者が視覚的かつリアルタイムにセンサ端末群・ネットワーク機器群の現在の状態を把握可能とする。
なお、実施形態2及び3では、管理者端末がメガネ型ディスプレイ14Gである例を示したが、本開示はこれに限定されない。例えば、管理者端末は、カメラを備える任意の通信端末であってもよい。この場合、メガネ型ディスプレイ14Gの方向をカメラの方向に置換すればよい。これにより、本開示は、メガネ型ディスプレイに限らず、カメラを備える任意の端末に適用し、通信端末のメタデータを、カメラで撮影されている画像に表示することができる。
(他の実施形態)
上述した端末11及び管理ノード13は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
上述した端末11及び管理ノード13は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
11:端末
11S:センサ端末
11a:センサーデバイス
11b:センシングデータ格納処理部
11c:機器情報格納処理部
11C-1、11C-2:カメラ
11d1、11d2:通信プロトコル動作部
11e、11e1、11e2、11e3、・・・:メタデータ検出部
11f:メタデータ格納処理部
11g:指示解釈部
12:ネットワーク装置
12A:アクセスポイント
13:管理ノード
13a:通信プロトコル動作部
13b:情報処理部
13c:情報格納部
14G:メガネ型ディスプレイ
15:データ収集ネットワーク
41:フレーム
41a:論理識別子
41b:送信元/宛先識別子
41c:主データ領域
41d:拡張領域
301~302:データ収集システム
11S:センサ端末
11a:センサーデバイス
11b:センシングデータ格納処理部
11c:機器情報格納処理部
11C-1、11C-2:カメラ
11d1、11d2:通信プロトコル動作部
11e、11e1、11e2、11e3、・・・:メタデータ検出部
11f:メタデータ格納処理部
11g:指示解釈部
12:ネットワーク装置
12A:アクセスポイント
13:管理ノード
13a:通信プロトコル動作部
13b:情報処理部
13c:情報格納部
14G:メガネ型ディスプレイ
15:データ収集ネットワーク
41:フレーム
41a:論理識別子
41b:送信元/宛先識別子
41c:主データ領域
41d:拡張領域
301~302:データ収集システム
Claims (7)
- レイヤ2の通信プロトコルの拡張領域を利用して、通信端末のメタデータを受信し、
受信したメタデータを、メタデータの送信元の前記通信端末に紐づけて自装置に表示する、
管理者端末。 - 前記管理者端末は、メガネ型ディスプレイであり、
前記メガネ型ディスプレイの視界に前記通信端末が含まれている場合、前記通信端末のメタデータを、前記メガネ型ディスプレイのレンズに表示する、
請求項1に記載の管理者端末。 - 前記管理者端末は、カメラを備え、
前記カメラで撮影されている画像に前記通信端末が含まれている場合、前記通信端末のメタデータを、前記カメラで撮影されている画像に表示する、
請求項1に記載の管理者端末。 - 前記管理者端末は、前記通信端末と同一空間に設置されているネットワーク装置のみを用いて、前記通信端末からメタデータを受信する、
請求項1に記載の管理者端末。 - 前記通信端末から直接メタデータを受信する、
請求項1に記載の管理者端末。 - 自装置のメタデータを、レイヤ2の通信プロトコルの拡張領域を利用して送信する複数の通信端末と、
前記複数の通信端末からメタデータを受信する、請求項1から5のいずれかに記載の管理者端末と、
を備えるデータ収集システム。 - 管理者端末が、レイヤ2の通信プロトコルの拡張領域を利用して、通信端末のメタデータを受信し、
管理者端末が、受信したメタデータを、メタデータの送信元の前記通信端末に紐づけて自装置に表示する、
方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024562512A JPWO2024122016A1 (ja) | 2022-12-08 | 2022-12-08 | |
| PCT/JP2022/045225 WO2024122016A1 (ja) | 2022-12-08 | 2022-12-08 | データ収集システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/045225 WO2024122016A1 (ja) | 2022-12-08 | 2022-12-08 | データ収集システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024122016A1 true WO2024122016A1 (ja) | 2024-06-13 |
Family
ID=91379135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/045225 Ceased WO2024122016A1 (ja) | 2022-12-08 | 2022-12-08 | データ収集システム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2024122016A1 (ja) |
| WO (1) | WO2024122016A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177941A1 (en) * | 2015-05-18 | 2017-06-22 | Daqri, Llc | Threat identification system |
| US20220076491A1 (en) * | 2020-04-16 | 2022-03-10 | At&T Intellectual Property I, L.P. | Facilitation of augmented reality-based space assessment |
| WO2022070295A1 (ja) * | 2020-09-30 | 2022-04-07 | 日本電信電話株式会社 | メタデータを収集するシステム及び方法並びにセンサー端末 |
-
2022
- 2022-12-08 JP JP2024562512A patent/JPWO2024122016A1/ja active Pending
- 2022-12-08 WO PCT/JP2022/045225 patent/WO2024122016A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177941A1 (en) * | 2015-05-18 | 2017-06-22 | Daqri, Llc | Threat identification system |
| US20220076491A1 (en) * | 2020-04-16 | 2022-03-10 | At&T Intellectual Property I, L.P. | Facilitation of augmented reality-based space assessment |
| WO2022070295A1 (ja) * | 2020-09-30 | 2022-04-07 | 日本電信電話株式会社 | メタデータを収集するシステム及び方法並びにセンサー端末 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2024122016A1 (ja) | 2024-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111868546B (zh) | 使用测向特征进行资产定位 | |
| US12152902B2 (en) | Environment mapping based on UWB tags | |
| GB2552371A (en) | Data processing | |
| JP2012239068A (ja) | 監視システム及び監視方法 | |
| WO2020155037A1 (zh) | 多负载多路图传方法、控制系统和终端、无人机和服务器 | |
| JP2019532389A (ja) | 光通信発信源のデータ処理および認証 | |
| CN105027588B (zh) | 自组织网络 | |
| WO2018002698A1 (en) | System and method for tracking using multiple slave servers and a master server | |
| US20180004308A1 (en) | Camera-Based Input Device | |
| CN114360196B (zh) | 基于云平台的5g智慧校园系统 | |
| WO2024122016A1 (ja) | データ収集システム | |
| CN216017224U (zh) | 一种导航定位设备及其照明设备 | |
| WO2026050412A1 (en) | Method and system for determining device orientation within augmented reality applications | |
| CN105571587A (zh) | 基于导航飞艇的大数据采集、监控及制图系统及方法 | |
| CN106850843A (zh) | 一种基于虚拟现实的室内定位监控管理平台 | |
| JP7838664B2 (ja) | 位置検出サーバ及び位置変動把握方法 | |
| US11983831B1 (en) | Systems and methods for collaborative location tracking and sharing using augmented reality | |
| JP2009302717A (ja) | 映像監視システム | |
| CN114185059B (zh) | 基于多雷达融合的多人跟踪系统、方法、介质、终端 | |
| WO2024122017A1 (ja) | データ収集システム | |
| WO2021166261A1 (ja) | データ収集システム及びデータ収集方法 | |
| US20080026713A1 (en) | Methods and apparatus for a wireless surveillance system | |
| WO2024195018A1 (ja) | 移動体監視システム及び方法 | |
| WO2024122012A1 (ja) | データ収集システム | |
| US20260049830A1 (en) | Digital twin-based control collaboration method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22967864 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2024562512 Country of ref document: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22967864 Country of ref document: EP Kind code of ref document: A1 |