WO2022091917A1 - 情報処理端末及びセンシングシステム - Google Patents

情報処理端末及びセンシングシステム Download PDF

Info

Publication number
WO2022091917A1
WO2022091917A1 PCT/JP2021/038837 JP2021038837W WO2022091917A1 WO 2022091917 A1 WO2022091917 A1 WO 2022091917A1 JP 2021038837 W JP2021038837 W JP 2021038837W WO 2022091917 A1 WO2022091917 A1 WO 2022091917A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
container
application
information processing
device file
Prior art date
Application number
PCT/JP2021/038837
Other languages
English (en)
French (fr)
Inventor
理宇 平井
圭記 中村
匡 嶋田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US18/033,569 priority Critical patent/US20230401071A1/en
Publication of WO2022091917A1 publication Critical patent/WO2022091917A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45575Starting, stopping, suspending or resuming virtual machine instances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45591Monitoring or debugging support

Definitions

  • the present invention relates to a sensing system that processes sensors with a plurality of information processing terminals.
  • the application executed on the SoC can reduce the processing load on the server side by arranging a large number of inexpensive information processing terminals and performing distributed processing by using the container distribution technology.
  • Patent Document 1 International Publication No. 2018/20610
  • Patent Document 1 International Publication No. 2018/20610
  • the information processing terminal When distributing a container image file from a management computer to an information processing terminal using SoC using container distribution technology and processing the sensing data of a sensor connected to the I / O interface of the information processing terminal, the information processing terminal After starting the OS of, start the container on the terminal side.
  • the OS of the information processing terminal When the OS of the information processing terminal recognizes the sensor connected to the I / O interface after booting, it generates the device file of the sensor. Then, the application started on the container of the information processing terminal acquires the generated device file and acquires the sensing data of the sensor.
  • the time it takes for the OS of the information processing terminal to recognize the sensor connected to the I / O interface and generate the device file varies depending on the type of sensor and the manufacturer.
  • an inexpensive sensor can be used, but the time required to generate a device file varies greatly depending on the manufacturer and the type of sensor.
  • the device file of the sensor connected to the I / O interface is generated before the device file of the container is generated.
  • the application could be started.
  • the OS on the information processing terminal recognizes the sensor and generates a device file according to the type of sensor and the manufacturer. Since the time until is different, it is necessary for the administrator of the management computer or the like to collect the information of the sensor and the OS. In this case, every time a sensor installed in a factory or a site is replaced, it takes time and effort to collect sensor information on the management computer side, and the cost for managing a large number of sensors and information processing terminals increases. There was a problem.
  • the present invention has been made in view of the above problems, and an object thereof is to offload the state management of the sensor connected to the I / O interface of the information processing terminal to the information processing terminal side.
  • the present invention is an information processing terminal having a processor, a memory, a communication unit, and a sensor, a container receiving unit that receives a container image via the communication unit, and a container when the container image is received. It has a container execution unit that starts and executes an application included in the previous container image, the container starts the application based on the recognition status of the sensor, and the application is acquired from the sensor. Performs a predetermined process on the sensing data.
  • the present invention makes it possible to offload the state management of the sensor connected to the information processing terminal (edge terminal) to the information processing terminal.
  • the management computer does not need to manage the sensor on the information processing terminal side, and the cost for introducing and operating the sensing system can be reduced.
  • FIG. 1 is a diagram showing Example 1 of the present invention and showing an example of processing performed by a sensing system. It is a flowchart which shows Example 1 of this invention and shows an example of the process performed at an edge terminal.
  • FIG. 1 is a time chart showing Example 1 of the present invention and showing an example of processing performed by a sensing system. It is a time chart which shows the conventional example and shows an example of the processing performed in a sensing system.
  • Example 1 is a diagram showing Example 1 of the present invention and showing an example of processing performed by a sensing system. It is a figure which shows Example 1 of this invention and shows an example of the composition screen displayed on the management computer. It is a figure which shows Example 1 of this invention and shows an example of the management screen displayed on the management computer.
  • FIG. 2 is a flowchart showing Example 2 of the present invention and showing an example of processing performed by an edge terminal. It is a figure which shows Example 2 of this invention and shows an example of the management screen displayed on the management computer. It is a figure which shows Example 2 of this invention and shows an example of the management screen displayed on the management computer.
  • FIG. 1 is a block diagram showing a first embodiment of the present invention and showing an outline of a sensing system.
  • the information detected by the sensors 7-1 to 7-n installed in a factory or the like and detecting the operating state of the device or the like is transmitted by the edge terminals (information processing terminals) 1-1 to 1-n.
  • An example of collecting each of them and analyzing the operating state of each factory or the like with the application server 300 is shown.
  • the edge terminal is not individually specified, the reference numeral "1" is used, omitting "-" and subsequent "-”. The same applies to the signs of other components.
  • a sensor 7 is connected to the edge terminal 1, and each edge terminal 1 is connected to the management computer 100, the application server 300, and NAS (Network Attached Storage) via the network 120.
  • NAS Network Attached Storage
  • the management computer 100 manages the information processing performed by the edge terminal 1 as container image files 60-1 to 60-n, and executes the container orchestration 110 that distributes the container image file 60 to each edge terminal 1.
  • the management computer 100 generates information processing according to the type of the sensor 7 of the edge terminal 1 as a container image file 60 by combining an application and an Ai model, and distributes the information processing to the edge terminal 1 at a predetermined timing.
  • Each edge terminal 1 has a container execution unit 50 that executes the received container image file 60, starts a container, and executes an application in the container image file 60.
  • the container image file 60 of this embodiment includes an application that acquires information from the sensor 7 and causes the Ai model to recognize it, and a monitoring unit that monitors the state of the sensor 7 (generation of a device file), as described later.
  • a monitoring unit that monitors the state of the sensor 7 (generation of a device file), as described later.
  • the sensor 7 a camera can be used, the Ai model recognizes an image from the camera, and the application of the edge terminal 1 stores the recognition result in the processing result 210 of the NAS 200.
  • the application server 300 acquires the processing result 210 of the NAS 200 and executes a predetermined analysis.
  • FIG. 2 is a block diagram showing an example of the configuration of the management computer 100.
  • the management computer 100 is a computer including a processor 101, a memory 102, a storage device 103, an input device 104, an output device 105, and a network interface 106.
  • the program of the container orchestration 110 is loaded into the memory 102 and executed by the processor 101.
  • the storage device 103 stores the container image files 60-1 to 60-n delivered by the container orchestration 110 to each edge terminal 1.
  • the container image file 60-1 includes an application 61-1, an Ai (Artificial Integrity) model 62-1 by machine learning, and a device file monitoring unit 63-1 that monitors the recognition status of the sensor 7 on the edge terminal 1. The same applies to the other container image files 60-2 to 60-n.
  • Ai Artificial Integrity
  • the application 61 and the Ai model 62 are combined according to the delivery destination, the type of the sensor 7 of the edge terminal 1, and the like.
  • the combination of the application 61 and the Ai model 62 of the container image file 60 may be set in advance by the administrator or the like, or the container image file 60 combining the application 61 and the Ai model 62 selected by the administrator or the like. May be generated.
  • the input device 104 is composed of a keyboard, a mouse, a touch panel, or the like.
  • the output device 105 is composed of a display or the like.
  • the network interface 106 is connected to the network 120 and communicates with an external device.
  • the container orchestration 110 delivers the designated container image file 60 to the designated edge terminal 1 via the input device 104. Further, the container orchestration 110 may accept the combination of the application 61 and the Ai model 62 via the input device 104 and generate the container image file 60.
  • FIG. 3 is a block diagram showing an example of the configuration of the edge terminal 1-1.
  • the edge terminal 1-1 is a computer including a processor 2, a memory 3, a storage device 4, a network interface 5, an I / O interface 6, and a GPU ((Graphics Processing Unit)) 8.
  • a sensor 7 is connected to the I / O interface 6.
  • the edge terminal 1 can be configured by an inexpensive device using a SoC (System on a Chip), and the SoC includes a processor 2, a memory 3, a storage device 4, a network interface 5, and an I / O interface. 6 and GPU 8 can be included.
  • SoC System on a Chip
  • USB Universal Serial Bus
  • I / O interface 6 an inexpensive device such as a USB camera can be adopted as the sensor 7.
  • the sensor 7 is not limited to the camera, and a sensor corresponding to a monitoring target such as vibration (acceleration), temperature, pressure, voice, or object detection can be adopted.
  • the sensor 7 can be easily attached and detached, no special technique is required to replace the sensor 7, and the operating cost at the site where the edge terminal 1 is arranged is suppressed. can do.
  • the I / O interface 6 is not limited to the wired connection, and a wireless connection such as Bluetooth or WiFi can be adopted.
  • the OS 10, the container receiving unit 40, the container executing unit 50, and the NAS writing unit 70 are loaded into the memory 102 as programs and executed by the processor 101. Further, the memory 102 stores the container image file 60-1 received by the container receiving unit 40 and the device table 20 that manages the device file 30 generated by the OS 10.
  • the device file monitoring unit 63 When the container execution unit 50 starts the container, the device file monitoring unit 63 is first started from the container image file 60-1 received by the container reception unit 40. Then, the device file monitoring unit 63 executes the application 61-1 and the Ai model 62-1 according to the situation in which the OS 10 recognizes the sensor 7. The Ai model 62-1 can be executed by the GPU 8. In this embodiment, the situation in which the OS 10 generates the device file 30 of the sensor 7 is used as the recognition status of the sensor 7 monitored by the device file monitoring unit 63.
  • the NAS writing unit 70 writes the processing result of the application 61-1 executed in the container to the processing result 210 of the NAS 200.
  • the application 61-1 causes the Ai model 62-1 to recognize the sensing data detected by the sensor 7, and outputs the information including the recognition result as the processing result.
  • the OS 10 When the OS 10 recognizes the sensor 7 after starting or restarting, it generates device information including the recognized physical identifier (physical ID) of the sensor 7 as a device file 30.
  • the device file monitoring unit 63-1 registers the information of the device file 30 in the device table 20.
  • the device file monitoring unit 63-1 monitors the device file 30, and when it detects that the device file 30 has been generated, it starts the application 61-1 to start predetermined information processing.
  • the application 61-1 When the application 61-1 is started, it can read the information of the sensor 7 with reference to the device table 20 and access the sensor 7 to acquire the sensing data.
  • the application 61 may directly acquire the device file 30, acquire the physical identifier (physical ID) of the sensor 7, and acquire the sensing data from the sensor 7.
  • the device file 30 is composed of a general-purpose file name used by the OS 10, such as "video1".
  • the file name of the device file 30 is registered, for example, "/ dev / video0" or "/ dev / video1".
  • the container execution unit 50 starts the container, and first, the device file monitoring unit 63 is started to start the device of the sensor 7. Monitor the generation status of the file 30.
  • the device file monitoring unit 63 starts the application 61-1 after detecting that the OS 10 has generated the device file 30, so that the device file can be created depending on the type and manufacturer of the sensor 7, as in the conventional example. It is possible to absorb fluctuations in the time until it is generated. As a result, the container application 61-1 can surely acquire the information of the device file 30, and can surely process the sensing data detected by the sensor 7.
  • the processor 2 operates as a functional unit that provides a predetermined function by executing a process according to the program of each functional unit.
  • the processor 2 functions as a container execution unit 50 by executing a process according to the container execution unit program. The same applies to other programs.
  • the processor 2 also operates as a functional unit that provides each function of a plurality of processes executed by each program.
  • a computer and a computer system are devices and systems including these functional parts.
  • the network interface 5 is connected to the network 120 and communicates with the management computer 100 and the NAS 200.
  • the storage device 4 is composed of a non-volatile storage medium and can hold programs of the OS 10, the container receiving unit 40, and the container executing unit 50.
  • FIG. 4 is a diagram showing an example of processing performed by the sensing system.
  • the user of the management computer 100 associates the sensor with the site where the container image file 60 is distributed on the configuration screen 150 displayed on the output device 105 (S1).
  • the container receiving unit 40 and the container executing unit 50 are installed (S2).
  • the edge terminal 1 connects to the network 120 and notifies the management computer 100 of the information of the edge terminal 1 (S3).
  • the management computer 100 When the management computer 100 receives the information (identifier) of the edge terminal 1, it displays the identifier of "Dev # N" in the "edge terminal” column of the configuration screen 150 (S4). The user of the management computer 100 associates the identifier of the sensor 7 (Cam # N) with the identifier of the edge terminal 1 (Dev # N) on the configuration screen 150 (S5).
  • the management computer 100 selects the application 61 and the Ai model 62 to be executed on the edge terminal 1 and distributes them as a container image file 60 to the edge terminal 1 (S6).
  • the application 61 and the sensor 7 are associated with each other at a ratio of 1: 1.
  • the OS 10 mounts the NAS 200 (S7).
  • the container execution unit 50 activates the device file monitoring unit 63 from the container image file 60 to monitor the presence or absence of the device file 30 (S8).
  • the device file monitoring unit 63 stores the information (physical ID) of the sensor 7 in the device table 20 and then starts the application 61 to start the process using the Ai model 62.
  • the application 61 acquires sensing data from the sensor 7 specified in the device table 20 and causes the Ai model 62 to recognize it.
  • the application 61 generates a processing result from the recognition result of the Ai model 62, and writes the processing result to the NAS 200 via the NAS writing unit 70.
  • FIG. 5 is a flowchart showing an example of the processing performed by the edge terminal 1. This process shows the details of the process after step S6 in FIG.
  • the container execution unit 50 starts the container in order to execute the container image file 60 received by the container reception unit 40 (S21).
  • the container execution unit 50 activates the device file monitoring unit 63 from the container image file 60 (S22).
  • the device file monitoring unit 63 acquires the device file 30 generated by the OS 10 (S23).
  • the device file monitoring unit 63 determines the presence / absence of the device file 30 (S24), proceeds to step S25 if the device file 30 exists, and if not, waits for the predetermined time to elapse in step S31 and then again. The process returns to step S23 and the above process is repeated.
  • step S25 OS 10 mounts NAS 200 on the edge terminal 1.
  • the device file monitoring unit 63 notifies the container execution unit 50, starts the application 61 from the container image file 60, and starts processing using the Ai model 62 (S26).
  • the application 61 acquires the information (physical ID) of the device table 20 (S27), the application 61 acquires the sensing data from the sensor 7 designated by the physical ID, causes the Ai model 62-1 to recognize the sensing data, and determines the predetermined value. Generate a processing result (S28). Further, the device file monitoring unit 63 performs watchdog processing and verifies that the sensing data is normally acquired from the sensor 7 (S29). The watchdog process may be performed by the application 61.
  • the device file monitoring unit 63 determines the result of the watchdog processing (S30), and if it is determined that there is a problem in the processing, returns to step S21 and notifies the container execution unit 50 of the restart of the container. On the other hand, if the process is normally carried out, the process returns to step S28 and the above process is repeated.
  • the device file monitoring unit 63 prohibits the start of the application 61 until the device file 30 is generated. Therefore, depending on the type of the sensor 7 and the manufacturer. Stable operation can be realized regardless of the length of time until the device file 30 is generated.
  • FIG. 6 is a time chart showing an example of processing performed by the sensing system. In the illustrated example, an example is shown in which the distribution of the container image file 60 is accepted from the start of the edge terminal 1 and the operation of the application 61 is started.
  • OS10 of edge terminal 1 starts up.
  • the OS 10 recognizes the sensor 7 of the I / O interface 6 at time T2 after starting.
  • the OS 10 generates a device file 30 based on the recognition result of the sensor 7 and stores it in the memory 3 (time T3). Further, the OS 10 starts the container receiving unit 40 and the container executing unit 50.
  • the management computer 100 distributes the container image file 60 to the edge terminal 1.
  • the container receiving unit 40 receives the container image file 60
  • the container executing unit 50 starts the container (time T5).
  • OS10 mounts NAS200 (time T6).
  • the container execution unit 50 starts the device file monitoring unit 63 from the container image file 60.
  • the device file monitoring unit 63 monitors whether or not the device file 30 has been generated.
  • the device file monitoring unit 63 acquires the device file 30 and determines that the device file 30 has been generated (time T7)
  • the device file monitoring unit 63 starts the application 61 from the container image file 60 and starts processing by the Ai model 62. (Time T8).
  • the device file monitoring unit 63 is started from the container image file 60, and after verifying that the OS 10 has generated the device file 30, the application 61 is started.
  • the application 61 is started before the device file 30 is generated and normal processing cannot be performed.
  • FIG. 7 shows a conventional example and is a time chart showing an example of processing performed by the sensing system.
  • the container image file 60 does not include the device file monitoring unit 63 of the present invention, but only the application 61 and the Ai model 62.
  • the times T1 and T2 are the same as the sensing system of the present invention in FIG. 6, but the OS 10 delays the generation of the device file 30 after the recognition of the sensor 7, and in the illustrated example, the device is after the time T18 has elapsed. Generate file 30.
  • the time from the startup of the OS 10 to the generation of the device file 30 is about several seconds to one minute, depending on the manufacturer and model of the camera. There will be variations.
  • the management computer 100 delivers the container image file 60 of only the application 61 and the Ai model 62 to the edge terminal 1.
  • the container receiving unit 40 receives the container image file 60
  • the container executing unit 50 starts the container (time T5).
  • OS10 mounts NAS200 (time T6).
  • the container execution unit 50 starts the application 61 of the container image file 60 and starts a predetermined process in the Ai model 62.
  • the application 61 tries to acquire the device file 30 at time T18, but the OS 10 has not yet generated the device file 30.
  • the time until the device file 30 is generated differs greatly depending on the manufacturer and model. Therefore, the application 61 of the edge terminal 1 uses the device file. It became a situation that the process could not be performed without being able to read 30.
  • the device file monitoring unit 63 is included in the container image file 60, and in the edge terminal 1, the device file monitoring unit 63 is first activated to monitor the device file 30 and then the device file.
  • Application 61 is started when 30 is generated. For this reason.
  • the processing by the application 61 and the Ai model 62 is stable regardless of the manufacturer or model of the sensor 7. Can be realized.
  • FIG. 8 is a diagram showing an example of processing performed by the sensing system.
  • the illustrated example shows an example in which application 61 is processed by different sensors A to C in each edge terminal 1-1 to 1-n.
  • the device file monitoring unit 63-1 monitors the OS 10 to generate the device file 30-1 of the sensor A (7-1), and when the device file 30-1 is generated, the device file 30-1 of the sensor A (7-1). Get the physical ID.
  • the device file monitoring unit 63-1 starts the application 61-1 after registering the physical ID of the sensor 7 in the device table 20.
  • the application 61-1 acquires the physical ID of the sensor 7 from the device table 20, accesses the sensor 7, and executes a predetermined process.
  • FIG. 9 is a diagram showing an example of the configuration screen 150 displayed on the management computer 100.
  • the user of the management computer 100 can manage the configuration for each edge terminal 1 that distributes the container image file 60 on the configuration screen 150 displayed on the output device 105.
  • the configuration screen 150 may be generated by the container orchestration 110 or may be generated by another management program.
  • the configuration screen 150 includes a site 151 that displays an identifier (or name) of a place (factory or site) where the sensor 7 and the edge terminal 1 are installed, and a sensor # 152 that displays an identifier (or name) of the sensor 7. ,
  • the device state 153 that displays the state of the sensor 7, the information processing terminal 154 that displays the identifier of the edge terminal 1, the application 155 that displays the identifier (or name) of the application 61, and the identifier (or name) of the Ai model 62. ) Is included.
  • the user of the management computer 100 can set the link between the site 151 and the sensor # 152 and the information processing terminal 154, the combination of the application 155 and the model 156, and the like on the configuration screen 150.
  • FIG. 10 is a diagram showing an example of the management screen 160 displayed on the management computer 100.
  • the management screen 160 displayed on the output device 105 of the management computer 100 displays the operating status of the edge terminal 1.
  • the management screen 160 is a site 161 that displays an identifier (or name) of a place (factory or site) where the sensor 7 and the edge terminal 1 are installed, and an information processing terminal that displays an identifier (or name) of the edge terminal 1. It includes 162, an application 163 that displays the identifier (or name) of the application 61, a model 164 that displays the identifier (or name) of the Ai model 62, and a status 165 that displays the operating status of the application 61.
  • the status 165 displays the status of the application 61 or the sensor 7 (device in the figure).
  • the management computer 100 does not need to manage the sensor on the edge terminal 1 side, and can reduce the cost for introducing and operating the sensing system.
  • the USB interface as the I / O interface 6
  • an inexpensive sensor 7 can be adopted and the introduction cost of the sensing system can be reduced.
  • the device file monitoring unit 63 included in the container image file 60 starts the application 61 after the timing when the generation of the device file 30 is completed, so that the application 61 can be surely used as the device file regardless of the manufacturer and type of the sensor 7. 30 can be read and stable operation can be realized.
  • the application 61 may directly read the device file 30.
  • the application 61 causes the Ai model 62 to recognize the sensing data acquired from the sensor 7 is shown, but the present invention is not limited to this.
  • the Ai model 62 is not indispensable for the container image file 60, and the application 61 may transmit the processing result of the sensing data to the NAS 200 by adding a predetermined processing such as statistical processing.
  • USB is adopted as the I / O interface 6 and a camera is adopted as the removable sensor 7
  • the present invention is not limited to this, and the edge terminal using SoC is used.
  • the sensor may be mounted on the substrate of 1.
  • FIG. 11 is a flowchart showing the second embodiment and showing an example of the processing performed by the edge terminal 1. The difference from the flowchart of FIG. 5 shown in the first embodiment is that step S23A and step S27A are changed.
  • step S27A the device file monitoring unit 63 acquires information unique to the sensor 7 (for example, a physical ID) from the device file 30 and registers it in the device table 20, and in step S27A, the application 61 obtains the sensor 7 from the device table 20.
  • the physical ID unique to the file is acquired, the sensor 7 is recognized by the physical ID, and a predetermined process is executed.
  • Other configurations are the same as those in the first embodiment.
  • the name of the device file 30 of the first embodiment shows an example of using a general-purpose device assigned by the OS 10, for example, "/ dev / video0" or "/ dev / video1". However, depending on the type of the sensor 7 (camera), the version of the OS 10, and the like, a plurality of device files 30 may be generated for one sensor 7.
  • the device table 20 is used, the device file monitoring unit 63 of the edge terminal 1 acquires the unique information of the sensor 7 connected to the I / O interface 6, and the device table 20 is unique to the sensor 7. Describe the information.
  • the unique information of the sensor 7 described in the device table 20 is acquired, and the application 61 performs predetermined information processing based on the unique information of the sensor 7 in the device table 20.
  • the application 61 can surely recognize the sensor 7.
  • the management cost of the sensor 7 on the edge terminal 1 side can be reduced, and information processing by the application 61 can be smoothly performed.
  • FIGS. 12 and 13 are diagrams showing other examples of the configuration screen 170 displayed on the management computer 100.
  • the illustrated example shows an example in which a plurality of sensors 7 are connected to one edge terminal 1 and the sensors 7 that perform processing are switched according to a command from the management computer 100.
  • the configuration screen 170 includes a site 171 that displays an identifier (or name) of a place (factory or site) where the sensor 7 and the edge terminal 1 are installed, and a sensor # 172 that displays an identifier (or name) of the sensor 7.
  • the device state 173 that displays the state of the sensor 7, the information processing terminal 174 that displays the identifier of the edge terminal 1, the application 175 that displays the identifier (or name) of the application 61, and the identifier (or name) of the Ai model 62. ) Is included, and a camera type 177 that displays the type of the sensor 7 to be used is included.
  • the management computer 100 can distribute the container image file 60 corresponding to "Cam # 2" after restarting the edge terminal 1 and switch the sensor 7 to process the application 61.
  • the application 61 of the container image file 60 delivered again acquires the information of "Cam # 2" from the information peculiar to the sensor 7 of the device table 20, so that smooth switching can be performed when a plurality of sensors 7 exist. realizable.
  • the edge terminal 1 of the above embodiment can have the following configuration.
  • An information processing terminal (edge terminal 1) having a processor (2), a memory (3), a communication unit (network interface 5), and a sensor (7).
  • the container receiving unit (40) that receives the container image (container image file 60) via the communication unit (5), and when the container image (60) is received, the container is started and the previous container image (60) is started.
  • the container has a container execution unit (50) for executing the application (61) included in the above, and the container starts the application (61) based on the recognition status of the sensor (7), and the application ( 61) is an information processing terminal characterized by executing a predetermined process on the sensing data acquired from the sensor (7).
  • the management computer 100 does not need to manage the sensor on the edge terminal 1 side, and can reduce the cost for introducing and operating the sensing system.
  • the recognition status of the sensor (7) is the generation status of the device file (30) including the physical identifier of the sensor (7).
  • the application 61 can read the device file 30 and can realize stable operation.
  • the container image (60) includes a device file monitoring unit (63) for monitoring the device file (30), and the container is the device.
  • the feature is that the file monitoring unit (63) is activated and the application (61) is executed when the device file monitoring unit (63) acquires the device file (30) of the sensor (7).
  • Information processing terminal includes a device file monitoring unit (63) for monitoring the device file (30), and the container is the device.
  • the device file monitoring unit 63 included in the container image file 60 starts the application 61 after the timing when the generation of the device file 30 is completed, so that the device file 30 is generated regardless of the manufacturer and type of the sensor 7.
  • the application 61 can surely read the device file 30 by absorbing the fluctuation of the time until it is done, and can realize stable operation.
  • the unique information of the sensor 7 described in the device table 20 is acquired, and the application 61 performs predetermined information processing based on the unique information of the sensor 7 in the device table 20. Even if a plurality of device files 30 are generated for one sensor 7 or the file name of the device file 30 is different for each sensor 7, the application 61 can surely recognize the sensor 7.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the above-described embodiment is described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the configurations described.
  • any of addition, deletion, or replacement of other configurations can be applied alone or in combination.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations and functions may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

プロセッサと、メモリと、通信部と、センサを有する情報処理端末であって、前記通信部を介してコンテナイメージを受信するコンテナ受信部と、前記コンテナイメージが受信されるとコンテナを起動して、前コンテナイメージに含まれるアプリケーションを実行させるコンテナ実行部と、を有し、前記コンテナは、前記センサの認識状況に基づいて前記アプリケーションを起動し、前記アプリケーションは、前記センサから取得したセンシングデータに所定の処理を実行する。

Description

情報処理端末及びセンシングシステム 参照による取り込み
 本出願は、令和2年(2020年)10月28日に出願された日本出願である特願2020-180072の優先権を主張し、その内容を参照することにより、本出願に取り込む。
 本発明は、複数の情報処理端末でセンサの処理を行うセンシングシステムに関する。
 従来から、工場や作業現場等の稼働状況等を可視化するセンシングシステムとして、複数のネットワークカメラから収集した画像を高性能サーバで処理するサーバ集中型の構成が知られている。
 サーバ集中型で多様な状況を監視するためには、カメラの数を増大させる必要がある。サーバ集中型でカメラの数を増大させると、サーバでの処理負荷が増大し、ネットワークカメラのハードウェアのコスト増大などを招くため、大企業等が採用可能なソリューションであった。
 近年、中小の企業などにおいても工場等の稼働状況等を可視化するセンシングシステムが要求されており、安価なソリューションが求められる。また、近年では、安価なSoC(System on a Chip)を採用して、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)とUSB(Universal Serial Bus)等のI/Oインタフェースを有してセンシングデータの認識などが可能な安価かつ小型の情報処理端末が普及しつつある。
 SoC上で実行するアプリケーションは、コンテナ配信の技術を利用することで、安価な情報処理端末を多数配置して、分散処理を行うことでサーバ側の処理負荷を低減することができる。コンテナ配信の技術としては、例えば、特許文献1(国際公開第2018/020610号)が知られている。
 SoCを利用した情報処理端末にコンテナ配信技術を利用して管理計算機からコンテナイメージファイルを配信し、情報処理端末のI/Oインタフェースに接続したセンサのセンシングデータを処理する際には、情報処理端末のOSの起動後に端末側でコンテナを起動させる。
 情報処理端末のOSは、起動した後にI/Oインタフェースに接続されたセンサを認識すると、センサのデバイスファイルを生成する。そして、情報処理端末のコンテナ上で起動されたアプリケーションは、生成されたデバイスファイルを取得してセンサのセンシングデータを取得する。
 情報処理端末のOSがI/Oインタフェースに接続されたセンサを認識して、デバイスファイルを生成するまでの時間は、センサの種類やメーカなどによって様々である。特に、I/OインタフェースとしてUSBインタフェースを利用する場合は、安価なセンサを利用できるが、デバイスファイルを生成するまでの時間はメーカやセンサのタイプによって大きく異なる。
 しかしながら、上記従来例では、情報処理端末のOSの起動とコンテナの起動のタイミングを考慮していないため、I/Oインタフェースに接続されたセンサのデバイスファイルが生成されるよりも前に、コンテナのアプリケーションが開始される場合があった。
 このような場合、コンテナのアプリケーションは、デバイスファイルを取得できないためセンサを認識できず、センシングデータを取得できないため処理を実行できないという問題があった。
 また、コンテナ内のアプリケーションにウォッチドッグを実装しておき、アプリケーションの処理に問題が生じた場合には起動する、セルフヒーリングもしくはオートヒーリング機能を有するものもあり、デバイスファイルを生成するタイミングを考慮しないと、再起動のループが発生するという問題もあった。
 また、USB接続のセンサと情報処理端末の状態管理を管理計算機側で実施する場合、センサの種類やメーカの違いに応じて、情報処理端末側のOSがセンサを認識してデバイスファイルを生成するまでの時間が異なるので、管理計算機の管理者等がセンサやOSの情報を収集しておくことが必要となる。この場合、工場や現場等に設置されるセンサが交換される度に管理計算機側でセンサの情報を収集する手間が発生し、多数のセンサ及び情報処理端末を管理するためのコストが増大する、という問題があった。
 そこで本発明は、上記問題点に鑑みてなされたもので、情報処理端末のI/Oインタフェースに接続されるセンサの状態管理を情報処理端末側にオフロードすることを目的とする。
 本発明は、プロセッサと、メモリと、通信部と、センサを有する情報処理端末であって、前記通信部を介してコンテナイメージを受信するコンテナ受信部と、前記コンテナイメージが受信されるとコンテナを起動して、前コンテナイメージに含まれるアプリケーションを実行させるコンテナ実行部と、を有し、前記コンテナは、前記センサの認識状況に基づいて前記アプリケーションを起動し、前記アプリケーションは、前記センサから取得したセンシングデータに所定の処理を実行する。
 したがって、本発明は、情報処理端末(エッジ端末)に接続されるセンサの状態管理を情報処理端末にオフロードすることが可能となる。これにより、管理計算機は情報処理端末側のセンサの管理が不用となって、センシングシステムの導入及び運用にかかるコストを低減できる。
 本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。
本発明の実施例1を示し、センシングシステムの概要を示すブロック図である。 本発明の実施例1を示し、管理計算機の構成の一例を示すブロック図である。 本発明の実施例1を示し、エッジ端末の構成の一例を示すブロック図である。 本発明の実施例1を示し、センシングシステムで行われる処理の一例を示す図である。 本発明の実施例1を示し、エッジ端末で行われる処理の一例を示すフローチャートである。 本発明の実施例1を示し、センシングシステムで行われる処理の一例を示すタイムチャートである。 従来例を示し、センシングシステムで行われる処理の一例を示すタイムチャートである。 本発明の実施例1を示し、センシングシステムで行われる処理の一例を示す図である。 本発明の実施例1を示し、管理計算機に表示される構成画面の一例を示す図である。 本発明の実施例1を示し、管理計算機に表示される管理画面の一例を示す図である。 本発明の実施例2を示し、エッジ端末で行われる処理の一例を示すフローチャートである。 本発明の実施例2を示し、管理計算機に表示される管理画面の一例を示す図である。 本発明の実施例2を示し、管理計算機に表示される管理画面の一例を示す図である。
 以下、本発明の実施形態を添付図面に基づいて説明する。
 図1は、本発明の実施例1を示し、センシングシステムの概要を示すブロック図である。本実施例のセンシングシステムは、工場等に設置されて装置等の稼働状態を検出するセンサ7-1~7-nが検出した情報をエッジ端末(情報処理端末)1-1~1-nでそれぞれ収集して、アプリケーションサーバ300で各工場等の稼働状態を分析する例を示す。なお、以下の説明ではエッジ端末を個々に特定しない場合には、「-」以降を省略した符号「1」を用いる。他の構成要素の符号についても同様である。
 エッジ端末1にはセンサ7が接続され、各エッジ端末1はネットワーク120を介して管理計算機100とアプリケーションサーバ300及びNAS(Network Attached Storage)に接続される。
 管理計算機100は、エッジ端末1で実施する情報処理をコンテナイメージファイル60-1~60-nとして管理し、各エッジ端末1にコンテナイメージファイル60を配信するコンテナオーケストレーション110を実行する。管理計算機100は、エッジ端末1のセンサ7の種類等に応じた情報処理をアプリケーションやAiモデルを組み合わせてコンテナイメージファイル60として生成しておき、所定のタイミングでエッジ端末1に配信する。
 各エッジ端末1は、受信したコンテナイメージファイル60を実行するコンテナ実行部50を有し、コンテナを起動してコンテナイメージファイル60内のアプリケーションを実行する。
 本実施例のコンテナイメージファイル60は、後述するようにセンサ7からの情報を取得してAiモデルに認識させるアプリケーションとセンサ7の状態(デバイスファイルの生成)を監視する監視部を含む。センサ7の一例としては、カメラを用いることができ、Aiモデルはカメラからの画像を認識して、エッジ端末1のアプリケーションが認識結果をNAS200の処理結果210に格納する。アプリケーションサーバ300は、NAS200の処理結果210を取得して所定の分析を実行する。
 図2は、管理計算機100の構成の一例を示すブロック図である。管理計算機100は、プロセッサ101と、メモリ102と、ストレージ装置103と、入力装置104と、出力装置105及びネットワークインタフェース106を含む計算機である。
 メモリ102には、コンテナオーケストレーション110のプログラムがロードされてプロセッサ101によって実行される。ストレージ装置103は、コンテナオーケストレーション110が各エッジ端末1に配信するコンテナイメージファイル60-1~60-nを格納する。
 コンテナイメージファイル60-1は、アプリケーション61-1と、機械学習によるAi(Artificial Intelligence)モデル62-1と、エッジ端末1でセンサ7の認識状態を監視するデバイスファイル監視部63-1を含む。なお、他のコンテナイメージファイル60-2~60-nについても同様である。
 アプリケーション61とAiモデル62は、配信先や、エッジ端末1のセンサ7の種類等に応じて組み合わされる。なお、コンテナイメージファイル60のアプリケーション61とAiモデル62の組み合わせは、管理者等が予め設定しておいてもよいし、管理者等が選択したアプリケーション61とAiモデル62を組み合わせたコンテナイメージファイル60を生成しておいてもよい。
 入力装置104は、キーボードやマウス或いはタッチパネル等で構成される。出力装置105は、ディスプレイなどで構成される。ネットワークインタフェース106は、ネットワーク120に接続されて外部の装置と通信を行う。
 コンテナオーケストレーション110は、入力装置104を介して指定されたコンテナイメージファイル60を、指定されたエッジ端末1に配信する。また、コンテナオーケストレーション110は、入力装置104を介してアプリケーション61とAiモデル62の組み合わせを受け付けて、コンテナイメージファイル60を生成してもよい。
 図3は、エッジ端末1-1の構成の一例を示すブロック図である。エッジ端末1-1は、プロセッサ2と、メモリ3と、ストレージ装置4と、ネットワークインタフェース5と、I/Oインタフェース6及びGPU((Graphics Processing Unit))8を含む計算機である。I/Oインタフェース6にはセンサ7が接続される。
 エッジ端末1は、SoC(System on a Chip)を利用した安価なデバイスで構成することができ、SoCにはプロセッサ2と、メモリ3と、ストレージ装置4と、ネットワークインタフェース5と、I/Oインタフェース6及びGPU8を含むことができる。
 また、I/Oインタフェース6としてはUSB(Universal Serial Bus)を採用することができる。I/Oインタフェース6としてはUSBを採用することで、センサ7にはUSBカメラ等の安価なデバイスを採用することができる。なお、センサ7は、カメラに限定されるものではなく、振動(加速度)や温度、圧力や音声や物体検出等の監視対象に応じたセンサを採用することができる。
 また、I/Oインタフェース6としてUSBを採用することにより、センサ7の脱着が容易になって、センサ7の交換に特殊な技術は不要となり、エッジ端末1を配置した現場での運用コストを抑制することができる。また、I/Oインタフェース6は、有線接続に限定されるものではなく、BluetoothやWiFi等の無線接続を採用することができる。
 メモリ102には、OS10と、コンテナ受信部40と、コンテナ実行部50と、NAS書き込み部70がプログラムとしてロードされ、プロセッサ101によって実行される。また、メモリ102には、コンテナ受信部40が受け付けたコンテナイメージファイル60-1と、OS10が生成したデバイスファイル30を管理するデバイステーブル20が格納される。
 コンテナ実行部50はコンテナを起動すると、コンテナ受信部40が受け付けたコンテナイメージファイル60-1から、まずデバイスファイル監視部63を起動する。そして、デバイスファイル監視部63は、OS10がセンサ7を認識する状況に応じてアプリケーション61-1とAiモデル62-1を実行する。なお、Aiモデル62-1は、GPU8で実行させることができる。本実施例では、デバイスファイル監視部63が監視するセンサ7の認識状況として、OS10がセンサ7のデバイスファイル30を生成する状況を用いる。
 NAS書き込み部70は、コンテナで実行されたアプリケーション61-1の処理結果をNAS200の処理結果210に書き込む。アプリケーション61-1は、センサ7が検出したセンシングデータをAiモデル62-1で認識させ、認識結果を含む情報を処理結果として出力する。
 OS10は、起動又は再起動後にセンサ7を認識すると、認識したセンサ7の物理的な識別子(物理ID)を含むデバイス情報をデバイスファイル30として生成する。デバイスファイル監視部63-1はデバイスファイル30が生成されると、当該デバイスファイル30の情報をデバイステーブル20に登録する。
 デバイスファイル監視部63-1は、デバイスファイル30を監視し、デバイスファイル30が生成されたことを検出すると、アプリケーション61-1を起動させて所定の情報処理を開始させる。
 アプリケーション61-1は、起動するとデバイステーブル20を参照してセンサ7の情報を読み込んで、センサ7にアクセスしてセンシングデータを取得することができる。なお、アプリケーション61は、直接デバイスファイル30を取得してセンサ7の物理的な識別子(物理ID)を取得して、センサ7からセンシングデータを取得してもよい。
 デバイスファイル30は、例えば、「video1」のように、OS10が使用する汎用的なファイル名で構成される。デバイステーブル20には、当該デバイスファイル30のファイル名が、例えば、「/dev/video0」や「/dev/video1」のように登録される。
 本実施例のエッジ端末1は、後述するように、OS10の起動後にコンテナイメージファイル60を受け付けるとコンテナ実行部50がコンテナを起動し、まず、デバイスファイル監視部63を起動させてセンサ7のデバイスファイル30の生成状況を監視する。
 デバイスファイル監視部63は、OS10がデバイスファイル30を生成したことを検出した後に、アプリケーション61-1を開始させることで、前記従来例のように、センサ7の種類やメーカの差異によってデバイスファイルが生成されるまでの時間の揺らぎを吸収することができる。これにより、コンテナのアプリケーション61-1は、確実にデバイスファイル30の情報を取得することが可能となって、センサ7が検出したセンシングデータを確実に処理することができる。
 プロセッサ2は、各機能部のプログラムに従って処理を実行することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ2は、コンテナ実行部プログラムに従って処理を実行することでコンテナ実行部50として機能する。他のプログラムについても同様である。さらに、プロセッサ2は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。
 ネットワークインタフェース5は、ネットワーク120に接続されて管理計算機100やNAS200と通信を行う。ストレージ装置4は、不揮発性記憶媒体で構成されてOS10やコンテナ受信部40やコンテナ実行部50のプログラムを保持することができる。
 図4は、センシングシステムで行われる処理の一例を示す図である。本実施例のセンシングシステムは、まず、管理計算機100の利用者が、出力装置105に表示される構成画面150上でコンテナイメージファイル60を配信する現場とセンサを対応付けておく(S1)。
 次に、エッジ端末1側では、コンテナ受信部40と、コンテナ実行部50をインストールしておく(S2)。エッジ端末1はネットワーク120に接続して、当該エッジ端末1の情報を管理計算機100に通知する(S3)。
 管理計算機100は、エッジ端末1の情報(識別子)を受け付けると、構成画面150の「エッジ端末」の欄の「Dev#N」の識別子を表示する(S4)。管理計算機100の利用者は、構成画面150上でセンサ7の識別子(Cam#N)と、エッジ端末1の識別子(Dev#N)を対応付けておく(S5)。
 さらに、管理計算機100ではエッジ端末1で実行するアプリケーション61とAiモデル62を選択し、コンテナイメージファイル60としてエッジ端末1へ配信する(S6)。なお、本実施例では、アプリケーション61とセンサ7は1:1で紐付けられる。
 エッジ端末1では、コンテナ受信部40がコンテナイメージファイル60を受信した後に、OS10はNAS200をマウントする(S7)。コンテナ実行部50は、コンテナイメージファイル60からデバイスファイル監視部63を起動して、デバイスファイル30の有無を監視させる(S8)。デバイスファイル監視部63は、デバイスファイル30が生成されるとデバイステーブル20にセンサ7の情報(物理ID)を格納してからアプリケーション61を起動してAiモデル62を用いた処理を開始させる。
 アプリケーション61は、デバイステーブル20で指定されたセンサ7からセンシングデータを取得してAiモデル62に認識させる。アプリケーション61は、Aiモデル62の認識結果から処理結果を生成し、NAS書き込み部70を介してNAS200に処理結果を書き込む。
 図5は、エッジ端末1で行われる処理の一例を示すフローチャートである。この処理は、図4のステップS6以降の処理の詳細を示す。
 エッジ端末1では、コンテナ受信部40が受け付けたコンテナイメージファイル60を実行するために、コンテナ実行部50がコンテナを起動する(S21)。コンテナ実行部50は、コンテナイメージファイル60からデバイスファイル監視部63を起動する(S22)。
 デバイスファイル監視部63は、OS10が生成するデバイスファイル30を取得する(S23)。デバイスファイル監視部63は、デバイスファイル30の有無を判定し(S24)、デバイスファイル30が存在すればステップS25へ進み、そうでない場合にはステップS31で所定時間が経過するのを待ってから再度ステップS23に戻って上記処理を繰り返す。
 ステップS25では、OS10がNAS200をエッジ端末1にマウントする。次に、デバイスファイル監視部63はコンテナ実行部50に通知して、コンテナイメージファイル60からアプリケーション61を起動してAiモデル62を用いた処理を開始する(S26)。
 アプリケーション61は、デバイステーブル20の情報(物理ID)を取得すると(S27)、物理IDで指定されたセンサ7からセンシングデータを取得して、センシングデータをAiモデル62-1に認識させて所定の処理結果を生成する(S28)。また、デバイスファイル監視部63は、ウォッチドッグ処理を実施して、センサ7からセンシングデータを正常に取得していることを検証する(S29)。なお、ウォッチドッグ処理は、アプリケーション61が行ってもよい。
 デバイスファイル監視部63は、ウォッチドッグ処理の結果を判定し(S30)、処理に不具合があると判定した場合、ステップS21に戻って、コンテナ実行部50にコンテナの再起動を通知する。一方、処理が正常に実施されていればステップS28に戻って上記処理を繰り返す。
 コンテナを再起動する際に、エッジ端末1のOS10の起動後に、デバイスファイル監視部63はデバイスファイル30が生成されるまで、アプリケーション61の起動を禁止するため、センサ7の種類やメーカの差異によってデバイスファイル30が生成されるまでの時間の長短に関わらず安定した稼働を実現できる。
 図6は、センシングシステムで行われる処理の一例を示すタイムチャートである。図示の例では、エッジ端末1の起動からコンテナイメージファイル60の配信を受け付けてアプリケーション61の稼働を開始する例を示す。
 時刻T1で、エッジ端末1のOS10が起動する。OS10は、起動した後に時刻T2でI/Oインタフェース6のセンサ7を認識する。OS10は、センサ7の認識結果に基づいてデバイスファイル30を生成してメモリ3に格納する(時刻T3)。また、OS10は、コンテナ受信部40とコンテナ実行部50を起動しておく。
 時刻T4では、管理計算機100がコンテナイメージファイル60をエッジ端末1に配信する。コンテナ受信部40は、コンテナイメージファイル60を受け付けると、コンテナ実行部50がコンテナを起動する(時刻T5)。コンテナの起動後にOS10はNAS200をマウントする(時刻T6)。
 コンテナ実行部50は、コンテナイメージファイル60からデバイスファイル監視部63を起動する。デバイスファイル監視部63は、デバイスファイル30が生成されたか否かを監視する。デバイスファイル監視部63は、デバイスファイル30を取得して、デバイスファイル30が生成されたことを判定すると(時刻T7)、コンテナイメージファイル60からアプリケーション61を起動して、Aiモデル62による処理を開始する(時刻T8)。
 以上のように、コンテナイメージファイル60からデバイスファイル監視部63を起動させて、OS10がデバイスファイル30を生成したことを検証した後に、アプリケーション61を起動する。これにより、前記従来例のように、デバイスファイル30が生成される前にアプリケーション61が起動されて、正常な処理ができなくなるのを確実に回避することができる。
 図7は、従来例を示し、センシングシステムで行われる処理の一例を示すタイムチャートである。従来例では、コンテナイメージファイル60には本発明のデバイスファイル監視部63が含まれず、アプリケーション61とAiモデル62のみとなる。
 時刻T1、T2は、上記図6の本発明のセンシングシステムと同様であるが、OS10は、センサ7の認識後のデバイスファイル30の生成が遅延し、図示の例では時刻T18を経過した後にデバイスファイル30を生成する。
 センサ7がカメラで、I/Oインタフェース6がUSBの場合、カメラのメーカや機種の違いによって、OS10の起動からデバイスファイル30が生成されるまでの時間は、数秒から1分程度などのようにバラツキが生じる。
 時刻T4では、管理計算機100が、アプリケーション61とAiモデル62のみのコンテナイメージファイル60をエッジ端末1に配信する。コンテナ受信部40は、コンテナイメージファイル60を受け付けると、コンテナ実行部50がコンテナを起動する(時刻T5)。コンテナの起動後にOS10はNAS200をマウントする(時刻T6)。
 時刻T17では、コンテナ実行部50がコンテナイメージファイル60のアプリケーション61を起動してAiモデル62に所定の処理を開始する。アプリケーション61は、時刻T18でデバイスファイル30を取得しようとするが、OS10はまだデバイスファイル30を生成していない。
 アプリケーション61は、デバイスファイル30が無いため、センサ7を認識できず、以降の処理がエラーとなってしまう。
 このように、従来例では、センサ7がUSB接続のカメラの場合は、メーカや機種の違いによってデバイスファイル30が生成されるまでの時間が大きく異なるため、エッジ端末1のアプリケーション61は、デバイスファイル30を読み込めずに処理を行うことができない事態となった。
 これに対して、本発明のセンシングシステムでは、コンテナイメージファイル60にデバイスファイル監視部63を含め、エッジ端末1では、まず、デバイスファイル監視部63を起動してデバイスファイル30を監視し、デバイスファイル30が生成された時点でアプリケーション61を開始する。このため。センサ7のデバイスファイル30が生成されるまでの監視をエッジ端末1側のデバイスファイル監視部63で行うことで、センサ7のメーカや機種の違いに関わらずアプリケーション61とAiモデル62による処理を安定して実現することができる。
 図8は、センシングシステムで行われる処理の一例を示す図である。図示の例は、各エッジ端末1-1~1-nで、異なるセンサA~Cでアプリケーション61の処理を行う例を示している。
 デバイスファイル監視部63-1は、OS10がセンサA(7-1)のデバイスファイル30-1を生成するのを監視し、デバイスファイル30-1が生成されるとセンサA(7-1)の物理IDを取得する。
 デバイスファイル監視部63-1は、デバイスファイル30-1が生成されたのでセンサ7の物理IDをデバイステーブル20に登録してからアプリケーション61-1を起動する。アプリケーション61-1は、デバイステーブル20からセンサ7の物理IDを取得してセンサ7にアクセスして所定の処理を実行する。
 図9は、管理計算機100に表示される構成画面150の一例を示す図である。管理計算機100の利用者は、出力装置105に表示される構成画面150上でコンテナイメージファイル60を配信するエッジ端末1毎に構成を管理することができる。なお、構成画面150は、コンテナオーケストレーション110が生成してもよいし、他の管理プログラムが生成してもよい。
 構成画面150は、センサ7とエッジ端末1が設置されている場所(工場や現場)の識別子(又は名称)を表示する現場151と、センサ7の識別子(又は名称)を表示するセンサ#152と、センサ7の状態を表示するデバイス状態153と、エッジ端末1の識別子を表示する情報処理端末154と、アプリケーション61の識別子(又は名称)を表示するアプリ155と、Aiモデル62の識別子(又は名称)を表示するモデル156を含む。
 管理計算機100の利用者は、構成画面150上で現場151とセンサ#152や情報処理端末154の紐付けや、アプリ155とモデル156の組み合わせなどを設定することができる。
 図10は、管理計算機100に表示される管理画面160の一例を示す図である。管理計算機100の出力装置105に表示される管理画面160は、エッジ端末1の稼働状態が表示される。
 管理画面160は、センサ7とエッジ端末1が設置されている場所(工場や現場)の識別子(又は名称)を表示する現場161と、エッジ端末1の識別子(又は名称)を表示する情報処理端末162と、アプリケーション61の識別子(又は名称)を表示するアプリ163と、Aiモデル62の識別子(又は名称)を表示するモデル164と、アプリケーション61の稼働状態を表示するステータス165を含む。ステータス165には、アプリケーション61又はセンサ7(図中デバイス)の状態が表示される。
 以上のように、実施例1のセンシングシステムでは、コンテナイメージファイル60にデバイスファイル監視部63を含めることで、エッジ端末1に接続されるセンサ7の状態管理をエッジ端末1側にオフロードすることが可能となる。これにより、管理計算機100はエッジ端末1側のセンサの管理が不用となって、センシングシステムの導入及び運用にかかるコストを低減できる。
 そして、I/Oインタフェース6としてUSBインタフェースを採用することで安価なセンサ7を採用して、センシングシステムの導入コストを低減できる。また、コンテナイメージファイル60に含めたデバイスファイル監視部63が、デバイスファイル30の生成完了のタイミングの後にアプリケーション61を起動することで、センサ7のメーカや種類に関わらず確実にアプリケーション61はデバイスファイル30読み込むことができ、安定した稼働を実現できる。
 なお、上記実施例1では、デバイステーブル20にデバイスファイル30を登録する例を示したが、アプリケーション61が直接デバイスファイル30を読み込むようにしてもよい。
 また、上記実施例1では、アプリケーション61がセンサ7から取得したセンシングデータをAiモデル62に認識させる例を示したが、これに限定されるものではない。コンテナイメージファイル60にAiモデル62は必須ではなく、アプリケーション61がセンシングデータに統計処理などの所定の処理を加えた処理結果をNAS200へ送信してもよい。
 また、上記実施例1では、I/Oインタフェース6としてUSBを採用し、脱着可能なセンサ7としてカメラを採用する例を示したが、これに限定されるものではなく、SoCを使用したエッジ端末1の基板上にセンサを搭載してもよい。
 図11は、実施例2を示し、エッジ端末1で行われる処理の一例を示すフローチャートである。前記実施例1に示した図5のフローチャートとの違いは、ステップS23AとステップS27Aを変更した点である。
 ステップS27Aでは、デバイスファイル監視部63がデバイスファイル30からセンサ7に固有の情報(例えば、物理ID)を取得してデバイステーブル20に登録し、ステップS27Aでは、アプリケーション61がデバイステーブル20からセンサ7に固有の物理IDを取得して、物理IDでセンサ7を認識して所定の処理を実行する。その他の構成については、前記実施例1と同様である。
 前記実施例1のデバイスファイル30の名称は、OS10が付与した汎用的な、例えば、「/dev/video0」や「/dev/video1」を使用する例を示した。しかし、センサ7(カメラ)の種類やOS10のバージョン等によっては、1つのセンサ7に対して複数のデバイスファイル30が生成される場合がある。
 一方、アプリケーション61のプログラムでは唯1つのセンサ7のみを指定できる。例えば、デバイスファイル30で「/dev/video0」を指定した場合、デバイスファイル30として「/dev/video1」が生成されてしまうとアプリケーション61の処理に影響がある。
 そのため、「/dev/v4l/by-id/」のパスに生成されるデバイスに固有情報を示すデバイスファイルの利用が望ましい。しかし、センサ7毎にデバイスファイル30のファイル名が異なるため、コンテナイメージファイル60内部のアプリケーション61への記述は汎用性が乏しくなる。
 そこで、実施例2では、デバイステーブル20を利用し、エッジ端末1のデバイスファイル監視部63はI/Oインタフェース6に接続されたセンサ7の固有情報を取得し、デバイステーブル20にセンサ7の固有情報を記載する。
 コンテナの内部では、デバイステーブル20に記載されたセンサ7の固有情報を取得し、デバイステーブル20のセンサ7の固有情報に基づいてアプリケーション61が所定の情報処理を行う。これにより、1つのセンサ7に対して複数のデバイスファイル30が生成されたり、センサ7毎にデバイスファイル30のファイル名が異なる場合でもアプリケーション61は確実にセンサ7を認識することが可能となる。
 上記実施例2では、エッジ端末1側でのセンサ7の管理コストを低下させて、アプリケーション61による情報処理を円滑に行うことができる。
 図12、図13は、管理計算機100に表示される構成画面170の他の例を示す図である。図示の例は、1つのエッジ端末1に複数のセンサ7が接続され、管理計算機100からの指令に応じて処理を行うセンサ7を切り替える例を示す。
 構成画面170は、センサ7とエッジ端末1が設置されている場所(工場や現場)の識別子(又は名称)を表示する現場171と、センサ7の識別子(又は名称)を表示するセンサ#172と、センサ7の状態を表示するデバイス状態173と、エッジ端末1の識別子を表示する情報処理端末174と、アプリケーション61の識別子(又は名称)を表示するアプリ175と、Aiモデル62の識別子(又は名称)を表示するアプリ176と、使用するセンサ7の種類を表示するカメラ種類177を含む。
 図12、図13のエッジ端末1(図中Dev#1)は、2つのセンサ(Cam#1、Cam#2)が接続され、図12では「Cam#1」のセンサ7が稼働し、図13では「Cam#2」のセンサ7が稼働している。
 複数のセンサ7を切り替える場合、管理計算機100の利用者は、使用するカメラ種類177=「Cam#2」を構成画面170で指定して、配信するアプリケーション61とAiモデル62を切り替えるセンサ7に応じて選択し、エッジ端末1に再起動を指令する。
 管理計算機100は、エッジ端末1の再起動後に「Cam#2」に対応するコンテナイメージファイル60を配信して、センサ7を切り替えてアプリケーション61の処理を行うことができる。再度配信されたコンテナイメージファイル60のアプリケーション61は、デバイステーブル20のセンサ7に固有の情報から「Cam#2」の情報を取得することで、複数のセンサ7が存在する場合に円滑な切り替えを実現できる。
 <結び>
 以上のように、上記実施例のエッジ端末1は、以下のような構成とすることができる。
 (1)プロセッサ(2)と、メモリ(3)と、通信部(ネットワークインタフェース5)と、センサ(7)を有する情報処理端末(エッジ端末1)であって、
 前記通信部(5)を介してコンテナイメージ(コンテナイメージファイル60)を受信するコンテナ受信部(40)と、前記コンテナイメージ(60)が受信されるとコンテナを起動して、前コンテナイメージ(60)に含まれるアプリケーション(61)を実行させるコンテナ実行部(50)と、を有し、前記コンテナは、前記センサ(7)の認識状況に基づいて前記アプリケーション(61)を起動し、前記アプリケーション(61)は、前記センサ(7)から取得したセンシングデータに所定の処理を実行することを特徴とする情報処理端末。
 上記構成により、エッジ端末1に接続されるセンサ7の状態管理をエッジ端末1側にオフロードすることが可能となる。これにより、管理計算機100はエッジ端末1側のセンサの管理が不用となって、センシングシステムの導入及び運用にかかるコストを低減できる。
 (2)上記(1)に記載の情報処理端末であって、前記センサ(7)の認識状況は、前記センサ(7)の物理的な識別子を含むデバイスファイル(30)の生成状況であることを特徴とする情報処理端末。
 上記構成により、センサ7の物理的な識別子を含むデバイスファイル30の生成状況に基づいてアプリケーション61を起動することで、アプリケーション61がデバイスファイル30読み込むことができ、安定した稼働を実現できる。
 (3)上記(2)に記載の情報処理端末であって、前記コンテナイメージ(60)は、前記デバイスファイル(30)を監視するデバイスファイル監視部(63)を含み、前記コンテナは、前記デバイスファイル監視部(63)を起動して、当該デバイスファイル監視部(63)が前記センサ(7)のデバイスファイル(30)を取得したことを契機として、前記アプリケーション(61)を実行することを特徴とする情報処理端末。
 上記構成により、コンテナイメージファイル60に含めたデバイスファイル監視部63が、デバイスファイル30の生成完了のタイミングの後にアプリケーション61を起動することで、センサ7のメーカや種類に関わらずデバイスファイル30が生成されるまでの時間の揺らぎを吸収して、アプリケーション61は確実にデバイスファイル30を読み込むことができ、安定した稼働を実現できる。
 (4)上記(3)に記載の情報処理端末であって、前記デバイスファイル監視部(63)は、前記デバイスファイル(30)を取得すると、当該デバイスファイル(30)に記載されている前記センサ(7)の物理的な識別子をデバイステーブル(20)に登録した後に前記アプリケーション(61)を起動し、前記アプリケーション(61)は、前記デバイステーブル(20)に登録された物理的な識別子を取得して前記センサ(7)にアクセスし、当該センサ(7)からセンシングデータを取得して所定の処理を実行することを特徴とする情報処理端末。
 上記構成により、コンテナの内部では、デバイステーブル20に記載されたセンサ7の固有情報を取得し、デバイステーブル20のセンサ7の固有情報に基づいてアプリケーション61が所定の情報処理を行うことで、1つのセンサ7に対して複数のデバイスファイル30が生成されたり、センサ7毎にデバイスファイル30のファイル名が異なる場合でもアプリケーション61が確実にセンサ7を認識することが可能となる。
 (5)上記(1)に記載の情報処理端末であって、前記センサ(7)を脱着可能なI/Oインタフェース(6)をさらに有することを特徴とする情報処理端末。
 上記構成により、I/Oインタフェース6としてUSBインタフェースを採用することで安価なセンサ7を採用して、センシングシステムの導入コストを低減できる。
 なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
 また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
 また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (11)

  1.  プロセッサと、メモリと、通信部と、センサを有する情報処理端末であって、
     前記通信部を介してコンテナイメージを受信するコンテナ受信部と、
     前記コンテナイメージが受信されるとコンテナを起動して、前コンテナイメージに含まれるアプリケーションを実行させるコンテナ実行部と、
    を有し、
     前記コンテナは、
     前記センサの認識状況に基づいて前記アプリケーションを起動し、
     前記アプリケーションは、
     前記センサから取得したセンシングデータに所定の処理を実行することを特徴とする情報処理端末。
  2.  請求項1に記載の情報処理端末であって、
     前記センサの認識状況は、前記センサの物理的な識別子を含むデバイスファイルの生成状況であることを特徴とする情報処理端末。
  3.  請求項2に記載の情報処理端末であって、
     前記コンテナイメージは、前記デバイスファイルを監視するデバイスファイル監視部を含み、
     前記コンテナは、
     前記デバイスファイル監視部を起動して、当該デバイスファイル監視部が前記センサのデバイスファイルを取得したことを契機として、前記アプリケーションを実行することを特徴とする情報処理端末。
  4.  請求項3に記載の情報処理端末であって、
     前記デバイスファイル監視部は、
     前記デバイスファイルを取得すると、当該デバイスファイルに記載されている前記センサの物理的な識別子をデバイステーブルに登録した後に前記アプリケーションを起動し、
     前記アプリケーションは、
     前記デバイステーブルに登録された物理的な識別子を取得して前記センサにアクセスし、当該センサからセンシングデータを取得して所定の処理を実行することを特徴とする情報処理端末。
  5.  請求項1に記載の情報処理端末であって、
     前記センサを脱着可能なI/Oインタフェースをさらに有することを特徴とする情報処理端末。
  6.  プロセッサと、メモリと、通信部と、センサを有する情報処理端末と、
     プロセッサと、メモリと、通信部を有し、前記情報処理端末を管理する管理計算機と、を含むセンシングシステムであって、
     前記管理計算機は、
     前記情報処理端末に配信するコンテナイメージを管理し、前記情報処理端末で実行するアプリケーションを含む前記コンテナイメージを配信するコンテナ管理部を有し、
     前記情報処理端末は、
     前記通信部を介してコンテナイメージを受信するコンテナ受信部と、
     前記コンテナイメージが受信されるとコンテナを起動して、前コンテナイメージに含まれるアプリケーションを実行させるコンテナ実行部と、を有し、
     前記コンテナは、
     前記センサの認識状況に基づいて前記アプリケーションを起動し、
     前記アプリケーションは、
     前記センサから取得したセンシングデータに所定の処理を実行することを特徴とするセンシングシステム。
  7.  請求項6に記載のセンシングシステムであって、
     前記センサの認識状況は、前記センサの物理的な識別子を含むデバイスファイルの生成状況であることを特徴とするセンシングシステム。
  8.  請求項7に記載のセンシングシステムであって、
     前記コンテナイメージは、前記デバイスファイルを監視するデバイスファイル監視部を含み、
     前記コンテナは、
     前記デバイスファイル監視部を起動して、当該デバイスファイル監視部が前記センサのデバイスファイルを取得したことを契機として、前記アプリケーションを実行することを特徴とするセンシングシステム。
  9.  請求項8に記載のセンシングシステムであって、
     前記デバイスファイル監視部は、
     前記デバイスファイルを取得すると、当該デバイスファイルに記載されている前記センサの物理的な識別子をデバイステーブルに登録した後に前記アプリケーションを起動し、
     前記アプリケーションは、
     前記デバイステーブルに登録された物理的な識別子を取得して前記センサにアクセスし、当該センサからセンシングデータを取得して所定の処理を実行することを特徴とするセンシングシステム。
  10.  請求項6に記載のセンシングシステムであって、
     前記コンテナ管理部は、
     複数の前記情報処理端末の中から前記センサの処理を行う情報処理端末を選択し、前記センサの処理を行う前記アプリケーションを指定する構成画面を出力し、当該構成画面で指定された前記情報処理端末と前記センサの処理を行う前記アプリケーションの組み合わせを受け付けて、前記指定された前記情報処理端末に前記指令されたアプリケーションを含むコンテナイメージを配信することを特徴とするセンシングシステム。
  11.  請求項6に記載のセンシングシステムであって、
     前記コンテナ管理部は、
     前記情報処理端末から前記センサと前記アプリケーションの稼働状態を取得し、複数の前記情報処理端末毎に前記センサと前記アプリケーションの前記稼働状態を表示する管理画面を出力することを特徴とするセンシングシステム。
PCT/JP2021/038837 2020-10-28 2021-10-20 情報処理端末及びセンシングシステム WO2022091917A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/033,569 US20230401071A1 (en) 2020-10-28 2021-10-20 Information processing terminal and sensing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020180072A JP2022071239A (ja) 2020-10-28 2020-10-28 情報処理端末及びセンシングシステム
JP2020-180072 2020-10-28

Publications (1)

Publication Number Publication Date
WO2022091917A1 true WO2022091917A1 (ja) 2022-05-05

Family

ID=81382420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038837 WO2022091917A1 (ja) 2020-10-28 2021-10-20 情報処理端末及びセンシングシステム

Country Status (3)

Country Link
US (1) US20230401071A1 (ja)
JP (1) JP2022071239A (ja)
WO (1) WO2022091917A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084123A (ja) * 2015-10-28 2017-05-18 富士通株式会社 動作環境再構築プログラム、動作環境再構築システム、動作環境再構築方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084123A (ja) * 2015-10-28 2017-05-18 富士通株式会社 動作環境再構築プログラム、動作環境再構築システム、動作環境再構築方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUJI OGATA, DAISUKE ISHII, RIO HIRAI, TAKUYA HABARA, RINTARO KATAYAMA: "Examination of edge integration technology", THE PAPERS OF TECHNICAL MEETING OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN, vol. CMN-20, no. 1-33, 30 January 2020 (2020-01-30), JP, pages 41 - 44, XP009536511 *

Also Published As

Publication number Publication date
US20230401071A1 (en) 2023-12-14
JP2022071239A (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
JP4980792B2 (ja) 仮想計算機の性能監視方法及びその方法を用いた装置
JP6530774B2 (ja) ハードウェア障害回復システム
US7574627B2 (en) Memory dump method, memory dump program and computer system
US7779297B2 (en) Fail-over method, computer system, management server, and backup server setting method
US7992032B2 (en) Cluster system and failover method for cluster system
JP5125659B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP4487920B2 (ja) ブート制御方法および計算機システム並びにその処理プログラム
US7234075B2 (en) Distributed failover aware storage area network backup of application data in an active-N high availability cluster
US9182998B2 (en) Remote bios update in system having multiple computers
US7953831B2 (en) Method for setting up failure recovery environment
US20020103987A1 (en) Computer system and method that eliminates the need for an operating system
CN1645389A (zh) 用于实现高可用性系统的远程企业管理的系统和方法
JP2008123412A (ja) 計算機システム、システムソフトウェア更新方法及び第1サーバ装置
WO2016000298A1 (zh) 一种系统异常的捕获方法、主系统、影子系统及智能设备
JP4957765B2 (ja) ソフトウェアプログラム実行装置、ソフトウェアプログラム実行方法、及びプログラム
JP3765201B2 (ja) 計算機システム
JP2010134557A (ja) 仮想マシン運用管理システム、その運用管理方法、及びプログラム
US9680939B2 (en) Maintaining technical support continuity across system restarts and multiple operating systems
CN107861827B (zh) 卡屏检测方法、移动终端及计算机可读存储介质
WO2022091917A1 (ja) 情報処理端末及びセンシングシステム
JP2002215399A (ja) コンピュータシステム
JP2014002798A (ja) 計算機システム及びプログラム
CN108509223B (zh) 一种数据处理方法、装置、系统及存储介质
US20080141262A1 (en) System, apparatus, and method for managing a service
JP5390651B2 (ja) 計算機システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886036

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886036

Country of ref document: EP

Kind code of ref document: A1