WO2023286248A1 - 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム - Google Patents

熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム Download PDF

Info

Publication number
WO2023286248A1
WO2023286248A1 PCT/JP2021/026646 JP2021026646W WO2023286248A1 WO 2023286248 A1 WO2023286248 A1 WO 2023286248A1 JP 2021026646 W JP2021026646 W JP 2021026646W WO 2023286248 A1 WO2023286248 A1 WO 2023286248A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal
notification
unit
thermal image
user
Prior art date
Application number
PCT/JP2021/026646
Other languages
English (en)
French (fr)
Inventor
英里 酒井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/026646 priority Critical patent/WO2023286248A1/ja
Priority to JP2023534549A priority patent/JPWO2023286248A1/ja
Publication of WO2023286248A1 publication Critical patent/WO2023286248A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present disclosure relates to a thermal anomaly notification device, a thermal anomaly notification system, a thermal anomaly notification method, and a program.
  • Patent Literature 1 discloses a technology of a watching system capable of appropriately watching over a resident who uses a stove without imposing an excessive burden on the resident's family, guardian, or the like.
  • the monitoring system described in Patent Document 1 includes a heat sensor that detects heat near the stove, a motion sensor that detects the position of the resident in the house, and a control that determines an abnormal state of the stove and notifies it to a mobile terminal. and Then, when the heat sensor detects the ignition state of the stove, this monitoring system starts measuring the elapsed time that the ignition state continues, and compares it according to the position of the resident detected by the human sensor. The notification elapsed time is switched, and the notification timing of the abnormal state is appropriately changed.
  • the present disclosure has been made to solve the problems described above, and is capable of detecting a wider variety of thermal anomalies and notifying an appropriate user of the detected thermal anomaly by an appropriate notification method.
  • a thermal anomaly notification device, a thermal anomaly notification system, a thermal anomaly notification method, and a program are provided.
  • the thermal abnormality notification device includes: a thermal image acquiring means for acquiring thermal images of the inside of the house taken in time series; an inference means for inputting the thermal image acquired by the thermal image acquisition means into a trained model that has undergone learning for inferring a thermal anomaly, and inferring a degree of urgency and a notification range corresponding to the thermal anomaly; , determining means for determining a user to be notified and a notification method for the user according to the degree of urgency and the notification range inferred by the inference means; notification means for notifying the user determined by the determination means of the thermal abnormality using the notification method; Prepare.
  • the thermal image acquiring means acquires thermal images of the inside of the house taken in time series.
  • the inference means inputs the thermal image acquired by the thermal image acquisition means to the trained model that has been trained to infer the thermal anomaly, and infers the urgency level and notification range corresponding to the thermal anomaly.
  • the determining means determines a user to be notified and a method of notifying the user according to the degree of urgency and the notification range inferred by the inferring means.
  • the notification means notifies the user determined by the determination means of the thermal abnormality using the notification method. As a result, it is possible to detect a wider variety of thermal anomalies, and to notify an appropriate user of the detected thermal anomaly by an appropriate notification method.
  • a diagram showing an example of the overall configuration of a thermal abnormality notification system according to an embodiment of the present disclosure A diagram for explaining the situation when the user is outside the residence where the heat anomaly notification system is installed. A diagram for explaining the situation when the user is in the house where the thermal anomaly notification system is installed.
  • a diagram showing an example of a thermal image A diagram showing another example of a thermal image
  • a diagram showing an example of functional blocks of a thermal abnormality notification device according to Embodiment 1 of the present disclosure A diagram for explaining the detailed configuration of the learning unit and the learning phases executed by the learning unit.
  • a diagram showing an example of risk information according to Embodiment 1 of the present disclosure Diagram for explaining a neural network A diagram for explaining a utilization phase executed by the thermal abnormality notification device according to the first embodiment of the present disclosure.
  • Flowchart showing an example of learning processing according to Embodiment 1 of the present disclosure Flowchart showing an example of thermal abnormality notification processing according to Embodiment 1 of the present disclosure
  • a diagram showing an example of functional blocks of a thermal abnormality notification device according to a second embodiment of the present disclosure A diagram showing an example of risk information according to Embodiment 2 of the present disclosure
  • FIG. 10 is a diagram showing an example of the overall configuration of a heat anomaly notification system according to another embodiment of the present disclosure in which a heat anomaly notification device is installed in a residence;
  • FIG. 1 is a schematic diagram showing an example of the overall configuration of a thermal abnormality notification system 1 according to Embodiment 1 of the present disclosure.
  • the thermal abnormality notification system 1 includes a thermal abnormality notification device 10 , a thermal image sensor 20 , a mobile terminal 30 possessed by a user U, and a cooperative device 40 .
  • the thermal abnormality notification device 10, the thermal image sensor 20, the mobile terminal 30, and the cooperative device 40 are communicably connected via a network 80 represented by the Internet, for example.
  • a thermal image sensor 20 and a linked device 40 are installed in a residence H where a user U resides.
  • the thermal abnormality notification device 10 is realized by, for example, a server device constructed on the network 80 . 2 shows a case where the user U who owns the portable terminal 30 is outside the residence H.
  • the mobile terminal 30 is connected to the network 80 using, for example, a mobile communication unit, and can communicate with the thermal abnormality notification device 10 .
  • FIG. 3 shows a case where the user U who owns the portable terminal 30 is in the house H.
  • the mobile terminal 30 uses a short-range wireless communication unit typified by, for example, Wi-Fi, BLE (Bluetooth (registered trademark) Low Energy), NFC (Near field communication), etc., with the cooperation device 40. communication is possible.
  • Wi-Fi Wi-Fi
  • BLE Bluetooth (registered trademark) Low Energy
  • NFC Near field communication
  • the thermal abnormality notification device 10 is a device that detects a thermal abnormality in the residence H from the thermal image captured by the thermal image sensor 20 and notifies the user of it.
  • Thermal anomalies include, for example, forgetting to turn off the stove, forgetting to turn off the stove, forgetting to turn off the iron, abnormally heating an electrical outlet, heating dry due to forgetting to turn off an electric pot, and fever in children or the elderly.
  • the thermal image sensor 20 is installed, for example, in the residence H toward electrical equipment, cooking appliances, etc. where thermal abnormalities are expected to occur, and captures thermal images in the residence H. For example, as shown in FIGS. 2 and 3, when some thermal abnormality TA occurs in the display placed in the residence H, the thermal image sensor 20 captures a thermal image as shown in FIG. 4A.
  • the thermal image shown in FIG. 4A shows, as an example, a state in which a part of the outlet connected to the display generates heat and appears white.
  • the thermal image sensor 20 may capture a thermal image including a person.
  • FIG. 4B shows, as an example, a thermal image of an elderly person lying down with a fever in a house H with a high room temperature. In this case as well, the person's head, arms, etc. are shown to be heated and appear white.
  • the thermal image sensor 20 captures such thermal images in time series. Then, the thermal image sensor 20 sequentially transmits the captured thermal images to the thermal abnormality notification device 10 .
  • the mobile terminal 30 is a smartphone, tablet, or the like possessed by the user U.
  • the mobile terminal 30 is equipped with various communication functions, and even when the user U goes out and is carried out of the residence H, the portable terminal 30 can be connected to the network 80 from the outside and can communicate with the heat abnormality notification device 10. It has become.
  • the linked device 40 is, for example, a network home appliance installed in the residence H, an IoT (Internet of Things) device, or the like.
  • IoT Internet of Things
  • the linked device 40 connects to the mobile terminal 30 using, for example, a short-range wireless unit, and sends the connection history including the connection time to the thermal abnormality notification device. 10.
  • the linked device 40 can receive a manual operation from the user U, and upon actually receiving a manual operation from the user U, for example, transmits an operation history including operation time to the thermal abnormality notification device 10 .
  • the above-described thermal image sensor 20 may also be connectable to the mobile terminal 30 using, for example, a short-range wireless unit, similarly to the linked device 40 .
  • the thermal image sensor 20 also connects to the mobile terminal 30 using the short-range wireless unit when the user U who has the mobile terminal 30 is in the house H, and, for example, stores the connection history including the connection time. It is transmitted to the thermal abnormality notification device 10 .
  • the thermal abnormality notification device 10 can determine that the user U is not in the residence H. For example, when trying to notify the user U of the thermal abnormality Then, the thermal abnormality notification is transmitted to the portable terminal 30.
  • the thermal abnormality notification device 10 It can be determined that the user U is in the residence H, and for example, when trying to notify the user U of a heat abnormality, it is also effective to transmit the heat abnormality notification to the linked device 40 .
  • the thermal abnormality notification device 10 includes a thermal image acquisition unit 11 as an example of thermal image acquisition means, a learning unit 12, a storage unit 13, an inference unit 14 as an example of inference means, Home information acquisition unit 15 as an example of history acquisition means, position estimation unit 16 as an example of position estimation means, notification means determination unit 17 as an example of determination means, and communication as an example of notification means and notification unit A unit 18 and a control unit 19 are provided.
  • the functional blocks shown in FIG. 5 are realized, for example, by a CPU (Central Processing Unit) using a RAM (Random Access Memory) as a work memory and appropriately executing a program stored in the ROM.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the thermal image acquisition unit 11 sequentially acquires thermal images captured in time series by the thermal image sensor 20 described above.
  • the learning unit 12 performs learning by adding various data to the pre-learned model.
  • the learning unit 12 includes a data acquisition unit 121, which is an example of data acquisition means, and a model generation unit 122, which is an example of model generation means.
  • the lower part of FIG. 6 is a diagram for explaining the learning phase executed by the learning unit 12. As shown in FIG.
  • the data acquisition unit 121 acquires learning data DT.
  • the learning data DT is, for example, supervised learning data, and a set of input and result data is input to the neural network NN for learning. More specifically, in the first embodiment, the learning data DT is data in which a thermal image and risk information are associated with each other.
  • the degree of risk information is information that associates the situation in the residence, the degree of urgency, and the range of notification, as shown in FIG.
  • the degree of urgency is the degree of urgency at the time of notification.
  • the notification range is the target range for notification.
  • the model generation unit 122 performs learning using learning data DT in which such thermal images and risk information are associated with each other.
  • the learning algorithm used by the model generation unit 122 can be, for example, known algorithms such as supervised learning, unsupervised learning, and reinforcement learning. As an example, a case where a neural network NN is applied will be described below.
  • the model generation unit 122 uses a neural network NN to generate a trained model LM through so-called supervised learning.
  • the neural network NN is formed by an input layer made up of multiple neurons, an intermediate layer made up of multiple neurons, and an output layer made up of multiple neurons.
  • the intermediate layer is also called a hidden layer, and may be one layer or two or more layers.
  • the neural network NN performs so-called supervised learning according to learning data DT in which the thermal image acquired by the data acquisition unit 121 and the risk information shown in FIG. 7 are associated with each other. learning by changing the weight of
  • the model generation unit 122 shown in FIG. 6 generates and outputs a learned model LM by processing the learning phase as described above.
  • the learned model LM output by the model generation unit 122 in this way is stored in the storage unit 13, and is used by the inference unit 14 to infer a thermal anomaly from the input thermal image.
  • the storage unit 13 stores various data such as thermal images, trained models, and device operation data.
  • the inference unit 14 infers thermal anomalies from time-series thermal images and trained models. In other words, the inference unit 14 infers the degree of urgency and notification range corresponding to the thermal abnormality obtained using the learned model. That is, by inputting the thermal image acquired by the thermal image acquiring unit 11 to the learned model generated by the learning unit 12 described above, more specifically, the model generating unit 122, the urgency and the degree of urgency inferred from the thermal image Notification range can be output.
  • the learned model learned by the model generation unit 122 of the learning unit 12 is used to output the degree of urgency and the notification range.
  • a learned model generated by the device may be obtained, and the urgency level and notification range may be output based on this learned model.
  • the in-house information acquisition unit 15 acquires at least one of the connection history of connecting the linked device 40 to the mobile terminal 30 and the operation history of accepting manual operation from the user U from the linked device 40 .
  • the position estimation unit 16 estimates the position of the user U from at least one of connection history and operation history. That is, the thermal abnormality notification device 10 checks whether or not the connection history has been sent from the thermal image sensor 20 or the linked device 40, and whether or not the operation history of manual operation received from the linked device 40 has been sent. It is determined whether or not the user U is in the residence H based on at least one of whether the user U is in the residence H or not.
  • the notification means determination unit 17 determines the notification target and notification method based on the urgency and notification range corresponding to the thermal abnormality inferred by the inference unit 14 from the time-series thermal images and the learned model. do. For example, when it is inferred that the urgency is "low” and the notification range is "narrow", the notification means determination unit 17 determines the notification target to be the family members living together, and the notification method is e-mail or SNS (Social networking service). ). Further, when it is inferred that the urgency is "high” and the notification range is "wide”, the notification means determination unit 17 determines the notification target to be a hospital or a private security company, and the notification method is pop-up display, push notification, Alarm, decide to call.
  • SNS Social networking service
  • the communication unit 18 is, for example, various communication modules, and notifies the thermal abnormality to the notification target determined by the notification means determination unit 17 using the communication method determined by the notification means determination unit 17. .
  • the control unit 19 controls the thermal abnormality notification device 10 as a whole. For example, when the learning unit 12 is caused to process the learning phase, the control unit 19 controls the data acquisition unit 121 and the model generation unit 122 as shown in FIG. Execute learning to generate a trained model LM.
  • the thermal abnormality notification device 10 uses time-series thermal images and learned models to notify appropriate notification targets of thermal anomalies using an appropriate notification method.
  • the utilization phase will be described with reference to FIG.
  • the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series. Subsequently, the inference unit 14 computes the time-series thermal images acquired by the thermal image acquisition unit 11 using the learned model stored in the storage unit 13, thereby obtaining the degree of urgency and notification corresponding to the thermal abnormality. Infer the range.
  • the notification means determination unit 17 determines a notification target and a notification method based on the degree of urgency and notification range corresponding to the thermal abnormality inferred by the inference unit 14 . Subsequently, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 of the thermal abnormality using the communication method determined by the notification means determination unit 17 . For example, the communication unit 18 transmits a thermal abnormality notification to the mobile terminal 30 or the linked device 40 to notify the notification target including the user U of the thermal abnormality.
  • FIG. 10 is a flowchart illustrating an example of learning processing according to Embodiment 1 of the present disclosure. Further, FIG. 11 is a flowchart illustrating an example of thermal abnormality notification processing according to the first embodiment of the present disclosure.
  • This learning process is executed by the learning unit 12 as shown in FIG. 6 described above when generating a trained model.
  • the learning unit 12 acquires learning data DT (step S11). That is, the data acquisition unit 121 acquires the learning data DT in which the thermal image and the risk information are associated with each other.
  • This degree-of-risk information is, for example, information that associates the situation in the residence with the degree of urgency and the notification range as shown in FIG.
  • step S11 the data acquisition unit 121 acquires the thermal image and the risk information at the same time. They may be obtained at different timings. Also, in step S11, the location information of the user U who owns the portable terminal 30 may be obtained.
  • the learning unit 12 executes learning processing (step S12). That is, the model generation unit 122 causes the neural network NN to learn by so-called supervised learning according to the learning data DT in which the thermal image and the risk information acquired by the data acquisition unit 121 are associated with each other, and generates a trained model LM. Generate.
  • the learning unit 12 stores the learned model LM (step S13). That is, the model generation unit 122 causes the storage unit 13 to store the learned model LM generated in step S12.
  • thermal abnormality notification process of FIG. 11 is executed by the thermal abnormality notification device 10 having the configuration shown in FIG.
  • the thermal image acquisition unit 11 acquires a thermal image (step S21). That is, the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series. Note that this step S21 is an example of the thermal image acquisition step.
  • the inference unit 14 inputs the thermal image to the learned model stored in the storage unit 13 and obtains the degree of urgency and the notification range (step S22). That is, the inference unit 14 calculates the time-series thermal images acquired in step S21 using the learned model stored in the storage unit 13, thereby obtaining the degree of urgency and notification range corresponding to the thermal abnormality. to infer Note that this step S22 is an example of the inference step.
  • the inference unit 14 outputs the inference result (step S23). That is, the inference unit 14 outputs the urgency level and notification range obtained by inference to the notification means determination unit 17 .
  • the notification means determination unit 17 determines the notification target and notification method based on the degree of urgency and the notification range (step S24). That is, the notification means determination unit 17 determines an appropriate notification target and notification method based on the degree of urgency and the notification range output from the inference unit 14 in step S23. Note that this step S24 is an example of the determination step.
  • the communication unit 18 notifies the thermal abnormality (step S25). That is, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 in step S24 of the thermal abnormality using the communication method determined by the notification means determination unit 17 . Note that this step S25 is an example of the notification step.
  • thermal images and trained models can be used to detect more types of thermal anomalies, and the detected thermal anomalies can be notified to appropriate users by an appropriate notification method.
  • a heat abnormality notification device 10 according to a modification of the first embodiment will be described below.
  • the overall configuration of the thermal abnormality notification system 1 is the same as in FIG.
  • the functional block configuration of the thermal abnormality notification device 10 is the same as in FIG.
  • the inference unit 14 uses the learned model stored in the storage unit 13 to obtain the time-series thermal images acquired by the thermal image acquisition unit 11 and the position estimation information indicating the position of the user U estimated by the position estimation unit 16. , the urgency level and notification range corresponding to the thermal anomaly are inferred.
  • the accuracy of estimating whether or not there is a person in the residence H can be improved.
  • the thermal abnormality notification device 10 which is characterized by inputting a thermal image and equipment state information into a trained model and deducing risk information including the urgency and notification range, will be described below. do.
  • the overall configuration of the thermal abnormality notification system 1 is the same as that shown in FIG.
  • FIG. 12 is a diagram showing functional blocks of the thermal abnormality notification device 10 according to Embodiment 2 of the present disclosure.
  • the thermal abnormality notification device 10 shown in FIG. 12 includes a thermal image acquisition unit 11 as an example of thermal image acquisition means, a learning unit 12, a storage unit 13, an inference unit 14 as an example of inference means, and equipment status information.
  • a device status information acquisition unit 51 as an example of an acquisition unit, a position estimation unit 16 as an example of a position estimation unit, a notification unit determination unit 17 as an example of a determination unit, a communication unit 18 as an example of a notification unit, A control unit 19 is provided.
  • the in-home information obtaining unit 15 may be left and the in-home information obtaining unit 15 and the device state information obtaining unit 51 may coexist.
  • the device status information acquisition unit 51 acquires device status information from the linked device 40 installed in the residence H.
  • the device status information is, for example, device status information of the linked device 40 .
  • the learning unit 12 performs learning using learning data DT in which the thermal image, the device state information, and the degree of risk information are associated with each other.
  • risk information as shown in FIG. 13 may be used.
  • the risk level information shown in FIG. 13 more specifically defines the devices in the "residential situation" than the risk level information shown in FIG.
  • the model generation unit 122 performs learning using the learning data DT in which the thermal image, the device state information, and the risk level information are associated with each other, and the learned model LM is generated and output. Then, the learned model LM output by the model generation unit 122 is stored in the storage unit 13, and is used by the inference unit 14 to infer a thermal abnormality based on the input of the thermal image and the device state information.
  • the thermal abnormality notification device 10 utilizes the time-series thermal image, the device state information, and the learned model to appropriately notify the thermal abnormality to an appropriate notification target.
  • the utilization phase notified in the method will be described with reference to FIG.
  • the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series.
  • the device status information acquisition unit 51 acquires device status information from the linked device 40 installed in the residence H.
  • the device status information is, for example, device status information of the linked device 40 .
  • the inference unit 14 uses the learned model stored in the storage unit 13 to obtain the time-series thermal images acquired by the thermal image acquisition unit 11 and the device state information acquired by the device state information acquisition unit 51. By calculating, the degree of urgency and notification range corresponding to the thermal anomaly are inferred.
  • the notification means determination unit 17 determines a notification target and a notification method based on the degree of urgency and notification range corresponding to the thermal abnormality inferred by the inference unit 14 . Subsequently, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 of the thermal abnormality using the communication method determined by the notification means determination unit 17 . For example, the communication unit 18 transmits a thermal abnormality notification to the portable terminal 30 or the linked device 40 to notify the notification target including the user U of the thermal abnormality.
  • FIG. 15 is a flowchart illustrating an example of thermal abnormality notification processing according to the second embodiment of the present disclosure.
  • the thermal image acquisition unit 11 acquires a thermal image (step S21). That is, the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series.
  • the device state information acquisition unit 51 acquires device state information (step S31). That is, the device status information acquisition unit 51 acquires device status information from the linked device 40 installed in the residence H.
  • the device status information is, for example, device status information of the linked device 40 .
  • the inference unit 14 inputs the thermal image and the device state information to the learned model stored in the storage unit 13, and obtains the degree of urgency and the notification range (step S32). That is, the inference unit 14 uses the learned model stored in the storage unit 13 to calculate the time-series thermal images acquired in step S21 and the device state information acquired in step S31. By doing so, the degree of urgency and notification range corresponding to the thermal anomaly are inferred. For example, whether the heat source of a high-temperature device is a specific device such as an iron or a stove, or whether the heat source does not depend on the state of the device can be reflected in the inference processing of the urgency level and notification range.
  • the inference unit 14 outputs the inference result (step S23). That is, the inference unit 14 outputs the urgency level and notification range obtained by inference to the notification means determination unit 17 .
  • the notification means determination unit 17 determines the notification target and notification method based on the degree of urgency and the notification range (step S24). That is, the notification means determination unit 17 determines an appropriate notification target and notification method based on the degree of urgency and the notification range output from the inference unit 14 in step S23.
  • the communication unit 18 notifies the thermal abnormality (step S25). That is, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 in step S24 of the thermal abnormality using the communication method determined by the notification means determination unit 17 .
  • the accuracy of estimating the degree of urgency and the notification range corresponding to the thermal anomaly can be improved. Any type of thermal anomaly can be notified to appropriate users by appropriate notification methods.
  • the thermal image obtained from the thermal image sensor 20 is directly input to the trained model. may be entered in the
  • the thermal abnormality notification device 10 which is characterized by normalizing the thermal image acquired from the thermal image sensor 20 and then inputting it into the trained model, will be described below.
  • the overall configuration of the thermal abnormality notification system 1 is the same as that shown in FIG.
  • FIG. 16 is a diagram showing functional blocks of the thermal abnormality notification device 10 according to Embodiment 3 of the present disclosure.
  • the thermal abnormality notification device 10 shown in FIG. 16 includes a thermal image acquisition unit 11 as an example of thermal image acquisition means, a learning unit 12, a storage unit 13, an inference unit 14 as an example of inference means, and a normalization means.
  • a normalization unit 61 as an example, a position estimation unit 16 as an example of a position estimation unit, a notification unit determination unit 17 as an example of a determination unit, a communication unit 18 as an example of a notification unit, and a control unit 19 , provided. That is, the heat abnormality notification device 10 shown in FIG.
  • the in-home information acquisition unit 15 may be left and the in-house information acquisition unit 15 and the normalization unit 61 may coexist.
  • the normalization unit 61 appropriately preprocesses and normalizes the thermal image acquired from the thermal image sensor 20 .
  • normalization 61 normalizes the thermal image by widening or narrowing the range of thermal image sensor 20 .
  • the accuracy of the temperature range that the body temperature of the human body can take such as 35° C. to 40° C., is made finer, and the accuracy of other temperature ranges is made coarser.
  • the accuracy within the temperature range is reduced to ensure notification accuracy.
  • the thermal abnormality notification device 10 uses time-series thermal images and learned models to notify an appropriate notification target of a thermal abnormality using an appropriate notification method.
  • the utilization phase will be described with reference to FIG. 17 .
  • the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series. Then, the normalization unit 61 appropriately preprocesses and normalizes the thermal image acquired from the thermal image sensor 20 . For example, normalization 61 normalizes the thermal image by widening or narrowing the range of thermal image sensor 20 . Subsequently, the inference unit 14 calculates the thermal image normalized by the normalization unit 61 using the learned model stored in the storage unit 13, thereby inferring the urgency level and notification range corresponding to the thermal abnormality. do.
  • the notification means determination unit 17 determines a notification target and a notification method based on the degree of urgency and notification range corresponding to the thermal abnormality inferred by the inference unit 14 . Subsequently, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 of the thermal abnormality using the communication method determined by the notification means determination unit 17 . For example, the communication unit 18 transmits a thermal abnormality notification to the portable terminal 30 or the linked device 40 to notify the notification target including the user U of the thermal abnormality.
  • FIG. 18 is a flowchart illustrating an example of thermal abnormality notification processing according to Embodiment 3 of the present disclosure.
  • the thermal image acquisition unit 11 acquires a thermal image (step S21). That is, the thermal image acquisition unit 11 sequentially acquires thermal images captured by the thermal image sensor 20 in time series.
  • the normalization unit 61 normalizes the thermal image (step S41). That is, the normalization unit 61 appropriately preprocesses and normalizes the thermal image acquired from the thermal image sensor 20 . For example, normalization 61 normalizes the thermal image by widening or narrowing the range of thermal image sensor 20 .
  • the inference unit 14 inputs the thermal image to the learned model stored in the storage unit 13, and obtains the degree of urgency and the notification range (step S22). That is, the inference unit 14 calculates the thermal image normalized in step S41 using the learned model stored in the storage unit 13, thereby inferring the urgency level and notification range corresponding to the thermal abnormality. do.
  • the inference unit 14 outputs the inference result (step S23). That is, the inference unit 14 outputs the urgency level and notification range obtained by inference to the notification means determination unit 17 .
  • the notification means determination unit 17 determines the notification target and notification method based on the degree of urgency and the notification range (step S24). That is, the notification means determination unit 17 determines an appropriate notification target and notification method based on the degree of urgency and the notification range output from the inference unit 14 in step S23.
  • the communication unit 18 notifies the thermal abnormality (step S25). That is, the communication unit 18 notifies the notification target determined by the notification means determination unit 17 in step S24 of the thermal abnormality using the communication method determined by the notification means determination unit 17 .
  • the thermal abnormality notification device 10 is realized by a server device built on the network 80, but the thermal abnormality notification device 10 may also be installed in the residence H.
  • a thermal abnormality notification system 1 characterized in that the thermal abnormality notification device 10 is also installed in the residence H will be described below with reference to FIG.
  • the heat abnormality notification device 10, the thermal image sensor 20, and the linked device 40 are installed in the residence H where the user U resides.
  • the thermal abnormality notification device 10, the thermal image sensor 20, the portable terminal 30, and the cooperative device 40 are connected to communicate via a network 90 represented by a wireless LAN, for example. .
  • the program executed by the thermal abnormality notification device 10 includes CD-ROM (Compact Disc Read Only Memory), DVD (Digital Versatile Disc), MO (Magneto-Optical Disk), USB memory, memory It can also be stored in a computer-readable recording medium such as a card and distributed. By installing such a program in a specific or general-purpose computer, the computer can be made to function as the thermal abnormality notification device 10 in the above embodiment.
  • the above program may be stored in a disk device possessed by a server device on a communication network such as the Internet, for example, superimposed on a carrier wave and downloaded to a computer.
  • the above processing can also be achieved by starting and executing the program while transferring it via a communication network.
  • the above processing can also be achieved by causing all or part of a program to be executed on a server device and executing the program while the computer transmits and receives information regarding the processing via a communication network.
  • the present disclosure provides a thermal anomaly notification device, a thermal anomaly notification system, a thermal anomaly notification method, and a thermal anomaly notification device capable of detecting a wider variety of thermal anomalies and notifying an appropriate user of the detected thermal anomaly by an appropriate notification method. And it can be suitably adopted for the program.
  • thermal anomaly notification system 10 thermal anomaly notification device, 11 thermal image acquisition unit, 12 learning unit, 121 data acquisition unit, 122 model generation unit, 13 storage unit, 14 inference unit, 15 home information acquisition unit, 16 position estimation unit , 17 Notification means determination unit, 18 Communication unit, 19 Control unit, 51 Device state information acquisition unit, 61 Normalization unit, 20 Thermal image sensor, 30 Mobile terminal, 40 Cooperating device, 80, 90 Network

Abstract

熱画像取得部（１１）は、住居内を時系列に撮影した熱画像を取得する。推論部（１４）は、熱画像取得部（１１）により取得された熱画像を、記憶部（１３）に記憶される学習済みモデルに入力して、熱異常に対応する緊急度及び通知範囲を推論する。通知手段決定部（１７）は、推論部（１４）が推論した緊急度及び通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する。通信部（１８）は、通知手段決定部（１７）が決定したユーザが所持する携帯端末（３０）に対し、決定された通知方法を用いて、熱異常を通知する。

Description

熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム
　本開示は、熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムに関する。
　近年、例えば、住居における火災の発生を防止するために、各種のセンサを用いて住居内をセンシングし、何らかの異常を検知するとその異常状態をユーザへ報知する見守りシステムが知られている。例えば、特許文献１には、居住者の家族、保護者等に過度の負担をかけることなくコンロを利用する居住者を適切に見守ることのできる見守りシステムの技術が開示されている。
　特許文献１に記載の見守りシステムは、コンロ付近の熱を検知する熱センサと、住居内における居住者の位置を検知する人感センサと、コンロの異常状態を判定して携帯端末に報知する制御部とを備えている。そして、この見守りシステムは、熱センサによって、コンロの点火状態を検知すると、その点火状態が継続される経過時間の計時を開始し、人感センサにより検知した居住者の位置に応じて、比較する報知用経過時間を切り換え、異常状態の報知タイミングを適宜変更している。
　また、特許文献１に記載の見守りシステムでは、計時されている点火状態の経過時間が長くなる程、低い報知レベルから高い報知レベルへと進んで行き、その報知レベルに応じて、携帯端末へ報知する内容を変化させている。
特開２０１６－１０３０８３号
　しかしながら、上述した特許文献１に記載された技術では、コンロの点火状態で計時される経過時間が、比較する報知用経過時間に達したかどうかという、予め定められた機器の予め定められた異常状態にしか対応できなかった。また、報知レベルについても、点火状態の経過時間が、現在の報知レベルに規定されている報知用経過時間に達する度に、より高い報知レベルに規定されている報知用経過時間を用いるだけであり、結局の所、計時される経過時間が報知用経過時間に達したかどうかを判別するたけで、異常状態を報知していると言える。そのため、特許文献１に記載された技術では、多種類の異常状態のうちから検知した何れの異常状態に応じて、報知レベルを異ならせるようなことも実現できなかった。
　このため、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる技術が求められていた。
　本開示は、上述のような課題を解決するためになされたものであり、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムを提供することを目的とする。
　上記目的を達成するため、本開示に係る熱異常通知装置は、
　住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
　前記熱画像取得手段により取得された前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
　前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定手段と、
　前記決定手段が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、
　を備える。
　本開示に係る熱異常通知装置では、熱画像取得手段が、住居内を時系列に撮影した熱画像を取得する。また、推論手段は、熱画像取得手段により取得された熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、熱異常に対応する緊急度及び通知範囲を推論する。また、決定手段は、推論手段が推論した緊急度及び通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する。そして、通知手段は、決定手段が決定したユーザに対し、通知方法を用いて、熱異常を通知する。この結果、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。
本開示の実施形態に係る熱異常通知システムの全体構成の一例を示す図 熱異常通知システムが導入された住居外にユーザがいる場合の様子を説明するための図 熱異常通知システムが導入された住居内にユーザがいる場合の様子を説明するための図 熱画像の一例を示す図 熱画像の他の一例を示す図 本開示の実施形態１に係る熱異常通知装置の機能ブロックの一例を示す図 学習部の詳細な構成、及び、学習部にて実行される学習フェーズを説明するための図 本開示の実施形態１に係る危険度情報の一例を示す図 ニューラルネットワークを説明するための図 本開示の実施形態１に係る熱異常通知装置にて実行される活用フェーズを説明するための図 本開示の実施形態１に係る学習処理の一例を示すフローチャート 本開示の実施形態１に係る熱異常通知処理の一例を示すフローチャート 本開示の実施形態２に係る熱異常通知装置の機能ブロックの一例を示す図 本開示の実施形態２に係る危険度情報の一例を示す図 本開示の実施形態２に係る熱異常通知装置にて実行される活用フェーズを説明するための図 本開示の実施形態２に係る熱異常通知処理の一例を示すフローチャート 本開示の実施形態３に係る熱異常通知装置の機能ブロックの一例を示す図 本開示の実施形態３に係る熱異常通知装置にて実行される活用フェーズを説明するための図 本開示の実施形態３に係る熱異常通知処理の一例を示すフローチャート 住居内に熱異常通知装置が導入された本開示の他の実施形態に係る熱異常通知システムの全体構成の一例を示す図
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。以下では、ユーザが居住する住居内に熱異常通知システムが導入された場合について説明するが、後述するように、例えば、オフィスビルといったユーザが仕事で利用する建物内に熱異常通知システムが導入された場合においても同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。
（実施形態１）
　図１は、本開示の実施形態１に係る熱異常通知システム１の全体構成の一例を示す模式図である。この熱異常通知システム１は、熱異常通知装置１０と、熱画像センサ２０と、ユーザＵが所持する携帯端末３０と、連携機器４０とを備えている。なお、熱異常通知装置１０、熱画像センサ２０、携帯端末３０、及び、連携機器４０は、一例として、インターネットに代表されるネットワーク８０を介して通信可能に接続されている。
　このような熱異常通知システム１は、例えば、図２に示すように、ユーザＵが居住する住居Ｈ内に、熱画像センサ２０、及び、連携機器４０が設置されている。なお、熱異常通知装置１０は、例えば、ネットワーク８０上に構築されたサーバ装置により実現されている。また、図２では、携帯端末３０を所持するユーザＵが、住居Ｈ外にいる場合を示している。この場合、携帯端末３０は、例えば、移動体通信ユニットを利用してネットワーク８０と接続し、熱異常通知装置１０との通信が可能となっている。
　また、図３では、携帯端末３０を所持するユーザＵが、住居Ｈ内にいる場合を示している。この場合、携帯端末３０は、例えば、Ｗｉ－Ｆｉ、ＢＬＥ（Bluetooth（登録商標）Low Energy）、ＮＦＣ（Near field communication）等に代表される近距離無線通信ユニットを使用して、連携機器４０との通信が可能となっている。
　熱異常通知装置１０は、熱画像センサ２０が撮影した熱画像から、住居Ｈ内の熱異常を検知してユーザに通知する装置である。なお、熱異常とは、一例として、コンロの消し忘れ、ストーブの消し忘れ、アイロンの切り忘れ、コンセントの異常発熱、電気ポットの切り忘れによる空焚き、子供若しくはお年寄りの発熱等である。
　熱画像センサ２０は、例えば、住居Ｈ内において、熱異常の発生が予想される電気機器、調理機器等に向けて設置されており、住居Ｈ内における熱画像を撮影する。例えば、図２，３に示すように、住居Ｈ内に置かれたディスプレイに何らかの熱異常ＴＡが生じている場合に、熱画像センサ２０は、図４Ａに示すような熱画像を撮影する。この図４Ａに示す熱画像は、一例として、ディスプレイに接続されたコンセントの一部が発熱して白く映っている様子を示している。この他にも、熱画像センサ２０は、人物が含まれる熱画像を撮影してもよい。例えば、住居Ｈ内にてお年寄りが倒れている場合に、熱画像センサ２０は、図４Ｂに示すような熱画像を撮影する。この図４Ｂでは、一例として、室温が高い住居Ｈ内で発熱したお年寄り倒れている様子を撮影した熱画像を示している。この場合も人物の頭部、腕等が発熱して白く映っている様子が示されている。
　熱画像センサ２０は、これらのような熱画像を時系列に撮影する。そして、熱画像センサ２０は、撮影した熱画像を熱異常通知装置１０へ、順次送信する。
　図２に戻って、携帯端末３０は、ユーザＵに所持されるスマートフォン、タブレット等である。携帯端末３０は、各種通信機能が搭載されており、ユーザＵの外出と共に住居Ｈ外へと持ち運ばれた場合でも、外出先からネットワーク８０へ接続し、熱異常通知装置１０との通信が可能となっている。
　連携機器４０は、例えば、住居Ｈ内に設置されたネットワーク家電、IoT（Internet of Things）機器等である。連携機器４０は、携帯端末３０を所持するユーザＵが住居Ｈ内にいる場合に、例えば、近距離無線ユニットを使用して携帯端末３０と接続し、接続時刻を含む接続履歴を熱異常通知装置１０へ送信する。また、連携機器４０は、ユーザＵからの手動操作を受け可能であり、実際にユーザＵからの手動操作を受け付けると、例えば、操作時刻を含む操作履歴を熱異常通知装置１０へ送信する。
　なお、上述した熱画像センサ２０においても、連携機器４０と同様に、例えば、近距離無線ユニットを使用して携帯端末３０と接続可能であってもよい。この場合、熱画像センサ２０でも、携帯端末３０を所持するユーザＵが住居Ｈ内にいる場合に、近距離無線ユニットを使用して携帯端末３０と接続し、例えば、接続時刻を含む接続履歴を熱異常通知装置１０へ送信する。
　このため、例えば、住居Ｈ内の電気機器、調理機器等に発生する熱異常を検知するケースを想定すると、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ていない場合、及び、連携機器４０から操作履歴が送られて来ていない場合において、熱異常通知装置１０は、ユーザＵが住居Ｈ内にいないと判別でき、例えば、熱異常をユーザＵに通知しようとする際に、携帯端末３０に向けて熱異常通知を送信することになる。
　逆に、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ている場合、又は、連携機器４０から操作履歴が送られて来ている場合において、熱異常通知装置１０は、ユーザＵが住居Ｈ内にいると判別でき、例えば、熱異常をユーザＵに通知しようとする際に、連携機器４０に向けて熱異常通知を送信することも有効となる。
　以下、本開示の実施形態１に係る熱異常通知装置１０の機能ブロックについて、図５を参照して説明する。図５に示すように、熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、履歴取得手段の一例である宅内情報取得部１５と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７と、通知手段及び通知部の一例である通信部１８と、制御部１９とを備える。なお、図５に示す機能ブロックは、例えば、ＣＰＵ（Central Processing Unit）が、ＲＡＭ（Random Access Memory）をワークメモリとして用い、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。
　熱画像取得部１１は、上述した熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。
　学習部１２は、予め学習されたモデルに各種データを追加して学習を行う。例えば、学習部１２は、図６に示すように、データ取得手段の一例であるデータ取得部１２１と、モデル生成手段の一例であるモデル生成部１２２とを含んでいる。また、図６の下部は、学習部１２にて実行される学習フェーズを説明するための図である。
　学習フェーズにおいて、データ取得部１２１は、学習用データＤＴを取得する。ここで学習用データＤＴは、例えば、教師あり学習のデータであり、入力と結果とのデータの組をニューラルネットワークＮＮに入力して学習させることになる。より具体的に、本実施形態１において、学習用データＤＴは、熱画像および危険度情報を互いに関連付けたデータである。
　具体例として、危険度情報は、図７に示すような住居内の状況と、緊急度及び通知範囲とを対応付けた情報である。なお、緊急度は、通知する際の緊急度合いである。また、通知範囲は、通知する際の対象範囲である。
　図６に戻って、モデル生成部１２２は、このような熱画像および危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行う。なお、モデル生成部１２２が用いる学習アルゴリズムは、例えば、教師あり学習、教師無し学習、強化学習等の公知のアルゴリズムを用いることができる。以下、一例として、ニューラルネットワークＮＮを適用した場合について説明する。
　モデル生成部１２２は、ニューラルネットワークＮＮを使用して、いわゆる教師あり学習により、学習済みモデルＬＭを生成する。ニューラルネットワークＮＮは、複数のニューロンからなる入力層、複数のニューロンからなる中間層、及び、複数のニューロンからなる出力層によって形成されている。なお、中間層は、隠れ層ともいい、１層、又は、２層以上であってもよい。
　例えば、図８に示すような３層のニューラルネットワークＮＮであれば、複数の入力が入力層（Ｘ１～Ｘ３）に入力されると、その値に重みＷ１（ｗ１１～ｗ１６）を掛けて中間層（Ｙ１～Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１～ｗ２６）を掛けて出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２のそれぞれの値によって変化する。
　本開示において、ニューラルネットワークＮＮは、データ取得部１２１によって取得された熱画像および上述した図７に示すような危険度情報を互いに関連付けた学習用データＤＴに従って、いわゆる教師あり学習により、ニューラルネットワークＮＮの重みを変化させることで学習させる。
　図６に示すモデル生成部１２２は、以上のような学習フェーズを処理することで学習済みモデルＬＭを生成して出力する。このようにモデル生成部１２２によって出力された学習済みモデルＬＭは、記憶部１３に記憶され、推論部１４にて熱画像を入力した熱異常の推論に使用される。
　図５に戻って、記憶部１３は、熱画像、学習済みモデル、機器の操作データ等の各種データを記憶する。
　推論部１４は、時系列の熱画像と学習済みモデルとから、熱異常を推論する。つまり、推論部１４は、学習済みモデルを利用して得られる熱異常に対応する緊急度及び通知範囲を推論する。すなわち、上述した学習部１２、より詳細には、モデル生成部１２２が生成した学習済みモデルに、熱画像取得部１１で取得した熱画像を入力することで、熱画像から推論される緊急度及び通知範囲を出力することができる。
　なお、本開示において、学習部１２のモデル生成部１２２で学習した学習済みモデルを用いて、緊急度及び通知範囲を出力する場合について説明しているが、他の熱異常通知装置１０といった外部の装置が生成した学習済みモデルを取得し、この学習済みモデルに基づいて緊急度及び通知範囲を出力するようにしてもよい。
　宅内情報取得部１５は、連携機器４０が携帯端末３０と接続した接続履歴、または、ユーザＵからの手動操作を受け付けた操作履歴の少なくとも何れかを連携機器４０から取得する。
　位置推定部１６は、接続履歴、または、操作履歴の少なくとも何れかからユーザＵの位置を推定する。つまり、熱異常通知装置１０は、熱画像センサ２０、若しくは、連携機器４０から接続履歴が送られて来ているかいないか、及び、連携機器４０から手動操作を受け付けた操作履歴が送られて来ているかいないかの少なくとも何れかに基づいて、ユーザＵが住居Ｈ内にいるかいないかを判別する。
　通知手段決定部１７は、上述した推論部１４が、時系列の熱画像と学習済みモデルとから推論した、熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。例えば、緊急度が「低」で通知範囲が「狭」と推論された場合に、通知手段決定部１７は、通知対象を同居家族内に決定し、通知方法を電子メール若しくはＳＮＳ（Social networking service）に決定する。また、緊急度が「高」で通知範囲が「広」と推論された場合に、通知手段決定部１７は、通知対象を病院、民間セキュリティ会社に決定し、通知方法をポップアップ表示、プッシュ通知、アラーム、電話に決定する。
　通信部１８は、例えば、各種の通信モジュールであり、例えば、上述した通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。
　制御部１９は、熱異常通知装置１０全体の制御を行う。例えば、学習部１２にて学習フェーズを処理させる場合に、制御部１９は、上述した図６に示すように、データ取得部１２１、及び、モデル生成部１２２を制御して、学習用データＤＴによる学習を実行させ、学習済みモデルＬＭを生成させる。
　以下、このようなブロック構成の実施形態１に係る熱異常通知装置１０が、時系列の熱画像と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図９を参照して説明する。
　熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。続いて、推論部１４は、熱画像取得部１１が取得した時系列の熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。
　また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、熱異常をユーザＵを含む通知対象に通知する。
　以下、このような構成の熱異常通知装置１０の動作について、図１０、及び、図１１を参照して説明する。図１０は、本開示の実施形態１に係る学習処理の一例を示すフローチャートである。また、図１１は、本開示の実施形態１に係る熱異常通知処理の一例を示すフローチャートである。
　最初に、図１０の学習処理について説明する。この学習処理は、学習済みモデルを生成する際に、上述した図６に示すような学習部１２にて実行される。
　まず、学習部１２は、学習用データＤＴを取得する（ステップＳ１１）。すなわち、データ取得部１２１は、熱画像及び危険度情報を互いに関連付けた学習用データＤＴを取得する。この危険度情報は、例えば、図７に示すような住居内の状況と、緊急度及び通知範囲とを対応付けた情報である。
　なお、このステップＳ１１において、データ取得部１２１が、熱画像および危険度情報を同時に取得するものとしたが、熱画像及び危険度情報を関連付けて入力できれば良く、熱画像、及び、危険度情報をそれぞれ別のタイミングで取得するようにしてもよい。また、ステップＳ１１において、携帯端末３０を所持するユーザＵの位置情報を取得してもよい。
　学習部１２は、学習処理を実行する（ステップＳ１２）。すなわち、モデル生成部１２２は、データ取得部１２１によって取得される熱画像及び危険度情報を互いに関連付けた学習用データＤＴに従って、いわゆる教師あり学習により、ニューラルネットワークＮＮを学習させ、学習済みモデルＬＭを生成する。
　学習部１２は、学習済みモデルＬＭを記憶する（ステップＳ１３）。すなわち、モデル生成部１２２は、上記のステップＳ１２にて生成した学習済みモデルＬＭを記憶部１３に記憶させる。
　続いて、図１１の熱異常通知処理について説明する。この熱異常通知処理は、学習済みモデルが記憶部１３に記憶された後に、上述した図９に示すような構成を使用した熱異常通知装置１０にて実行される。
　まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。なお、このステップＳ２１が、熱画像取得ステップの一例である。
　推論部１４は、記憶部１３に記憶された学習済みモデルに熱画像を入力し、緊急度及び通知範囲を得る（ステップＳ２２）。つまり、推論部１４は、上記のステップＳ２１にて取得した時系列の熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。なお、このステップＳ２２が、推論ステップの一例である。
　推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。
　通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。なお、このステップＳ２４が、決定ステップの一例である。
　通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。なお、このステップＳ２５が、通知ステップの一例である。
　この結果、熱画像、及び、学習済みモデルを活用して、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。
（実施形態１の変形例）
　上記の実施形態１に係る熱異常通知装置１０では、熱画像を学習済みモデルに入力して、緊急度及び通知範囲を推論する例について説明したが、位置推定部１６が推定したユーザＵの位置を示す位置推定情報を学習済みモデルに更に入力して、緊急度及び通知範囲を推論するようにしてもよい。
　以下、実施形態１の変形例に係る熱異常通知装置１０について説明する。熱異常通知システム１の全体構成は、図１と同じである。熱異常通知装置１０の機能ブロック構成は、図５と同じである。推論部１４は、熱画像取得部１１が取得した時系列の熱画像と位置推定部１６が推定したユーザＵの位置を示す位置推定情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。ユーザＵの位置推定情報を更に利用することにより、住居Ｈ内に人がいるかどうかの推定精度を高めることができる。これにより、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができる。
（実施形態２）
　上記の実施形態１に係る熱異常通知装置１０では、熱画像だけを学習済みモデルに入力して、緊急度及び通知範囲を推論する場合について説明したが、熱画像及び機器状態情報を学習済みモデルに入力して、緊急度及び通知範囲を推論するようにしてもよい。
　以下、熱画像及び機器状態情報を学習済みモデルに入力して、緊急度及び通知範囲を含む危険度情報を推論することを特徴とする本開示の実施形態２に係る熱異常通知装置１０について説明する。なお、熱異常通知システム１の全体構成は、図１と同じである。
　図１２は、本開示の実施形態２に係る熱異常通知装置１０の機能ブロックを示す図である。図１２に示す熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、機器状態情報取得手段の一例である機器状態情報取得部５１と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７、通知手段の一例である通信部１８と、制御部１９と、を備える。つまり、図１２に示す熱異常通知装置１０は、上述した図５に示す実施形態１に係る熱異常通知装置１０の宅内情報取得部１５に代えて、機器状態情報取得部５１を備えた構成となっている。なお、図１２に示す熱異常通知装置１０において、宅内情報取得部１５を残し、宅内情報取得部１５と機器状態情報取得部５１とを共存させるようにしてもよい。
　機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。
　なお、図１２に示す熱異常通知装置１０において、学習部１２は、熱画像、機器状態情報、および、危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行っている。その際、図１３に示すような危険度情報を用いてもよい。この図１３に示す危険度情報は、上述した図７の危険度情報よりも、「住居内の状況」における機器を具体的に規定している。この場合も、上述した図６に示すように、モデル生成部１２２は、熱画像、機器状態情報、および、危険度情報を互いに関連付けた学習用データＤＴを用いて学習を行って学習済みモデルＬＭを生成して出力する。そして、モデル生成部１２２によって出力された学習済みモデルＬＭは、記憶部１３に記憶され、推論部１４にて熱画像及び機器状態情報を入力した熱異常の推論に使用される。
　以下、このようなブロック構成の実施形態２に係る熱異常通知装置１０が、時系列の熱画像と機器状態情報と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図１４を参照して説明する。
　熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。一方、機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。続いて、推論部１４は、熱画像取得部１１が取得した時系列の熱画像と機器状態情報取得部５１が取得した機器状態情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。
　また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、ユーザＵを含む通知対象に熱異常を通知する。
　以下、このような構成の熱異常通知装置１０の動作について、図１５を参照して説明する。図１５は、本開示の実施形態２に係る熱異常通知処理の一例を示すフローチャートである。
　まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。
　機器状態情報取得部５１は、機器状態情報を取得する（ステップＳ３１）。つまり、機器状態情報取得部５１は、住居Ｈ内に設置されている連携機器４０から、機器状態情報を取得する。なお、機器状態情報は、一例として、連携機器４０の機器状態情報である。
　推論部１４は、記憶部１３に記憶された学習済みモデルに、熱画像及び機器状態情報を入力し、緊急度及び通知範囲を得る（ステップＳ３２）。つまり、推論部１４は、上記のステップＳ２１にて取得した時系列の熱画像と、上記のステップＳ３１にて取得した機器状態情報とを、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。例えば、高温状態の機器の熱源がアイロンやコンロといった特定の機器であるか、機器の状態によらない熱源かを、緊急度及び通知範囲の推論処理に反映することができる。
　推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。
　通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。
　通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。
　この結果、熱画像の他に熱異常に影響を与える連携機器４０の機器状態情報を推論に利用することにより、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができ、より多種類の熱異常を適切なユーザへ適切な通知方法にて通知することができる。
（実施形態３）
　上記の実施形態１，２に係る熱異常通知装置１０では、熱画像センサ２０から取得した熱画像をそのまま学習済みモデルに入力する場合について説明したが、熱画像を正規化した後に、学習済みモデルに入力するようにしてもよい。
　以下、熱画像センサ２０から取得した熱画像を正規化した後に、学習済みモデルに入力することを特徴とする本開示の実施形態３に係る熱異常通知装置１０について説明する。なお、熱異常通知システム１の全体構成は、図１と同じである。
　図１６は、本開示の実施形態３に係る熱異常通知装置１０の機能ブロックを示す図である。図１６に示す熱異常通知装置１０は、熱画像取得手段の一例である熱画像取得部１１と、学習部１２と、記憶部１３と、推論手段の一例である推論部１４と、正規化手段の一例である正規化部６１と、位置推定手段の一例である位置推定部１６と、決定手段の一例である通知手段決定部１７、通知手段の一例である通信部１８と、制御部１９と、を備える。つまり、図１６に示す熱異常通知装置１０は、上述した図５に示す実施形態１に係る熱異常通知装置１０の宅内情報取得部１５に代えて、正規化部６１を備えた構成となっている。なお、図１６に示す熱異常通知装置１０において、宅内情報取得部１５を残し、宅内情報取得部１５と正規化部６１とを共存させるようにしてもよい。
　正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。具体的には、３５℃～４０℃といった人体の体温が取り得る温度帯の精度を細かく、それ以外の温度帯の精度を粗くする。または、６０℃以上、といった、明らかに熱異常であり、緊急度が高くないと判断する余地がないとされる温度帯では、温度範囲内の精度を粗くして、通知精度を確保する。
　以下、このようなブロック構成の実施形態３に係る熱異常通知装置１０が、時系列の熱画像と学習済みモデルとを活用して、熱異常を適切な通知対象へ適切な通知方法にて通知する活用フェーズについて、図１７を参照して説明する。
　熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。そして、正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。続いて、推論部１４は、正規化部６１が正規化した熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。
　また、通知手段決定部１７は、推論部１４が推論した熱異常に対応する緊急度及び通知範囲に基づいて、通知対象とその通知方法を決定する。続いて、通信部１８は、通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。例えば、通信部１８は、携帯端末３０、若しくは、連携機器４０に熱異常通知を送信して、ユーザＵを含む通知対象に熱異常を通知する。
　以下、このような構成の熱異常通知装置１０の動作について、図１８を参照して説明する。図１８は、本開示の実施形態３に係る熱異常通知処理の一例を示すフローチャートである。
　まず、熱画像取得部１１は、熱画像を取得する（ステップＳ２１）。つまり、熱画像取得部１１は、熱画像センサ２０によって時系列に撮影された熱画像を順次取得する。
　正規化部６１は、熱画像を正規化する（ステップＳ４１）。つまり、正規化部６１は、熱画像センサ２０から取得した熱画像を適宜前処理して正規化する。例えば、正規化６１は、熱画像センサ２０のレンジを広くしたり、逆に狭くしたりして、熱画像を正規化する。
　推論部１４は、記憶部１３に記憶された学習済みモデルに、熱画像を入力し、緊急度及び通知範囲を得る（ステップＳ２２）。つまり、推論部１４は、上記のステップＳ４１にて正規化した熱画像を、記憶部１３に記憶された学習済みモデルを用いて演算することで、熱異常に対応する緊急度及び通知範囲を推論する。
　推論部１４は、推論結果を出力する（ステップＳ２３）。つまり、推論部１４は、推論により得られた緊急度及び通知範囲を通知手段決定部１７に出力する。
　通知手段決定部１７は、緊急度及び通知範囲に基づいて、通知対象と通知方法とを決定する（ステップＳ２４）。つまり、通知手段決定部１７は、上記のステップＳ２３にて推論部１４から出力された緊急度及び通知範囲に基づいて、適切な通知対象と通知方法とを決定する。
　通信部１８は、熱異常を通知する（ステップＳ２５）。つまり、通信部１８は、上記のステップＳ２４にて通知手段決定部１７が決定した通知対象に向けて、通知手段決定部１７が決定した通信方法にて、熱異常を通知する。
　この結果、特定の温度帯の精度を高くしたり、低くしたりするように正規化した熱画像を活用して、熱異常に対応する緊急度及び通知範囲の推定精度を高めることができ、熱異常を適切なユーザへ適切な通知方法にて通知することができる。
（他の実施形態）
　上記の実施形態１～３では、上述した図２，３に示すように、熱異常通知装置１０がネットワーク８０上に構築されたサーバ装置により実現されている場合について説明したが、熱異常通知装置１０も住居Ｈ内に設置されていてもよい。
　以下、熱異常通知装置１０についても、住居Ｈ内に設置されていることを特徴とする他の実施形態に係る熱異常通知システム１について、図１９を参照して説明する。この図１９に示すように、ユーザＵが居住する住居Ｈ内に、熱異常通知装置１０、熱画像センサ２０、及び、連携機器４０が設置されている。なお、住居Ｈ内において、熱異常通知装置１０、熱画像センサ２０、携帯端末３０、及び、連携機器４０は、一例として、無線ＬＡＮに代表されるネットワーク９０を介して通信可能に接続されている。
　この場合も、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することができる。
　また、上記の実施形態において、熱異常通知装置１０によって実行されるプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＤＶＤ（Digital Versatile Disc），ＭＯ（Magneto-Optical Disk），ＵＳＢメモリ，メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態における熱異常通知装置１０として機能させることも可能である。
　また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
　本開示は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能である。また、上述した実施形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
　本開示は、より多種類の熱異常を検知可能とし、検知した熱異常を適切なユーザへ適切な通知方法にて通知することのできる熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラムに好適に採用され得る。
　１　熱異常通知システム、１０　熱異常通知装置、１１　熱画像取得部、１２　学習部、１２１　データ取得部、１２２　モデル生成部、１３　記憶部、１４　推論部、１５　宅内情報取得部、１６　位置推定部、１７　通知手段決定部、１８　通信部、１９　制御部、５１　機器状態情報取得部、６１　正規化部、２０　熱画像センサ、３０　携帯端末、４０　連携機器、８０，９０　ネットワーク

Claims (8)

  1. 　住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
    　前記熱画像取得手段により取得された前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
    　前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定手段と、
    　前記決定手段が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、
    　を備える熱異常通知装置。
  2. 　前記住居内に設置されている連携機器から、前記ユーザが所持する携帯端末との接続履歴、若しくは、前記ユーザによる前記連携機器の操作履歴を取得する履歴取得手段と、
    　前記履歴取得手段が取得した前記接続履歴、若しくは、前記操作履歴に基づいて、前記ユーザが前記住居内、及び、前記住居外の何れに位置するかを推定する位置推定手段と、を更に備える、
    　請求項１に記載の熱異常通知装置。
  3. 　前記住居内に設置されている連携機器から、前記連携機器の機器状態情報を取得する機器状態情報取得手段を更に備え、
    　前記推論手段は、前記機器状態情報取得手段により取得された前記機器状態情報を、前記熱画像取得手段により取得された前記熱画像と共に、前記学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する、
    　請求項１に記載の熱異常通知装置。
  4. 　前記熱画像取得手段により取得された前記熱画像を正規化する正規化手段を更に備え、
    　前記推論手段は、前記正規化手段により正規化された前記熱画像を、前記学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する、
    　請求項１から３の何れか１項に記載の熱異常通知装置。
  5. 　住居内を時系列に撮影した熱画像と、前記熱画像に対応する緊急度及び通知範囲とを含む学習用データを取得するデータ取得手段と、
     　前記学習用データを用いて、熱異常を推論するための学習済みモデルを生成するモデル生成手段と、
    　を備える熱異常通知装置。
  6. 　ユーザが所持する携帯端末と、住居内に設置された熱画像センサと、熱異常通知装置とがネットワークを介して通信可能に接続された熱異常通知システムであって、
    　前記熱異常通知装置は、
    　前記熱画像センサが前記住居内を時系列に撮影した熱画像を取得する熱画像取得手段と、
    　前記熱画像取得手段により取得された前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論手段と、
    　前記推論手段が推論した前記緊急度及び前記通知範囲に従って、通知対象となる前記ユーザ及び前記ユーザへの通知方法を決定する決定手段と、
    　前記決定手段が決定した前記ユーザの前記携帯端末に対し、前記通知方法を用いて、前記熱異常を通知する通知手段と、を備える、
    　熱異常通知システム。
  7. 　熱異常通知装置が実行する熱異常通知であって、
    　住居内を時系列に撮影した熱画像を取得する熱画像取得ステップと、
    　前記熱画像取得ステップにて取得された前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論ステップと、
    　前記推論ステップにて推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定ステップと、
    　前記決定ステップにて決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知ステップと、
    　を備える熱異常通知方法。
  8. 　コンピュータを、
    　住居内を時系列に撮影した熱画像を取得する熱画像取得部、
    　前記熱画像取得部により取得された前記熱画像を、熱異常を推論するための学習を行った学習済みモデルに入力して、前記熱異常に対応する緊急度及び通知範囲を推論する推論部、
    　前記推論部が推論した前記緊急度及び前記通知範囲に従って、通知対象となるユーザ及び当該ユーザへの通知方法を決定する決定部、
    　前記決定部が決定した前記ユーザに対し、前記通知方法を用いて、前記熱異常を通知する通知部、
    　として機能させるプログラム。
PCT/JP2021/026646 2021-07-15 2021-07-15 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム WO2023286248A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/026646 WO2023286248A1 (ja) 2021-07-15 2021-07-15 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム
JP2023534549A JPWO2023286248A1 (ja) 2021-07-15 2021-07-15

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/026646 WO2023286248A1 (ja) 2021-07-15 2021-07-15 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム

Publications (1)

Publication Number Publication Date
WO2023286248A1 true WO2023286248A1 (ja) 2023-01-19

Family

ID=84918963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026646 WO2023286248A1 (ja) 2021-07-15 2021-07-15 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム

Country Status (2)

Country Link
JP (1) JPWO2023286248A1 (ja)
WO (1) WO2023286248A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027523A (ja) * 2007-07-20 2009-02-05 Toshiba Corp 遠隔監視制御装置
JP2012088855A (ja) * 2010-10-18 2012-05-10 Nec Computertechno Ltd イベント発生通知装置、イベント発生通知方法、イベント発生通知プログラム
JP2017018379A (ja) * 2015-07-10 2017-01-26 パラマウントベッド株式会社 患者状態通報装置、患者状態通報装置における通報方法及びプログラム
JP2020519847A (ja) * 2017-04-11 2020-07-02 ハンソン エスティー（セキュリティー テクノロジー）インコーポレイテッド 赤外線熱画像を用いた知能型火花検出装置及び方法
WO2020145130A1 (ja) * 2019-01-11 2020-07-16 Ｔｄｌ株式会社 見守りシステム、見守り方法及びプログラム。
WO2020218409A1 (ja) * 2019-04-25 2020-10-29 株式会社クロスエッジラボ 感熱式撮像装置、感熱式撮像装置を用いた見守り監視システムおよび感熱式撮像装置を用いた見守り監視方法
JP2021064113A (ja) * 2019-10-11 2021-04-22 東邦瓦斯株式会社 ガス警報システム
JP2021087103A (ja) * 2019-11-27 2021-06-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027523A (ja) * 2007-07-20 2009-02-05 Toshiba Corp 遠隔監視制御装置
JP2012088855A (ja) * 2010-10-18 2012-05-10 Nec Computertechno Ltd イベント発生通知装置、イベント発生通知方法、イベント発生通知プログラム
JP2017018379A (ja) * 2015-07-10 2017-01-26 パラマウントベッド株式会社 患者状態通報装置、患者状態通報装置における通報方法及びプログラム
JP2020519847A (ja) * 2017-04-11 2020-07-02 ハンソン エスティー（セキュリティー テクノロジー）インコーポレイテッド 赤外線熱画像を用いた知能型火花検出装置及び方法
WO2020145130A1 (ja) * 2019-01-11 2020-07-16 Ｔｄｌ株式会社 見守りシステム、見守り方法及びプログラム。
WO2020218409A1 (ja) * 2019-04-25 2020-10-29 株式会社クロスエッジラボ 感熱式撮像装置、感熱式撮像装置を用いた見守り監視システムおよび感熱式撮像装置を用いた見守り監視方法
JP2021064113A (ja) * 2019-10-11 2021-04-22 東邦瓦斯株式会社 ガス警報システム
JP2021087103A (ja) * 2019-11-27 2021-06-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2023286248A1 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
US10685522B2 (en) Systems and methods for anticipatory locking and unlocking of a smart-sensor door lock
US11543786B2 (en) Inference server and environment controller for inferring via a neural network one or more commands for controlling an appliance
US11353218B2 (en) Integrated management method and system for kitchen environment using artificial intelligence
US9437097B2 (en) Systems and methods for using robots to monitor environmental conditions in an environment
US20180293367A1 (en) Multi-Factor Authentication via Network-Connected Devices
US10610057B1 (en) User notification of smart cookware handle temperature
US20190278242A1 (en) Training server and method for generating a predictive model for controlling an appliance
JP5528531B1 (ja) 制御システム、制御方法及びプログラム
KR20150005746A (ko) 가전 원격 제어 방법 및 장치
US11505892B1 (en) Appliance monitoring sensors
US11493222B2 (en) Advanced monitoring of an HVAC system
CN107293082A (zh) 智能家居检测燃气使用安全报警的方法及设备
EP4029417A1 (en) Method for controlling cooker by using artificial intelligence and system therefor
CN109426191A (zh) 烹饪器具及其数据处理方法和系统、存储介质及处理器
WO2023286248A1 (ja) 熱異常通知装置、熱異常通知システム、熱異常通知方法、および、プログラム
JP6277305B1 (ja) 見守り装置及びこれを備えた見守りシステム並びに見守り方法
CN110989430A (zh) 一种智能家居联动方法、系统和可读存储介质
KR20150107005A (ko) 안전 생활 지원 장치 및 방법
JP6745928B2 (ja) 火力制御システムおよび火力制御方法
JP2013037600A (ja) 建物設備制御システム
JP2015154419A (ja) 制御装置、制御プログラム、制御方法、制御システム
JP2017126863A (ja) 機器の遠隔操作システム
JP2015049750A (ja) 監視装置、監視システムおよび監視プログラム
JP6866838B2 (ja) データ生成装置、データ生成方法、データ生成プログラムおよびセンサ装置
JP6866836B2 (ja) データ生成装置、データ生成方法、データ生成プログラムおよびセンサ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950187

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023534549

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE