WO2023026750A1 - 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム - Google Patents

遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム Download PDF

Info

Publication number
WO2023026750A1
WO2023026750A1 PCT/JP2022/028866 JP2022028866W WO2023026750A1 WO 2023026750 A1 WO2023026750 A1 WO 2023026750A1 JP 2022028866 W JP2022028866 W JP 2022028866W WO 2023026750 A1 WO2023026750 A1 WO 2023026750A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
information
unit
monitoring target
estimated
Prior art date
Application number
PCT/JP2022/028866
Other languages
English (en)
French (fr)
Inventor
賢太郎 飯尾
琢士 平本
達海 大庭
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN202280055789.3A priority Critical patent/CN117813810A/zh
Priority to JP2023543758A priority patent/JPWO2023026750A1/ja
Publication of WO2023026750A1 publication Critical patent/WO2023026750A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/02—Monitoring continuously signalling or alarm systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present disclosure relates to a remote monitoring system, an anomaly detection system, a remote monitoring method, and a program.
  • Patent Document 1 it is not possible to detect that the attacker has tampered with the state of the monitoring target such as a robot when the surrounding information is also tampered with by the attacker.
  • the present disclosure provides a remote monitoring system, an anomaly detection system, a remote monitoring method, and a program that can detect that an attacker has tampered with the state of a monitoring target even if peripheral information has been tampered with by the attacker. do.
  • a remote monitoring system is a remote monitoring system that detects an abnormality in the state of a monitoring target that operates autonomously, and includes a first acquisition that acquires state information indicating the state of the monitoring target from the monitoring target. a second acquisition unit that acquires first sensing information indicating a sensing result of the monitoring target from a first sensing device that is provided outside the monitoring target and that senses the monitoring target; a state estimating unit that estimates a first state, which is the state of the monitoring target, based on the acquired first sensing information; the state information acquired by the first acquiring unit; and the state information estimated by the state estimating unit.
  • a state comparison unit that compares estimated state information based on the first state of the monitored object, and a notification unit that notifies a supervisor of the remote monitoring system that an abnormality has occurred based on the comparison result of the state comparison unit.
  • An anomaly detection system is an anomaly detection system that detects an anomaly in the state of a monitoring target that operates autonomously, and includes a first acquisition for acquiring state information indicating a state of the monitoring target from the monitoring target. a second acquisition unit that acquires sensing information indicating a sensing result of the monitoring target from a sensing device that is provided outside the monitoring target and that senses the monitoring target; and the sensing acquired by the second acquisition unit. a state estimation unit for estimating the state of the monitoring target based on information; the state information acquired by the first acquisition unit; and estimated state information based on the state of the monitoring target estimated by the state estimation unit. and a state comparison unit that compares the
  • a remote monitoring method is a remote monitoring method for detecting an abnormality in the state of an autonomously operating monitoring target, which acquires state information indicating the state of the monitoring target from the monitoring target, obtaining sensing information indicating a sensing result of the monitoring target from a sensing device that senses the monitoring target provided outside the target, and estimating the state of the monitoring target based on the obtained sensing information;
  • the acquired state information is compared with estimated state information based on the estimated state of the monitored object, and based on the comparison result between the state information and the estimated state information, a monitor of the remote monitoring system is notified Notifies that an error has occurred.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute the remote monitoring method described above.
  • the remote monitoring system and the like it is possible to detect that the attacker has tampered with the state of the monitoring target even if the peripheral information has been tampered with.
  • FIG. 1 is a diagram showing the configuration of a monitoring system according to Embodiment 1.
  • FIG. FIG. 2 is a block diagram showing the functional configuration of the anomaly detection system according to Embodiment 1.
  • FIG. 3 is a block diagram showing a functional configuration of the state estimator learning system according to Embodiment 1.
  • FIG. 4 is a flowchart showing learning processing in the state estimating unit learning system according to Embodiment 1.
  • FIG. 5 is a diagram showing an example of an environment information table managed by an environment management unit of the state estimation unit learning system according to Embodiment 1.
  • FIG. 6A is a flowchart showing processing of the remote monitoring system according to Embodiment 1.
  • FIG. 6B is a flowchart showing processing of a state selection unit according to Embodiment 1.
  • FIG. 7 is a block diagram showing the functional configuration of an anomaly detection system according to Embodiment 2.
  • FIG. 8 is a diagram showing an example of an environment information table managed by the environment management unit of the anomaly detection system according to the second embodiment.
  • FIG. 9 is a block diagram showing the functional configuration of an anomaly detection system according to Embodiment 3.
  • FIG. 10 is a diagram showing an example of an environment information table managed by the environment management unit of the anomaly detection system according to the third embodiment.
  • FIG. 11 is a block diagram showing the functional configuration of an anomaly detection system according to Embodiment 4.
  • FIG. FIG. 12 is a diagram showing an example of an environment information table managed by the environment management unit of the anomaly detection system according to the fourth embodiment.
  • a remote monitoring system In order to prevent such damage, it is being considered to have a remote monitoring system communicate with the robot and monitor the robot for any abnormalities. However, if an attacker not only tampered with the state of the robot notified to the remote monitoring system but also tampered with the surrounding information, the remote monitoring system would not be able to detect that the state of the robot had been tampered with.
  • the state of the robot is, for example, the position of the robot, but is not limited to this.
  • the inventors of the present application have made intensive studies on a remote monitoring system that can detect that an attacker has tampered with the state of a monitoring target such as a robot, even if the surrounding information has been tampered with by the attacker.
  • He invented a remote monitoring system, etc. which will be described below.
  • information obtained by sensing the monitored object from an external information source (external information source) independent of the monitored object is acquired, and the state of the monitored object estimated from the information and the monitoring of the robot etc.
  • an external information source external information source
  • the monitor of the alert can minimize the damage by taking necessary measures early.
  • a remote monitoring system is a remote monitoring system that detects an abnormality in the state of a monitoring target that operates autonomously, and includes a first acquisition that acquires state information indicating the state of the monitoring target from the monitoring target. a second acquisition unit that acquires first sensing information indicating a sensing result of the monitoring target from a first sensing device that is provided outside the monitoring target and that senses the monitoring target; a state estimating unit that estimates a first state, which is the state of the monitoring target, based on the acquired first sensing information; the state information acquired by the first acquiring unit; and the state information estimated by the state estimating unit.
  • a state comparison unit that compares estimated state information based on the first state of the monitored object, and a notification unit that notifies a supervisor of the remote monitoring system that an abnormality has occurred based on the comparison result of the state comparison unit.
  • the remote monitoring system can use the first sensing information from the first sensing device provided outside the monitored object to detect an abnormality in the status information (falsification of the status information) from the monitored object.
  • the remote monitoring system can detect abnormalities without using peripheral information obtained from an in-vehicle camera or the like provided on the monitored object.
  • the first sensing information is information that has not been tampered with by an attacker. Therefore, according to the remote monitoring system, even if the peripheral information is tampered with by the attacker, it is possible to detect that the attacker has tampered with the state of the monitored object.
  • the second acquisition unit obtains second sensing information different from the first sensing information indicating a sensing result of the monitoring target from a second sensing device that senses the monitoring target provided outside the monitoring target. Furthermore, sensing information is acquired, and the state estimation unit estimates a second state, which is the state of the monitoring target, based on the second sensing information acquired by the second acquisition unit, and the estimated state information is Further, the information based on the second state may be used.
  • the remote monitoring system can use two pieces of sensing information to detect anomalies in the monitored object, so that detection can be performed more accurately than when using one piece of sensing information.
  • an environment management unit that manages environment information in which the environment when the monitoring target is sensed and the estimation accuracy of the state estimated by the state estimation unit are associated with each other;
  • a state determination unit that determines one state from the first state and the second state using the environment information to be managed and outputs the determined state as the estimated state information.
  • the remote monitoring system can detect anomalies in the monitored object using the first state and the second state, so that the detection can be performed more accurately than in the case of using one estimated state. .
  • the state determination unit may use the environment information to select one of the first state and the second state, and output the selected one as the estimated state information.
  • the remote monitoring system can detect more accurately by selecting the state with the highest estimation accuracy.
  • the state determination unit may use the environment information to weight the first state and the second state, and output the weighted state as the estimated state information.
  • the remote monitoring system uses the weighted states, so both the first state and the second state can be taken into consideration, and detection can be performed more accurately.
  • the first acquisition unit acquires the current position of the monitoring target as the state
  • the state estimation unit estimates the current position of the monitoring target as the first state and the second state.
  • the environment information may include estimation accuracy of the first state and the second state for each time.
  • the remote monitoring system can detect anomalies in the location of the monitoring target (location tampering) even if the location information has been tampered with by an attacker.
  • the monitored object may be a robot
  • the first sensing device may include a fixed camera
  • the second sensing device may include a fixed microphone
  • the remote monitoring system can effectively detect anomalies in the robot's position by using fixed cameras and fixed microphones as sensing devices.
  • the monitoring target may be a robot that performs security work
  • the first sensing device may include a fixed camera
  • the second sensing device may include an illuminance sensor
  • the remote monitoring system can effectively detect anomalies in the position of the robots that perform security work by using fixed cameras and illuminance sensors as sensing devices.
  • the monitoring target may be a robot that performs cleaning work
  • the first sensing device may include a fixed camera
  • the second sensing device may include a dust sensor
  • the remote monitoring system can effectively detect abnormalities in the position of the cleaning robot by using the fixed camera and dust sensor as sensing devices.
  • the A state learning unit that calculates information indicating the estimation accuracy of at least one of the first state and the second state and outputs information indicating the calculated estimation accuracy to the state estimation unit and the environment management unit. good.
  • the state learning unit can update the environment information and the machine learning model used by the state estimating unit.
  • the environment management unit may determine the estimation accuracy of the state estimated by the state estimation unit based on the information indicating the estimation accuracy acquired from the state learning unit.
  • the environment information managed by the environment management unit can be updated according to the update of the state estimation unit. Therefore, in the remote monitoring system, even when the state estimation unit is updated, the state selection unit can select a state in consideration of the update. This contributes to accurately detecting that an attacker has tampered with the monitored state.
  • the state learning unit may output information indicating the calculated estimation accuracy to the state estimation unit and the environment management unit before starting operation of the monitoring target.
  • the state learning unit performs learning processing before the monitoring target is put into operation, so the remote monitoring system can detect that an attacker has tampered with the state of the monitoring target during operation.
  • the state learning unit may output information indicating the calculated estimation accuracy to the state estimation unit and the environment management unit during operation of the monitoring target.
  • the state learning unit performs learning processing even during operation of the monitored object, so the estimation accuracy in the state estimation unit is improved.
  • an environment management unit that manages environment information in which the environment when the monitoring target is sensed and the estimation accuracy of the state estimated by the state estimation unit are associated
  • the state comparison unit may compare the state information and the estimated state information based on the environment information.
  • the remote monitoring system can use environmental information for comparison in the state comparison unit.
  • the remote monitoring system can perform comparison according to the environment indicated by the environment information. Therefore, the remote monitoring system can determine abnormality more accurately.
  • an anomaly detection system is an anomaly detection system that detects an anomaly in the state of a monitoring target that operates autonomously, and obtains state information indicating the state of the monitoring target from the monitoring target.
  • a second acquisition unit configured to acquire sensing information indicating a sensing result of the monitoring target from a sensing device provided outside the monitoring target and configured to sense the monitoring target; a state estimating unit that estimates the state of the monitoring target based on the sensing information; an estimated state based on the state information that the first acquiring unit acquires; and the state of the monitoring target that the state estimating unit estimates.
  • a state comparison unit for comparing the information.
  • the anomaly detection system can detect an anomaly in status information (falsification of status information) from a monitored target using sensing information from a sensing device provided outside the monitored target.
  • the anomaly detection system can detect an anomaly without using peripheral information obtained from an in-vehicle camera or the like provided on the object to be monitored.
  • the sensing information is information that has not been tampered with by an attacker. Therefore, according to the anomaly detection system, even if the peripheral information is tampered with by the attacker, it is possible to detect that the attacker has tampered with the state of the monitoring target.
  • a remote monitoring method for detecting an abnormality in the state of a monitoring target that operates autonomously, wherein status information indicating the state of the monitoring target is obtained from the monitoring target, Acquiring sensing information indicating a sensing result of the monitoring target from a sensing device that senses the monitoring target provided outside the monitoring target, and estimating the state of the monitoring target based on the acquired sensing information and comparing the acquired state information with estimated state information based on the estimated state of the monitored object, and monitoring the remote monitoring system based on the comparison result between the state information and the estimated state information Notifies the person that an abnormality has occurred.
  • a program according to an aspect of the present disclosure is a program for causing a computer to execute the above-described remote monitoring method.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Therefore, for example, the scales and the like do not necessarily match in each drawing. Moreover, in each figure, substantially the same configurations are denoted by the same reference numerals, and overlapping descriptions are omitted or simplified.
  • ordinal numbers such as “first” and “second” do not mean the number or order of components, unless otherwise specified. It is used for the purpose of
  • FIG. 1 is a diagram showing the configuration of a monitoring system 100 according to this embodiment.
  • the monitoring system 100 includes a remote monitoring system 101, a monitored object 102, external information sources 103a and 103b, a network 104, and a state estimator learning system 300.
  • the remote monitoring system 101 is an information processing system for detecting an abnormality in the state of a remote autonomously operating monitoring target 102 .
  • Remote monitoring system 101 is connected via network 104 to monitored object 102 and external information sources 103a and 103b, respectively.
  • the remote monitoring system 101 uses sensing information of the monitored object 102 obtained from the external information sources 103a and 103b, respectively, to detect an abnormality in the state of the monitored object 102 notified from the monitored object 102.
  • the information obtained from each of the external information sources 103a and 103b is also referred to as sensing information or estimation information.
  • the monitored object 102 is a robot that operates autonomously, such as a security robot, a home delivery robot, a cleaning robot, etc., but is not limited to these.
  • the monitoring target 102 is equipped with sensors such as a camera, a microphone, an infrared sensor, and an ultrasonic sensor that detect the state of the monitoring target 102 (for example, position information).
  • Information, the state of the monitored object 102 (state information indicating the state of the monitored object 102 ) such as position information estimated using a sensor, is transmitted to the remote monitoring system 101 via the network 104 .
  • the robot is, for example, a wheel type, crawler type or leg type (including walking type) robot.
  • the monitored object 102 is not limited to a robot as long as it is a mobile body that operates autonomously.
  • the object to be monitored 102 may be, for example, a moving object that moves autonomously (for example, a vehicle that travels autonomously), an flying object that autonomously flies (for example, a drone), or the like.
  • the monitored object 102 may be a device in which a part (for example, an arm) of each component of the monitored object 102 is moving (only a part of each component is moving without moving). .
  • Autonomous movement, autonomous travel, and autonomous flight are examples of autonomous operations.
  • the state of the monitored object 102 is, for example, the current position (current position coordinates) of the monitored object 102. For example, whether or not the monitored object 102 is operating, or whether the function of the monitored object 102 itself is operating. It may be whether or not there is (for example, whether or not the user is currently cleaning).
  • the movement of the monitored object 102 includes movement of the monitored object 102 (change in current position) and movement of a part of each component (for example, an arm) of the monitored object 102 (current position is changed). only a part of each component is moving without changing).
  • the external information sources 103a and 103b are devices for detecting the state of the monitored object 102 respectively.
  • the external information sources 103a and 103b are installed at positions where the state of the monitored object 102 can be detected, and are cameras, microphones, various sensors such as an illuminance sensor, clocks, and the like.
  • External information sources 103a and 103b transmit information such as video information captured by a camera, audio information picked up by a microphone, sensor values obtained by various sensors, or time information via a network 104 to the remote monitoring system 101. Send to The external information sources 103 a and 103 b transmit the information to the remote monitoring system 101 without going through the monitored object 102 .
  • the external information sources 103 a and 103 b are provided outside the monitored target 102 and sense the monitored target 102 .
  • the external information sources 103a and 103b are, for example, devices that cannot communicate with the monitored object 102.
  • the external information sources 103a, 103b may be fixed or movable, for example.
  • the external information sources 103a and 103b are examples of sensing devices that sense the monitored object 102, and video information, audio information, sensor values, time information, etc. are examples of sensing information obtained by sensing.
  • the sensor value is, for example, a measured value of a dust sensor, but is not limited to this.
  • the external information sources 103a and 103b may be devices installed in advance in the space where the monitored object 102 is used, or may be devices dedicated to the remote monitoring system 101. Also, in the present embodiment, the monitoring system 100 only needs to have at least two external information sources.
  • the network 104 is a communication network, and may be a closed network or the Internet depending on how the monitored object 102 and the external information sources 103a and 103b operate.
  • the anomaly detection system 200 uses information acquired from the external information sources 103a and 103b to detect anomalies in the state of the monitored target 102 notified from the monitored target 102.
  • the state estimator learning system 300 uses the state notified from the monitored object 102 and the information acquired from the external information sources 103a and 103b to perform learning for improving the state estimation accuracy of the state estimator 303. .
  • the state estimator learning system 300 may exist within the remote monitoring system 101 .
  • the remote monitoring system 101 may have some or all of the functions of the state estimator learning system 300 .
  • FIG. 2 is a block diagram showing the functional configuration of the anomaly detection system 200 according to this embodiment.
  • the anomaly detection system 200 includes a state acquisition unit 201, information acquisition units 202a and 202b, state estimation units 203a and 203b, an environment management unit 204, a state selection unit 205, and an alert notification unit. 206 and a state comparison unit 207 .
  • the status acquisition unit 201 receives status information indicating the status of the monitoring target 102 transmitted by the monitoring target 102 .
  • the state acquisition unit 201 acquires the current position of the monitored target 102 as the state of the monitored target 102 .
  • the state acquisition unit 201 includes, for example, a communication module (communication circuit).
  • State acquisition unit 201 is an example of a first acquisition unit.
  • the information acquisition unit 202a receives information transmitted by the external information source 103a, and the information acquisition unit 202b receives information transmitted by the external information source 103b. Specifically, the information acquisition unit 202a acquires, from the external information source 103a, sensing information (for example, first sensing information) indicating the sensing result of the monitoring target 102 sensed by the external information source 103a, and acquires the information acquisition unit 202a. The 202b acquires sensing information (for example, second sensing information) indicating the sensing result of the monitoring target 102 sensed by the external information source 103b from the external information source 103b.
  • the first sensing information and the second sensing information are different types of sensing information.
  • the information acquisition units 202a and 202b are configured including, for example, communication modules (communication circuits).
  • the information acquisition units 202a and 202b are an example of a second acquisition unit.
  • the state estimation unit 203a estimates the state (an example of the first state) of the monitoring target 102 based on the information acquired by the information acquisition unit 202a, and the state estimation unit 203b estimates the state based on the information acquired by the information acquisition unit 202b. Then, the state (an example of the second state) of the monitored object 102 is estimated. In this embodiment, state estimation section 203a estimates the current position of monitored object 102 as the first state and the second state. Since the sensing information used to estimate the first state and the second state are different types of information, the first state and the second state can be different states (eg, different positions).
  • the information acquired by the information acquisition unit 202a is any one of video information, audio information, sensor values, time information, etc.
  • the information acquired by the information acquisition unit 202b is video information, audio information, sensor It is information other than any one of the value, time information, and the like. That is, the information (first sensing information) acquired by the information acquisition unit 202a and the information (second sensing information) acquired by the information acquisition unit 202b are different types of information.
  • the state estimating unit 203a uses a machine learning model to estimate the first state
  • the state estimating unit 203b uses another machine learning model to estimate the second state.
  • the machine learning model is learned in advance so as to output the state of the monitored object 102 when sensing information is input.
  • the machine learning model used by the state estimation unit 203a and the machine learning model used by the state estimation unit 203b are machine learning models learned using different input information.
  • the environment management unit 204 manages the accuracy of the state estimated by the state estimation units 203a and 203b as environment information (see FIG. 5 described later) for each environment when the state estimation units 203a and 203b estimate the state.
  • the environment information is, for example, information in which the environment when the monitored object 102 is sensed is associated with the estimation accuracy of the state of the monitored object 102 estimated by the state estimation units 203a and 203b.
  • the environment is, for example, the time, but may be the weather, the brightness around the monitored object 102, or the like.
  • the environment information may include estimation accuracy of the first state and the second state for each time.
  • the state selection unit 205 uses environment information managed by the environment management unit 204 to select which of the estimated states of the monitoring target 102 estimated by the state estimation units 203a and 203b.
  • the state selection unit 205 selects one of the first state and the second state using the environment information, and outputs the selected one as an estimated state (estimated state information).
  • the state selection unit 205 is an example of a state determination unit.
  • the state determination unit is not limited to estimating the state of the monitored object 102 by making a selection.
  • the state determination unit may use the environment information to calculate one state from the first state and the second state, and output the calculated one state as the estimated state.
  • the state determination unit may, for example, use the environment information to weight the first state and the second state, and output the weighted state as the estimated state.
  • the state comparison unit 207 compares the state (state information) acquired by the state acquisition unit 201 with the estimated state (estimated state information) acquired from the state selection unit 205 .
  • the estimated state information is information based on at least the first state, and in this embodiment, information based on the first state and the second state.
  • the state comparison unit 207 compares, for example, the state of the monitoring target 102 acquired by the state acquisition unit 201 and the estimated state of the monitoring target 102 selected by the state selection unit 205, and if there is a difference of a predetermined value or more, it is abnormal. It detects that there is, and notifies the alert notification unit 206 of the detection of the abnormality.
  • the alert notification unit 206 alerts (notifies) that an abnormality has occurred to the monitor of the remote monitoring system 101 based on the comparison result of the state comparison unit 207 .
  • the estimation accuracy of the state estimated by the state estimating units 203a and 203b managed by the environment management unit 204 may be specified in advance by an observer or the like, or may be obtained as a result of learning by the state estimating unit learning system 300. may be set using The environment management unit 204 may determine the estimation accuracy of the estimated state estimated by the state estimation units 203a and 203b, for example, based on the information indicating the estimation accuracy acquired from the state learning unit 301 (see FIG. 3). . Determination of the estimation accuracy may be performed using, for example, a table showing the correspondence relationship between the information indicating the estimation accuracy and the estimation accuracy.
  • tampering by an attacker is detected by estimating the state of the robot to be monitored 102 using information (sensing information) from the external information sources 103a, 103b. Further, in the remote monitoring system 101, a state estimated using information from the external information sources 103a, 103b, etc., is selected from a plurality of states according to the environment in which the monitored object 102 operates. , it is possible to maintain high estimation accuracy in various environments.
  • FIG. 3 is a block diagram showing the functional configuration of state estimator learning system 300 according to the present embodiment.
  • FIG. 3 shows a configuration for performing learning processing on one state estimation unit 303 .
  • the external information source 103 is shown for convenience, but the state estimating unit learning system 300 acquires sensing information from each of the external information sources 103a and 103b.
  • the state estimating unit learning system 300 includes a state acquiring unit 201a, an information acquiring unit 202c, a state learning unit 301, an environment managing unit 302, and a state estimating unit 303.
  • the state acquisition unit 201a has the same configuration as the state acquisition unit 201 of the anomaly detection system 200.
  • the state acquisition unit 201 a acquires state information from the monitored object 102 .
  • the information acquisition unit 202c has the same configuration as the information acquisition units 202a and 202b of the anomaly detection system 200.
  • FIG. The information acquisition unit 202 c acquires sensing information from the external information source 103 .
  • State estimating section 303 estimates the state of monitored target 102 from the information of external information source 103 acquired from information acquiring section 202c, and outputs the time when the state of monitored target 102 was estimated and the estimated state to state learning section 301. do.
  • the state learning unit 301 compares the state of the monitoring target 102 acquired by the state acquiring unit 201a with the estimated state estimated by the state estimating unit 303 to calculate the estimation accuracy. , the environment and the calculated estimation accuracy are output.
  • the estimation accuracy here is, for example, information based on the difference (estimation error) between the state of the monitored object 102 acquired from the state acquisition unit 201 a and the estimated state acquired from the state estimation unit 303 .
  • the environment management unit 302 manages the combination of the environment (here, time) acquired from the state learning unit 301 and the estimation accuracy as environment information.
  • the state estimation unit 303 learns the machine learning model so as to improve the estimation accuracy.
  • the state estimating unit 303 As an example of learning by the state estimating unit 303, the information obtained from the information obtaining unit 202c is used as an explanatory variable, the state of the monitored object 102 is set as a regression model using the dependent variable, and the objective function is obtained from the state obtaining unit 201a; A case will be described in which the sum of two values of differences from the state of the monitored object 102 estimated by the state estimation unit 303 is taken as the sum of squares error, and learning is performed so that the sum of squares error is minimized. Note that the sum-of-squares error is an example of estimation accuracy.
  • the state estimator 303 estimates the state of the monitored target 102 from the internal parameters such as the weight or bias of the regression model and the information of the external information source 103 acquired from the information acquisition unit 202, and estimates the state of the monitored target 102.
  • the time and estimated state are output to state learning section 301 .
  • the state learning unit 301 calculates the sum of squared error, which is an objective function, from the state of the monitored object 102 acquired from the state acquiring unit 201a and the estimated state acquired from the state estimating unit 303, and calculates the estimation accuracy.
  • the environment (time here) and the calculated estimation accuracy are output to the management unit 302 and the state estimation unit 303 .
  • the environment management unit 302 manages the combination of the environment and the estimation accuracy acquired from the state learning unit 301 as environment information.
  • the state estimating unit 303 combines the internal parameters of the previous estimation with the estimation accuracy acquired from the state learning unit 301, and the combination of the internal parameters of the current estimation and the estimation accuracy acquired from the state learning unit 301. From the combination, the gradient of the change in estimation accuracy when the internal parameters are changed is calculated using a differential equation, and the internal parameters are updated so that the gradient is a negative value, that is, the sum-of-squares error becomes small.
  • the state learning unit 301 While updating the internal parameters of the state estimation unit 303, the state learning unit 301 repeats learning, adjusts the internal parameters so that the state of the monitored object 102 can be estimated with high accuracy, and provides the environment management unit 302 with estimation for each environment. Manage accuracy. Then, the state estimating unit learning system 300 converts the learned parameters of the state estimating unit 303 and the learned environment information managed by the environment managing unit 204 into parameters (internal parameter) and the environment information of the environment management unit 204 , the learning result can be handed over to the anomaly detection system 200 .
  • the adjustment (eg, update) of the internal parameters of the machine learning model and the update of the environment information are performed as a set.
  • the environment information includes estimation accuracy for adjusted internal parameters. In this way, environment information may be generated based on the learning process of the machine learning model.
  • the state learning unit 301 acquires the state of the monitoring target 102 acquired by the state acquiring unit 201 and the monitoring target 102 estimated by the state estimating unit 303. Based on at least one of the first state and the second state of the target 102, information indicating the estimation accuracy of at least one of the first state and the second state (for example, sum of square error) is calculated, and the calculated estimation accuracy may be output to the state estimation units 203 a and 203 b and the environment management unit 204 .
  • state learning unit 301 may output information indicating the calculated estimation accuracy to the state estimation units 203 a and 203 b and the environment management unit 204 before the monitoring target 102 starts operating. Further, state learning section 301 may output information indicating the calculated estimation accuracy to state estimation sections 203 a and 203 b and environment management section 204 during operation of monitored object 102 .
  • the state of the monitored object 102 acquired by the state acquisition unit 201 and the estimated state estimated by each of the state estimation units 203a and 203b when no abnormality is detected by the state comparison unit 207. is used for learning.
  • FIG. 4 is a flowchart showing learning processing (remote monitoring method) in state estimating unit learning system 300 according to the present embodiment.
  • step S learning (learning processing) is first performed in the state estimating unit learning system 300 (S401).
  • step S ⁇ b>401 the state estimation unit 303 estimates the state of the monitored object 102 using the state extracted by the information acquisition unit 202 c for learning, and outputs it to the state learning unit 301 .
  • State learning section 301 compares the state estimated by state estimating section 303 with the state of monitored object 102 extracted by state acquiring section 201 , calculates estimation accuracy, and outputs it to state estimating section 303 .
  • the state estimating unit 303 adjusts the internal parameters so as to improve the estimation accuracy based on the estimation accuracy calculated by the state learning unit 301 .
  • these processes are repeated a fixed number of times.
  • the state estimator learning system 300 determines whether the estimation accuracy is sufficient (S402). The state estimator learning system 300 confirms whether or not the estimation accuracy held by the environment management unit 302 exceeds a preset accuracy.
  • the state estimator learning system 300 compares the internal parameters learned by the state estimator 303 and the learned environment information managed by the environment manager 302. , the internal parameters of the state estimation units 203a and 203b of the anomaly detection system 200 and the environment information of the environment management unit 204 (S403).
  • the state estimator learning system 300 determines that the estimation accuracy of the state estimator 303 cannot be expected to improve, and reviews the learning method (S404). , the step S401 is executed again.
  • the state estimating unit 303 uses the information obtained from the information obtaining unit 202c as an explanatory variable and the state of the monitored object 102 as a dependent variable as a regression model.
  • the square method is used to learn to minimize the difference between the estimated state of the monitored object 102 estimated by the state estimating unit 303 and the state acquired from the state acquiring unit 201a.
  • the state learning unit 301 determines that the estimation accuracy after learning is insufficient and that the estimation accuracy cannot be improved, the learning method is reviewed, for example, by changing the regression model from linear regression to a regression tree. Review the mathematical model and improve the accuracy until the error is within the allowable range.
  • the monitoring system 100 (or the remote monitoring system 101) has a learning mode for learning a machine learning model. Also, the learning mode is executed, for example, in a space where the monitored object 102 is used.
  • FIG. 5 is a diagram showing an example of an environment information table managed by the environment management unit 204 according to this embodiment.
  • the environment information table includes an environment 501 and an estimation accuracy 502.
  • the estimation accuracy 502 includes the estimation accuracy of the state estimation unit 203a and the estimation accuracy of the state estimation unit 203b.
  • the environment 501 represents the environment when the state estimation units 203a and 203b estimate the state.
  • the environment 501 is the time, and indicates the estimation accuracy 502 for each time.
  • the estimation accuracy 502 represents the estimation accuracy in the environment 501.
  • the estimation accuracy 502 indicates the ratio of the estimation accuracy of the state estimation unit 203a and the estimation accuracy of the state estimation unit 203b in percent.
  • the estimation accuracy is indicated by a specific weight in order to make the difference in accuracy between the state estimators 203a and 203b easier to understand. you can
  • the estimation accuracy is not limited to being a numerical value, and may be expressed in stages such as "high”, “middle”, and "low", for example.
  • the state estimation unit 203a estimates the state of the monitored object 102 based on sensing information from the external information source 103a at 12:00 with an accuracy of 80%.
  • the estimation accuracy of the state of the monitored object 102 estimated by the unit 203b based on the sensing information of the external information source 103b is 20%. From this, it can be seen that at 12:00, the state of the monitored object 102 estimated by the state estimation unit 203a has higher estimation accuracy than the state of the monitored object 102 estimated by the state estimation unit 203b.
  • the environment information table may be prepared in advance, may be created by learning in the state estimating unit learning system 300, or may be created from the environment information of the environment management unit 302 in the state estimating unit learning system 300. good.
  • the environment 501 When created by learning in the state estimating unit learning system 300, the environment 501 records the environment when the estimation was performed, and the estimation accuracy 502 records the estimation accuracy at that time.
  • FIG. 6A is a flowchart showing processing (remote monitoring method) of remote monitoring system 101 according to the present embodiment.
  • the state acquisition unit 201 acquires state information indicating the state of the monitoring target 102 from the monitoring target 102 (S601).
  • the state information includes time information indicating the time when the sensor or the like provided in the monitoring target 102 senses.
  • the information acquisition units 202a and 202b acquire estimation information from the external information sources 103a and 103b (S602). Specifically, the information acquisition unit 202a acquires the first sensing information as information for estimation from the external information source 103a, and the information acquisition unit 202b acquires the second sensing information as information for estimation from the external information source 103b. get.
  • the acquisition timing of the first sensing information and the second sensing information is not particularly limited, and may be acquired at predetermined time intervals, for example. Also, the first sensing information and the second sensing information may be acquired synchronously. For example, the first sensing information and the second sensing information are information sensed at times within a predetermined time difference (for example, several seconds to several minutes) from the time indicated by the time information included in the state information.
  • a predetermined time difference for example, several seconds to several minutes
  • the state estimation units 203a and 203b estimate the state of the monitoring target 102 in each of the two or more estimation information (S603). Specifically, the state estimation unit 203a acquires the state (first state) of the monitored object 102, which is an output obtained by inputting the first sensing information into the machine learning model, as an estimation result. In addition, the state estimation unit 203b acquires the state (second state) of the monitored object 102, which is an output obtained by inputting the second sensing information to the machine learning model, as an estimation result.
  • the first state and the second state are information indicating the current position of the monitored object 102 (for example, current position coordinates).
  • the state estimation units 203 a and 203 b output the estimation results to the state selection unit 205 .
  • the state selection unit 205 determines the state of one monitoring target 102 from the two or more estimated states of the monitoring target 102 (S604).
  • the state selection unit 205 selects the first state or the second state, whichever has the higher estimation accuracy, based on the environmental information, and determines the selected state as the estimated state of the monitored object 102. do.
  • the state selection unit 205 acquires the estimation accuracy of each of the state estimation units 203a and 203b at the time indicated by the time information included in the state information from the environment information table, and selects the first state and the second state based on the acquired estimation accuracy. Select the one with the higher estimation accuracy.
  • the state selection unit 205 outputs the selected estimated state of the monitoring target 102 to the state comparison unit 207 .
  • the state comparing unit 207 determines whether the difference between the state obtained from the monitored object 102 by the state obtaining unit 201 and the estimated state is equal to or less than a threshold (S605).
  • a threshold is set in advance.
  • step S605 when the state comparison unit 207 determines that the difference is equal to or less than the threshold (YES in S605), the state obtained from the monitoring target 102 is within the normal range, and the process ends.
  • a determination of YES in step S605 means that the state of the monitoring target 102 has not been tampered with. If the state comparison unit 207 determines that the difference is not equal to or less than the threshold value (NO in S605), it outputs to the alert notification unit 206 that an abnormality has been detected.
  • NO in step S605 means that the state of the monitored target 102 has been tampered with, or that there is a high possibility that the state of the monitored target 102 has been tampered with.
  • the alert notification unit 206 notifies the monitor of the remote monitoring system 101 of an alert indicating that an abnormality has been detected (S606).
  • the alert may be performed by, for example, display on a display, sound output by a sound output device, light emission by a light emitting device, other methods, or a combination thereof. may be performed by
  • FIG. 6B is a flowchart showing the processing (remote monitoring method) of state selection unit 205 according to the present embodiment.
  • FIG. 6B is a detailed flowchart of step S604 of FIG. 6A.
  • the state selection unit 205 acquires the states estimated by the state estimation units 203a and 203b at 12:00, for example (S611).
  • the state selection unit 205 acquires, from the environment management unit 204, environment information linking the environment with the estimation accuracy of the state estimation units 203a and 203b in that environment (S612).
  • the state selection unit 205 selects the final estimated state from the estimated state, the environment when the state was estimated, and the estimation accuracy in that environment (S613).
  • the estimation accuracy of the state estimation unit 203a at 12:00 is 80%
  • the estimation accuracy of the state estimation unit 203b is 20%.
  • the state estimated by the high state estimator 203a is selected. This is an example of determining the state of one of the monitored objects 102 .
  • the state selection unit 205 weights the estimated states based on the respective estimation accuracies, and calculates a new estimated state according to the weighting. good too. For example, a new estimated state may be calculated such that the higher the estimation accuracy, the greater the weight.
  • FIG. 7 is a block diagram showing the functional configuration of an anomaly detection system 700 according to this embodiment.
  • the anomaly detection system 700 includes a state acquisition unit 702, information acquisition units 711 and 721, state estimation units 712 and 722, an environment management unit 704, a state selection unit 703, and an alert notification unit. 206 and a state comparison unit 207 .
  • the object monitored by the anomaly detection system 700 is the robot 701, and the external information sources are the fixed camera 710 and the fixed microphone 720.
  • the robot 701 transmits position information to the anomaly detection system 700 .
  • position information positioning information of a Global Positioning System (GPS) device mounted on the robot 701 or position information estimated by Simultaneous Localization Mapping (SLAM) is used.
  • GPS Global Positioning System
  • SLAM Simultaneous Localization Mapping
  • a fixed camera 710 is installed at a position where the robot 701 can be easily photographed, for example, near the ceiling of a living room. It is installed at a position where it is easy to collect sound, for example, near the doorway of the living room, and transmits the collected sound 723 to the anomaly detection system 700 .
  • Fixed camera 710 is an example of a first sensing device
  • fixed microphone 720 is an example of a second sensing device.
  • the state acquisition unit 702 receives position information from the robot 701 .
  • a state acquisition unit 702 acquires the position information of the robot 701 as the state of the robot 701 .
  • the information acquisition unit 711 receives the image 713 transmitted by the fixed camera 710 and extracts image data used for state estimation.
  • An example of video data is a bitmap image converted to grayscale.
  • Image 713 is an example of the first sensing information.
  • the state estimation unit 712 estimates the position of the robot 701 using the video data extracted by the information acquisition unit 711 and outputs it as an estimated state 714 .
  • the information acquisition unit 721 receives the voice 723 transmitted by the fixed microphone 720 and extracts voice data used for state estimation.
  • An example of the audio data is PCM (Pulse Code Modulation) data that is divided at regular intervals and band-pass filtered so that only the frequencies at which the active sound of the robot 701 can be easily identified are included. but not limited to this.
  • Voice 723 is an example of the second sensing information.
  • the state estimation unit 722 uses the voice data extracted by the information acquisition unit 721 to estimate the position of the robot 701 and output it as an estimated state 724 .
  • the environment management unit 704 manages the environment information 705 (see FIG. 8) that holds the estimation accuracy of the fixed camera 710 and the fixed microphone 720 for each time.
  • the state selection unit 703 selects an estimated state with high estimation accuracy from the estimated state 714 and the estimated state 724 according to the environment information 705 managed by the environment management unit 704 .
  • the alert notification unit 206 has the same configuration as the anomaly detection system 200.
  • the state comparison unit 207 compares the position information extracted by the state acquisition unit 702 and the estimated state (estimated position information) selected by the state selection unit 703, and determines that there is an abnormality when there is a difference of a certain amount or more. and notifies the alert notification unit 206 of the detection of the abnormality.
  • the state comparison unit 207 acquires the position information of the robot 701 in the form of latitude and longitude from the state acquisition unit 702, and converts the position information of the robot 701 estimated from the state selection unit 703 into the latitude and longitude. and calculates the distance between both pieces of position information, and detects an abnormality when the calculated distance exceeds a preset threshold value.
  • the illuminance in the facility is high and the ambient noise is high during the activity period of the robot 701. It is assumed that the illuminance will be low and the ambient noise will also be small.
  • FIG. 8 is a diagram showing an example of an environment information table managed by the environment management unit 704 of the anomaly detection system according to this embodiment.
  • the estimation accuracy of the state estimation unit 712 is set to be high between 12:00 and 22:00, which is within the activity time zone of the robot 701, and the activity time of the robot 701 is set to Between 22:00 and 12:00, which is out of band, the estimation accuracy of the state estimator 722 is set high.
  • the state selection unit 703 selects, as the position of the robot 701, the position with the higher estimation accuracy of the estimation accuracy 1002 at a predetermined time, which is the environment 1001 of the environment information table. You can select the estimated state.
  • the environment information table shown in FIG. 8 may be created from the environment information of the environment management section 302 in the state estimating section learning system 300 after the state estimating sections 712 and 722 are trained in the state estimating section learning system 300 .
  • the number of fixed camera 710 and fixed microphone 720 is limited to one for the sake of simplicity, but a plurality of each may be used.
  • FIG. 9 is a block diagram showing the functional configuration of the anomaly detection system 800 according to this embodiment.
  • the anomaly detection system 800 includes a state acquisition unit 802, information acquisition units 811 and 821, state estimation units 812 and 822, an environment management unit 804, a state selection unit 803, and an alert notification unit. 206 and a state comparison unit 207 .
  • the monitoring target of the anomaly detection system 800 is the security robot 801, and the external information sources are the fixed camera 810 and the illuminance sensor 820.
  • the security robot 801 transmits position information to the anomaly detection system 800.
  • the position information the positioning information of the GPS device mounted on the security robot 801 or the position information estimated by SLAM is used.
  • Fixed camera 810 is installed at a position where security robot 801 can easily capture images, for example, near the ceiling of a living room.
  • the installed and acquired illuminance value 823 is transmitted to the anomaly detection system 800 .
  • Fixed camera 810 is an example of a first sensing device
  • illuminance sensor 820 is an example of a second sensing device.
  • the state acquisition unit 802 receives position information from the security robot 801.
  • the information acquisition unit 811 receives the image 813 transmitted by the fixed camera 810 and extracts image data used for state estimation.
  • An example of video data is a bitmap image converted to grayscale.
  • Video 813 is an example of first sensing information.
  • the state estimation unit 812 uses the video data extracted by the information acquisition unit 811 to estimate the position of the security robot 801 and output it as an estimated state 814 .
  • the information acquisition unit 821 receives the illuminance value 823 transmitted by the illuminance sensor 820 and extracts illuminance data used for state estimation.
  • the illuminance data is a value obtained by converting the illuminance value into lux, which is the unit of brightness.
  • the illuminance value 823 is an example of second sensing information.
  • the state estimation unit 822 uses the illuminance data extracted by the information acquisition unit 821 to estimate the position of the security robot 801 and output it as an estimated state 824 .
  • the security robot 801 turns on the lighting when the security robot 801 patrols.
  • the value is acquired, and the state estimation unit 822 estimates how far away the security robot 801 is from the acquired illuminance value.
  • the environment management unit 804 manages environment information 805 (see FIG. 10) that holds estimation accuracy for each time of the fixed camera 810 and the illuminance sensor 820 .
  • the state selection unit 803 selects an estimated state with high estimation accuracy from the estimated state 814 and the estimated state 824 according to the environment information 805 managed by the environment management unit 804 .
  • the alert notification unit 206 has the same configuration as the anomaly detection system 200.
  • the state comparison unit 207 compares the position information extracted by the state acquisition unit 802 and the estimated state (estimated position information) selected by the state selection unit 803, and determines that there is an abnormality when there is a difference of a certain amount or more. and notifies the alert notification unit 206 of the detection of the abnormality.
  • the built-in camera of the security robot 801 records the video during the patrol to serve as a trail of the patrol. Therefore, when the security robot 801 patrols at night, the illuminance around the security robot 801 is increased by turning on the illumination for the purpose of securing the illuminance necessary for recording or for security.
  • FIG. 10 is a diagram showing an example of an environment information table managed by the environment management unit 804 of the anomaly detection system 800 according to this embodiment.
  • the state estimating unit 812 estimates that from 08:00 to 20:00, which is a time zone in which the surroundings are bright, such as daytime, and the security robot 801 is clearly visible in the image of the fixed camera 810.
  • the security robot 801 is not clearly captured in the image of the fixed camera 810 because the accuracy is set to be high and the surroundings are dark, such as at night. From 00 to 08:00, the estimation accuracy of the state estimator 822 is set high.
  • the state selection unit 803 selects the position of the security robot 801 with the higher estimation accuracy of the estimation accuracy 1102 at a predetermined time, which is the environment 1101 of the environment information table, so that the optimal state corresponding to the change of time is selected. can select an estimated state.
  • the environment information table may be created from the environment information of the environment management section 302 in the state estimating section learning system 300 after the state estimating sections 812 and 822 are trained in the state estimating section learning system 300 .
  • the number of fixed camera 810 and illuminance sensor 820 is limited to one for the sake of simplicity, but a plurality of each may be used.
  • FIG. 11 is a block diagram showing the functional configuration of an anomaly detection system 900 according to this embodiment.
  • the anomaly detection system 900 includes a state acquisition unit 902, information acquisition units 911 and 921, state estimation units 912 and 922, an environment management unit 904, a state selection unit 903, and an alert notification unit. 206 and a state comparison unit 207 .
  • the monitoring target of the anomaly detection system 900 is the cleaning robot 901, and the external information sources are the fixed camera 910 and the dust sensor 920.
  • the cleaning robot 901 transmits position information to the anomaly detection system 900 .
  • the position information the positioning information of the GPS device mounted on the cleaning robot 901 or the position information estimated by SLAM is used.
  • a fixed camera 910 is installed at a position where the cleaning robot 901 can easily capture images, for example, near the ceiling of a living room, and transmits captured images 913 to the abnormality detection system 900. It is installed around the location and transmits the obtained sensor values 923 to the anomaly detection system 900 .
  • Fixed camera 910 is an example of a first sensing device
  • dust sensor 920 is an example of a second sensing device.
  • the state acquisition unit 902 receives position information from the cleaning robot 901 .
  • the information acquisition unit 911 receives the image 913 transmitted by the fixed camera 910 and extracts image data used for state estimation.
  • An example of video data is a bitmap image converted to grayscale.
  • Video 913 is an example of the first sensing information.
  • the state estimation unit 912 uses the video data extracted by the information acquisition unit 911 to estimate the position of the cleaning robot 901 and output it as an estimated state 914 .
  • the information acquisition unit 921 receives the sensor value 923 transmitted by the dust sensor 920 and extracts the sensor value used for state estimation. Examples of sensor values include the amount of particles present in the atmosphere.
  • the sensor value 923 is an example of second sensing information.
  • the state estimation unit 922 uses the sensor data extracted by the information acquisition unit 921 to estimate the position of the cleaning robot 901 and outputs it as an estimated state 924 .
  • the cleaning robot 901 performs cleaning work in situations such as at night when there are no people active in the vicinity. Since the cleaning work by the cleaning robot 901 causes dust to rise in the surroundings, the information acquisition unit 921 acquires the sensor value of the dust sensor 920, and the state estimation unit 922 determines how far the cleaning robot 901 is away from the acquired sensor value. estimating that the
  • the environment management unit 904 manages environment information 905 (see FIG. 12) that holds the estimation accuracy of the fixed camera 910 and the dust sensor 920 for each time.
  • the state selection unit 903 selects an estimated state with high estimation accuracy from the estimated state 914 and the estimated state 924 according to the environment information 905 managed by the environment management unit 904 .
  • the alert notification unit 206 has the same configuration as the anomaly detection system 200.
  • the state comparison unit 207 compares the position information extracted by the state acquisition unit 902 and the estimated state (estimated position information) selected by the state selection unit 903, and determines that there is an abnormality when there is a difference of a certain amount or more. and notifies the alert notification unit 206 of the detection of the abnormality.
  • FIG. 12 is a diagram showing an example of an environment information table managed by the environment management unit 904 of the anomaly detection system 900 according to this embodiment.
  • the state estimating unit 912 estimates 07:00 to 21:00, which is a time period during which the surroundings are bright, such as daytime, and the cleaning robot 901 is clearly visible in the image of the fixed camera 910.
  • the estimation accuracy of the state estimating unit 922 is set high from 21:00 to 07:00, which is a time period when the cleaning robot 901 cannot be clearly seen in the image of the fixed camera 910 because the accuracy is set to be high and the surroundings are dark such as at night. be done.
  • the state selection unit 903 selects, as the position of the cleaning robot 901, the position with the higher estimation accuracy of the estimation accuracy 1202 at a predetermined time, which is the environment 1201 of the environment information table. can select an estimated state.
  • the environment information table may be created from the environment information of the environment manager 302 in the state estimator learning system 300 after the state estimators 912 and 922 are trained in the state estimator learning system 300 .
  • the number of fixed camera 910 and dust sensor 920 is limited to one to simplify the explanation, but a plurality of each may be used.
  • the monitoring target according to each of the above embodiments may be a mobile object used indoors or a mobile object used outdoors.
  • the monitoring system may include only one external information source.
  • the anomaly detection system does not have to include the state selector.
  • the environment management unit may output the environment information to the state comparison unit, and the state comparison unit may compare the state information and the estimated state information based on the environment information.
  • the state comparison unit may change, for example, a threshold to be compared with the difference between the state information and the estimated state information according to the environment information. For example, the state comparison unit may change the threshold to a larger value as the estimation accuracy indicated by the environment information is higher.
  • the sum of squared error was exemplified as the loss function, but the loss function is not limited to the sum of squared error, and any loss function may be used.
  • first sensing device and the second sensing device may acquire sensing information different from each other, and for example, sensing devices other than fixed cameras may be used.
  • each component may be configured with dedicated hardware or realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each step in the flowchart is executed is for illustrative purposes in order to specifically describe the present disclosure, and orders other than the above may be used. Also, some of the steps may be executed concurrently (in parallel) with other steps, or some of the steps may not be executed.
  • the division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be moved to other functional blocks.
  • single hardware or software may process functions of a plurality of functional blocks having similar functions in parallel or in a time division manner.
  • the remote monitoring system may be implemented as a single device, or may be implemented by a plurality of devices.
  • each component of the remote monitoring system may be distributed to the multiple devices in any way.
  • the communication method between the plurality of devices is not particularly limited, and may be wireless communication or wired communication. Also, wireless and wired communications may be combined between devices.
  • each component described in each of the above embodiments and the like may be realized as software, or typically as an LSI, which is an integrated circuit. These may be made into one chip individually, or may be made into one chip so as to include part or all of them. Although LSI is used here, it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Also, the method of circuit integration is not limited to LSI, but may be realized by a dedicated circuit (for example, a general-purpose circuit that executes a dedicated program) or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections or settings of the circuit cells inside the LSI may be used. Furthermore, if an integrated circuit technology that replaces the LSI emerges due to advances in semiconductor technology or another technology derived from it, the component may naturally be integrated using that technology.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple processing units on a single chip. Specifically, it includes a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), etc.
  • a computer system comprising A computer program is stored in the ROM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the remote monitoring method shown in any one of FIGS. 4, 6A, and 6B.
  • the program may be a program to be executed by a computer.
  • one aspect of the present disclosure may be a computer-readable non-transitory recording medium on which such a program is recorded.
  • such a program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program in a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform the above processes.
  • a remote monitoring system that detects an abnormality in the state of a monitoring target that operates autonomously, a first acquisition unit that acquires state information indicating a state of the monitoring target from the monitoring target; a second acquisition unit that acquires first sensing information obtained by sensing the monitoring target from a first sensing device that is provided outside the monitoring target and that senses the monitoring target; a state estimation unit that estimates a first state, which is the state of the monitoring target, based on the first sensing information acquired by the second acquisition unit; a state comparison unit that compares the state information acquired by the first acquisition unit with estimated state information based on the first state of the monitoring target estimated by the state estimation unit;
  • a remote monitoring system comprising: a notification unit that notifies a supervisor of the remote monitoring system that an abnormality has occurred based on a comparison result of the state comparison unit.
  • the second acquisition unit further acquires second sensing information different from the first sensing information obtained by sensing the monitoring target from a second sensing device that senses the monitoring target provided outside the monitoring target.
  • the state estimating unit estimates a second state, which is the state of the monitoring target, based on the second sensing information acquired by the second acquiring unit,
  • the remote monitoring system according to technique 1, wherein the estimated state information is information further based on the second state.
  • an environment management unit that manages environment information in which the environment when the monitoring target is sensed and the estimation accuracy of the state estimated by the state estimation unit are associated; a state determination unit that determines one state from the first state and the second state using the environment information managed by the environment management unit, and outputs the determined state as the estimated state information;
  • the remote monitoring system according to technique 2.
  • the first acquisition unit acquires a current position of the monitoring target as the state
  • the state estimation unit estimates a current position of the monitoring target as the first state and the second state
  • the remote monitoring system according to any one of techniques 3 to 5, wherein the environment information includes estimation accuracy of the first state and the second state for each time.
  • the monitoring target is a robot, the first sensing device includes a fixed camera; The remote monitoring system according to Technology 6, wherein the second sensing device includes a fixed microphone.
  • the monitoring target is a robot that performs security work, the first sensing device includes a fixed camera; The remote monitoring system according to Technology 6, wherein the second sensing device includes an illuminance sensor.
  • the monitoring target is a robot that performs cleaning work, the first sensing device includes a fixed camera; The remote monitoring system according to Technology 6, wherein the second sensing device includes a dust sensor.
  • the first state and the A state learning unit that calculates information indicating the estimation accuracy of at least one of the second states and outputs information indicating the calculated estimation accuracy to the state estimation unit and the environment management unit.
  • Remote monitoring system according to any one.
  • An anomaly detection system that detects an anomaly in the state of a monitoring target that operates autonomously, a first acquisition unit that acquires state information indicating a state of the monitoring target from the monitoring target; a second acquisition unit that acquires sensing information obtained by sensing the monitoring target from a sensing device that is provided outside the monitoring target and that senses the monitoring target; a state estimation unit that estimates the state of the monitoring target based on the sensing information acquired by the second acquisition unit;
  • An anomaly detection system comprising: a state comparison unit that compares the state information acquired by the first acquisition unit and estimated state information based on the state of the monitoring target estimated by the state estimation unit.
  • a remote monitoring method for detecting an abnormality in the state of a monitoring target that operates autonomously, obtaining state information indicating the state of the monitoring target from the monitoring target; Acquiring sensing information obtained by sensing the monitoring target from a sensing device that senses the monitoring target provided outside the monitoring target; estimating the state of the monitored object based on the acquired sensing information; comparing the obtained state information with estimated state information based on the estimated state of the monitored object;
  • a remote monitoring method comprising: notifying a supervisor of a remote monitoring system that an abnormality has occurred based on a comparison result between the state information and the estimated state information.
  • the present disclosure is useful for an anomaly detection system that, when remotely monitoring a robot that operates autonomously, determines whether or not the state notified by the robot to be monitored to the remote monitoring system differs from the actual state.
  • monitoring system 101 remote monitoring system 102 monitored object 103, 103a, 103b external information source (sensing device) 104 network 200, 700, 800, 900 anomaly detection system 201, 201a, 702, 802, 902 state acquisition unit (first acquisition unit) 202, 202a, 202b, 202c, 711, 721, 811, 821, 911, 921 Information acquisition unit (second acquisition unit) 203a, 203b, 303, 712, 722, 812, 822, 912, 922 state estimation unit 204, 302, 704, 804, 904 environment management unit 205, 703, 803, 903 state selection unit (state determination unit) 206 alert notification unit 207 state comparison unit 300 state estimation unit learning system 301 state learning unit 501, 1001, 1101, 1201 environment 502, 1002, 1102, 1202 estimation accuracy 701 robot (monitoring target) 705, 805, 905 Environmental information 710, 810, 910 Fixed camera (first sensing device) 713, 813, 913 video (first sensing information)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

遠隔監視システム（１０１）は、自律動作する監視対象（１０２）の状態の異常を検知する遠隔監視システムであって、監視対象（１０２）から当該監視対象（１０２）の状態を示す状態情報を取得する状態取得部（２０１）と、監視対象（１０２）の外部に設けられ監視対象（１０２）をセンシングする外部情報源（１０３ａ）から、監視対象（１０２）のセンシング結果を示す第１センシング情報を取得する情報取得部（２０２ａ）と、第１センシング情報に基づいて、監視対象（１０２）の第１状態を推定する状態推定部（２０３ａ）と、状態情報と第１状態に基づく推定状態情報とを比較する状態比較部（２０７）と、状態比較部（２０７）の比較結果に基づいて、遠隔監視システム（１０１）の監視者に異常が発生したことを通知するアラート通知部（２０６）とを備える。

Description

遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム
　本開示は、遠隔監視システム、異常検知システム、遠隔監視方法およびプログラムに関する。
　近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）および通信技術の発達に伴い、ロボットが、より高度な活動を自律的に行うことが可能になっている。そのため、ロボットが、今後の労働人口の減少による労働力不足をロボットが補うことが期待されている。
　これらのロボットを効率的に運用するためには、遠隔からの制御または監視による集中管理が不可欠であるが、ここに脆弱性が存在した場合、攻撃者によりロボットが不正に制御される可能性がある。ロボットに侵入した攻撃者は、遠隔監視システムに通知する状態を改ざんして、監視者が異常に気づかないように隠蔽することが予測される。
　これを検知するために、車載ネットワークでは、ネットワーク上の走行状態と、車載カメラ等から得られる周辺情報から推定した走行状態とを比較することで、改ざんを検知する異常検知方法が検討されている（例えば、特許文献１を参照）。
国際公開第２０１９／２１６３０６号
　しかしながら、特許文献１で開示された技術では、攻撃者により周辺情報も含めて改ざんされた場合、攻撃者がロボット等の監視対象の状態を改ざんしたことを検知することができない。
　そこで、本開示では、攻撃者により周辺情報が改ざんされた場合でも、攻撃者が監視対象の状態を改ざんしたことを検知することができる遠隔監視システム、異常検知システム、遠隔監視方法およびプログラムを提供する。
　本開示の一態様に係る遠隔監視システムは、自律動作する監視対象の状態の異常を検知する遠隔監視システムであって、前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、前記監視対象の外部に設けられ前記監視対象をセンシングする第１センシング装置から、前記監視対象のセンシング結果を示す第１センシング情報を取得する第２取得部と、前記第２取得部が取得した前記第１センシング情報に基づいて、前記監視対象の状態である第１状態を推定する状態推定部と、前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記第１状態に基づく推定状態情報とを比較する状態比較部と、前記状態比較部の比較結果に基づいて、前記遠隔監視システムの監視者に異常が発生したことを通知する通知部とを備える。
　本開示の一態様に係る異常検知システムは、自律動作する監視対象の状態の異常を検知する異常検知システムであって、前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、前記監視対象の外部に設けられ前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得する第２取得部と、前記第２取得部が取得した前記センシング情報に基づいて、前記監視対象の状態を推定する状態推定部と、前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記状態に基づく推定状態情報とを比較する状態比較部とを備える。
　本開示の一態様に係る遠隔監視方法は、自律動作する監視対象の状態の異常を検知する遠隔監視方法であって、前記監視対象から当該監視対象の状態を示す状態情報を取得し、前記監視対象の外部に設けられた前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得し、取得された前記センシング情報に基づいて、前記監視対象の状態を推定し、取得された前記状態情報と、推定された前記監視対象の前記状態に基づく推定状態情報とを比較し、前記状態情報と前記推定状態情報との比較結果に基づいて、遠隔監視システムの監視者に異常が発生したことを通知する。
　本開示の一態様に係るプログラムは、上記の遠隔監視方法をコンピュータに実行させるためのプログラムである。
　本開示の一態様に係る遠隔監視システム等によれば、攻撃者により周辺情報が改ざんされた場合でも、攻撃者が監視対象の状態を改ざんしたことを検知することができる。
図１は、実施の形態１に係る監視システムの構成を示す図である。 図２は、実施の形態１に係る異常検知システムの機能構成を示すブロック図である。 図３は、実施の形態１に係る状態推定部学習システムの機能構成を示すブロック図である。 図４は、実施の形態１に係る状態推定部学習システムにおける学習処理を示すフローチャートである。 図５は、実施の形態１に係る状態推定部学習システムの環境管理部で管理する環境情報テーブルの一例を示す図である。 図６Ａは、実施の形態１に係る遠隔監視システムの処理を示すフローチャートである。 図６Ｂは、実施の形態１に係る状態選択部の処理を示すフローチャートである。 図７は、実施の形態２に係る異常検知システムの機能構成を示すブロック図である。 図８は、実施の形態２に係る異常検知システムの環境管理部が管理する環境情報テーブルの一例を示す図である。 図９は、実施の形態３に係る異常検知システムの機能構成を示すブロック図である。 図１０は、実施の形態３に係る異常検知システムの環境管理部が管理する環境情報テーブルの一例を示す図である。 図１１は、実施の形態４に係る異常検知システムの機能構成を示すブロック図である。 図１２は、実施の形態４に係る異常検知システムの環境管理部が管理する環境情報テーブルの一例を示す図である。
　（本開示の基礎となった知見）
　従来の自律動作するロボットは、お掃除ロボットのような、限られた空間で限定的な動作するものが主であった。しかし、近年では、警備ロボットまたは宅配ロボット等、より広範な空間で、より高度な動作（例えば、より高度な作業）を行うロボットが登場している。
　ロボットの活動範囲の拡大に伴い、各地に点在する多数のロボットを管理する必要が生じるため、遠隔から集中的にロボットを制御、監視する機能の重要性は、ますます高まっている。
　一方で、遠隔からの制御、監視のために、ロボットに通信ネットワークへの接続機能が搭載されることにより、攻撃者が遠隔から当該ロボットにアクセスできる可能性が生じ、ロボットが不正に制御された場合には、施設内の情報の漏洩、施設内の設備に対する不正な操作等による被害が発生するケースが懸念される。
　このような被害を防ぐために、遠隔監視システムがロボットと通信し、ロボットの状態に異常がないかを監視することが検討されている。しかし、攻撃者が、遠隔監視システムに通知するロボットの状態の改ざんに加えて周辺情報も改ざんした場合、遠隔監視システムでは、そのロボットの状態が改ざんされていることを検知できない。なお、ロボットの状態は、例えば、ロボットの位置であるが、これに限定されない。
　そこで、本願発明者らは、攻撃者により周辺情報が改ざんされた場合でも、攻撃者がロボット等の監視対象の状態を改ざんしたことを検知することができる遠隔監視システム等について鋭意検討を行い、以下に説明する遠隔監視システム等を創案した。例えば、本開示では、監視対象から独立した外部の情報源（外部情報源）から当該監視対象をセンシングして得られた情報を取得し、その情報から推定した監視対象の状態とロボット等の監視対象から取得した状態とを比較することで、攻撃者による監視対象の状態の改ざんを検知し、監視者にアラートを通知する。これにより、アラートを受けた監視者が、早期に必要な対応を行うことで、被害を最小限に留めることができる。
　本開示の一態様に係る遠隔監視システムは、自律動作する監視対象の状態の異常を検知する遠隔監視システムであって、前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、前記監視対象の外部に設けられ前記監視対象をセンシングする第１センシング装置から、前記監視対象のセンシング結果を示す第１センシング情報を取得する第２取得部と、前記第２取得部が取得した前記第１センシング情報に基づいて、前記監視対象の状態である第１状態を推定する状態推定部と、前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記第１状態に基づく推定状態情報とを比較する状態比較部と、前記状態比較部の比較結果に基づいて、前記遠隔監視システムの監視者に異常が発生したことを通知する通知部とを備える。
　これにより、遠隔監視システムは、監視対象の外部に設けられた第１センシング装置における第１センシング情報を用いて、監視対象からの状態情報の異常（状態情報の改ざん）を検知することができる。つまり、遠隔監視システムは、監視対象に設けられた車載カメラ等から得られる周辺情報を用いることなく、異常を検知することができる。また、第１センシング装置が監視対象の外部に設けられているので、第１センシング情報は、攻撃者による改ざんが行われていない情報である。よって、遠隔監視システムによれば、攻撃者により周辺情報が改ざんされた場合でも、攻撃者が監視対象の状態を改ざんしたことを検知することができる。
　また、例えば、前記第２取得部は、前記監視対象の外部に設けられた前記監視対象をセンシングする第２センシング装置から、前記監視対象のセンシング結果を示す、前記第１センシング情報と異なる第２センシング情報をさらに取得し、前記状態推定部は、前記第２取得部が取得した前記第２センシング情報に基づいて、前記監視対象の前記状態である第２状態を推定し、前記推定状態情報は、さらに前記第２状態に基づく情報であってもよい。
　これにより、遠隔監視システムは、２つのセンシング情報を用いて、監視対象の異常を検知することができるので、１つのセンシング情報を用いる場合に比べて、正確に検知することができる。
　また、例えば、さらに、前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部と、前記環境管理部が管理する前記環境情報を用いて、前記第１状態および前記第２状態から１つの状態を決定し、決定された前記１つの状態を前記推定状態情報として出力する状態決定部とを備えてもよい。
　これにより、遠隔監視システムは、第１状態および第２状態を用いて監視対象の異常を検知することができるので、推定された１つの状態を用いる場合に比べて、正確に検知することができる。
　また、例えば、前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態の一方を選択し、選択された前記一方を前記推定状態情報として出力してもよい。
　これにより、遠隔監視システムは、推定精度が高い方の状態を選択することで、より正確に検知することができる。
　また、例えば、前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態を重み付け演算し、重み付け演算された状態を前記推定状態情報として出力してもよい。
　これにより、遠隔監視システムは、重み付け演算された状態を用いるので、第１状態および第２状態の両方を考慮することができ、より正確に検知することができる。
　また、例えば、前記第１取得部は、前記監視対象の現在位置を前記状態として取得し、前記状態推定部は、前記第１状態および前記第２状態として、前記監視対象の現在位置を推定し、前記環境情報は、時刻ごとの前記第１状態および前記第２状態の推定精度を含んでもよい。
　これにより、遠隔監視システムは、攻撃者により位置情報が改ざんされた場合でも、監視対象の位置の異常（位置の改ざん）を検知することができる。
　また、例えば、前記監視対象は、ロボットであり、前記第１センシング装置は、固定カメラを含み、前記第２センシング装置は、固定マイクを含んでもよい。
　これにより、遠隔監視システムは、固定カメラおよび固定マイクをセンシング装置として用いることで、ロボットの位置の異常を効果的に検知することができる。
　また、例えば、前記監視対象は、警備作業を行うロボットであり、前記第１センシング装置は、固定カメラを含み、前記第２センシング装置は、照度センサを含んでもよい。
　これにより、遠隔監視システムは、固定カメラおよび照度センサをセンシング装置として用いることで、警備業務を行うロボットの位置の異常を効果的に検知することができる。
　また、例えば、前記監視対象は、清掃作業を行うロボットであり、前記第１センシング装置は、固定カメラを含み、前記第２センシング装置は、ダストセンサを含んでもよい。
　これにより、遠隔監視システムは、固定カメラおよびダストセンサをセンシング装置として用いることで、掃除作業を行うロボットの位置の異常を効果的に検知することができる。
　また、例えば、さらに、前記第１取得部が取得した前記監視対象の状態と、前記状態推定部が推定した前記監視対象の第１状態および前記第２状態の少なくとも一方とに基づいて、前記第１状態および前記第２状態の前記少なくとも一方の推定精度を示す情報を算出し、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する状態学習部を備えてもよい。
　これにより、状態学習部は、状態推定部が用いる機械学習モデルのおよび環境情報を更新することができる。
　また、例えば、前記環境管理部は、前記状態学習部から取得した前記推定精度を示す情報に基づいて、前記状態推定部が推定した状態の推定精度を決定してもよい。
　これにより、環境管理部が管理する環境情報を、状態推定部の更新に応じた情報とすることができる。よって、遠隔監視システムでは、状態推定部が更新された場合でも、状態選択部により更新を考慮した状態の選択等を行うことができる。これは、攻撃者が監視対象の状態を改ざんしたことを正確に検知することに寄与する。
　また、例えば、前記状態学習部は、前記監視対象の運用開始前に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力してもよい。
　これにより、状態学習部が監視対象の運用前に学習処理を行うので、遠隔監視システムは、運用中において攻撃者が監視対象の状態を改ざんしたことを検知することができる。
　また、例えば、前記状態学習部は、前記監視対象の運用中に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力してもよい。
　これにより、状態学習部が監視対象の運用中にも学習処理を行うので、状態推定部での推定精度が向上する。
　また、例えば、さらに、前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部を備え、前記状態比較部は、前記環境情報に基づいて、前記状態情報と前記推定状態情報とを比較してもよい。
　これにより、遠隔監視システムは、環境情報を状態比較部での比較に用いることができる。つまり、遠隔監視システムは、環境情報が示す環境に応じた比較を行うことができる。よって、遠隔監視システムは、より正確に異常の判定を行うことができる。
　また、本開示の一態様に係る異常検知システムは、自律動作する監視対象の状態の異常を検知する異常検知システムであって、前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、前記監視対象の外部に設けられ前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得する第２取得部と、前記第２取得部が取得した前記センシング情報に基づいて、前記監視対象の状態を推定する状態推定部と、前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記状態に基づく推定状態情報とを比較する状態比較部とを備える。
　これにより、異常検知システムは、監視対象の外部に設けられたセンシング装置におけるセンシング情報を用いて、監視対象からの状態情報の異常（状態情報の改ざん）を検知することができる。つまり、異常検知システムは、監視対象に設けられた車載カメラ等から得られる周辺情報を用いることなく、異常を検知することができる。また、センシング装置が監視対象の外部に設けられているので、センシング情報は、攻撃者による改ざんが行われていない情報である。よって、異常検知システムによれば、攻撃者により周辺情報が改ざんされた場合でも、攻撃者が監視対象の状態を改ざんしたことを検知することができる。
　また、本開示の一態様に係る遠隔監視方法は、自律動作する監視対象の状態の異常を検知する遠隔監視方法であって、前記監視対象から当該監視対象の状態を示す状態情報を取得し、前記監視対象の外部に設けられた前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得し、取得された前記センシング情報に基づいて、前記監視対象の状態を推定し、取得された前記状態情報と、推定された前記監視対象の前記状態に基づく推定状態情報とを比較し、前記状態情報と前記推定状態情報との比較結果に基づいて、遠隔監視システムの監視者に異常が発生したことを通知する。また、また、本開示の一態様に係るプログラムは、上記の遠隔監視方法をコンピュータに実行させるためのプログラムである。
　これにより、上記の遠隔監視システムと同様の効果を奏する。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略または簡略化する。
　また、本明細書において、同じ等の要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（例えば、１０％程度）の差異をも含むことを意味する表現である。
　また、本明細書において、「第１」、「第２」等の序数詞は、特に断りの無い限り、構成要素の数または順序を意味するものではなく、同種の構成要素の混同を避け、区別する目的で用いられている。
　（実施の形態１）
　［１．全体のシステム構成］
　図１は、本実施の形態に係る監視システム１００の構成を示す図である。
　図１に示すように、監視システム１００は、遠隔監視システム１０１と、監視対象１０２と、外部情報源１０３ａ、１０３ｂと、ネットワーク１０４と、状態推定部学習システム３００とを備える。
　遠隔監視システム１０１は、遠隔にある自律動作する監視対象１０２の状態の異常を検知するための情報処理システムである。遠隔監視システム１０１は、監視対象１０２および外部情報源１０３ａ、１０３ｂのそれぞれと、ネットワーク１０４を介して接続される。遠隔監視システム１０１は、外部情報源１０３ａ、１０３ｂのそれぞれから取得した監視対象１０２をセンシングした情報を用いて、監視対象１０２から通知された当該監視対象１０２の状態の異常検知を行う異常検知システム２００を有する。なお、以降において、外部情報源１０３ａ、１０３ｂのそれぞれから取得した当該情報を、センシング情報または推定用情報とも記載する。
　監視対象１０２は、自律動作するロボットであり、例えば、警備ロボット、宅配ロボット、清掃ロボット等であるが、これに限定されない。監視対象１０２は、カメラ、マイク、赤外線センサや超音波センサ等の監視対象１０２の状態（例えば、位置情報）を検出するセンサを備えており、カメラで撮影した映像情報、マイクで収音した音声情報、センサを用いて推定した位置情報等の監視対象１０２の状態（監視対象１０２の状態を示す状態情報）を、ネットワーク１０４を介して、遠隔監視システム１０１に送信する。
　なお、ロボットは、例えば、車輪型、クローラ型または脚型（歩行型を含む）のロボットである。また、監視対象１０２は、自律動作する移動体であればよく、ロボットに限定されない。監視対象１０２は、例えば、自律移動する移動体（例えば、自律走行する車両）、自律飛行する飛行体（例えば、ドローン）等であってもよい。また、監視対象１０２は、監視対象１０２の各構成部の一部（例えば、アーム）が動いている（移動せずに、各構成部の一部だけが動いている）装置であってもよい。自律移動、自律走行および自律飛行は、自律動作の一例である。
　なお、監視対象１０２の状態とは、例えば、監視対象１０２の現在位置（現在位置座標）であるが、例えば、監視対象１０２が動作しているか否か、監視対象１０２自体の機能が可動しているか否か（例えば、現在掃除しているか否か）等であってもよい。監視対象１０２の動作には、監視対象１０２が移動している（現在位置が変化している）こと、監視対象１０２の各構成部の一部（例えば、アーム）が動いている（現在位置が変化せずに、各構成部の一部だけが動いている）こと等が含まれる。
　外部情報源１０３ａ、１０３ｂはそれぞれ、監視対象１０２の状態を検出するための装置である。外部情報源１０３ａ、１０３ｂは、監視対象１０２の状態を検出可能な位置に設置されており、カメラ、マイク、照度センサ等の各種センサ、時計等である。外部情報源１０３ａ、１０３ｂは、カメラで撮影した映像情報、マイクで収音した音声情報、各種センサが取得したセンサ値、または、時刻情報等の情報を、ネットワーク１０４を介して、遠隔監視システム１０１に送信する。外部情報源１０３ａ、１０３ｂは、監視対象１０２を介さずに当該情報を遠隔監視システム１０１に送信する。
　外部情報源１０３ａ、１０３ｂは、監視対象１０２の外部に設けられ、監視対象１０２をセンシングする。外部情報源１０３ａ、１０３ｂは、例えば、監視対象１０２と通信不可な装置である。外部情報源１０３ａ、１０３ｂは、例えば、固定されていてもよいし、移動可能であってもよい。外部情報源１０３ａ、１０３ｂは、監視対象１０２をセンシングするセンシング装置の一例であり、映像情報、音声情報、センサ値、時刻情報等は、センシングにより得られるセンシング情報の一例である。センサ値は、例えば、ダストセンサの計測値であるが、これに限定されない。
　なお、外部情報源１０３ａ、１０３ｂは、監視対象１０２が使用される空間に予め設置されている装置であってもよいし、遠隔監視システム１０１専用の装置であってもよい。また、本実施の形態において、監視システム１００は、少なくとも２つの外部情報源を備えていればよい。
　ネットワーク１０４は、通信ネットワークであり、監視対象１０２および外部情報源１０３ａ、１０３ｂが動作する形態に応じて、閉域網であってもよいし、インターネットであってもよい。
　異常検知システム２００は、外部情報源１０３ａ、１０３ｂから取得した情報を用いて、監視対象１０２から通知された監視対象１０２の状態の異常検知を行う。
　状態推定部学習システム３００は、監視対象１０２から通知された状態と、外部情報源１０３ａ、１０３ｂから取得した情報とを用いて、状態推定部３０３の状態の推定精度を向上させるための学習を行う。
　なお、状態推定部学習システム３００は、遠隔監視システム１０１内に存在してもよい。つまり、遠隔監視システム１０１は、状態推定部学習システム３００の機能の一部または全部を備えていてもよい。
　［１―１．異常検知システムの構成］
　図２は、本実施の形態に係る異常検知システム２００の機能構成を示すブロック図である。
　図２に示すように、異常検知システム２００は、状態取得部２０１と、情報取得部２０２ａ、２０２ｂと、状態推定部２０３ａ、２０３ｂと、環境管理部２０４と、状態選択部２０５と、アラート通知部２０６と、状態比較部２０７とを備える。
　状態取得部２０１は、監視対象１０２が送信した当該監視対象１０２の状態を示す状態情報を受信する。本実施の形態では、状態取得部２０１は、監視対象１０２の現在位置を当該監視対象１０２の状態として取得する。状態取得部２０１は、例えば、通信モジュール（通信回路）を含んで構成される。状態取得部２０１は、第１取得部の一例である。
　情報取得部２０２ａは、外部情報源１０３ａが送信した情報を受信し、情報取得部２０２ｂは、外部情報源１０３ｂが送信した情報を受信する。具体的には、情報取得部２０２ａは、外部情報源１０３ａから、当該外部情報源１０３ａが監視対象１０２をセンシングしたセンシング結果を示すセンシング情報（例えば、第１センシング情報）を取得し、情報取得部２０２ｂは、外部情報源１０３ｂから、当該外部情報源１０３ｂが監視対象１０２をセンシングしたセンシング結果を示すセンシング情報（例えば、第２センシング情報）を取得する。第１センシング情報および第２センシング情報は、互いに異なる種類のセンシング情報である。
　情報取得部２０２ａ、２０２ｂは、例えば、通信モジュール（通信回路）を含んで構成される。情報取得部２０２ａ、２０２ｂは、第２取得部の一例である。
　状態推定部２０３ａは、情報取得部２０２ａが取得した情報に基づいて、監視対象１０２の状態（第１状態の一例）を推定し、状態推定部２０３ｂは、情報取得部２０２ｂが取得した情報に基づいて、監視対象１０２の当該状態（第２状態の一例）を推定する。本実施の形態では、状態推定部２０３ａは、第１状態および第２状態として、監視対象１０２の現在位置を推定する。第１状態および第２状態を推定するために用いられたセンシング情報は種類が異なる情報であるので、第１状態および第２状態は異なる状態（例えば、異なる位置）となり得る。
　例えば、情報取得部２０２ａが取得した情報は、映像情報、音声情報、センサ値、時刻情報等のいずれか１つの情報であり、情報取得部２０２ｂが取得した情報は、映像情報、音声情報、センサ値、時刻情報等のうち当該いずれか１つの情報以外の情報である。つまり、情報取得部２０２ａが取得する情報（第１センシング情報）および情報取得部２０２ｂが取得する情報（第２センシング情報）は、種類が異なる情報である。
　状態推定部２０３ａは、例えば、機械学習モデルを用いて第１状態を推定し、状態推定部２０３ｂは、例えば、他の機械学習モデルを用いて第２状態を推定する。機械学習モデルは、センシング情報が入力されると、監視対象１０２の状態を出力するように予め学習されている。状態推定部２０３ａが用いる機械学習モデルと状態推定部２０３ｂが用いる機械学習モデルとは、互いに異なる入力情報を用いて学習された機械学習モデルである。
　環境管理部２０４は、状態推定部２０３ａ、２０３ｂが状態を推定する際の環境ごとに、状態推定部２０３ａ、２０３ｂが推定する状態の精度を環境情報（後述する図５を参照）として管理する。環境情報は、例えば、監視対象１０２がセンシングされたときの環境と、状態推定部２０３ａ、２０３ｂが推定した監視対象１０２の状態の推定精度とが対応付けられた情報である。ここで環境とは、例えば時刻であるが、天気、監視対象１０２の周囲の明るさ等であってもよい。例えば、環境情報は、時刻ごとの第１状態および第２状態の推定精度を含んでいてもよい。
　状態選択部２０５は、状態推定部２０３ａ、２０３ｂが推定した監視対象１０２の推定状態の中から、環境管理部２０４が管理する環境情報を用いて、どの推定状態を採用するかを選択する。状態選択部２０５は、環境情報を用いて、第１状態および第２状態の一方を選択し、選択された一方を推定状態（推定状態情報）として出力する。
　なお、状態選択部２０５は、状態決定部の一例である。状態決定部は、選択することで監視対象１０２の状態を推定することに限定されない。状態決定部は、環境情報を用いて、第１状態および第２状態から１つの状態を算出し、算出された１つの状態を推定状態として出力してもよい。状態決定部は、例えば、環境情報を用いて、第１状態および第２状態を重み付け演算し、重み付け演算された状態を推定状態として出力してもよい。
　状態比較部２０７は、状態取得部２０１が取得した状態（状態情報）と、状態選択部２０５から取得した推定状態（推定状態情報）とを比較する。推定状態情報は、少なくとも第１状態に基づく情報であり、本実施の形態では、第１状態および第２状態に基づく情報である。状態比較部２０７は、例えば、状態取得部２０１が取得した監視対象１０２の状態と、状態選択部２０５が選択した監視対象１０２の推定状態とを比較し、所定以上の差異がある場合に異常であると検知し、アラート通知部２０６に異常の検知を通知する。
　アラート通知部２０６は、状態比較部２０７の比較結果に基づいて、遠隔監視システム１０１の監視者に異常が発生したことをアラートする（通知する）。
　なお、環境管理部２０４で管理する、状態推定部２０３ａ、２０３ｂが推定する状態の推定精度は、監視者等により予め指定されていてもよいし、状態推定部学習システム３００が学習を行った結果を用いて設定されていてもよい。環境管理部２０４は、例えば、状態学習部３０１（図３を参照）から取得した推定精度を示す情報に基づいて、状態推定部２０３ａ、２０３ｂが推定した推定状態の推定精度を決定してもよい。推定精度の決定は、例えば、推定精度を示す情報と推定精度との対応関係を示すテーブルを用いて行われてもよい。
　本実施の形態に係る遠隔監視システム１０１では、監視対象１０２となるロボットの状態を外部情報源１０３ａ、１０３ｂ等からの情報（センシング情報）を用いて推定することで攻撃者による改ざんを検知する。また、遠隔監視システム１０１では、さらに、監視対象１０２が動作する環境に応じて、最適な外部情報源１０３ａ、１０３ｂ等からの情報を用いて推定した状態を複数の状態の中から選択することで、多様な環境で高い推定精度を維持することが可能となる。
　［１―２．状態推定部学習システムの構成］
　次に、状態推定部学習システム３００の構成について説明する。図３は、本実施の形態に係る状態推定部学習システム３００の機能構成を示すブロック図である。図３では、１つの状態推定部３０３に対して学習処理を行うための構成を記載している。なお、図３では、便宜上、外部情報源１０３として図示するが、状態推定部学習システム３００は、外部情報源１０３ａ、１０３ｂのそれぞれからセンシング情報を取得する。
　図３に示すように、状態推定部学習システム３００は、状態取得部２０１ａと、情報取得部２０２ｃと、状態学習部３０１と、環境管理部３０２と、状態推定部３０３とを備える。
　状態取得部２０１ａは、異常検知システム２００の状態取得部２０１と同じ構成である。状態取得部２０１ａは、監視対象１０２から状態情報を取得する。また、情報取得部２０２ｃは、異常検知システム２００の情報取得部２０２ａ、２０２ｂと同じ構成である。情報取得部２０２ｃは、外部情報源１０３からセンシング情報を取得する。
　状態推定部３０３は、情報取得部２０２ｃから取得した外部情報源１０３の情報から、監視対象１０２の状態を推定し、監視対象１０２の状態を推定した時刻と推定状態とを状態学習部３０１に出力する。
　状態学習部３０１は、状態取得部２０１ａが取得した監視対象１０２の状態と、状態推定部３０３が推定した推定状態とを比較して推定精度を算出し、環境管理部３０２と状態推定部３０３とに、環境と、算出した推定精度とを出力する。ここでの推定精度は、例えば、状態取得部２０１ａから取得した監視対象１０２の状態と、状態推定部３０３から取得した推定状態との差（推定誤差）に基づく情報である。
　環境管理部３０２は、状態学習部３０１から取得した環境（ここでは時刻）と推定精度との組み合わせを、環境情報として管理する。
　状態推定部３０３は、状態学習部３０１から取得した推定精度を元に、推定精度が向上するように機械学習モデルを学習させる。
　状態推定部３０３の学習の一例として、情報取得部２０２ｃから取得した情報を説明変数とし、監視対象１０２の状態を従属変数とする回帰モデルとし、目的関数を状態取得部２０１ａから取得した状態と、状態推定部３０３が推定した監視対象１０２の状態との差の２条値の総和を二乗和誤差とし、二乗和誤差が最小となるように学習する場合を説明する。なお、二乗和誤差は、推定精度の一例である。
　状態推定部３０３は、回帰モデルの重みまたはバイアスといった内部パラメータと、情報取得部２０２から取得した外部情報源１０３の情報とから、監視対象１０２の状態を推定し、監視対象１０２の状態を推定した時刻と推定状態とを状態学習部３０１に出力する。
　状態学習部３０１は、状態取得部２０１ａから取得した監視対象１０２の状態と、状態推定部３０３から取得した推定状態とから、目的関数である二乗和誤差を計算して推定精度を算出し、環境管理部３０２と状態推定部３０３とに、環境（ここでは時刻）と、算出した推定精度とを出力する。
　環境管理部３０２は、状態学習部３０１から取得した環境と推定精度との組み合わせを、環境情報として管理する。
　状態推定部３０３は、以前に推定を行った際の内部パラメータと状態学習部３０１から取得した推定精度との組み合わせと、今回推定した際の内部パラメータと状態学習部３０１から取得した推定精度との組み合わせとから、内部パラメータを変化させた際の推定精度の変化の傾きを、微分方程式を使用して計算し、傾きが負値、すなわち、二乗和誤差が小さくなるように内部パラメータを更新する。
　状態推定部３０３の内部パラメータの更新をしながら、状態学習部３０１で学習を繰り返し、監視対象１０２の状態を高い精度で推定できるように内部パラメータを調整し、環境管理部３０２に環境ごとの推定精度を管理する。そして、状態推定部学習システム３００は、状態推定部３０３の学習されたパラメータと環境管理部２０４で管理する学習された環境情報とを、異常検知システム２００の状態推定部２０３ａ、２０３ｂのパラメータ（内部パラメータ）と、環境管理部２０４の環境情報とに置き換えることで、学習結果を異常検知システム２００に引き継ぐことができる。
　なお、例えば、機械学習モデルの内部パラメータの調整（例えば、更新）と、環境情報の更新とは、セットで行われる。環境情報には、調整後の内部パラメータのときの推定精度が含まれる。このように、環境情報は、機械学習モデルの学習処理に基づいて生成されてもよい。
　なお、遠隔監視システム１０１が状態推定部学習システム３００の機能の一部を備える場合、状態学習部３０１は、状態取得部２０１が取得した監視対象１０２の状態と、状態推定部３０３が推定した監視対象１０２の第１状態および第２状態の少なくとも一方とに基づいて、第１状態および第２状態の当該少なくとも一方の推定精度を示す情報（例えば、二乗和誤差）を算出し、算出した推定精度を示す情報を、状態推定部２０３ａ、２０３ｂおよび環境管理部２０４に出力してもよい。
　なお、状態学習部３０１は、監視対象１０２の運用開始前に、算出した推定精度を示す情報を、状態推定部２０３ａ、２０３ｂおよび環境管理部２０４に出力してもよい。また、状態学習部３０１は、監視対象１０２の運用中に、算出した推定精度を示す情報を、状態推定部２０３ａ、２０３ｂおよび環境管理部２０４に出力してもよい。監視対象１０２の運用中においては、状態比較部２０７で異常が検知されなかった場合の、状態取得部２０１が取得した監視対象１０２の状態と、状態推定部２０３ａ、２０３ｂそれぞれが推定した推定状態とを用いて、学習が行われる。
　［１―３．状態推定部学習システムにおける学習処理］
　次に状態推定部学習システム３００における監視対象１０２の状態の推定精度を学習する処理について説明する。図４は、本実施の形態に係る状態推定部学習システム３００における学習処理（遠隔監視方法）を示すフローチャートである。
　図４に示すように、まず、状態推定部学習システム３００において、学習（学習処理）が行われる（Ｓ４０１）。ステップＳ４０１では、状態推定部３０３は、学習として、情報取得部２０２ｃが抽出した状態を使用して、監視対象１０２の状態を推定し、それを状態学習部３０１に出力する。状態学習部３０１は、状態推定部３０３が推定した状態と、状態取得部２０１が抽出した監視対象１０２の状態とを比較し、推定精度を計算し、それを状態推定部３０３に出力する。状態推定部３０３は、状態学習部３０１が計算した推定精度を元に推定精度が改善されるように内部パラメータを調整する処理を行う。ステップＳ４０１では、これらの処理が一定回数繰り返される。
　状態推定部学習システム３００は、推定精度が十分であるか否かを判定する（Ｓ４０２）。状態推定部学習システム３００は、環境管理部３０２が保持する推定精度が予め設定した精度を超えているか否かを確認する。
　推定精度が十分であると判定した場合（Ｓ４０２でＹＥＳ）、状態推定部学習システム３００は、状態推定部３０３で学習された内部パラメータと、環境管理部３０２で管理する学習された環境情報とを、異常検知システム２００の状態推定部２０３ａ、２０３ｂの内部パラメータと、環境管理部２０４の環境情報とに置き換えて運用する（Ｓ４０３）。
　推定精度が十分ではないと判定した場合（Ｓ４０２でＮＯ）、状態推定部学習システム３００は、状態推定部３０３の推定精度の向上が見込めないと判定し、学習方法を見直したうえで（Ｓ４０４）、再度ステップＳ４０１を実行する。
　学習方法の一例として、状態推定部３０３は、情報取得部２０２ｃから取得した情報を説明変数とし、監視対象１０２の状態を従属変数とする回帰モデルとし、状態学習部３０１は、回帰モデルを、最小二乗法を用いて、状態推定部３０３が推定した監視対象１０２の推定状態と、状態取得部２０１ａから取得した状態との差分を最小化するように学習させる。
　状態学習部３０１は、学習後の推定精度が十分でなく、また、推定精度の向上が見込めないと判定した場合、学習方法の見直しとして、例えば、回帰モデルを線形回帰から回帰木に変更するといった数理モデルの見直しを行い、誤差が許容範囲内になるまで精度向上を行う。
　上記のように、監視システム１００（または遠隔監視システム１０１）においては、機械学習モデルを学習する学習モードが存在する。また、学習モードは、例えば、監視対象１０２が使用される空間において実行される。
　［１―４．環境管理部で管理する内容］
　次に、異常検知システム２００の環境管理部２０４で管理する内容について説明する。図５は、本実施の形態に係る環境管理部２０４で管理する環境情報テーブルの一例を示す図である。
　図５に示すように、環境情報テーブルは、環境５０１と推定精度５０２とを含む。推定精度５０２は、状態推定部２０３ａの推定精度および状態推定部２０３ｂの推定精度を含む。
　環境５０１は、状態推定部２０３ａ、２０３ｂが状態を推定した際の環境を表す。図５においては、環境５０１は時刻であり、時刻ごとの推定精度５０２を示している。
　推定精度５０２は、環境５０１における推定精度を表す。推定精度５０２は、状態推定部２０３ａの推定精度と状態推定部２０３ｂの推定精度との比重をパーセントで示している。図５では、状態推定部２０３ａ、２０３ｂ間の精度差をわかりやすくするために推定精度を比重で示したが、状態推定部２０３ａ、２０３ｂ間の精度が比較できるのであれば任意の単位を使用してよい。また、推定精度は、数値であることに限定されず、例えば、「高」、「中」、「低」等の段階で表されてもよい。
　例えば、図５の例の場合、１２：００に状態推定部２０３ａが外部情報源１０３ａのセンシング情報に基づいて推定した監視対象１０２の状態の推定精度は８０％であり、１２：００に状態推定部２０３ｂが外部情報源１０３ｂのセンシング情報に基づいて推定した監視対象１０２の状態の推定精度は２０％である。このことから、１２：００においては、状態推定部２０３ａが推定した監視対象１０２の状態の方が、状態推定部２０３ｂが推定した監視対象１０２の状態より推定精度が高いことがわかる。
　環境情報テーブルは、予め準備しておいてもよいし、状態推定部学習システム３００における学習によって作成してもよいし、状態推定部学習システム３００における環境管理部３０２の環境情報から作成してもよい。
　状態推定部学習システム３００における学習によって作成する場合、環境５０１には推定を行った際の環境が、推定精度５０２にはその際の推定精度が記録される。
　［１―５．遠隔監視システムおよび状態選択部の処理］
　次に遠隔監視システム１０１および状態選択部２０５の処理について説明する。まずは、遠隔監視システム１０１の処理について説明する。図６Ａは、本実施の形態に係る遠隔監視システム１０１の処理（遠隔監視方法）を示すフローチャートである。
　図６Ａに示すように、まず、状態取得部２０１は、監視対象１０２から当該監視対象１０２の状態を示す状態情報を取得する（Ｓ６０１）。状態情報には、監視対象１０２が備えるセンサ等がセンシングした時刻を示す時刻情報が含まれる。
　次に、情報取得部２０２ａ、２０２ｂは、外部情報源１０３ａ、１０３ｂから、推定用情報を取得する（Ｓ６０２）。具体的には、情報取得部２０２ａは、外部情報源１０３ａから、第１センシング情報を推定用情報として取得し、情報取得部２０２ｂは、外部情報源１０３ｂから、第２センシング情報を推定用情報として取得する。
　なお、第１センシング情報および第２センシング情報の取得タイミングは特に限定されず、例えば、所定時間間隔ごとに取得されてもよい。また、第１センシング情報および第２センシング情報は、同期して取得されてもよい。例えば、第１センシング情報および第２センシング情報は、状態情報に含まれる時刻情報が示す時刻と所定の時間差（例えば、数秒～数分）以内の時刻にセンシングされた情報である。
　次に、状態推定部２０３ａ、２０３ｂは、２以上の推定用情報のそれぞれにおける、監視対象１０２の状態を推定する（Ｓ６０３）。具体的には、状態推定部２０３ａは、第１センシング情報を機械学習モデルに入力して得られる出力である監視対象１０２の状態（第１状態）を、推定結果として取得する。また、状態推定部２０３ｂは、第２センシング情報を機械学習モデルに入力して得られる出力である監視対象１０２の状態（第２状態）を、推定結果として取得する。ここでの第１状態および第２状態は、監視対象１０２の現在位置を示す情報（例えば、現在位置座標）である。
　状態推定部２０３ａ、２０３ｂは、推定結果を状態選択部２０５に出力する。
　次に、状態選択部２０５は、推定された２以上の監視対象１０２の状態から、１つの監視対象１０２の状態を決定する（Ｓ６０４）。本実施の形態では、状態選択部２０５は、環境情報に基づいて、第１状態および第２状態のうち推定精度が高い方を選択し、選択された状態を、監視対象１０２の推定状態に決定する。状態選択部２０５は、状態情報に含まれる時刻情報が示す時刻における、状態推定部２０３ａ、２０３ｂそれぞれの推定精度を環境情報テーブルから取得し、取得した推定精度に基づいて第１状態および第２状態のうち推定精度が高い方を選択する。
　状態選択部２０５は、選択した監視対象１０２の推定状態を状態比較部２０７に出力する。
　次に、状態比較部２０７は、状態取得部２０１が監視対象１０２から取得した状態と、推定状態との差分が閾値以下であるか否かを判定する（Ｓ６０５）。閾値は、予め設定されている。
　次に、状態比較部２０７は、差分が閾値以下であると判定した場合（Ｓ６０５でＹＥＳ）、監視対象１０２から取得した状態が正常範囲であるので、処理を終了する。ステップＳ６０５でＹＥＳと判定されることは、監視対象１０２において当該監視対象１０２の状態の改ざんが行われていないことを意味する。また、状態比較部２０７は、差分が閾値以下ではないと判定した場合（Ｓ６０５でＮＯ）、アラート通知部２０６に異常を検知したことを出力する。ステップＳ６０５でＮＯと判定されることは、監視対象１０２において当該監視対象１０２の状態の改ざんが行われている、または、改ざんが行われている可能性が高いことを意味する。
　次に、アラート通知部２０６は、遠隔監視システム１０１の監視者に異常を検知したことを示すアラートを通知する（Ｓ６０６）。アラートは、例えば、ディスプレイ上の表示により行われてもよいし、出音装置による出音により行われてもよいし、発光装置による発光により行われてもよいし、その他の方法またはそれらの組み合わせにより行われてもよい。
　続いて、状態選択部２０５の処理について説明する。図６Ｂは、本実施の形態に係る状態選択部２０５の処理（遠隔監視方法）を示すフローチャートである。図６Ｂは、図６ＡのステップＳ６０４を詳細に示すフローチャートである。
　図６Ｂに示すように、状態選択部２０５は、例えば、１２：００における状態推定部２０３ａ、２０３ｂが推定した状態を取得する（Ｓ６１１）。
　状態選択部２０５は、環境管理部２０４から、環境と、その環境における状態推定部２０３ａ、２０３ｂの推定精度とを紐づける環境情報を取得する（Ｓ６１２）。
　状態選択部２０５は、推定した状態と、その状態が推定された際の環境と、その環境における推定精度とから、最終的な推定状態を選択する（Ｓ６１３）。図５の環境情報において、１２：００における状態推定部２０３ａの推定精度は８０％であり、状態推定部２０３ｂの推定精度は２０％であるため、状態選択部２０５は、推定精度が８０％と高い状態推定部２０３ａが推定した状態を選択する。これは、監視対象１０２の１つの状態を決定することの一例である。
　なお、状態選択部２０５は、推定精度が最も高いものを選択する他に、それぞれの推定精度を元に推定した状態に重みづけを行い、重みづけに応じて新たな推定した状態を算出してもよい。例えば、推定精度が高いほど、重みが大きくなるように新たな推定した状態が算出されてもよい。
　（実施の形態２）
　監視対象が自律移動を伴うロボットである場合の異常検知システムについて説明する。本実施の形態では、ロボットから通知される位置情報が改ざんされているか否かを検知する場合を説明する。
　図７は、本実施の形態に係る異常検知システム７００の機能構成を示すブロック図である。
　図７に示すように、異常検知システム７００は、状態取得部７０２と、情報取得部７１１、７２１と、状態推定部７１２、７２２と、環境管理部７０４と、状態選択部７０３と、アラート通知部２０６と、状態比較部２０７とを備える。
　異常検知システム７００の監視対象はロボット７０１であり、外部情報源は、固定カメラ７１０および固定マイク７２０である。
　ロボット７０１は位置情報を異常検知システム７００に送信する。位置情報としては、ロボット７０１に搭載された、Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ（ＧＰＳ）デバイスの測位情報、または、Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎａｌａｎｄ　Ｍａｐｐｉｎｇ（ＳＬＡＭ）により推定した位置情報が用いられる。
　固定カメラ７１０は、ロボット７０１を撮影しやすい位置、例えば、居室の天井付近に設置され、撮影した映像７１３を異常検知システム７００に送信し、固定マイク７２０は、当該ロボット７０１の活動に伴う音が収音しやすい位置、例えば、居室内の出入口付近に設置され、収音した音声７２３を異常検知システム７００に送信する。固定カメラ７１０は第１センシング装置の一例であり、固定マイク７２０は第２センシング装置の一例である。
　状態取得部７０２は、ロボット７０１から位置情報を受信する。状態取得部７０２は、ロボット７０１の位置情報をロボット７０１の状態として取得する。
　情報取得部７１１は、固定カメラ７１０が送信した映像７１３を受信し、状態推定に使用する映像データを抽出する。映像データの例としては、グレイスケールに変換されたビットマップイメージである。映像７１３は、第１センシング情報の一例である。
　状態推定部７１２は、情報取得部７１１が抽出した映像データを使用して、ロボット７０１の位置を推定し、推定状態７１４として出力する。
　情報取得部７２１は、固定マイク７２０が送信した音声７２３を受信し、状態推定に使用する音声データを抽出する。音声データの例として、一定周期ごとに分割され、ロボット７０１の活動音が識別しやすい周波数のみが含まれるよう、バンドパスフィルタ処理されたＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ：パルス符号変調）データが例示されるが、これに限定されない。音声７２３は、第２センシング情報の一例である。
　状態推定部７２２は、情報取得部７２１が抽出した音声データを使用して、ロボット７０１の位置を推定し、推定状態７２４として出力する。
　環境管理部７０４は、固定カメラ７１０および固定マイク７２０の時刻ごとの推定精度を保持する環境情報７０５（図８を参照）を管理する。
　状態選択部７０３は、環境管理部７０４で管理される環境情報７０５に応じて、推定状態７１４および推定状態７２４のうち、推定精度の高い推定状態を選択する。
　アラート通知部２０６は、異常検知システム２００と同じ構成である。
　状態比較部２０７は、状態取得部７０２が抽出した位置情報と、状態選択部７０３が選択した推定状態（推定された位置情報）とを比較し、一定以上の差異がある場合に異常であると検知し、アラート通知部２０６に異常の検知を通知する。
　より具体的には、状態比較部２０７は、状態取得部７０２から、ロボット７０１の位置情報を緯度、経度の形式で取得し、状態選択部７０３から推定されたロボット７０１の位置情報を緯度、経度の形式で取得し、両位置情報間の距離を計算し、計算した距離が予め設定された閾値を超える場合に異常であると検知する。
　ロボット７０１が、オフィスビル、商業施設等の施設で活動する場合、ロボット７０１の活動時間帯内では施設内の照度は高く、周囲の騒音も大きくなり、ロボット７０１の活動時間帯外では施設内の照度が低く、周囲の騒音も小さくなると想定される。
　この場合、ロボット７０１の活動時間帯内では固定カメラ７１０の映像７１３から状態を推定し、ロボット７０１の活動時間帯外では固定マイク７２０の音声７２３から状態を推定することで、より高い推定精度が得られる可能性が高い。
　図８は、本実施の形態に係る異常検知システムの環境管理部７０４が管理する環境情報テーブルの一例を示す図である。
　図８に示すように、環境情報テーブルでは、ロボット７０１の活動時間帯内である時刻１２：００から２２：００の間は、状態推定部７１２の推定精度が高く設定され、ロボット７０１の活動時間帯外である２２：００から１２：００の間は、状態推定部７２２の推定精度が高く設定されている。
　状態選択部７０３は、環境情報テーブルの環境１００１である所定の時刻において、推定精度１００２の推定精度が高い方の位置を、ロボット７０１の位置として選択することで、時刻の変化に応じた最適な推定状態を選択できる。
　図８に示す環境情報テーブルは、状態推定部学習システム３００で状態推定部７１２、７２２を学習させた後で、状態推定部学習システム３００における環境管理部３０２の環境情報から作成されてもよい。
　なお、本実施の形態では、説明を簡単にするため、固定カメラ７１０および固定マイク７２０の数を１つに限定して説明したが、それぞれ複数個使用されてもよい。
　（実施の形態３）
　次に監視対象が警備作業を伴う警備ロボットである場合の異常検知システムについて説明する。本実施の形態では、警備ロボットから通知される位置情報が改ざんされているか否かを検知する場合を説明する。
　図９は、本実施の形態に係る異常検知システム８００の機能構成を示すブロック図である。
　図９に示すように、異常検知システム８００は、状態取得部８０２と、情報取得部８１１、８２１と、状態推定部８１２、８２２と、環境管理部８０４と、状態選択部８０３と、アラート通知部２０６と、状態比較部２０７とを備える。
　異常検知システム８００の監視対象は警備ロボット８０１であり、外部情報源は、固定カメラ８１０および照度センサ８２０である。
　警備ロボット８０１は位置情報を異常検知システム８００に送信する。位置情報としては、警備ロボット８０１に搭載されたＧＰＳデバイスの測位情報、または、ＳＬＡＭにより推定した位置情報が用いられる。
　固定カメラ８１０は、警備ロボット８０１が撮影しやすい位置、例えば、居室の天井付近に設置され、撮影した映像８１３を異常検知システム８００に送信し、照度センサ８２０は、警備ロボット８０１の移動経路上に設置され、取得した照度値８２３を異常検知システム８００に送信する。固定カメラ８１０は第１センシング装置の一例であり、照度センサ８２０は第２センシング装置の一例である。
　状態取得部８０２は、警備ロボット８０１から位置情報を受信する。
　情報取得部８１１は、固定カメラ８１０が送信した映像８１３を受信し、状態推定に使用する映像データを抽出する。映像データの例としては、グレイスケールに変換されたビットマップイメージである。映像８１３は、第１センシング情報の一例である。
　状態推定部８１２は、情報取得部８１１が抽出した映像データを使用して、警備ロボット８０１の位置を推定し、推定状態８１４として出力する。
　情報取得部８２１は、照度センサ８２０が送信した照度値８２３を受信し、状態推定に使用する照度データを抽出する。照度データとしては、照度値を明るさの単位であるルクスに変換した値である。照度値８２３は、第２センシング情報の一例である。
　状態推定部８２２は、情報取得部８２１が抽出した照度データを使用して、警備ロボット８０１の位置を推定し、推定状態８２４として出力する。
　具体的には、夜間等、周辺の照明が点灯していない状況では、警備ロボット８０１は巡回する際に、警備ロボット８０１自身が照明を点灯させるので、情報取得部８２１は、照度センサ８２０の照度値を取得し、状態推定部８２２は、取得した照度値から警備ロボット８０１がどれくらい離れた場所にいるかを推定する。
　環境管理部８０４は、固定カメラ８１０および照度センサ８２０の時刻ごとの推定精度を保持する環境情報８０５（図１０を参照）を管理する。
　状態選択部８０３は、環境管理部８０４で管理される環境情報８０５に応じて、推定状態８１４および推定状態８２４のうち、推定精度の高い推定状態を選択する。
　アラート通知部２０６は、異常検知システム２００と同じ構成である。
　状態比較部２０７は、状態取得部８０２が抽出した位置情報と、状態選択部８０３が選択した推定状態（推定された位置情報）とを比較し、一定以上の差異がある場合に異常であると検知し、アラート通知部２０６に異常の検知を通知する。
　警備ロボット８０１において、警備作業の一環として巡回を行う際、巡回中は警備ロボット８０１の内蔵カメラで録画を行い、巡回の証跡とする場合を想定する。そのため、警備ロボット８０１の夜間の巡回時は、録画に必要な照度の確保または保安を目的として警備ロボット８０１が照明を点灯することで、警備ロボット８０１周辺の照度値が高くなる。
　図１０は、本実施の形態に係る異常検知システム８００の環境管理部８０４が管理する環境情報テーブルの一例を示す図である。
　図１０に示すように、環境情報テーブルでは、昼間等の周囲が明るく警備ロボット８０１が固定カメラ８１０の映像に明確に映る時間帯である０８：００から２０：００は、状態推定部８１２の推定精度が高く設定され、夜間等の周囲が暗いため警備ロボット８０１は固定カメラ８１０の映像に明確に映らないが、清掃ロボットが点灯させる照明による照度値の変動は検知しやすい時間帯である２２：００から０８：００は、状態推定部８２２の推定精度が高く設定される。
　状態選択部８０３は、環境情報テーブルの環境１１０１である所定の時刻において、推定精度１１０２の推定精度が高い方の位置を、警備ロボット８０１の位置として選択することで、時刻の変化に応じた最適な推定状態を選択できる。
　環境情報テーブルは、状態推定部学習システム３００で状態推定部８１２、８２２を学習させた後で、状態推定部学習システム３００における環境管理部３０２の環境情報から作成されてもよい。
　なお、本実施の形態では、説明を簡単にするため、固定カメラ８１０および照度センサ８２０の数を１つに限定して説明したが、それぞれ複数個使用してもよい。
　（実施の形態４）
　次に監視対象が清掃作業を伴う清掃ロボットである場合の異常検知システムについて説明する。本実施の形態では、清掃ロボットから通知される位置情報が改ざんされているか否かを検知する場合を説明する。
　図１１は、本実施の形態に係る異常検知システム９００の機能構成を示すブロック図である。
　図１１に示すように、異常検知システム９００は、状態取得部９０２と、情報取得部９１１、９２１と、状態推定部９１２、９２２と、環境管理部９０４と、状態選択部９０３と、アラート通知部２０６と、状態比較部２０７とを備える。
　異常検知システム９００の監視対象は清掃ロボット９０１であり、外部情報源は、固定カメラ９１０およびダストセンサ９２０である。
　清掃ロボット９０１は位置情報を異常検知システム９００に送信する。位置情報としては、清掃ロボット９０１に搭載されたＧＰＳデバイスの測位情報、または、ＳＬＡＭにより推定した位置情報が用いられる。
　固定カメラ９１０は、清掃ロボット９０１が撮影しやすい位置、例えば、居室の天井付近に設置され、撮影した映像９１３を異常検知システム９００に送信し、ダストセンサ９２０は、清掃ロボット９０１が清掃作業を行う場所の周辺に設置され、取得したセンサ値９２３を異常検知システム９００に送信する。固定カメラ９１０は第１センシング装置の一例であり、ダストセンサ９２０は第２センシング装置の一例である。
　状態取得部９０２は、清掃ロボット９０１から位置情報を受信する。
　情報取得部９１１は、固定カメラ９１０が送信した映像９１３を受信し、状態推定に使用する映像データを抽出する。映像データの例としては、グレイスケールに変換されたビットマップイメージである。映像９１３は、第１センシング情報の一例である。
　状態推定部９１２は、情報取得部９１１が抽出した映像データを使用して、清掃ロボット９０１の位置を推定し、推定状態９１４として出力する。
　情報取得部９２１は、ダストセンサ９２０が送信したセンサ値９２３を受信し、状態推定に使用するセンサ値を抽出する。センサ値の例としては、大気中に存在する粒子の量が挙げられる。センサ値９２３は、第２センシング情報の一例である。
　状態推定部９２２は、情報取得部９２１が抽出したセンサデータを使用して、清掃ロボット９０１の位置を推定し、推定状態９２４として出力する。
　具体的には、夜間等、周囲で活動する人間が存在しない状況で、清掃ロボット９０１は清掃作業を行う。清掃ロボット９０１による清掃作業により、周辺に粉塵が巻き上がるので、情報取得部９２１は、ダストセンサ９２０のセンサ値を取得し、状態推定部９２２は、取得したセンサ値から、清掃ロボット９０１がどれくらい離れた場所にいるかを推定する。
　環境管理部９０４は、固定カメラ９１０およびダストセンサ９２０の時刻ごとの推定精度を保持する環境情報９０５（図１２を参照）を管理する。
　状態選択部９０３は、環境管理部９０４で管理される環境情報９０５に応じて、推定状態９１４および推定状態９２４のうち、推定精度の高い推定状態を選択する。
　アラート通知部２０６は、異常検知システム２００と同じ構成である。
　状態比較部２０７は、状態取得部９０２が抽出した位置情報と、状態選択部９０３が選択した推定状態（推定された位置情報）とを比較し、一定以上の差異がある場合に異常であると検知し、アラート通知部２０６に異常の検知を通知する。
　清掃ロボット９０１が清掃作業を行う場合、大気中に埃が舞い上がることが想定される。そのため、清掃作業中の清掃ロボット９０１の周辺では、ダストセンサのセンサ値が大きく変動する。
　図１２は、本実施の形態に係る異常検知システム９００の環境管理部９０４が管理する環境情報テーブルの一例を示す図である。
　図１２に示すように、環境情報テーブルでは、昼間等の周囲が明るく清掃ロボット９０１が固定カメラ９１０の映像に明確に映る時間帯である０７：００から２１：００は、状態推定部９１２の推定精度が高く設定され、夜間等の周囲が暗いため清掃ロボット９０１は固定カメラ９１０の映像に明確に映らない時間帯である２１：００から０７：００は、状態推定部９２２の推定精度が高く設定される。
　状態選択部９０３は、環境情報テーブルの環境１２０１である所定の時刻において、推定精度１２０２の推定精度が高い方の位置を、清掃ロボット９０１の位置として選択することで、時刻の変化に応じた最適な推定状態を選択できる。
　環境情報テーブルは、状態推定部学習システム３００で状態推定部９１２、９２２を学習させた後で、状態推定部学習システム３００における環境管理部３０２の環境情報から作成されてもよい。
　なお、本実施の形態では、説明を簡単にするため、固定カメラ９１０およびダストセンサ９２０の数を１つに限定して説明したが、それぞれ複数個使用してもよい。
　（その他の実施の形態）
　以上、一つまたは複数の態様に係る遠隔監視システム等について、各実施の形態に基づいて説明したが、本開示は、この各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
　例えば、上記各実施の形態に係る監視対象は、屋内で用いられる移動体であってもよいし、屋外で用いられる移動体であってもよい。
　また、上記各実施の形態に係る監視システムは、外部情報源を１つのみ備えていてもよい。この場合、異常検知システムは、状態選択部を備えていなくてもよい。また、環境管理部は、状態比較部に環境情報を出力し、状態比較部は、環境情報に基づいて、状態情報と推定状態情報とを比較してもよい。状態比較部は、例えば、状態情報および推定状態情報の差分と比較する閾値を環境情報に応じて変更してもよい。例えば、状態比較部は、環境情報が示す推定精度が高いほど閾値を大きな値に変更してもよい。
　また、上記各実施の形態では、損失関数として二乗和誤差を例示したが、損失関数は二乗和誤差に限定されず、いかなる損失関数が用いられてもよい。
　また、上記実施の形態２～４では、第１センシング装置として固定カメラが用いられる例について説明したが、これに限定されない。第１センシング装置および第２センシング装置のそれぞれは、互いに異なるセンシング情報を取得可能であればよく、例えば、固定カメラ以外のセンシング装置が用いられてもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列または時分割に処理してもよい。
　また、上記各実施の形態に係る遠隔監視システムは、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。遠隔監視システムが複数の装置によって実現される場合、当該遠隔監視システムが有する各構成要素は、複数の装置にどのように振り分けられてもよい。遠隔監視システムが複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
　また、上記各実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路（例えば、専用のプログラムを実行する汎用回路）または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）または、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
　システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　また、本開示の一態様は、図４、図６Ａおよび図６Ｂのいずれかに示される遠隔監視方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。
　また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布または流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　（付記）
　以上の実施の形態の記載により、下記の技術が開示される。
　（技術１）
　自律動作する監視対象の状態の異常を検知する遠隔監視システムであって、
　前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、
　前記監視対象の外部に設けられ前記監視対象をセンシングする第１センシング装置から、前記監視対象をセンシングした第１センシング情報を取得する第２取得部と、
　前記第２取得部が取得した前記第１センシング情報に基づいて、前記監視対象の状態である第１状態を推定する状態推定部と、
　前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記第１状態に基づく推定状態情報とを比較する状態比較部と、
　前記状態比較部の比較結果に基づいて、前記遠隔監視システムの監視者に異常が発生したことを通知する通知部とを備える
　遠隔監視システム。
　（技術２）
　前記第２取得部は、前記監視対象の外部に設けられた前記監視対象をセンシングする第２センシング装置から、前記監視対象をセンシングした、前記第１センシング情報と異なる第２センシング情報をさらに取得し、
　前記状態推定部は、前記第２取得部が取得した前記第２センシング情報に基づいて、前記監視対象の前記状態である第２状態を推定し、
　前記推定状態情報は、さらに前記第２状態に基づく情報である
　技術１に記載の遠隔監視システム。
　（技術３）
　さらに、
　前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部と、
　前記環境管理部が管理する前記環境情報を用いて、前記第１状態および前記第２状態から１つの状態を決定し、決定された前記１つの状態を前記推定状態情報として出力する状態決定部とを備える
　技術２に記載の遠隔監視システム。
　（技術４）
　前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態の一方を選択し、選択された前記一方を前記推定状態情報として出力する
　技術３に記載の遠隔監視システム。
　（技術５）
　前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態を重み付け演算し、重み付け演算された状態を前記推定状態情報として出力する
　技術３に記載の遠隔監視システム。
　（技術６）
　前記第１取得部は、前記監視対象の現在位置を前記状態として取得し、
　前記状態推定部は、前記第１状態および前記第２状態として、前記監視対象の現在位置を推定し、
　前記環境情報は、時刻ごとの前記第１状態および前記第２状態の推定精度を含む
　技術３～５のいずれかに記載の遠隔監視システム。
　（技術７）
　前記監視対象は、ロボットであり、
　前記第１センシング装置は、固定カメラを含み、
　前記第２センシング装置は、固定マイクを含む
　技術６に記載の遠隔監視システム。
　（技術８）
　前記監視対象は、警備作業を行うロボットであり、
　前記第１センシング装置は、固定カメラを含み、
　前記第２センシング装置は、照度センサを含む
　技術６に記載の遠隔監視システム。
　（技術９）
　前記監視対象は、清掃作業を行うロボットであり、
　前記第１センシング装置は、固定カメラを含み、
　前記第２センシング装置は、ダストセンサを含む
　技術６に記載の遠隔監視システム。
　（技術１０）
　さらに、前記第１取得部が取得した前記監視対象の状態と、前記状態推定部が推定した前記監視対象の第１状態および前記第２状態の少なくとも一方とに基づいて、前記第１状態および前記第２状態の前記少なくとも一方の推定精度を示す情報を算出し、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する状態学習部を備える
　技術３～９のいずれかに記載の遠隔監視システム。
　（技術１１）
　前記環境管理部は、前記状態学習部から取得した前記推定精度を示す情報に基づいて、前記状態推定部が推定した状態の推定精度を決定する
　技術１０に記載の遠隔監視システム。
　（技術１２）
　前記状態学習部は、前記監視対象の運用開始前に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する
　技術１０または１１に記載の遠隔監視システム。
　（技術１３）
　前記状態学習部は、前記監視対象の運用中に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する
　技術１０～１２のいずれかに記載の遠隔監視システム。
　（技術１４）
　さらに、前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部を備え、
　前記状態比較部は、前記環境情報に基づいて、前記状態情報と前記推定状態情報とを比較する
　技術１に記載の遠隔監視システム。
　（技術１５）
　自律動作する監視対象の状態の異常を検知する異常検知システムであって、
　前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、
　前記監視対象の外部に設けられ前記監視対象をセンシングするセンシング装置から、前記監視対象をセンシングしたセンシング情報を取得する第２取得部と、
　前記第２取得部が取得した前記センシング情報に基づいて、前記監視対象の状態を推定する状態推定部と、
　前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記状態に基づく推定状態情報とを比較する状態比較部とを備える
　異常検知システム。
　（技術１６）
　自律動作する監視対象の状態の異常を検知する遠隔監視方法であって、
　前記監視対象から当該監視対象の状態を示す状態情報を取得し、
　前記監視対象の外部に設けられた前記監視対象をセンシングするセンシング装置から、前記監視対象をセンシングしたセンシング情報を取得し、
　取得された前記センシング情報に基づいて、前記監視対象の状態を推定し、
　取得された前記状態情報と、推定された前記監視対象の前記状態に基づく推定状態情報とを比較し、
　前記状態情報と前記推定状態情報との比較結果に基づいて、遠隔監視システムの監視者に異常が発生したことを通知する
　遠隔監視方法。
　（技術１７）
　技術１６に記載の遠隔監視方法をコンピュータに実行させるためのプログラム。
　本開示は、自律動作するロボットを遠隔監視する際に、監視対象となるロボットが遠隔監視システムに通知する状態が、実際の状態と異なるか否かを判定する異常検知システムに有用である。
　１００　監視システム
　１０１　遠隔監視システム
　１０２　監視対象
　１０３、１０３ａ、１０３ｂ　外部情報源（センシング装置）
　１０４　ネットワーク
　２００、７００、８００、９００　異常検知システム
　２０１、２０１ａ、７０２、８０２、９０２　状態取得部（第１取得部）
　２０２、２０２ａ、２０２ｂ、２０２ｃ、７１１、７２１、８１１、８２１、９１１、９２１　情報取得部（第２取得部）
　２０３ａ、２０３ｂ、３０３、７１２、７２２、８１２、８２２、９１２，９２２　状態推定部
　２０４、３０２、７０４、８０４、９０４　環境管理部
　２０５、７０３、８０３、９０３　状態選択部（状態決定部）
　２０６　アラート通知部
　２０７　状態比較部
　３００　状態推定部学習システム
　３０１　状態学習部
　５０１、１００１、１１０１、１２０１　環境
　５０２、１００２、１１０２、１２０２　推定精度
　７０１　ロボット（監視対象）
　７０５、８０５、９０５　環境情報
　７１０、８１０、９１０　固定カメラ（第１センシング装置）
　７１３、８１３、９１３　映像（第１センシング情報）
　７１４、７２４、８１４、８２４、９１４、９２４　推定状態
　７２０　固定マイク（第２センシング装置）
　７２３　音声（第２センシング情報）
　８０１　警備ロボット（監視対象）
　８２０　照度センサ（第２センシング装置）
　８２３　照度値（第２センシング情報）
　９０１　清掃ロボット（監視対象）
　９２０　ダストセンサ（第２センシング装置）
　９２３　センサ値（第２センシング情報）

Claims (17)

  1. 　自律動作する監視対象の状態の異常を検知する遠隔監視システムであって、
    　前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、
    　前記監視対象の外部に設けられ前記監視対象をセンシングする第１センシング装置から、前記監視対象のセンシング結果を示す第１センシング情報を取得する第２取得部と、
    　前記第２取得部が取得した前記第１センシング情報に基づいて、前記監視対象の状態である第１状態を推定する状態推定部と、
    　前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記第１状態に基づく推定状態情報とを比較する状態比較部と、
    　前記状態比較部の比較結果に基づいて、前記遠隔監視システムの監視者に異常が発生したことを通知する通知部とを備える
    　遠隔監視システム。
  2. 　前記第２取得部は、前記監視対象の外部に設けられた前記監視対象をセンシングする第２センシング装置から、前記監視対象のセンシング結果を示す、前記第１センシング情報と異なる第２センシング情報をさらに取得し、
    　前記状態推定部は、前記第２取得部が取得した前記第２センシング情報に基づいて、前記監視対象の前記状態である第２状態を推定し、
    　前記推定状態情報は、さらに前記第２状態に基づく情報である
    　請求項１に記載の遠隔監視システム。
  3. 　さらに、
    　前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部と、
    　前記環境管理部が管理する前記環境情報を用いて、前記第１状態および前記第２状態から１つの状態を決定し、決定された前記１つの状態を前記推定状態情報として出力する状態決定部とを備える
    　請求項２に記載の遠隔監視システム。
  4. 　前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態の一方を選択し、選択された前記一方を前記推定状態情報として出力する
    　請求項３に記載の遠隔監視システム。
  5. 　前記状態決定部は、前記環境情報を用いて、前記第１状態および前記第２状態を重み付け演算し、重み付け演算された状態を前記推定状態情報として出力する
    　請求項３に記載の遠隔監視システム。
  6. 　前記第１取得部は、前記監視対象の現在位置を前記状態として取得し、
    　前記状態推定部は、前記第１状態および前記第２状態として、前記監視対象の現在位置を推定し、
    　前記環境情報は、時刻ごとの前記第１状態および前記第２状態の推定精度を含む
    　請求項３～５のいずれか１項に記載の遠隔監視システム。
  7. 　前記監視対象は、ロボットであり、
    　前記第１センシング装置は、固定カメラを含み、
    　前記第２センシング装置は、固定マイクを含む
    　請求項６に記載の遠隔監視システム。
  8. 　前記監視対象は、警備作業を行うロボットであり、
    　前記第１センシング装置は、固定カメラを含み、
    　前記第２センシング装置は、照度センサを含む
    　請求項６に記載の遠隔監視システム。
  9. 　前記監視対象は、清掃作業を行うロボットであり、
    　前記第１センシング装置は、固定カメラを含み、
    　前記第２センシング装置は、ダストセンサを含む
    　請求項６に記載の遠隔監視システム。
  10. 　さらに、前記第１取得部が取得した前記監視対象の状態と、前記状態推定部が推定した前記監視対象の第１状態および前記第２状態の少なくとも一方とに基づいて、前記第１状態および前記第２状態の前記少なくとも一方の推定精度を示す情報を算出し、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する状態学習部を備える
    　請求項３～９のいずれか１項に記載の遠隔監視システム。
  11. 　前記環境管理部は、前記状態学習部から取得した前記推定精度を示す情報に基づいて、前記状態推定部が推定した状態の推定精度を決定する
    　請求項１０に記載の遠隔監視システム。
  12. 　前記状態学習部は、前記監視対象の運用開始前に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する
    　請求項１０または１１に記載の遠隔監視システム。
  13. 　前記状態学習部は、前記監視対象の運用中に、算出した前記推定精度を示す情報を、前記状態推定部および前記環境管理部に出力する
    　請求項１０～１２のいずれか１項に記載の遠隔監視システム。
  14. 　さらに、前記監視対象がセンシングされたときの環境と、前記状態推定部が推定した状態の推定精度とが対応付けられた環境情報を管理する環境管理部を備え、
    　前記状態比較部は、前記環境情報に基づいて、前記状態情報と前記推定状態情報とを比較する
    　請求項１に記載の遠隔監視システム。
  15. 　自律動作する監視対象の状態の異常を検知する異常検知システムであって、
    　前記監視対象から当該監視対象の状態を示す状態情報を取得する第１取得部と、
    　前記監視対象の外部に設けられ前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得する第２取得部と、
    　前記第２取得部が取得した前記センシング情報に基づいて、前記監視対象の状態を推定する状態推定部と、
    　前記第１取得部が取得した前記状態情報と、前記状態推定部が推定した前記監視対象の前記状態に基づく推定状態情報とを比較する状態比較部とを備える
    　異常検知システム。
  16. 　自律動作する監視対象の状態の異常を検知する遠隔監視方法であって、
    　前記監視対象から当該監視対象の状態を示す状態情報を取得し、
    　前記監視対象の外部に設けられた前記監視対象をセンシングするセンシング装置から、前記監視対象のセンシング結果を示すセンシング情報を取得し、
    　取得された前記センシング情報に基づいて、前記監視対象の状態を推定し、
    　取得された前記状態情報と、推定された前記監視対象の前記状態に基づく推定状態情報とを比較し、
    　前記状態情報と前記推定状態情報との比較結果に基づいて、遠隔監視システムの監視者に異常が発生したことを通知する
    　遠隔監視方法。
  17. 　請求項１６に記載の遠隔監視方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/028866 2021-08-26 2022-07-27 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム WO2023026750A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280055789.3A CN117813810A (zh) 2021-08-26 2022-07-27 远程监视系统、异常检测系统、远程监视方法以及程序
JP2023543758A JPWO2023026750A1 (ja) 2021-08-26 2022-07-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021138371 2021-08-26
JP2021-138371 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023026750A1 true WO2023026750A1 (ja) 2023-03-02

Family

ID=85323079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028866 WO2023026750A1 (ja) 2021-08-26 2022-07-27 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2023026750A1 (ja)
CN (1) CN117813810A (ja)
WO (1) WO2023026750A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100056178A (ko) * 2008-11-19 2010-05-27 (주)엠티아이코리아 상대적 위치를 이용한 이동체의 위치추정장치 및 방법
JP2018130793A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 監視システム、監視装置、および監視方法
JP2019025572A (ja) * 2017-07-28 2019-02-21 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
WO2019216306A1 (ja) 2018-05-08 2019-11-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常検知電子制御ユニット、車載ネットワークシステム及び異常検知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100056178A (ko) * 2008-11-19 2010-05-27 (주)엠티아이코리아 상대적 위치를 이용한 이동체의 위치추정장치 및 방법
JP2018130793A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 監視システム、監視装置、および監視方法
JP2019025572A (ja) * 2017-07-28 2019-02-21 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
WO2019216306A1 (ja) 2018-05-08 2019-11-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常検知電子制御ユニット、車載ネットワークシステム及び異常検知方法

Also Published As

Publication number Publication date
JPWO2023026750A1 (ja) 2023-03-02
CN117813810A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
US10896599B1 (en) Immersive virtual reality detection and alerting technology
US9240111B2 (en) Inferring building metadata from distributed sensors
US11637716B1 (en) Connected automation controls using robotic devices
US20220351598A1 (en) Enhanced audiovisual analytics
AU2019288483B2 (en) Device location network
US11729597B2 (en) Digital twin disaster management system customized for underground public areas
US9984519B2 (en) Method and system for optical user recognition
Dong et al. Sensing and data acquisition
US11276292B2 (en) Recording activity detection
CN112544122B (zh) 用于在检测到空间中的对象时提供动作的设备
US11495122B2 (en) Automated bulk location-based actions
US11935297B2 (en) Item monitoring for doorbell cameras
WO2022192650A1 (en) Connected contact tracing
US10789832B2 (en) System and method for preventing false alarms due to display images
García et al. System for detection of emergency situations in smart city environments employing smartphones
WO2023026750A1 (ja) 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム
CA3146862A1 (en) Notifications for camera tampering
CN111950190A (zh) 用于无线感测装置的部署方法和系统
US11978247B2 (en) Adversarial masks for scene-customized false detection removal
US11581010B2 (en) Drone assisted setup for building specific sound localization model
EP3972391B1 (en) Modeling environmental characteristics based on sensor data obtainable in a lighting system
US20230011337A1 (en) Progressive deep metric learning
US20230252874A1 (en) Shadow-based fall detection
US20230143370A1 (en) Feature selection for object tracking using motion mask, motion prediction, or both
Ahmad et al. A taxonomy of visual surveillance systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861041

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023543758

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280055789.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022861041

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022861041

Country of ref document: EP

Effective date: 20240326