WO2022149325A1 - 機器制御方法、プログラム及び機器制御装置 - Google Patents

機器制御方法、プログラム及び機器制御装置 Download PDF

Info

Publication number
WO2022149325A1
WO2022149325A1 PCT/JP2021/037667 JP2021037667W WO2022149325A1 WO 2022149325 A1 WO2022149325 A1 WO 2022149325A1 JP 2021037667 W JP2021037667 W JP 2021037667W WO 2022149325 A1 WO2022149325 A1 WO 2022149325A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
user
actions
time
behavior
Prior art date
Application number
PCT/JP2021/037667
Other languages
English (en)
French (fr)
Inventor
亮太 藤村
恵大 飯田
俊之 清水
信彦 若井
由美子 篠原
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2022573918A priority Critical patent/JPWO2022149325A1/ja
Publication of WO2022149325A1 publication Critical patent/WO2022149325A1/ja
Priority to US18/216,043 priority patent/US20230341831A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23238—TV microprocessor executes also home control, monitoring of appliances
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2613—Household appliance in general
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control

Definitions

  • This disclosure relates to a device control method, a program, and a device control device.
  • Patent Document 1 discloses that a recommended pattern generated by a recommended pattern generator, general statistical information, and individual statistical information are presented to a user who uses an electric device.
  • Patent Document 1 may not effectively control the device.
  • the present disclosure provides a device control method and the like that can effectively control the device.
  • the device control method acquires a user's behavior, predicts a plurality of future behavior information of the user based on the user's behavior, and the plurality of behavior information is here.
  • Control of a device corresponding to each of the plurality of actions, including the plurality of actions and the expected time each of the plurality of actions is expected to be executed, based on the plurality of actions and the expected time. It includes a process of determining the content and executing the control content of the device based on the estimated time.
  • a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. And may be realized by any combination of recording media.
  • the device control method and the like according to one aspect of the present disclosure can effectively control the device.
  • FIG. 1 is a hardware configuration diagram of a device control system according to an embodiment.
  • FIG. 2 is a diagram showing the hardware of the device control device according to the embodiment.
  • FIG. 3A is a diagram showing an example of user behavior and device state changes.
  • FIG. 3B is a diagram showing an example of user behavior and device state changes.
  • FIG. 3C is a diagram showing an example of user behavior and device state changes.
  • FIG. 4 is a diagram showing an example of predicting a state change of a device.
  • FIG. 5 is a diagram showing an example of predicting a state change of a device.
  • FIG. 6A is a diagram showing an example of a proposed rule.
  • FIG. 6B is a diagram showing an example of the proposed rule.
  • FIG. 6C is a diagram showing an example of the proposed rule.
  • FIG. 6A is a diagram showing an example of a proposed rule.
  • FIG. 6B is a diagram showing an example of the proposed rule.
  • FIG. 6C is a
  • FIG. 7 is a flowchart showing an example of the device control method according to the embodiment.
  • FIG. 8A is a diagram showing an example of notification.
  • FIG. 8B is a diagram showing an example of notification.
  • FIG. 8C is a diagram showing an example of notification.
  • FIG. 8D is a diagram showing an example of notification.
  • FIG. 9 is a flowchart showing an example of the device control method in the modified example of the embodiment.
  • each figure is not necessarily exactly illustrated.
  • substantially the same configuration is designated by the same reference numerals, and duplicate explanations are omitted or simplified.
  • the device control method acquires a user's behavior, predicts a plurality of future behavior information of the user based on the user's behavior, and the plurality of behavior information is here.
  • Control of a device corresponding to each of the plurality of actions, including the plurality of actions and the expected time each of the plurality of actions is expected to be executed, based on the plurality of actions and the expected time. It includes a process of determining the content and executing the control content of the device based on the estimated time.
  • the control content of the device determined based on a plurality of actions of the future user and the expected time of each action is executed. Therefore, the user's reaction is not an indispensable condition for executing the control of the device, and the control of the device can be automatically executed. Further, since the control content of the executed device is determined based on a plurality of actions of the future user and the expected time of each action, the control of the automatically executed device is the control intended by the user. It is possible to increase the possibility that it is. In this way, the device can be effectively controlled so that the user does not feel bothered.
  • the plurality of actions may correspond to an operation of changing the state of a device located in the space where the user exists.
  • the expected time is a period from the time when the plurality of action information is predicted to the timing when the plurality of actions are predicted to be executed at the latest, or each of the plurality of actions is predicted to be executed. It may be the timing.
  • the expected time may be a period from the time when a plurality of behavioral information is predicted, or may be a timing.
  • the estimated time may be predicted based on a time corresponding to universal time.
  • the plurality of action information further includes the occurrence probability of each of the plurality of actions, and is a device corresponding to each of the plurality of actions based on the plurality of actions, the expected time, and the occurrence probability.
  • the control content of may be determined.
  • control content of the device to be executed is determined based on the occurrence probability of each action in addition to the plurality of actions of the future user and the expected time of each action. It is possible to further increase the possibility that the control is intended.
  • the plurality of actions correspond to an operation of changing the state of a device located in a space where the user exists, and the control content of the device corresponding to each of the plurality of actions changes the state by the operation.
  • a second control for notifying whether or not to change the first control, and a first control for changing the state of the first device whose state is changed by the operation It may be at least one with a third control.
  • the second control for notifying the user whether to perform the first control for automatically controlling the device, or to change the first control for automatically controlling the device and the first control. It is possible to switch between performing control and performing a third control for notifying the user whether to perform the first control, depending on the situation.
  • control content of the device corresponding to the action whose occurrence probability corresponds to the first probability range is determined to be the first control, and the occurrence probability corresponds to the second probability range lower than the first probability range.
  • the control content of the device corresponding to the action to be performed is determined to be the first control and the second control, and the action corresponding to the action corresponding to the third probability range in which the occurrence probability is lower than the second probability range.
  • the control content of the device may be determined to be the third control.
  • the control content of the device corresponding to the action with a high probability of occurrence is the intention of the user, so that the device can be controlled automatically.
  • the control content of the device corresponding to the action with a low probability of occurrence may not be what the user intended, whether or not to change the control after automatically controlling the device. Can be notified.
  • the control content of the device corresponding to the action having a low occurrence probability is not intended by the user, it is possible to once notify whether or not the device is automatically controlled.
  • control content of the device corresponding to the action corresponding to the expected time corresponding to the first period is determined to be the first control
  • the action corresponding to the second period after the expected time corresponds to the first period.
  • the control content of the device corresponding to the above is determined to be the first control and the second control
  • the control of the device corresponding to the action corresponding to the behavior corresponding to the third period after the expected time is the second period.
  • the content may be determined to be the third control.
  • control of the device corresponding to the plurality of actions within the predetermined time range may be executed at the same timing.
  • the program according to one aspect of the present disclosure is a program that causes a computer to execute the above-mentioned device control method.
  • the device control device includes a processor and a memory, wherein the processor acquires (a) the user's behavior sensed by a sensor, and (b) is based on the user's behavior in the future. Predicts a plurality of action information of the user, wherein the plurality of action information includes a plurality of actions and an estimated time in which each of the plurality of actions is predicted to be executed (c). Based on the plurality of actions and the predicted time, the control content of the device corresponding to each of the plurality of actions is determined with reference to the rule recorded in the memory, and (d) based on the predicted time. Then, the control content of the device is executed.
  • FIG. 1 is a hardware configuration diagram of the device control system 1 according to the embodiment.
  • the device control system 1 in the present embodiment includes a device control device 100, a sensor 200, devices 300a to 300c, and devices 400a to 400c.
  • An example of the devices 300a to 300c and the devices 400a to 400c is an electronic device located in the environment.
  • An example of an environment is an indoor space such as a house, office or commercial facility.
  • the devices 300a to 300c and the devices 400a to 400c may be the same type of device.
  • the device control device 100 is connected to the sensor 200, the devices 300a to 300c, and the devices 400a to 400c by wire or wirelessly.
  • the device control device 100 may be a server.
  • the server includes a physical server and a cloud server.
  • a cloud server is a virtual server provided via a computer network (eg, the Internet). Further, the device control device 100 may be a computer located in the above environment.
  • the device control device 100 shown in FIG. 1 includes an information acquisition unit 101, a prediction unit 102, a control content determination unit 103, and a control instruction unit 104.
  • the information acquisition unit 101 acquires the user's behavior.
  • the information acquisition unit 101 may acquire the state information of the devices 300a to 300c and acquire the user's action based on the state information. This is because the state of the devices 300a to 300c may be related to the user's behavior, and the user's behavior may be acquired from the state information of the devices 300a to 300c. For example, by acquiring the state information that the lamp at the entrance is turned on, it is possible to acquire the action of returning home by the user.
  • the prediction unit 102 predicts a plurality of future user behavior information based on the user behavior.
  • the plurality of action information includes a plurality of actions and an estimated time in which each of the plurality of actions is expected to be executed.
  • the plurality of actions correspond to operations for changing the state of the devices 300a to 300c located in the space where the user exists. For example, when the user's action of returning home is performed, an operation of changing the state of the lamp at the entrance to the ON state is often performed, and the state of the devices 300a to 300c required for the user's action is changed. The operation to make it is decided to some extent. Therefore, from the behavior of the user, it is possible to predict the operation of changing the state of the devices 300a to 300c located in the space where the user exists.
  • the prediction unit 102 may predict the information change of the devices 300a to 300c from the state information of the devices 300a to 300c.
  • the information change of the plurality of devices 300a to 300c is a state change of the devices 300a to 300c at a plurality of timings or periods in the future.
  • the information change of the plurality of devices 300a to 300c is, for example, a state change after 1 second, a state change after 10 seconds, a state change after 1 minute, or a state change within a period of 30 seconds from a certain point in time. It is a state change during a period of 1 minute or more and 5 minutes or less from the time point.
  • the control content determination unit 103 determines the control content of the devices 400a to 400c corresponding to each of the plurality of actions based on the plurality of actions included in the plurality of action information and the expected time. Specifically, the control content determination unit 103 refers to a rule recorded in the memory based on a plurality of actions included in the plurality of action information and an estimated time, and is a device corresponding to each of the plurality of actions. The control contents of 400a to 400c are determined. The control content determination unit 103 may determine the control content of the devices 400a to 400c by using the information change of the plurality of devices 300a to 300c in the future.
  • the control instruction unit 104 executes the control contents of the devices 400a to 400c based on the predicted estimated time. For example, the control instruction unit 104 transmits information for causing the devices 400a to 400c to execute the determined control content according to the predicted estimated time.
  • FIG. 2 is a diagram showing the hardware of the device control device 100 according to the embodiment.
  • the device control device 100 includes a processor 1001 and a memory 1002 connected to the processor 1001.
  • the memory 1002 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and can store a program or the like executed by the processor 1001.
  • the processor 1001 functions as a sequence manager and a device manager when an instruction or software program stored in the memory 1002 is executed.
  • the device control device 100 is a cloud server
  • the processor 1001 and the memory 1002 function as virtual hardware.
  • the information acquisition unit 101, the prediction unit 102, the control content determination unit 103, and the control instruction unit 104 are realized by a processor 1001 or the like that executes a program stored in the memory 1002.
  • the proposed rule described later may be recorded in the memory 1002, or the correction rule described later may be recorded in the memory 1002.
  • the memory 1002 in which the program is recorded, the memory 1002 in which the proposed rule is recorded, and the memory 1002 in which the modification rule is recorded may be different memories.
  • the sensor 200 acquires state information such as the state of the devices 300a to 300c in the environment and the operation contents of the devices 300a to 300c.
  • the television status information includes information on whether the television is ON or OFF, and the content of the program being viewed on the television.
  • the state information of the air conditioner includes ON or OFF information of the air conditioner and setting information of the air conditioner such as temperature or humidity.
  • the sensor 200 may be located in the environment and may be arranged inside the devices 300a to 300c.
  • the sensor 200 may be replaced by a sensor provided for performing the functions of the devices 300a to 300c.
  • the devices 300a to 300c may transmit the state information of the devices 300a to 300c to the information acquisition unit 101, and in that case, the sensor 200 may be omitted.
  • the device execution log may be transmitted to the information acquisition unit 101.
  • the sensor 200 may acquire the information of the user in the environment.
  • An example of user information includes a user's ID, a user's location, and a user's behavior to identify the user.
  • the user's behavior is, for example, a user's movement, a user's behavior, or the like.
  • An example of the sensor 200 is a camera, and the user's ID, the user's position, and the user's behavior are specified by using the camera image and the reference data.
  • the device control device 100 may specify the user ID, the user's position, the action, and the operation by using the camera image and the reference data, and the external processing unit of the device control device 100 may be the user's.
  • the ID, the position of the user, and the behavior of the user may be specified.
  • Other examples of the sensor 200 are an infrared sensor, an illuminance sensor, a temperature sensor, a pressure sensor, a distance sensor and the like.
  • the sensor 200 has a control unit, and may generate the state of the devices 300a to 300c or the user's information based on the data sensed by the sensor 200.
  • the control unit included in the sensor 200 acquires information on the electric power of the devices 300a to 300c from the sensor 200 or the devices 300a to 300c, and the device is based on the fact that the acquired electric energy becomes a predetermined power or more. It may be determined that 300a to 300c are ON.
  • the control unit included in the sensor 200 may output the sensed data in association with the time.
  • the state information of the devices 300a to 300c is acquired by the information acquisition unit 101. Further, the devices 400a to 400c receive the control instruction from the control instruction unit 104 and execute the control content indicated by the control instruction.
  • the devices 300a to 300c and the devices 400a to 400c are not distinguished from each other, and include the case where they are the same device.
  • the devices 300a to 300c are also referred to as the device 300
  • the devices 400a to 400c are also referred to as the device 400. Will be done.
  • Examples of the device 300 and the device 400 are household electric appliances (home appliances), housing equipment, mobile terminals, speakers, and the like.
  • home appliances are microwave ovens, rice cookers, mixers, electric ovens, electric toasters, electric pots, hot plates, IH (Induction heating) cookers, roasters, bakeries, electric pressure cooking pans, electric anhydrous cooking pans, etc.
  • Multi-cookers coffee makers, refrigerators, washing machines, dishwashers, vacuum cleaners, air conditioners, air purifiers, humidifiers, dryers, fans, ion generators, TVs, recorders, etc.
  • housing equipment are lamps, electric shutters, electronic locks, electric water heaters for bathtubs, and the like.
  • the device 300 may transmit state information related to a state change of the device such as an operation history and a control history to the information acquisition unit 101.
  • the prediction unit 102 predicts a plurality of user behavior information at a predetermined timing or period in the future based on the information acquired by the information acquisition unit 101. It should be noted that predicting a plurality of behavioral information of a future user also means predicting a state change of the device 300. This is because, as described above, the user's behavior and the state change of the device 300 are related to each other, such as the relationship between the user's return home behavior and the ON of the lamp at the entrance.
  • 3A to 3C are diagrams showing an example of the user's behavior and the state change of the device 300, specifically, an example of the user's behavior from the time when the user returns home to the time when the air conditioner is turned on and the state change of the device 300. Is shown. In order from the top, the time when the user's behavior or the state change of the device 300 occurs is shown in chronological order.
  • No. No. 1 from the return home. It is the same from the entrance of 3 to the movement to the corridor A, but since the user does not always perform the same action, the user's action or the state change of the device 300 does not always occur at the same time. That is, the user does not always operate the device 300 in the same way every day, and the same state change does not always occur in the device 300 every day. Therefore, by learning using these information as learning data, it is possible to construct a learning model that outputs the user's behavior (state change of the device 300) and its occurrence probability. Information is input to this learning model, and the output result corresponds to the prediction of the user's behavior (state change of the device 300).
  • a machine learning algorithm is used as an example.
  • User behavior or state change of device 300 that occurred in a certain time interval, elapsed time from the time when the state change of device 300 to be predicted last occurred, user behavior or state change of device a certain number of times, etc. Is input, and it is learned whether or not the state change of the designated device 300 occurs after a certain period of time. Alternatively, at the same time as learning whether or not the state change of the designated device 300 occurs, the time until the state change of the designated device 300 may occur may be learned.
  • a machine learning algorithm capable of constructing such a learning model for example, a logistic regression model, a decision tree model, a neural network, or the like is used.
  • FIGS. 4 and 5 are diagrams showing an example of predicting a state change of the device 300.
  • the prediction examples shown in FIGS. 4 and 5 are based on input information indicating the user's return to the learning model.
  • the example of FIG. 4 shows the user's behavior (change in the state of the device 300), its occurrence probability, and the scheduled occurrence time.
  • the expected occurrence time is an example of the estimated time at which each of a plurality of user actions is expected to be executed.
  • the scheduled occurrence time is the user's behavior (change in the state of the device 300) from the time when a plurality of behavioral information is predicted, such as the time when the input information to the learning model is acquired or the time when the scheduled occurrence time is output using the learning model. May be the period until the timing when is expected to be executed at the latest.
  • the scheduled occurrence time may be a timing at which each of the plurality of actions of the user is predicted to be executed. In this way, the scheduled occurrence time may be a period or a timing. For example, the estimated time of occurrence may be predicted based on the time corresponding to universal time.
  • the scheduled occurrence time may be a period between times such as from aa hours bb minutes cc seconds to xx hours yy minutes zz seconds, or may be a time such as xx hours yy minutes zz seconds. You may.
  • an example of the state change of the device 300 may mean a state change of the device 300 that occurs within a predetermined time (that is, a scheduled occurrence time) based on the operation of the device 300 by the user.
  • predetermined time are 1 second, 10 seconds, 30 seconds, 1 minute, 5 minutes and the like.
  • the state change of the device shown in FIG. 4 shows the content that the state of the device 300 is changed by the user operating the device 300. Since the lamp is turned on based on the operation of the user who turns on the lamp switch, the lamp ON is listed as an item, and its occurrence probability is associated with the scheduled occurrence time. The probability of occurrence is the probability that the state change of the corresponding device 300 will occur at the scheduled occurrence time.
  • An example of the longest expected occurrence time is a relatively short time such as 5 minutes, 10 minutes, or 30 minutes.
  • An example of the information input to the learning model is the state of the devices 300a to 300c. Specifically, each of the devices 300a to 300c at the time of returning home is in the ON or OFF state. That is, the states of the devices 300a to 300c at a certain timing are input to the learning model. At this time, for example, the output result of FIG. 4 can be obtained depending on the situation where all the devices 300a to 300c at the time of returning home are turned off.
  • time-series information may be used as an example of input to the learning model.
  • time-series information include a history of device state changes and a feature amount calculated from the history, a history of user actions, and a feature amount calculated from the history.
  • the output of the learning model may be input to the learning model again to make a recursive prediction.
  • the state change prediction may be information indicating the user's behavior (state of the device 300) and the occurrence probability at a predetermined time (scheduled occurrence time).
  • the prediction of the state change shown in FIG. 5 is the probability of occurrence of a time zone of less than 30 seconds from a predetermined timing (for example, the time when a plurality of action information is predicted), and the occurrence of a time zone of 30 seconds or more and less than 3 minutes from the predetermined timing.
  • the probability and the probability of occurrence in a time zone of 1 minute or more and less than 5 minutes from a predetermined timing are shown.
  • the probability of occurrence for each time zone is calculated independently.
  • the item of the state change of the device 300 may be set according to whether or not the functions of the devices 300a to 300c in the environment are controlled based on the user's operation, instead of the state change of all the devices 300.
  • the state of the entrance lamp does not change by the user's operation, but changes based on the sensing result of the motion sensor. Therefore, the state of the entrance lamp.
  • the change may be deleted from the item of state change of the device 300. For example, it may be omitted from the output item by deleting it from the training data.
  • the control content determination unit 103 determines the control content of the device corresponding to each of the plurality of actions based on the plurality of actions of the user and the expected time. Specifically, the control content determination unit 103 controls the device based on the prediction result of the state change of the device 300 as shown in FIGS. 4 and 5 and the proposed rule as shown in FIGS. 6A to 6C. Determine the content.
  • FIGS. 6A to 6C are diagrams showing an example of the proposed rule.
  • At least the occurrence probability threshold value or the expected occurrence time threshold value is associated with the control content.
  • the control contents are divided into “notification”, “control and notification”, and “control”, and the threshold values are divided into an occurrence probability threshold value and a scheduled occurrence time threshold value.
  • the execution of the control content associated with the occurrence probability threshold value (80% or more) is determined.
  • the probability of occurrence threshold (80% or more) is an example of the first probability range.
  • the execution of the control content associated with the scheduled occurrence time threshold value (less than 30 seconds) is executed. decide.
  • the expected occurrence time threshold (less than 30 seconds) is an example of the first period.
  • 6A to 6C is an example of the first control that changes the state of the first device whose state is changed by the operation of changing the state of the device without accepting the operation. It may be determined that the first control is executed when either the probability of occurrence or the scheduled time of occurrence corresponds to the corresponding threshold value, and both the probability of occurrence and the scheduled time of occurrence correspond to each other. It may be determined that the first control is performed if the threshold is met.
  • the control content associated with the occurrence probability threshold value (20% or more and less than 50%) Decide what to do.
  • the probability of occurrence threshold (20% or more and less than 50%) is an example of the third probability range.
  • the execution of the control content associated with the scheduled occurrence time threshold value (3 minutes or more) is executed. decide.
  • the expected occurrence time threshold (3 minutes or more) is an example of the third period.
  • 6A to 6C is a third notification to the user whether or not to perform the first control of changing the state of the first device whose state is changed by the operation of changing the state of the device.
  • This is an example of control. It may be determined that the third control is executed when either the probability of occurrence or the scheduled time of occurrence corresponds to the corresponding threshold value, and both the probability of occurrence and the scheduled time of occurrence correspond to each other. It may be determined that the third control is performed if the threshold is met.
  • the control content associated with the occurrence probability threshold value (0% or more and less than 80%). Decide to run.
  • the probability of occurrence threshold (0% or more and less than 80%) is an example of the second probability range.
  • the scheduled occurrence time of the predicted user behavior (state change of the device 300) corresponds to 30 seconds or more and less than 3 minutes, it is associated with the scheduled occurrence time threshold value (30 seconds or more and less than 3 minutes). Determines the execution of the controlled content.
  • the expected occurrence time threshold (30 seconds or more and less than 3 minutes) is an example of the second period.
  • 6A to 6C are the first control that changes the state of the first device whose state is changed by the operation of changing the state of the device, and the first control that changes the state of the first device without accepting the operation.
  • This is an example of the second control for notifying whether or not to change the control of 1. That is, the state of the device 300 is changed and the user is notified. It may be determined that the first control and the second control are executed when either the occurrence probability or the scheduled occurrence time corresponds to the corresponding threshold value, and the occurrence probability and the scheduled occurrence time may be determined. It may be determined that the first control and the second control are executed when both correspond to the corresponding thresholds.
  • the notification to the user includes a notification that the device control has been executed and a notification as to whether or not to change the executed device control.
  • the notification of whether or not to change the device control includes the notification of whether or not to stop the device control.
  • the control content determination unit 103 determines the control content of the device 400 corresponding to the action corresponding to the expected time in the first period as the first control, and the second second with the estimated time after the first period.
  • the control content of the device 400 corresponding to the action corresponding to the period is determined to be the first control and the second control, and the expected time of the device 400 corresponding to the action corresponding to the third period after the second period is determined.
  • the control content is determined to be the third control.
  • the control content determination unit 103 determines the control content of the device 400 corresponding to the action whose occurrence probability corresponds to the first probability range to the first control, and corresponds to the action whose occurrence probability corresponds to the second probability range.
  • the control content of the device 400 is determined to be the first control and the second control, and the control content of the device 400 corresponding to the action whose occurrence probability corresponds to the third probability range is determined to be the third control. Then, the control instruction unit 104 outputs an instruction to the device 400 so as to execute the determined control content.
  • the control content indicates a user notification
  • the position information of the current user and the position information of the device 400 having the display or the speaker are referred to.
  • the device 400 closest to the user may be used to notify the user.
  • the position information of the current user and the position information of the device 400 having the display or the speaker may be acquired by the sensor 200.
  • the position information of the device 400 may be recorded in the memory.
  • the user may always be notified using a predetermined device.
  • the device to be notified (in other words, the device used for notification) may be specified in advance as a proposal rule.
  • the notification may be performed by voice reading the user notification from the mobile terminal.
  • An example of a voice that reads out a user notification is "Do you want to turn on the lamp in the living room?"
  • the mobile terminal may be used to perform the notification on the display and the sound indicating that the notification has arrived.
  • the notification inquiring the user about the control execution or the like is performed. User reaction is needed. Therefore, in order to improve the possibility of making the user aware of the notification, the notification may be given by both the display on the display and the voice reading the user notification.
  • the notification to the user is not essential, but the control is performed after the control is executed.
  • a notification indicating that the execution has been performed, or a notification of information summarizing the control execution contents for a predetermined period may be given.
  • the proposed rule may include the condition of the device state.
  • the control content is determined when the condition of the device state is satisfied. For example, when the probability of occurrence of the predicted user behavior (state change of the device 300) corresponds to 20% or more and less than 50%, and when the living lamp is in the OFF state, the control content is the third. Determined by control. In other words, even when the probability of occurrence of the predicted user behavior (state change of the device 300) corresponds to 20% or more and less than 50%, when the living lamp is in the ON state, the control content is It does not have to be determined by the third control.
  • FIG. 7 is a flowchart showing an example of the device control method according to the embodiment. Since the device control method is a method executed by the device control device 100, FIG. 7 is also a flowchart showing an example of the operation of the device control device 100 in the embodiment.
  • the information acquisition unit 101 acquires the user's behavior (state information of the device 300).
  • the user's behavior it is assumed that the user returns home.
  • the device 300 includes a lamp at the entrance and a lamp arranged in a house, it is conceivable that all the lamps are turned off for a predetermined time or longer while the user is out. After that, when the user returns home, the lamp at the entrance is turned on and the other lamps are turned off. In this way, after all the lamps have been turned off for a predetermined time or more, the state information (state change) of the device 300 that the lamps at the entrance are turned on and the other lamps are turned off, that is, the user's return home.
  • the action is acquired.
  • the information acquisition unit 101 may also acquire, as a user's action, the time when all the lamps are turned on, the lamps at the entrance are turned on, and the other lamps are turned off.
  • Step S102 The prediction unit 102 uses the user's behavior that the lamps at the entrance are turned on and the other lamps are turned off after all the lamps are turned off for a predetermined time or more, and the learning model, and a plurality of future users. Behavior information (state change of a plurality of devices 300) is predicted. For example, as shown in FIG. 4, the state change of the plurality of devices 300 after the user returns home is predicted.
  • the prediction unit 102 may execute the prediction at predetermined time intervals.
  • An example of a predetermined time is 30 seconds, 1 minute, 5 minutes, and the like. That is, as shown in FIG. 4, information on the state change of the plurality of devices 300 may be obtained at predetermined time intervals.
  • the prediction unit 102 may execute the prediction when the state change of the next device 300 occurs. Since it is presumed that the state change of the new device 300 is the timing when the user shifts to the next action, it is considered to be suitable for executing the control described later.
  • the control content determination unit 103 determines the content of device control based on the prediction result of the state change of the device 300 and the proposed rule.
  • the lamp ON at the entrance in FIG. 4 has a probability of occurrence of 100%, a scheduled occurrence time of less than 30 seconds, and 80% or more corresponding to the "control" (that is, the first control) of the proposed rule shown in FIG. 6A. Since it corresponds to the occurrence probability threshold value and the expected occurrence time threshold value of less than 30 seconds, the control content determination unit 103 determines the control execution of the lamp ON at the entrance. For example, the control content determination unit 103 determines the immediate control execution of the lamp ON at the entrance because the scheduled occurrence time is less than 30 seconds.
  • the lamp ON of the washroom in FIG. 4 has a probability of occurrence of 70%, a scheduled occurrence time of 30 seconds or more and less than 3 minutes, and the “control and notification” (that is, the first) of the proposed rule shown in FIG. 6A. Since it corresponds to the occurrence probability threshold value of 50% or more and less than 80% and the expected occurrence time threshold value of 30 seconds or more and less than 3 minutes corresponding to the control and the second control), the control content determination unit 103 turns on the lamp of the washroom. Decide the notification of control execution and cancellation confirmation of the washroom lamp ON. For example, the control content determination unit 103 determines the control execution of the lamp ON of the washroom after 30 seconds because the scheduled occurrence time is 30 seconds or more and less than 3 minutes.
  • Step S104 The control instruction unit 104 outputs the content determined by the control content determination unit 103 to the device 400. For example, the control instruction unit 104 immediately outputs an ON instruction to the entrance lamp, and after 30 seconds, outputs an ON instruction to the washroom lamp and a notification of cancellation confirmation of the washroom lamp ON.
  • the control instruction unit 104 may output an ON instruction directly to each of the entrance lamp and the washroom lamp, for example, or when the entrance lamp and the washroom lamp are in the control environment by the cloud server, the cloud.
  • the instruction to turn on the lamp at the entrance and the lamp at the washroom is output to the server.
  • the washroom lamp ON cancellation notice identifies the device 400 with the speaker closest to the user located at the entrance, and as shown in FIG. 8A, the device 400 "turns on the washroom lamp. Do you want to cancel?" It is to give a notification such as ".”.
  • the control instruction unit 104 outputs an instruction to turn off the lamp in the washroom.
  • FIG. 8B is a similar display example.
  • the device 400 is controlled based on the instruction output by the control instruction unit 104.
  • future user behavior for example, operation of the device 300
  • device control or device control proposal according to the prediction accuracy is executed.
  • the question to the user includes execution of control and confirmation of whether or not to cancel. For example, when the reaction of the user is made an indispensable condition for the execution of control, the user has to make many reactions and the possibility of feeling annoyed can be reduced.
  • the parameter of the proposal rule shown in FIGS. 6A to 6C may be updated. For example, 50% or more and less than 80% may be updated to 60% or more and less than 80%.
  • a notification other than whether or not to cancel may be performed.
  • a notification may be given as to whether or not to perform control different from the control in which the state of the device 400 is changed.
  • the lamp may be controlled to be ON at a certain brightness, and a notification may be given as to whether or not the brightness is changed to a brightness different from the brightness.
  • control instruction unit 104 may execute control of the device 400 corresponding to a plurality of actions, each of which is expected to be executed within a predetermined time range, at the same timing. That is, the controls of the devices 400 corresponding to the actions whose expected times are close to each other may be collectively executed at the same timing.
  • the device 400 may have a presentation unit, and the presentation unit may present notification information.
  • the notification information may include a display indicating that the device control can be executed and an execution display.
  • the execution display is a button or icon for executing device control, and when the execution display (button or icon or the like) is operated, an instruction for executing device control is output.
  • the notification information may include a display indicating that the control has been executed and a cancellation display.
  • the cancel display is a button or an icon or the like for executing the cancellation of the executed device control, and the canceled display (button or the icon or the like) is operated to cancel the executed device control. Instructions are output.
  • An example of the presentation unit is a display or a speaker.
  • the presenting unit shows character information as shown in FIGS. 8A to 8D.
  • the display of "YES” shown in FIGS. 8A to 8C and the display of "Cancel" shown in FIG. 8D are examples of the cancellation display.
  • the presentation unit is a speaker, the presentation unit outputs voice information such as "Turn on the lamp in the bathroom, do you want to cancel it?".
  • the presenting unit may collectively notify the plurality of control contents as shown in FIGS. 8C and 8D.
  • the control content determination unit 103 may modify the control content selected by using the proposed rules shown in FIGS. 6A to 6C.
  • FIG. 9 is a flowchart showing an example of the device control method in the modified example of the embodiment. As with FIG. 7, FIG. 9 is also a flowchart showing an example of the operation of the device control device 100 in the modified example of the embodiment.
  • the flowchart shown in FIG. 9 includes steps S1031 to S1034 in place of the steps S103 in the flowchart shown in FIG. Since S101, S102 and S104 in the flowchart shown in FIG. 9 are the same as those in FIG. 7, the description thereof will be omitted.
  • the control content determination unit 103 selects the content of device control based on the prediction result of the state change of the device 300 and the proposed rule.
  • the method of selecting the content of the device control is the same as the method of determining the content of the device control in S103 of the flowchart shown in FIG.
  • the control content determination unit 103 refers to the modification rule and determines whether or not to modify the selected control content. If the control content is to be modified, the process proceeds to S1033, and if the control content is not modified, the process proceeds to S1034. The details of the modification rule will be described later.
  • the control content determination unit 103 corrects the selected control content with reference to the correction rule.
  • control content determination unit 103 determines the modified content as the control content.
  • the control content determination unit 103 determines the content selected based on the proposed rule as the control content when the modification is not necessary based on the modification rule.
  • the modification rule includes a first modification rule, a second modification rule, and a third modification rule.
  • the first modification rule indicates that the control content is not determined or executed within a predetermined time after the control content is determined or executed. For example, if the same control content is selected again before a predetermined time has elapsed after the control content is determined, the control content is modified so that the selected control content is not executed, and the selected control content is not executed. It may (in other words, a modified control content that does not execute the selected control content may be executed). However, if the user has moved to a place different from the place where the control content was executed immediately before, the first modification rule may be set not to be applied.
  • the second modification rule indicates that the notification is not executed when the control content selected based on the predetermined input is the notification (that is, the third control).
  • the predetermined input is, for example, an action such as getting up or returning home from the user. For example, after the user wakes up or when the user returns home, the user often performs a predetermined operation continuously, so that it may be annoying if the notification is frequently performed. Therefore, in such a case, the content may be modified so that the third control of notification only is not executed, and the selected control content (third control) may not be executed. That is, in such a case, only control and notification (that is, the second control) or control (that is, the first control) may be executed.
  • the third modification rule indicates that the selected control content is not executed when the change in the predicted content is small with the change in time. For example, when prediction is performed in a plurality of steps, if there is no change in the predicted content in a predetermined number of steps or more among the predicted plurality of steps, it is not necessary to execute the control content. For example, when predicting 10 steps, if there is no change in the prediction of 3 or more steps, the control content is not executed. Further, the state change of the device 300 may be weighted more when the scheduled occurrence time of the state change is close to the present than when the scheduled occurrence time of the state change is far from the present.
  • the coefficient is 1.0 for the change of the first 3 steps, the coefficient is 0.5 for the 4th to 10th steps, the coefficient of the changed step is multiplied by 1, and the coefficient of the unchanged step is multiplied by 0. Whether or not there is little change in the predicted content may be determined based on whether or not the total number of multiplications in each step is equal to or greater than a predetermined value.
  • the control content of the device 400 determined based on the plurality of actions of the future user (state change of the device 300) and the expected time of each action (state change) is executed. Therefore, the reaction of the user is not an indispensable condition for executing the control of the device 400, and the control of the device 400 can be automatically executed. Further, since the control content of the device 400 to be executed is determined based on a plurality of actions of the future user (state change of the device 300) and the expected time of each action (state change), it is automatic. It is possible to increase the possibility that the control of the device 400 executed in 1 is the control intended by the user. In this way, the device 400 can be effectively controlled.
  • the present disclosure can be realized as a program for causing a processor (computer) to execute a step included in a device control method.
  • the present disclosure can be realized as a non-temporary computer-readable recording medium such as a CD-ROM in which the program is recorded.
  • each step is executed by executing the program using hardware resources such as a computer CPU, memory, and input / output circuit. .. That is, each step is executed by the CPU acquiring data from the memory or the input / output circuit or the like and performing an operation, or outputting the operation result to the memory or the input / output circuit or the like.
  • hardware resources such as a computer CPU, memory, and input / output circuit. .. That is, each step is executed by the CPU acquiring data from the memory or the input / output circuit or the like and performing an operation, or outputting the operation result to the memory or the input / output circuit or the like.
  • each component included in the device control device 100 may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • LSI is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Further, the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • FPGA Field Programmable Gate Array
  • This disclosure can be applied to a system that automatically controls electronic devices in facilities.
  • Equipment control system 100 Equipment control device 101 Information acquisition unit 102 Prediction unit 103 Control content determination unit 104 Control instruction unit 200 Sensor 300, 300a, 300b, 300c Equipment 400, 400a, 400b, 400c Equipment 1001 Processor 1002 Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

機器制御方法は、ユーザの行動を取得し、前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、前記複数の行動と前記予想時間とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、前記予想時間に基づいて、前記機器の制御内容を実行する処理を含む。

Description

機器制御方法、プログラム及び機器制御装置
　本開示は、機器制御方法、プログラム及び機器制御装置に関する。
　特許文献１には、推奨パターン生成部が生成した推奨パターンと、一般的な統計情報及び個別の統計情報とを、電気機器を使用するユーザに提示することが開示されている。
特許第６０９８２７３号公報
　上記特許文献１に開示された技術では、機器の制御が効果的に行われない可能性がある。
　そこで、本開示は、効果的に機器を制御できる機器制御方法等を提供する。
　本開示の一態様に係る機器制御方法は、ユーザの行動を取得し、前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、前記複数の行動と前記予想時間とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、前記予想時間に基づいて、前記機器の制御内容を実行する処理を含む。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る機器制御方法等は、効果的に機器を制御できる。
図１は、実施の形態における機器制御システムのハードウェア構成図である。 図２は、実施の形態における機器制御装置のハードウェアを示す図である。 図３Ａは、ユーザの行動及び機器の状態変化の一例を示す図である。 図３Ｂは、ユーザの行動及び機器の状態変化の一例を示す図である。 図３Ｃは、ユーザの行動及び機器の状態変化の一例を示す図である。 図４は、機器の状態変化の予測例を示す図である。 図５は、機器の状態変化の予測例を示す図である。 図６Ａは、提案ルールの一例を示す図である。 図６Ｂは、提案ルールの一例を示す図である。 図６Ｃは、提案ルールの一例を示す図である。 図７は、実施の形態における機器制御方法の一例を示すフローチャートである。 図８Ａは、通知例を示す図である。 図８Ｂは、通知例を示す図である。 図８Ｃは、通知例を示す図である。 図８Ｄは、通知例を示す図である。 図９は、実施の形態の変形例における機器制御方法の一例を示すフローチャートである。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。
　また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
　（本開示の基礎となる知見）
　ユーザの反応を機器の制御を実行させるための必須の条件にする場合、例えば、ユーザは多くの反応をしなければならず煩わしく感じる可能性がある。また、機器の制御を自動で実行する場合に、ユーザの意図しない制御が実行された場合、ユーザは機器の制御を取り消す操作をする必要があり、煩わしく感じる可能性がある。そこで、本発明者らは、以下に示す本開示に至った。
　本開示の一態様に係る機器制御方法は、ユーザの行動を取得し、前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、前記複数の行動と前記予想時間とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、前記予想時間に基づいて、前記機器の制御内容を実行する処理を含む。
　これによれば、将来のユーザの複数の行動と各行動の予想時間とに基づいて決定された機器の制御内容が実行される。このため、ユーザの反応を機器の制御を実行させるための必須の条件とせず、機器の制御を自動で実行することができる。さらに、実行される機器の制御内容は、将来のユーザの複数の行動と各行動の予想時間とに基づいて決定されたものであるため、自動で実行された機器の制御がユーザの意図する制御となっている可能性を高くすることができる。このように、ユーザが煩わしく感じないように効果的に機器を制御できる。
　例えば、前記複数の行動は、前記ユーザが存在する空間に位置する機器の状態を変化させる操作に対応していてもよい。
　これによれば、例えば、ユーザの帰宅という行動が行われた際に、玄関のランプの状態をＯＮ状態に変化させる操作が行われることが多く、ユーザの行動に対して必要となる機器の状態を変化させる操作はある程度決まっている。このため、ユーザの行動から、ユーザが存在する空間に位置する機器の状態を変化させる操作を予測でき、ひいては、機器の状態変化を予測できる。
　例えば、前記予想時間は、前記複数の行動情報を予測した時点から前記複数の行動が遅くとも実行されると予測されるタイミングまでの期間、又は、前記複数の行動のそれぞれが実行されると予測されるタイミングであってもよい。
　このように、予想時間は、複数の行動情報を予測した時点からの期間であってもよいし、タイミングであってもよい。
　例えば、前記予想時間は、世界時間に対応する時刻に基づいて予測されてもよい。
　例えば、前記複数の行動情報は、さらに、前記複数の行動のそれぞれの発生確率を含み、前記複数の行動と前記予想時間と前記発生確率とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定してもよい。
　これによれば、実行される機器の制御内容は、将来のユーザの複数の行動と各行動の予想時間とに加えて各行動の発生確率にも基づいて決定されたものであるため、ユーザの意図する制御となっている可能性をさらに高くすることができる。
　例えば、前記複数の行動は、前記ユーザが存在する空間に位置する機器の状態を変化させる操作に対応し、前記複数の行動のそれぞれに対応する前記機器の制御内容は、前記操作により状態が変化する第１の機器の状態を、前記操作を受け付けることなく変化させる第１の制御と、前記操作により状態が変化する第１の機器の状態を、前記操作を受け付けることなく変化させる第１の制御、及び、前記第１の制御を変更するか否かを通知する第２の制御と、前記操作により状態が変化する第１の機器の状態を変化させる第１の制御をするか否かを通知する第３の制御との少なくとも１つであってもよい。
　これによれば、自動での機器制御を行う第１の制御を行うか、自動での機器制御を行う第１の制御及び第１の制御を変更するか否かをユーザへ通知する第２の制御を行うか、第１の制御をするか否かをユーザへ通知する第３の制御を行うか、を状況に応じて切り替えることができる。
　例えば、前記発生確率が第１確率範囲に該当する行動に対応する前記機器の制御内容を前記第１の制御に決定し、前記発生確率が前記第１確率範囲よりも低い第２確率範囲に該当する行動に対応する前記機器の制御内容を前記第１の制御及び前記第２の制御に決定し、前記発生確率が前記第２確率範囲よりも低い第３確率範囲に該当する行動に対応する前記機器の制御内容を前記第３の制御に決定してもよい。
　これによれば、発生確率が高い行動に対応する機器の制御内容は、ユーザの意図するものとなっている可能性が高いため、自動での機器制御を行うことができる。また、発生確率がある程度低い行動に対応する機器の制御内容は、ユーザの意図するものとなっていない可能性もあるため、自動での機器制御を行った上、その制御を変更するか否かを通知することができる。また、発生確率が低い行動に対応する機器の制御内容は、ユーザの意図しないものとなっている可能性が高いため、自動での機器制御を行うか否かをいったん通知することができる。
　例えば、前記予想時間が第１期間に該当する行動に対応する前記機器の制御内容を前記第１の制御に決定し、前記予想時間が前記第１期間よりも後の第２期間に該当する行動に対応する前記機器の制御内容を前記第１の制御及び前記第２の制御に決定し、前記予想時間が前記第２期間よりも後の第３期間に該当する行動に対応する前記機器の制御内容を前記第３の制御に決定してもよい。
　これによれば、予想時間が迫っている行動に対しては、迅速な制御が必要となり得るため、自動での機器制御を行うことができる。また、予想時間がある程度先の行動に対しては、自動での機器制御を行った上、その制御を変更するか否かを通知することができる。また、予想時間がまだ先の行動に対しては、迅速な制御が必要となりにくいため、自動での機器制御を行うか否かをいったん通知することができる。
　例えば、実行されると予測される前記予想時間がそれぞれ所定の時間範囲に含まれる前記複数の行動に対応する前記機器の制御を、同じタイミングで実行してもよい。
　これによれば、予想時間が近い行動に対応する機器の制御を同じタイミングで実行することができる。
　本開示の一態様に係るプログラムは、上記の機器制御方法をコンピュータに実行させるプログラムである。
　これによれば、効果的に機器を制御できるプログラムを提供できる。
　本開示の一態様に係る機器制御装置は、プロセッサとメモリとを備え、前記プロセッサは、（ａ）センサによりセンシングされたユーザの行動を取得し、（ｂ）前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、（ｃ）前記複数の行動と前記予想時間とに基づいて、前記メモリに記録されたルールを参照して、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、（ｄ）前記予想時間に基づいて、前記機器の制御内容を実行する。
　これによれば、効果的に機器を制御できる機器制御装置を提供できる。
　（実施の形態）
　以下、実施の形態について、図面を参照しながら説明する。
　まず、実施の形態における機器制御システム１について、図１を参照しながら説明する。
　図１は、実施の形態における機器制御システム１のハードウェア構成図である。
　図１に示すように、本実施の形態における機器制御システム１は、機器制御装置１００と、センサ２００と、機器３００ａ～３００ｃと、機器４００ａ～４００ｃとを備える。機器３００ａ～３００ｃ及び機器４００ａ～４００ｃの一例は、環境内に位置する電子機器である。環境の一例は、住宅、オフィス又は商業施設などの屋内空間である。なお、機器３００ａ～３００ｃと、機器４００ａ～４００ｃとは、同じ種類の機器の場合がある。
　（機器制御装置１００）
　機器制御装置１００は、センサ２００、機器３００ａ～３００ｃ、及び、機器４００ａ～４００ｃと、有線又は無線により接続される。機器制御装置１００は、サーバであっても良い。サーバは、物理的サーバ、クラウドサーバを含む。クラウドサーバは、コンピュータネットワーク（例えばインターネット）を介して提供される仮想的なサーバである。また、機器制御装置１００は、上記環境内に位置するコンピュータであってもよい。
　図１に示す機器制御装置１００は、情報取得部１０１と、予測部１０２と、制御内容決定部１０３と、制御指示部１０４とを備える。
　情報取得部１０１は、ユーザの行動を取得する。なお、情報取得部１０１は、機器３００ａ～３００ｃの状態情報を取得し、状態情報に基づいてユーザの行動を取得してもよい。機器３００ａ～３００ｃの状態と、ユーザの行動とは関連している場合があり、機器３００ａ～３００ｃの状態情報からユーザの行動を取得できる場合があるためである。例えば、玄関のランプがＯＮになるという状態情報を取得することで、ユーザの帰宅という行動を取得することができる。
　予測部１０２は、ユーザの行動に基づいて、将来のユーザの複数の行動情報を予測する。ここで、複数の行動情報は、複数の行動と、複数の行動のそれぞれが実行されると予測される予想時間とを含む。なお、複数の行動は、ユーザが存在する空間に位置する機器３００ａ～３００ｃの状態を変化させる操作に対応する。例えば、ユーザの帰宅という行動が行われた際に、玄関のランプの状態をＯＮ状態に変化させる操作が行われることが多く、ユーザの行動に対して必要となる機器３００ａ～３００ｃの状態を変化させる操作はある程度決まっている。このため、ユーザの行動から、ユーザが存在する空間に位置する機器３００ａ～３００ｃの状態を変化させる操作を予測できる。ひいては、複数の機器３００ａ～３００ｃの情報変化を予測することができる。なお、予測部１０２は、機器３００ａ～３００ｃの状態情報から、機器３００ａ～３００ｃの情報変化を予測してもよい。複数の機器３００ａ～３００ｃの情報変化とは、将来の複数のタイミング又は期間における機器３００ａ～３００ｃの状態変化である。複数の機器３００ａ～３００ｃの情報変化は、例えば、１秒後の状態変化、１０秒後の状態変化、１分後の状態変化など、或いは、ある時点から３０秒以内の期間の状態変化、ある時点から１分以上５分以内の期間の状態変化などである。
　制御内容決定部１０３は、複数の行動情報に含まれる複数の行動と予想時間とに基づいて、複数の行動のそれぞれに対応する機器４００ａ～４００ｃの制御内容を決定する。具体的には、制御内容決定部１０３は、複数の行動情報に含まれる複数の行動と予想時間とに基づいて、メモリに記録されたルールを参照して、複数の行動のそれぞれに対応する機器４００ａ～４００ｃの制御内容を決定する。なお、制御内容決定部１０３は、将来の複数の機器３００ａ～３００ｃの情報変化を用いて、機器４００ａ～４００ｃの制御内容を決定してもよい。
　制御指示部１０４は、予測された予想時間に基づいて、機器４００ａ～４００ｃの制御内容を実行する。例えば、制御指示部１０４は、機器４００ａ～４００ｃに、決定された制御内容を実行させるための情報を、予測された予想時間に応じて送信する。
　機器制御装置１００の各構成要素の詳細は後述する。
　図２は、実施の形態における機器制御装置１００のハードウェアを示す図である。
　図２に示すように、機器制御装置１００は、プロセッサ１００１と、プロセッサ１００１に接続されたメモリ１００２とを備える。メモリ１００２は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等であり、プロセッサ１００１により実行されるプログラム等を記憶することができる。プロセッサ１００１は、メモリ１００２に格納されたインストラクション又はソフトウェアプログラムが実行されたときに、シーケンスマネージャ及びデバイスマネージャとして機能する。なお、機器制御装置１００がクラウドサーバの場合には、プロセッサ１００１及びメモリ１００２は仮想的なハードウェアとして機能する。情報取得部１０１、予測部１０２、制御内容決定部１０３及び制御指示部１０４は、メモリ１００２に格納されたプログラムを実行するプロセッサ１００１等によって実現される。また、メモリ１００２には、後述する提案ルールが記録されていてもよいし、後述する修正ルールが記録されていてもよい。なお、プログラムが記録されるメモリ１００２、提案ルールが記録されるメモリ１００２及び修正ルールが記録されるメモリ１００２はそれぞれ異なるメモリであってもよい。
　（センサ２００）
　センサ２００は、環境内の機器３００ａ～３００ｃの状態、及び、機器３００ａ～３００ｃへの操作内容等の状態情報を取得する。例えば、機器３００ａ～３００ｃがテレビの場合、テレビの状態情報は、テレビのＯＮ又はＯＦＦの情報、テレビで視聴されている番組の内容を含む。また、機器３００ａ～３００ｃが空調装置の場合、空調装置の状態情報は、空調装置のＯＮ又はＯＦＦの情報、温度又は湿度などの空調装置の設定情報を含む。
　センサ２００は、環境内に位置していればよく、機器３００ａ～３００ｃの内部に配置されていても良い。センサ２００は、機器３００ａ～３００ｃの機能実行のために備わっているセンサで代用されても良い。また、機器３００ａ～３００ｃが、機器３００ａ～３００ｃの状態情報を情報取得部１０１に送信しても良く、その場合には、センサ２００は省略されても良い。例えば、機器３００ａ～３００ｃの機能実行時に、情報取得部１０１に機器実行のログを送信されてもよい。
　また、センサ２００は、環境内のユーザの情報を取得しても良い。ユーザの情報の一例は、ユーザを特定するためのユーザのＩＤ、ユーザの位置、ユーザの行動を含む。ユーザの行動は、例えば、ユーザの移動、ユーザの動作等である。
　センサ２００の一例はカメラであり、カメラ画像と参照データとを用いて、ユーザのＩＤ、ユーザの位置、ユーザの行動が特定される。なお、機器制御装置１００が、カメラ画像と参照データとを用いて、ユーザのＩＤ、ユーザの位置、行動、動作を特定しても良いし、機器制御装置１００の外部の処理部が、ユーザのＩＤ、ユーザの位置、ユーザの行動を特定しても良い。センサ２００のその他の例は、赤外線センサ、照度センサ、温度センサ、圧力センサ、距離センサなどである。
　センサ２００は、制御部を有し、センサ２００でセンシングしたデータに基づいて、機器３００ａ～３００ｃの状態、又はユーザの情報を生成しても良い。例えば、センサ２００に含まれる制御部は、センサ２００又は機器３００ａ～３００ｃから機器３００ａ～３００ｃの電力量の情報を取得し、取得した電力量が所定以上の電力になったことに基づいて、機器３００ａ～３００ｃがＯＮになっていると判断しても良い。
　センサ２００に含まれる制御部は、センシングしたデータを時刻と対応付けて出力してもよい。
　（機器３００ａ～３００ｃ、機器４００ａ～４００ｃ）
　機器３００ａ～３００ｃの状態情報は、情報取得部１０１により取得される。また、機器４００ａ～４００ｃは、制御指示部１０４から制御指示を受信し、制御指示が示す制御内容を実行する。機器３００ａ～３００ｃと、機器４００ａ～４００ｃとは、区別されず、同じ機器である場合を含む。以下、機器３００ａ～３００ｃの区別が不要な場合には、機器３００ａ～３００ｃは、機器３００とも表記され、機器４００ａ～４００ｃの区別が不要な場合には、機器４００ａ～４００ｃは、機器４００とも表記される。
　機器３００及び機器４００の一例は、家庭用電化製品（家電）、住宅設備、携帯端末、スピーカーなどである。家電の例は、電子レンジ、炊飯器、ミキサー（Ｂｌｅｎｄｅｒ）、電気オーブン、電気トースター、電気ポット、ホットプレート、ＩＨ（Ｉｎｄｕｃｔｉｏｎ　ｈｅａｔｉｎｇ）調理器、ロースター、ベーカリー、電気圧力調理なべ、電気無水調理なべ、マルチクッカー、コーヒーメーカー、冷蔵庫、洗濯機、食洗器、掃除機、エアコン、空気清浄機、加湿器、ドライヤー、扇風機、イオン発生器、ＴＶ、及びレコーダー等である。住宅設備の例は、ランプ、電動シャッター、電子ロック、及び浴槽用の電気湯沸し器等である。
　機器３００は、操作履歴、制御履歴などの機器の状態変化に関連する状態情報を情報取得部１０１に送信しても良い。
　（機器３００の状態変化の予測）
　次に、機器３００の状態変化の予測について説明する。予測部１０２は、情報取得部１０１で取得される情報に基づいて、将来の所定のタイミング又は期間におけるユーザの複数の行動情報を予測する。なお、将来のユーザの複数の行動情報を予測することは、機器３００の状態変化を予測することも意味する。上述したように、ユーザの帰宅という行動と、玄関のランプのＯＮとの関係のように、ユーザの行動と機器３００の状態変化とは関連しているためである。
　図３Ａ～図３Ｃは、ユーザの行動及び機器３００の状態変化の一例を示す図であり、具体的には、ユーザが帰宅した時点からエアコンＯＮまでのユーザの行動及び機器３００の状態変化の一例を示す。上から順に、時系列に、ユーザの行動又は機器３００の状態変化が発生した時刻を示す。
　図３Ａ～図３Ｃでは、Ｎｏ．１の帰宅からＮｏ．３の玄関から廊下Ａへの移動までは同じであるが、ユーザは必ずしも同じ行動をするとは限らないため、ユーザの行動又は機器３００の状態変化について、常に同じ時刻に起きるとは限らない。つまり、ユーザは日々同じように機器３００を操作するとは限らず、機器３００について日々同じ状態変化が起きるとは限らない。したがって、これらの情報を学習データに用いて学習することで、ユーザの行動（機器３００の状態変化）とその発生確率とを出力する学習モデルを構築することができる。この学習モデルに情報を入力して、出力される結果が、ユーザの行動（機器３００の状態変化）の予測に相当する。学習モデルを構築するためには、一例として機械学習のアルゴリズムを用いる。一定の時間区間で発生したユーザの行動もしくは機器３００の状態変化、予測対象の機器３００の状態変化が最後に発生した時刻からの経過時間、又は、一定回数のユーザの行動もしくは機器の状態変化などを入力とし、一定時間後に指定の機器３００の状態変化が発生するか否かを学習する。または、指定の機器３００の状態変化が発生するか否かを学習すると同時に、指定の機器３００の状態変化が発生するまでの時間を学習してもよい。このような学習モデルを構築可能な機械学習アルゴリズムとして、例えばロジスティック回帰モデル、決定木モデル、ニューラルネットワークなどを用いる。
　図４及び図５は、機器３００の状態変化の予測例を示す図である。図４及び図５に示す予測例は、学習モデルへのユーザの帰宅を示す入力情報に基づいている。
　図４の例は、ユーザの行動（機器３００の状態変化）と、その発生確率と、発生予定時間とを示す。発生予定時間は、ユーザの複数の行動のそれぞれが実行されると予測される予想時間の一例である。
　発生予定時間は、学習モデルへの入力情報の取得時点又は学習モデルを用いて発生予定時間等を出力した時点など、複数の行動情報を予測した時点から、ユーザの行動（機器３００の状態変化）が遅くとも実行されると予測されるタイミングまでの期間であっても良い。なお、発生予定時間は、ユーザの複数の行動のそれぞれが実行されると予測されるタイミングであってもよい。このように、発生予定時間は、期間であってもよいし、タイミングであってもよい。例えば、発生予定時間は、世界時間に対応する時刻に基づいて予測されても良い。具体的には、発生予定時間は、ａａ時ｂｂ分ｃｃ秒からｘｘ時ｙｙ分ｚｚ秒までのように時刻間の期間であってもよいし、ｘｘ時ｙｙ分ｚｚ秒のように時刻であってもよい。
　ここで、機器３００の状態変化の一例は、ユーザの機器３００の操作に基づいて、所定時間以内（すなわち発生予定時間）に起きる機器３００の状態変化を意味しても良い。所定時間の例は、１秒、１０秒、３０秒、１分、５分などである。また、例えば、図４に示す機器の状態変化は、ユーザが機器３００を操作することで、機器３００の状態が変化する内容が示されている。ランプのスイッチをＯＮにするユーザの操作に基づいて、ランプがＯＮになるため、ランプＯＮは項目として挙げられ、その発生確率と、発生予定時間とが対応付けられる。なお、発生確率は、発生予定時間において対応する機器３００の状態変化が発生する確率である。なお、予測する発生予定時間の最長の時間の一例は、５分、１０分、又は３０分などの比較的短い時間である。
　学習モデルに入力される情報の一例は、機器３００ａ～３００ｃの状態である。具体的には、帰宅時の機器３００ａ～３００ｃのそれぞれは、ＯＮ又はＯＦＦの状況である。つまり、あるタイミングにおける機器３００ａ～３００ｃの状態が学習モデルに入力される。このとき、例えば、帰宅時の機器３００ａ～３００ｃが全てＯＦＦである状況などに応じて、図４の出力結果が得られる。
　また、学習モデルへの入力の他の例は、時間、ユーザの行動などである。時間の例は、時刻、曜日、日付である。または、学習モデルへの入力の例として、時系列の情報を利用しても良い。時系列の情報の例は、機器の状態変化の履歴及び履歴から計算される特徴量、ユーザの行動の履歴及び履歴から計算される特徴量などである。また、学習モデルの出力を再度学習モデルに入力し、再帰的に予測を行ってもよい。
　状態変化の予測は、図５に示すように、所定の時間（発生予定時間）ごとのユーザの行動（機器３００の状態）と発生確率とを示す情報であっても良い。図５に示す状態変化の予測は、所定のタイミング（例えば複数の行動情報を予測した時点）から３０秒未満の時間帯の発生確率、所定のタイミングから３０秒以上３分未満の時間帯の発生確率、所定のタイミングから１分以上５分未満の時間帯の発生確率をそれぞれ示す。時間帯ごとの発生確率はそれぞれ独立して算出される。
　機器３００の状態変化の項目は、全ての機器３００の状態変化ではなく、環境中の機器３００ａ～３００ｃの機能がユーザの操作に基づいて制御されているか否かに応じて設定されても良い。
　例えば、玄関のランプが人感センサに基づいて動作する場合には、玄関のランプの状態はユーザの操作では変化せず、人感センサのセンシング結果に基づいて変化するため、玄関のランプの状態変化は機器３００の状態変化の項目から削除しても良い。例えば、学習データから削除することで出力項目から省略されても良い。
　（機器制御内容の決定）
　次に、機器制御の内容の決定について説明する。制御内容決定部１０３は、ユーザの複数の行動と予想時間とに基づいて、複数の行動のそれぞれに対応する機器の制御内容を決定する。具体的には、制御内容決定部１０３は、図４及び図５に示すような機器３００の状態変化の予測結果と、図６Ａ～図６Ｃに示すような提案ルールとに基づいて、機器制御の内容を決定する。
　図６Ａ～図６Ｃは、提案ルールの一例を示す図である。
　提案ルールは、少なくとも、発生確率閾値又は発生予定時間閾値と、制御内容とが対応付けられている。図６Ａ～図６Ｃでは、制御内容としては「通知」、「制御及び通知」並びに「制御」に分けられており、閾値としては発生確率閾値と発生予定時間閾値に分けられている。
　例えば、予測されたユーザの行動（機器３００の状態変化）の発生確率が８０％以上に該当する場合、その発生確率閾値（８０％以上）に対応付けられた制御内容の実行を決定する。発生確率閾値（８０％以上）は、第１確率範囲の一例である。また、例えば、予測されたユーザの行動（機器３００の状態変化）の発生予定時間が３０秒未満に該当する場合、その発生予定時間閾値（３０秒未満）に対応付けられた制御内容の実行を決定する。発生予定時間閾値（３０秒未満）は、第１期間の一例である。図６Ａ～図６Ｃに示す「制御」は、機器の状態を変化させる操作により状態が変化する第１の機器の状態を、当該操作を受け付けることなく変化させる第１の制御の一例である。なお、発生確率及び発生予定時間のいずれか一方が対応する閾値に該当する場合に第１の制御が実行されることが決定されてもよいし、発生確率及び発生予定時間の両方がそれぞれ対応する閾値に該当する場合に第１の制御が実行されることが決定されてもよい。
　例えば、予測されたユーザの行動（機器３００の状態変化）の発生確率が２０％以上５０％未満に該当する場合、その発生確率閾値（２０％以上５０％未満）に対応付けられた制御内容の実行を決定する。発生確率閾値（２０％以上５０％未満）は、第３確率範囲の一例である。また、例えば、予測されたユーザの行動（機器３００の状態変化）の発生予定時間が３分以上に該当する場合、その発生予定時間閾値（３分以上）に対応付けられた制御内容の実行を決定する。発生予定時間閾値（３分以上）は、第３期間の一例である。図６Ａ～図６Ｃに示す「通知」は、機器の状態を変化させる操作により状態が変化する第１の機器の状態を変化させる第１の制御をするか否かをユーザに通知する第３の制御の一例である。なお、発生確率及び発生予定時間のいずれか一方が対応する閾値に該当する場合に第３の制御が実行されることが決定されてもよいし、発生確率及び発生予定時間の両方がそれぞれ対応する閾値に該当する場合に第３の制御が実行されることが決定されてもよい。
　例えば、予測されたユーザの行動（機器３００の状態変化）の発生確率が、５０％以上８０％未満に該当する場合、その発生確率閾値（５０％以上８０％未満）に対応付けられた制御内容の実行を決定する。発生確率閾値（５０％以上８０％未満）は、第２確率範囲の一例である。また、例えば、予測されたユーザの行動（機器３００の状態変化）の発生予定時間が３０秒以上３分未満に該当する場合、その発生予定時間閾値（３０秒以上３分未満）に対応付けられた制御内容の実行を決定する。発生予定時間閾値（３０秒以上３分未満）は、第２期間の一例である。図６Ａ～図６Ｃに示す「制御及び通知」は、機器の状態を変化させる操作により状態が変化する第１の機器の状態を、当該操作を受け付けることなく変化させる第１の制御、及び、第１の制御を変更するか否かを通知する第２の制御の一例である。つまり、機器３００の状態を変化させるとともに、ユーザへの通知が行われる。なお、発生確率及び発生予定時間のいずれか一方が対応する閾値に該当する場合に第１の制御及び第２の制御が実行されることが決定されてもよいし、発生確率及び発生予定時間の両方がそれぞれ対応する閾値に該当する場合に第１の制御及び第２の制御が実行されることが決定されてもよい。ユーザへの通知は、機器制御を実行したことの通知、及び、実行された機器制御を変更するか否かの通知を含む。なお、機器制御を変更するか否かの通知は、機器制御を停止するか否かの通知を含む。
　このように、制御内容決定部１０３は、予想時間が第１期間に該当する行動に対応する機器４００の制御内容を第１の制御に決定し、予想時間が第１期間よりも後の第２期間に該当する行動に対応する機器４００の制御内容を第１の制御及び第２の制御に決定し、予想時間が第２期間よりも後の第３期間に該当する行動に対応する機器４００の制御内容を第３の制御に決定する。また、制御内容決定部１０３は、発生確率が第１確率範囲に該当する行動に対応する機器４００の制御内容を第１の制御に決定し、発生確率が第２確率範囲に該当する行動に対応する機器４００の制御内容を第１の制御及び第２の制御に決定し、発生確率が第３確率範囲に該当する行動に対応する機器４００の制御内容を第３の制御に決定する。そして、制御指示部１０４は、決定された制御内容を実行するように、機器４００に指示を出力する。
　制御内容がユーザ通知を示す場合、すなわち、第２の制御又は第３の制御が行われる場合、例えば、現在のユーザの位置情報と、ディスプレイ又はスピーカーを有する機器４００の位置情報とを参照し、ユーザに最も近い機器４００を用いて、ユーザに通知しても良い。このとき、現在のユーザの位置情報及びディスプレイ又はスピーカーを有する機器４００の位置情報は、センサ２００で取得されても良い。ディスプレイ又はスピーカーを有する機器４００が固定されている場合、その機器４００の位置情報はメモリに記録されても良い。
　なお、常に、予め決められた機器を用いて、ユーザへの通知が行われても良い。例えば、図６Ｂに示すように、提案ルールとして予め通知先の機器（言い換えると、通知に用いられる機器）が指定されてもよい。例えば、予め決められた機器が携帯端末の場合に、ユーザの位置と携帯端末の位置とが所定距離以上の場合、携帯端末からユーザ通知を読み上げる音声で通知が行われても良い。ユーザ通知を読み上げる音声の一例は、「リビングルームのランプをＯＮにしますか」などである。また、ユーザの位置と携帯端末の位置とが所定距離未満の場合、携帯端末を用いて、ディスプレイへの表示、及び通知が届いたことを示す音で通知が行われても良い。
　また、発生確率又は発生予定時間が、通知が行われる第３の制御の閾値、すなわち第３確率範囲又は第３期間に該当する場合、ユーザに制御実行などを問い合わせる通知が行われるため、通知に対するユーザの反応が必要である。よって、ユーザに通知を気づかせる可能性を向上させるために、ディスプレイへの表示、及びユーザ通知を読み上げる音声の両方で通知がされても良い。
　なお、発生確率又は発生予定時間が、機器制御が行われる第１の制御の閾値、すなわち第１確率範囲又は第１期間に該当する場合、ユーザへの通知は必須ではないが、制御実行後に制御実行したことを示す通知、又は、所定期間の制御実行内容を集計した情報の通知がされても良い。
　なお、図６Ｃに示すように、提案ルールには、機器状態の条件が含まれていても良い。各閾値に加えて、機器状態の条件を満たす場合、制御内容が決定される。例えば、予測されたユーザの行動（機器３００の状態変化）の発生確率が２０％以上５０％未満に該当する場合に、さらに、リビングランプがＯＦＦの状態の場合に、制御内容が、第３の制御に決定される。言い換えると、予測されたユーザの行動（機器３００の状態変化）の発生確率が２０％以上５０％未満に該当する場合であっても、リビングランプがＯＮの状態の場合には、制御内容が、第３の制御に決定されなくてもよい。
　次に、以上のように構成された機器制御装置１００の処理について説明する。
　図７は、実施の形態における機器制御方法の一例を示すフローチャートである。なお、機器制御方法は、機器制御装置１００により実行される方法であるため、図７は、実施の形態における機器制御装置１００の動作の一例を示すフローチャートでもある。
　（ステップＳ１０１）
　情報取得部１０１は、ユーザの行動（機器３００の状態情報）を取得する。ユーザの行動の例として、ユーザの住宅への帰宅を想定する。例えば、機器３００が玄関のランプ及び住宅に配置されたランプを含む場合、ユーザが出かけている間は全てのランプが所定時間以上ＯＦＦとなっていることが考えられる。その後、ユーザが帰宅した際に、玄関のランプがＯＮになり、かつ他のランプがＯＦＦの状態が取得される。このように、全てのランプが所定時間以上ＯＦＦの後、玄関のランプがＯＮになり、かつ他のランプがＯＦＦの状態という機器３００の状態情報（状態変化）、すなわち、ユーザの帰宅というユーザの行動が取得される。例えば、情報取得部１０１は、ユーザの行動として、全てのランプがＯＦＦの状態から、玄関のランプがＯＮになり、かつ他のランプがＯＦＦの状態に変化した時刻も取得しても良い。
　（ステップＳ１０２）
　予測部１０２は、全てのランプが所定時間以上ＯＦＦの後、玄関のランプがＯＮになり、かつ他のランプがＯＦＦの状態というユーザの行動と、学習モデルとを用いて、将来のユーザの複数の行動情報（複数の機器３００の状態変化）を予測する。例えば、図４に示すように、ユーザの帰宅後の複数の機器３００の状態変化を予測する。予測部１０２は、所定の時間毎に、予測を実行しても良い。所定時間の例は、３０秒、１分、５分などである。つまり、所定時間毎に、図４に示すように、複数の機器３００の状態変化の情報が得られてもよい。または、予測部１０２は、次の機器３００の状態変化が起きたときに、予測を実行しても良い。新たな機器３００の状態変化は、ユーザが次の行動に移行するタイミングとも推測されるため、後述する制御の実行に適していると考えられる。
　（ステップＳ１０３）
　制御内容決定部１０３は、機器３００の状態変化の予測結果と、提案ルールとに基づいて、機器制御の内容を決定する。図４における玄関のランプＯＮは、発生確率が１００％であり、発生予定時間が３０秒未満であり、図６Ａに示す提案ルールの「制御」（すなわち第１の制御）に対応する８０％以上の発生確率閾値及び３０秒未満の発生予定時間閾値に該当するため、制御内容決定部１０３は、玄関のランプＯＮの制御実行を決定する。例えば、制御内容決定部１０３は、発生予定時間が３０秒未満であるため、即時の玄関のランプＯＮの制御実行を決定する。また、図４における洗面所のランプＯＮは、発生確率が７０％であり、発生予定時間が３０秒以上３分未満であり、図６Ａに示す提案ルールの「制御及び通知」（すなわち第１の制御及び第２の制御）に対応する５０％以上８０％未満の発生確率閾値及び３０秒以上３分未満の発生予定時間閾値に該当するため、制御内容決定部１０３は、洗面所のランプＯＮの制御実行、及び洗面所ランプＯＮの取り消し確認の通知を決定する。例えば、制御内容決定部１０３は、発生予定時間が３０秒以上３分未満であるため、３０秒後の洗面所のランプＯＮの制御実行を決定する。
　（ステップＳ１０４）
　制御指示部１０４は、制御内容決定部１０３が決定した内容を機器４００に出力する。例えば、制御指示部１０４は、すぐに玄関のランプにＯＮの指示を出力し、３０秒後に洗面所のランプにＯＮの指示、及び洗面所のランプＯＮの取り消し確認の通知を出力する。
　制御指示部１０４は、例えば、玄関のランプ、洗面所のランプのそれぞれに直接ＯＮの指示を出力しても良いし、玄関のランプ、洗面所のランプがクラウドサーバによる制御環境にある場合、クラウドサーバに玄関のランプ、洗面所のランプＯＮの指示を出力する。
　洗面所のランプＯＮの取り消し通知は、玄関に位置するユーザに最も近いスピーカーを有する機器４００を特定し、図８Ａに示すように、機器４００が「洗面所のランプをつけました。取り消しますか。」などの通知をすることである。なお、機器４００による通知後、ユーザから取り消しを意味する指示を受け付けた場合、制御指示部１０４は、洗面所のランプＯＦＦの指示を出力する。その他、図８Ｂも同様の表示例である。
　制御指示部１０４によって出力された指示に基づいて、機器４００が制御される。このように、将来のユーザの行動（例えば機器３００の操作）を予測し、予測精度に応じた機器制御又は機器制御の提案が実行される。特に、自動制御の実行と、ユーザへの問いかけとを予測状況に応じて切り替えることにより、ユーザの意図を確認しながら機器制御を実行することが可能になる。また、ユーザへの問いかけは、制御実行と、取り消すか否かの確認とを含む。例えば、ユーザの反応を制御実行の必須の条件にする場合、ユーザは多くの反応をしなければならず煩わしく感じる可能性を低減することができる。なお、発生予定時間及び発生確率に基づいて制御内容を決定する例を説明したが、制御内容を決定する際に発生確率は必ずしも用いられなくてもよい。
　なお、制御指示部１０４は、ユーザから取り消しを意味する指示を受け付けた場合、図６Ａ～図６Ｃに示す提案ルールのパラメータを更新してもよい。例えば５０％以上８０％未満が６０％以上８０％未満に更新されてもよい。
　また、機器４００の状態を変化させる制御を行った後、当該制御を取り消すか否かを通知する例について説明したが、取り消すか否か以外の通知が行われてもよい。例えば、機器４００の状態を変化させた制御とは異なる制御を行うか否かの通知が行われてもよい。例えば、ある明るさでランプがＯＮに制御され、その明るさとは異なる明るさに変更するか否かの通知が行われてもよい。
　また、制御指示部１０４は、実行されると予測される予想時間がそれぞれ所定の時間範囲に含まれる複数の行動に対応する機器４００の制御を、同じタイミングで実行してもよい。つまり、予想時間が近い行動に対応する機器４００の制御が同じタイミングでまとめて実行されてもよい。
　（機器４００の通知）
　機器４００は提示部を有していてもよく、提示部により通知情報が提示されてもよい。通知のみが行われる第３の制御の場合、通知情報には、機器制御を実行可能であることを示す表示と、実行表示とが含まれていても良い。例えば、実行表示は、機器制御を実行させるボタン又はアイコン等であり、実行表示（ボタン又はアイコン等）が操作されることで、機器制御を実行する指示が出力される。制御及び通知が行われる第２の制御の場合、通知情報には、制御実行されたことを示す表示と、取消表示とが含まれていてもよい。例えば、取消表示は、実行された機器制御を取り消すことを実行させるボタン又はアイコン等であり、取消表示（ボタン又はアイコン等）が操作されることで、実行された機器制御を取り消すことを実行する指示が出力される。提示部の一例は、ディスプレイ、又はスピーカーである。提示部がディスプレイの場合、提示部は、図８Ａ～図８Ｄに示すように、文字情報を示す。図８Ａ～図８Ｃに示される「ＹＥＳ」の表示、及び、図８Ｄに示される「取り消す」の表示は、取消表示の一例である。提示部がスピーカーの場合、提示部は、「洗面所のランプをつけました、取り消しますか」等の音声情報を出力する。同じタイミングで実行される複数の制御内容が決定された場合、図８Ｃ及び図８Ｄに示すように、提示部は、複数の制御内容をまとめて通知しても良い。
　（変形例）
　制御内容決定部１０３は、図６Ａ～図６Ｃに示す提案ルールを用いて選択される制御内容を修正しても良い。
　図９は、実施の形態の変形例における機器制御方法の一例を示すフローチャートである。なお、図７と同じように、図９は、実施の形態の変形例における機器制御装置１００の動作の一例を示すフローチャートでもある。図９に示すフローチャートは、図７に示すフローチャートのＳ１０３のステップに代えて、Ｓ１０３１～Ｓ１０３４のステップを含む。図９に示すフローチャートのＳ１０１、Ｓ１０２及びＳ１０４は、図７におけるものと同じであるため説明は省略する。
　（Ｓ１０３１）
　制御内容決定部１０３は、機器３００の状態変化の予測結果と、提案ルールとに基づいて、機器制御の内容を選択する。機器制御の内容の選択方法は、図７に示すフローチャートのＳ１０３における機器制御の内容の決定方法と同様である。
　（Ｓ１０３２）
　制御内容決定部１０３は、修正ルールを参照して、選択した制御内容を修正するか否か判断する。制御内容を修正する場合は、Ｓ１０３３に進み、制御内容を修正しない場合は、Ｓ１０３４に進む。修正ルールの詳細については後述する。
　（Ｓ１０３３）
　制御内容決定部１０３は、修正ルールを参照して、選択した制御内容を修正する。
　（Ｓ１０３４）
　制御内容決定部１０３は、修正ルールに基づいて修正が必要であった場合、制御内容として修正した内容を決定する。制御内容決定部１０３は、修正ルールに基づいて修正が必要なかった場合、制御内容として、提案ルールに基づいて選択した内容を決定する。
　次に修正ルールについて説明する。例えば、修正ルールには、第１の修正ルール、第２の修正ルール及び第３の修正ルールが存在する。
　第１の修正ルールは、制御内容を決定又は実行してから所定時間以内に当該制御内容を決定又は実行しないことを示す。例えば、制御内容を決定してから所定時間経過する前に再度同じ制御内容が選択された場合、選択された制御内容を実行しないという制御内容に修正し、選択された制御内容は実行されなくてもよい（言い換えると、選択された制御内容を実行しないという、修正された制御内容が実行されてもよい）。ただし、直前に制御内容が実行された場所と異なる場所にユーザが移動している場合には、第１の修正ルールは適用されないという設定をしても良い。
　第２の修正ルールは、所定の入力に基づいて選択された制御内容が通知（すなわち第３の制御）である場合に、通知を実行しないことを示す。所定の入力は、例えば、ユーザの起床又帰宅等の行動である。例えば、ユーザの起床後又はユーザの帰宅時などには、ユーザは所定の動作を連続して行うことが多いため、通知が頻繁に行われると煩わしく感じる可能性がある。そこで、このような場合には、通知のみの第３の制御を実行しないという内容に修正し、選択された制御内容（第３の制御）は実行されなくてもよい。つまり、このような場合には、制御及び通知（すなわち第２の制御）、又は制御（すなわち第１の制御）のみ実行されてもよい。
　第３の修正ルールは、時間の変化とともに予測内容の変化が少ない場合に、選択された制御内容を実行しないことを示す。例えば、複数ステップでの予測が行われる場合に、予測した複数ステップのうちの所定以上のステップにおいて予測内容の変化がない場合、制御内容を実行しなくてもよい。例えば、１０ステップを予測する場合、３ステップ以上の予測に変化がない場合には、制御内容を実行しない。また、機器３００の状態変化は、当該状態変化の発生予定時間が現在から近いときには、当該状態変化の発生予定時間が現在から遠いときよりも大きく重みづけされても良い。例えば、最初の３ステップの変化に対して係数１．０とし、４ステップから１０ステップまでを係数０．５とし、変化したステップの係数に１、変化しなかったステップの係数に０を掛け、各ステップでの掛け算の合計が所定以上か否かで、予測内容の変化が少ないか否かが判断されてもよい。
　以上説明したように、将来のユーザの複数の行動（機器３００の状態変化）と各行動（各状態変化）の予想時間とに基づいて決定された機器４００の制御内容が実行される。このため、ユーザの反応を機器４００の制御を実行させるための必須の条件とせず、機器４００の制御を自動で実行することができる。さらに、実行される機器４００の制御内容は、将来のユーザの複数の行動（機器３００の状態変化）と各行動（各状態変化）の予想時間とに基づいて決定されたものであるため、自動で実行された機器４００の制御がユーザの意図する制御となっている可能性を高くすることができる。このように、効果的に機器４００を制御できる。
　（その他の実施の形態）
　以上、本開示の一つ又は複数の態様に係る機器制御方法及び機器制御装置１００について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
　例えば、本開示は、機器制御方法に含まれるステップを、プロセッサ（コンピュータ）に実行させるプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
　例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。
　なお、上記実施の形態において、機器制御装置１００に含まれる各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　上記実施の形態に係る機器制御装置１００の機能の一部又は全ては典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　本開示は、施設における電子機器などを自動で制御するシステムに適用できる。
１　機器制御システム
１００　機器制御装置
１０１　情報取得部
１０２　予測部
１０３　制御内容決定部
１０４　制御指示部
２００　センサ
３００、３００ａ、３００ｂ、３００ｃ　機器
４００、４００ａ、４００ｂ、４００ｃ　機器
１００１　プロセッサ
１００２　メモリ

Claims (11)

  1. 　ユーザの行動を取得し、
    　前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、
    　前記複数の行動と前記予想時間とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、
    　前記予想時間に基づいて、前記機器の制御内容を実行する、
    機器制御方法。
  2. 　前記複数の行動は、前記ユーザが存在する空間に位置する機器の状態を変化させる操作に対応する、
    請求項１に記載の機器制御方法。
  3. 　前記予想時間は、前記複数の行動情報を予測した時点から前記複数の行動が遅くとも実行されると予測されるタイミングまでの期間、又は、前記複数の行動のそれぞれが実行されると予測されるタイミングである、
    請求項１又は２に記載の機器制御方法。
  4. 　前記予想時間は、世界時間に対応する時刻に基づいて予測される、
    請求項１～３のいずれか１項に記載の機器制御方法。
  5. 　前記複数の行動情報は、さらに、前記複数の行動のそれぞれの発生確率を含み、
    　前記複数の行動と前記予想時間と前記発生確率とに基づいて、前記複数の行動のそれぞれに対応する機器の制御内容を決定する、
    請求項１～４のいずれか１項に記載の機器制御方法。
  6. 　前記複数の行動は、前記ユーザが存在する空間に位置する機器の状態を変化させる操作に対応し、
    　前記複数の行動のそれぞれに対応する前記機器の制御内容は、
    　前記操作により状態が変化する第１の機器の状態を、前記操作を受け付けることなく変化させる第１の制御と、
    　前記操作により状態が変化する第１の機器の状態を、前記操作を受け付けることなく変化させる第１の制御、及び、前記第１の制御を変更するか否かを通知する第２の制御と、
    　前記操作により状態が変化する第１の機器の状態を変化させる第１の制御をするか否かを通知する第３の制御との少なくとも１つである、
    請求項１～５のいずれか１項に記載の機器制御方法。
  7. 　前記発生確率が第１確率範囲に該当する行動に対応する前記機器の制御内容を前記第１の制御に決定し、
    　前記発生確率が前記第１確率範囲よりも低い第２確率範囲に該当する行動に対応する前記機器の制御内容を前記第１の制御及び前記第２の制御に決定し、
    　前記発生確率が前記第２確率範囲よりも低い第３確率範囲に該当する行動に対応する前記機器の制御内容を前記第３の制御に決定する、
    請求項５を引用する請求項６に記載の機器制御方法。
  8. 　前記予想時間が第１期間に該当する行動に対応する前記機器の制御内容を前記第１の制御に決定し、
    　前記予想時間が前記第１期間よりも後の第２期間に該当する行動に対応する前記機器の制御内容を前記第１の制御及び前記第２の制御に決定し、
    　前記予想時間が前記第２期間よりも後の第３期間に該当する行動に対応する前記機器の制御内容を前記第３の制御に決定する、
    請求項６又は７に記載の機器制御方法。
  9. 　実行されると予測される前記予想時間がそれぞれ所定の時間範囲に含まれる前記複数の行動に対応する前記機器の制御を、同じタイミングで実行する、
    請求項１～８のいずれか１項に記載の機器制御方法。
  10. 　請求項１～９のいずれか１項に記載の機器制御方法をコンピュータに実行させるプログラム。
  11. 　プロセッサとメモリとを備え、
    　前記プロセッサは、
    （ａ）センサによりセンシングされたユーザの行動を取得し、
    （ｂ）前記ユーザの行動に基づいて、将来の前記ユーザの複数の行動情報を予測し、ここで、前記複数の行動情報は、複数の行動と、前記複数の行動のそれぞれが実行されると予測される予想時間とを含み、
    （ｃ）前記複数の行動と前記予想時間とに基づいて、前記メモリに記録されたルールを参照して、前記複数の行動のそれぞれに対応する機器の制御内容を決定し、
    （ｄ）前記予想時間に基づいて、前記機器の制御内容を実行する、
    機器制御装置。
PCT/JP2021/037667 2021-01-06 2021-10-12 機器制御方法、プログラム及び機器制御装置 WO2022149325A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022573918A JPWO2022149325A1 (ja) 2021-01-06 2021-10-12
US18/216,043 US20230341831A1 (en) 2021-01-06 2023-06-29 Appliance control method, recording medium, and appliance control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-000896 2021-01-06
JP2021000896 2021-01-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/216,043 Continuation US20230341831A1 (en) 2021-01-06 2023-06-29 Appliance control method, recording medium, and appliance control device

Publications (1)

Publication Number Publication Date
WO2022149325A1 true WO2022149325A1 (ja) 2022-07-14

Family

ID=82357347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037667 WO2022149325A1 (ja) 2021-01-06 2021-10-12 機器制御方法、プログラム及び機器制御装置

Country Status (3)

Country Link
US (1) US20230341831A1 (ja)
JP (1) JPWO2022149325A1 (ja)
WO (1) WO2022149325A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930658A (zh) * 2024-01-24 2024-04-26 南栖仙策(南京)高新技术有限公司 一种设备控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034402A (ja) * 2009-08-03 2011-02-17 Sony Corp データ処理装置、データ処理方法、およびプログラム
JP2017182531A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020511703A (ja) * 2017-02-01 2020-04-16 ブレイノフト・インコーポレーテッドＢｒａｉｎｏｆｔ Ｉｎｃｏｒｐｏｒａｔｅｄ インタラクティブ環境コントローラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034402A (ja) * 2009-08-03 2011-02-17 Sony Corp データ処理装置、データ処理方法、およびプログラム
JP2017182531A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020511703A (ja) * 2017-02-01 2020-04-16 ブレイノフト・インコーポレーテッドＢｒａｉｎｏｆｔ Ｉｎｃｏｒｐｏｒａｔｅｄ インタラクティブ環境コントローラ

Also Published As

Publication number Publication date
US20230341831A1 (en) 2023-10-26
JPWO2022149325A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
WO2014103307A1 (ja) 制御方法
CN110793167B (zh) 空调控制方法及装置
US20210193333A1 (en) Control system
CN112230611A (zh) 智能家居设备的控制方法、装置、电子设备及存储介质
WO2022149325A1 (ja) 機器制御方法、プログラム及び機器制御装置
US20210176086A1 (en) Notification control device, notification control system, and notification control method
KR102051715B1 (ko) IoT 가전기기를 제어하는 방법 및 그 장치
CN115327934B (zh) 智能家居场景推荐方法、系统、存储介质及电子装置
CN112161393A (zh) 定制家电设备功能的方法、装置、电子设备和存储介质
CN114115027A (zh) 目标环境参数的调节方法、系统、装置、设备及存储介质
JP6236061B2 (ja) 電気機器制御装置および電気機器制御システム
JP7177589B2 (ja) 家電制御システム及び制御装置
CN115631832B (zh) 烹饪计划的确定方法及装置、存储介质及电子装置
CN106371343A (zh) 一种基于家电的控制方法及电子设备
CN111183478B (zh) 家电系统
JP2016220257A (ja) 制御装置、制御方法、制御システム、制御プログラム、および報知機器
US10402732B2 (en) User management method, server device, and user management system
JP5208146B2 (ja) 調停サーバ、調停方法および調停プログラム
CN112789635A (zh) 信息提供方法
WO2024029130A1 (ja) 情報出力方法、情報処理装置およびコンピュータプログラム
US11995107B2 (en) Control method, recording medium, and control system
CN114839901B (zh) 智能设备的控制方法和装置、存储介质及电子装置
CN115171676B (zh) 意图行为的确定方法和装置、存储介质及电子装置
WO2024106105A1 (ja) 情報出力方法、情報処理装置およびコンピュータプログラム
CN109901428B (zh) 一种家电设备及其负载档位控制方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573918

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917550

Country of ref document: EP

Kind code of ref document: A1