WO2018011892A1 - 機器制御システム - Google Patents

機器制御システム Download PDF

Info

Publication number
WO2018011892A1
WO2018011892A1 PCT/JP2016/070570 JP2016070570W WO2018011892A1 WO 2018011892 A1 WO2018011892 A1 WO 2018011892A1 JP 2016070570 W JP2016070570 W JP 2016070570W WO 2018011892 A1 WO2018011892 A1 WO 2018011892A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
recommended
unit
control system
device control
Prior art date
Application number
PCT/JP2016/070570
Other languages
English (en)
French (fr)
Inventor
遠藤　聡
正之 小松
諭司 花井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/070570 priority Critical patent/WO2018011892A1/ja
Priority to EP16908796.2A priority patent/EP3486746B1/en
Priority to CN201680087249.8A priority patent/CN109416573B/zh
Priority to JP2018527291A priority patent/JP6685397B2/ja
Priority to US16/094,927 priority patent/US10754161B2/en
Publication of WO2018011892A1 publication Critical patent/WO2018011892A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Definitions

  • the present invention relates to a device control system capable of easily operating a device.
  • wearable sensors wearable devices
  • the wearable sensor is worn by a user and can detect, for example, operation information such as acceleration and biological information such as a pulse. Information detected by the wearable sensor is utilized for user behavior management and health management.
  • Patent Literature 1 discloses an invention of an action state monitoring device
  • Patent Literature 2 discloses an invention of an action pattern analysis system. Yes.
  • Patent Document 1 a wristwatch-type behavior situation monitoring device is used, and the behavior of the user (wearer) is analyzed from the temperature data detected by the behavior situation monitoring device, and instructions and warnings are given to the user. Can be given. Further, in the invention of Patent Document 2, a motion sensor and a position sensor are used, and a user's action and situation are specified based on movement information detected by the motion sensor and position information detected by the position sensor. In addition, necessary information can be provided to the mobile terminal.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a device control system capable of easily operating a device.
  • a device control system includes: A device control system that controls a device according to device selection for selecting a device from a device candidate group and operation selection for selecting an operation from a candidate group of operations for the device selected by the device selection. , A sensor unit that is mounted on a user and detects information including any of image information, operation information, biological information, and environmental information; A display unit that displays a recommended operation based on information detected by the sensor unit together with a candidate group of the device; Is provided.
  • recommended operations recommended to the user are displayed together with a candidate group for selecting a device. At that time, when the user selects a recommended operation, the selection of the device and the selection of the operation content can be performed together, and the operation of the device can be easily performed.
  • FIG. 1 is a schematic diagram illustrating an example of the overall configuration of a device control system 1 according to the first embodiment of the present invention.
  • the device control system 1 is a system in which a user wears the smart glass 10 and can easily operate the home appliance 30 by a gesture (for example, a gesture by a fingertip movement).
  • a smart glass 10, a controller 20, and a plurality of home appliances 30 are arranged in a house H (home).
  • the controller 20 and the home appliance 30 are communicably connected via a home network 80 including a wired LAN (Local Area Network) or a wireless LAN.
  • the smart glass 10 and the controller 20 are connected to be communicable, for example, by short-range wireless communication represented by Bluetooth (registered trademark).
  • the smart glass 10 is an example of a wearable sensor (wearable device).
  • the user wears the smart glasses 10 in the manner of wearing glasses, and as will be described later, visually confirms displayed images (a device selection screen G1 and an operation selection screen G2 described later), and an operation input (selection) by a gesture. I do.
  • the smart glass 10 is not restricted to 1 unit
  • the smart glass 10 includes a communication unit 11, a display unit 12, a sensor unit 13, a data storage unit 14, and a control unit 15.
  • the communication unit 11 is a communication unit that adopts a short-range wireless communication method represented by Bluetooth (registered trademark), and receives information necessary for the controller 20 under the control of the control unit 15. Send and receive.
  • the communication unit 11 may be a wireless LAN communication unit.
  • the communication unit 11 transmits sensor information (image information, operation information, biological information, or environment information described later) detected by the sensor unit 13 to the controller 20. Further, the communication unit 11 receives display information sent from the controller 20.
  • the smart glass 10 is provided with a start button to be pressed when the user starts a gesture, and when the start button is pressed, the communication unit 11 notifies the start of the gesture (operation input).
  • the start information to be transmitted is transmitted to the controller 20.
  • the display unit 12 is a color liquid crystal panel as an example, and displays an image based on the display information received by the communication unit 11. That is, the display unit 12 displays an image based on the display information sent from the controller 20. For example, the display unit 12 displays a device selection screen G1 as shown in FIG. 3A. On this device selection screen G1, a candidate group of devices (home appliances 30) is displayed according to the room. The user selects one of the devices to be operated from the device candidate group displayed on the device selection screen G1.
  • the device selection screen G1 also includes recommended settings RM.
  • the recommended setting RM is recommended information recommended for a user wearing the smart glass 10, and indicates recommended operation content for a recommended device.
  • the recommended setting RM also includes the content of gestures (gestures that the user should make to select). When the user selects the recommended setting RM, the device selection and the operation content selection can be performed together according to the recommendation information.
  • the display unit 12 displays an operation selection screen G2 as shown in FIG. 3B.
  • the operation selection screen G2 is displayed when a device is selected on the device selection screen G1.
  • a candidate group of operation contents (setting contents) for the selected device is displayed.
  • the user selects the operation content to be instructed (setting content to be changed) from the operation content candidate group displayed on the operation selection screen G2.
  • the operation selection screen G2 also includes a recommended setting RM. Therefore, even after selecting a device to be operated, it is possible to select a recommended operation recommended for a user (a recommended operation for a recommended device).
  • the sensor unit 13 detects, for example, operation information, biological information, or environment information of the user wearing the smart glass 10.
  • the sensor part 13 may detect multiple types of information.
  • the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
  • the smart glass 10 includes a camera (a lens or an image sensor), and this camera also functions as the sensor unit 13.
  • the camera as the sensor unit 13 sequentially generates (detects) image information tracking the movement of the fingertip when the user performs a gesture of moving the fingertip.
  • the sensor unit 13 includes, for example, a heart rate sensor, a pulse sensor, a body temperature sensor, or a body surface temperature sensor, and the user's biological information (for example, heart rate, pulse, body temperature, or body surface temperature Value).
  • the sensor unit 13 includes, for example, a temperature sensor and an illuminance sensor, and detects environmental information (for example, room temperature and illuminance values) of the user.
  • the sensor unit 13 transmits sensor information (image information, operation information, biological information, or environment information) to the controller 20 through the communication unit 11.
  • the sensor unit 13 also supplies the image information and the operation information to the control unit 15 (a gesture analysis unit 151 described later).
  • the data storage unit 14 is configured by a non-volatile semiconductor memory as an example, and stores various information necessary for the operation of the smart glass 10. For example, the data storage unit 14 stores a correct model of a gesture to be performed by the user when the above-described device selection screen G1 in FIG. 3A or the operation selection screen G2 in FIG. 3B is displayed. That is, the data storage unit 14 stores a gesture associated with the candidate group to select one of the candidate groups and a correct model of the gesture associated with the selection of the recommended setting RM.
  • the control unit 15 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and controls the entire smart glass 10.
  • the control unit 15 functions as a gesture analysis unit 151. This function is realized by the CPU using the RAM as a work memory and appropriately executing a program stored in the ROM.
  • the gesture analysis unit 151 analyzes the gesture performed by the user according to the image information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the movement of the user's fingertip based on the sequentially updated image information, and identifies the gesture performed by the user. Then, when the identified gesture matches any gesture (correct model) stored in the data storage unit 14, the gesture analysis unit 151 also includes a candidate (recommended setting RM) associated with the matched gesture. ) Is transmitted to the controller 20 through the communication unit 11.
  • a candidate recommended setting RM
  • the gesture analysis unit 151 analyzes the gesture based on the image information in this way is an example when the smart glass 10 is used as a wearable sensor. Therefore, as described later, when another type of wearable sensor is used, the gesture analysis unit 151 analyzes the gesture based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
  • the controller 20 determines recommendation information for recommending the user wearing the smart glass 10 according to the sensor information sent from the smart glass 10. Then, the controller 20 transmits display information including the determined recommended information to the smart glass 10. Further, the controller 20 controls the home appliance 30 according to the instruction information sent from the smart glass 10.
  • the controller 20 includes a communication unit 21, a data storage unit 22, and a control unit 23.
  • the communication unit 21 is a composite communication unit that employs a short-range wireless communication method represented by Bluetooth (registered trademark) and a wired LAN or wireless LAN communication method, and is controlled by the control unit 23. Necessary information is transmitted / received between the smart glass 10 and the home appliance 30. For example, the communication unit 21 receives sensor information, start information, and instruction information sent from the smart glass 10. Further, the communication unit 21 transmits display information to the smart glass 10. Furthermore, the communication unit 21 receives operation information and power information transmitted from the home appliance 30 via the home network 80, and transmits a control command to the home appliance 30.
  • a short-range wireless communication method represented by Bluetooth (registered trademark) and a wired LAN or wireless LAN communication method
  • the data storage unit 22 is composed of, for example, a non-volatile semiconductor memory, and stores various information necessary for the operation of the controller 20.
  • the data storage unit 22 stores device information 221 for managing information on the home appliance 30 and definition information 222 (222a, 222b) that defines conditions and contents of recommended information.
  • the device information 221 in FIG. 5 includes an identification number, a device (home appliance 30), an arrangement location, an operating state, and an electric energy. Such device information 221 is used, for example, when generating display information.
  • the definition information 222a in FIG. 6A includes a priority, a device (home appliance 30), a condition (condition 1, condition 2,...), And a recommended operation.
  • the priority order indicates the priority of the item (device, condition, and recommended operation), and is defined as levels A, B, C,.
  • an item of level B can be a target when the condition of each item of level A is not satisfied.
  • the item of level C can be a target when the conditions of items up to each level B are not satisfied.
  • the recommended operation for the item that first satisfies the condition is the recommended information.
  • the definition information 222b in FIG. 6B is used to adjust the recommended operation according to the personnel configuration when multiple users are present in the room. For example, when a plurality of smart glasses 10 are used, or when only one smart glass 10 is used and it is detected from the image information that another user is present, this definition information 222b is used. That is, the recommended information (recommended operation) determined by the definition information 222a described above is adjusted based on the definition information 222b. When the user is alone in the room, the recommended information (recommended operation) determined by the definition information 222a is used as it is.
  • the definition information 222b in FIG. 6B includes a configuration pattern (personnel configuration), a device (home appliance 30), and adjustment details.
  • the adjustment content indicates the content to be adjusted for the recommended information (recommended operation) determined by the definition information 222a.
  • the definition information 222a and the definition information 222b define recommended operations (recommended information) having different contents depending on the personnel configuration of the user.
  • the data storage unit 22 stores preference information (for example, an air conditioner (at the time of cooling) that has a low temperature and a preference for light breeze or lighting. Power information such as color preference) or the amount of power used by the home appliance 30 or the electricity charge may be stored.
  • preference information for example, an air conditioner (at the time of cooling) that has a low temperature and a preference for light breeze or lighting.
  • Power information such as color preference
  • the amount of power used by the home appliance 30 or the electricity charge may be stored.
  • control unit 23 includes a CPU, a ROM, a RAM, and the like, and controls the entire controller 20. Functionally, the control unit 23 includes a recommendation processing unit 231, a management unit 232, and a device control unit 233. These functions are realized by the CPU using the RAM as a work memory and appropriately executing a program stored in the ROM, for example.
  • the recommendation processing unit 231 determines recommended information for recommending to the user based on the sensor information received by the communication unit 21 (sensor information relayed from the management unit 232). That is, the recommendation processing unit 231 determines a recommended operation defined by the definition information 222 (definition information 222a and 222b) from the image information, operation information, biological information, or environment information sent from the smart glass 10.
  • the recommended processing unit 231 determines a recommended operation that satisfies the condition in the item of the definition information 222 based on the biological information (for example, values of heart rate, pulse, body temperature, or body surface temperature). Also.
  • the recommendation processing unit 231 determines a recommended operation that satisfies the conditions in the items of the definition information 222 based on environment information (for example, room temperature and illuminance values). As described above, when a plurality of users are present, the recommendation processing unit 231 further uses the definition information 222b to adjust the recommended operation determined by the definition information 222a.
  • the recommended processing unit 231 may determine a recommended operation based on the operation state (current operation state) of the device information 221.
  • the recommendation processing unit 231 may determine recommended information for recommending to the user based on the preference information.
  • the recommended processing unit 231 uses the power information based on a comparison between a predetermined target power amount or a target electricity rate. A recommended operation for recommending the user may be determined.
  • the management unit 232 appropriately stores start information and instruction information received by the communication unit 21, and performs sequence management during operation. For example, when start information is sent from the smart glass 10 in response to pressing of the above-described disclosure button (start button pressed by the user at the start of a gesture), the management unit 232 sets the sequence to the first stage (device selection stage). ). In this first stage, if the instruction information is sent and the instruction content is device selection, the management unit 232 moves the sequence to the second stage (operation selection stage), while the instruction content is recommended. If the operation (recommended setting RM) is selected, the sequence is shifted to the final stage (device control stage). In the second stage, if the instruction information is transmitted and the instruction content is an operation selection or a recommended operation selection, the management unit 232 moves the sequence to the final stage.
  • start information is sent from the smart glass 10 in response to pressing of the above-described disclosure button (start button pressed by the user at the start of a gesture)
  • the management unit 232 sets the sequence to the first stage (dev
  • the management unit 232 appropriately stores the sensor information received by the communication unit 21, and passes (relays) the sensor information to the recommendation processing unit 231. Then, display information including recommended information (recommended operation) determined by the recommendation processing unit 231 is generated. For example, if the sequence is the first stage, the management unit 232 generates display information representing the above-described device selection screen G1. If the sequence is the second stage, the management unit 232 generates display information representing the above-described operation selection screen G2.
  • the management unit 232 notifies the device control unit 233 of control information corresponding to the instruction information.
  • the management unit 232 updates the device information 221 stored in the data storage unit 22 according to the operation information and power information of the home appliance 30 notified from the device control unit 233.
  • the device control unit 233 When the control information is notified from the management unit 232, the device control unit 233 generates a control command corresponding to the target home appliance 30. Then, the device control unit 233 transmits the generated control command to the target home appliance 30 through the communication unit 21. In addition, for example, when the information collection timing specified in advance is reached, the device control unit 233 requests information from the home appliance 30 and receives operation information and power information transmitted in response. Then, the device control unit 233 notifies the management unit 232 of the received operation information and power information.
  • the home appliance 30 is various electric appliances used in each room in the residence H, and includes, as an example, an air conditioner, floor heating, lighting, and a television set.
  • the kind of household appliances 30 is not restricted to these,
  • the home appliance 30 includes a communication unit 31, a data storage unit 32, a main function unit 33, and a control unit 34.
  • the communication unit 31 is, for example, a communication adapter for connecting to the home network 80, and communicates with the controller 20 via the home network 80 under the control of the control unit 34.
  • you may comprise the communication part 31 with the external communication adapter which can be attached or detached.
  • the data storage unit 32 is composed of, for example, a non-volatile semiconductor memory, and stores information indicating the state of the home appliance 30 (for example, an operation state, an operation mode, and an electric energy).
  • the main function unit 33 is a configuration for realizing the original function of the home appliance 30 (for example, if it is an air conditioner, an air conditioning function of cooling or heating), and is controlled by the control unit 34.
  • the control unit 34 includes a CPU, a RAM, a ROM, and the like, and controls the entire home appliance 30.
  • the control unit 34 functionally includes a data processing unit 341 and a control execution unit 342. These functions are realized by the CPU appropriately executing programs stored in the ROM or the data storage unit 32 using the RAM as a work memory.
  • the data processing unit 341 sequentially updates information stored in the data storage unit 32 based on, for example, a measurement value obtained by a sensor included in the home appliance 30 or a monitoring result of an operation state or a setting state. Then, the data processing unit 341 transmits information stored in the data storage unit 32 to the controller 20 in response to a request from the controller 20.
  • control execution unit 342 causes the main function unit 33 to execute control based on the received control command.
  • FIG. 8 is a flowchart illustrating an example of the device control process.
  • This device control process is started, for example, when the start button of the smart glass 10 is pressed by the user. It is assumed that start information associated with pressing of the start button is transmitted from the smart glass 10 to the controller 20.
  • the smart glass 10 transmits sensor information to the controller 20 (step S401). That is, the sensor unit 13 detects operation information, biological information, or environment information of the user wearing the smart glass 10. Then, the communication unit 11 transmits this sensor information to the controller 20.
  • Controller 20 determines recommended operation based on the sent sensor information (step S402). That is, the recommendation processing unit 231 determines recommended information for recommending to the user based on the sensor information. That is, the recommendation processing unit 231 determines a recommended operation defined by the definition information 222 (definition information 222a and 222b) from the image information, operation information, biological information, or environment information sent from the smart glass 10.
  • the recommended processing unit 231 determines a recommended operation that satisfies the condition in the item of the definition information 222 based on the biological information (for example, values of heart rate, pulse, body temperature, or body surface temperature). Also. The recommendation processing unit 231 determines a recommended operation that satisfies the conditions in the items of the definition information 222 based on environment information (for example, room temperature and illuminance values). When a plurality of users are present, the recommendation processing unit 231 further uses the definition information 222b to adjust the recommended operation determined by the definition information 222a. In addition, when the data storage unit 22 stores preference information, the recommendation processing unit 231 may determine recommendation information for recommending to the user based on the preference information. Good. In addition, when the data storage unit 22 stores power information, the recommendation processing unit 231 gives the user information based on the comparison between the power information and a predetermined target power amount or target electricity rate. A recommended operation for making a recommendation may be determined.
  • the biological information for example, values of heart rate, pulse, body temperature,
  • the controller 20 generates display information and transmits it to the smart glass 10 (step S403). That is, the management unit 232 generates display information including the recommended operation determined in step S402.
  • the management unit 232 performs sequence management. For example, if the sequence is the first stage, the management unit 232 generates display information representing the device selection screen G1, while if the sequence is the second stage, the operation selection is performed. Display information representing the screen G2 is generated. Then, the communication unit 21 transmits this display information to the smart glass 10.
  • the smart glass 10 displays a screen based on the sent display information (step S404). That is, the display unit 12 displays a device selection screen G1 as shown in FIG. 3A and an operation selection screen G2 as shown in FIG. 3B.
  • the smart glass 10 analyzes the gesture (step S405). That is, the gesture analysis unit 151 analyzes the gesture performed by the user according to the image information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the movement of the user's fingertip based on the sequentially updated image information, and identifies the gesture performed by the user. The gesture analysis unit 151 analyzes the gesture based on the image information in this way is an example in the case where the smart glass 10 is used as a wearable sensor. Therefore, as described later, when another type of wearable sensor is used, the gesture analysis unit 151 analyzes the gesture based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
  • the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user.
  • the smart glass 10 transmits instruction information to the controller 20 (step S406).
  • the gesture analysis unit 151 includes a candidate (recommended setting RM) associated with the matched gesture when the identified gesture matches any of the gestures (correct models) stored in the data storage unit 14. ) Is transmitted to the controller 20 through the communication unit 11.
  • the controller 20 determines whether or not the sent instruction information is an operation decision (step S407). That is, the management unit 232 that performs sequence management, when the sequence is in the first stage and the instruction information is selection of a recommended operation (recommended setting RM), and when the sequence is in the second stage, the instruction information is the operation If it is a selection or a recommended operation, it is determined that the operation is determined.
  • the management unit 232 that performs sequence management, when the sequence is in the first stage and the instruction information is selection of a recommended operation (recommended setting RM), and when the sequence is in the second stage, the instruction information is the operation If it is a selection or a recommended operation, it is determined that the operation is determined.
  • step S407 If the controller 20 determines that the sent instruction information is not an operation decision (step S407; No), the controller 20 returns the process to step S403 described above. In step S403, a display image corresponding to the sequence management is generated and transmitted to the smart glass 10 again.
  • step S407 when it is determined that the sent instruction information is an operation decision (step S407; Yes), the controller 20 generates an operation command and transmits it to the home appliance 30 (step S408). That is, when the control information is notified from the management unit 232, the device control unit 233 generates a control command according to the target home appliance 30. Then, the communication unit 21 transmits this operation command to the target home appliance 30.
  • the household electrical appliance 30 executes the sent control command (step S409). That is, when the control command sent from the controller 20 is received by the communication unit 31, the control execution unit 342 causes the main function unit 33 to execute control based on the received control command.
  • the recommended operation recommended to the user is displayed on the display unit 12 of the smart glass 10 together with a candidate group for selecting a device based on the sensor information detected by the sensor unit 13. Is done. At that time, when the user selects a recommended operation, the selection of the device and the selection of the operation content can be performed together, and the operation of the device can be easily performed.
  • sensor information image information, operation information, biological information, or environment information
  • sensor information detected by the sensor unit 13
  • the sensor information transmitted to the management unit 232 is transmitted to the recommendation processing unit 231.
  • the recommendation processing unit 231 generates recommendation information (recommended operation) based on the sensor information and transmits it to the management unit 232. Then, the management unit 232 transmits display information including recommended information to the display unit 12.
  • sensor information image information and operation information detected by the sensor unit 13 is also transmitted to the gesture analysis unit 151.
  • the gesture analysis unit 151 analyzes a gesture made by the user based on the sensor information. When the gesture performed by the user matches the correct model, the instruction information is transmitted to the management unit 232.
  • the management unit 232 transmits control information to the device control unit 233.
  • the device control unit 233 generates a control command based on the sent control information and transmits the control command to the target home appliance 30.
  • the device control unit 233 transmits the operation information transmitted from the home appliance 30 to the management unit 232.
  • the device control system 1 can be realized by different device configurations.
  • FIG. 10 is a schematic diagram illustrating an example of the overall configuration of the device control system 2 according to the second embodiment of the present invention.
  • the device control system 2 is different from the device control system 1 of FIG. 1 in that a ring-type sensor terminal 16 is added as an example.
  • the sensor terminal 16 is an example of a wearable sensor. The user wears the sensor terminal 16 on the finger performing the gesture.
  • the sensor terminal 16 includes the sensor unit 13 in the related diagram of FIG. 9 described above.
  • the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
  • the sensor terminal 16 also includes a communication unit that employs a short-range wireless communication system represented by Bluetooth (registered trademark) as an example, and transmits operation information detected by the sensor unit 13 to the smart glass 10. .
  • the smart glass 10 includes a gesture analysis unit 151 in the related diagram of FIG. 9, and is performed by a user based on operation information sent from the sensor terminal 16 (that is, operation information detected by the sensor unit 13). Perform gesture analysis. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any gesture (correct model) stored in the data storage unit 14, the gesture analysis unit 151 also includes a candidate (recommended setting RM) associated with the matched gesture. ) Is transmitted to the controller 20 through the communication unit 11.
  • a candidate recommended setting RM
  • the smart glass 10 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information sent from the controller 20.
  • a screen for example, the device selection screen G1 or the operation selection screen G2
  • the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
  • FIG. 11 is a schematic diagram illustrating an example of the overall configuration of the device control system 3 according to the third embodiment of the present invention.
  • This device control system 3 is different from the device control system 2 of FIG. 10 in that a smartphone 17 is added as an example.
  • the sensor terminal 16 is the same as the sensor terminal 16 in the device control system 2 of FIG. That is, the sensor unit 13 in the related diagram of FIG. 9 is provided.
  • the sensor terminal 16 in the device control system 3 transmits the operation information detected by the sensor unit 13 to the smartphone 17.
  • the smartphone 17 includes the gesture analysis unit 151 in the related diagram of FIG. 9, and the gesture performed by the user based on the operation information transmitted from the sensor terminal 16 (that is, the operation information detected by the sensor unit 13). Analyze For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
  • the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate
  • the smart glass 10 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, a device selection screen G1 or an operation selection screen G2) based on the display information sent from the controller 20.
  • a screen for example, a device selection screen G1 or an operation selection screen G2
  • the controller 20 is the same as the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
  • FIG. 12 is a schematic diagram illustrating an example of the overall configuration of the device control system 4 according to the fourth embodiment of the present invention.
  • This device control system 4 is different from the device control system 2 of FIG. 10 in that a smartphone 17 is provided instead of the smart glass 10.
  • the sensor terminal 16 is the same as the sensor terminal 16 in the device control system 2 of FIG. That is, the sensor unit 13 in the related diagram of FIG. 9 is provided.
  • the sensor terminal 16 in the device control system 4 transmits the operation information detected by the sensor unit 13 to the smartphone 17.
  • the smartphone 17 includes the gesture analysis unit 151 in the related diagram of FIG. 9, and the gesture performed by the user based on the operation information transmitted from the sensor terminal 16 (that is, the operation information detected by the sensor unit 13). Perform analysis. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
  • the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate
  • the smartphone 17 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information transmitted from the controller 20.
  • a screen for example, the device selection screen G1 or the operation selection screen G2
  • the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided.
  • the management unit 232 transmits the generated display information to the smartphone 17.
  • FIG. 13 is a schematic diagram illustrating an example of the overall configuration of the device control system 5 according to the fifth embodiment of the present invention.
  • the device control system 5 is different from the device control system 1 of FIG. 1 in that a smart watch 18 is provided as an example instead of the smart glass 10.
  • the smart watch 18 is an example of a wearable sensor.
  • the user wears the smart watch 18 on the hand (arm) that performs the gesture.
  • the smart watch 18 includes the sensor unit 13 in the related diagram of FIG. 9 described above.
  • the sensor unit 13 includes a three-axis acceleration sensor and a three-axis gyro sensor, and detects user operation information (for example, acceleration and angular velocity values).
  • the smart watch 18 includes a gesture analysis unit 151 in the related diagram of FIG. 9, and analyzes a gesture made by the user based on the operation information detected by the sensor unit 13. For example, the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the matched gesture). Instruction information indicating "including" is transmitted to the controller 20 through the communication unit.
  • the gesture analysis unit 151 tracks the fingertip or arm displacement from the motion information (acceleration and angular velocity values) detected by the sensor unit 13 and identifies the gesture performed by the user. Then, when the identified gesture matches any of the gestures (correct models) stored in its own data storage unit, the gesture analysis unit 151 can select a candidate (recommended setting RM is also associated with the
  • the smart watch 18 includes the display unit 12 in the related diagram of FIG. 9 and displays a screen (for example, the device selection screen G1 or the operation selection screen G2) based on the display information sent from the controller 20.
  • a screen for example, the device selection screen G1 or the operation selection screen G2
  • the controller 20 is the same as the controller 20 in the device control system 1 of FIG. That is, the recommendation processing unit 231, the management unit 232, and the device control unit 233 in the related diagram of FIG. 9 are provided. Note that the management unit 232 transmits the generated display information to the smart watch 18.
  • the main control relationships in the related diagram of FIG. 9 are also maintained by the device control systems 1 to 5 having different device configurations. Note that even if the device configurations in the device control systems 1 to 5 are the same, a part of the main configuration in FIG. 9 may be provided in another device.
  • the gesture analysis unit 151 in the related diagram of FIG. 9 is provided in the smart glass 10 has been described, but it is provided in another device. It may be.
  • the gesture analysis unit 151 is provided in the controller 20, if the relationship of the main configuration in the related diagram of FIG. 9 is maintained, the user similarly operates the home appliance 30. It can be done easily.
  • a router 50 is arranged in the house H instead of the controller 20.
  • a server 60 that functions as the controller 20 described above is arranged on the outside network 90. In this case, the router 50 and the server 60 cooperate to play the role of the controller 20.
  • the dedicated controller 20 is used has been described.
  • an operation program that defines the operation of the controller 20 to an existing personal computer, information terminal device, or the like, the personal computer or the like can be used. It is also possible to function as the controller 20 according to the present invention.
  • Such a program distribution method is arbitrary.
  • a CD-ROM Compact Disk Read-Only Memory
  • DVD Digital Versatile Disk
  • MO Magnetic Optical Disc
  • a memory card or the like can be read by a computer. It may be distributed by storing in a recording medium, or distributed via a communication network such as the Internet.
  • the present invention can be employed in a device control system that can easily operate a device.
  • 1 to 6 device control system 10 smart glasses, 11, 21, 31 communication unit, 12 display unit, 13 sensor unit, 14, 22, 32 data storage unit, 15, 23, 34 control unit, 151 gesture analysis unit, 16 Sensor terminal, 17 smart phone, 18 smart watch, 20 controller, 221 device information, 222 (222a, 222b) definition information, 231 recommended processing unit, 232 management unit, 233 device control unit, 30 home appliances, 33 main function unit, 341 Data processing unit, 342 control execution unit, 50 routers, 60 servers, 80 in-home network, 90 out-of-home network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

機器制御システムは、利用者に装着されるスマートグラス（10）、制御対象となる家電機器、及び、家電機器を管理するコントローラから構成されている。スマートグラス（10）において、センサ部（13）は、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出する。通信部（11）は、センサ部（13）が検出した情報をコントローラに送信する。コントローラは、センサ部（13）が検出した情報に基づいて、推奨される機器への推奨される操作内容を示す推奨操作を決定し、決定した推奨操作を、スマートグラス（10）に送信する。通信部（11）は、コントローラから送られる推奨操作を受信する。表示部（12）は、家電機器を選択するための候補群と共に、通信部（11）が受信した推奨操作を表示する。

Description

機器制御システム
　本発明は、機器の操作を容易に行うことのできる機器制御システムに関する。
　近年、ウェアラブルセンサ（ウェアラブルデバイス）が普及してきている。ウェアラブルセンサは、利用者に装着され、例えば、加速度といった動作情報や、脈拍といった生体情報を検出することができる。ウェアラブルセンサにより検出された情報は、利用者の行動管理や健康管理に活用されている。
　このようなウェアラブルセンサに関連する先行技術の一例として、特許文献１には、行動状況モニター装置の発明が開示されており、また、特許文献２には、行動パターン解析システムの発明が開示されている。
　特許文献１の発明では、腕時計型の行動状況モニター装置が用いられており、行動状況モニター装置が検出した温度データから、利用者（装着者）の行動を解析し、利用者に指示や警告を与えることができる。また、特許文献２の発明では、モーションセンサ及び位置センサが用いられており、モーションセンサが検出した動きの情報と、位置センサが検出した位置情報とに基づいて、利用者の行動や状況を特定し、必要な情報を携帯端末に提供することができる。
特開２００４－８４７１号公報 特開２０１１－８１４３１号公報
　上述した特許文献１，２の発明に代表されるように、従来では、ウェアラブルセンサを、利用者の行動管理や健康管理に活用している。
　最近では、ウェアラブルセンサを、利用者のより身近な生活に活用しようとする試みがなされている。例えば、家庭内には、様々な家電機器が配置されているが、これらは、それぞれのリモコンや操作パネルを、利用者が個々に操作する必要があった。そこで、これらの家電機器を、ウェアラブルセンサを用いて操作することができれば、利用者の利便性が向上すると考えられる。
　しかしながら、ウェアラブルセンサを用いて家電機器を操作することについて、未だ有用な提案がなされていないのが実情であった。
　本発明は、上記のような問題点を解決するためになされたもので、機器の操作を容易に行うことのできる機器制御システムを提供することを目的とする。
　上記目的を達成するために、本発明に係る機器制御システムは、
　機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
　利用者に装着され、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出するセンサ部と、
　前記センサ部が検出した情報に基づいた推奨操作を、前記機器の候補群と共に表示する表示部と、
　を備える。
　本発明によれば、センサ部が検出した情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。
本発明の実施形態１に係る機器制御システムの全体構成の一例を示す模式図である。 スマートグラスの構成の一例を示すブロック図である。 機器選択画面の一例を示す模式図である。 操作選択画面の一例を示す模式図である。 コントローラの構成の一例を示すブロック図である。 機器情報の一例を示す模式図である。 定義情報の一例を示す模式図である。 定義情報の一例を示す模式図である。 家電機器の構成の一例を示すブロック図である。 機器制御処理の一例を示すフローチャートである。 主要な構成の関連を説明するための関連図である。 本発明の実施形態２に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態３に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態４に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態５に係る機器制御システムの全体構成の一例を示す模式図である。 本発明の実施形態の変形例に係る機器制御システムの全体構成の一例を示す模式図である。
　以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。以下では、具体例として、本発明が住居内における機器制御システムに適用される場合について説明するが、後述するように、ビル内や施設内における機器制御システムにおいても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素又は全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
（実施形態１）
　図１は、本発明の実施形態１に係る機器制御システム１の全体構成の一例を示す模式図である。この機器制御システム１は、利用者がスマートグラス１０を装着し、ジェスチャ（一例として、指先の動きによるジェスチャ）によって容易に家電機器３０を操作可能とするシステムである。図示するように、機器制御システム１には、住居Ｈ内（宅内）にスマートグラス１０と、コントローラ２０と、複数の家電機器３０とが配置されている。コントローラ２０と家電機器３０とは、例えば、有線ＬＡＮ（Local Area Network）や無線ＬＡＮからなる宅内ネットワーク８０を介して通信可能に接続されている。また、スマートグラス１０とコントローラ２０とは、例えば、Bluetooth（登録商標）に代表される近距離無線通信により、通信可能に接続されている。
　スマートグラス１０は、ウェアラブルセンサ（ウェアラブルデバイス）の一例である。利用者は、眼鏡をかける要領でスマートグラス１０を装着し、後述するように、表示される画像（後述する機器選択画面Ｇ１や操作選択画面Ｇ２）を視認して、ジェスチャによる操作入力（選択）を行う。なお、スマートグラス１０は、１台に限られず、複数台でもよい。例えば、親子４人がそれぞれ自分のスマートグラス１０を所有していてもよく、また、両親（父、母）が自分のスマートグラス１０を所有し、２人の子供が何れかのスマートグラス１０を使用できるようにしてもよい。
　このスマートグラス１０の構成の一例について、以下、図２のブロック図を参照して説明する。図示するように、スマートグラス１０は、通信部１１と、表示部１２と、センサ部１３と、データ記憶部１４と、制御部１５とを備える。
　通信部１１は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式が採用された通信ユニットであり、制御部１５による制御の下、コントローラ２０との間で必要となる情報を送受信する。なお、宅内ネットワーク８０が無線ＬＡＮである場合に、通信部１１は、無線ＬＡＮの通信ユニットであってもよい。通信部１１は、センサ部１３が検出したセンサ情報（後述する画像情報、動作情報、生体情報、又は、環境情報）を、コントローラ２０に送信する。また、通信部１１は、コントローラ２０から送られる表示情報を受信する。
　なお、スマートグラス１０には、利用者がジェスチャを開始する際に押下すべき開始ボタンが配置されており、この開始ボタンが押されると、通信部１１は、ジェスチャ（操作入力）の開始を通知する開始情報をコントローラ２０に送信する。
　表示部１２は、一例として、カラー液晶パネルであり、通信部１１が受信した表示情報に基づいた画像を表示する。つまり、表示部１２は、コントローラ２０から送られた表示情報に基づいた画像を表示する。例えば、表示部１２は、図３Ａに示すような機器選択画面Ｇ１を表示する。この機器選択画面Ｇ１には、部屋に応じて、機器（家電機器３０）の候補群が表示されるようになっている。利用者は、この機器選択画面Ｇ１に表示される機器の候補群の中から、操作しようとする何れかの機器を選択する。なお、機器選択画面Ｇ１には、おすすめ設定ＲＭも含まれている。このおすすめ設定ＲＭは、スマートグラス１０を装着した利用者に推奨される推奨情報であり、推奨される機器への推奨される操作内容を示している。また、おすすめ設定ＲＭには、ジェスチャ（選択するために利用者が行うべきジェスチャ）の内容も含まれている。そして、利用者が、おすすめ設定ＲＭを選んだ場合には、推奨情報に従って、機器の選択と操作内容の選択とをまとめて行うことができる。
　この他にも、表示部１２は、図３Ｂに示すような操作選択画面Ｇ２を表示する。操作選択画面Ｇ２は、機器選択画面Ｇ１において機器が選択された場合に表示される。この操作選択画面Ｇ２には、選択された機器に対する操作内容（設定内容）の候補群が表示されるようになっている。利用者は、この操作選択画面Ｇ２に表示される操作内容の候補群の中から、指示しようとする操作内容（変更しようとする設定内容）を選択する。なお、操作選択画面Ｇ２にも、おすすめ設定ＲＭが含まれている。そのため、操作しようとする機器を選択した後にも、利用者に推奨される推奨操作（推奨される機器への推奨される操作）を選択することも可能となっている。
　図２に戻って、センサ部１３は、一例として、スマートグラス１０を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。なお、何れか１種類の情報に限られず、センサ部１３は、複数種類の情報を検出してもよい。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。なお、スマートグラス１０は、カメラ（レンズや撮像素子）を備えており、このカメラもセンサ部１３として機能する。例えば、センサ部１３としてのカメラは、利用者が指先を動かすジェスチャを行った際に、指先の動きをトラッキングした画像情報を順次生成（検出）する。
　また、センサ部１３は、例えば、心拍センサ、脈拍センサ、体温センサ、又は、体表温センサを備えており、利用者の生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を検出する。この他にも、センサ部１３は、例えば、温度センサや照度センサを備えており、利用者の環境情報（一例として、室温や照度の値）を検出する。
　センサ部１３は、センサ情報（画像情報、動作情報、生体情報、又は、環境情報）を、通信部１１を通じてコントローラ２０に送信する。なお、センサ部１３は、画像情報や動作情報を、制御部１５（後述するジェスチャ解析部１５１）にも供給する。
　データ記憶部１４は、一例として、不揮発性の半導体メモリから構成され、スマートグラス１０の動作に必要な種々の情報を記憶する。例えば、データ記憶部１４は、上述した図３Ａの機器選択画面Ｇ１や図３Ｂの操作選択画面Ｇ２が表示された際に、利用者がすべきジェスチャの正解モデルを記憶する。つまり、データ記憶部１４は、候補群中から何れかを選択するために対応付けられたジェスチャや、おすすめ設定ＲＭを選択するために対応付けられたジェスチャの正解モデルを記憶する。
　制御部１５は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）などを備え、スマートグラス１０全体を制御する。制御部１５は、例えば、ジェスチャ解析部１５１として機能する。この機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。
　ジェスチャ解析部１５１は、センサ部１３が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部１５１は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。
　なお、ジェスチャ解析部１５１が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス１０が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。
　図１に戻って、コントローラ２０は、スマートグラス１０から送られるセンサ情報に従って、スマートグラス１０を装着した利用者に対して推奨するための推奨情報を決定する。そして、コントローラ２０は、決定した推奨情報を含む表示情報をスマートグラス１０に送信する。また、コントローラ２０は、スマートグラス１０から送られる指示情報に従って、家電機器３０を制御する。
　このコントローラ２０の構成の一例について、以下、図４のブロック図を参照して説明する。図示するように、コントローラ２０は、通信部２１と、データ記憶部２２と、制御部２３とを備える。
　通信部２１は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式と、有線ＬＡＮや無線ＬＡＮの通信方式とが採用された複合通信ユニットであり、制御部２３による制御の下、スマートグラス１０との間、及び、家電機器３０との間で、必要となる情報を送受信する。例えば、通信部２１は、スマートグラス１０から送られるセンサ情報、開始情報、及び、指示情報を受信する。また、通信部２１は、表示情報をスマートグラス１０に送信する。更に、通信部２１は、宅内ネットワーク８０を介して、家電機器３０から送られる動作情報や電力情報を受信し、また、制御コマンドを家電機器３０に送信する。
　データ記憶部２２は、例えば、不揮発性の半導体メモリから構成され、コントローラ２０の動作に必要な種々の情報を記憶する。例えば、データ記憶部２２は、家電機器３０の情報を管理するための機器情報２２１や、推奨情報の条件と内容とを定めた定義情報２２２（２２２ａ，２２２ｂ）を記憶する。
　具体的な機器情報２２１の一例を図５に示す。図５の機器情報２２１には、識別番号、機器（家電機器３０）、配置場所、動作状態、及び、電力量が含まれている。このような機器情報２２１は、例えば、表示情報を生成する際に使用される。
　具体的な定義情報２２２（２２２ａ，２２２ｂ）の一例を図６Ａ，６Ｂに示す。図６Ａの定義情報２２２ａには、優先順位、機器（家電機器３０）、条件（条件１，条件２，・・・）、及び、推奨操作が含まれている。なお、優先順位は、その項目（機器、条件、及び、推奨操作）の優先度を示しており、高い順に、レベルＡ，Ｂ，Ｃ，・・・と規定されている。例えば、レベルＢの項目は、各レベルＡの項目の条件を満たしていない場合に、対象となり得る。また、レベルＣの項目は、更に各レベルＢまでの項目の条件を満たしていない場合に、対象となり得る。そして、条件を最初に満たした項目の推奨操作が推奨情報となる。
　図６Ｂの定義情報２２２ｂは、複数人の利用者が在室している場合に、その人員構成に応じて推奨操作を調整するために用いられる。例えば、スマートグラス１０が複数台使用されている場合や、１台のスマートグラス１０の使用だけでも、画像情報から他の利用者が在室していることが検出された場合に、この定義情報２２２ｂが用いられる。つまり、上述した定義情報２２２ａで決定された推奨情報（推奨操作）が、定義情報２２２ｂを元に調整される。なお、利用者が単独で在室している場合には、定義情報２２２ａで決定された推奨情報（推奨操作）がそのまま採用される。
　図６Ｂの定義情報２２２ｂには、構成パターン（人員構成）、機器（家電機器３０）、及び、調整内容が含まれている。なお、調整内容は、定義情報２２２ａで決定された推奨情報（推奨操作）について調整する内容を示している。すなわち、定義情報２２２ａと定義情報２２２ｂとにより、利用者の人員構成に応じて異なる内容の推奨操作（推奨情報）が定められていることになる。
　この他にも、データ記憶部２２は、利用者の嗜好を収集した嗜好情報（例えば、エアコン（冷房時）であれば、温度が低めで、微風が好みであるとか、照明であれば、電球色が好みであるとか）や、家電機器３０が使用した電力量又は電気料金を集計した電力情報を記憶してもよい。
　図４に戻って、制御部２３は、ＣＰＵ，ＲＯＭ，ＲＡＭなどを備え、コントローラ２０全体を制御する。制御部２３は、機能的には、推奨処理部２３１と、管理部２３２と、機器制御部２３３とを備える。これらの機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、例えば、ＲＯＭに記憶されているプログラムを適宜実行することにより実現される。
　推奨処理部２３１は、通信部２１が受信したセンサ情報（管理部２３２から中継されたセンサ情報）に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部２３１は、スマートグラス１０から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報２２２（定義情報２２２ａ，２２２ｂ）により定められた推奨操作を決定する。
　例えば、推奨処理部２３１は、生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。また。推奨処理部２３１は、環境情報（一例として、室温や照度の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。なお、上述したように、複数人の利用者が在室している場合に、推奨処理部２３１は、定義情報２２２ｂを更に用いて、定義情報２２２ａで決定された推奨操作を調整する。
　この他にも、推奨処理部２３１は、機器情報２２１の動作状態（現在の動作状態）に基づいて、推奨操作を決定してもよい。また、データ記憶部２２が、上述した嗜好情報を記憶している場合に、推奨処理部２３１は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。更に、データ記憶部２２が、上述した電力情報を記憶している場合に、推奨処理部２３１は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。
　管理部２３２は、通信部２１が受信した開始情報や指示情報を適宜保持して、操作時のシーケンス管理を行う。例えば、上述した開示ボタン（ジェスチャの開始時に利用者に押下される開始ボタン）の押下に伴いスマートグラス１０から開始情報が送られると、管理部２３２は、シーケンスを第１段階（機器の選択段階）に移行する。この第１段階において、指示情報が送られ、その指示内容が機器の選択であれば、管理部２３２は、シーケンスを第２段階（操作の選択段階）に移行し、一方、その指示内容が推奨操作（おすすめ設定ＲＭ）の選択であれば、シーケンスを最終段階（機器の制御段階）に移行する。また、第２段階において、指示情報が送られ、その指示内容が操作の選択や推奨操作の選択であれば、管理部２３２は、シーケンスを最終段階に移行する。
　また、管理部２３２は、通信部２１が受信したセンサ情報を適宜保持し、推奨処理部２３１にセンサ情報を渡す（中継する）。そして、推奨処理部２３１が決定した推奨情報（推奨操作）を含めた表示情報を生成する。例えば、シーケンスが第１段階であれば、管理部２３２は、上述した機器選択画面Ｇ１を表す表示情報を生成する。また、シーケンスが第２段階であれば、管理部２３２は、上述した操作選択画面Ｇ２を表す表示情報を生成する。
　更に、管理部２３２は、シーケンスが最終段階に移行すると、指示情報に応じた制御情報を、機器制御部２３３に通知する。また、管理部２３２は、機器制御部２３３から通知される家電機器３０の動作情報や電力情報に応じて、データ記憶部２２に記憶される機器情報２２１を更新する。
　機器制御部２３３は、管理部２３２から制御情報が通知されると、対象となる家電機器３０に応じた制御コマンドを生成する。そして、機器制御部２３３は、生成した制御コマンドを、通信部２１を通じて対象の家電機器３０に送信する。また、機器制御部２３３は、例えば、予め規定された情報収集タイミングになると、家電機器３０に対して情報を要求し、応答して送信される動作情報や電力情報を受信する。そして、機器制御部２３３は、受信した動作情報や電力情報を管理部２３２に通知する。
　図１に戻って、家電機器３０は、住居Ｈ内の各部屋で使用される各種電化製品であり、一例として、エアコン、床暖房、照明、及び、テレビが含まれる。なお、家電機器３０の種類は、これらに限られず、他に、ＩＨ調理器、空気清浄機、換気扇、及び、冷蔵庫を含んでもよい。
　このような家電機器３０の構成の一例について、以下、図７のブロック図を参照して説明する。図示するように、家電機器３０は、通信部３１と、データ記憶部３２と、主機能部３３と、制御部３４と、を備える。
　通信部３１は、例えば、宅内ネットワーク８０と接続するための通信アダプタであり、制御部３４の制御の下、宅内ネットワーク８０を介して、コントローラ２０と通信を行う。なお、通信部３１を、着脱可能な外付けの通信アダプタで構成してもよい。
　データ記憶部３２は、例えば、不揮発性の半導体メモリから構成され、家電機器３０の状態を示す情報（一例として、動作状態、運転モード、及び、電力量）を記憶する。
　主機能部３３は、家電機器３０本来の機能（例えば、エアコンであれば、冷房や暖房の空調機能）を実現するための構成であり、制御部３４により制御される。
　制御部３４は、ＣＰＵ，ＲＡＭ，ＲＯＭなどを備え、家電機器３０全体を制御する。制御部３４は、機能的には、データ処理部３４１と、制御実行部３４２とを備える。これらの機能は、ＣＰＵが、ＲＡＭをワークメモリとして用い、ＲＯＭやデータ記憶部３２に記憶されているプログラムを適宜実行することにより実現される。
　データ処理部３４１は、例えば、家電機器３０が備えるセンサによる計測値や、動作状態や設定状態の監視結果から、逐次、データ記憶部３２に記憶される情報を更新する。そして、データ処理部３４１は、コントローラ２０からの要求に応じて、データ記憶部３２に記憶される情報をコントローラ２０に送信する。
　制御実行部３４２は、コントローラ２０から送られた制御コマンドを通信部３１にて受信すると、受信した制御コマンドに基づいた制御を、主機能部３３に実行させる。
　以下、本発明の実施形態１に係る機器制御システム１の動作について、図８を参照して説明する。図８は、機器制御処理の一例を示すフローチャートである。この機器制御処理は、例えば、スマートグラス１０の開始ボタンが利用者に押下された際に開始される。なお、開始ボタンの押下に伴う開始情報は、スマートグラス１０からコントローラ２０に送信されているものとする。
　まず、スマートグラス１０は、センサ情報をコントローラ２０に送信する（ステップＳ４０１）。つまり、センサ部１３は、スマートグラス１０を装着した利用者の動作情報、生体情報、又は、環境情報を検出する。そして、通信部１１は、このセンサ情報をコントローラ２０に送信する。
　コントローラ２０は、送られたセンサ情報を基に、推奨操作を決定する（ステップＳ４０２）。つまり、推奨処理部２３１は、センサ情報に基づいて、利用者に対して推奨するための推奨情報を決定する。すなわち、推奨処理部２３１は、スマートグラス１０から送られた画像情報、動作情報、生体情報、又は、環境情報から、定義情報２２２（定義情報２２２ａ，２２２ｂ）により定められた推奨操作を決定する。
　例えば、推奨処理部２３１は、生体情報（一例として、心拍、脈拍、体温、又は、体表温の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。また。推奨処理部２３１は、環境情報（一例として、室温や照度の値）を基に、定義情報２２２の項目における条件を満たした推奨操作を決定する。なお、複数人の利用者が在室している場合に、推奨処理部２３１は、定義情報２２２ｂを更に用いて、定義情報２２２ａで決定された推奨操作を調整する。この他にも、データ記憶部２２が、嗜好情報を記憶している場合に、推奨処理部２３１は、この嗜好情報に基づいて、利用者に対して推奨するための推奨情報を決定してもよい。また、データ記憶部２２が、電力情報を記憶している場合に、推奨処理部２３１は、この電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、利用者に対して推奨するための推奨操作を決定してもよい。
　コントローラ２０は、表示情報を生成して、スマートグラス１０に送信する（ステップＳ４０３）。つまり、管理部２３２は、ステップＳ４０２にて決定された推奨操作を含めた表示情報を生成する。なお、管理部２３２は、シーケンス管理を行っており、例えば、シーケンスが第１段階であれば、機器選択画面Ｇ１を表す表示情報を生成し、一方、シーケンスが第２段階であれば、操作選択画面Ｇ２を表す表示情報を生成する。そして、通信部２１は、この表示情報をスマートグラス１０に送信する。
　スマートグラス１０は、送られた表示情報に基づいた画面を表示する（ステップＳ４０４）。すなわち、表示部１２は、図３Ａに示すような機器選択画面Ｇ１や、図３Ｂに示すような操作選択画面Ｇ２を表示する。
　このような画面を視認した利用者が、ジェスチャを行うと、スマートグラス１０は、そのジェスチャを解析する（ステップＳ４０５）。つまり、ジェスチャ解析部１５１は、センサ部１３が検出した画像情報に従って、利用者が行ったジェスチャを解析する。例えば、ジェスチャ解析部１５１は、順次更新される画像情報を基に、利用者の指先の動きをトラッキングし、利用者が行ったジェスチャを特定する。なお、ジェスチャ解析部１５１が、このように画像情報を基にジェスチャを解析するのは、ウェアラブルセンサとして、スマートグラス１０が用いられている場合の一例である。そのため、後述するように、他の種類のウェアラブルセンサが用いられる場合において、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報を基にジェスチャを解析する。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。
　ステップＳ４０５にて解析された利用者のジェスチャが、正解モデルと一致する場合に、スマートグラス１０は、指示情報をコントローラ２０に送信する（ステップＳ４０６）。つまり、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。
　コントローラ２０は、送られた指示情報が操作決定であるか否かを判別する（ステップＳ４０７）。つまり、シーケンス管理を行っている管理部２３２は、シーケンスが第１段階において、指示情報が推奨操作（おすすめ設定ＲＭ）の選択である場合、及び、シーケンスが第２段階において、指示情報が操作の選択や推奨操作の選択である場合に、操作決定であると判別する。
　コントローラ２０は、送られた指示情報が操作決定でないと判別すると（ステップＳ４０７；Ｎｏ）、上述したステップＳ４０３に処理を戻す。このステップＳ４０３では、シーケンス管理に応じた表示画像が生成され、再度、スマートグラス１０に送信される。
　一方、送られた指示情報が操作決定であると判別した場合に（ステップＳ４０７；Ｙｅｓ）、コントローラ２０は、操作コマンドを生成して家電機器３０に送信する（ステップＳ４０８）。つまり、機器制御部２３３は、管理部２３２から制御情報が通知されると、対象となる家電機器３０に応じた制御コマンドを生成する。そして、通信部２１は、この操作コマンドを対象の家電機器３０に送信する。
　家電機器３０は、送られた制御コマンドを実行する（ステップＳ４０９）。つまり、制御実行部３４２は、コントローラ２０から送られた制御コマンドを通信部３１にて受信すると、受信した制御コマンドに基づいた制御を、主機能部３３に実行させる。
　このような機器制御処理において、スマートグラス１０の表示部１２には、センサ部１３が検出したセンサ情報に基づいて、利用者に推奨される推奨操作が、機器を選択するための候補群と共に表示される。その際、利用者が推奨操作を選択することで、機器の選択と操作内容の選択とをまとめて行えることとなり、機器の操作を容易に行うことができる。
　このような機器制御システム１（より詳細には、スマートグラス１０、及び、コントローラ２０）における主要な構成の関連を図９を参照して説明する。
　図９の関連図に示すように、センサ部１３にて検出されたセンサ情報（画像情報、動作情報、生体情報、又は、環境情報）は、管理部２３２に送信される。管理部２３２に送信されたセンサ情報は、推奨処理部２３１に送信される。推奨処理部２３１は、センサ情報を基に推奨情報（推奨操作）を生成して、管理部２３２に送信する。そして、管理部２３２は、推奨情報を含んだ表示情報を表示部１２に送信する。
　また、センサ部１３にて検出されたセンサ情報（画像情報や動作情報）は、ジェスチャ解析部１５１にも送信される。ジェスチャ解析部１５１は、センサ情報を基に利用者が行ったジェスチャを解析する。そして、利用者が行ったジェスチャが正解モデルと一致すると、指示情報が管理部２３２に送信される。
　送信された指示情報が操作決定であれば、管理部２３２は、制御情報を機器制御部２３３に送信する。なお、機器制御部２３３は、送られた制御情報を基に、制御コマンドを生成して、対象の家電機器３０に送信する。また、機器制御部２３３は、家電機器３０から送られた動作情報を、管理部２３２に送信する。
　このように、主要な構成の関連が維持されるのであれば、これら主要な構成がどのデバイスに存在していても、上述した動作が可能となる。そのため、以下に説明するように、機器制御システム１は、異なるデバイス構成によっても実現可能である。
（実施形態２）
　図１０は、本発明の実施形態２に係る機器制御システム２の全体構成の一例を示す模式図である。この機器制御システム２は、一例として、指輪型のセンサ端末１６が加えられている点で、図１の機器制御システム１と異なる。
　センサ端末１６は、ウェアラブルセンサの一例である。利用者は、ジェスチャを行う指に、センサ端末１６を装着する。このセンサ端末１６は、上述した図９の関連図におけるセンサ部１３を備えている。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。また、センサ端末１６は、一例として、Bluetooth（登録商標）に代表される近距離無線通信方式が採用された通信ユニットも備えており、センサ部１３が検出した動作情報をスマートグラス１０に送信する。
　スマートグラス１０は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャがデータ記憶部１４に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信部１１を通じてコントローラ２０に送信する。
　また、スマートグラス１０は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。
　コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。
　すなわち、このような機器制御システム２においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。
（実施形態３）
　図１１は、本発明の実施形態３に係る機器制御システム３の全体構成の一例を示す模式図である。この機器制御システム３は、一例として、スマートフォン１７が加えられている点で、図１０の機器制御システム２と異なる。
　センサ端末１６は、図１０の機器制御システム２におけるセンサ端末１６と同様である。つまり、図９の関連図におけるセンサ部１３を備えている。なお、機器制御システム３におけるセンサ端末１６は、センサ部１３が検出した動作情報をスマートフォン１７に送信する。
　スマートフォン１７は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。
　スマートグラス１０は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。
　コントローラ２０は、図１の機器制御システム１と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。
　すなわち、このような機器制御システム３においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。
（実施形態４）
　図１２は、本発明の実施形態４に係る機器制御システム４の全体構成の一例を示す模式図である。この機器制御システム４は、スマートグラス１０の代わりにスマートフォン１７を備えている点で、図１０の機器制御システム２と異なる。
　センサ端末１６は、図１０の機器制御システム２におけるセンサ端末１６と同様である。つまり、図９の関連図におけるセンサ部１３を備えている。なお、機器制御システム４におけるセンサ端末１６は、センサ部１３が検出した動作情報をスマートフォン１７に送信する。
　スマートフォン１７は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ端末１６から送られた動作情報（つまり、センサ部１３が検出した動作情報）を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。
　また、スマートフォン１７は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。
　コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。なお、管理部２３２は、生成した表示情報を、スマートフォン１７に送信する。
　すなわち、このような機器制御システム４においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。
（実施形態５）
　図１３は、本発明の実施形態５に係る機器制御システム５の全体構成の一例を示す模式図である。この機器制御システム５は、スマートグラス１０の代わりに一例としてスマートウォッチ１８を備えている点で、図１の機器制御システム１と異なる。
　スマートウォッチ１８は、ウェアラブルセンサの一例である。利用者は、スマートウォッチ１８をジェスチャを行う手（腕）に装着する。スマートウォッチ１８は、上述した図９の関連図におけるセンサ部１３を備えている。例えば、センサ部１３は、３軸の加速度センサや３軸のジャイロセンサを備えており、利用者の動作情報（一例として、加速度や角速度の値）を検出する。
　また、スマートウォッチ１８は、図９の関連図におけるジェスチャ解析部１５１を備えており、センサ部１３が検出した動作情報を基に、利用者が行ったジェスチャの解析を行う。例えば、ジェスチャ解析部１５１は、センサ部１３が検出した動作情報（加速度や角速度の値）から指先や腕の変位をトラッキングし、利用者が行ったジェスチャを特定する。そして、ジェスチャ解析部１５１は、特定したジェスチャが自身のデータ記憶部に記憶された何れかのジェスチャ（正解モデル）と一致する場合に、一致したジェスチャが対応付けられている候補（おすすめ設定ＲＭも含む）を示す指示情報を、通信ユニットを通じてコントローラ２０に送信する。
　また、スマートウォッチ１８は、図９の関連図における表示部１２を備えており、コントローラ２０から送られた表示情報に基づいた画面（例えば、機器選択画面Ｇ１や操作選択画面Ｇ２）を表示する。
　コントローラ２０は、図１の機器制御システム１におけるコントローラ２０と同様である。つまり、図９の関連図における推奨処理部２３１、管理部２３２、及び、機器制御部２３３を備えている。なお、管理部２３２は、生成した表示情報を、スマートウォッチ１８に送信する。
　すなわち、このような機器制御システム５においても、図９の関連図における主要な構成の関連が維持されており、利用者は、家電機器３０の操作を容易に行うことができる。
　このように、異なるデバイス構成の機器制御システム１～５によっても、図９の関連図における主要な構成の関連が維持される。なお、機器制御システム１～５におけるデバイス構成が同じでも、図９の主要な構成の一部が別のデバイスに備えられていてもよい。
　例えば、上述した本発明の実施形態２に係る機器制御システム２では、図９の関連図におけるジェスチャ解析部１５１が、スマートグラス１０に備えられている場合について説明したが、他のデバイスに備えられていてもよい。一例として、ジェスチャ解析部１５１が、コントローラ２０に備えられていても、図９の関連図における主要な構成の関連が維持されるのであれば、同様に、利用者は、家電機器３０の操作を容易に行うことができる。
（実施形態の変形例）
　上記の実施形態１～５に係る機器制御システム１～５では、住宅Ｈ内にコントローラ２０を配置する場合について説明したが、このコントローラ２０に相当する装置を住宅Ｈ外に配置するようにしてもよい。例えば、インターネット上のサーバ６０をコントローラ２０として機能させてもよい。
　一例として、図１４に示す機器制御システム６では、住宅Ｈ内に、コントローラ２０の代わりに、ルータ５０が配置されている。一方、宅外ネットワーク９０上には、上述したコントローラ２０として機能させるサーバ６０が配置されている。この場合、ルータ５０とサーバ６０とが協業してコントローラ２０の役割を果たす。
　この場合も、図９の関連図における主要な構成の関連が維持され、利用者は、家電機器３０の操作を容易に行うことができる。
（他の実施形態）
　上記の実施形態では、住居Ｈ内における機器制御システム１～６について説明したが、本願発明は、ビル内や施設内における機器制御システム１～６においても同様に適用することができる。
　また、上記の実施形態では、専用のコントローラ２０を用いる場合について説明したが、コントローラ２０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器などに適用することで、当該パーソナルコンピュータなどを本発明に係るコントローラ２０として機能させることも可能である。
　また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
　本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
　本発明は、機器の操作を容易に行うことのできる機器制御システムに採用され得る。
１～６　機器制御システム、１０　スマートグラス、１１，２１，３１　通信部、１２　表示部、１３　センサ部、１４，２２，３２　データ記憶部、１５，２３，３４　制御部、１５１　ジェスチャ解析部、１６　センサ端末、１７　スマートフォン、１８　スマートウォッチ、２０　コントローラ、２２１　機器情報、２２２（２２２ａ，２２２ｂ）　定義情報、２３１　推奨処理部、２３２　管理部、２３３　機器制御部、３０　家電機器、３３　主機能部、３４１　データ処理部、３４２　制御実行部、５０　ルータ、６０　サーバ、８０　宅内ネットワーク、９０　宅外ネットワーク

Claims (9)

  1. 　機器の候補群から機器を選択する機器選択と、当該機器選択にて選択された機器への操作の候補群から操作を選択する操作選択とに応じて、機器を制御する機器制御システムであって、
    　利用者に装着され、画像情報、動作情報、生体情報、及び、環境情報の何れかを含む情報を検出するセンサ部と、
    　前記センサ部が検出した情報に基づいた推奨操作を、前記機器の候補群と共に表示する表示部と、
    　を備える機器制御システム。
  2. 　前記センサ部が検出した情報に基づいて、推奨される機器への推奨される操作内容を示す推奨操作を決定する推奨処理部を更に備え、
    　前記表示部は、前記推奨処理部が決定した推奨操作を表示する、
    　請求項１に記載の機器制御システム。
  3. 　利用者の人員構成に応じて異なる内容の推奨操作を定めた定義情報を記憶する記憶部を更に備え、
    　前記推奨処理部は、前記センサ部が検出した情報に基づいて、在室している人員構成を特定し、特定した人員構成と前記定義情報とに従って、推奨操作を決定する、
    　請求項２に記載の機器制御システム。
  4. 　前記表示部に表示される前記推奨操作には、予め定められたジェスチャが対応付けられており、
    　前記センサ部が検出した画像情報又は動作情報に基づいて、利用者が行ったジェスチャを解析するジェスチャ解析部と、
    　前記解析されたジェスチャが前記推奨操作に対応付けられているジェスチャと一致した場合に、前記推奨操作に応じた動作を対象となる機器に実行させる機器制御部と、を更に備える、
    　請求項２に記載の機器制御システム。
  5. 　前記センサ部は、前記生体情報として、脈拍、心拍、体温、及び、体表温の何れかを検出し、
    　前記推奨処理部は、前記センサ部が検出した脈拍、心拍、体温、及び、体表温の何れかに基づいて、空調機器に対して推奨される操作内容を示す推奨操作を決定する、
    　請求項２に記載の機器制御システム。
  6. 　前記センサ部は、前記環境情報として、照度を検出し、
    　前記推奨処理部は、前記センサ部が検出した照度に基づいて、照明機器に対して推奨される操作内容を示す推奨操作を決定する、
    　請求項２に記載の機器制御システム。
  7. 　利用者に応じて異なる嗜好を収集した嗜好情報を記憶する記憶部を更に備え、
    　前記推奨処理部は、前記嗜好情報に基づいて、前記センサ部を装着した利用者に推奨される推奨操作を決定する、
    　請求項２に記載の機器制御システム。
  8. 　前記機器の動作状況を収集した機器情報を記憶する記憶部を更に備え、
    　前記推奨処理部は、前記機器情報に応じた現在の動作状態に基づいて、推奨操作を決定する、
    　請求項２に記載の機器制御システム。
  9. 　前記機器が使用した電力量又は電気料金を集計した電力情報を記憶する記憶部を更に備え、
    　前記推奨処理部は、前記電力情報と、予め定められた目標電力量又は目標電気料金との比較に基づいて、推奨操作を決定する、
    　請求項２に記載の機器制御システム。
PCT/JP2016/070570 2016-07-12 2016-07-12 機器制御システム WO2018011892A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2016/070570 WO2018011892A1 (ja) 2016-07-12 2016-07-12 機器制御システム
EP16908796.2A EP3486746B1 (en) 2016-07-12 2016-07-12 Apparatus control system
CN201680087249.8A CN109416573B (zh) 2016-07-12 2016-07-12 设备控制系统
JP2018527291A JP6685397B2 (ja) 2016-07-12 2016-07-12 機器制御システム
US16/094,927 US10754161B2 (en) 2016-07-12 2016-07-12 Apparatus control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070570 WO2018011892A1 (ja) 2016-07-12 2016-07-12 機器制御システム

Publications (1)

Publication Number Publication Date
WO2018011892A1 true WO2018011892A1 (ja) 2018-01-18

Family

ID=60952919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070570 WO2018011892A1 (ja) 2016-07-12 2016-07-12 機器制御システム

Country Status (5)

Country Link
US (1) US10754161B2 (ja)
EP (1) EP3486746B1 (ja)
JP (1) JP6685397B2 (ja)
CN (1) CN109416573B (ja)
WO (1) WO2018011892A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106887A (ko) * 2019-08-28 2019-09-18 엘지전자 주식회사 정보 제공 방법 및 정보 제공 장치
JP2021034758A (ja) * 2019-08-15 2021-03-01 三菱電機株式会社 設備機器システム及び設備機器制御方法
JP7514747B2 (ja) 2020-12-02 2024-07-11 東芝ライフスタイル株式会社 情報処理システム、機器コントローラ、およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213855A1 (zh) * 2018-05-09 2019-11-14 Fang Chao 设备控制方法和系统
CN111427287B (zh) * 2020-02-20 2021-11-16 珠海格力电器股份有限公司 一种智能厨房控制方法、装置、电子设备及存储介质
EP3876025A1 (de) * 2020-03-02 2021-09-08 Siemens Aktiengesellschaft Anordnung zur hinderniserkennung und kollisionswarnung
WO2021200981A1 (ja) * 2020-04-02 2021-10-07 パナソニックＩｐマネジメント株式会社 環境制御システム、及び、環境制御方法
CN112181152B (zh) * 2020-11-13 2023-05-26 幻蝎科技(武汉)有限公司 基于mr眼镜的广告推送管理方法、设备及应用
KR20220169330A (ko) * 2021-06-18 2022-12-27 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
KR20240035251A (ko) * 2022-09-08 2024-03-15 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008471A (ja) 2002-06-06 2004-01-15 Seiko Instruments Inc 行動状況モニター装置、行動状況解析装置および行動状況解析システム
JP2007266772A (ja) * 2006-03-27 2007-10-11 Toshiba Corp 機器操作装置および機器操作方法
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2013092811A (ja) * 2011-09-30 2013-05-16 Toshiba Corp 電子機器およびプログラム
JP2014216884A (ja) * 2013-04-26 2014-11-17 三菱電機株式会社 コントローラ、エネルギーマネジメントシステム、遠隔制御方法、及び、プログラム
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US20150346834A1 (en) * 2014-06-02 2015-12-03 Samsung Electronics Co., Ltd. Wearable device and control method using gestures
JP2016038904A (ja) * 2014-08-06 2016-03-22 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP2010262510A (ja) * 2009-05-08 2010-11-18 Nippon Telegr & Teleph Corp <Ntt> センサネットワークシステム、データ処理装置、およびデータ処理方法
JP2011155957A (ja) * 2010-02-04 2011-08-18 Nippon Telegr & Teleph Corp <Ntt> 状態測定システムおよび方法
US9575561B2 (en) * 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP2012146216A (ja) * 2011-01-13 2012-08-02 Nikon Corp 電子機器および電子機器の制御プログラム
US9183588B2 (en) * 2011-01-20 2015-11-10 Ebay, Inc. Three dimensional proximity recommendation system
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US8948832B2 (en) * 2012-06-22 2015-02-03 Fitbit, Inc. Wearable heart rate monitor
KR20140094125A (ko) * 2013-01-21 2014-07-30 삼성전자주식회사 디스플레이 장치 및 이를 이용한 사용자 맞춤형 정보 제공방법
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
KR20140127527A (ko) * 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
JP6210272B2 (ja) * 2013-06-26 2017-10-11 セイコーエプソン株式会社 入力装置、脈拍数算出装置および入力方法
JP6373849B2 (ja) * 2013-08-28 2018-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ プログラム、端末装置及び情報提供システムにおける情報提供方法
KR102231092B1 (ko) * 2013-09-05 2021-03-24 삼성전자주식회사 제어 장치
JP2015122023A (ja) * 2013-12-25 2015-07-02 セイコーエプソン株式会社 ウェアラブル機器及びウェアラブル機器の制御方法
KR102135586B1 (ko) * 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150101703A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 디스플레이 장치 및 제스처 입력 처리 방법
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9467795B2 (en) * 2014-09-11 2016-10-11 Motorola Solutions, Inc. Method and apparatus for application optimization and collaboration of wearable devices
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
CN104867311A (zh) * 2015-05-14 2015-08-26 连宁 通过第三方终端配置无线遥控终端的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008471A (ja) 2002-06-06 2004-01-15 Seiko Instruments Inc 行動状況モニター装置、行動状況解析装置および行動状況解析システム
JP2007266772A (ja) * 2006-03-27 2007-10-11 Toshiba Corp 機器操作装置および機器操作方法
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
JP2011081431A (ja) 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2013092811A (ja) * 2011-09-30 2013-05-16 Toshiba Corp 電子機器およびプログラム
JP2014216884A (ja) * 2013-04-26 2014-11-17 三菱電機株式会社 コントローラ、エネルギーマネジメントシステム、遠隔制御方法、及び、プログラム
US20150346834A1 (en) * 2014-06-02 2015-12-03 Samsung Electronics Co., Ltd. Wearable device and control method using gestures
JP2016038904A (ja) * 2014-08-06 2016-03-22 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3486746A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034758A (ja) * 2019-08-15 2021-03-01 三菱電機株式会社 設備機器システム及び設備機器制御方法
JP7496674B2 (ja) 2019-08-15 2024-06-07 三菱電機株式会社 設備機器システム及び設備機器制御方法
KR20190106887A (ko) * 2019-08-28 2019-09-18 엘지전자 주식회사 정보 제공 방법 및 정보 제공 장치
KR102658691B1 (ko) * 2019-08-28 2024-04-17 엘지전자 주식회사 정보 제공 방법 및 정보 제공 장치
JP7514747B2 (ja) 2020-12-02 2024-07-11 東芝ライフスタイル株式会社 情報処理システム、機器コントローラ、およびプログラム

Also Published As

Publication number Publication date
US10754161B2 (en) 2020-08-25
JPWO2018011892A1 (ja) 2018-09-06
US20190129176A1 (en) 2019-05-02
CN109416573B (zh) 2022-04-12
EP3486746A4 (en) 2019-06-26
EP3486746B1 (en) 2024-01-03
JP6685397B2 (ja) 2020-04-22
EP3486746A1 (en) 2019-05-22
CN109416573A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
WO2018011892A1 (ja) 機器制御システム
JP6903713B2 (ja) ネットワーク接続されたサーモスタットを管理するための方法
CN110168485B (zh) 对物联网装置的增强现实控制
KR102487902B1 (ko) 전자기기를 제어하는 방법 및 장치
KR102037416B1 (ko) 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
EP3021564A1 (en) Energy-management system, controller, remote-control method, and program
US20130204408A1 (en) System for controlling home automation system using body movements
US20160363944A1 (en) Method and apparatus for controlling indoor device
US10318121B2 (en) Control method
CN109672720A (zh) 用于控制IoT装置的电子装置及其操作方法
CN103201710A (zh) 图像处理系统、图像处理方法以及存储图像处理程序的存储介质
WO2016001974A1 (ja) 空調システム
KR20160075079A (ko) 다른 전자 장치를 제어하는 전자 장치 및 제어 방법
JP6707141B2 (ja) 機器制御装置、機器制御システム、機器制御方法及びプログラム
WO2016157675A1 (ja) 制御システム、制御方法及び制御プログラム
JP6603609B2 (ja) 操作者推定方法、操作者推定装置及び操作者推定プログラム
JP6362677B2 (ja) コントローラ、ホームシステム、環境制御方法、及び、プログラム
JP2016031220A (ja) 空調最適化装置及び空調制御システム
JP2014230123A (ja) 制御システム、端末装置、コントローラ、制御方法、および、プログラム
WO2019186993A1 (ja) 端末装置、機器制御システム、機器制御方法及びプログラム
KR20210041904A (ko) 네트워크 연결을 관리하는 전자 장치 및 그의 제어 방법
KR20160115457A (ko) 사물 인터넷을 활용한 스마트 빌딩 시스템 및 제어 방법
JP6419328B2 (ja) 状態表示装置、コントローラ、状態表示方法、及び、プログラム
KR101666488B1 (ko) 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법
JP5820090B2 (ja) 情報提供方法、情報管理システム及び情報端末機器

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018527291

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16908796

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016908796

Country of ref document: EP

Effective date: 20190212